大家好，我是三石。

最近發(fā)現(xiàn)大家對(duì) Flux 模型及其 ComfyUI 工作流不太清楚，不知道跟 SDXL、SD1.5 的區(qū)別是什么，也不太清楚工作流的基礎(chǔ)搭建和 SDXL 這類(lèi)的工作流的區(qū)別，包括后面的 ControlNet 的搭建，感覺(jué)暈暈的。

現(xiàn)在我將通過(guò)上下兩篇文章幫助大家更好地理解 Flux 模型和工作流的搭建，并共安排 8 個(gè)典型的工作流搭建方法（上下兩篇），如文生圖、圖生圖、放大、遮罩重繪、物品替換、風(fēng)格遷移等。讓大家迅速適應(yīng)并熟悉 Flux 的工作流搭建方法，為后續(xù)的學(xué)習(xí)打好夯實(shí)的基礎(chǔ)！

相關(guān)干貨：

本篇我們將學(xué)習(xí) Flux 模型解析和 4 個(gè)基礎(chǔ)工作流：

一、什么是 Flux 模型？

Flux 模型是由黑森林團(tuán)隊(duì)（Black Forest Labs）于 2024 年 8 月推出的最新一代的文生圖大模型，特點(diǎn)就是分辨率高、提示詞精準(zhǔn)和識(shí)別能力強(qiáng)。目前是業(yè)內(nèi)開(kāi)源大模型的標(biāo)桿。當(dāng)然，現(xiàn)在 QWEN 已經(jīng)出來(lái)了，后續(xù)有機(jī)會(huì)可以給大家做個(gè)模型之間的比較。下方是 FLUX 模型生成的一些圖片，我們看下實(shí)際出圖效果，會(huì)發(fā)現(xiàn)在細(xì)節(jié)上會(huì)比 SDXL 等老版本的模型表現(xiàn)更加出色，光感和材質(zhì)的質(zhì)感也表現(xiàn)的很出色。

FLUX出圖效果

所以我強(qiáng)烈建議大家使用最新的模型來(lái)出圖，雖然后面的 ComfyUI 工作流在搭建上有些許的差異，但是還是值得我們使用的。那 FLUX 的模型在哪里下載呢？

截止目前，F(xiàn)lux 模型有三大版本，分別是 FLUX.1(pro)、FLUX.1(dev)和 FLUX.1(schnell)三個(gè)大版本。之間的差別如下圖：

FLUX三個(gè)版本模型的差異

此外，F(xiàn)LUX 模型對(duì)文字的理解能力也很強(qiáng)，比如我輸入提示詞：

"Under the sea, four large letters 'LOVE' floating in clear seawater, each letter with a smooth, semi-transparent surface reflecting sunlight filtering through the water, surrounded by small bubbles and shimmering particles, soft light rays penetrating from above, creating a dreamy and romantic atmosphere, digital art style, hyper-detailed, vibrant colors, realistic water texture, 8K resolution"。

得到下面這張圖，不會(huì)出現(xiàn)不理解文字的情況。

Flux對(duì)文字的理解

大家如果想下載模型的，可以登錄 HugggingFace 官網(wǎng)的 Black Forest Labs 主頁(yè)（https://huggingface.co/black-forest-labs）進(jìn)行下載，如下圖。如果本地電腦配置低，也建議大家用在線 ComfyUI 平臺(tái)運(yùn)行，好處就是不用自己費(fèi)勁裝模型。

FLUX模型下載

還有一點(diǎn)就是大家別忘了下載 Flux 的專(zhuān)屬 VAE 模型，如下圖：

VAE模型下載

二、SDXL 和 SD1.5 模型的區(qū)別

既然 Flux 模型這么強(qiáng)，那我們有必要了解它為什么這么強(qiáng)？原因是什么？知道了底層原理，我們對(duì)模型才能真正摸透，而不是停留在表面山的理解。

我們都知道，大模型的訓(xùn)練需要先學(xué)習(xí)，比如我想生成貓的圖片，那首先需要讓計(jì)算機(jī)先學(xué)習(xí)幾百?gòu)堌埖膱D片，然后我們給這些圖片“打標(biāo)簽”，再轉(zhuǎn)換成計(jì)算機(jī)能理解的語(yǔ)言，這是一個(gè)基礎(chǔ)的模型學(xué)習(xí)和訓(xùn)練過(guò)程，但真實(shí)情況遠(yuǎn)比這復(fù)雜的多（涉及很多技術(shù)和算法知識(shí)）。

所以學(xué)習(xí)的數(shù)量和質(zhì)量就尤為關(guān)鍵。在網(wǎng)上我大概了解到：SD1.5 模型大概有 4.2 億參數(shù)，而 Flux 有 120 億參數(shù)。那學(xué)的數(shù)量多，自然出圖的效果好。而且，SD1.5 的訓(xùn)練圖片尺寸是 512*512，而 SDXL 的訓(xùn)練圖片尺寸是 1024*1024, FLUX 也是 1024*1024，因此，我們會(huì)發(fā)現(xiàn) SDXL 和 Flux 的出圖效果要比 SD1.5 好很多，也清晰很多。在提示詞的理解能力上，F(xiàn)lux 基于多模態(tài)架構(gòu)，能夠理解多模態(tài)指令，所以對(duì)提示詞的理解能力更強(qiáng)。

關(guān)于這三個(gè)模型的差異，大家可以看下圖：

三個(gè)模型的區(qū)別

三、Flux 基礎(chǔ)文生圖工作流搭建

了解了 Flux 模型的優(yōu)勢(shì)及與其它模型的差異，我們現(xiàn)在就可以著手開(kāi)始搭建最基礎(chǔ)的 Flux 文生圖工作流了。與傳統(tǒng)的 SDXL 的文生圖工作流不同的是，F(xiàn)lux 模型中沒(méi)有 CLIP 和 VAE，所以我們需要將原來(lái)的「Checkpoint 加載器」節(jié)點(diǎn)變成三個(gè)不同的節(jié)點(diǎn)來(lái)組合使用，如下圖所示。在「Checkpoint 加載器」中有三個(gè)輸出，分別是 MODEL、CLIP 和 VAE，換到 FLUX，就需要分別加載「UNet 加載器」、「雙 CLIP 加載器」和「加載 VAE」三個(gè)節(jié)點(diǎn)。

第二個(gè)差異點(diǎn)是 Flux 不需要負(fù)面提示詞，所以原來(lái) SDXL 這些模型的 CLIP 輸入需要輸入正向、負(fù)向兩段提示詞，現(xiàn)在換到 Flux，只需要輸入正向提示詞。因此我們還需要用到「條件零化」節(jié)點(diǎn)，將負(fù)向提示詞直接零化掉。再連接到 K 采樣器即可，如下圖。

第三個(gè)差異點(diǎn)是再「CLIP 文本編碼器」和「K 采樣器」之間，還多了一個(gè)「Flux 引導(dǎo)」節(jié)點(diǎn)。這個(gè)節(jié)點(diǎn)其實(shí)是代替了「K 采樣器」里面的“cfg”。「Flux 引導(dǎo)」的數(shù)值對(duì)畫(huà)面的影響還是比較大的，引導(dǎo)系數(shù)越大，圖像和提示詞的匹配度越高，但是缺乏藝術(shù)表現(xiàn)力；反之，數(shù)值越小，出圖更有創(chuàng)意。簡(jiǎn)單說(shuō)，「Flux 引導(dǎo)」就是告訴模型我這張圖片到底需要有多聽(tīng)提示詞的話。

我們可以做個(gè)簡(jiǎn)單的測(cè)試，輸入以下提示詞（提示詞來(lái)自網(wǎng)絡(luò)，僅為參考）：

Surreal 4k painting of a beautiful alien princess with expressive lilac eyes and cosmic features. Her skin appears to be composed of intertwined bioluminescent particles, surrounded by neon lights and floating, colorful orbs in a fantastical forest environment, with exotic animals creating a mesmerizing and otherworldly atmosphere, cinematic composition.

翻譯：這幅超現(xiàn)實(shí)的 4K 畫(huà)作描繪了一位美麗的外星公主，她有著富有表現(xiàn)力的淡紫色眼睛和宇宙般的五官。她的皮膚似乎由相互交織的生物發(fā)光粒子構(gòu)成，周?chē)h(huán)繞著霓虹燈和漂浮的彩色球體，周?chē)瞧婊玫纳汁h(huán)境，珍奇的動(dòng)物營(yíng)造出一種令人著迷的、超凡脫俗的氛圍，如同電影般的構(gòu)圖。
我們分別設(shè)置 Flux 引導(dǎo)系數(shù)為 2.5、3.5、10、20，得到的畫(huà)面如下圖，發(fā)現(xiàn)提示詞越小，畫(huà)面會(huì)整體顯得灰暗，過(guò)大則會(huì)缺少藝術(shù)表現(xiàn)力，所以建議大家使用默認(rèn)值 3.5 即可。

Flux不同引導(dǎo)系數(shù)的差異

最后一個(gè)差異點(diǎn)就是在「K 采樣器」中，我們需要把“cfg”的數(shù)值調(diào)整為 1。cfg 的意思是對(duì)提示詞的契合度，因?yàn)榍懊嬉呀?jīng)有「Flux 引導(dǎo)」來(lái)代替“cfg”了，所以「K 采樣器」里的“cfg”需要設(shè)置為 1，也就相當(dāng)于“禁用 cfg”了。

到這里，我們就將 Flux 模型在 ComfyUI 中的基本文生圖工作流搭建結(jié)束了。如下圖：

FLUX文生圖工作流

四、Flux 基礎(chǔ)圖生圖工作流搭建

了解了 Flux 的文生圖工作流，圖生圖工作流就比較簡(jiǎn)單了，跟 SD 的圖生圖工作流是一樣的，我們只要把上傳的圖片先通過(guò)「VAE 編碼」連接到「K 采樣器」的“l(fā)atent_image”（也就是潛在空間），再設(shè)置“降噪”數(shù)值為 0.8 左右即可，這樣相當(dāng)于告訴模型 80%參考提示詞，20%參考圖片，所以出圖結(jié)果會(huì)更偏上傳的圖片，如下圖所示。

flux圖生圖工作流

當(dāng)然，我們還可以通過(guò)提示詞反推節(jié)點(diǎn)來(lái)獲得跟原圖類(lèi)似的結(jié)果，這里用到的節(jié)點(diǎn)是「Joy Caption Two」，如下圖，我們將上傳的圖片給到「Joy Caption Two」輸出提示詞，再將提示詞輸入給「CLIP 文本編碼」。

提示詞反推節(jié)點(diǎn)

其余連接保持不變，這樣我們就能得到一張跟原圖類(lèi)似的圖案，如下圖。

出圖結(jié)果

五、Flux 基礎(chǔ)局部重繪工作流搭建

局部重繪工作流需要用到「Detailer (SEGS)」局部細(xì)化節(jié)點(diǎn)來(lái)替代「K 采樣器」，然后用「MASK to SEGS」遮罩到 Seg 來(lái)將需要重繪的部分給到「Detailer (SEGS)」的“Seg”，如下圖所示。需要注意的是在「Detailer (SEGS)」節(jié)點(diǎn)中，也需要將“cfg”數(shù)值調(diào)為 1，并且將“denoise”數(shù)值下調(diào)。

局部重繪節(jié)點(diǎn)

最后在「CLIP 文本編碼」中輸入想要替換的內(nèi)容，如下圖，我想將女孩的頭發(fā)變成紅色，就要輸入“red hair”。如下圖，這里我把“denoise”降噪設(shè)置為了 0.95。如果設(shè)置為 1 的話，相當(dāng)于 100%參考提示詞，最終出圖的頭發(fā)會(huì)完全變成另外一個(gè)樣子，如下圖 2。

局部重新繪制 denoise=0.95

denoise=1

六、Flux 高清放大修復(fù)工作流搭建

最后給大家分享的是 Flux 的高清放大修復(fù)，該工作流跟 SD 的高清放大差不多，都是用到「Ultimate SD Upscale」節(jié)點(diǎn)，在文生圖中，只需要把該節(jié)點(diǎn)連接到「K 采樣器」后面就可以了，連接方式也比較簡(jiǎn)單，該節(jié)點(diǎn)中雖然參數(shù)很多，但是需要了解的只有“upscale_by”、“cfg”、“scheduler”和“denoise”四個(gè)參數(shù)，它們的作用分別是：

upscale_b：放大倍數(shù)

cfg：跟采樣器中一樣，設(shè)置為 1

scheduler：跟采樣器中一樣，設(shè)置為 simple

denoise：重繪幅度，默認(rèn) 0.2

下圖是放大前后的對(duì)比，可以看出，發(fā)絲、盔甲等細(xì)節(jié)都比放大前要清晰很多。

放大前后效果對(duì)比

整個(gè)工作流如下：

文生圖高清修復(fù)放大工作流

在圖生圖中，我們也可以使用「Ultimate SD Upscale」節(jié)點(diǎn)將圖片進(jìn)行高清放大修復(fù)，搭建的流程差不多，但是不需要「K 采樣器」了，直接連接到「Ultimate SD Upscale」節(jié)點(diǎn)就行。然后在「CLIP 文本編碼器」中輸入一些關(guān)于質(zhì)量的詞匯，如：high quality, detailed, highly detailed, hd, 8k , 4k, sharp

整個(gè)工作流如下圖：

圖生圖高清修復(fù)放大工作流

總結(jié)

ok，今天的分享到這里就結(jié)束啦，本篇文章主要幫助大家從 0-1 熟悉 Flux 模型和之前模型的差異點(diǎn)，并分享了 flux 模型基本工作流的搭建方法，包括文生圖、圖生圖、局部重繪、高清放大。不難發(fā)現(xiàn)，工作流中很多節(jié)點(diǎn)和之前的 SDXL、SD1.5 沒(méi)有太大改變，只是在模型加載和提示詞調(diào)整這兩部分有些許的變動(dòng)，所以大家不用擔(dān)心 Flux 的上手難度會(huì)很大。了解了原理之后，我覺(jué)得反而比之前的工作流更精簡(jiǎn)、也更容易理解了。

下一篇文章，我會(huì)和大家分享 Flux 的進(jìn)階工作流，包括換背景、萬(wàn)物遷移、風(fēng)格遷移、修復(fù)手型等工作流，期待一下吧。

謝謝！

喜歡我的可以關(guān)注下哦，堅(jiān)持輸出 AIGC 普惠知識(shí)，讓設(shè)計(jì)師 AI 不迷路。