Hard Посоветуйте видеокарту для работы с нейросетями

Посмотри на разницу в ценах предыдущих *060/ti/super, а потом цены на 5060/ti - сильно удивишься

Не знаю, откуда ты взял все эти цифры, у нее 12 ГБ будет )

 

Для SDXL хватит уровня RTX 3060, причём с запасом, она даже потянет флюкс и hi-dream с соответствующей квантовкой. На б.у. рынке можно найти относительно дёшево.
Но если ты хочешь ждать картинку на SDXL по 5 минут, то тут хватит и gtx 1650 4gb.

На gtx 1650 у меня было по 12 секунд на шаг на SDXL. В одной картинке от 20 до 35 шагов в зависимости от твоей жадности.
на rtx 3060 у меня по 0.9 секунд на шаг.

На флюксе (шмеле или деве) с 3060 у меня по 5 секунд на шаг. На картинку хватает 20 шагов.

 

У P102-100 10 ГБ памяти. Чекпоинты SDXL или Pony весят по 6 с чем-то ГБ, ЛоРЫ, которые я видел, весят совсем немного, меньше гигабайта. То есть, получается ничего страшного от урезанной шины. Но есть еще Flux, а вот там чекпоинт уже весит где-то 20 ГБ, то есть, все будет очень плохо от урезанной шины.

Да, я находил это сам, но там нет CMP 50HX. На сколько я понимаю, там скорость в итерациях в секунду. А можно ли как-то по этим цифрам расчитать время генерации картинки? То есть, например, если у вашей карты 5.18 ит\сек и она генерирует картинку за 20 секунд, то сколько будет генерироваться картинка на карте с 3.55 ит\сек?

И я еще пробовал генерировать на арендованной GTX 1080 Ti - генерировалось за минуту с небольшим, при этом разрыв у нее по тем данным с Reddit не очень большой с RTX 2060, но при этом время значительно больше. Что-то не очень это поонятно.

1. Откуда такая информация?
2. Я так понимаю, это какая-то еще невыпущенная карта?

А вообще, чего такого можно найти из Б\У за 30000? Я что-то не думаю, что новая карта будет выгоднее Б\У.

Есть вон Tesla V100 SXM2 16 ГБ на плате-переходнике под PCIe:

Конечно знаю, Forgettable будет критиковать из-за автора канала. Но ведь в видео не 100% вранье? Ну даже если в видео неправда, то что еще есть из Б\У за 30000, что бы могло показать такую же производительность в Stable Diffusion? В отличии от майнинговых карт, эта, по идее, приспособлена для нейросетей, в видео даже Flux показан, то есть, даже Flux можно будет побаловаться.

Не хочу.

Это в Forge или в AUTOMATIC1111?

 

Фордж.
В ReForge вроде как есть небольшие ускорения, но они в пределах пары процентов в лучшем случае.

 

Есть в первоисточнике:
SD WebUI Benchmark Data

20 шагов, 1м случае - 4 секунды, во 2м - 6 секунд. Страны что ты не можешь сам посчитать. Но и по скорости, вероятно, этот тест на сд1, он примерно с такой скоростью и генерирует у меня 512 х 512 20 шагов.

--- добавлено 16 июн 2025, предыдущее сообщение размещено: 16 июн 2025 ---

ну и на модели v1-5-pruned-emaonly, там P102-100 в 2 раза быстрее чем CMP 50HX

 

Не очень могу понять, как это правильно читать. Не совсем понятно, что означет "3.08 it/s 3.24 it/s 3.39 it/s" (почему сразу три значения?). К тому же, а вдруг там использовали модифицированные драйвера, в них вроде название устройства меняется, значит интересная мне карта может быть там вообще под другим названием.

К тому же, там у одной и той же карты могут сильно различаться результаты (поискал P102-100, для примера). Этот момент тоже не слишком понятен.

Я не знаю, как правильно считать. Если разделить 5.18 на 3.55, то получится 1.46 (округлено в большую сторону), то есть, RTX 2060 будет 146% по отношению к P102-100. По идее, время, затраченное P102-100 будет тоже 146% по отношению к RTX 2060? Если так, то что-то не сходится. Я помню пробовал арендовать GTX 1080 Ti, на ней у меня картинка генерировалась где-то минуту (чуть меньше 50 с чем-то секунд). Разрешени 896x1152 или 1024x1280 (без HiRes.fix), 20-25 шагов на модели Pony или SDXL. На Tesla P100 примерно так же.

А тут, если считать по цифрам выше, то P102-100 вообще должна генерировать SDXL, 1024 х 1024, 20 шагов за 29 секунд. Что-то не сходится. Или я на арендованной машине что-то не так настроил.

 

Разные модели, в столбце сетингс они. Гугли название моделей, и смотри на какой архитектуре они основаны. Естественно, желательно сравнивать производительность на одних и тех же моделях.

Судя по скорости, все тесты P102-100 на моделях основанных на сд1.

--- добавлено 16 июн 2025, предыдущее сообщение размещено: 16 июн 2025 ---

Надо полагать, несколько запусков теста. Зачастую на последующих запусках генерируется быстрее чем на первых.

 

Опечатка. На самом деле хотел написать "29 секунд" вместо "20 секунд". Отредактировал сообщение.

Можно ли прикинуть время генерации в SDXL, зная результаты для RTX 2060 и P102-100 в SD1, а также время генерации в SDXL на RTX 2060?

 

1 изображение за раз, 2, 4...
В заголовке таблицы об этом указано: Note | Performance is measured as iterations per second for different batch sizes (1, 2, 4, 8 ...) and using standardized txt2img settings

 

reason1, я заметил это сразу, но непонятно, почему-то значений дано только три, но при этом вариантов batch size больше четырех (1, 2, 4, 8 ...).

 

Попробуй. с моей 2060 6 гигабайт, Forge_2.0 (На одну генерацию в терминале 3 результата выдает):
v1-5-pruned-emaonly.safetensors, 512х512:
20/20 [00:03<00:00, 6.46it/s]
20/20 [00:03<00:00, 5.74it/s]
20/20 [00:03<00:00, 6.46it/s]
8/8 [00:01<00:00, 6.09it/s]
8/8 [00:01<00:00, 4.70it/s]
8/8 [00:01<00:00, 6.59it/s]
4/4 [00:00<00:00, 5.94it/s]
4/4 [00:01<00:00, 3.58it/s]
4/4 [00:01<00:00, 7.91it/s]
2/2 [00:00<00:00, 6.15it/s]
2/2 [00:00<00:00, 2.63it/s]
2/2 [00:00<00:00, 12.41it/s]
1/1 [00:00<00:00, 4.90it/s]
1/1 [00:00<00:00, 1.31it/s]
1/1 [00:00<00:00, 1.32it/s]
sd_xl_base_1.0_0.9vae.safetensors, 1024х1024:
20/20 [00:22<00:00, 1.12s/it]
20/20 [00:24<00:00, 1.22s/it]
20/20 [00:24<00:00, 1.11s/it]
8/8 [00:09<00:00, 1.16s/it]
8/8 [00:10<00:00, 1.36s/it]
8/8 [00:10<00:00, 1.07s/it]
4/4 [00:04<00:00, 1.12s/it]
4/4 [00:06<00:00, 1.65s/it]
4/4 [00:06<00:00, 1.09it/s]
2/2 [00:02<00:00, 1.11s/it]
2/2 [00:04<00:00, 2.22s/it]
2/2 [00:04<00:00, 1.81it/s]
1/1 [00:01<00:00, 1.13s/it]
1/1 [00:03<00:00, 3.56s/it]
1/1 [00:03<00:00, 3.56s/it]
в 8 раз медленнее. Но тут и до запуска Fordжа полтора гигабайта занято в.памяти, и сама модель 6 гигабайт весит.

sd_xl_base_1.0_0.9vae.safetensors, 512х512:
20/20 [00:09<00:00, 2.04it/s]
20/20 [00:09<00:00, 2.06it/s]
20/20 [00:10<00:00, 1.85it/s]
20/20 [00:10<00:00, 2.06it/s]
4 результата выдала...

и оттуда, с автоматика111111:
1080 Ti
v1-5-pruned-emaonly.safetensors [6ce0161689]
1.29 it/s
3.4 it/s
3.85 it/s
sd_xl_base_1.0_0.9vae.safetensors [e6bb9ea85b]
1.63 it/s
1.8 it/s
1.68 it/s

2060 SUPER
sd_xl_base_1.0.safetensors [31e35c80fc]
0.44 it/s
0.34 it/s
0.18 it/s
Памяти на 2 гб больше, но что то не помогает, производительность ещё вдвое ниже.

делишь на 20 шагов, и получаешь 1,45 итерации в секунду.

--- добавлено 17 июн 2025 ---

На каждую генерацию в консоли по 3 результата выдает, видимо, они там и записаны (Automatic1111_1.6):

Код:

100%|██████████████████████████████████████████████████████████████████████████████████| 20/20 [00:05<00:00,  3.72it/s]
Total progress: 100%|██████████████████████████████████████████████████████████████████| 20/20 [00:05<00:00,  3.38it/s]
Total progress: 100%|██████████████████████████████████████████████████████████████████| 20/20 [00:05<00:00,  5.94it/s]

модель v1-5-pruned-emaonly.safetensors [6ce0161689].

 

Вот только во VRAM они занимают намного больше 6 ГБ). Даже с --clip/unet-in-fp8, а для vae вообще придется выбирать fp32, потому что с fp16 будут черные квадраты на выходе, а bf16 не поддерживается видеокартой.

> Посмотри на разницу в ценах предыдущих *060/ti/super, а потом цены на 5060/ti

Да.

Выше пост от @RaymanM. Лучше 3060 на 12 ГБ ты вряд ли что-то найдешь.

Сэкономленные несколько тысяч потом утекут на замену кулеров, а то и вообще всей видеокарты.)

 

Я скажу так... Чёт не заметил, как написал многабукав.
Нейронки бывают разные. Языковые. Музыкальные. Видео. Картиночные.
Если ты собираешься чем-то из этого заниматься профессионально, то готовься морально и бери что-то минимум на 16 гигов видеопамяти. Для подавляющего большинства моделей этого хватит.

Для генерации картинок на том же иллюстросе (читай - вариациях SDXL) тебе впритык хватит любой видеокарты с 8 ГБ видеопамяти. Из них модель с VAE будет есть почти 7 ГБ. Плюс сколько-то кушает система. Также сюда влезет одна-две лоры. Всё. Гигабайты кончились. Если хочешь забавляться с контролнетом и/или регионал промптером (или аналогами), то тебе уже надо минимум 10 гигов видеопамяти. С учётом того, как фордж любит утекать видеопамять, тут надо минимум 10 ГБ в любом случае. Ну разве что твой максимум - генерировать анимешных девчат и парней без особых изысков. Тогда хватит 8 ГБ видеопамяти. Но без запаса.
Если тебе интересны модели рангом выше то в данный момент нет ничего относительно свободного и доступного чем вариаций Flux и Hi-Dream (или пилящейся Chroma). Для этих уже надо минимум 12 ГБ видеопамяти для нормально квантованных моделей. При желании их можно запускать и на 8ГБ (есть версии), но могут быть... проблемы.

Если ты планируешь серьёзно работать со звуком, то там для размера блока в 1024 надо 2 ГБ видеопамяти, а для размера в 4096 - примерно 9 ГБ видеопамяти. То есть опять приходим к тому, что для крайне качественного нейрозвука надо 10 ГБ видеопамяти. Хотя это если ты аудиофил. В остальных случаях хватит и 6-8 ГБ за глаза.

Для работы с нейро-видео надо брать минимум 12 ГБ видеопамяти.

Но есть другой нюанс. Видеопамять - не основная характеристика. Если её мало, то процесс будет использовать оперативную память. Тот же фордж, например, грузит модели и в оперативку и в видеопамять (неудивительно, его автор юзал чатгпт для погромирования). То есть тебе ещё и потребуется добить опертивную память до значения видеопамяти. Ну или сделать так, что ОЗУ у тебя минимум 16 Гигов. Если переполнится ОЗУ, то будет свопиться файл подкачки. А тут тебе поможет только ссд, но всё равно так себе. Получается, что под новую видюху надо ещё и докупить памяти.

Видеопамять - самая быстрая в том плане, что она уже является частью видеокарты и оттуда до вычислительных блоков видеокарты буквально сантиметры. Оперативная память уже находится дальше и она в зависимости от архитектуры ЦП, МП и ОС уже общается с видеокартой через ЦП или напрямую. Но если у тебя недостаточно оперативки, то содержимое памяти будет улетать в файл подкачки на диск. В случае с M2 SSD даже высокие скорости не помогут (оно в раз 10-15 медленнее самой средненькой оперативки DDR4). И так будет постоянно, пока модель запущена. То есть генерация будет идти КРАЙНЕ медленно. Чекпоинт будет снова и снова переписывать свои части в видеопамяти, ОЗУ и ссд. В случае с HDD всё будет уже совсем плохо.

И вот тут получается, что условная 3060 (12 гб видеопамяти) на голом SDXL будет действительно проигрывать 4060(ti) и 3060ti (8 ГБ видеопамяти). Потому что модель влазит в видеопамять и всем всего хватает. А чипы и память там быстрее. 4060 (ti) и 3060ti будут быстрее 3060. Как и 5060ti. Это бесспорно. Но только добавь контролнет, лору и... Всё, видеопамяти не хватает. И тогда генерация у тебя будет на уровне 3060 или даже медленнее.

Карты от интела и амд для нейронок я особо не рассматриваю. Да, там есть свои аналоги куды (типа злуды), но там такая попоболь с запуском, что реально нвидия будет проще. Просто поставишь прогу и оно заработает. И без лишних танцев с бубном и прослоек, которые тоже жрут свою долю производительности.

И вот тут мы приходим к размышлениям о том, что же брать на нвидии. Наверняка ты будешь не только нейрогенерировать. То есть расчёт ещё и под игры. А раз так, то смотрим в сторону 10 и более ГБ видеопамяти. Чтоб был запас.
Тем более, в этом году обещают седьмых поней выпустить. Правда с учётом того, как плохо везде с генерацией на аурафлоу, я бы не ждал нормальной скорости генерации до следующего года.

Золотым минимумом на мой взгляд является RTX 3060. Тут тебе и 12 Гб видеопамяти и оптимизированные драйвера и довольно быстрый чип без урезанной шины между чипом и видеопамятью. Из минусов - жор и нагрев. Короче, для начального уровня этого хватит с запасом. Ты сможешь потянуть любую SDXL-модель. Любую. С несколькими контролнетами, прибамбасами и лорами. Я в ДНС брал за 30 тысяч рублей вариант от KFA2. Неизвестный для меня вендор, но работает хорошо. На авито наверняка можно выцепить дешевле. Как вариант, мониторь скидку на пеппере (правда некоторые тамошние ребята те ещё троллики и просто поехавшие). Из минусов 3060 - на ней для тренировки лоры на SDXL придётся потратить около часов 5-6 реального времени, так что коллабы и сивитай - твои друзья. Я лично не хочу столько времени подряд насиловать свою видюху. Я свои лоры тренировал именно там. Для сравнения - на 4090 лора на SDXL тренится за 20 минут с теми же параметрами...
Следующим интересным вариантом я вижу 4060ti/5060ti на 16 ГБ видеопамяти. Правда цена...

Итого, к чему мы приходим. Для картинок сейчас нет ничего популярнее SDXL и её вариаций. А это минимум 8 ГБ видеопамяти. Хочешь задел на будущее? Выбирай видюху помощнее и с большим количеством памяти. А если нвидия в следующем поколении также средние видюхи выпустит с 8 ГБ видеопамяти, то SDXL будет здравствовать ещё дольше.
Я выбрал 3060, потому что она относительно дешева, мощна и обладает минимальным запасом. В неё предположительно даже седьмые пони влезут (в требованиях обещают что-то около 10 ГБ).

И да. самое важное. 5000 поколение нвидии на фордже и его форках не работает. Только на его форках через аналоги злуды... Да, всё сломано напрочь из-за обновления внутренней куды. Тогда либо накатывать автоматик, комфи или ещё какую штуку. Так что у тебя из нормальных вариантов либо 3060, 40X0 (на 16 ГБ) или 4090.
Если дорого, то смотри что-то из 2000 поколения на 8 гигов видеопамяти. Для SDXL хватит.

Хочу отметить, что нейронки - это всё-таки роскошь, у которой требования к видюхам выше, нежели у обычных игр (те не умеют настолько задействовать все мощности видюх, причём все блоки сразу).

 

@RaymanM, глядя на вас с @Ogr 2, сделал вывод, что чем дальше от областного центра проживает человек, тем лучше он разбирается в нейросетях.

 

Как по мне, товарищ ОП хочет люто сэкономить, но при этом не хочет на условной GTX 1650 (4 ГБ ) по 5 минут генерировать картинку. На 1050ti (4 g b) примерно в два раза дольше.
Так что тут либо брать 2000 поколение с авито (какое оно? после майнинга?), либо амд с 8 ГБ памяти (при этом готовиться мучаться с форджем и его форками, т.к. там реально всё грустно), либо вообще не покупать видюху и юзать сивитай с аналогами для генераций. Ну либо генерировать процессором, но тогда время производства одной картинки надо будет увеличить в раз эдак 50 от текущего. А это уже страшно...

Конечно, остаётся вариант с рефабом 3060, но это уже лотерея. Хотя некоторые ничего так.

 

@RaymanM, я же вообще без какого бы то ни было сарказма, вот буквально то и имею в виду, что сказал)

 

Инфа 100%? И с какими параметрами?

Фордж - это форк автоматика.

 

починили:

 

Последняя стабильная версия форджа от 2024 года (https://github.com/lllyasviel/stable-diffusion-webui-forge), так что починили сторонними средствами через альтернативные библиотеки куды, за счёт которых на радеонах оно работает, -- запросто.

С обычными без добавления рекомендуемых.
Просто просишь сгенерировать картинку в 1024х1024 (832х1216 или 1216х832) любым чекпоинтом. Euler a. Без контролнетов и прочего.

У меня сейчас при генерации показало, что забито примерно 8 гигов с учётом браузера на иллюстросе, но это совсем впритирку.
То есть 8 гигов хватит, если ты будешь генерировать без окна браузера. А тех сотен метров, что не хватит, будут гоняться процессором из видюхи в ОЗУ. Не такое уж и сильное замедление получится, как по мне.
Тем более, что человек хочет сэкономить.

 

И ты ради экономии вместо 10 гб от 6 тр, советуешь 8 гб от 13 тр, либо 12 гб от 19 тр…