Hard Посоветуйте видеокарту для работы с нейросетями

Их пузырь начал трещать по швам и они отключили большинство чекпоинтов от онлайн-генератора. Подключают обратно через аукционы)

 

Если не ошибаюсь, вроде ещё год назад там обрубили возможность запуск любых нейросетей, ибо развелось халявщиков.

 

У меня через гуглоколлаб получалось тренировать лоры (чтоб не тратить бузы на сивитае и для проверки) и делать музыкальные каверы (так себе, правда, т.к. нужно глубоко вникать). Не исключено, что генерировать можно. надо лишь поискать коллаб.

 

Нет, не думаю. Просто сейчас оплачивать зарубежные сервисы\нитернет-магазины напрямую невозможно, нужно либо иностранную карту - у меня ее нет и нет возможности завести, либо не знаю, может для оплаты зарубежных сервисов есть какие-то посредники, но у них скорее всего будут накрутки\завышенный курс. Вообщем, если говорить короче, чтобы меньше было проблем с оплатой.

Вообще, у них там такое сравнение, на мой вкус, не в их пользу.

Flexy:



Любая другая модель:



Как по мне, "Любая другая модель" выглядит куда красивее. Ну разве что отдельные детали на автомобиле на их модели лучше.

Но в любом случае, это не то, что мне нужно. Подробно не разбирался, но у них указано "собственная архитектура", значит о каких-либо моделях Stable Diffusion можно сразу забыть.

Вообще, что-то уже P102-100 мне кажется сомнительной покупкой. Я что-то думаю, может на самом деле купить RTX 3060 12 ГБ? Я сейчас посмотрел на Авито, стоит 19000 рублей, Авито пишет "рыночная цена". Но где-то слышал, Авито может неправильно оценивать рыночную цену. Это нормальная цена? Я думаю, может она и не сильно хуже Tesla V100 будет. При этом по предварительным прикидкам должна стоить где-то 30000 рублей. И это с Taobao, и еще неизвестно, включает ли в себя эта цена услуги посредника, или нет. Еще будет головная боль с поиском дешевого посредника, который при этом мог бы возить такие товары. И еще потом ждать доставки сначала на склад продавца, потом из Китая.

Я вспомнил, что на сайте, где я арендую рабочие станции с видеокартами для аренды доступна Tesla V100. Можно будет арендовать и посмотреть, какая у нее будет скорость. А потом сравнить с результатом RTX 3060 12 ГБ. Если RTX 3060 не будет так уж сильно отставать, то можно наверно взять ее, так как дешевле, и проще купить. Но вот только где узнать, сколько времени тратит RTX 3060 на генерацию картинки?

Для начала, я нашел такую статью. Пишут: 27.2 сек, 26.8 сек с LoRA (почти не отличается, в пределах погрешности), 89.2 сек с LoRA и ControlNet. Это все для разрешения 1024x1024 в SDXL. Но не понятно, сколько шагов. В принципе, для первой картинки в статье даны параметры генерации, там 30 шагов. Но тестирование проводилось на других картинках. Можно предположить, что количество шагов для них такое же, но уверенности нет.

Далее, нашел другую статью. В ней говорится:

Но все равно, все немного расплывчато. "в то время как в A1111 это может быть около 35 секунд" - это сколько шагов? 30?

И еще такое сравнительное тестирование. Результаты у него какие-то противоречивые. У RTX 3060 12 ГБ результат - 75.3 сек. Что-то сильно дольше, чем у тестов выше.

И еще, что-то я только сейчас подумал, а будет ли вообще работать RTX 3060 на моей материнской плате?

Вот в этом видео:

Говорится, что современные видеокарты не работают с устаревшим BIOS. В принципе, там и дается решение - поставить вторую, совместимую видеокарту. Чисто в теории, можно так же поставить GTX 750 Ti через райзер, как я хотел сделать с P102-100 или Tesla V100.

Я как-то заходил на этот Google Colab, там все как-то очень сложно и непонятно выглядит. Хотя наверно ради халявы стоит поразбираться. Но все равно не будет так же удобно, как на своем компьютере. Ну и еще, слышал, что теперь уже нельзя использовать Colab для таких целей.

Мне очень хотелось бы разобраться, как этим ControlNet пользоваться, так что хотелось, чтобы был и он.

 

Там у него сразу 2 графика, и по времени, и по шагам. Смотри по шагам (3060 12гб):
1024×1024 SDXL: 1,24ш (75,3сек)на автоматике, 1,44ш (58,2сек) на фордже. 58,2/1,44=40,41 шага.
1024×1536 (SDXL + LoRA) - 0,79ш (112,9сек) на автоматике, и 0,93ш (97,1сек) на фордже.
1024×1648 (SDXL + LoRA + ControlNet) - 0,43ш (388,6сек) на автоматике, и 0,61ш (152,2сек) на фордже.

плохо что в этом тесте нет 2060 6гб на Forge, только на автоматики, и производительность не сравнить, и можно подумать что это видеокарта непригодно для генерации. попробовал последнюю версию модели что в этом тесте - animagineXL40_v4Opt.safetensors, 20 шагов, Forge 2.0:
1024х1024 - 24сек. на протяжении всей генерации загрузка видеопамяти не превышает 5,6гб, с 1 лорой и без.
1024х1512 - 42сек. на этапе VAE загрузка видео памяти на несколько секунд превышает 6гб, и доходит до 7,8гб. первая генерация после применения 1 лоры - 50сек, последующие две генерации с ней же также по 42сек. с повышением разрешения уже начинает картинка сильно портиться.
1024х1760 - 49сек
1024х2048 - 57сек
1512х2048 - 90сек
2048х2048 - 138сек
2048х3024 - 5 min. 6.7 sec. через хайрес фикс. загрузка видеопамяти была 15-18гб, естественно все недостающие было в оперативной (придел 22гб).

тест с генерацией нескольких изображений одновременно на 2060 6гб - Forge 2.0, animagineXL40_v4Opt.safetensors, 20 шагов

	Column 1	Column 2	Column 3	Column 4	Column 5	Column 6	Column 7
0	Разрешение генерации.	Количество генерируемых картинок одновременно.	Сколько секунд заняла генерация.	Сколько секунд из них заняла бы генерация одной картинки.		Сколько секунд заняла бы генерация этих картинок по отдельности.	медленнее на секунд.
1	1024х1024	1	24,6	24,6		24,6
2	1024х1024	2	46,3	23,15		49,2	2,9
3	1024х1024	3	61,8	20,6		73,8	12
4	1024х1024	4	77,5	19,375		98,4	20,9
5	1024х1024	5	97,7	19,54		123	25,3
6	_
7	1024х1512	1	40,7	40,7		40,7
8	1024х1512	2	68	34		81,4	13,4
9	1024х1512	3	94,8	31,6		122,1	27,3
10	1024х1512	4	131,5	32,875		162,8	31,3
11	1024х1512	5	400,8	80,16		203,5	-197,3
12	снизил использование видео памяти с 5100 до 4200:
13	1024х1512	5	200,9	40,18		203,5	2,6
14	Ну и с 15 шагами как в том тесте:
15	1024х1024	5	85,1	17,02
16	1024х1512	5	140,4	28,08

на 2060 6гб в Forge, с генерацией на SDXL моделях всё отлично.

 

Это неправильный подсчет. Там у них 15 шагов. Параметры генерации есть под спойлером в начале каждого теста. Там же есть ссылка еа скачивание картинки, внутри которой есть параметры генерации.

Мне было непонятно, почему 15 шагов так долго генерируется. Но сейчас снова открыл статью через машинный переводчик и заметил кое-что, чего не заметил вчера - там под картинкой с временем генерации написано "This is the generation time for five illustrations." (машинный перевод, оригинал - "イラスト5枚分の生成時間です。"). То есть, это сразу пять картинок генерируется за это время. Я так понимаю, просто поставили Batch size=5? Тогда понятно, почему так много времени уходит, для пяти картинок это даже быстро. А в тестах SD 1.5 там вообще по 10 картинок генерируют.

Сейчас хочу арендовать Tesla V100, проверить скорость генерации, чтобы сравнить с RTX 3060 12 ГБ. Вопрос: надо ли под нее как-то специально настраивать AUTOMATIC1111? Например прописывать параметры коммандной строки или еще что-либо такое, или параметры по умолчанию подойдут?

И еще, сразу спрошу, чтобы потом не писать еще много сообщений с вопросами. Подходит ли RTX 3060 12 ГБ для обучения LoRA?

 

Никто так и не ответил.

Тем временем, я протестировал Tesla V100. Тесты все те же, что и на том Японском сайте, но только SDXL.

1024x1024 - 35.4 сек.

1024x1536, с LoRA - 1 мин. 8.3 сек.

1024x1648, с LoRA и Controlnet - 1 мин. 52.2 сек.

 

Да. Подходит. Но с появлением NoobAI смысла в них стало сильно меньше.

 

Вдвое быстрее чем 3060. Но вот если генерация картинок не зайдет, либо надоест, 3060 можно использовать для развлечений. а Tesla ни к чему больше не пригодна. Да и сбыть с рук 3060 будет в 100 раз проще.

 

??? Не понял. Можете объяснить этот момент подробнее?

Кстати, забыл сказать, так же, как и на том сайте, генерировалось по 5 картинок сразу.

Как уже говорил, мне "для развлечений" RTX 3060 очень избыточна.

И еще раз спрошу: нормальная ли цена в 19000 рублей на Б\У RTX 3060 12 ГБ?

 

в том тесте 3060 12гб "1024×1024 SDXL: 1,24ш (75,3сек) на автоматике".

У перекупов всё бу примерно на 15-20% дешевле нового. новые 3060 сейчас от 29000, -33%=19430. И потом, что ты прицепился к "нормальносте" цены, думаешь если цена "нормальная", ты её без тщательный проверки стресс тестами 1-2 часами, обязательно в хорошем состоянии купишь? — ничего подобного.

 

Проверять конечно нужно, но мне просто хотелось узнать цену, на которую можно будет ориентироваться.

 

Открываете лоты и смотрите, по чем продает большинство.
Это цена непостоянна, потому что рынок.
Новые сейчас от 25000.

 

NoobAI обучалась на более новом и большем объеме картинок и знает намного больше персов, чем уже сильно устаревшие пони-модели.

Я, кстати, проверил: SD 1.5 с параметрами --all-in-fp32 и -always-high-vram занимает у меня ровно вдвое больше места во VRAM, чем весит (что логично, ибо хранится она в fp16). То есть если видеокарта не поддерживает fp16, вес модели можно смело умножать на 2, именно столько VRAM ей и понадобится. Влезет ли 6-гиговая SDXL в 10-гиговую видюху, не поддерживающую операции в fp16 - вопрос риторический.

 

@Talking_Sword, "Как уже говорил, мне "для развлечений" RTX 3060 очень избыточна."
Дипсика локального можно запустить, в олама или лмстудио.

 

Только это будет совершенно не тот дипсик)

 

@Forgettable, да ладно, пятилетка может тоже что-то умное сказать :-) правда, с ним пока ничего кодить не приходилось толкового (в отличии от сетевого)

 

Про избыточность видюхи.

Всё равно всё упирается в память. И 12 гб сейчас - "джентльменский стандарт", как я ПОНИл.

1080ti с 11 гигами набирает чуть больше попугаев, чем 3060 с 12 гигами.

 

Это минимум. Иначе будешь мучиться как я на своей 1660 супер с 6 гигами)

 

@Forgettable, да и это обидно, потому что разница в цене, никто говоря 11 и 19 тыщ.)