Hard Посоветуйте видеокарту для работы с нейросетями

Вообще, по идее, за 10000 рублей можно купить Tesla V100, но только SXM2. И я не знаю, есть ли на Aliexpress такие цены. Вроде на Taobao можно купить. Но к ней потребуется плата-переходник на PCIe. Почему-то эти платы очень дорогие, дороже самой видеокарты. Я в одном видео на YouTube видел, все вместе должно стоить где-то 30000 рублей.

А я все-таки нашел тестирование P102-100 в SDXL, смотрите:

Там по результатам тестирования для картинки 1024x1024 нужно 69.7 секунд. Но не понятно, сколько там шагов. Тем не менее, там еще есть тестирование на sdxl-lightning-4step, на сколько я понимаю, эта модель предназначена для генерации картинок в четыре шага. С sdxl-lightning-4step генерация занимает 20.56 секунд, разделить на 4, получится 5 секунд на шаг. То есть, 100 секунд для 20 шагов получается. Это в принципе терпимо, но я боюсь, что если я начну использовать всякие LoRA да ControlNet-ы, то генерация станет невыносимо медленной, так как памяти начнет не хватать, а урезанная шина PCIe будет мешать восполнять ее с приемлемой скоростью.

Поэтому у меня сейчас муки выбора - или взять "прямо здесь и сейчас" P102-100, или достать денег на Tesla V100 SXM2. Преимущество P102-100 не только в дешевизне, но и в том, что можно купить быстро. Что касается Tesla V100, то я придумал, где на нее можно взять денег - у меня есть фигурки по Touhou, но к Touhou я уже давненько охолодел, поэтому были мысли их продать еще до того, как захотел купить видеокарту для нейросетей. Продав их по моим прикидкам можно покрыть больше половины стоимости видеокарты. Но во первых, нужно время, чтобы их раскупили. И еще неизвестно, за сколько их раскупят. Наверно не меньше месяца потребуется. А я вообще боюсь, что их и за полгода не удастся распродать, купят только одну-две. А потом еще с Taobao придется доставку ждать.

 

Это медленнее моей 1660 супер... Там уходит секунд 80-90. И это очень плохо.)

 

Да, от сотни это 32 гигабайтные. 16 гигабайтные гораздо дешевле, вот за 26тр TESLA V100+SXM2 to PCIE : https://aliexpress.ru/item/10050092...w.productlist.search_results.2.9ca4701aUvSqWL
Но надо понимать, что если нае-ут, то это с концами. 4 т р — мелочь, переживать не будешь, вот 26…

 

Я вот нейронками не занимался. Но я ведь правильно понимаю, что бы их генерировать, нужно ещё будет какую то подписку оплачивать? Или это уже какие то готовые сервисы, где не нужно свои мощности?

 

Ты можешь либо генерировать на онлайн-сервисах, там нужно либо донатить, либо тратить время на лайки и прочую муть, чтобы зарабатывать баллы на генерации. Как правило, более 30 картинок в день чаще всего не получится сгенерировать.
Но ты можешь генерировать локально - то есть на своём личном ПК - и тут платить не надо. Всё-таки если ты не будешь гонять нон-стопом генерации, то и счет за электричество будет не заоблачным.

 

Именно

 

Я не знаю, касается ли этих карт, но когда хотел себе купить TESLA P40/K80, то читал что есть проблемы на платформе X79. В bios требуется включать 4G Decoding (который может глючить), поэтому оставил эту затею.

 

Это в чем? Forge? AUTOMATIC1111? В том видео автор говорил, что он тестировал в ComfyUI.

Вроде, на сколько я знаю, Forge должен быть быстрее, чем AUTOMATIC1111. Про ComfyUI не знаю. Наверно он примерно по скорости как AUTOMATIC1111? В принципе, в ComfyUI весь процесс можно "собрать", поэтому наверно скорость зависит от того, сколько всего там собрано вместе. Но если собрать что-то аналогичное txt2img в AUTOMATIC1111, то скорость будет наверно как в AUTOMATIC1111?

Могло бы быть хорошо, но нет системы охлаждения в комплекте. Чисто в теории, можно бы было попробовать приспособить систему охлаждения от "обычной" видеокарты, но нужны достаточно прямые руки. Плюс непонятно, как это осуществить - у SXM2 радиатор прикручивается сверху, а на "обычных" видеокартах - с обратной стороны платы.

Вообще, я нашел плату-переходник на PCIe подешевле, но она безобразная, в виду отсутствия какого-либо крепления. Сами V100 на Aliexpress нашел за примерно 14000 рублей.

Меня даже больше беспокоит не риск обмана или отвала\других поломок.

Первое, чего я боюсь, что если возьму P102-100, то если я начну на ней выполнять какие-либо более сложные задачи, со всякими LoRAми и ControlNet-ами, то скорость генерации упадет до невыносимой, из-за чего карта окажется бесполезной. 4000 рублей может и не такие большие деньги, но все равно деньги, будет очень грустно просто так выкинуть их на ветер.

Второе опасение - ну возьму допустим я Tesla V100, проблем со скоростью и нехваткой памяти с наибольшей вероятностью не будет. Она даже Flux тянет. Но есть опасение, что нейросети не смогут решить мои задачи, поиграюсь и заброшу. И деньги тоже будут выброшены на ветер, только уже 30000 рублей.

Ну вот, еще одна проблема. А в чем эти глюки выражаются?

 

Разумеется, в Forge. A1111 будет еще дольше мурыжить.

Ставлю на этот вариант.

Поэтому нужно брать 3060, на которой помимо умножения матриц и поиграть можно будет.)

 

Значит берешь на пробу за 4 т р. Если ненужный будет, может быть, обратно еще за пару тр Сбагришь.

 

Не то, чтобы глюки, а не запускается.
Обсуждаем NVIDIA Tesla K80 GDDR5 24 ГБ, ее достоинства, недостатки и альтернативные варианты

 

Automatic1111_1.6, sd_xl_base_1.0_0.9vae.safetensors:
512х512, На 0,5гб залазила за использование физической видеопамяти:
20/20 [00:38<00:00, 1.94s/it]
20/20 [00:39<00:00, 1.95s/it]
20/20 [00:39<00:00, 1.86s/it]
в 4 раза медленнее чем Forge_2.0

1024х1024, На 1,2гб залазила за использование физической видеопамяти:
20/20 [05:59<00:00, 17.99s/it]
20/20 [04:45<00:00, 14.28s/it]
20/20 [04:45<00:00, 13.97s/it]
в 11 раза медленнее чем Forge_2.0

 

А как ComfyUI в скорости генерации по сравнению AUTOMATIC1111? Дело в том, что автор видео говорил, что тестировал в ComfyUI на неких "настройках по умолчанию". Мне кажется, что если использовать Forge, то возможно эта же P102-100 будет показывать результат 70-80 секунд на генерацию картинки.

Все мои игровые потребности (пока что) покрывает GTX 750 Ti. Лично для меня RTX 3060 будет бесполезна в плане игр, так как все, что я смогу запустить на RTX 3060, я смогу запустить и на GTX 750 Ti. Вообще, я даже не знаю, что бы такого сейчас на компьютере выходило, во что бы было интересно поиграть. По факту, большинство из игр, которые сейчас выходят все равно уступают по интересности тем, что выходили на старых приставках (речь прежде всего про Mega Drive и Dendy). И даже по графике чаще всего уступают (по сравнению с 16-битными приставками), либо в техническом исполнении нормально, но мне не нравится визуальная стилистика. И это еще не учитывая то, что для нормальной работы большинства (наверно почти всех) из них RTX 3060 просто не нужна.

Если первый сценарий все же случится, то есть риск, что не смогу точно понять, смогут ли нейросети мне помочь, или нет, так как просто задолбаюсь с медленной скоростью генерации.

 

Будешь На ночь оставлять, к утру 5-10 картинок по любому нарисует. А там будет понятно, решают они твои задачи, или нет. Ну или потрать в районе один т р на это же, На аренду видеокарт в онлайне.

 

Тут ведь дело не только в количестве картинок, сколько в том, что результат часто бывает не такой, как ожидалось. В итоге, после генерации нужно сразу посмотреть, что не так и подумать, что можно изменить, чтобы получилось, что хотел. Да и вообще понять, как делать так, чтобы сразу получалось, что надо, чтобы не сидеть и не пытаться подбирать результат методом тыка.

Я потратил уже 500 рублей на аренду видеокарт, причем выбирал варианты подешевле, типа P100 за 15 руб\ч, но так пока почти ничего не достиг.

 

Ничего, на следующую ночь поменяешь промт, утром посмотришь что получилось … если скажешь долго, — я напомню, что ты уже полтора года с этим телишься, за это время можно было даже таким слоупочным макаром, все это 10 раз выяснить, и если оно тебе после этого нужно было бы, продать её обратно за полцены, накопить на нормальную видеокарту, и продолжить. Но в место этого: а если то, а если это, если рак на горе не посвистит.

это 33+ чеса... Очевидно, что было нецелесообразно арендовать дешманскую видеокарту, которая одну картинку по 10 минут рисует…

 

Ну вообще-то не 10 минут, а одну. Далее, Там больше времени уходит не на генерацию, а на то, чтобы прописывать запросы и пр. Я конечно знаю, следующим будет совет придумывать все запросы заранее, но это немного неудобно, надо напрягаться и сразу вспоминать, чего хотелось бы нагенерировать, К тому же, как уже говорил, результат часто бывает не такой, как ожидалось, приходится на ходу править запрос, придумывать, что бы еще изменить. А если пользоваться img2img, то там еще больше хлопот, особенно, если использовать inpaint.

А еще, прямо тут же бывает нужно искать\скачивать нужные лоры.

Иногда хочется просто поэксперементировать. Иногда надо вдумчиво чего-нибудь изучить. Например пробовал ControlNet, но что-то ничего пока у меня толкового не вышло, какая-то дичь пока получается. Но разбираться просто опускаются руки, так как приходится спешить, денги даже за простой берут, а в такой спешке трудно вдумчиво чего-либо изучить.

Может лучше кто-нибудь, нет ли какого-либо онлайн-генератора на основе Stable Diffusion, без цензуры, с оплатой в рублях, чтобы были все те же возможности, то и в WebUI? А еще, чтобы можно было использовать любые чекпоинты, LoRA и прочие модели, чтобы были доступны ControlNet.

Какого-либо аналога ComfyUI онлайн нет?

 

Ты думаешь если оплата будет в рублях, это будет дешманский-дешман… Ну вот в рублях: Flexy - 2000р в месяц, - половина майнинговой карты, на которую ты не можешь решиться потратить незначительную сумму в 4000 рублей. не говоря уж насколько это дороже аренды за час в 15 рублей…

 

"Доктор, дайте мне таблеток от жадности. Да побольше!"

 

Золотой и забавный тред.

Возможно, есть очень бесплатный вариант. Попробуй поискать коллабы гугла для генерации картинок. Лоры и чекпоинты будут подгружаться с твоего гуглодиска. 20 гигов (или сколько там по умолчанию есть на гуглодиске) тебе на проверку своих хотелок хватит. А облачные видюхи там уровня RTX 4070. Ссылок не дам, но скорее всего где-то такой коллаб есть. Попробуй поискать. Но контролнеты вряд ли будут. Это бесплатно, но в день лишь до 4 часов использования в зависимости от глобальной нагрузки серваков гугла.

Я не знаю, куда смотреть ещё бесплатнее.
Нагенерируешь своих ведьмочек от пуза и будешь ими любоваться.

А вообще, что мешает на том же сивитае погенерировать и понять, нужны ли тебе нейронки или нет?