Нейросети и прочие ИИ

Для локального применения через text-generation-webui попробовал две последние китайские модели Qwen3 и DeepSeek-R1-0528-Qwen3. Для своей AMD RX 6600 выбрал максимальную версию, что влезает в 8 Гб - Q6_K:

• Qwen/Qwen3-8B-GGUF · Hugging Face
• unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF · Hugging Face

На удивление, Qwen3 работает довольно неплохо для своего размера по сравнению с чатом на сайте. Подходит для чувствительной информации.

С точки зрения текста Qwen3 пишет лучше - грамотно и меньше "странных" предложений:

DeepSeek-R1-0528-Qwen3:

 

Трейлер фильма "Чингисхан", который полностью сделан с помощью нейросетей. Утверждают, что в июне уже будут показывать в кинотеатре.
Снят по поэме Виктора Слипенчука 1964 года

- Смотреть не буду.
- Только помни, что ИИ не злопамятный. Он записывает.

Вам обычный фильм или органический?


Фильм по поэме Виктора Слипенчука «Чингис-Хан» получил приз в Каннах!
Фильм по поэме Виктора Слипенчука «Чингис-Хан» получил приз в Каннах! - Аргументы Недели

 

Извините, но - песня:
"Кот, который сам по себе"
https://www.riffusion.com/song/42a05e7f-9b9d-435c-84e1-8e57c781c052

 

Опробовал saiga_yandexgpt_8b_gguf IlyaGusev/saiga_yandexgpt_8b_gguf · Hugging Face
В восторге - работает очень быстро и на порядок лучше с русским текстом для сочинения:

Q6_K как раз влезает в 8 Gb видеопамяти.

 

Написано грамотно, но по содержанию же полный бред:

Что такое "тишина, разрываемая лишь гулким шумом кондиционера"? Кондиционер работает постоянно, либо он гудит, либо тишина. Так мог написать только кто-то, кто не знает, как работает кондиционер, и никогда не слышал гудения кондиционера. То есть ИИ.

Герой решил вызвать мастера, а не починить сам, потому что "не хотел, чтобы кто-то видел его в состоянии крайнего беспокойства" -- это вообще бредовое утверждение, в котором напрочь отсутствует логика.

 

Логика отсутствует, но смысл понятен. Кто не чинил, тот не поймёт "состояние крайнего беспокойства".))

 

Не бредовое, а вполне современное и актуальное.
Тип нервного расстройства, при котором любое возможное решение проблемы, вызывает нервное беспокойство.
Сейчас очень широко распространено.

 

Вы слишком много требуете от 8B параметров.

Да, модель на сайте Qwen3 в 235B пишет лучше, быстрее и логичнее.
При том, что прочие аналоги даже на русском могут не общаться
Но вы же не будет доверять чувствительную информацию онлайн?

Я хочу сказать, что китайцы идут в правильном направлении.
Qwen2 был чуть менее года назад, весной вышел Qwen3.
Уверен, что Qwen4 для дешманской видеокарты с 8 Gb будет сочинять еще лучше на русском.

А пока Saiga YandexGPT 8B отлично (опять, повторюсь, насколько возможно при 8B параметрах) пишет на русском при размере чуть меньше в 7 Gb (и очень шустро, практически сразу).

 

@reason1, можно на "ты".

Я пока в принципе не понимаю, зачем пытаться выжимать из ИИ связные тексты на заданную тему -- чтобы облегчить жизнь безымянному копирайтеру?

Не сомневаюсь, что отечественные модели гораздо лучше владеют русским языком, но только какой прок? Я всё чаще думаю, что Сёрл со своей китайской комнатой был на 100% прав. Грамотный текст про "Героев III" из твоего примера абсолютно бесполезен, потому что не нужно внимательно вчитываться, чтобы понять, что его "автор" не имеет представления ни о том, что такое компакт-диск (завёрнут в бумагу, ага), ни о "Героях-3" как игре. Это просто бессмысленный набор грамматически правильных предложений, которые создают иллюзию связного текста.

Неужели мы действительно дожили до того, чтобы нам нужно было искусственно создавать вот такие потёмкинские деревни смысла? Как будто интернет под завязку не забит такой же писаниной, но в 100 раз более осмысленной хотя бы потому, что её писали живые люди.

Мне жаль тех ленивых школьников и студентов, которые радуются, думая, что теперь они за секунду смогут делать домашку. Ну да, а ещё тут недавно был скандал со взрослым американским дядей, которому ИИ наделал материалов для крупной газеты, где было полно чуши, упоминаний несуществующих книг и людей.

Ну и ещё есть попытки делать переводы игр, которые получаются в духе "Малиновой Дюны" (которую переводили "Промтом", если не ошибаюсь). Я даже себе отметил пару перлов: "Я обладаю чувством для таких вещей", "гневный взгляд на её лице".

Страшнее всего будет, когда поисковик в интернете перестанет выдавать что-либо, кроме нагенерированного ИИ мусора. Впрочем, мы уже сейчас почти к этому пришли. Когда этот мусор просочится в Википедию и другие источники. Вот это будет весело (в кавычках).

 

Речь не о том, чтобы бы писать книги, а облегчить текстовую рутину.
Например, вы создаете какой-то продукт - не важно какой.
Но вам нужно написать инструкцию, чтобы людям было понятно.
На нее у вас уйдет не меньше времени (например, те же комментарии к коду).
В то время как их можно было бы писать автоматически.
Или забросить свой текст, попросить проанализировать - что еще можно добавить.
Только править явный бред.

Еще раз повторюсь. Для меня загвоздка в том, чтобы не выходить за пределы локальной машины.
Поэтому и пробую разные модели без выхода в интернет.
Это не творчество, это инструмент.
А уже что взять или не взять, я решаю сам.
Это мне сокращает время.

 

@reason1, эту-этого-это сайгу возможно использовать "напрямую", как другие модели в в lm studio или требуется что-то ещё дополнительное. Т.е., скачал - работает, не требует предварительных игр с настройками

 

Я использовал text-generation-webui: https://github.com/oobabooga/text-generation-webui
Скачивал textgen-portable-3.4.1-windows-vulkan.zip (потому что у меня AMD).
В нем - да, просто скачиваешь в \user_data\models\ модель: IlyaGusev/saiga_yandexgpt_8b_gguf · Hugging Face

Какие были настройки по умолчанию, такие и стояли.
Я не нашел рекомендуемые настройки, ни у Илья, ни в оригинале: yandex/YandexGPT-5-Lite-8B-instruct-GGUF · Hugging Face
Для Qwen/Qwen3-8B-GGUF · Hugging Face - да, выставление рекомендуемых параметров уменьшает количество "глюков".

Я так же пробовал у Ильи Джемму IlyaGusev/saiga_gemma3_12b_gguf · Hugging Face - с квантованием Q3_K_M, чтобы влезть в видеопамять (но нет, "странных" слов гораздо больше - удалил).

 

Средненькие копирайтеры, текстами которых замусорен рунет уже очень давно, полностью проигрывают. Они в принципе не могут писать, а уж писать в каком-то определенном стиле вообще нереально.

 

Я бы никогда ничего не доверил "специалисту", который будет у ИИ спрашивать, как ещё можно улучшить написанный им текст. Это же полное днище.

 

Я не спорю - ИИ не идеален. Но я не ищу в нём "авторитета" или замену человеку. Для меня это просто инструмент, чтобы сэкономить время на рутине и заняться чем-то действительно важным и творческим.

Если кто-то не понимает этого - мне не нужно объяснять. Время покажет, кто смог адаптироваться, а кто остался с красивыми, но непрактичными принципами.

 

Я не знаю, удивишься ли ты, но занятия "важным и творческим" строятся на фундаменте практики, которая вырабатывается рутиной.

Прежде чем сесть за фортепьяно и сыграть красивое произведение, исполнитель неделями/месяцами/годами у себя дома играет каждый день "рутинные" гаммы.

Начинающий писатель или журналист пишет множество пробных и учебных, а также "проходных" текстов, прежде чем написать важную передовицу или шедевральный роман.

Если этого фундамента нет, то вместо важного и творческого зачастую получается пшик.

 

@MrFlibble, если фундамент есть, то тоже пшик чаще всего. 99% писателей журналистов так ничего толкового и не напишут, а пианист тоже совсем не означает, что он сможет что-то сочинить.
Фундамент нейросетки гораздо мощнее, чем у любого писателя или пианиста.

 

Боюсь, моя аналогия была не совсем об этом.

У нейросетки нет никакого фундамента в том смысле, о котором говорил я.

 

Я понимаю, что вы хотите подчеркнуть важность практики и рутины - это действительно основа мастерства.

Но мы говорим о разных вещах.

Я не предлагаю отказываться от практики или избегать рутинной работы. Напротив, я за то, чтобы фокусироваться на том, что действительно требует человеческого участия и творческого подхода, а рутинные задачи - те, которые можно формализовать и автоматизировать - делегировать инструментам.

Например: программист всё равно думает, проектирует логику, решает сложные задачи - но при этом использует IDE, автодополнение, чекеры кода. Это помогает ему быстрее и чище воплощать идеи, а не терять время на механические ошибки.

То есть, ИИ здесь - не способ обмануть систему или обойти практику, а ускоритель для технической части, которая всё равно нужна, но может быть выполнена эффективнее.

 

Ещё можно это трешь вспомнить: Программист и музыкант алгоритмически сгенерировали все возможные мелодии и сделали их общественным достоянием )