Нейросети и прочие ИИ

Неистово плюсую. Но так со всем у них, любое даже неплохое начинание постепенно скатывается не пойми куда.

К примеру, «Шедеврум» для некоторых знакомых стал пропуском в мир нейронок для генерации изображений, но своими обновлениями они оттолкнули пользователей в сторону более интересных и продвинутых. Сейчас там можно разве что по фану что-то клепать и то, какой смысл, если нет варианта коммерческого использования?

 

@CloudyWhisper, шедеврум это вообще несерьезно, я за последнее время кучу всего просмотрел и шедеврум однозначно где-то на последних местах, там только уродливых персонажей для уродливых открыток можно создавать.

 

Ссылка на нужные модели, и для SD, и и для SDXL, прямо на странице расширение на гидхаб: https://github.com/Mikubill/sd-webui-controlnet

либо ты что то не то тыкал, либо расширение у тебя почему то некорректно работало.

 

Деволюция в мире SDXL: народ массово переходит с пони-моделей на иллюстрюс и начинает делать лоры только для него. А я его попробовал, и что-то мазня у него выходит хуже по всем параметрам). Ну и ладно, у меня и так уже весь ссд на 0.5 ТБ лорами забит)

 

Щас сервисов просто море, я тут накатил себе Стабл Дифужн, но там надо че-то долго настраивать все чтобы результата добиться. Ждешь, ждешь несколько минут, а он тебе генерит крокодила трехногого вместо "fashion girl", образно говоря.
Мне пока по качеству результата нравится KLING AI - если нужно определенного человека поместить в нужный интерьер, получается очень реалистично, живые фотки. По умолчанию вроде как улучшательно-омолаживающие эффекты, но всё настраивается при желании. Есть склонность к однообразию, например если указать просто black leather jacket - будет фигачить примерно одинаковые фотки челиков в косухе, но в целом это даже хорошо, т.к. сразу видно что именно нужно изменить или уточнить, конкретно. А то часто делает 4 фотки вообще разные и там сложнее корректировать.
Генерирует тоже отлично.

Вот я в непонятках теперь. Если с людьми так хорошо получается, то наверное и с предметами тоже должны быть сервисы? Но чет не могу найти. Например, грузишь фотку (или несколько) электрогитары - и чтобы можно было как с человеком, ее вписывать в разные сюжеты/интерьер. Все попытки чето нагуглить сводятся исключительно к каким-то дизайн интерьерным системкам, которые больше как бы заточены на мебель и всякое такое.

 

Подавляющее большинство "чат-ботов" "считает", что число вида 1,11 больше, чем 1,9.

Многие "чат-боты" неспособны даже правильно сосчитать количество определённых букв в тестовом слове.

Всё будет, как всегда: денег распилят неимоверное количество (см. "зелёная экономика" и проч.), потом кого-нибудь показательно унизят/посадят/самоубьют, потом "эффективные менеджеры" и "гениальные изобретатели" найдут себе новую цацку. Spice must flow.

А, ну да: предварительно "эффективные менеджеры" и "гениальные изобретатели" всё-таки должны будут вернуть безутешным семьям мумфицировавшиеся трупы двух давно умерших американских астронавтов с русской космической станции на русском космическом спускательном ведре, летающем на русской космической соляре и перфокартах.

 

Дипсик провалил тест частично)

 

По-моему это, кстати, проблема не только дипсика, так как обычно вопрос конвертируется в основной язык модели, подготавливается ответ и потом транслируется в язык запроса. Вроде бы где-то читал, что подобная проблема была и с ChatGPT.

 

@Gaznak, ну так это чат-боты, а заточенные под это самое системы рассчитывают полеты на Луну и обратно гораздо быстрее человеков. В банковской сфере тоже уже вовсю применяются.

 

Я буквально вчера про такое узнал, так как попалась LoRA под него.

А еще, попробовал вчера провести эксперимент - можно ли сгенерировать арты с определенной героиней, если нет Лоры? Решил попробовать сгенерировать Птолемию (Ptolemy) из игры Fairyland Story, на нее как раз нет Лоры. попробовал описать ее внешность на "языке" ключевых слов.

Вот что получилось, получилось далеко не сразу, пришлось немного поподбирать ключевые слова:



Конечно очень странно расположил пуговицы, но в остальном нормально. На самом деле, все-таки использовал одну Лору - генерировал на AutismMix_confetti, но она мелковато рисует глаза (хотя это не только у нее проблема, по моему у многих так), а тут глаза нужны даже крупные, поэтому использовал Bigger eyes slider. Но это не Лора под конкретного персонажа, так что не считается. Но прическа все-таки немного не такая, но не знаю, как правильнее ее описать.

Попробовал добавить "curly hair" - хоть это и не совсем то:



Получилось неплохо, даже одежда исправилась и воротник стал лучше, но этим и плохи нейросети - добавленное в запрос слово, которое по хорошему отвечает только за прическу попутно изменило и одежду, хотя к ней оно не относилось. Тут конечно это пошло только на пользу. Правда лишний палец, но это поправимо.

P.S.: А на первой картинке оказывается тоже лишний палец, сразу не заметил.

 

Зависит от уникальности внешности персонажа. Какие-то особенные детали без лоры нереально сгенерить.

 

Forgettable, да, согласен. Но если нет Лоры и не хочется\нет возможности обучать, то можно и так. Но согласен, наверно не всякую внешность можно воссоздать таким способом. Тут наверно повезло, дизайн у нее несложный.

Кстати, там на самом деле на предыдущих вариантах, которые здесь не показал, нейросеть еще упорно пририсовывала на шляпу ремень, часто даже с пряжкой, еще добавляла на шляпу сбоку какую-то блямбу. Но все это ушло, когда я добавил в запрос улыбку. Опять же, как уже говорил, несовершенство нейросетей, нейросеть меняет слишком много деталей, когда нужно было только изменить выражение лица, а к шляпе и остальному улыбка не относится. Но тут это тоже пошло на пользу, так как у Птолемии не должно быть на шляпе никаких дополнительных элементов.

 

Можешь сгенерить любого персонажа из доты без лор?.. Их там 120+, любого

 

messy hair бывает полезен, добавляет естественности

 

Кстати, как-то я "сравнивал" ChatGPT и GigaChat (не спрашивайте, зачем) на предмет решения простой системы уравнений и выяснил, что ChatGPT, со скрипом, но решает правильно (если интересно, можете глянуть https://chatgpt.com/share/51a582e1-6bc0-4aae-9422-29803ac93df8). GigaChat же на это же самое уравнение каждый раз выдавал разное решение и каждый получались разные значения.
После чего где-то вычитал, что ChatGPT решает математику не сам, а обращается к сторонним моделям. Про GigaChat и сказать нечего. (но это было давно и неправда (где-то год назад))...

Можно/нужно же inpaint'ом необходимые детали перерисовывать.

 

Это к каким же?

 

Не знаю, я вообще не имею представления о тамошних персонажах. Я не утверждаю, что без Лоры можно сгенерировать кого угодно, я просто решил попробовать и специально выбрал персонажа, на которого нет Лоры.

Нет. В данном случае это будет совсем не в тему.

Я имею в виду скорее то, что нынешний ИИ все-таки еще не дорос до того, чтобы понимать, что если в запрос будет добавлено слово, касающееся, например прически, то все остальное менять не надо.

 

У модели флукс с этим в несколько раз лучше. Но и соответственно она больше в несколько раз, и думает дольше.

 

Хотел сейчас заделать лору по спрайтам и понял, что простого способа их надергать из листов нет.
После получаса запросов мне удалось получить рабочий скрипт для их вырезания.

Для работы требуется python с библиотекой pillow (она ставится командой cmd & pip install pillow)
Обязательно надо задать переменные min_width и min_height в начале, чтобы не вырезались пустые квадраты
Перед запуском нужно проверить, что вокруг каждого спрайта есть квадрат хотя бы из одного прозрачного пикселя

Сохранить с расширением .py и запустить

Код:

from PIL import Image
import os

def detect_sprites(image_path, min_width=500, min_height=500):
    # Open the spritesheet image
    image = Image.open(image_path).convert("RGBA")
    pixels = image.load()

    width, height = image.size
    sprites = []

    # Iterate over the image to find transparent-bordered rectangles
    for y in range(height):
        for x in range(width):
            # Check if the current pixel is transparent (alpha == 0)
            if pixels[x, y][3] == 0:
                # Find the boundaries of the transparent rectangle
                left, top, right, bottom = find_transparent_rectangle(pixels, x, y, width, height)

                # Check if the rectangle meets the minimum size requirements
                if (right - left >= min_width) and (bottom - top >= min_height):
                    # Check if the rectangle is fully transparent on its borders
                    if is_transparent_border(pixels, left, top, right, bottom):
                        # Add the sprite coordinates to the list
                        sprites.append((left + 1, top + 1, right - 1, bottom - 1))

                        # Mark this area as processed to avoid duplicate detection
                        mark_as_processed(pixels, left, top, right, bottom)

    return sprites

def find_transparent_rectangle(pixels, start_x, start_y, width, height):
    # Find the right boundary
    right = start_x
    while right < width and pixels[right, start_y][3] == 0:
        right += 1

    # Find the bottom boundary
    bottom = start_y
    while bottom < height and pixels[start_x, bottom][3] == 0:
        bottom += 1

    return start_x, start_y, right, bottom

def is_transparent_border(pixels, left, top, right, bottom):
    # Check the top and bottom borders
    for x in range(left, right):
        if pixels[x, top][3] != 0 or pixels[x, bottom - 1][3] != 0:
            return False

    # Check the left and right borders
    for y in range(top, bottom):
        if pixels[left, y][3] != 0 or pixels[right - 1, y][3] != 0:
            return False

    return True

def mark_as_processed(pixels, left, top, right, bottom):
    # Mark the rectangle as processed by setting all pixels to non-transparent
    for x in range(left, right):
        for y in range(top, bottom):
            pixels[x, y] = (0, 0, 0, 255)

def extract_sprites(image_path, output_folder, sprites):
    # Create the output folder if it doesn't exist
    if not os.path.exists(output_folder):
        os.makedirs(output_folder)

    # Open the spritesheet image
    image = Image.open(image_path).convert("RGBA")

    # Extract each sprite
    for i, (left, top, right, bottom) in enumerate(sprites):
        sprite = image.crop((left, top, right, bottom))
        sprite.save(os.path.join(output_folder, f"sprite_{i + 1}.png"))

if __name__ == "__main__":
    # Path to the spritesheet image
    spritesheet_path = "i.png"

    # Output folder for extracted sprites
    output_folder = "out"

    # Detect sprites in the spritesheet
    sprites = detect_sprites(spritesheet_path)

    # Extract and save the sprites
    extract_sprites(spritesheet_path, output_folder, sprites)

    print(f"Extracted {len(sprites)} sprites to '{output_folder}'.")

 

Скорее всего, там речь была про плагин "Wolfram Alpha", а я это воспринял не так и про модель некорректно выразился.