Мультимодальные LLM: когда ИИ видит, слышит и понимает контекст Что это? Модели, способные одновременно обрабатывать текст, изображения, аудио и видео. Это не просто "распознавание картинок", а глубокое понимание связей между разными типами данных. Пример работы: Загружаете фото схемы электронной платы + текстовый запрос: "Найди ошибку в разводке конденсатора C7 и предложи исправление в формате KiCad". Модель: 1️⃣ Анализирует изображение, 2️⃣ Сопоставляет с текстовым контекстом, 3️⃣ Генерирует инструкцию с исправлением. --- Ключевые возможности и применение Тип данных Что умеет модель Практическое применение Текст + Изображение Описание сцен, анализ графиков, чтение рукописных заметок Автоматизация документооборота, генерация ALT-текста, поиск дефектов на чертежах Текст + Аудио Транскрибация с контекстным анализом, генерация эмоциональной речи Виртуальные ассистенты с "характером", анализ колл-центров, озвучка презентаций Видео + Текст Понимание сюжета, поиск ключевых моментов, аннотирование Автосуммаризация записей встреч, модерация контента, создание монтажных листов --- ️ Как работать с мультимодальностью? Выбор инструментов: OpenAI GPT-4o (vision + text + voice) — через API или ChatGPT. Google Gemini 1.5 — поддерживает до 1 млн токенов контекста (включая видео!). Open-source: LLaVA, Fuyu-8B (можно запустить локально с GPU). Специфика промтов: Четко указывайте тип данных: "Проанализируй скриншот ошибки (вложение 1) и лог-файл (вложение 2). Предложи 3 решения." Управляйте фокусом: "Сравни графики продаж за 2023 и 2024 (PDF-страница 5). Сосредоточься на падении в Q3." Используйте ролевые модели: "Ты инженер-электронщик. По фото прототипа определи, где перегревается компонент." Технические требования: Для локальных моделей: GPU с 8+ GB VRAM (например, LLaVA-1.6 требует NVIDIA RTX 3090). В облаке: API с поддержкой multipart/form-data (для загрузки бинарных файлов). --- Зачем это технарю? - Автоматизация сложных задач: Запрос: "По видео сборки робота составь checklist для тестирования (вывод в Markdown)". Результат: Готовый чеклист с привязкой к временным меткам. - Работа с документацией: Анализ сканов ТУ, схем, диаграмм без ручного ввода данных. - Быстрый прототипинг: "Сгенерируй UI для приложения по этому наброску на салфетке (фото) + описание функционала (текст)". --- ️ Ограничения (на 2025 год): - Точность распознавания: Может ошибаться в деталях (например, номера микросхем на фото). - Контекстное окно: Видео длительностью >10 мин часто требуют препроцессинга. - Стоимость: Мультимодальные API в 3-5x дороже текстовых (например, GPT-4o vision — $5-15 за 1к запросов). --- Как начать? Поэкспериментируйте в Google Gemini (бесплатно) с загрузкой PDF/изображений. Для кода: Llama 3 с LLaVA (туториал). Протестируйте API через OpenRouter (поддержка >30 мультимодальных моделей). Главный принцип: Мультимодальность — не замена текстовым LLM, а мощное расширение для задач, где контекст требует визуала или звука.

API

API API Reference — Panda3D Manual

API Frostbite API Блоги [Week 7] A Real Game Engine - Isetta Engine

Изучив API, можно управлять иерархией сущностей, сценами, физикой и т.п. в играх созданных на этом движке. Игровой бинарный код будет состоять из функций игрового движка и функций разработчиков игры. Можно управлять сущностями на основе API движка или же функциями разработчиков.

UnrealEngine - популярный игровой движок с открытым API. Открытое API должно позволить управлять иерархией сущностей (акторы). Т.е. создать сущности, удалять, менять положение в иерархии. Управлять сценами с этими сущностями, физикой, Meshes, эффектами, звуками... Единственное нужно разобраться в этом API, собрать dll модуль на языке программирования и загрузить его в игру... ну, и возможно, управлять этим модулем извне.

Инфа по совместной работе с гитом. Может быть пригодится кому, а может и нет. Такую систему я использую на работе недавно. Можно совместно работать над одним большим проектом через git-flow. Возможно, кто-то из форумчан тоже использует git flow на работе. git-flow — это набор расширений git предоставляющий высокоуровневые операции над репозиторием для поддержки модели ветвления Vincent Driessen. Кратко. Модель контроля версии построена на 4 ветках master - релизы develop - разработка feature - фичи hotfix - исравления С develop начинается разработка через копирования в ветку feature. Над фичей идет работа, а после завершения feature мержится с develop и feature сразу удаляется. После запланированных изменений develop мержится с master уходя в релиз. Если возникли баги, то от master создается ветвь на hotfix . После фиксов hotfix мержится с master. Доступ к мастер ветки может иметь один человек или его доверенные лица. Ветка Develop открыта для разработчиков. Это значит, что множество разработчиков колдуют в Develop ветке, а мержит изменения с master уже главный разработчик или несколько главных разработчиков. В мастере создаются теги с обозначением версии. Учитывая номер версии МАЖОРНАЯ.МИНОРНАЯ.ПАТЧ, следует увеличивать: МАЖОРНУЮ версию, когда сделаны обратно несовместимые изменения API. МИНОРНУЮ версию, когда вы добавляете новый функционал, не нарушая обратной совместимости. ПАТЧ-версию, когда вы делаете обратно совместимые исправления. Дополнительные обозначения для предрелизных и билд-метаданных возможны как дополнения к МАЖОРНАЯ.МИНОРНАЯ.ПАТЧ формату. git-flow заметки Семантическое версионирование

Пригодится для создания больших плагинов в Cheat Engine. Более ~500 строк Наследование ClassX = {} function ClassX:New(_argument1, _argument2) local obj = {} obj.argument1 = _argument1 obj.argument2 = _argument2 -- Через "self" function obj:GetValue1() return obj.argument1 end function obj:GetValue2() return obj.argument2 end setmetatable(obj, self) obj.__index = ClassX return obj end someObject = ClassX:New("A", "B") print(someObject.GetValue1()) print(someObject.GetValue2()) Woman = {} --наследуемся setmetatable(Woman ,{__index = ClassX}) --проверяем masha = Woman:New("Марья","Ивановна") print(masha:GetValue1()) --->результат: Марья Инкапсуляция Person = {} function Person:new(name) --приватное свойство local private = {} private.age = 18 local obj = {} --публичное свойство obj.name = name or "Вася" -- "Вася" - это значение по умолчанию function obj:getAge() return private.age end setmetatable(obj,self) self.__index = self return obj end vasya = Person:new() print(vasya.name) --> результат: Вася print(vasya.age) --> результат: nil print(vasya:getAge()) --> результат: 18 Полиморфизм Person = {} function Person:New(name) local private = {} private.age = 18 local obj = {} obj.name = name or "Вася" -- Защищенный от переорпеделения function obj:GetName() return "Person protected "..self.name end -- Переопределяемый function Person:GetName2() return "Person "..self.name end setmetatable(obj, self) self.__index = self return obj end --создадим класс, унаследованный от Person Woman = {} setmetatable(Woman,{__index = Person}) function Woman:GetName() return "Woman protected "..self.name end function Woman:GetName2() return "Woman "..self.name end --проверим masha = Woman:New() print(masha:GetName()) --> Person protected Вася print(masha:GetName2()) --> Woman Вася ref

Команда FINCSTP добавляет единицу (без переноса) к трехбитному полю TOP слова состояния FPU. Эффект действия команды FINCSTP заключается во вращении стека. Она не изменяет регистров тэгов и не перемещает данные. Она не эквивалентна операции выталкивания из стека, потому что, она не устанавливает тэг старой вершины стека в значение пустой. Флаги C0, C2, C3 регистра SW после выполнения команды не определены, флаг C1 устанавливается равным 0. Похожа на FSTP, также вращает стек регистров FPU (я кстати не знал, увидел при тестах в CE), но только не перемещает значение по адресу. FSTP [здесь указывается адрес или регистр] FINCSTP Если нужно вытолкнуть значение из ST(0), а адрес куда его выталкивать не нужен, то можно сделать так FINCSTP Или аналог FSTP ST(0) При использовании стоит обратить внимание на флаги, возможно их состояние будет влиять на исполнение кода. *Вообще не помню почему я пишу "выталкивать значение" через fstp, когда оно появляется снизу в ST(8). Т.е. не выталкивается по сути.