Мультимодальные LLM: когда ИИ видит, слышит и понимает контекст Что это? Модели, способные одновременно обрабатывать текст, изображения, аудио и видео. Это не просто "распознавание картинок", а глубокое понимание связей между разными типами данных. Пример работы: Загружаете фото схемы электронной платы + текстовый запрос: "Найди ошибку в разводке конденсатора C7 и предложи исправление в формате KiCad". Модель: 1️⃣ Анализирует изображение, 2️⃣ Сопоставляет с текстовым контекстом, 3️⃣ Генерирует инструкцию с исправлением. --- Ключевые возможности и применение Тип данных Что умеет модель Практическое применение Текст + Изображение Описание сцен, анализ графиков, чтение рукописных заметок Автоматизация документооборота, генерация ALT-текста, поиск дефектов на чертежах Текст + Аудио Транскрибация с контекстным анализом, генерация эмоциональной речи Виртуальные ассистенты с "характером", анализ колл-центров, озвучка презентаций Видео + Текст Понимание сюжета, поиск ключевых моментов, аннотирование Автосуммаризация записей встреч, модерация контента, создание монтажных листов --- ️ Как работать с мультимодальностью? Выбор инструментов: OpenAI GPT-4o (vision + text + voice) — через API или ChatGPT. Google Gemini 1.5 — поддерживает до 1 млн токенов контекста (включая видео!). Open-source: LLaVA, Fuyu-8B (можно запустить локально с GPU). Специфика промтов: Четко указывайте тип данных: "Проанализируй скриншот ошибки (вложение 1) и лог-файл (вложение 2). Предложи 3 решения." Управляйте фокусом: "Сравни графики продаж за 2023 и 2024 (PDF-страница 5). Сосредоточься на падении в Q3." Используйте ролевые модели: "Ты инженер-электронщик. По фото прототипа определи, где перегревается компонент." Технические требования: Для локальных моделей: GPU с 8+ GB VRAM (например, LLaVA-1.6 требует NVIDIA RTX 3090). В облаке: API с поддержкой multipart/form-data (для загрузки бинарных файлов). --- Зачем это технарю? - Автоматизация сложных задач: Запрос: "По видео сборки робота составь checklist для тестирования (вывод в Markdown)". Результат: Готовый чеклист с привязкой к временным меткам. - Работа с документацией: Анализ сканов ТУ, схем, диаграмм без ручного ввода данных. - Быстрый прототипинг: "Сгенерируй UI для приложения по этому наброску на салфетке (фото) + описание функционала (текст)". --- ️ Ограничения (на 2025 год): - Точность распознавания: Может ошибаться в деталях (например, номера микросхем на фото). - Контекстное окно: Видео длительностью >10 мин часто требуют препроцессинга. - Стоимость: Мультимодальные API в 3-5x дороже текстовых (например, GPT-4o vision — $5-15 за 1к запросов). --- Как начать? Поэкспериментируйте в Google Gemini (бесплатно) с загрузкой PDF/изображений. Для кода: Llama 3 с LLaVA (туториал). Протестируйте API через OpenRouter (поддержка >30 мультимодальных моделей). Главный принцип: Мультимодальность — не замена текстовым LLM, а мощное расширение для задач, где контекст требует визуала или звука.

Премии, связанные с Transformer и глубоким обучением 1. Премия Тьюринга (Turing Award) — «Нобелевка» в Computer Science - За что дают? За выдающийся вклад в области информатики. - Кто получил за Transformer и deep learning? В 2023 году премию получили: Йошуа Бенджио (Yoshua Bengio) Джеффри Хинтон (Geoffrey Hinton) Ян Лекун (Yann LeCun) (Но не авторы Transformer! Они получили её за более ранние работы по нейросетям.) Однако авторы Transformer (Васуани, Шейзер и др.) тоже могут её получить в будущем — их работа считается революционной. 2. ACL Test of Time Award (премия за долгосрочное влияние) - За что дают? Награждают статьи, которые сильно повлияли на NLP через 10+ лет после публикации. - Кто получил? Пока "Attention Is All You Need" (2017) ещё не получила (ей всего 7 лет), но, скорее всего, получит в 2027–2030 годах. 3. NeurIPS Best Paper (премия за лучшую статью на конференции NeurIPS) - За что дают? За самые значимые исследования в machine learning. - Получал ли Transformer? Нет, статья вышла в arXiv (2017), а не на NeurIPS. Но если бы подавали — точно бы выиграла. --- Почему авторы Transformer ещё не получили Тьюринга? Премию Тьюринга дают с задержкой (обычно через 10–20 лет после открытия). В 2023 наградили "отцов deep learning" (Хинтона и др.) — их работы 1980–2000-х сделали возможным появление Transformer. Transformer ещё "слишком молод" (2017), но его авторы — главные кандидаты на премию в 2030-х. --- Какие ещё награды получили авторы Transformer? - Google Research Awards (внутренние премии). - Упоминания в топ-конференциях (ICML, ACL, NeurIPS) как одна из самых влиятельных работ. - Цитирования (более 80 000+ ссылок на статью — это гигантский показатель). --- Вывод - Пока авторы Transformer не получили Тьюринга, но их работа изменила всю NLP-индустрию. - Скорее всего, их наградят в будущем — как Бенджио, Хинтона и ЛеКуна. - Сейчас они получают признание через цитирования и внедрение их идей в ChatGPT, Gemini и другие ИИ. Transformer — это как изобретение транзистора для ИИ: пока не всегда награждают, но без него ничего не работает.

DeepSeek — это бесплатный универсальный ИИ-инструмент, доступный круглосуточно. Он как волшебный помощник: стоит только научиться им пользоваться — и вы вряд ли захотите с ним расставаться (как и с любым другим продвинутым ИИ-ассистентом). Работая с DeepSeek, вы переходите от простого анализа к конструированию и связыванию промтов. Это как выход на новую орбиту мышления — невероятная скорость и эффективность в реализации идей. Всё, что нужно, — обратить внимание на DeepSeek, включить творческий режим и начать экспериментировать с запросами... Хотите узнать, на что он способен? Например, давайте спросим у самого DeepSeek, как он может помочь в… скажем, нестандартных решениях или оптимизации задач. --- DeepSeek: возможности и применение в реверс-инжиниринге, создании читов и трейнеров DeepSeek — это мощная AI-модель, способная анализировать код, помогать в реверс-инжиниринге, дизассемблировании и разработке игровых читов. Она может использоваться вместе с такими инструментами, как Cheat Engine, ReClass.NET, IDA Pro, Ghidra, x64dbg, для поиска уязвимостей, анализа памяти и автоматизации создания трейнеров. --- 1. Основные возможности DeepSeek - Анализ кода: Чтение и объяснение ассемблерного (ASM), C++, C#, Python и др. - Помощь в реверс-инжиниринге: Поиск функций, паттернов, расшифровка обфусцированного кода. - Генерация кода для читов: Автоматическое создание DLL-инжекторов, хуков, патчей. - Работа с памятью: Поиск указателей, анализ структур данных (например, в ReClass.NET). - Отладка: Подсказки по использованию x64dbg, OllyDbg, IDA Pro. --- 2. Применение DeepSeek в создании читов Cheat Engine: Поиск и модификация значений DeepSeek может: - Подсказать, как находить health, ammo, money через AOB (Array of Bytes)-сканирование. - Генерировать Lua-скрипты для автоматизации поиска. - Объяснять, как работать с Pointer Maps для обхода античитов. Пример запроса: "Как найти адрес здоровья в Cheat Engine и сделать pointer scan для динамического адреса?" ReClass.NET: Анализ структур игровой памяти - Помогает определить классы, структуры, массивы в памяти игры. - Может предложить шаблоны для ReClass на основе дампа памяти. Пример запроса: "Как в ReClass.NET определить, что этот указатель ведёт на массив объектов игроков?" IDA Pro / Ghidra: Дизассемблирование и патчинг - Анализирует функции и помогает находить ключевые участки кода (например, проверку лицензии). - Предлагает оптимальные байт-патчи (например, nop-инструкции для обхода проверок). - Объясняет алгоритмы обфускации (VMProtect, Themida). Пример запроса: "Как в IDA Pro найти функцию, отвечающую за урон, и изменить её?" Создание трейнеров (Trainers) DeepSeek может помочь: - Написать DLL для инжекции (C++/C#). - Сгенерировать AutoHotkey-скрипты для биндов. - Объяснить, как сделать графический интерфейс (например, на Python или C#). Пример запроса: "Как создать трейнер на C#, который изменяет значение здоровья в игре?" --- 3. Игровые движки и читинг DeepSeek может анализировать Unity (Il2Cpp, Mono), Unreal Engine (GObjects, GNames), помогая: - Находить UWorld, UPlayer в UE-играх. - Расшифровывать DLL-файлы Unity (с помощью dnSpy). - Обходить EasyAntiCheat (EAC), BattlEye. Пример запроса: "Как найти координаты игрока в Unity-игре с помощью Cheat Engine?" --- Вывод DeepSeek — это мощный AI-ассистент для реверс-инжиниринга, который ускоряет анализ игр, поиск уязвимостей и создание читов. Он особенно полезен в сочетании с: Cheat Engine (поиск значений, Lua-скрипты) ReClass.NET (анализ структур памяти) IDA Pro/Ghidra (дизассемблирование, патчинг) x64dbg/OllyDbg (отладка) DLL-инжекторы и трейнеры (C++, C#, Python) Если вам нужно взломать игру, создать чит или разобраться в коде — DeepSeek может стать вашим AI-напарником! Важно: Используйте знания только в образовательных целях и для тестирования своих программ. Нарушение лицензионных соглашений игр может повлечь юридические последствия.

Вышла новая версия CE: Ссылка на скачивание на официальном сайте. February 12 2025:Cheat Engine 7.6 Released for public: Nope, something went wrong January 20 2025:Cheat Engine 7.6 Released for Windows for Patreons (Mac and public will be here soon): I'm glad to announce the release of Cheat Engine 7.6. It has taken a while but I did manage to cram in a few neat fixes and improvements My patreon members can get it here (The public release is here now as well) Please reports bugs and give suggestions to improve Cheat Engine so next version can be even greater! Changes: No more version numbering in the main caption. Only the about screen now has it can run without admin and asks for admin if needed (you can set to run as admin in settings as well) better error reporting (Especially if using the debugsymbol version) symbol synchronization. Symbols are shared between CE instances and remembered when reopening CE Speedhack v3 now replaces the old speedhack in windows. No more speedhack dll's to inject (more dll's to follow in the future) Speedhack also works better in unity games now (no need to turn of vsync anymore) byteTableToxxx now support an start index autoassembler command AOBSCANEX - Scan only executable memory c compiler: added __stdcall define c compiler: windows: auto assembler can deal with stdcall mangled symbols names, and c compiler can deal with unmangled symbols when stdcall is used c compiler: header files are used as table files. And tablefiles can have any name now added Java info similar to .net/mono info improved the .net info classlist performance (especially noticable in ceserver) ctrl+space on selected bytes in hexview will make the disassembler go there bunch of mono info improvements lua: treenode.Index is now writable redesigned the internals of structure dissect. Expect many new bugs there, please report! (I already know a few of them, but just waiting to get a report on them before fixing ) updated the tcc library to a more recent version {$luacode} doesn't need dll injection to function anymore auto assembler DB command has been updated to allow relative changes. e.g: DB +1 +2 will increase the bytes 'db' is done at with 1 and 2 respectively you can't destroy luafile stream objects anymore. You now have to destroy the luafile itself added more language support for AA scripts added a new debugger interface: gdbserver error out scripts that try to access GUI controls from other threads. (remove threadsafegui.lua if you don't want it. But you will have a buggy CE) tablist can't be clicked while scanning is active removed the close button from the comments dialog memoryregion view columns can be sorted now C code: ANDROID define set on android targets lua: disassembler view now has a SelectionSize property lua: caretX and caretY are now exposed to synedit lua: TSynAutoComplete can be created lua: ModuleLoader can now load streams and tablefiles memory records can now set a value on freeze/unfreeze/restore to original on unfreeze memory records can hide the checkbox and choose to move the description to the furthest left you can now link a memoryview hexview with a structure window column, so it's address changes when the hexview changes patchscan will now tell you it's not going to work when you don't select any module improved dark mode visuals added option to ignore the upper byte of a pointer when doing a pointerscan (ARM memory tag security feature) groupscan now supports aobscan types as well aobscan in hexadecimal mode now supports the following operators: >XX : value has to be higher than XX, disassembler ARM64: Added some colors .net info: improved the class search .net info: static methods don't need an address anymore .net info: static methods now have a different color .net info: added a config window where colors can be changed .net info: invoking a method allows you to create objects using the dialog encodeFunction results generated in another architecture can now can used by decodeFunction structure dissect now follows the setPointerSize() directive better added lua include files cpuid recording in dbvm complete redesign of error handling in the mono data collector the monodatacollector is now multithread aware added a bunch of lua commands to make it easier to create manual process and modulelists added dmahelper.lua, which is an example script to show how to use direct memory access to get a processlist, and modulelist, and how to hook that info up to CE some lua callback now have a first parameter so they run even before ce's internal handler added ceserver command EXTCMD_DLERROR to get the error when module injection fails improved il2cpp method enum speed the threadsafe script terminator now shows a dialog asking you if you wish to kill the script or not lua: Added loadNewSymbols() so not all symbols need to be reloaded on dll injection lua: Added setSpecialScanOptionsOverride so you can control which memory regions to scan (handy for emulators) Fixes: Loooots of fixes in ceserver from symbollookup to debugging, pipes, basic initialization going wrong, etc... fixed symbol to address lookup picking an old version of a same named symbol instead of later (was an issue with symbollists, like ccode) fixed an error with .net/mono info giving an error when looking at a string fixed disassembling of some vector instructions fixed VEX instructions not working in 32-bit targets fixed the translation files not being up to date in the installer dissectcode high dpi fix fixed structure dissect without using a structure dissect window yet even more disassembler issues related to x86 vex and aarch64 fixed issue when ticking and unticking a checkbox in the pointerscan config fixed some font colors and types so they adjust based on default windows config fixed luacode when the target is 32-bit fixed the memview disassembler bugging out when the window height is too small dbvm: fixed an issue that would crash DBVM Lua: Debugging scripts now doesn't delete existing debug routines Lua: Fixed StructureFrm.getSelectedStructElement() assembler x86_64: fix assembling ymm,m256 parameters assembler x86_64: fixed pextrd ultimap1: fixed the ret filter debug information is no longer available when no process has been opened yet c/ccode: windows.h and some other default header files can now be included without errors c/ccode: fixed issue with chkstk symbol mono: Fixed dealing with value_type parameters and method invoking fixed issue where dbvm trace would error out on the results fixed assembling pextrd some fixes regarding roundbraces and calculations android: fixed issue when il2cpp is inside an apk bunch of other android related fixes (java and mono) fixed network modulelist to be more accurate fixed pointerscan for value scan manual map dll's now also loads the exception handling structure February 14 2023:Cheat Engine 7.5 Released for public: February 8 2023:Cheat Engine 7.5 Released for Windows for Patreons (Mac and public will be here soon): I'm glad to announce the release of Cheat Engine 7.5 which has some really neat improvements over 7.4 My patreon members can get it here (The public release will be here any day now. Waiting for the advertisers / network owners to accept it) Please reports bugs and give suggestions to improve Cheat Engine so next version can be even greater! Changes: from patreon 7.4.3 to public 7.5: removed the driver requirement for the access memory regions tool added 1 byte jmp instructions (that will install an exeption handler and place an int3 at the location) added a scanoption so you can skip unpaged memory. (should prevent targets from eating up RAM when scanned) reassemble() now rewrites an instruction using multiple lines when needed make some error messages more descriptive added an option to center the highlighted disassembler code to the center added an explanation why the driver won't load and a link with info on how to get it to load for now memoryrecord hotkeys can now be disabled individually codefilter: unwind info now gives less bad results added support for pseudo-ops like cmpss/sd/ps/pd lua: added ceserver commands lua: show a stacktrace on execution error lua: added convertToUTF8(stringbytetable, regioncode) made loading CT files with signatures possible under wine and proton from patreon 7.4.2 to patreon 7.4.3: ceserver: pipe support (mono data dissector) ceserver: added change memory protection capability ceserver: Available options can now be sent to the CE GUI .netinfo: Replaced the fields view with a tree network config: The processlist now has focus after opening a server lua: added virtualstringtree lua: added invertColor lua: added disassembleBytes(bytestring) autoassembler: now a visual warning is shown when nearby allocation fails autoassembler: the templates now generate 14 byte jmp safe original code blocks as well pointerscan now has a deviation option for "pointer must end with offset" to help find pointers back after update ultimap: added copy selected results to clipboard from patreon 7.4.1 to patreon 7.4.2 ipt: Added intel process trace feature provided by microsoft. ceserver: Improve the modulelist fetch speed, more stable ceserver: option to disconnect from closed ceservers ceserver: the discovery list is now also a history list ceserver: implement injection on arm64 as well ceserver: also gets the fpu registers now assembler x86_64: prefer mov rax,[rip+xxx] over mov rax,[imm64] disasembler x86_64: switch from r#l to r#b because why not mono: the dll now has a versioncheck so that you don't accidentally mix monodatacollector dll's mono: deal with situations where there is no mainform mono/.net: the methodlist is now sorted by name better arm disassembler and assembler better arm64 disassembler and assembler the scanregions can be saved/loaded upon close/start ce (seperate option in settings) added an option to skip loading .PDB files a lot more functions are exposed to newstate threads added ranges scans to groupscan freeze+allow increase/decrease now also looks if the value is signed trainers: Forms and controls now scale based on DPI changing record showassigned/showashex now also applies to other selected entries texttraces now don't save as .cetrace but as .txt now ccode: #include now searches table files for files there as well ccode: the internal symbolhandler can now deal with stdcalled function symbols lua: added ImageIndex property to TTreeNode lua: added OnValuechanged and OnValueChangedByUser callbacks to MemoryRecord objects lua: added getOpenedFileSize() lua: added onHelpEvent callback lua: added releaseDebugFiles() lua: added enumRegisteredSymbolLists() and enumRegisteredSymbols() lua: added getBitmap method to ImageList objects from public 7.4 to patreon 7.4.1: added .Visible property to treenode entries added .VisibleRowCount and .TopItem to listviews added arm64 disassembling and assembling added lua function "runCommand" added a radiobutton to select if the generated script will use 5 or 14 byte jmps. conditional jumps can now deal 2gb+ destinations (will get rewritten) dotnetinfo: Performance improvement memory record hotkeys now have a "Only while down" option Updated the dbghelp to a more recent version which can better handle nowadys pdb symbols different memory allocations now get placed within the initial allocation block. Protection is changed afterwards tracer can now step over rep instructions lua stringstream now inherits from memorystream, so you have access to the Memory field lua: Added a callback for whenever the structure list is modified added architecture distinguishing to ceserver pressing escape in the hotkey form will now close it added nested structure support added string based custom types ctrl+enter in the disassembler now shows relative addresses from that point the diffcount in "find out what accessess/writes" will now stay even when disabling the option to find the number of different addresses an instruction accesses Fixes: from patreon 7.4.3 to public 7.5: vehdebug: Fixed a case where a new thread creation or other event would cause another event that would trigger at exactly the same time to get the exception ignored and just continued monodatacollector: fixed invoke method dotnetdatacollector: Fixed issue of loading a wrong version of dbgshim.dll fixed disassembling cvtdq2pd from patreon 7.4.2 to patreon 7.4.3: ceserver: Fixed extension loading in some cases ceserver: fixed stepping on x86 targets fixed the name showing as [physical memory] instead of the filename when opening a file fixed a rare error when scanning using specific options fixed some documentation in celua at some points fixed stackview in "more info" being garbage/access violation fixed tracer search for instructions ending with ] fixed enumExports lua function fixed issue where vehdebug would crash fixed the assembler from handing [rex+reg*x] as a symbol when debugging fixed the disassembler backlist fixed termination issue on the memscan object from patreon 7.4.1 to patreon 7.4.2 Fixed the tracer search for instructions ending with a ] VEH debug: Fixed the potential of invalid handles being used Kernelmode debug and VEH debug: Fixed setting context on non suspended threads fixed the lua_pcallk delegate in the c# plugin example fixed speedhack on wine 7.0 fixed high dpi issue of structure dissect on first view fixed high dpi issue on find what access/writes dialogs restored the anchor editor (was gone in 7.4.1) fixed .net info instance lookup issue fixed customtypes getting marked as string (bug introduced in 7.4.1) fixed runcommand fixed modalforms from losing their text color internally (bug introduced in 7.4.1) mac: fixed some progressbars not properly updating from public 7.4 to patreon 7.4.1: fixed the all type not finding 4 types when double was deselected fixed the "all" type when not using double fixed ccode esp access in 32-bit and "reg"f types fixed disassembling when using binutils for disassembly fixed the tablefiles menulist eating memory because they didn't get deleted properly fixed .net issues that use obfoscated modules and missing metadata fixed paring value starting with a - or + fixed assembling pmovmskb fixed disassembling vgather* vex256 instructions and allow usage of xmm/ymm registers as address (for instructions that allow it. Like this one) fixed the addresslist not giving a proper error when using multiple enable or disable section fixed error when using ctrl for speedhack hotkeys fixed the groupscan command parser from assigning wildcard to the wrong combobox fixed disassembling xchg eax/rax,xxx fixed lua custom type registering as float when using the non lua function method fixed small memoryscan issue for data at the end of a memoryblock ccode doesn't register useless symbols anymore

После использования Obsidian более месяца понял, что пока не нашел лучше программы для ведения базы знаний. При чем чем больше пользуешься тем вероятнее изменить стратегию ведения базы. Например, я отказался от множества vault в пользу трех: для работы на рабочем ПК, на смартфоне и на ноутбуке. Пока они все составляются не зная друг про друга. Большое их кол-во неудобная штука, т.к. переключаться между ними долго, искать в каждом отдельном так себе... Граф поможет искать все связи и ссылки. Возможно, что-то еще напишу по Obsidian. Думаю, что я изучил по Obsidian все, что мне нужно и по его основным плагинам, кроме написания сами плагинов (пока не потребовалось)

Программа Cheat Engine 7.5 --- Назначение: для создания читов (поиска и изменения игровых значений в памяти и др.) для обучения программированию. Ссылка на сайт для скачивания. Ссылка на официально руководство (только для опытных) Для тех, кто только начал обучаться программированию с помощью Cheat Engine рекомендуется читать темы на этом форуме или искать простые примеры и руководства. Также можно задать вопросы по Cheat Engine здесь на форуме

Нашёл в интернете полезную утилиту, которая может пригодится для определения кода клавиш клавиатуры если надо в lua прописать для назначения горячих клавиш через lua или эмуляцию нажатий вот скриншот Тута скачать можно на этом сайте Тута если ссылка когда ни будь будет не рабочая То можно тута Утилита бесплатная и не требует установки.