AI-модели (LLM)¶

AI-модели, или LLM, — это программы, которые умеют понимать человеческий текст и генерировать ответ. Они могут объяснять темы простыми словами, писать письма, помогать с кодом, переводить, пересказывать документы и поддерживать диалог.

Если говорить совсем просто, LLM — это очень большая система, обученная на огромном количестве текстов. Во время общения она не «думает» как человек, а предсказывает, какое слово или фрагмент текста с наибольшей вероятностью должен идти следующим.

Что означает LLM¶

LLM — это сокращение от Large Language Model. По-русски обычно говорят большая языковая модель.

Каждое слово в этом термине важно:

• Large — большая. Это значит, что модель обучалась на очень больших объёмах данных и содержит огромное количество параметров.

• Language — языковая. Модель работает с естественным языком: вопросами, ответами, статьями, письмами, инструкциями и кодом.

• Model — модель. Это математическая система, которая находит закономерности в тексте и использует их для генерации ответа.

Как появился термин¶

Идея машин, которые работают с языком, появилась задолго до современных чат-ассистентов. Сначала существовали более простые алгоритмы:

• правила и шаблоны;
• статистические модели;
• нейросети для отдельных задач, например перевода или распознавания текста.

Позже появились языковые модели, которые учились предсказывать следующее слово в предложении. Когда такие модели стали обучать на очень больших наборах данных и сильно увеличили их размер, стали использовать термин Large Language Model.

Особенно широко этот термин закрепился в конце 2010-х и начале 2020-х годов. Этому помогло развитие архитектуры Transformer и появление моделей, которые показали хорошие результаты сразу во многих задачах: от общения до анализа кода.

Как LLM работает в общих чертах¶

Обычно процесс выглядит так:

1. Пользователь пишет запрос.
2. Модель разбирает текст на небольшие части.
3. На основе обучения и контекста она оценивает, какой ответ наиболее вероятен.
4. Ответ генерируется постепенно, фрагмент за фрагментом.

Важно понимать, что модель не хранит готовые ответы на все вопросы. Она формирует ответ во время генерации. Именно поэтому ответы могут быть полезными, но не всегда точными.

Чем LLM полезны¶

Большие языковые модели помогают в самых разных задачах:

• отвечают на вопросы;
• объясняют сложные темы простыми словами;
• помогают писать и редактировать тексты;
• переводят и сокращают материалы;
• генерируют код и помогают его разбирать;
• ищут идеи и варианты решений;
• помогают работать с документацией.

Основные разновидности LLM¶

Существует много способов классифицировать такие модели. Для начинающего пользователя удобнее смотреть на них по назначению.

1. Текстовые модели общего назначения¶

Это самые привычные модели. Они умеют поддерживать диалог, писать текст, объяснять материал, составлять планы и отвечать на вопросы.

Их используют в чат-ботах, помощниках, поиске, поддержке пользователей и документации.

2. Модели для кода¶

Такие модели лучше понимают языки программирования, структуру проектов, ошибки компиляции, тесты и команды. Они помогают:

• писать функции;
• объяснять чужой код;
• искать баги;
• предлагать рефакторинг;
• генерировать тесты и документацию.

3. Инструкционные модели¶

Это модели, дополнительно настроенные на выполнение запросов в стиле «сделай действие». Например: «объясни», «сравни», «перепиши», «составь письмо», «найди ошибку».

Именно такие модели обычно лежат в основе AI-ассистентов. Они лучше следуют формату ответа и ожиданиям пользователя.

4. Диалоговые модели¶

Эти модели оптимизированы для общения в формате переписки. Они лучше удерживают контекст разговора, учитывают предыдущие сообщения и стараются отвечать более естественно.

5. Мультимодальные модели¶

Не все современные AI-модели работают только с текстом. Есть модели, которые могут принимать сразу несколько типов данных:

• текст;
• изображения;
• аудио;
• документы;
• иногда видео.

Например, пользователь может загрузить скриншот и попросить объяснить, что на нём изображено.

Какие ещё бывают различия¶

LLM различаются не только по задачам, но и по устройству и условиям использования.

Открытые и закрытые модели¶

• Открытые модели — модели, которые можно запускать самостоятельно, дообучать или разворачивать в своей инфраструктуре, если это разрешено лицензией.
• Закрытые модели — модели, доступ к которым обычно предоставляется через готовый сервис или API.

Облачные и локальные¶

• Облачные работают на удалённых серверах провайдера.
• Локальные можно запускать на собственном компьютере или сервере.

Локальный запуск может быть полезен для приватности и контроля среды. Но для этого часто нужны мощные ресурсы и отдельная настройка.

Большие и компактные¶

• Большие модели обычно сильнее в сложных задачах, но медленнее и дороже.
• Компактные модели работают быстрее и дешевле, но могут чаще ошибаться в сложных сценариях.

Что такое параметры и почему модель называют «большо黶

Когда говорят, что модель «большая», часто имеют в виду количество её параметров. Параметры — это внутренние числовые настройки, которые модель подбирает во время обучения.

Чем их больше, тем больше закономерностей модель может уловить. Но размер сам по себе не гарантирует качество. Важно также:

• на каких данных модель обучали;
• как её дообучали;
• насколько хорошо она следует инструкциям;
• умеет ли работать с длинным контекстом;
• насколько аккуратно она обращается с фактами.

Ограничения LLM¶

Несмотря на возможности, у таких моделей есть ограничения:

• они могут ошибаться в фактах;
• могут придумывать несуществующие источники или функции;
• не всегда понимают задачу с первого раза;
• чувствительны к качеству формулировки запроса;
• могут выдавать устаревшую информацию;
• не обладают человеческим опытом, ответственностью и здравым смыслом в полном смысле слова.

Как начинающему пользователю работать с LLM¶

Чтобы получать более полезные ответы:

• формулируйте запрос конкретно;
• указывайте цель: объяснить, сравнить, сократить, переписать;
• добавляйте контекст, если он важен;
• просите привести пример;
• просите объяснить простыми словами;
• перепроверяйте важные сведения.

Например, вместо вопроса «Расскажи про API» лучше написать: «Объясни простыми словами, что такое API, с примером для новичка».

Какие модели доступны в Koda?¶

Мы используем лучшие на текущий момент открытые и закрытые модели, но с разным размером контекста и количеством параметров. Это даёт пользователям выбор между ценой, скоростью и качеством.

При этом мы стараемся подключать свежие модели как можно быстрее и убирать те, которые на долгой дистанции уже не так хороши в сравнении с другими моделями.

На момент составления документации список таков:

Резюме¶

LLM — это большие языковые модели, которые работают с текстом и иногда с другими типами данных. Они появились как развитие более ранних методов обработки языка и получили широкое распространение с ростом мощности нейросетей и объёма обучения.

Для пользователя LLM — это удобный помощник, который может объяснять, писать, анализировать и подсказывать. Но его ответы всегда стоит воспринимать критически и проверять там, где важна точность.