Ответы к тестам НМО: «Большие языковые модели и генеративный искусственный интеллект»

1. Агент RAG — Retrieval-Augmented Generation Agent в мультиагентной системе (MAS) является агентом

1) измерения физикальных параметров;
2) первичного ввода данных пациентом;
3) проведения лабораторных тестов;
4) контекстного анализа и генерации выводов. +

2. Агент причинно-следственных связей (CRA — Causal Reasoning Agent) отвечает за

1) маршрутизацию данных;
2) выявление возможных диагнозов на основе агрегированных данных; +
3) генерацию финального заключения;
4) контроль качества выводов.

3. В каких случаях рекомендуется выбирать SLM?

1) задача представляет собой классификацию или извлечение данных; +
2) требуется генерация сложных художественных текстов;
3) требуется сертификация регулирующими органами; +
4) данные являются чувствительными — предпочтительна конфиденциальная (on-premise) обработка. +

4. В чем заключается основной недостаток монолитных больших языков моделей (LLM)?

1) чрезмерная простота архитектуры;
2) отсутствие специализации и слабая интерпретируемость; +
3) слишком низкая стоимость;
4) неспособность работать с текстом.

5. Группа агентов «Лаборатория» обрабатывает

1) данные рентгенографии;
2) физикальные параметры;
3) только данные анамнеза;
4) биохимические и микробиологические данные. +

6. Какая из перечисленных моделей является примером большой языковой модели (LLM)?

1) TinyLLaMA-Med;
2) GPT-4; +
3) MedAlpaca-1.3B;
4) BioBERT.

7. Какая из перечисленных моделей является примером малых языковых моделей (Small Language Model, SLM)?

1) BioBERT; +
2) GPT-4;
3) Llama-3-70B;
4) Med-PaLM 2.

8. Какая из проблем относится к техническим вызовам мультиагентной системы (MAS)?

1) зависимость от качества данных; +
2) ответственность (врач или система);
3) требования Росздравнадзора;
4) защита персональных данных.

9. Какая из проблем относится к этическим вызовам мультиагентной системы (MAS)?

1) выбор цвета интерфейса;
2) стоимость разработки;
3) прозрачность решений (возможность врача понять логику модели); +
4) скорость работы системы.

10. Какая из стратегий совмещения большой языковой модели (LLM) и малой языковой модели (SLM) предполагает первичный анализ данных локально?

1) ансамбли из SLM;
2) использование только облачных LLM;
3) только Retrieval-Augmented Generation (RAG) для обоих типов;
4) on-device SLM + cloud LLM по запросу. +

11. Какие данные обрабатывают агенты группы «Переменные»?

1) результаты анализа мокроты;
2) данные компьютерной томографии;
3) анализ жизни ( +
4) только данные спирометрии.

12. Какие из следующих утверждений о малых языковых моделях (SLM) верны?

1) проще поддаются контролю и сертификации; +
2) могут работать на локальных серверах; +
3) имеют, как правило, более 7B параметров;
4) требуют для работы мощные GPU и облако.

13. Каков приблизительный порог количества параметров для отнесения модели к классу большие языковые модели (Large Language Models, LLM)?

1) >7 миллиардов (7B); +
2) >1 миллиарда (1B);
3) >10 миллиардов (10B);
4) <3 миллиардов (3B).

14. Каков приблизительный порог количества параметров для отнесения модели к классу малых языковых моделей (Small Language Models, SLM)?

1) <3 миллиардов (3B); +
2) >10 миллиардов (10B);
3) >5-7 миллиардов (5-7B);
4) >4 миллиардов (4B).

15. Какое из требований является уникальным для применения ИИ в здравоохранении?

1) интерпретируемость — интерпретируемость решений для врача; +
2) надежность — воспроизводимые, стабильные ответы; +
3) скорость — высокая скорость генерации текста;
4) безопасность — нулевая толерантность к галлюцинациям. +

16. Какой этап эволюции архитектур в цифровой медицине представляет собой «моделирование клинического процесса»?

1) электронные карты (EMR);
2) ассистенты больших языковых моделей (LLM);
3) мультиагентные системы (MAS); +
4) CDSS на правилах.

17. Какую модель, как правило, проще контролировать?

1) малую языковую модель (SLM); +
2) большую языковую модель (LLM);
3) GPT-4;
4) Llama-3-70B.

18. Ключевой критерий различия между большими языковыми моделями (LLM) и малыми языковыми моделями (SLM) — это

1) используемый фреймворк для обучения;
2) практическая применимость и масштаб; +
3) только количество параметров;
4) язык, на котором обучена модель.

19. Малая языковая модель (SLM) предназначена для

1) для ограниченного использования под закрытой лицензией;
2) для исследований, прототипов, сложных диагностических ассистентов (при наличии ресурсов);
3) для обучения и дообучения сверхкрупных языковых моделей в распределённых дата-центрах;
4) для реального внедрения в ресурсо-ограниченные, регулируемые среды. +

20. Модель не может быть сертифицирована, если

1) она не использует Retrieval-Augmented Generation (RAG);
2) она работает слишком медленно;
3) нельзя объяснить, как она работает; +
4) она имеет мало параметров.

21. Мультиагентная система (MAS) имитирует

1) одного универсального эксперта;
2) базу данных пациентов;
3) работу одного мощного алгоритма;
4) консилиум экспертов разных специальностей. +

22. Окончательное диагностическое заключение в мультиагентной системе (MAS) формирует

1) AG. Консилиум (Consilium Agent); +
2) AG. Агрегатор;
3) AG. Разбор текста;
4) AG. Пациент.

23. Основная задача, обозначенная на графике «Баланс между ресурсами и надежностью»

1) увеличить мощность большой языковой модели (LLM);
2) увеличить количество параметров в малой языковой модель (SLM);
3) сделать малую языковую модель (SLM) точнее и надежнее, не увеличивая их требования к ресурсам; +
4) сделать большую языковую модель (LLM) дешевле.

24. Основное предназначение большой языковой модели (LLM)

1) широкое внедрение в сельских клиниках;
2) реальное внедрение в регулируемых средах;
3) для исследований, прототипов, сложных диагностических ассистентов; +
4) работа на edge-устройствах.

25. Роль агента «Критик» — это

1) агрегация данных;
2) разбор текста;
3) проверка логической согласованности, полноты и достоверности выводов, сформированных агентами Causal Reasoning Agent (CRA) и Retrieval-Augmented Generation Agent (RAG); +
4) формирование рекомендаций по лечению.

26. Согласно Приказу Минздрава России №181н, что обязаны делать медицинские системы искусственного интеллекта?

1) автоматически передавать деидентифицированные данные о своей работе в росздравнадзор; +
2) не требовать документации;
3) использовать только зарубежные аналоги моделей;
4) работать исключительно в облачных средах.

27. Функция агента агрегации данных агрегатора заключается в

1) извлечении сущностей из текста;
2) визуализации данных для врача;
3) принятии окончательного клинического решения;
4) сборе, нормализации и объединении данных от всех специализированных агентов. +

28. Что из перечисленного является примером задачи, решаемой языковыми моделями в медицине?

1) разработка стратегии и тактики лечения; +
2) системы поддержки принятия врачебных решений; +
3) определение расстояния от транспортного средства до объекта;
4) задачи медицинской диагностики, анализ симптомов, записей в ЭМК, дальнейшая классификация. +

29. Что из перечисленного является техническим преимуществом мультиагентной системы (MAS)?

1) соблюдение протоколов;
2) модульность; +
3) повышение точности диагностики;
4) снижение времени на анализ.

30. Что такое Retrieval-Augmented Generation (RAG) в контексте медицинских систем искусственного интеллекта?

1) технология, сочетающая поиск в базах знаний и генерацию ответов; +
2) протокол передачи данных;
3) правило-based система валидации;
4) метод уменьшения размера модели.