Почему решать вопросы эффективнее, чем перечитывать

Канун экзамена. Вы в третий раз читаете главу по гинекологии, и каждая страница кажется знакомой. Наутро на тесте знаком и вопрос, но правильный ответ не вспоминается. Многие считают тесты для студентов-медиков лишь способом проверить знания. На самом деле решение вопросов само по себе учит — и учит прочнее, чем перечитывание.

В этой статье разберём, почему перечитывание даёт обманчивую уверенность и какие доказательства есть в медицинском образовании. Затем — как извлечь больше пользы из каждого вопроса и как адаптивный тест находит ваши слабые темы. В конце — простой распорядок на 10 вопросов в день.

Почему перечитывать приятно, но малополезно

При втором чтении текст идёт быстрее и легче, и мозг принимает эту лёгкость за знание. Карпик, Батлер и Рёдигер опросили 177 студентов о том, как они учатся: большинство раз за разом перечитывает конспекты или учебник, и лишь немногие проверяют себя тестами. По мнению авторов, причина — «иллюзия компетентности» (illusion of competence), ложное чувство «я это знаю», которое возникает во время учёбы ^[1].

В классическом эксперименте студенты читали текст, а затем либо перечитывали его, либо записывали всё, что запомнили, то есть проходили тест. На тесте через 5 минут лучше справились перечитывавшие. Но через 2 дня и через неделю те, кто проходил тест, помнили существенно больше ^[2]. Это явление называют эффектом тестирования (testing effect): тест не только проверяет знания, но и улучшает их последующее сохранение в памяти ^[2][4]. Учёбу через извлечение ответа из памяти называют практикой извлечения (retrieval practice) ^[1].

Отсюда и ощущение, что зубрёжка накануне работает: перечитывание выигрывает только на тесте сразу после чтения, а уже через 2 дня впереди те, кто проходил тесты. А во втором эксперименте те, кто прочитал текст четыре раза, ожидали, что через неделю вспомнят больше всех, — вышло наоборот ^[2].

В крупном обзоре методов обучения перечитывание и выделение текста маркером попали в группу «низкой полезности». Практика тестирования вместе с распределённой практикой (distributed practice) получила высшую оценку — «высокая полезность». Рекомендация авторов прямая: вместо перечитывания проверяйте себя ^[3]. Это не отказ от чтения. Чтобы впервые понять тему, читать нужно; заменять вопросами стоит второе и третье прочтение.

Кривой забывания и интервальному повторению посвящена отдельная статья. Здесь сосредоточимся на самом вопросе: почему он работает и как им пользоваться.

Что говорят доказательства в медицинском образовании

Эффект тестирования — не только лабораторный феномен. В обзоре 2008 года Ларсен и соавторы сделали для медицинского образования три вывода: тесты нужно проводить часто и с интервалами; вопросы, требующие извлечь ответ из памяти, эффективнее вопросов на узнавание готового варианта; обратная связь (feedback) критически важна для обучения на тестах ^[4].

Затем та же группа проверила это на резидентах (ординаторах) ^[5]. Резиденты педиатрии и неотложной медицины прослушали занятие по двум темам — эпилептическому статусу и миастении. По одной теме каждый проходил тест с короткими ответами и получал обратную связь, по другой — читал лист с той же информацией. Так повторяли сразу после занятия и ещё дважды с интервалом около 2 недель. На итоговом тесте примерно через 6 месяцев средний результат по «тестовой» теме составил 39 %, по «прочитанной» — 26 %.

Систематический обзор по обучению медицинских специалистов (BEME Guide No. 48) включил 19 контролируемых исследований ^[6]. В них использовали вопросы с короткими ответами и с выбором ответа, симуляцию и стандартизированных пациентов.

По выводу авторов, обучение через тестирование улучшает не только экзаменационные знания, но и их клиническое применение ^[6].

Тесты для студентов-медиков: как извлечь из них больше пользы

У вопросов с выбором ответа есть один риск: в памяти могут остаться и неверные варианты (дистракторы). В эксперименте Батлера и Рёдигера тест с немедленной или отсроченной обратной связью увеличил долю правильных ответов на последующем тесте и уменьшил число повторов неверных вариантов ^[7]. Поэтому полезен такой порядок:

1. Сначала ответьте без вариантов. Прочитайте условие и вопрос, закройте варианты и сформулируйте ответ сами. Так узнавание превращается в извлечение из памяти ^[4].
2. Потом выберите вариант. Выбирайте, даже если не уверены: разбор покажет, где именно ошиблась догадка.
3. Всегда читайте разбор, даже если ответили верно. Угаданный ответ — ещё не знание ^[7].
4. К каждому неверному варианту допишите одну фразу: в какой ситуации он был бы правильным?
5. Возвращайтесь к ошибкам позже. Сильнее всего действует не разовый тест, а повторный, разнесённый во времени ^[4].
6. Чередуйте темы. В обзоре чередующаяся практика получила оценку «умеренной полезности» ^[3]. В клинике пациент тоже не сообщает, из какой он главы.

Многие вопросы начинаются с клинической виньетки — короткого описания пациента. Как переходить от признаков в виньетке к гипотезе, мы писали в статье о клиническом мышлении.

Как работает адаптивный тест: рейтинг Эло

Один и тот же набор вопросов для всех скучен сильному студенту и слишком труден новичку. Один из способов решить это — рейтинг Эло, пришедший из шахмат: каждый ответ рассматривается как «партия» между студентом и вопросом, и по её исходу оцениваются уровень студента и сложность вопроса. Пеланек называет этот метод простым, устойчивым и эффективным ^[8].

Адаптивная сессия в MedIQ построена на этом принципе. Это не искусственный интеллект, а модель на чётких правилах:

• у вас отдельный рейтинг по каждой теме, новая тема начинается с 1000;
• рейтинг вопроса фиксирован и зависит от сложности: от 900 у «Легко» до 1300 у «Эксперт»; после каждого ответа меняется только ваш рейтинг по теме;
• система выбирает вопрос, на который вы ответите верно с вероятностью около 65 %: достаточно трудный, чтобы учиться, но не настолько, чтобы опускались руки;
• сессия собирается в основном из слабых и мало отработанных тем, а около 15 % вопросов берутся из случайных тем.

65 % — не научная норма, а выбор команды MedIQ. Например, в системе для тренировки по географии, которую описывает Пеланек, целевая доля верных ответов настраивается; в качестве примера приведены 75 % ^[8].

Пример: первый вопрос по новой теме

Вы только начали тему «Контрацепция», ваш рейтинг 1000 (освоение 50 %). Ближе всего к 65 % вероятность у вопроса уровня «Легко» — около 64 %, поэтому первый вопрос обычно лёгкий.

• Ответите верно — рейтинг вырастет примерно на 17 баллов, освоение поднимется с 50 до 53 %.
• Ошибётесь — рейтинг снизится примерно на 31 балл, освоение упадёт до 45 %.

Ошибка в лёгком вопросе снижает рейтинг сильнее, а верный ответ на более сложный вопрос сильнее его поднимает: при рейтинге 1000 правильный ответ на вопрос уровня «Сложно» даёт около 31 балла. После первых 10 ответов по теме изменения становятся меньше, и рейтинг стабилизируется. Когда освоение достигает 80 %, тема получает отметку «Освоена».

10 вопросов в день: простой распорядок

На бесплатном тарифе доступно 10 вопросов в день, общих для адаптивной сессии, тренировки по теме и повторения. Этого хватает на одну короткую сессию, а при ежедневной работе это немало:

1. Утром: одна адаптивная сессия. После каждого ответа читайте разбор.
2. В конце сессии: посмотрите блок «По темам» и запишите тему, где рейтинг упал.
3. Днём: по каждому ошибочному вопросу запишите одну фразу: в чём была путаница?
4. Вечером: не перечитывайте главу. Закройте тетрадь и перескажите сегодняшние ошибки по памяти.
5. На следующий день: сначала пройдите карточки, ожидающие повторения, а оставшиеся вопросы потратьте на эту тему в «Тренировке по теме». Всё это входит в те же 10 вопросов.

После урока есть ещё тест «Проверьте себя» (5 вопросов). Он не входит в дневные 10 вопросов.

Как тренироваться в MedIQ

В разделе «Тесты и повторение» более 1300 тестовых вопросов, 18 направлений и более 130 тем. К каждому вопросу есть разбор, у большинства указаны источники. Общий обзор модуля — на странице возможностей.

Вопросы идут по одному, с метками темы и сложности. Вы выбираете ответ и нажимаете «Проверить ответ». После этого появляются результат и «Разбор», у большинства вопросов — «Источники», а если по теме есть урок, то и ссылка «Подробнее». Видно также, как изменились рейтинг и освоение темы. Ошибочный ответ автоматически попадает в колоду повторения.

В PRO открываются карта «Освоение по темам» и список «Слабые темы». На бесплатном тарифе система тоже выбирает слабые темы и подстраивает сложность — в PRO вынесена только эта аналитика.