Как люди на самом деле учатся. О мифах в образовании и кривой Даннинга — Крюгера

Лаборатория образовательных технологий — это центр внутри Практикума, который занимается исследованиями в области образования. Недавно центр проверял на больших данных мифы, связанные с образованием. Результаты нам показались интересными по двум причинам: 

1. Про обучение, особенно самостоятельное. Как эффективно проходить курсы и получать от них пользу.
2. Про данные и анализ — как ребята на данных делают выводы и строят связи. 

Этот текст для тех, кто хочет расширить кругозор и посмотреть на аналитику в действии. 

Наш герой — Маша Ковалёва, руководитель лаборатории образовательных технологий Яндекс Практикума. 

О чём мы успели поговорить:

То, что люди говорят о своих планах, — ещё ничего не значит

Насколько сложной должна быть учёба? И важно ли это?

Когда люди рекомендуют обучение другим

Мотивация и деньги: что на самом деле происходит

Про эффект Даннинга — Крюгера, на данных

А вот тут видео на 40 минут с отступлениями и живыми эмоциями:

То, что люди говорят о своих планах, — ещё ничего не значит

У студентов Практикума каждые две недели спрашивали, хотят ли они продолжать учёбу. Была гипотеза, что ответы на вопрос помогут предсказать, закончит ли студент курс. 

Если студент выбирал «да, буду продолжать», ему присваивалось значение «2», если «нет, не буду продолжать» — то «−2». Были промежуточные «скорее всего, буду продолжать» — «1», «скорее всего, не буду продолжать» — «−1».

Дальше посчитали среднее арифметическое у окончивших учёбу и отчислившихся. 

Это значит, что поведение человека и то, что он о себе говорит, может не совпадать. 

Но параллельно задавали и другие вопросы. Например, «Нравится ли обучение?». Оказалось, что чем больше студенту нравится обучение, тем больше шансов, что он его окончит. Параметр «впечатление от обучения» влияет на вероятность окончить курс. Это звучит логично, но теперь это ещё и подтверждено данными.

Наибольший вклад в вероятность окончить курс даёт параметр «уверенность в знаниях». Спрашивали «Растут ли ваши знания?» — намного чаще отвечали положительно люди, окончившие обучение, чем те, кто отчислился.

От «Кинжала»: судя по всему, человеку нужно чувство прогресса — что его усилия в обучении были не зря. Для этого нужно делать задания, получать обратную связь, какую-то похвалу и реакцию мира. Если вы учитесь и этого нет, можно пойти и получить это самостоятельно — сделать что-то для мира. 

Насколько сложной должна быть учёба? И важно ли это? 

Специалисты взяли данные успеваемости студентов и параметр «уверенность в знаниях». Построили корреляцию. Корреляция показывает, есть ли связь между несколькими параметрами. Она не объясняет причинно-следственные связи, но выявляет эту связь. Корреляция измеряется от −1 до 1. 

В нашем случае корреляция между параметром «успеваемость» и «уверенность в знаниях» получилась близка к нулю (0,08). Это значит, что хорошие оценки не гарантируют уверенность в знаниях. 

При этом проверяли ещё другие параметры. Например, есть ли связь между успеваемостью и общим впечатлением от курса. Оказалось, что нет. А вот между успеваемостью и ощущением сложности есть небольшая связь — чем ниже успеваемость студента, тем сложнее кажется курс.

От Кинжала: похоже, что лучше всего учатся те, кто обращают внимание не только на оценки преподавателя, но и на то, как они, по своей же субъективной оценке, выросли в профессиональных знаниях и навыках. Если человек через месяц может сказать «О, я теперь могу…» — это хороший признак, что он доучится. 

Когда люди рекомендуют обучение другим

Здесь смотрели на субъективное ощущение сложности. У студентов спрашивали, насколько они готовы рекомендовать курс другим. А потом их ответы сравнивали с их ответами на другие параметры.

Если студенту понятно, он с большой вероятностью порекомендует курс. Если есть практическая польза, он порекомендует курс.

От «Кинжала»: сто раз говорили, а теперь понятно по данным, что хороший курс — это в первую очередь кураторы и сообщество, то есть хорошая атмосфера среди самих студентов и преподов. Вместо преподов могут быть кураторы, наставники и любые другие люди, которые вживую участвуют в вашем обучении. Чистые онлайн-курсы без участия людей — явно не лучший вариант.

Мотивация и деньги: что на самом деле происходит

Будущим студентам дали мотивационный тест: было несколько вопросов, где нужно было выбрать, какой из параметров их больше мотивирует. Всего было несколько параметров: карьерный рост, высокая зарплата, желание получить престижную профессию и ещё несколько.

Оказалось, что нет большой разницы в мотивации среди тех, кто прошёл курс до конца, и тех, кто не прошёл. 

Интересно, что самые сильные мотиваторы — желание получать новые навыки и знания и искренний интерес к профессии. Желание получить престижную профессию в среднем мотивирует чуть меньше, чем остальные параметры. 

От Кинжала: короче, жажда денег не делает вас ни хорошим, ни плохим студентом. 

Про эффект Даннинга — Крюгера, но на данных

Есть такой эффект, который широко используется в образовании. Этот эффект — кривая Даннинга-Крюгера:

Кривая показывает, как изменяется уверенность в себе со временем обучения. В теории сначала идёт медовый месяц, когда студент наиболее уверен в себе. Он уже может легко решить простую задачу и верит, что остальные задачи будет решать так же легко.

Дальше идёт скала смятения, где студент сталкивается с трудностями, и долгий период пустыни отчаяния. Тяжело почувствовать уверенность в себе после трудностей. После пустыни отчаяния — постепенный подъём.

Но на больших данных кривая выглядит намного сложнее:

Жёлтыми линиями отметили места, где, согласно теории, должны быть границы зон этапов кривой Даннинга — Крюгера. Но реальность сложнее. Нельзя сказать, что эти этапы действительно есть.

Красная кривая уверенности среди отчислившихся находится ниже зелёной кривой. Это говорит о том, что отчислившиеся студенты менее уверены в своих знаниях, чем окончившие.

При этом очевидно, что студенты — разные. На графике только среднее значение по всем студентам. Поэтому преподавателям и методистам важно учитывать индивидуальные особенности.

От Кинжала: все простые умозрительные схемы — это простые умозрительные схемы, а не модели для принятия решений. И когда серьёзные ребята приходят анализировать большие данные, они могут не найти вообще никаких связей и красивых кривых. И что с этим делать? Просто принять, что некоторых связей и кривых не существует, по крайней мере в нашей выборке.