Эта публикация родилась из интересного совпадения сразу нескольких событий:
- Новость от ChatGPT о том, что вышла очередная модель, которая отлично справляется с математическими задачами.
- Новость о том, что ИИ «провалил» «последний экзамен человечества» (Humanity’s Last Exam).
- Разговор с коллегой о том, сможет ли ИИ заменить учителей, или их роль просто изменится?
Собрав всё это в своей голове, решил провести эксперимент в формате «делаю и сразу делюсь»:
Проверю, как ChatGPT справится с ЦТ по математике за 2024 год:
- Прошу решить задачу самым обыкновенным запросом: «Реши следующую задачу с описанием решения на русском языке!».
- Публикую решение без его проверки и анализа (прикрепляю файлом).
- Сверяю ответы.
- Озвучиваю итоговый результат.
- Публикую «как есть» и внимательно читаю ваши комментарии и мысли.
- Думаю над тем, что получилось и что с этим делать.
Для этого возьму вариант из официального сборника, который включает задания, реально предлагавшиеся на централизованном экзамене и тестировании в 2024 году. Посмотрим, как ИИ справится с задачами:
Далее – сравним ответы из сборника с теми, что получил ИИ
Задания | А1 | А2 | А3 | А4 | А5 | А6 | А7 | А8 | А9 | А10 | B1 | B2 | B3 | B4 | B5 | B6 | B7 | B8 | B9 | B10 | B11 | B12 | B13 | B14 | B15 | B16 | B17 | B18 | B19 | B20 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
ИИ | 5 | 3 | 5 | 3 | 1, 2 | 2, 4 | 1 | 5 | 3 | 1, 3 | 2, 5, 6 | А5Б2В4 | 459 | 24 | 15 | 45 | 65 | -11 | -10 | 294 | 44 | 140 | 160 | 17 | -567 | -154 | 6,38 | -33 | -24 | 32 |
Решение | 2 | 4 | 5 | 3 | 1 | 2, 4 | 1 | 5 | 3 | 1, 3 | 1, 3, 5 | А5Б2В4 | 459 | 24 | 15 | 45 | 65 | -11 | -10 | 294 | 44 | 140 | 160 | 17 | -567 | -154 | 25 | -33 | -24 | 46 |
И знаете? Я приятно удивлен: 6 ошибок (4 неверных и 2 частично верных ответа).
Но самое интересное – это решения, которое предложил ИИ. Их я и предлагаю обсудить в комментариях в соцсетях или через ваши мысли, присланные мне на email: salshevski@gmail.com