Ну что, не прошло и трёх лет — и вот наконец выдалось немного времени, чтобы провести тот самый «эксперимент», который когда-то родился в процессе работы над серией публикаций «Справится ли ИИ с образованием»:
Далее в формате «было/стало» я повторно «прорешаю» задания ЦТ и посмотрю на итоговые результаты, ну а выводы, как обычно, сделаете сами.
ИИ Решение:
| Было | Стало |
Загрузка...
|
Загрузка...
|
Перезагрузить документ 
Открыть в новой вкладке 
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Сталл |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
ИИ Решение:
| Было | Стало |
|
Загрузка...
|
Загрузка...
|
Далее – сравним ответы из сборника с теми, что получил ИИ в формате «бвло/стало»
| Задания | А1 | А2 | А3 | А4 | А5 | А6 | А7 | А8 | А9 | А10 | B1 | B2 | B3 | B4 | B5 | B6 | B7 | B8 | B9 | B10 | B11 | B12 | B13 | B14 | B15 | B16 | B17 | B18 | B19 | B20 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Было | 5 | 3 | 5 | 3 | 1, 2 | 2, 4 | 1 | 5 | 3 | 1, 3 | 2, 5, 6 | А5Б2В4 | 459 | 24 | 15 | 45 | 65 | -11 | -10 | 294 | 44 | 140 | 160 | 17 | -567 | -154 | 6,38 | -33 | -24 | 32 |
| Стало | 5 | 4 | 5 | 3 | 1 | 2 | 1 | 5 | 3 | 1, 3 | 1, 3, 5 | А5Б2В4 | 459 | 24 | 15 | 45 | 65 | -11 | 2 | 294 | 44 | 140 | 160 | 17 | -567 | -154 | 25 | -33 | 24 | 46 |
| Решение | 2 | 4 | 5 | 3 | 1 | 2, 4 | 1 | 5 | 3 | 1, 3 | 1, 3, 5 | А5Б2В4 | 459 | 24 | 15 | 45 | 65 | -11 | -10 | 294 | 44 | 140 | 160 | 17 | -567 | -154 | 25 | -33 | -24 | 46 |
И как мы видим, ChatGPT действительно «исправился» — на этот раз правильно решил пять задач, где раньше допускал ошибки. При этом, как и прежде, не справился с одной задачей, где нужно было «прочитать чертёж», — но неожиданно ошибся и там, где раньше решал всё верно. Почему так? Не знаю. Но это, честно говоря, очень интересно.
Тем более что в проектах у чата у меня висит ветка с предыдущими решениями, и логично было бы ожидать, что он как-то «учтёт» их. Но — нет.
Отмечу ещё пару технических наблюдений. Во-первых, стало заметно хуже работать привычное Ctrl+C — Ctrl+V из чата в Word. Возможно, добавили какую-то новую математическую библиотеку, и теперь форматирование чуть сбоит. Думаю, это временно и скоро пофиксят.
Во-вторых, решения стали выполняться чуть дольше. Может быть, дело в загрузке серверов, а может, в изменениях внутри модели — но факт остаётся фактом.
Если подвести итог: вместо шести ошибок осталось три — одна старая и две новые. И вот именно этот момент, на мой взгляд, заслуживает внимания.
P.S. Очень хочется подробнее разобрать решения, потому что при беглом взгляде уже видно и векторы, и несколько любопытных способов рассуждения. Но, к сожалению, сейчас времени не хватает. Если у кого-то есть желание или возможность помочь найти ресурсы для более глубокого анализа — буду искренне благодарен.
