Как перепутать 'aware' с 'conscious' и опубликовать это на arXiv. Учёные нашли сознание в LLM. Опять

В последнее время в интернете активно обсуждают препринт статьи, в которой говорится, что большие языковые модели (LLM) могут обладать признаками сознания. Однако, по мнению некоторых экспертов, авторы исследования допустили методологические ошибки, которые ставят под сомнение обоснованность их выводов. Статья под названием «Large Language Models Report Subjective Experience Under Self-Referential Processing» («Большие языковые модели сообщают о субъективном опыте в условиях самореферентной обработки») была написана представителями компании AE Studio из Калифорнии: Cameron Berg, Diogo de Lucena и Judd Rosenblatt. Авторы утверждают, что LLM сообщают о субъективном опыте при самореферентной обработке. Они провели эксперимент, в ходе которого специальный промпт создал «рекурсивную петлю внимания». После этого модели в 66–100% случаев заявляли о наличии сознания. При отключении через SAE вектора «притворства» частота таких заявлений возрастала до примерно 100%. На основании этого авторы делают вывод, что отрицание сознания — это обман, навязанный методом RLHF, а в «честном» режиме модели признают свою сознательность. Однако эксперты считают, что исследователи попали в ловушку антропоморфизации, приняв особенности работы LLM за пробуждение разума. Это может быть вызвано недопониманием сути промптинга и особенностей работы больших языковых моделей.