ГРАНИЦЫ ЯЗЫКА
Языковая модель не вышла за пределы человека. Она обучена на том, что человечество написало, и оперирует только теми различениями, которые в этом тексте уже были: наш язык, наши понятия, наши способы спорить. Всё, что она умеет, — очень плотно упакованная человеческая мысль, включая её слепые зоны.
Поэтому вопрос «на чём стоит нейросеть» — не только про математику. Логика вывода, тезис о значении как употреблении, спор о том, нужен ли разуму опыт, этика характера — всё это писали конкретные люди задолго до первой видеокарты.
НА ЧТО ОПИРАЮТСЯ РАЗРАБОТЧИКИ
Инженерные решения в языковых моделях почти всегда оказываются старыми философскими ставками, принятыми без голосования.
Лейбницмышление можно вычислить — без этой ставки обучать было бы нечего
Витгенштейнзначение есть употребление — отсюда векторные представления слов
Юмобобщение из примеров без гарантий — и без них до сих пор
Сократпроверять ответ вопросом — так работает конституционный ИИ
Аристотельхарактер воспитывается — на этом стоит работа над характером Claude