WSJ  —  август 2024 

Новое исследование показывает, что большие языковые модели снова могут превосходить людей. Но не в определенных ситуациях.

Согласно новому исследованию, в очередной битве между искусственным интеллектом и людьми ИИ превосходит финансовых аналитиков в прогнозировании доходов публичных компаний.

Исследование, которое является предварительным и требует проверки, поднимает вопрос о том, «будут ли финансовые аналитики продолжать оставаться основой принятия обоснованных решений на финансовых рынках», — говорит Валерий Николаев, профессор бухгалтерского учета Чикагского университета, соавтор исследования. 

«Конечно, очень важно задействовать людей, — говорит Николаев, но у ИИ есть потенциал быть чем-то большим, чем просто «инструментом поддержки», помогающим финансовым аналитикам.

Вместо этого, по его словам, большие языковые модели, или LLM, могли бы «быть более важными в процессе принятия решений, занимая место водителя, превращая человека в супервайзера для модели [ИИ]».

Как они сравниваются

Чтобы сравнить LLM с аналитиками-людьми, исследователи создали стандартизированные формы для балансов компаний и отчетов о прибылях и убытках и попросили OpenAI GPT-4 Turbo проанализировать их. LLM было поручено подражать финансовому аналитику, вычисляя многие коэффициенты, используемые для оценки акций, включая коэффициенты операционной эффективности, ликвидности и левереджа.

Одна из проблем заключалась в том, что предварительно обученный LLM мог определить идентичность компании на основе общедоступных документов, что позволило ей определить, будут ли доходы выше или ниже в следующем году, поэтому исследователи удалили названия компаний и идентифицирующую информацию из отчетов, а нечисловые символы и символы были исключены. используется для замены упомянутых конкретных лет.

Основываясь исключительно на анализе балансов и отчетов о прибылях и убытках, LLM попросили предсказать, будут ли отдельные компании сообщать о более высоких или более низких доходах в следующем году. Кроме того, LLM попросили охарактеризовать величину любого изменения в доходах как небольшую, умеренную или большую. Наконец, LLM попросили угадать, насколько он уверен в каждом из своих прогнозов.

В общей сложности LLM проанализировала финансовую отчетность 15 401 компании с 1968 по 2021 год. Затем исследователи сравнили прогнозы LLM с прогнозами финансовых аналитиков, охватывающих 3152 компании с 1983 по 2021 год. Команда рассчитала средний прогноз прибыли от нескольких аналитиков для каждой акции. и сравнил эту цифру с прогнозами LLM.

Анализ показал, что LLM правильно предсказал, вырастет или сократится прибыль компании в следующем году в 60,35% случаев. Для сравнения, когда аналитики делали свои прогнозы в течение месяца после того, как компания публиковала свои годовые финансовые документы, их точность составляла всего 52,71%, говорится в документе.

Исследователи обнаружили, что показатели точности человеческих аналитиков улучшаются по мере того, как они обновляют свои прогнозы в течение года с учетом последней информации, но они по-прежнему не соответствуют прогнозам LLM. Например, через три месяца после того, как компания публикует свой годовой отчет о прибылях и убытках и баланс, точность прогнозов аналитиков составляет 55,95% при прогнозировании того, вырастет или сократится прибыль в следующем году.

Прогнозы LLM не обновлялись в течение года, но они все же оказались более точными. Эти результаты примечательны, поскольку их прогнозы основаны только на финансовых данных, тогда как аналитики могут включать в свои прогнозы «конкретные повествовательные контексты», такие как комментарии руководства, говорят исследователи.

На данный момент этот более широкий контекст позволяет аналитикам превзойти LLM при оценке небольших убыточных фирм, говорится в документе. Соответствующие факторы, недоступные для LLM, включают знание отрасли, а также нормативной, политической и макроэкономической среды.

Когда времена тяжелые

По данным иследоватлей, точность LLM падает во время экономических потрясений, таких как кризис нефти в 1974 году, финансовый кризис 2008 года и пандемия Covid-19. Поскольку прогнозы LLM основаны исключительно на финансовых отчетах, аналитики более точны, когда внешние факторы кажутся более значительными.

Исследователи использовали LLM для создания теоретических портфелей акций, которые в некоторых моделях приносили в среднем 12% в год, что превосходило рынок в целом. Основываясь на уверенности LLM в своих прогнозах, исследователи купили 10% крупнейших акций, прибыль которых, по прогнозам, должна была вырасти умеренно или сильно. Они также продали без покрытия нижние 10% акций, которые, как ожидается, увидят умеренное или значительное снижение прибыли.

«В совокупности наши результаты показывают, что GPT может превзойти аналитиков-людей, выполняя анализ финансовой отчетности даже без какого-либо конкретного повествовательного контекста», — говорят исследователи в статье. «Учитывая, что GPT превосходит аналитиков-людей в прогнозировании будущих доходов, этот вывод поднимает вопрос о том, может ли LLM в значительной степени заменить среднего аналитика-человека».