Выявілася, што забыўлівасць дапамагае ШІ вучыцца

• 26.06.2026, 17:27

Як гэта працуе.

Спецыялісты з Інстытута псіхалінгвістыкі Макса Планка штучна абмежавалі памяць сучасных нейрасетак. У адрозненне ад класічных сістэм, якія бездакорна памятаюць велізарныя аб’ёмы даных, новы алгарытм мэтава сцірае дакладныя літэрныя формы старых слоў, паведамляе «Хайтэк».

Навукоўцы пратэставалі новую тэхналогію на ШІ-бенчмарку BabyLM. Гэты датасэт змяшчае роўна столькі тэкставай інфармацыі, колькі чалавечае дзіця паспявае пачуць за перыяд свайго развіцця.

Эксперыменты паказалі, што «забывальны» ШІ спраўляецца з тэстамі на веданне сінтаксісу і мадэляванне мовы значна лепш за стандартныя трансфармеры. Высветлілася, што жорсткае абмежаванне памяці прымушае нейрасетку ігнараваць лішні тэкставы шум. Замест гэтага яна канцэнтруецца на пошуку ўстойлівых заканамернасцей і абстрактных правілаў граматыкі.

Станоўчы эфект выявіўся толькі тады, калі дэградацыю даных аб’ядналі з кароткім эха-буферам. Ён захоўвае ў нязменным выглядзе толькі апошнія 3–7 слоў, забяспечваючы лакальны кантэкст. Па-за межамі гэтага акна дакладныя фразы паступова сціраюцца.

Гэтая праца пацвярджае даўнюю гіпотэзу кагнітывістаў пра тое, што недасканаласць чалавечай памяці — гэта эвалюцыйная перавага для навучання, а не памылка. Праект даказвае, што для стварэння прасунутага ШІ не заўсёды патрэбныя тэрабайты даных і бясконцыя кантэкставыя вокны.