bugabuga

Людям, которые не понаслышке знают про дырки в секьюрити и как они устроены (buffer overruns, exploits и все такое) будет очень интересно прочитать подробный отчет Anthropic о их новой модели Mythos, с помощью которой они нашли тысячи уязвимостей в опен-сорс проектах за последние пару месяцев (Антропик не собирается пока что предоставлять широкой публике доступ к Mythos).

В тексте отчета подробно разбирают несколько багов. Возьмите для примера zero-day уязвимость в OpenBSD, которая позволяла крашнуть любой сервер OpenBSD, подключенный к интернету. Баг находился в tcp-input.c, файле обработки TCP-пакетов, этот файл обсматривали и проверяли на предмет уязвимостей десятки или сотни глаз и автоматических программ-анализаторов за последние десятки лет; тем не менее за 27 лет этот баг не обнаружили. Он довольно хитроумно соединяет два разных недочета в разных местах в коде, позволяющие с одной стороны ввести отрицательный номер пакета (бессмысленно, но в том конкретном месте не опасно), а с другой сделать его отрицательным и таким большим по модулю, чтобы сработал 32-битный overflow, и код ядра запутался, одновременно удаляя единственную запись в связном списке и добавляя новую. Попытка писать по NULL-указателю - сервер капут.

Теперь смотрите какое дело. В файле tcp-input.c больше 4000 строк кода, и он занимается кучей других вещей, кроме менеджмента списка "SACK-дырок", в котором найден этот баг. Но предположим, кто-то посадил бы меня за исходники и сказал: "я подозреваю, что в этом файле есть уязвимость, связанная с SACK-информацией в приходящих пакетах, которой можно воспользоваться. Посмотри, можешь ли ты ее найти; не забывай проверить все обычные места, где прячутся такие баги - edge cases структур данных, отрицательные значения числовых типов, overflow, overrun буферов итд. итп." Нашел бы я тогда за день-два-три этот баг? Вполне возможно, что нашел бы.

Ни у кого нет бюджета и мотивации платить много денег мне или другим компетентным программистам, чтобы они проводили кучу времени за очень скрупулезным обследованием конкретных кусков кода - не просто OpenBSD, не просто ядро OpenBSD, не просто сетевой код ядра OpenBSD, не просто TCP-опции входящего пакета, а конкретно SACK-дырки TCP-потока - при том, что неизвестно, есть там уязвимость или нет.

Но нет никакой проблемы запустить один достаточно умный (может, не AGI, но для этих целей достаточно умный) ИИ-агент, чтобы он разобрал по частям файл tcp-input.c и построил программу проверки из 10-20 отдельных частей, одна из которых SACK-дырки. И чтобы он потом запустил 10-20 отдельных ИИ-агентов, каждому из которых сказал смотреть на свою часть и искать там уязвимость. И если они достаточно умные - а в Claude Mythos этот порог, очевидно, перейден - тот из них, кому поручили на SACK-дырки смотреть, найдет этот баг. А остальные 19 сожгут зря немного токенов, ничего страшного (и не думайте, что они нагаллюционируют несуществующие баги и займут зря ваше время - дополнительный агент-судья с этим неплохо справится).

Если у вас есть компетентный программист, который может компетентно разобрать один файл исходников, то у вас нет миллиона компетентных программистов, которые могут компетентно разобрать миллион файлов исходников. Но если у вас есть компетентный ИИ-агент, который может разобрать один файл, то у вас есть миллион компетентных ИИ-агентов, которые могут разобрать миллион файлов. Важность этого обстоятельства, мне кажется, люди до сих пор очень плохо понимают.

Ирина Розенблюм дала ссылки на две истории про сирены и убежища, обе написаны с неделю назад. Процитирую полный текст. Если еще есть понравившиеся в этом жанре, киньте ссылки, пожалуйста.

Варвара Турова:

"Один из соседей, Дан, попросил присмотреть за собачкой, а то вдруг сирена, а собачка одна. Оставил ключ в потайном месте. Забрала собачку, погуляла, покормила, поиграла, и случайно захлопнула дверь его квартиры. Внутри квартиры остался ключ от нее, собачка, и мой телефон. Попыталась открыть дверь своим ключом. Попыталась открыть дверь невидимкой. Попыталась открыть дверь банковской карточкой. Начались сирены одна за другой. Спустилась в бомбоубежище, встретила там соседей Алона с Катей, (а так же новорожденной Аней), соседа Цахи и соседку Бат-Ор. Ребята, говорю, капец. Погоди, говорит Цахи. Может у Омер (другая соседка) есть ключ от квартиры Дана, поскольку собачка Омер и собачка Дана - дружат. Но Омер нет дома, говорит Алон. Ничего, говорю - я на днях сидела с ее собачкой так что я знаю, где ключ. Не, говорит Алон. Сегодня ключ не там, потому что Идан и Гали (другие соседи) гуляли с собачкой Омер и забрали этот ключ. Погоди, говорит Цахи, - я ей напишу. Написал. Выяснилось, что ключ от квартиры Омер, в которой есть ключ от квартиры Дана, в которой заперты другой ключ от квартиры Дана, собачка и мой телефон, есть у человека по имени Идэн, который живет в доме через дорогу. Сейчас выйдем из бомбоубежища, я ему позвоню, - говорит Бат-Ор. Выходим, звоним. Да, говорит Идэн, у меня есть ключ, но я в бомбоубежище. Сейчас вернусь, сброшу вам с балкона. Так он и поступил. Открыла квартиру Омер, забрала ключ от квартиры Дана, забрала собачку, телефон и ключ, повесила ключ от квартиры Дана обратно в квартире Омер, привела собачку к себе. Сейчас опять сирена, теперь уже вместе пойдём. Спасибо за внимание."

Яна Горелик:

"Поехала за мамой. Совокупность факторов постоянных обстрелов и дождя привели меня к умозаключению, что коврик на этот раз взять всё-таки стоит. Обычно я забываю и, если тревога, похуистически валяюсь на голой земле. В общем, я правильно сделала, потому что тревога -таки была. Я благоразумно встала на остановке, гордо взяла коврик и потопала к кустам. Нас там уже была веселая разношёрстная компания, от мала до велика. И одна чудесная маленькая девочка в белом платье, с папой, братом и сестрой, но без коврика. Я его им отдала и обречённо легла в грязь рядом. Маленькая девочка была очень напугана. Лежала на коврике, затыкала пальцами уши и звала папу, который был рядом, утешая и успокаивая, но это не помогало. И я спросила ее, куда он едут. К бабушке, прошептала девочка. А вы кушать у бабушки будете? Спросила женщина, лежавшая рядом. Да, она очень вкусно готовит, ответила девочка. А что будете кушать, спросил кто-то, лежавший чуть дальше. От такого внимания к ее бабушке и обилия вопросов, девочка не успевала бояться, ведь надо было каждому ответить. Где-то побумкало, все с интересом переглянулись, но вернулись к обсуждению планов на вечер маленькой девочки в белом платьишке, задавая ей все больше вопросов.
А потом все закончилось, мы поднялись, скатали коврики, сложили одеяла и циновки, радостно пожелали всем хорошего праздника, поулыбались и разъехались по своим делам.
А я доехала до мамы, вся грязная и по дороге к нам сказала, мама, знаешь, тут люди циновки принесли, очень удобно. Но ее-же пока расстелишь, говорит мама. Зато потом лежишь, как король, ответила я.
Ам Исраэль Хай
חג שמח
עם ישראל חי"

Интересная иллюзия, о которой только что вышла научная статья в "Журнале иллюзий". В вертикальном прямоугольнике, если вы в уме продлите дальше линию от левого нижнего угла через угол маленького прямоугольника, очевидно, что она проходит левее правого верхнего угла. Тем не менее она именно там проходит.

В горизонтальной версии та же идея: кажется, будто прямая от из угла через угол маленького пройдет сильно ниже угла большого, на самом деле через него. Тут должен отметить, что у меня лично "вертикальная" иллюзия намного сильнее "горизонтальной". Во втором случае я почти готов поверить, что пройдет через угол, или может немного ниже его; в первом ясно и неоспоримо, что пройдет очень далеко от угла.

Еще ярче эта разница для меня видна в версии с точками, а не прямоугольниками. При вертикальном расположении точек иллюзия есть, при горизонтальном ее нет вообще. А авторы статьи утверждают, что иллюзия работает одинаково в обоих случаях. У меня это не так - а у вас?

Интересно, что иллюзию обнаружили на примере звездного неба; есть известное правило о том, что Полярную звезду можно найти на продолжении линии между двумя из звезд Большой Медведицы. Если смотреть так, чтобы эта линия была близка к вертикальной, то люди заметили, что Полярная звезда вовсе не кажется находящейся на ней (хотя на самом деле находится).

"Three-dot misalignment illusion and related new illusions: a rediscovery of Bouma and Andriessen’s (1968) oblique effect as a strong illusion": Kentaro Usui and Akiyoshi Kitaoka, Journal Of Illusion 5/2025.