Кодот може успешно да се извршува, а сепак да не го прави она што го побарал корисникот. Таа разлика е особено важна кај паметните договори: програми што стојат зад Web3 апликации, пренесуваат средства на блокчејн и не можат да се поправат по објавувањето. Во претпечаток објавен на arXiv, истражувачите испитуваат како да утврдат дали AI-генериран договор го следи бараното однесување и каде се губат барањата.
Студијата е евалуација на синтеза на паметни договори, а не доказ дека системите се подготвени за употреба во реални финансиски апликации. За проверка, авторите ги повторувале истите трансакции врз генерираниот договор и врз оригиналниот договор што требало да го репродуцираат, па ја мереле нивната усогласеност. Така ја оценувале сличноста на однесувањето, а не само дали кодот може да се изврши.
Проверувањето на самата проверка се покажало важно. Авторите внесувале намерни грешки за да испитаат дали алатките за оценување ќе ги откријат, а го ревидирале и сопствениот оценувач за познати погрешни одговори да не поминуваат. Во оваа евалуација, вообичаени пристапи како AI-судии и стандардни алатки за анализа пропуштиле очигледни грешки. Освен тоа, ако се проверуваат само функциите присутни во сите системи, се сокрива околу половина од разликата меѓу нивните процеси.
Зошто прашањата доаѓаат пред кодот?
Предложениот пристап почнува со кратка листа прашања за клиентот. Потоа агентот го споредува договорот со независно напишан извршлив модел — код што служи како одговор за очекуваното однесување — и ги враќа несогласувањата до клиентот. Според тестовите со три AI-модели, собирањето дополнителни барања пред пишување код имало поголемо влијание од подоцнежниот преглед или поправање. Авторите наведуваат и дека автоматските безбедносни поправки често го нарушувале бараното однесување.
Неколку добро избрани прашања можат да надоместат значаен дел од она што недостига во краток опис, а нивната вредност може да се процени и без оригиналниот договор. Авторите ги објавуваат своите алатки, 600 задачи и сите резултати; апстрактот не потврдува дека сите задачи биле дел од секоја споредба. Тие ја опишуваат работата како прва студија од овој вид во синтезата на паметни договори, но тоа е нивна процена. Статусот на стручна рецензија не е потврден. Апстрактот не дава детали за моделите, задачите или резултатите по модел, па останува нејасно колку наодите важат за вистински договори или за други видови програми.
Научна основа и ограничувања
Евалуација на синтеза на паметни договори со споредба на извршување и тестирање на алатки за оценување; претпечаток.
Примерок: 600 задачи се наведени како објавени материјали; примерокот за споредбите е unknown..
- Ова е претпечаток, а не потврдено рецензиран труд. Статусот на стручна рецензија не е потврден.
- Апстрактот не ги наведува имињата на трите AI-модели, деталите за задачите или нивната распределба, ниту конкретните мерки и резултати по модел.
- Бројката од 600 се однесува на објавените задачи; апстрактот не потврдува дека сите биле користени како примерок во секоја споредба.
- Наодите се однесуваат на проценување на синтеза на паметни договори во рамките на опишаната евалуација. Апстрактот не дава доволно детали за да се утврди колку резултатите се применливи во реални договори или други програмски задачи.
- Трудот е објавен на arXiv на 27 октомври 2026 година; тврдењата се од претпечатокот, а не од подоцнежна потврда.
