1つのハーネス、3つのセキュリティエージェント:再帰的言語モデルの実践
DAY 1
13:00-
13:40
ほとんどのLLMセキュリティエージェントは、コンテキストをプロンプトに詰め込み、あとはうまくいくことを祈るだけである。タスクの規模が大きくなるにつれて、コンテキストは劣化していく。すなわち、モデルは初期の発見を見落とし、存在しない脆弱性を捏造し、予測不可能な予算(トークンコスト)を消費する。そして誰もが同じような足場(使い捨てのスクリプトや仕組み)を再構築しているが、そのいずれも学習(最適化)可能なものではない。
「再帰的言語モデル(Recursive Language Models: RLM)」のアプローチはこれとは異なる。コンテキストはサンドボックス化されたREPL内の変数として存在し、モデルは再帰的なサブコール(下位呼び出し)を伴うコードを通じてそのコンテキストを推論する。「rlm-harness」は、DSPyのRLM上に構築された私のオープンソースハーネスであり、タスクの宣言、サンドボックスの継承、再現可能な実行トレース、そして報酬設計の不要なデータセットのエクスポートといった機能を提供する。
このハーネス上では、次の3つのエージェントが動作する。 「cve-reverser」:公開されたCVEパッチから、検証環境用のPoCとNucleiテンプレートを自動生成する。 「diff-sentry」:GitHubのdiff(差分)を信頼できないデータとして読み込み、それがマージされる前に悪意ある変更を検出してフラグを立てる。 「sc-sentry」:Solidityの脆弱性をクラスごとに探索・検出する。静的解析によってモデルの対象を候補箇所に絞り込み、すべての検出結果に根拠となる行の引用を義務付け、単なるデモではなくcontract-assayベンチマークで測定された結果をSARIF形式で出力する。
タスク構造を担っているのはモデルではなくハーネスであるため、一度学習させたプランナーをセキュリティドメイン間で転用できる。ユーザーは機械学習そのものではなく、タスクそのものに集中して取り組むことができる。
-
Location :
-
Track 3(Room 3)
-
-
Category :
-
Bluebox
-
-
Share :
Speakers
-
Syue Siang Su
シュエシャン・スー
シュエシャン・スーは、CyCraft Technologyのセキュリティリサーチマネージャーであり、現在はクラウドセキュリティ、Webセキュリティ、ブロックチェーンセキュリティを中心に研究に取り組んでいます。
サイバーセキュリティコミュニティでも積極的に活動しており、HITCON、HITB、FIRSTCTI、VB、HackerOneなど、世界各地のさまざまなカンファレンスやセミナーで講演を行ってきました。
現在も日本のSECCON CTFや台湾のHITCON CTFなどのCTF競技会に参加しているほか、バグバウンティプログラムやオープンソースプロジェクトに対して、数多くの脆弱性報告を行っています。