Time Table

検索拡張生成（RAG：Retrieval-Augmented Generation）システムは、検索メカニズムを組み合わせて大規模言語モデル（LLM）の推論能力を強化し、学習データを超えた応答を可能にする。しかし、RAGシステムのロバスト性（頑健性）は未解決の課題である。われわれのRAGシステムは、さまざまな攻撃に対して有害または無意味な応答を回避するのに十分なロバスト性を持っているのだろうか？

本研究では、RAGシステムの広範なアタックサーフェスに焦点を当て、攻撃者が検索フェーズやLLM生成フェーズをどのように操作できるかを探る。例えば、攻撃者が情報をあいまいにして検索器（Reriever）のミスリードを誘い、LLMに誤った回答を生成させたり、LLMの選好を悪用して有害な情報を参照させたりすることが考えられる。不正確な回答にとどまらず、フィッシングリンクを参照リンクに偽装するなど、悪意ある指示を配信する方法も実証する。機能呼び出しが関与するシナリオでは、これらの技術がリモートコード実行（RCE）につながる可能性もある。

これらの脅威に対処するために、われわれはRAGロバスト性を評価する初のオープンソースの包括的なフレームワーク「BullyRAG」を紹介する。BullyRAGは、誤情報の提供、悪意ある指示の実行誘導、RCEの3つの主要な攻撃目標に対応する。10を超える攻撃手法（不可視制御文字による難読化や嗜好特化など）を含み、2つのRAG使用シナリオ（質問応答と機能呼び出し）をサポートし、3つの推論エンジン（Hugging Face、Llama Cpp、OpenAPI）と統合されている。

正確な評価のために、最新のニュース記事やArXivから自動更新される新しいデータセットも提供し、どの言語モデルのトレーニングデータにも含まれていないことを保証する。

最後に、BullyRAGを使用して、多くの強力なLLMの評価結果を示し、モデルを選択する際に精度以外の視点を提供することを目指す。

結論として、本研究はRAGシステムの脆弱性を明らかにし、柔軟な評価フレームワークを提供し、包括的な評価を目的とした最新のデータセットを提供することで、RAGシステムのロバスト性を強化することに寄与している。