新しいオープンソース フレームワークは、LLM のセキュリティ保護を容易にすることを目的としています

カナダのマネージド ディテクション アンド レスポンス (MDR) 専門家である eSentire は、LLM をより安全に使用できるように設計されたフレームワークをオープンソース化しました。 このフレームワークは、独自の運用における AI 導入の使用に基づいています。

eSentire は、同社のオープンソース LLM ゲートウェイは、企業が AI モデルのセキュリティをより適切に管理できるようになると述べています。 このリリースは、LLM およびより広範な AI 分野におけるセキュリティを推進するための同社による大規模な推進の一環です。

「LLMを呼び出す関数を書くことはできますが、ユーザー入力を求めるのと同じように、LLMがどのように決定を下すかを検査することはできません」とeSentire Labsの副社長Alex Feick氏はThe Stackに語った。 「防御者は、LLM から返される出力が敵対的である可能性があることを考慮する必要があります。」

通常の IT 脅威にはネットワーク侵入などが含まれますが、AI を保護するにはデータに特別な注意を払う必要があります。 その点で、eSentire は、同社のゲートウェイは、LLM や AI の実装を阻止する可能性のあるデータポイズニングなどの一般的な攻撃の検出に役立つと述べています。

「顧客には通知が届き、当社の他の（管理された検出と対応）機能を通じて、eSentire はユーザーまたは資産レベルで封じ込め措置を講じることができます」と Feick 氏は述べています。

「LLM の『ポイズニング』を検出できるようにするには、組織が何らかの形式の LLM ゲートウェイを備えている必要があります。これにより、企業の LLM のやり取りがログに記録され、セキュリティ チームがレビューできるようになります。」

その可視性の秘密の 1 つは、オープンソース ソフトウェアの使用です。 Feick 氏は、eSentire ゲートウェイは、新興分野に対する可視性を高めるために設計上オープンソースになっていると述べました。

「LLM ログやその他のセキュリティ対策を LLM ゲートウェイ内でどのように実装できるかについて、ユーザーの透明性を高めたいため、これをオープンソースにしました」と Feick 氏は説明しました。

「私たちは、セキュリティ担当者にプロトタイプを提供して、ゲートウェイの価値をより深く理解し、組織が商用ゲートウェイを選択する際に求める機能を検討できるようにしたいと考えました。」

eSentire は、ゲートウェイ コードを GitHub で利用できるようにしています。