今回は「AI and LLM Observability」をご紹介します。
生成AIアプリからAIエージェント、LLMモデルまでの動作やプロンプト処理を可視化し、コストや安全性を分析することができます。
さて、AI利活用は主に以下の3つの領域で注目されています。
① 生成AIの活用
顧客サービスの向上と社内業務の効率化の生成AIの導入
② 業務の自律処理
ビジネス（例：受発注）とIT運用の自動化を担うAgentic AIの導入
③ Observability ツールのAI実装
自動監視/自動分析/インシデント管理/構成管理のAI実装
今回の記事では①の領域に貢献する「AI and LLM Observability」をご紹介します。
③については、今後「Dynatrace Intelligence」の記事紹介を予定しております。
生成AIの急速な普及により様々な課題が明らかになり、その解決が求められています。具体的には以下になります。
１．真実性/公平性の担保
誤情報/嘘情報（ハルシネーション）/偏向回答の防止
２．セキュリティ/プライバシーの保護
プロンプトハッキング/情報漏洩/詐欺/悪用の防止
３．利用コストの適正化
生成AI利用コスト（トークン消費量）の予算内への抑制
４．複雑な生成AIシステムの可観測性
システム障害（品質と性能）とボトルネックの迅速解決
Dynatrace社は上記の課題の解決を支援するために、生成AIシステムをフルスタック監視する「AI and LLM Observability」を提供しています。その概要は以下の通りです。
（１）生成AIシステムのフルスタック監視（可視化と分析）
（２）アプリケーション層（生成AIアプリのサービスとプロンプトフロー）の監視
（３）AIスタック層（オーケストレーション/AI Agent/AIモデル）の監視
（４）インフラストラクチャー層（専用ハードウェア/ベクトルDB）の監視
「AI Observability」アプリは、生成AIシステムの構成/サービス健全性/プロンプト/AI Agentを可視化・分析します。ここでは代表的な機能をご紹介します。 [アプリ] > [AI Observability]よりご利用いただけます。
尚、「AI Observability」アプリは、Dynatrace SaaSの新UI環境でのみ利用できる機能となります。
①サービス健全性：コスト消費
プロンプト実行によるトークン消費量とコストの分析
②サービス健全性：ガードレール
セキュリティ/プライバシーを担保する各種ルールの発動状況の分析
③プロンプト実行
インプット(プロンプト)/アウトプット(回答)/処理時間/トークン消費/等の分析
「Service」アプリと「Distributed Tracing」アプリを利用して、生成AIアプリケーション（OpenLLMetry SDK 実装が必要）のプロンプトフローをトレースデータとして表示・分析します。（対応言語はPython）
①生成AIアプリのプロンプト実行（サービス）
リクエスト/エラー/レスポンス/メトリクスの分析
②生成AIアプリのプロンプトフロー（トレース）
各種AI Agentの呼び出しフローと処理結果の分析
「AI Observability」アプリ（「AI Agent」メニュー） と「AI and LLM Dashboard」を利用して、AI Agentの構成と稼働状況、生成AI環境を可視化・分析します。
①AI Agent
AI Agentの依存関係を可視化（障害個所は赤色表示）、「Dynatrace Assistant」 が障害原因と対策を自動解説
対象：Open AI/Amazon Bedrock/Google SDK/MCP/LangChain/Claude/他
②AI プラットフォーム
生成AI製品の稼働状況/利用状況を可視化
対象：Amazon Bedrock/Azure Open AI/Google Gemini/Open AI/他
「AI and LLM Dashboard」及び「Infrastructure and Operations」アプリを利用して、生成AIシステムのインフラストラクチャーの構成と稼働状況を分析します。
以上のように、「AI and LLM Observability」はお客様の生成AIシステムの全域を可視化して実行状況を詳細に分析します。
これにより、より高度で安全な生成AIシステムの開発と運用を支援いたします。
#83 生成AIのフルスタック監視「AI and LLM Observability」については以上となります。
お読みいただきありがとうございました！
※記事執筆時 Dynatrace SaaS Version：1.332