2026.04.06

#83 生成AIのフルスタック監視「AI and LLM Observability」のご紹介

 

 

目次

開く

     

    皆さまこんにちは、IIMサポートチームです。 
     
    このブログではDynatraceのTips等、
    気軽に読めて皆さまのお役に立てるようなコンテンツを配信しています。
     
    *文中、斜体になっている単語はDynatrace画面上/ドキュメント内で使用される用語となります
     例)ServiceHost など
    *青色の色掛部分は操作対象のボタンを表しています

     

     

    今回は「AI and LLM Observability」をご紹介します。
    生成AIアプリからAIエージェント、LLMモデルまでの動作やプロンプト処理を可視化し、コストや安全性を分析することができます。 

    さて、AI利活用は主に以下の3つの領域で注目されています。

     ① 生成AIの活用 

       顧客サービスの向上と社内業務の効率化の生成AIの導入

     ② 業務の自律処理

       ビジネス(例:受発注)とIT運用の自動化を担うAgentic AIの導入 

     ③ Observability ツールのAI実装

       自動監視/自動分析/インシデント管理/構成管理のAI実装

    今回の記事では①の領域に貢献する「AI and LLM Observability」をご紹介します。

    ②についてはTips787980を参照ください。

    ③については、今後「Dynatrace Intelligence」の記事紹介を予定しております。

     

    生成AIの利用における課題と解決

    生成AIの急速な普及により様々な課題が明らかになり、その解決が求められています。具体的には以下になります。

     

    1.真実性/公平性の担保

       誤情報/嘘情報(ハルシネーション)/偏向回答の防止

    2.セキュリティ/プライバシーの保護

       プロンプトハッキング/情報漏洩/詐欺/悪用の防止

    3.利用コストの適正化

       生成AI利用コスト(トークン消費量)の予算内への抑制

    4.複雑な生成AIシステムの可観測性

       システム障害(品質と性能)とボトルネックの迅速解決

     

     

    「AI and LLM Observability」のご紹介

    Dynatrace社は上記の課題の解決を支援するために、生成AIシステムをフルスタック監視する「AI and LLM Observability」を提供しています。その概要は以下の通りです。

     

    (1)生成AIシステムのフルスタック監視(可視化と分析)

    (2)アプリケーション層(生成AIアプリのサービスとプロンプトフロー)の監視

    (3)AIスタック層(オーケストレーション/AI Agent/AIモデル)の監視

    (4)インフラストラクチャー層(専用ハードウェア/ベクトルDB)の監視

     

     

    #83生成AIシステム構成
    #83生成AIシステム構成

     #83-生成AIシステムの3階層モデル(Dynatrace資料) 

     

     

    (1)生成AIシステムのフルスタック監視(可視化と分析)

    AI Observability」アプリは、生成AIシステムの構成/サービス健全性/プロンプト/AI Agentを可視化・分析します。ここでは代表的な機能をご紹介します。 [アプリ] > [AI Observability]よりご利用いただけます。 

    尚、「AI Observability」アプリは、Dynatrace SaaSの新UI環境でのみ利用できる機能となります。

     

    ①サービス健全性:コスト消費

      プロンプト実行によるトークン消費量とコストの分析  

    ②サービス健全性:ガードレール 

      セキュリティ/プライバシーを担保する各種ルールの発動状況の分析

    ③プロンプト実行

      インプット(プロンプト)/アウトプット(回答)/処理時間/トークン消費/等の分析

     

    #83コスト
    #83コスト

    #83‐コスト(トークン)消費状況

      

    #83ガードレール
    #83ガードレール

      #83-ガードレール発動状況

     

    #83プロンプト実行
    #83プロンプト実行

      #83-プロンプト実行結果

     

     

    (2)アプリケーション層:生成AIアプリのサービスとプロンプトフローの監視

    Service」アプリと「Distributed Tracing」アプリを利用して、生成AIアプリケーション(OpenLLMetry SDK 実装が必要)のプロンプトフローをトレースデータとして表示・分析します。(対応言語はPython)

     

    ①生成AIアプリのプロンプト実行(サービス)

      リクエスト/エラー/レスポンス/メトリクスの分析

    ②生成AIアプリのプロンプトフロー(トレース)

      各種AI Agentの呼び出しフローと処理結果の分析

     

    #83サービス
    #83サービス

     #83-プロンプト実行状況

    #83トレース
    #83トレース

    #83-プロンプトフローのトレース分析

     

     

    (3)AIスタック層:オーケストレーション/AI Agent/AIモデルの監視

    AI Observability」アプリ(「AI Agent」メニュー) と「AI and LLM Dashboard」を利用して、AI Agentの構成と稼働状況、生成AI環境を可視化・分析します。

     

    ①AI Agent

      AI Agentの依存関係を可視化(障害個所は赤色表示)、「Dynatrace Assistant」 が障害原因と対策を自動解説

         対象:Open AI/Amazon Bedrock/Google SDK/MCP/LangChain/Claude/他 

    ②AI プラットフォーム 

      生成AI製品の稼働状況/利用状況を可視化

      対象:Amazon Bedrock/Azure Open AI/Google Gemini/Open AI/他 

     

    #83トポロジー
    #83トポロジー

    #83- AI Agent :  Open AI Agent トポロジー(赤色:障害発生中)

     

    #83Assistant
    #83Assistant

     #83-障害内容のAI説明(Dynatrace Assistant)

     

    #83プラットフォーム
    #83プラットフォーム

    #83-生成AIプラットフォーム:Google Gemini and Vertex

     

     

    (4)インフラストラクチャー層:HW/ベクトルDB

    AI and LLM Dashboard」及び「Infrastructure and Operations」アプリを利用して、生成AIシステムのインフラストラクチャーの構成と稼働状況を分析します。

     

    #83インフラストラクチャー
    #83インフラストラクチャー

    #83-「AI and LLM Dashboard」インストール

     

     

    まとめ

    以上のように、「AI and LLM Observability」はお客様の生成AIシステムの全域を可視化して実行状況を詳細に分析します。

    これにより、より高度で安全な生成AIシステムの開発と運用を支援いたします。

     

    #83 生成AIのフルスタック監視「AI and LLM Observability」については以上となります。

    お読みいただきありがとうございました!

     

    ※記事執筆時 Dynatrace SaaS Version:1.332 

     

     

     

     

     

    コメント一覧

     

    執筆者

    Y.O. 

    営業技術本部 カスタマーサクセス統括部 Dynatrace技術サービス部 

     

    関連記事