调研报告 · Grafana Cloud · AI Observability

OpenLIT Observability

Grafana Cloud 的 AI 可观测性方案:用 OpenLIT SDK 自动埋点,把 LLM、Agent、向量库、MCP 与 GPU 的 traces 和 metrics 汇入 Grafana 统一监控——它是什么、怎么接、和开源自托管怎么选。

日期 2026-10-22 协议 OpenTelemetry / OTLP 信号 Traces + Metrics
6
监控模块
70+
自动埋点集成
2 行
SDK 接入代码
~2.9k
GitHub Stars
3
SDK 语言 Py/TS/Go
Apache
2.0
开源协议
01

一句话总结

TL;DR

OpenLIT Observability 是 Grafana Cloud 官方的 AI 可观测性方案:应用通过开源 OpenLIT SDK(或 Kubernetes Operator 零代码注入)自动采集 LLM / Agent / 向量库 / MCP / GPU 的 OpenTelemetry traces 与 metrics,发送到 Grafana Cloud,由预置 dashboard 展示性能、成本、Token 用量、质量评估与安全指标。

调研中首先要区分两个容易混淆的概念:

CLOUDGrafana Cloud 集成

Grafana Cloud 里的一个 integration。复用 OpenLIT SDK 做埋点,数据存在 Grafana Cloud(Tempo / Prometheus),用 Grafana 的预置面板、统一告警,与既有 K8s / GPU / 数据库监控同栈。

OSSOpenLIT 开源项目

独立的开源 Agent Harness Engineering Platform(Apache 2.0,约 2.9k stars)。自带 UI 与 ClickHouse 存储,含 Evals、Guardrails、Prompt Hub、Vault 等完整功能,可 docker compose 一键自托管。

02

能监控什么:六大模块

官方文档把能力分为 6 个模块,每个模块有对应的预置 dashboard:

gen_ai

GenAI Observability

LLM 请求量、成功率、响应时间 / 吞吐;实时成本追踪;Token 使用模式与效率;用户交互趋势;模型对比。

evals

GenAI Evaluations

幻觉检测、事实准确性;毒性(toxicity)与偏见(bias)检测;置信度与质量门控;安全合规追踪。

agents

Agent Observability

Agent 调用总量与来源分布;按 Agent 拆分的成本;操作时长与 P95 延迟;带 trace 上下文的 Agent 日志。

vectordb

VectorDB Observability

向量搜索性能、数据库操作、资源利用、索引管理。

mcp

MCP Observability

Model Context Protocol 服务健康、工具调用分析、传输监控、集成洞察。

gpu

GPU Observability

GPU 利用率、温度、显存、功耗、风扇等基础设施健康。

支持的提供商与框架(自动埋点)

LLM Providers OpenAIAnthropicGoogle Gemini / VertexAWS BedrockAzure OpenAICohereMistralDeepSeekOllamaGroqvLLMxAI
Agent Frameworks LangChain / LangGraphLlamaIndexCrewAIOpenAI Agents SDKDSPyAutoGen (AG2)Pydantic AIHaystackLiteLLMClaude Agent SDKVercel AI SDKBrowser Use
Vector DBs ChromaDBPineconeQdrantMilvusAstraDBPostgreSQL
Coding Agents(CLI hook,无需 SDK) Claude CodeCursorCodexWindsurfOpenCode
03

架构与数据流

OTLP 网关地址形如 https://otlp-gateway-<zone>.grafana.net/otlp,认证为 Basic(实例 ID + API Token 的 base64)。

三个关键点:

  • 厂商中立——全部走 OpenTelemetry 标准(OTLP),后端可换成任何兼容系统:自托管 Grafana、Datadog、SigNoz、Honeycomb、VictoriaMetrics 等;
  • 与既有监控统一——LLM 指标和 K8s / GPU / 数据库等传统基础设施监控在同一个 Grafana 实例里,便于关联排查;
  • 告警——用 Grafana Alerting 对成本超阈值、延迟尖峰、评估分数跌破质量门控触发通知。

关键指标(OTel GenAI 语义约定)

维度指标 / 内容
成本gen_ai_usage_cost_USD_sum — 每次调用的输入 / 输出 token 费用
Tokengen_ai_usage_input_tokens_total、output tokens
延迟TTFT(time to first token)、整体延迟直方图、百分位数
流量请求率、吞吐、可用性、错误分类
质量 / 安全幻觉、事实准确性、毒性 / 偏见评分、prompt injection 检测(评估器叠加在 trace 上)
04

接入方式

方式 A · SDK 埋点(最简,两行代码)

前提:有 Grafana Cloud 实例,并在 Cloud Portal 的 OpenTelemetry 配置区生成 API Token。

Shell — 安装与环境变量

pip install openlit

export OTEL_EXPORTER_OTLP_ENDPOINT="<YOUR_GRAFANA_OTEL_GATEWAY_URL>"
export OTEL_EXPORTER_OTLP_HEADERS="<YOUR_GRAFANA_OTEL_GATEWAY_AUTH>"  # Basic <base64(实例ID:API Token)>

Python — 应用内初始化

import openlit
openlit.init()   # 自动读取上述 OTEL 环境变量

# 之后正常使用 OpenAI / Anthropic / LangChain 等,调用自动被采集

也可在 openlit.init(otlp_endpoint=…, otlp_headers=…) 里显式传参。SDK 提供 Python、TypeScript(npm)、Go 三种语言;Grafana 官方文档示例以 Python 为主。

方式 B · Kubernetes 零代码接入(OpenLIT Operator)

不修改代码、不重建镜像,由 Operator 自动注入插桩。原理:Operator 持续比对 Pod 与插桩策略,匹配后注入一个 init 容器完成 OpenTelemetry 配置,Pod 随即开始输出含成本、Token、Agent 性能的 traces。

  1. Grafana Cloud → Connections → 安装 AI Observability 集成(预置 dashboard + 启用托管 OTLP 网关);
  2. 用 Helm 安装 openlit-operator(需 cluster-admin、Helm、kubectl);
  3. 创建 AutoInstrumentation CRD:label selector 指定目标 Pod,设置 OTLP endpoint 与认证 headers,附加资源属性(环境、命名空间);
  4. 重启匹配的 Pod → Operator 注入 init 容器生效;
  5. 数据发往集群内 OpenLIT Collector 或直达 Grafana Cloud OTLP 端点,在 GenAI / Agent / VectorDB / MCP 面板查看。
Operator 覆盖范围

OpenAI、Anthropic、Google、Bedrock、Mistral 等提供商;LangChain、CrewAI、OpenAI Agents SDK、LlamaIndex、Haystack、DSPy 等框架;以及向量库与 MCP server。插件架构可持续扩展。

05

OpenLIT 开源项目本身(自托管路线)

如果不用 Grafana Cloud,可以直接自托管完整的 OpenLIT 平台:

  • License:Apache 2.0,自托管免费,无 license key、无 per-trace 收费;企业版另有组织级治理(自定义角色、审计日志、告警);
  • 部署:git clone + docker compose up -d(UI 默认在 http://127.0.0.1:3000,OTLP 端口 4317/gRPC、4318/HTTP),也支持 Kubernetes;
  • 技术栈:存储用 ClickHouse,遵循 OTel GenAI 语义约定,NATS 消息总线,自带 Next.js 前端;
  • 定位:官方称 "agent harness engineering" —— AI agent = model + harness,OpenLIT 管模型之外的 harness 层(工具、上下文、提示词、记忆、护栏、反馈循环)。

功能远超纯观测

tracing

Agent / LLM Tracing

全链路:LLM 调用、工具调用、MCP 请求、检索、agent 步骤。

evals

Evals

LLM-as-a-judge、程序化评估、人工反馈,支持 CI gate。

guardrails

Guardrails

运行时 prompt injection、敏感话题、话题限制检测,以 OTel span 记录。

prompts

Prompt Hub / Context / Rule Engine

提示词版本管理;RAG 内容复用;基于 trace 属性的规则引擎动态控制运行时行为。

vault

Vault / OpenGround

API key 托管;多模型 / 多提供商并行对比(成本、延迟、质量)。

cost+gpu

Cost Tracking / GPU Monitoring

按模型、提供商、用户、会话、agent、环境追踪成本;NVIDIA / AMD / Intel GPU 监控并与 trace 关联。

自托管时同样可以只把 OpenLIT 当纯 SDK 用,数据只发 Grafana(开源版 / Cloud)而不部署自带 UI;社区还有 OpenLIT + VictoriaMetrics 的全自托管组合。

06

选型对比

维度Grafana Cloud「OpenLIT Observability」自托管 OpenLIT 平台
埋点OpenLIT SDK / Operator(相同)OpenLIT SDK / Operator(相同)
存储Grafana Cloud(Tempo + Prometheus)自带 ClickHouse
UIGrafana 预置 AI dashboardsOpenLIT 自带 UI
评估 / 护栏✓ 叠加在 traces 上的 evaluators✓ Evals、Guardrails、Prompt Hub 等全套
与基础设施监控统一★ 强项(K8s / GPU / DB 同栈、统一告警)需自行打通
运维成本托管,免运维自己维护 ClickHouse 等组件
费用按 Grafana Cloud 用量计费(traces / metrics,有 free tier)软件免费,只花基础设施成本
数据主权数据在 Grafana Cloud完全本地

选型建议

  • 已经在用 Grafana Cloud 监控基础设施 → 直接装 OpenLIT Observability 集成,统一栈收益最大;
  • 预算敏感 / 数据不能出内网 / 需要 Prompt Hub、Vault 等完整功能 → 自托管 OpenLIT(docker compose 一条命令起步);
  • 两者不互斥:SDK 埋点一次,OTLP 可多路分发(既发 Grafana 又发 OpenLIT)。
07

局限与注意事项

  1. 计费:官方文档与博客均未给出 AI Observability 的单独定价,实际按 Grafana Cloud 常规 traces / metrics 用量计费;高流量 LLM 应用(尤其 trace 含 prompt / completion 原文时)体量可能显著,需评估;
  2. 信号覆盖:OpenLIT → Grafana Cloud 路径官方明确的是 traces 和 metrics,logs 未在 destination 文档中提及(Agent 面板的"带 trace 上下文的日志"依赖应用自身日志接入);
  3. 语言支持:SDK 有 Python / TypeScript / Go,但 Grafana 官方 setup 文档示例以 Python 为主;
  4. 敏感数据:trace 可能包含 prompt / completion 原文,上云前需确认合规(OpenLIT 支持配置采集内容开关);
  5. dashboard 明细:官方 GenAI 文档实际是一个主 dashboard(请求 / 成本 / Token / 性能 / 错误五大块)+ Setup + Configuration 子页;"5 个预置 dashboard"指 GenAI / VectorDB / MCP / GPU / Agent 各模块面板合集。
08

参考链接