# 调研报告:Grafana 的 OpenLIT Observability

> 调研日期:2026-10-22
> 范围:Grafana Cloud「OpenLIT Observability」(AI Observability)集成方案,以及其背后的开源项目 OpenLIT。

---

## 1. 一句话总结

**OpenLIT Observability 是 Grafana Cloud 官方推出的 AI 可观测性方案**:应用通过开源的 OpenLIT SDK(或 Kubernetes Operator 零代码注入)自动采集 LLM/Agent/向量库/MCP/GPU 的 OpenTelemetry traces 与 metrics,发送到 Grafana Cloud,由 5+ 个预置 dashboard 展示性能、成本、Token 用量、质量评估与安全指标。

两个容易混淆的概念:
- **OpenLIT(开源项目)**:独立的开源"Agent Harness Engineering Platform"(Apache 2.0,约 2.9k stars),自带 UI、ClickHouse 存储,可完全自托管;
- **OpenLIT Observability(Grafana Cloud 集成)**:Grafana Cloud 里的一个 integration,复用 OpenLIT SDK 做埋点,但数据存在 Grafana Cloud(Prometheus/Tempo),用 Grafana 的预置面板和告警。

---

## 2. Grafana Cloud 方案能监控什么

官方文档把能力分为 6 个模块(每个模块有对应预置 dashboard):

| 模块 | 监控内容 |
|------|----------|
| **GenAI Observability** | LLM 请求量、成功率、响应时间/吞吐;实时成本追踪;Token 使用模式与效率;用户交互趋势;模型对比 |
| **GenAI Evaluations** | 幻觉检测、事实准确性;毒性(toxicity)与偏见(bias)检测;置信度与质量门控;安全合规追踪 |
| **GenAI Agent Observability** | Agent 调用总量与来源分布;按 Agent 拆分的成本;操作时长与 P95 延迟;带 trace 上下文的 Agent 日志 |
| **VectorDB Observability** | 向量搜索性能、数据库操作、资源利用、索引管理 |
| **MCP Observability** | Model Context Protocol 服务健康、工具调用分析、传输监控、集成洞察 |
| **GPU Observability** | GPU 利用率、温度、显存、功耗、风扇等基础设施健康 |

支持的提供商/框架(通过 OpenLIT SDK 自动埋点):
- **LLM 提供商**:OpenAI、Anthropic、Google(Gemini/Vertex)、AWS Bedrock、Azure OpenAI、Cohere、Mistral、DeepSeek、Ollama、Groq、vLLM、xAI 等
- **Agent 框架**:LangChain、LangGraph、LlamaIndex、CrewAI、OpenAI Agents SDK、DSPy、AutoGen(AG2)、Pydantic AI、Haystack、LiteLLM、Claude Agent SDK、Vercel AI SDK、Browser Use 等
- **向量库**:ChromaDB、Pinecone、Qdrant、Milvus、AstraDB、PostgreSQL
- **编码 Agent**:Claude Code、Cursor、Codex、Windsurf、OpenCode(通过 CLI hook,无需 SDK)

---

## 3. 架构与数据流

```
用户请求 → AI 应用(LLM/Agent/VectorDB/MCP 调用)
              │  OpenLIT SDK 自动埋点(OTel GenAI 语义约定, gen_ai.*)
              ▼
   traces + metrics (OTLP)
              │
              ├─ 直连:Grafana Cloud OTLP Gateway
              │        https://otlp-gateway-<zone>.grafana.net/otlp
              └─ 或经 OpenTelemetry Collector / Grafana Alloy 中转
              ▼
   Grafana Cloud (Tempo=traces, Prometheus=metrics, Logs)
              ▼
   预置 AI Observability dashboards + Grafana Alerting
```

关键点:
- **厂商中立**:全部走 OpenTelemetry 标准(OTLP),后端可换成任何兼容 OTLP 的系统(Datadog、SigNoz、Honeycomb、VictoriaMetrics、自托管 Grafana 等);
- **与既有监控统一**:LLM 指标和 K8s/GPU/数据库等传统基础设施监控在同一个 Grafana 实例里,便于关联排查;
- **告警**:用 Grafana Alerting 对成本超阈值、延迟尖峰、评估分数跌破质量门控触发通知。

### 关键指标(OTel GenAI 语义约定)

| 维度 | 指标示例 |
|------|----------|
| 成本 | `gen_ai_usage_cost_USD_sum`(每次调用的输入/输出 token 费用) |
| Token | `gen_ai_usage_input_tokens_total`、output tokens |
| 延迟 | TTFT(time to first token)、整体延迟直方图、百分位数 |
| 流量 | 请求率、吞吐、可用性、错误分类 |
| 质量/安全 | 幻觉、事实准确性、毒性/偏见评分、prompt injection 检测(评估器叠加在 trace 上) |

---

## 4. 接入方式

### 方式 A:SDK 埋点(最简,两行代码)

前提:有 Grafana Cloud 实例;在 Cloud Portal 的 OpenTelemetry 配置区生成 API Token。

```bash
pip install openlit

export OTEL_EXPORTER_OTLP_ENDPOINT="<YOUR_GRAFANA_OTEL_GATEWAY_URL>"
export OTEL_EXPORTER_OTLP_HEADERS="<YOUR_GRAFANA_OTEL_GATEWAY_AUTH>"   # Basic <base64(实例ID:API Token)>
```

```python
import openlit
openlit.init()   # 自动读取上述 OTEL 环境变量

# 之后正常使用 OpenAI / Anthropic / LangChain 等,调用自动被采集
```

也可在 `openlit.init(otlp_endpoint=..., otlp_headers=...)` 里显式传参。SDK 提供 **Python、TypeScript(npm)、Go** 三种语言;Grafana 官方文档示例以 Python 为主。

### 方式 B:Kubernetes 零代码接入(OpenLIT Operator)

不修改代码、不重建镜像,由 Operator 自动注入插桩:

1. Grafana Cloud → Connections → 安装 AI Observability 集成(预置 dashboard + 启用托管 OTLP 网关);
2. 用 Helm 安装 `openlit-operator`(需 cluster-admin、Helm、kubectl);
3. 创建 **AutoInstrumentation CRD**:用 label selector 指定目标 Pod、设置 OTLP endpoint 与认证 headers、附加资源属性(环境、命名空间);
4. 重启匹配的 Pod → Operator 注入 init 容器完成 OTel 配置;
5. 数据发往集群内 OpenLIT Collector 或直达 Grafana Cloud OTLP 端点。

支持注入的目标:OpenAI、Anthropic、Google、Bedrock、Mistral 等提供商,LangChain、CrewAI、OpenAI Agents SDK、LlamaIndex、Haystack、DSPy 等框架,以及向量库和 MCP server(插件架构可扩展)。

---

## 5. OpenLIT 开源项目本身(自托管路线)

如果不用 Grafana Cloud,可以直接自托管完整的 OpenLIT 平台:

- **License**:Apache 2.0,自托管免费,无 license key、无 per-trace 收费;企业版另有组织级治理(自定义角色、审计日志、告警);
- **部署**:`git clone` + `docker compose up -d`(默认 UI 在 `http://127.0.0.1:3000`,OTLP 端口 4317/gRPC、4318/HTTP),也支持 Kubernetes;
- **技术栈**:后端存储 ClickHouse,OTel GenAI 语义约定,NATS 消息总线,自带 Next.js 前端 dashboard;
- **功能远超纯观测**:
  - Agent/LLM Tracing(全链路:LLM 调用、工具调用、MCP 请求、检索、agent 步骤)
  - **Evals**(LLM-as-a-judge、程序化评估、人工反馈,支持 CI gate)
  - **Guardrails**(运行时 prompt injection、敏感话题、话题限制检测,以 OTel span 记录)
  - **Prompt Hub**(提示词版本管理)、**Context**(RAG 内容复用)+ **Rule Engine**
  - **Vault**(API key 托管)、**OpenGround**(多模型对比试玩)
  - **Cost Tracking**(按模型/提供商/用户/会话/agent/环境,支持自定义定价)
  - **GPU Monitoring**(NVIDIA/AMD/Intel,与 trace 关联)
- 集成 70+;官方定位是"agent harness engineering"——AI agent = model + harness,OpenLIT 管 harness 层。

自托管时同样可以把 OpenLIT 当作纯 SDK 用,数据只发到 Grafana(开源版/Cloud)而不部署 OpenLIT 自带 UI;社区还有 OpenLIT + VictoriaMetrics 的全自托管组合方案。

---

## 6. Grafana Cloud 集成 vs 自托管 OpenLIT 对比

| 维度 | Grafana Cloud「OpenLIT Observability」 | 自托管 OpenLIT 平台 |
|------|----------------------------------------|---------------------|
| 埋点 | OpenLIT SDK / Operator(相同) | OpenLIT SDK / Operator(相同) |
| 存储 | Grafana Cloud(Tempo+Prometheus) | 自带 ClickHouse |
| UI | Grafana 预置 AI dashboards | OpenLIT 自带 UI |
| 评估/护栏 | 支持(叠加在 traces 上的 evaluators) | 支持(Evals、Guardrails、Prompt Hub 等全套) |
| 与基础设施监控统一 | ★ 强项(K8s/GPU/DB 同栈、统一告警) | 需自行打通 |
| 运维成本 | 托管,免运维 | 自己维护 ClickHouse 等组件 |
| 费用 | 按 Grafana Cloud 用量计费(traces/metrics 计费,有 free tier) | 软件免费,只花基础设施成本 |
| 数据主权 | 数据在 Grafana Cloud | 完全本地 |

**选型建议**:
- 已经在用 Grafana Cloud 监控基础设施 → 直接装 OpenLIT Observability 集成,统一栈收益最大;
- 想白嫖/数据不能出内网/需要 Prompt Hub、Vault 等完整功能 → 自托管 OpenLIT(docker compose 一条命令起步);
- 两者不互斥:SDK 埋点一次,OTLP 可多路分发(既发 Grafana 又发 OpenLIT)。

---

## 7. 局限与注意事项

1. **计费**:官方文档与博客均未给出 AI Observability 的单独定价;实际按 Grafana Cloud 常规 traces/metrics 用量计费,高流量 LLM 应用的 trace 体量(含 prompt/completion 内容时)可能显著,需评估;
2. **信号覆盖**:OpenLIT → Grafana Cloud 路径官方文档明确的是 traces 和 metrics,logs 未在 destination 文档中提及(Agent Observability 面板有"带 trace 上下文的日志",依赖应用自身日志接入);
3. **语言支持**:SDK 有 Python/TypeScript/Go,但 Grafana 官方 setup 文档示例以 Python 为主;
4. **敏感数据**:trace 中可能包含 prompt/completion 原文,发送到云端前需确认合规(OpenLIT 支持配置采集内容开关);
5. **dashboard 明细**:官方 GenAI 文档实际只有一个主 dashboard(请求/成本/Token/性能/错误五大块)+ Setup + Configuration 子页,"5 个预置 dashboard"指 GenAI/VectorDB/MCP/GPU/Agent 各模块面板合集。

---

## 8. 参考链接

- Grafana Cloud OpenLIT Observability 文档入口:https://grafana.com/docs/grafana-cloud/observe-and-act/monitor-applications/ai-observability/
- Introduction:https://grafana.com/docs/grafana-cloud/observe-and-act/monitor-applications/ai-observability/introduction/
- GenAI Observability Setup:https://grafana.com/docs/grafana-cloud/observe-and-act/monitor-applications/ai-observability/genai/observability/setup/
- OpenLIT SDK → Grafana Cloud destination:https://docs.openlit.io/latest/sdk/destinations/grafanacloud
- 博客:How to monitor LLMs in production with Grafana Cloud:https://grafana.com/blog/ai-observability-llms-in-production/
- 博客:Zero-code observability with OpenLIT Operator:https://grafana.com/blog/ai-observability-zero-code/
- 博客:End-to-end tracing for AI agents with OpenLIT:https://grafana.com/blog/ai-observability-ai-agents/
- 博客:A complete guide to LLM observability with OpenTelemetry:https://grafana.com/blog/a-complete-guide-to-llm-observability-with-opentelemetry-and-grafana-cloud/
- OpenLIT GitHub:https://github.com/openlit/openlit
- OpenLIT 官网/文档:https://openlit.io/ ,https://docs.openlit.io/
- 自托管替代组合(OpenLIT + VictoriaMetrics):https://victoriametrics.com/blog/victoriametrics-openlit-agents-observability/