Interoperabilidade
Protocolos e formatos abertos preservam opções de integração.
OPENSEARCH OBSERVABILITY
Busca, telemetria e contexto para investigar ambientes complexos.
A Add Solution utiliza OpenSearch para construir arquiteturas modernas de observabilidade capazes de ingerir, pesquisar, correlacionar e analisar logs, métricas e traces de aplicações, infraestrutura e ambientes distribuídos.
Da instrumentação com OpenTelemetry aos pipelines com Data Prepper, arquitetura de clusters, retenção, dashboards, APM, alertas e análise operacional, projetamos ambientes OpenSearch para transformar grandes volumes de telemetria em informação útil para investigação e decisão.
FROM TELEMETRY TO UNDERSTANDING
Encontrar um evento é importante. Entender por que ele aconteceu exige contexto.
Uma aplicação fica lenta. O log registra um timeout, a métrica mostra aumento de latência, uma trace revela a dependência e o service map expõe o relacionamento. A busca atravessa esses sinais para transformar evidências isoladas em explicação operacional.
- LOGS
Registram evidências, erros e mudanças de estado.
- METRICS
Mostram comportamento e tendência ao longo do tempo.
- TRACES
Reconstroem o caminho de uma transação distribuída.
- SEARCH
Investiga perguntas que nenhum dashboard previu.
- CORRELATION
Relaciona sinais pelo serviço, recurso e contexto.
- ACTION
Converte compreensão em decisão operacional.
Armazenar telemetria permite consultar dados. Observabilidade começa quando conseguimos relacioná-los para explicar o comportamento do ambiente.
OPEN SOURCE PLATFORM
Padrões abertos ampliam flexibilidade. Engenharia transforma opções em arquitetura.
OpenSearch é uma suíte open source sob Apache License 2.0 para search, analytics, observability e vector search. Transparência, extensibilidade, interoperabilidade e flexibilidade de implantação reduzem dependências proprietárias, mas não eliminam decisões de arquitetura, capacidade, segurança e operação. A licença Apache 2.0 do projeto não torna infraestrutura, operação, suporte ou serviços gerenciados gratuitos, nem comprova compatibilidade universal.
Arquitetura sob domínio
Componentes, dados e ciclos de evolução definidos conforme a operação.
Ecossistema adaptável
Plugins, APIs e pipelines permitem composições orientadas ao caso de uso.
OPEN OBSERVABILITY
Uma arquitetura de observabilidade construída sobre padrões abertos.
O OpenSearch Observability Stack combina OpenTelemetry Collector, Data Prepper, OpenSearch, Prometheus e OpenSearch Dashboards. Traces e logs são processados para OpenSearch; métricas time-series podem seguir para Prometheus e ser consultadas com PromQL.
- APPLICATIONS & INFRA
Serviços, containers, cloud e agentes de IA.
- OPEN TELEMETRY
Instrumentação, semantic conventions e OTLP.
- DATA PREPPER
Processar, enriquecer, correlacionar e rotear.
- OPENSEARCH + PROMETHEUS
Logs e traces pesquisáveis; métricas time-series.
- DASHBOARDS
Search, PPL, PromQL, APM, service maps e alerting.
OPEN TELEMETRY NATIVE
Instrumentação aberta antes da escolha do backend.
OpenTelemetry é um padrão CNCF, independente do OpenSearch, para geração, coleta e exportação de telemetria. SDKs, Collector, OTLP e semantic conventions dão consistência a logs, métricas e traces e reduzem acoplamento desnecessário entre aplicações e plataformas.
- SDKs
Aplicações produzem sinais com contexto semântico.
- OTLP
Protocolo transporta logs, métricas e traces.
- COLLECTOR
Recebe, processa, agrupa e exporta telemetria.
- SEMANTICS
Atributos consistentes conectam recursos e serviços.
- BACKENDS
Sinais seguem para destinos adequados à arquitetura.
A instrumentação deveria produzir contexto para a operação, não dependência desnecessária de uma ferramenta.
TELEMETRY PIPELINES
Entre coletar dados e torná-los úteis existe uma camada de engenharia.
OpenSearch Data Prepper é um coletor server-side e mecanismo de processamento que recebe dados, filtra, transforma, normaliza, enriquece, agrega e roteia para sistemas downstream. Em observabilidade, prepara logs e traces para indexação, correlação, service maps e análise.
- RECEIVE
OTLP, streams e fontes adequadas ao pipeline.
- PARSE
Extrair campos de eventos não estruturados.
- NORMALIZE
Padronizar nomes, timestamps e atributos.
- ENRICH
Adicionar ambiente, owner, criticidade e recurso.
- ROUTE
Direcionar sinais conforme regra e destino.
- INDEX
Preparar dados para busca e análise eficientes.
Telemetria bruta ocupa espaço. Telemetria estruturada produz contexto.
CROSS-SIGNAL ANALYTICS
Cada sinal explica uma dimensão. A investigação precisa atravessar todas elas.
Logs estruturados sustentam PPL, filtros e agregações; métricas Prometheus mostram comportamento com PromQL; traces OpenTelemetry relacionam spans, dependências, latência e erros. A correlação nasce de identidade de serviço, trace IDs, recursos e contexto consistentes.
Evidência pesquisável
Ingestão, parsing, padrões, retenção, busca e visualização.
Comportamento no tempo
Prometheus, PromQL, séries temporais e métricas de aplicação e infraestrutura.
Caminho da transação
Traces, spans, serviços, dependências, erros e latência.
APPLICATION PERFORMANCE MONITORING
Disponibilidade mostra se a aplicação responde. APM ajuda a entender como ela responde.
OpenSearch APM combina traces e logs ingeridos por OpenTelemetry Collector e Data Prepper com métricas no Prometheus. Services catalog, application map, RED metrics, erros e latência ajudam a investigar transações e dependências distribuídas. A experiência APM documentada foi introduzida no OpenSearch 3.6 e depende de workspace, flags e componentes compatíveis; não deve ser atribuída automaticamente a versões anteriores ou a toda modalidade AWS.
- USER
Uma ação inicia a jornada observada.
- FRONTEND
Entrada da experiência e primeiro span.
- API & SERVICES
Chamadas atravessam aplicações e dependências.
- DATABASE
Latência e erros aparecem no contexto da transação.
- RED
Request rate, errors e duration apoiam a leitura do serviço.
APPLICATION ANALYTICS
Aplicações são o comportamento que emerge da relação entre todos os sinais.
Application Analytics organiza logs, traces e métricas em uma visão do estado geral do sistema. Service maps expõem relações; PPL investiga eventos; PromQL consulta métricas; Dashboards reúne visualização, exploração, gestão e vistas operacionais.
Topologia pelo tráfego observado
Relações entre serviços, bancos e dependências com contexto RED.
Investigação em pipelines
Piped Processing Language apoia logs, traces e event analytics.
Pergunta adequada ao sinal
PPL, SQL, Query DSL e PromQL conforme o dado e a análise.
Dashboard mostra aquilo que decidimos acompanhar. Busca permite investigar aquilo que ainda não sabemos.
SEARCH-DRIVEN INVESTIGATION
Incidentes reais fazem perguntas que nenhum dashboard previu.
Full-text search, pesquisa estruturada, filtros, agregações e investigação de alta dimensionalidade permitem explorar hipóteses novas. A força do OpenSearch está em tornar grandes volumes pesquisáveis sem reduzir observabilidade a uma coleção fixa de painéis.
- QUESTION
Uma hipótese surge durante o incidente.
- SEARCH
Texto, campos, tempo, serviço e recurso delimitam o universo.
- ANALYTICS
Agregações e PPL revelam padrões e relações.
- CORRELATE
Logs e traces convergem pelo contexto disponível.
- EXPLAIN
A equipe constrói uma explicação verificável.
BEHAVIOR, ALERTING & RELIABILITY
Nem todo comportamento anormal ultrapassa um limite estático.
Anomaly Detection identifica desvios em séries temporais sem prometer precisão absoluta. Alerting conecta query, condição, monitor, trigger, ação e notificação. SLOs experimentais podem acompanhar SLI, error budget e consumption rate sobre um ruler compatível com Prometheus, sem confundir SLO operacional com SLA contratual. Anomaly Detection e Alerting apoiam detecção e resposta, mas não garantem disponibilidade.
- DATA
Séries, eventos e consultas com contexto.
- BEHAVIOR
Desvio e anomaly grade apoiam investigação.
- CONDITION
Regra explicita quando atenção é necessária.
- ALERT
Monitor e trigger produzem um evento acionável.
- ACTION
Notificação ou integração inicia o processo operacional.
AI AGENT OBSERVABILITY
Aplicações de IA também possuem dependências, latência, consumo e caminhos de execução.
Agent Traces utiliza OpenTelemetry e semantic conventions GenAI para observar execuções hierárquicas, chamadas de LLM, ferramentas, tokens, sessões, erros e latência. A interface permite explorar árvores, grafos, timelines e métricas agregadas sem tratar IA como uma caixa-preta isolada.
- USER
Solicitação inicia a execução.
- AI APPLICATION
Contexto, sessão e workflow.
- AGENT
Decisões e caminhos de execução.
- LLM & TOOLS
Modelo, tokens, chamadas, banco e APIs.
- TRACE
Latência, erros, consumo e qualidade observáveis.
Uma aplicação de IA continua sendo uma aplicação distribuída. Ela apenas adiciona novos componentes que também precisam ser observados.
ALÉM DA PLATAFORMA
Instalar OpenSearch cria um ambiente. Projetar o que ele precisa explicar cria observabilidade.
Grandes volumes de logs, métricas e traces não garantem compreensão. É preciso decidir o que coletar, como instrumentar, normalizar, enriquecer, correlacionar, indexar, reter, pesquisar, alertar, proteger e operar. A Add Solution atua sobre toda essa cadeia.
Schema consistente
Service names, environments, timestamps, resource attributes, trace IDs e ownership.
Dados preparados para o uso
Mappings, templates, shards, replicas, aliases, rollover e retenção conforme padrão de consulta.
Open source também exige capacidade
Compute, memória, storage, rede, réplicas, snapshots, backup e crescimento.
Nosso trabalho não termina quando o dado chega ao OpenSearch. É nesse momento que a engenharia de observabilidade começa.
OPENSEARCH PROFESSIONAL SERVICES
Da estratégia de telemetria à operação da plataforma.
Assessment, estratégia, arquitetura, sizing, instrumentação, ingestão, normalização, indexação, correlação, visualização, alerting, operação e evolução compõem uma jornada única. O desenho considera aplicações, infraestrutura, cloud, Kubernetes, volumes, retenção, segurança, compliance e processos. OpenSearch autogerenciado, Amazon OpenSearch Service e OpenSearch Serverless diferem em APIs, plugins, autenticação, capacidade, recuperação e cobrança.
- ASSESSMENT
Ambiente, sinais, volumes, requisitos e lacunas.
- ARCHITECTURE
Cluster, Collector, Data Prepper, Prometheus e Dashboards.
- SIZING
GB/dia, eventos, documentos, retenção, queries, HA e crescimento.
- INSTRUMENTATION
OpenTelemetry, OTLP e atributos consistentes.
- PIPELINES
Parsing, filtros, enriquecimento, routing e sampling.
- OPERATION
Performance, segurança, snapshots, alertas e evolução.
PLATFORM ENGINEERING
Cluster, dados e consultas precisam evoluir como partes do mesmo sistema.
A Add Solution projeta arquiteturas self-managed e avalia ofertas gerenciadas quando apropriado, distinguindo o projeto OpenSearch do Amazon OpenSearch Service. Não existe desenho universal: workloads de ingestão, busca, analytics, observabilidade e vector search possuem exigências diferentes.
Tuning orientado ao workload
Heap, JVM, indexação, shards, mappings, queries, agregações, cache e storage.
Falhas consideradas no desenho
Distribuição de nodes, replicas, failure domains, snapshots e recuperação.
Acesso e dados protegidos
Authentication, authorization, RBAC, TLS, encryption, audit e controles granulares.
Valor muda ao longo do tempo
Rollover, retenção, snapshots e mecanismos de storage conforme arquitetura.
OPENSEARCH ASSESSMENT
Seu ambiente armazena dados ou ajuda sua equipe a encontrar respostas?
A Add Solution pode avaliar arquitetura, cluster, ingestão, Data Prepper, OpenTelemetry, índices, shards, retenção, performance, logs, traces e processos de investigação. Migração de Elasticsearch exige validar origem e destino, clientes, mappings, APIs, plugins, snapshots, objetos visuais, aplicação, rollback e critérios de aceite; não é uma troca universal de endpoint.
POR QUE ADD SOLUTION
Open source oferece liberdade. Engenharia transforma liberdade em arquitetura confiável.
A Add Solution combina observability engineering, search e analytics, OpenTelemetry, data pipelines, platform engineering e contexto de negócio para transformar telemetria em capacidade de investigação e ação.
Estratégia de sinais
Logs, métricas e traces orientados às perguntas da operação.
Investigação em escala
Dados pesquisáveis e relações verificáveis durante incidentes.
Base sustentável
Cluster, performance, disponibilidade, segurança, storage e retenção.
Do componente ao serviço
Telemetria relacionada àquilo que sustenta a operação.
Encontrar dados é uma capacidade de busca. Relacioná-los para compreender o comportamento de um ambiente é uma capacidade de observabilidade.
PERGUNTAS FREQUENTES
Perguntas frequentes
Respostas sobre modalidades, sizing, licença, snapshots, APM, migração, segurança e busca vetorial OpenSearch.
OpenSearch e Amazon OpenSearch Service são a mesma coisa?
OpenSearch é o projeto de software. Amazon OpenSearch Service é uma oferta comercial da AWS, com modalidades provisionada e Serverless. Recursos, responsabilidades e preços devem ser verificados na modalidade escolhida. Referência AWS (https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-comparison.html).
Quanto armazenamento meu projeto precisa?
Depende do volume indexado, retenção, réplicas, crescimento e características dos campos e consultas. Uma estimativa deve incluir margem operacional e ser validada em testes; apenas o volume bruto recebido não resolve o dimensionamento. Referência de dimensionamento (https://docs.aws.amazon.com/opensearch-service/latest/developerguide/sizing-domains.html).
A licença Apache 2.0 elimina os custos?
A licença do projeto não cobra pelo uso do software. Infraestrutura, serviços gerenciados, operação e integrações podem gerar custos. É importante comparar o custo total do ambiente, com premissas explícitas. Licença (https://opensearch.org/faq/) e preços AWS (https://aws.amazon.com/opensearch-service/pricing/).
Ter réplicas dispensa backup?
Não. Réplicas ajudam na disponibilidade, mas reproduzem mudanças nos dados. Snapshots e restaurações testadas atendem necessidades de recuperação. O plano precisa prever falhas e exclusões, incluindo proteção do repositório. Referência de snapshots (https://docs.opensearch.org/latest/tuning-your-cluster/availability-and-recovery/snapshots/snapshot-restore/).
Basta instalar o Dashboards para ter observabilidade?
É necessário coletar e preparar a telemetria. APM depende de instrumentação e componentes compatíveis, incluindo OpenTelemetry, Data Prepper e, na arquitetura atual documentada, Prometheus para métricas. Cobertura e qualidade devem ser verificadas. Referência de APM (https://docs.opensearch.org/latest/observing-your-data/apm/index/).
Posso migrar de qualquer Elasticsearch sem alterações?
Não existe compatibilidade universal. Versões, clientes, plugins, mappings, APIs e snapshots exigem avaliação. Execute um piloto com consultas e escritas representativas antes de definir a virada. Clientes (https://docs.opensearch.org/latest/clients/) e avaliação da migração (https://docs.opensearch.org/latest/migration-assistant/migration-phases/assessment/).
Os recursos de segurança garantem conformidade?
Recursos técnicos apoiam políticas de acesso, proteção e auditoria. Sua configuração, processos internos, finalidade dos dados e evidências operacionais precisam ser avaliados. Usar OpenSearch, por si só, não comprova conformidade. Referência de segurança (https://docs.opensearch.org/latest/security/).
OpenSearch pode apoiar uma aplicação de IA generativa?
Pode atuar na recuperação de informações, inclusive com busca vetorial e híbrida. A aplicação também precisa de modelo, preparação dos dados, avaliação de qualidade e controles de acesso. Custos e restrições das integrações devem ser considerados. Referência de busca vetorial (https://docs.opensearch.org/latest/vector-search/).
SOLUÇÕES RELACIONADAS
Observabilidade conectada à operação.
ADD SOLUTION + OPENSEARCH
Transforme telemetria em uma arquitetura preparada para investigação.
Converse com nossos especialistas sobre OpenSearch, OpenTelemetry, Data Prepper, logs, traces, métricas, APM, search, analytics, performance e arquiteturas corporativas de observabilidade.