O Knowledge Catalog (antigo Dataplex Universal Catalog) descobre possíveis links entre recursos de dados, ajudando você a descobrir os dados relacionados e entender a natureza do relacionamento.
Antes de começar
Antes de visualizar as relações entre recursos de dados, verifique se você tem os papéis necessários.
Funções exigidas
Para visualizar as relações entre recursos de dados no Knowledge Catalog, você não precisa de nenhum papel do IAM específico do Knowledge Catalog.
O Knowledge Catalog usa suas permissões atuais nos sistemas de origem em que os recursos residem, como o BigQuery, para determinar sua capacidade de visualizar relações. Por exemplo, para visualizar relações que envolvem uma tabela do BigQuery, você precisa da permissão bigquery.tables.get.
Se você não tiver permissão para visualizar um recurso no sistema de origem, o gráfico de relações do Knowledge Catalog vai ocultar todas as relações que envolvem esse recurso. Isso garante que a visibilidade da relação esteja em conformidade com os limites de segurança e as permissões estabelecidas nos sistemas de origem.
Sobre as relações de dados
As relações de dados ilustram como os recursos de dados se conectam. Por exemplo, se você encontrar uma tabela com dados de clientes, as relações dela poderão revelar tabelas relacionadas que listam pedidos ou tíquetes de suporte. Além disso, as relações atuam como um guia estrutural, fornecendo contexto essencial para modelos de linguagem grandes. Como resultado, a IA gera respostas mais precisas, formulando consultas exatas para recuperar informações específicas.
O Knowledge Catalog descobre e armazena automaticamente relações comuns entre os recursos de dados. Os dados de relacionamento têm origem em várias fontes, como as seguintes:
- Logs de consultas históricas do Knowledge Catalog que analisam continuamente o histórico de consultas para detectar possíveis padrões
JOINentre tabelas. - Insights de dados sugerem relações de dados sob demanda, analisando atributos de esquema e sobreposições de dados usando modelos de linguagem grandes.
Recursos de dados compatíveis
É possível visualizar relações de dados para tabelas e visualizações do BigQuery.
Visualizar relações de dados
Para visualizar relações de dados para tabelas e visualizações do BigQuery, use Google Cloud o console ou a API Dataplex.
Console
Para visualizar relações de dados de uma tabela no BigQuery, faça o seguinte:
No Google Cloud console, acesse a página Pesquisa do Knowledge Catalog.
Pesquise uma tabela do BigQuery para a qual você quer visualizar relações.
Nos resultados da pesquisa, clique no nome da tabela para abrir a página de entrada.
Acesse a guia Relações para visualizar as seguintes informações sobre cada relação de dados:
- Destino: o nome do recurso de dados conectado.
- Relação: as colunas específicas usadas para vincular os recursos.
- Tipo:a natureza do link. Por exemplo, as junções e relações frequentes descobertas por insights de dados aparecem como
JOIN. Origem:a origem da relação.
Query historyé a origem de junções frequentes.Data insightsé a origem das relações descobertas por insights de dados.
Ação:uma consulta de amostra que pode ser usada para descobrir o link entre os recursos.
REST
As relações descobertas são armazenadas no Knowledge Catalog como
EntryLinks
que estabelecem uma relação entre dois recursos de dados (entradas) no
Knowledge Catalog. Os detalhes sobre a relação, como as colunas unidas e a origem da relação, são armazenados como aspectos de EntryLinks.
Para visualizar relações de dados, use os seguintes métodos:
LookupEntryLinksrecupera todos osEntryLinksque referenciam uma entrada de dados específica como origem ou destino para retornar o conjunto completo de relações associadas a uma determinada entrada.LookupContextfornece um único endpoint para fundamentar agentes de IA com metadados contextuais. Ele retorna um pacote conciso e pré-formatado de metadados, incluindo recursos de dados relacionados.
Locais
É possível usar relações de dados em todos os locais do BigQuery.
Limitações
- O Knowledge Catalog analisa uma amostra do histórico de consultas para identificar relações, o que significa que algumas consultas podem não levar à descoberta de links.
- A descoberta de relações pode levar até 72 horas após a execução da consulta.