Hyokiyure: como variantes de grafia em japonês quebram a medição com IA — e como contar menções de marca corretamente

Por que nomes de marca em japonês se dividem em variantes

O japonês oferece várias formas de escrever o mesmo nome: katakana vs. alfabeto latino (スーパーランク / Suparanku), maiúsculas e minúsculas (Canon / CANON), grafia oficial vs. coloquial (o katakana oficial da Canon usa um ヤ grande — キヤノン —, mas muitas pessoas escrevem キャノン, como se pronuncia), além de abreviações e nomes antigos. Todos se referem à mesma empresa; como strings, são diferentes.

Os assistentes de IA usam grafias diferentes conforme o contexto. Imagine fazer a mesma pergunta nove vezes: as respostas poderiam usar a grafia latina três vezes, o katakana oficial quatro e a forma coloquial duas. A SparkToro não demonstrou uma afirmação de “resposta inteira idêntica byte a byte ou não”, mas forte instabilidade na composição das listas de marcas e na ordem delas. É justamente esse o nível relevante para medir menções.

O que a correspondência ingênua de strings faz

Busque menções apenas pela string “Suparanku”, e toda menção em katakana é contada como “não mencionado”. A visibilidade parece menor do que a realidade; no pior caso, a conclusão falsa de “presença zero neste tema” manda orçamento para trabalho desnecessário.

O erro oposto também existe: uma abreviação curta como termo de busca acerta palavras comuns sem relação e infla a visibilidade. Em qualquer direção, uma medição quebrada quebra toda decisão construída sobre ela.

Desenhando uma medição que conta de verdade

1. Mantenha uma lista de aliases — enumere todas as grafias plausíveis por marca: katakana, alfabeto latino, abreviações e nomes antigos. Uma variante não cadastrada continuará invisível.
2. Normalize antes de comparar — unifique formas Unicode de meia largura e largura completa, maiúsculas e minúsculas, pontuação e espaços sem significado. Assim, katakana de meia largura e largura completa chegam ao mesmo alias conhecido.
3. Faça a correspondência com o kuromoji, atenta a tokens — o japonês não separa palavras com espaços. A análise morfológica ajuda a reconhecer aliases conhecidos nas fronteiras das palavras e a reduzir falsos acertos parciais.
4. Mantenha um fallback literal — a tokenização não é perfeita e pode perder marcas estrangeiras ou compostas. Uma busca literal limitada aos aliases brutos cadastrados recupera essas omissões; ela não substitui a análise atenta a tokens.

Resumo

O hyokiyure é um problema de medição especialmente agudo no japonês — a variação ortográfica também afeta outras línguas, como as grafias de marca em coreano e russo. A combinação de aliases, normalização, correspondência atenta a tokens e fallback literal reduz erros sistemáticos de contagem. Ainda assim, ela é necessária, mas não suficiente: números de visibilidade confiáveis também exigem amostras repetidas de cada prompt, porque as listas de marcas e a sua ordem variam entre respostas.

Termos relacionados: Hyokiyure, Pontuação de visibilidade, Análise de sentimento