Xiaohongshu Lança HELMSMAN: Inovação em Infraestrutura de Busca Vetorial

A equipe de arquitetura da Xiaohongshu revelou o HELMSMAN durante a OSDI 2026, uma das principais conferências de sistemas. Este novo sistema é projetado para realizar buscas aproximadas de vizinhos mais próximos (ANNS) em larga escala, utilizando arrays de SSDs NVMe all-flash. A inovação é significativa, pois substitui uma infraestrutura anterior que contava com cerca de 35 mil núcleos de CPU e 350 TB de DRAM, reduzindo os custos de hardware em mais de 90%.

A importância do HELMSMAN reside na sua capacidade de manter uma latência de nível milissegundo para serviços de busca, recomendação e publicidade, que lidam com centenas de bilhões de vetores de alta dimensão e milhões de consultas por segundo.

A abordagem adotada pela Xiaohongshu, que se baseia em sistemas de ANNS baseados em agrupamento, contrasta com as soluções tradicionais que utilizam grafos, que enfrentam limitações significativas em termos de dependência de I/O sequencial.

O sistema HELMSMAN se destaca ao abordar três barreiras que os sistemas tradicionais enfrentavam: a sobrecarga do stack de I/O do Linux, estratégias de busca não adaptativas e a construção lenta de índices em máquinas únicas. Para superar esses desafios, o HELMSMAN implementa um stack de armazenamento personalizado que gerencia filas NVMe diretamente no espaço do usuário, reduzindo a latência de ponta a ponta.

Além disso, o sistema incorpora um mecanismo de poda de busca hierárquica que prevê adaptativamente o número ideal de clusters a serem escaneados com base na dificuldade da consulta e na distribuição de distâncias dos centróides. Essa abordagem não apenas melhora a eficiência, mas também permite que o HELMSMAN mantenha um desempenho superior em comparação com sistemas DRAM-SSD existentes, como DiskANN e SPANN.

Os resultados de produção demonstram que o HELMSMAN pode alcançar melhorias de throughput de 2 a 16 vezes em relação a sistemas anteriores, atingindo até 85% do throughput de implementações puramente em memória, enquanto mantém a latência média e de cauda dentro dos níveis aceitáveis.

Essa capacidade de reconstruir índices em escala de 10 bilhões em poucas horas torna o HELMSMAN uma solução prática para ambientes de produção que exigem atualizações frequentes de modelos de incorporação.

A implementação do HELMSMAN abrange diversos setores de negócios, incluindo busca, recomendação, publicidade e segurança de conteúdo. As implicações de custo e escalabilidade vão além da Xiaohongshu, uma vez que a infraestrutura de busca vetorial é um dos centros de custo que mais cresce para plataformas de internet, especialmente à medida que a recuperação baseada em incorporação se torna universal em recursos de busca e recomendação.

A dependência de DRAM tem sido um motor estrutural de custos, com a duplicação das escalas de vetores a cada ano. O HELMSMAN demonstra que é viável ter ANNS de alto desempenho em armazenamento all-flash de baixo custo, mesmo em cenários de serviço online que exigem baixa latência, o que pode transformar a economia de infraestrutura de toda a indústria.

Além disso, a pesquisa levanta questões sobre se outros componentes de infraestrutura de IA dependentes de memória podem se beneficiar de um co-design do stack de armazenamento, em vez de depender da expansão forçada de DRAM. Essa abordagem inovadora pode abrir novas possibilidades para a otimização de sistemas de busca e recuperação de dados em larga escala.

Para os tomadores de decisão, a introdução do HELMSMAN deve ser vista como um sinal claro de que a eficiência de custos e a performance são cada vez mais interligadas na infraestrutura de tecnologia. A capacidade de reduzir custos enquanto se mantém a performance é um diferencial competitivo crucial em um mercado em rápida evolução.

Em um contexto mais amplo, a inovação trazida pelo HELMSMAN se alinha com as tendências globais de transformação digital e otimização de recursos. À medida que as empresas buscam maneiras de melhorar a eficiência operacional, soluções como essa podem se tornar padrão na indústria.

Os leitores da Agentrix devem considerar a importância de acompanhar essas inovações, pois elas não apenas impactam a Xiaohongshu, mas também têm o potencial de influenciar a forma como outras empresas abordam suas infraestruturas de TI.

A principal lição a ser extraída do lançamento do HELMSMAN é que a inovação em tecnologia de busca vetorial pode resultar em economias significativas e melhorias de desempenho, desafiando as normas estabelecidas e promovendo uma nova era de eficiência em sistemas de informação.

Em conclusão, o HELMSMAN representa um avanço significativo na infraestrutura de busca vetorial, com implicações que vão além da Xiaohongshu. A capacidade de reduzir custos e melhorar a eficiência operacional pode redefinir o futuro da tecnologia de busca e recuperação de dados, tornando-se um modelo a ser seguido por outras empresas no setor.