Conhecimento para aplicar
Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Em 26 de setembro de 2026, uma publicação da Xiaomi MiMo apontou para ambientes de aprendizado por reforço, código de treinamento e um dataset MiMo-V2.6 RL para explorar fluxos de trabalho com modelos de linguagem.
Ler artigoPublicado em 25 de setembro de 2026, o post descreve uma alternativa à projeção de valores na atenção: memória indexada por tokens, específica de cada camada, combinada a keys contextuais.
Ler artigoPost publicado em 25 de setembro de 2026 descreve uma alteração na atenção do Transformer: substituir a projeção de valores aprendida pela soma de chaves contextuais e vetores de memória indexados por token, específicos de cada camada. A memória pode ficar na CPU.
Ler artigoBiblioteca da NVIDIA com quantização, destilação, pruning, neural architecture search e speculative decoding, com checkpoints exportáveis para runtimes de inferência.
Ler artigoUm estudo investiga pré-treinamento escalável a partir de inicialização aleatória, usando um gerador de programas e um aprendiz, sem treinar com dados reais.
Ler artigoLançada em 25 de setembro de 2026, a coleção open source reúne tarefas, ambientes, avaliações e treinamento para otimizar modelos pequenos em programação e ciência de dados.
Ler artigoMemória eficiente melhora o serviço. O projeto também precisa impedir que contexto de uma sessão apareça na resposta de outra.
Ler artigoArtigo publicado em 24 de setembro de 2026 apresenta camadas de complexidade linear e estados ocultos expressivos, atualizados por aprendizado autossupervisionado.
Ler artigoBookmark de 24 de setembro de 2026 aponta para um artigo sobre backup de secret keys valiosas. O registro destaca a preocupação de segurança, mas não informa métodos nem resultados específicos.
Ler artigoUma publicação de 24 de setembro de 2026 descreve uma variante de atenção que subtrai dois mapas para reduzir ruído e destacar o sinal. O texto aponta interesse para engenheiros que estudam alternativas à atenção padrão.
Ler artigoPublicação de 24 de setembro de 2026 traça uma progressão de métodos de policy gradient usados no treinamento de LLMs, de vanilla policy gradient e REINFORCE até PPO, GRPO e variantes de GRPO.
Ler artigoAnálise preliminar relata que o expoente α da matriz K de atenção acompanha a memorização de rótulos aleatórios durante o treinamento, com variações entre camadas.
Ler artigoO trabalho apresenta técnicas para acelerar attention em GPUs Hopper, explorando execução assíncrona, baixa precisão, tráfego de memória e melhor utilização do hardware.
Ler artigoPublicado em 24 de setembro de 2026, o resumo descreve uma análise sobre taxas de aprendizado iguais nas matrizes A e B do LoRA e uma proposta de usar taxas diferentes em modelos largos.
Ler artigoPublicado em 24 de setembro de 2026, o artigo explora conexões teóricas entre modelos de espaço de estados, como Mamba, e variantes de attention, por meio de matrizes semisseparáveis estruturadas.
Ler artigoUma arquitetura proposta para pré-treinamento e inferência eficientes em sequências longas busca contornar limitações dos Transformers.
Ler artigoPublicado em 24 de setembro de 2026, o resumo apresenta Memory Attention, uma proposta que substitui a projeção de valores aprendida do Transformer e é examinada em várias variantes de attention.
Ler artigo
Uma busca pode reunir informações de vários documentos. A privacidade precisa acompanhar recuperação, contexto e resposta.
Ler artigoPublicado em 24 de setembro de 2026, o artigo apresenta a Retentive Network, uma arquitetura de modelos de linguagem que propõe combinar treinamento paralelo com paradigmas de inferência recorrente e recorrente por blocos.
Ler artigoUma conexão cifrada protege o trânsito. O destino ainda recebe o conteúdo enviado; a política precisa atuar antes dessa entrega.
Ler artigoRota Nacional
30 dias, sem cartão, com quota inicial. Depois, crédito por Pix a partir de R$ 10,00.