Conhecimento para aplicar
Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Publicação afirma que cuDNN, FA4 e FlexAttention têm problemas de precisão nos backward passes e apresenta o KohakuFA como kernel alternativo, com repositório público no GitHub para inspeção.
Ler artigoRadar de 3 de outubro de 2026 sobre um modelo de geração de imagens a partir de texto que reutiliza blocos do Transformer em cada etapa de denoising, com a afirmação de desempenho do post original.
Ler artigoRadar: o artigo apresenta o LoopCD, um método de contrastive decoding sem treinamento adicional para Transformers recorrentes, que usa representações de loops anteriores como previsões mais fracas para selecionar tokens.
Ler artigoRadar: o LoopCD refina a decodificação de Transformers com loops usando a diferença entre previsões de estados recorrentes iniciais e finais, sem treinamento adicional, e reporta ganhos de acurácia no AIME 2024 com o modelo Ouro-2.6B-Thinking.
Ler artigoPost apresenta um método que adiciona sampling ao stack de post-training e afirma que o SFT pode competir com métodos atuais, com melhor generalização e menos esquecimento em alguns casos.
Ler artigoUm guia descreve um proxy que registra token IDs e logprobs para treinar modelos com RL em quatro agent harnesses, com melhorias relatadas e comparação com imitation learning.
Ler artigoArtigo investiga se a cadeia de pensamento faz trabalho computacional em tarefas seriais; segundo o post, removê-la reduz a precisão ao limite de circuitos rasos.
Ler artigoPublicado em 1º de outubro de 2026, o texto apresenta a destilação on-policy multi-teacher (MOPD): um método que treina um modelo student com suas próprias completions, usando log probabilities por token de modelos teacher e um objetivo de reverse KL.
Ler artigoRodar um modelo perto dos dados pode mudar a arquitetura. Não dispensa tratamento de entradas, controle de acesso ou avaliação real.
Ler artigoUm blog do PyTorch descreve o Jagged Flash Attention, kernel de attention por trás do Generative Ads Model da Meta, desenvolvido com TLX para NVIDIA Blackwell. O post relata desempenho superior ao FlashAttention-4 nas formas jagged do GEM.
Ler artigoPublicado em 1º de outubro de 2026, o post relata que o Looped-DiT reutiliza blocos Transformer nas etapas de denoising e que um modelo de 260 milhões de parâmetros superou outro 6,5 vezes maior em benchmarks de texto para imagem, com 4,9 vezes menos computação na inferência.
Ler artigoPublicação datada de 1º de outubro de 2026 relata 890 bytes de KV cache global por token e um cache persistente oito vezes menor em um modelo de linguagem.
Ler artigoPublicação de 30 de setembro de 2026 argumenta que fatorar S = WWᵀ muda o fluxo de gradientes em attention e remove um gargalo de expoente de informação que pode travar modelos não fatorados.
Ler artigoPublicado em 30 de setembro de 2026, o material apresenta DeepEP-Ascend como uma biblioteca de comunicação de alto desempenho para treinamento e inferência de machine learning em NPUs Huawei Ascend.
Ler artigoUm artigo de Reiner Pope e coautores aborda como escalar a inferência de Transformers com eficiência, tema relevante para engenheiros que avaliam formas de servir esses modelos.
Ler artigoPublicado em 30 de setembro de 2026, o ProRL Agent é uma infraestrutura open source para rollouts de agentes multi-turn. Seu modelo rollout-as-a-service separa geração de trajetórias, orquestração de ambientes e avaliação da otimização de políticas.
Ler artigoRelato de 29 de setembro de 2026 aponta que o arredondamento BF16 no FlashAttention pode quebrar uma simetria do gradiente do softmax e levar a gradientes explosivos no fim do treinamento. Os autores propõem o GProj como correção.
Ler artigoArtigo examina positional encodings para Transformers, aponta o viés do RoPE em favor de tokens próximos e organiza avaliações de alternativas feitas em configurações distintas.
Ler artigoPrévia de 29 de setembro de 2026 apresenta um benchmark para comparar métodos de fluxo de informação e avaliar se camadas de Transformers mais profundos são usadas de forma eficaz.
Ler artigoPublicado em 29 de setembro de 2026, o resumo descreve um estudo sobre transferir conhecimento de Transformers pré-treinados para modelos Mamba e destaca vantagens de memória e vazão dos SSMs.
Ler artigoRota Nacional
30 dias, sem cartão, com quota inicial. Depois, crédito por Pix a partir de R$ 10,00.