Conhecimento para aplicar
Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Radar: o post descreve o MOPD, método em que um modelo aluno aprende com rollouts gerados por ele próprio e recebe supervisão de professores especializados por domínio, para reunir capacidades de especialistas treinados separadamente.
Ler artigoRadar: post afirma que o EmbeddingGemma 2, do Google, mapeia texto, código, imagens, vídeo e áudio em um único espaço vetorial e usa licença Apache 2.0. A fonte não traz métricas nem documentação técnica.
Ler artigoRadar: o post apresenta o JEPA-Anything, um framework agnóstico a domínio para world modeling baseado em fatoração preditiva ortogonal, que explora aprendizado de representações preditivas em sete domínios, da biologia ao clima.
Ler artigoItem do Radar: o LiFT reaplica um núcleo Diffusion Transformer compartilhado e, segundo a publicação, supera um DiT denso no ImageNet 256×256 com cerca de 60% menos parâmetros.
Ler artigoRadar: relato de que 10 milhões de vetores EmbeddingGemma 2, quantizados para 1 bit e reduzidos a 256 dimensões com MRL, caíram de cerca de 30 GB para 0,4 GB de RAM, com perda de qualidade declarada de cerca de 5%.
Ler artigoBriefing sobre um artigo que apresenta Native Hybrid Attention, abordagem que busca equilibrar a velocidade dos Transformers em contextos longos com a retenção de detalhes precisos da linear attention.
Ler artigoRadar registra que o Astral GPU Indexes passou a oferecer suporte ao PyTorch 2.13 e 2.14 e ao Python 3.15, com wheels pré-compilados com suporte a GPU para FlashAttention, FlashAttention 3, causal-conv1d e DeepSpeed.
Ler artigoResumo de artigo que investiga attention sinks e residual sinks em grandes modelos de linguagem e propõe que esses outliers, com softmax attention e RMSNorm, reescalam outros componentes da arquitetura.
Ler artigoRadar: a publicação descreve Dust, um método de otimização zeroth-order que usa perturbações paralelas de ativações como população virtual para pré-treinar transformers, com experimentos de escala e comparações com backpropagation e estratégias evolutivas.
Ler artigoRadar: artigo sobre compartilhamento de memória entre recursões em Transformers recorrentes, com relato de redução de 76–79% na memória de contexto em modelos de 150M a 1B de parâmetros, em comparação com Transformers padrão.
Ler artigoRelato de escalonamento com escalabilidade quase linear e MFU de 35,3%, usando testes em pequena escala para reduzir o espaço de busca antes de alocar mais GPUs.
Ler artigoRadar: o paper SwiLA, da COLM 2026, propõe alternar entre múltiplos mapas lineares e discute o trade-off entre expressividade da atenção e custo de memória do KV cache.
Ler artigoBriefing sobre a seção do Machine Learning Engineering Open Book que descreve symmetric memory no NCCL e no PyTorch para payloads pequenos e médios e para a sobreposição entre comunicação e computação.
Ler artigoRadar: segundo nota de 4 de outubro de 2026, o Google lançou um modelo Gemma de 4B, ajustado para corrigir rótulos de falantes e reduzir erros de diarização por palavra em quatro benchmarks.
Ler artigoRelato sobre um transformer de 450 milhões de parâmetros treinado com FlashAttention-3 em BF16: a norma do gradiente subiu 1.000× após 25 bilhões de tokens, com loss maior que na atenção em FP32 e sem NaNs.
Ler artigoPaper propõe reescrever demonstrações de especialistas como trajetórias corretas e prováveis sob o modelo-alvo, antes de usá-las em supervised fine-tuning padrão.
Ler artigoBriefing do Radar sobre um setup de aprendizado por reforço para modelos de decisão que retornam probabilidades calibradas, em vez de texto gerado. Data da publicação: 4 de outubro de 2026.
Ler artigoO paper apresenta o VeriHarness, que verifica afirmações de agentes em tarefas longas usando um modelo-base fixo, sem respostas de referência ou rubricas durante o teste.
Ler artigoEstudo sistemático relata que a direção do KL por token pesa mais que a política de rollout na distilação on-policy versus off-policy, questionando a ideia de que rollouts on-policy são inerentemente melhores.
Ler artigoRadar: artigo que interpreta a attention padrão como Entropic Optimal Transport com prior uniforme implícito e propõe o GOAT, com prior contínuo e treinável compatível com kernels otimizados como FlashAttention.
Ler artigoRota Nacional
30 dias, sem cartão, com quota inicial. Depois, crédito por Pix a partir de R$ 10,00.