Publicado em 17 de setembro de 2026, o artigo descreve uma estrutura que usa pesos específicos e camadas Transformer recorrentes para emular operações computacionais, incluindo desvios condicionais e contadores de programa.
Uma arquitetura aplica uma camada Transformer recorrentemente a blocos de tokens, combinando self-attention e cross-attention para processar sequências com complexidade linear em relação ao comprimento.
Publicação de 17 de setembro de 2026 descreve uma arquitetura que aplica repetidamente a mesma camada Transformer, em vez de empilhar camadas distintas, e destaca questões de computação sequencial e paralela.
Publicado em 16 de setembro de 2026, o artigo apresenta attention como Entropic Optimal Transport e propõe substituir o prior uniforme implícito por um prior contínuo e treinável.
Artigo de 16 de setembro de 2026 formula o associative recall em linear attention como um problema de spherical packing e apresenta as ativações KATA, derivadas de um cone homogêneo autodual.
Em publicação de 16 de setembro de 2026, SAS descreve um seletor treinado dentro do Softmax para filtrar contexto na atenção voltada a hardware com recursos limitados.
A Softmax Linear Attention propõe aplicar softmax no nível das heads para recuperar competição global na atenção linear, mantendo como objetivo a complexidade linear. A abordagem pode ser comparada à normalização softmax padrão.
Paper apresenta uma abordagem dinâmica e granular para combinar atenção full e sliding window em transformers híbridos, mirando o custo da primeira e o campo receptivo mais estreito da segunda.
Post publicado em 16 de setembro de 2026 relata que objetivos locais de denoising ajudaram modelos recorrentes Looped Flows em computação de várias etapas. O texto informa resultados superiores aos de modelos looped anteriores em seis benchmarks de raciocínio, incluindo 58,8% no ARC-AGI-1.
Artigo apresenta Tucker Attention como uma abordagem de fatoração tensorial que enquadra MHA, GQA e MLA em uma perspectiva comum de atenção aproximada de baixo posto.
Publicado em 15 de setembro de 2026, o artigo examina o rank collapse à medida que o contexto cresce e analisa o reescalonamento dos scores de atenção.
A versão 1.0 apresenta um meta-harness autônomo que evolui tanto kernels de GPU quanto a camada de harness; o projeto venceu a categoria DSA de um concurso do MLSys 2026 FlashInfer.
A versão v0.1.6-alpha.1 adiciona uma sidebar Web com terminais persistentes, múltiplas abas e suporte a recursos MCP. As opções experimentais incluem ferramentas para browser e drivers para computador.
Publicado em 15 de setembro de 2026, o post descreve Octop como uma plataforma open source e self-hosted de assistentes de IA, com suporte a múltiplos usuários e agentes.
Publicado em 15 de setembro de 2026, o paper apresenta RoLA, um método de atenção linear de baixo rank com posição rotativa para Diffusion Transformers. A proposta trata do escalonamento quadrático da self-attention espaço-temporal densa e de um problema de compatibilidade entre RoPE e o ramo global
Publicado em 15 de setembro de 2026, o registro descreve um projeto open source com interface Web para treinar modelos de conversão de voz usando até 10 minutos de dados de voz.
Publicado em 15 de setembro de 2026, o Xiaomi-CocktailASR-1 demonstra um fluxo de reconhecimento de fala condicionado por um locutor em áudio sobreposto.
Paper compara modelos byte e token destilados em escalas de até 1 trilhão de bytes de treinamento e relata um teto de desempenho maior para modelos byte conforme cresce o compute.