LLM Compressor reúne técnicas de compressão para vLLM
Publicado em 16 de agosto de 2024, o briefing apresenta uma biblioteca para aplicar GPTQ, SmoothQuant e SparseGPT a modelos usados com vLLM.
Ler artigoConhecimento para aplicar
Radar
Bookmarks atualizados diariamente: notícias, fatos e descobertas relevantes.
Parler-TTS Mini e Large v1 são lançados
Anunciados em 8 de agosto de 2024, os modelos de síntese de fala foram treinados com 45 mil horas de áudio e permitem controlar características da voz por prompts de texto.
Ler artigoSGLang e vLLM: throughput em GPUs A6000
Publicado em 4 de agosto de 2024, o relato compara dois mecanismos de serving com Mistral Large 2 em quatro GPUs A6000: cerca de 1.100 tokens/s com SGLang e menos de 750 com vLLM; em batches menores, o desempenho foi semelhante.
Ler artigosqlite-vec leva busca vetorial ao SQLite
Publicação de 2 de agosto de 2024 descreve uma extensão em C, sem dependências, que acrescenta busca vetorial ao SQLite e enumera métricas, quantização, integrações e SDKs.
Ler artigoPEER recupera mais de um milhão de experts
Publicado em 1º de agosto de 2024, o resumo descreve uma arquitetura Mixture of Experts que usa product keys para recuperar experts de forma esparsa.
Ler artigoExemplo de LoRA em MLP de 5 milhões de parâmetros
Publicado em 30 de julho de 2024, o exemplo aplica LoRA ao fine-tuning de um MLP simples de classificação e compara o desempenho com adapters ativados e desativados.
Ler artigoFramework de self-reasoning para RAG
Publicado em 30 de julho de 2024, o resumo descreve um framework que avalia documentos recuperados, seleciona evidências e examina etapas de raciocínio antes de responder.
Ler artigoPyTorch apresenta o torchchat para inferência local
Publicado em 30 de julho de 2024, o texto apresenta o torchchat, biblioteca PyTorch para executar Llama 3, 3.1 e outros modelos de linguagem em laptops, desktops e dispositivos móveis.
Ler artigoNotebook transfere conhecimento de domínio para Llama 3 8B
Publicado em 29 de julho de 2024, um notebook open source no Colab faz fine-tuning do Llama 3 8B com conhecimento de domínio gerado pelo Llama 3 405B.
Ler artigoComponentes agentic para APIs do Llama Stack
Publicação de 24 de julho de 2024 apresenta um repositório com componentes agentic para APIs do Llama Stack e destaca o uso de tools e functions com modelos Llama 3.1.
Ler artigoProjeto explora computador RISC-V de 64 bits em FPGA
Publicado em 10 de julho de 2024, o registro descreve um projeto open source que busca implementar em FPGA um computador RISC-V de 64 bits capaz de executar Linux e hospedar seu próprio desenvolvimento.
Ler artigoESFT seleciona experts relevantes em LLMs esparsos
Publicado em 5 de julho de 2024, o paper examina fine-tuning eficiente em parâmetros para modelos Mixture-of-Experts. O ESFT treina experts selecionados por sua relevância para as tarefas de customização.
Ler artigoXEUS: encoder de fala multilíngue anunciado
Em 1º de julho de 2024, a WavLab anunciou o XEUS, um encoder de fala self-supervised treinado com mais de 1 milhão de horas de áudio e com cobertura de mais de 4.000 idiomas.
Ler artigoRadar: comparação de modelos de transcrição
Publicado em 24 de junho de 2024, o material apresenta uma comparação de modelos de speech-to-text por taxa de erro de palavras, velocidade e preço.
Ler artigoGradiente descendente como atenção sobre exemplos de treino
Um artigo de 6 de fevereiro de 2023 interpreta camadas lineares treinadas por gradiente como memórias de exemplos e pesos iniciais, relacionando previsões a uma forma de atenção.
Ler artigoRota Nacional
Leve a privacidade para o seu processo.
30 dias, sem cartão, com quota inicial. Depois, crédito por Pix a partir de R$ 10,00.