LABS / 01
Pequenos ajustes. Grandes possibilidades.
Explore como o LoRA reduz a quantidade de parâmetros treináveis em uma matriz.
W′ = W + BA
W 4.096 × 4.096Base congelada
B4.096 × 8
×A8 × 4.096
Adaptadores treináveisDiagrama esquemático; os blocos não representam cada parâmetro. Escala LoRA omitida da fórmula.
Parâmetros na base16.777.216congelados
Parâmetros treináveis65.5360,39% do tamanho da base
2 × 4.096 × 8 = 65.536
Duas matrizes menores formam a atualização da matriz original.
Mais parâmetros não garantem um modelo melhor.
O rank controla o tamanho do adaptador. A escolha adequada depende dos dados, da tarefa e da avaliação — o resultado precisa ser medido.
O que este Lab calcula
Contagem exata para uma matriz quadrada, sem bias. Não executa um LLM e não estima qualidade ou VRAM total.
Ler o artigo original de LoRA