No siempre se necesita un modelo gigantesco para obtener buenos resultados. Los modelos «distilled» son versiones más pequeñas que aprenden de un modelo grande, manteniendo un rendimiento alto con menor costo computacional.

¿Cómo funciona? Un modelo grande (teacher) transfiere su conocimiento a un modelo más pequeño (student), enseñándole no solo las respuestas correctas, sino también cómo llegar a ellas. Esto permite:

✅ Reducir el consumo de energía.

✅ Hacer IA más accesible en dispositivos con menos recursos.

✅ Mantener un rendimiento competitivo sin necesidad de hardware costoso.

Ejemplo: Las versiones destiladas de R1 de Deepseek que han sido desarrolladas a partir de la versión base sobre arquitecturas más pequeñas conocidas (Qwen o Llama) .

#AI #LLM #Distilled #MachineLearning #DeepLearning

Aquí la versión destilada Qwen-7B que se puede probar en LMStudio:

https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B