Deep Learning / Transformers : fastT5

github.com

🚀fastT5 vous permet de diviser par 3 la taille de vos modèles T5 et d'augmenter la vitesse d'inférence jusqu'à 5X !

Partage un peu "niche" mais les modèles T5 commencent à devenir très populaires pour de nombreuses tâches NLP. Problème : la génération de texte séquentiel est naturellement lente et cette lenteur augmente fortement avec la croissance de la taille des modèles. fastT5 accélère l'inférence des modèles T5 en l'exécutant sur onnxruntime tout en diminuant la taille du modèle.


Lire...
Linkedin

Voulez-vous recevoir plus de contenus comme celui-ci dans votre boîte aux lettres ?