Apports des alternatives à la rétropropagation dans l'apprentissage des réseaux de neurones binaires - Equipe RFAI du Laboratoire Informatique de Tours
Communication Dans Un Congrès Année : 2023

Apports des alternatives à la rétropropagation dans l'apprentissage des réseaux de neurones binaires

Résumé

Les modèles de réseaux de neurones profonds utilisent actuellement des paramètres encodés avec des nombres flottants utilisant beaucoup d'espace mémoire au moment de l'inférence. Ces modèles devenant de plus en plus volumineux, il devient difficile d'envisager entraîner directement ces modèles sur des appareils portables tels que les smartphones. Les réseaux de neurones binaires promettent de réduire la taille des réseaux de neurones artificiels tout en diminuant le temps d'inférence et l'énergie consommée, permettant le déploiement de modèles plus puissants sur les appareils portables. Cependant, les réseaux de neurones binaires sont encore actuellement difficiles à entraîner en utilisant la rétropropagation classique. Nous fournissons des tests comparatifs pour 3 algorithmes dont la rétropropagation permettant d'entraîner des réseaux de neurones binaires sur MNIST ainsi que CIFAR-10. Les résultats montrent que les réseaux de neurones binaires peuvent être entraînés en utilisant des alternatives à la rétropropagation, et donner lieu à de meilleures performances.
Fichier principal
Vignette du fichier
1002849.pdf (616.22 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-04344621 , version 1 (14-12-2023)

Identifiants

  • HAL Id : hal-04344621 , version 1

Citer

Ben Crulis, Barthélemy Serres, Cyril de Runz, Venturini Gilles. Apports des alternatives à la rétropropagation dans l'apprentissage des réseaux de neurones binaires. Extraction et Gestion de Connaissances (EGC) 2023, 2023, Lyon, France. pp.449-458. ⟨hal-04344621⟩
175 Consultations
84 Téléchargements

Partager

More