Accéder directement au contenu Accéder directement à la navigation
Article dans une revue

Approximate Message Passing with Restricted Boltzmann Machine Priors

Eric W. Tramel 1 Angélique Dremeau 2 Florent Krzakala 1
2 Lab-STICC_ENSTAB_CID_TOMS
Lab-STICC - Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance
Abstract : Approximate message passing (AMP) has been shown to be an excellent statistical approach to signal inference and compressed sensing problems. The AMP framework provides modularity in the choice of signal prior; here we propose a hierarchical form of the Gauss Bernoulli prior which utilizes a restricted Boltzmann machine (RBM) trained on the signal support to push reconstruction performance beyond that of simple i.i.d. priors for signals whose support can be well represented by a trained binary RBM. We present and analyze two methods of RBM factorization and demonstrate how these affect signal reconstruction performance within our proposed algorithm. Finally, using the MNIST handwritten digit dataset, we show experimentally that using an RBM allows AMP to approach oracle-support performance.
Type de document :
Article dans une revue
Liste complète des métadonnées

Littérature citée [18 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01374620
Contributeur : Angélique Drémeau <>
Soumis le : lundi 3 octobre 2016 - 11:36:35
Dernière modification le : mardi 22 septembre 2020 - 03:57:42
Archivage à long terme le : : vendredi 3 février 2017 - 14:07:55

Fichier

jstat16_7_073401.pdf
Fichiers éditeurs autorisés sur une archive ouverte

Identifiants

Citation

Eric W. Tramel, Angélique Dremeau, Florent Krzakala. Approximate Message Passing with Restricted Boltzmann Machine Priors. Journal of Statistical Mechanics: Theory and Experiment, IOP Publishing, 2016, 2016, ⟨10.1088/1742-5468/2016/07/073401⟩. ⟨hal-01374620⟩

Partager

Métriques

Consultations de la notice

528

Téléchargements de fichiers

831