De lotgevallen van de Rembrandt met de rode baret zijn bijna te bizar om waar te zijn. Het portret werd in 1823 aangekocht door de Prins van Oranje, de latere koning Willem II, voor zijn kunstcollectie, die de beste Nederlandse privéverzameling ooit was.

Geteisterd door oorlogsgeweld want door Willem achtergelaten in Brussel tijdens de Belgische Opstand van 1830, in 1918 kwijtgespeeld als erfstuk van zijn nazaten na de Eerste Wereldoorlog, na de Tweede Wereldoorlog in beslag genomen in Dayton, Ohio door de Amerikaanse overheid als verondersteld vijandelijk bezit, en jarenlang een lastige diplomatieke speelbal tussen Washington en Bonn in de Duits-Amerikaanse betrekkingen tijdens de Koude Oorlog.

Daarvoor was het in 1921 ook nog eens gestolen uit het Weimar Museum, en in 1935 door Duitse matrozen in New York geheeld. Sinds Weimar was het slechts tien dagen in 1947 te zien geweest in Dayton, en tien weken in 1967 in Washington. Met Rembrandt met rode baret doet het opnieuw zijn intrede in de Rembrandtwereld.

De toeschrijving aan Rembrandt is sinds 1969 omstreden. Gary Schwartz draagt argumenten aan om het te accepteren voor wat het eeuwenlang was en nog altijd lijkt te zijn, een zelfportret van de meester. Bijgevoegd zijn de resultaten van een recent technologisch onderzoek.