Do 1942 roku członkowie zespołu tworzącego muzeum w Linzu zgromadzili około Pani szuka Pana Poznam pana w Batorz w Lubin последние восемь tysięcy obrazów. Tym razem pod pretekstem zagrożenia alianckim bombardowaniem obszarów Generalnego Gubernatorstwa, w 1943 roku Dama z gronostajem po raz kolejny została wywieziona do Berlina. Realizację swoich marzeń kanclerz III Rzeszy powierzył architektowi Albertowi Speerowi i Hansowi Posse, który otrzymał odpowiednie pełnomocnictwa i środki, by zgromadzić eksponaty ze wszystkich dziedzin sztuki.

Że pierwszeństwo w wyborze zabytków przejętych przez władze okupacyjne ma przedstawiciel Hitlera do spraw budowy muzeum w Linzu dr Hans Posse, wszystkie instytucje państwowe i dowództwo armii zostały poinformowane. Dzięki temu po roku działalności udało mu się zdobyć – tylko dla galerii obrazów powstającej w ramach muzeum w Linzu – 565 dzieł. Portret młodzieńca otrzymał numer 151.

Obraz Rafaela, wraz z innymi dziełami sztuki, został wpisany do specjalnego katalogu zabytków przejętych przez Niemców na terenie Generalnego Gubernatorstwa – Sichergestellte Kunstwerke im General Gouvernement. Po lewej, dr Hans Szukam pana w Jaroszowiec Posse Pani szuka Pana w Lubin. Ale Portret młodzieńca i kilka innych obrazów w dalszym ciągu spoczywały w skarbcu berlińskiego banku, kajetan Mühlmann z Hansem Frankiem W 1940 roku Dama z gronostajem Leonarda da Vinci wróciła co prawda do Krakowa.

W rzeczywistości była to próba przejęcia obrazu przez protektora Kajetana Mühlmanna – Hermanna Göringa. Mimo że Posse zmarł w 1942 roku, jego następca dr Hermann Voss kontynuował projekt z jeszcze większym rozmachem. Dr Hans Posse – wspomniany już wcześniej dyrektor drezdeńskiej Gemäldegalerie – „zarezerwował” zaś Wielką Trójkę dla powstającego muzeum w Linzu.

Marszałek Rzeszy był wielkim miłośnikiem sztuki. Inicjatorem budowy muzeum sztuki, które miało przyćmić bogactwem posiadanych zbiorów największe tego typu placówki na świecie, był Adolf Hitler – niedoszły artysta, którego kandydaturę na wydział malarski odrzuciła wiedeńska Akademia Sztuk Pięknych.