Adolf Westheimer wurde 1883 in Großreicholzheim (Baden-Württemberg) als Sohn eines Viehhändlers geboren. Er war in Frankfurt als Kaufmann tätig. Dort heiratete er 1920 Erna Alice Simon, geboren 1898 in Offenbach. 1921 wurde ihr einziger Sohn Hans Ludwig in Frankfurt geboren.
1931 zog die Familie nach Rosenheim, wo Adolf Westheimer sein Konfektionsgeschäft am Ludwigsplatz 19 eröffnete. Hans Ludwig besuchte das Gymnasium.

Nach der Machtübernahme durch die Nazis 1933 nahmen die Anfeindungen gegen Juden zu. Trotzdem konnte die Familie ihr Geschäft halten, bis es in der Nacht zum 10. November 1938 von den Nazis zerstört wurde. Mit Beilen wurden Regale, Öfen, Registrierkassen, Beleuchtungskörper und Schaufenster zerschlagen, die Waren herausgerissen und auf die Straße geworfen. Bettfedern wurden aus der Umhüllung getrennt, Stoffe, Kurzwaren und Wäsche unbrauchbar gemacht. Passanten und Nachbarn nutzten die günstige Gelegenheit, sich noch unversehrte Waren anzueignen.
Westheimer meldete sein Geschäft am 30.11.1938 ab. Am 15. April 1939 gelang der Familie die Flucht nach New York.