Der jüngere Sohn, Rudolf, betrieb in der Daniel-Gran-Straße 34 ein Kaufmannsgeschäft, das er am 1. Oktober 1937 von Johanna Holub gepachtet hatte. Diesen Pachtvertrag löste er am 3. Mai 1938 auf und der Neunkirchner Alfred Ritter übernahm die Pacht und kaufte Gelb das Warenlager um RM 1214,37 ab. Auf der Mauer von Gelbs Geschäft stand eines Tages zu lesen: „Jude verrecke”. Am 11. November 1938 wurde er verhaftet und am nächsten Tag nach Wien in die Rossauerkaserne transportiert, wo sämtliche persönliche Daten aufgenommen wurden und er verhört, schikaniert, geschlagen und gefoltert wurde. Schließlich kam er mit seinem Bruder Hermann nach Dachau, wo er vom 14. November 1938 bis 18. April 1939 in Haft war; Hermann wurde erst am 12. Mai entlassen. In den folgenden Monaten arbeiteten die Brüder beim Bau der Reichsautobahn mit. „Ich und mein Bruder waren die bestbezahlten Arbeiter am Platz, da wir am meisten arbeiteten, weil wir ja Angst hatten.” Da sich die Lebensbedingungen für Juden immer mehr verschlechterten, beschlossen Rudolf und Hermann Gelb, das Land zu verlassen: „Wir durften nirgends hingehen […] Die Leute spuckten uns ja an. Ja, sogar die Schulkinder, die bekamen den Auftrag von den Lehrern. Auch bekamen wir fast nichts zum Kaufen. Erst bekamen die ›Arier‹ und was blieb, bekamen wir.” Am 15. Dezember 1939 meldeten sich die Brüder Hermann und Rudolf nach Italien ab. Sie reisten mit Alfred R., dessen Vater Josef, Leopold Tüchler und wahrscheinlich auch dessen Frau und schrieben von Innsbruck noch eine Ansichtskarte an ihre Eltern. Später waren beide in Frankreich interniert und flüchteten 1942 in die Schweiz, wo sie wiederum interniert, aber von ihrem Cousin Paul Gelb und dem Hilfskomitee für (ehemalige) Österreicher in der Schweiz unterstützt wurden. 1946 kehrten sie nach Österreich zurück, benötigten dazu aber eine Bestätigung, daß die Familie ihrer Schwester Anna Mattes für ihren Lebensunterhalt aufkommen werde, da ihnen als Juden die Staatsbürgerschaft entzogen worden war.

Bericht von Rudolf Gelb über seine Erlebnisse in Dachau. Rudolf Gelb sprach seinen Bericht lange nach dem Krieg auf Tonband. Im Zuge des Novemberpogroms wurde er verhaftet und nach Wien gebracht, von dort nach Dachau: „Dem nächsten Tag wurden wir mit dem Grünen Heinrich am Westbahnhof gebracht. Natürlich hineingepfercht wie’s nur ging. Es wurden dabei viele zertreten. Und am Bahnhof mussten wir Spießruten laufen. Dies war folgendermaßen: Links und rechts standen SS-Männer mit Bleikugeln auf den Spießruten darauf und Gewehren. Beim Durchlaufen wurden uns Beine gestellt, sodass wir fallen mussten. Den Rest können Sie sich vorstellen, wie wir in die Waggons gekommen sind. Zerschlagen und zerschunden wurden wir in die Abteils gepfercht. Wo normal acht Personen Platz hatten, waren wir 30 Mann. […] Nach Stunden ging die furchtbare Fahrt nach Dachau ins Konzentrationslager los. Während der Fahrt wurden unmenschliche Greueltaten an uns vollbracht.” Den Häftlingen wurden etwa neben einer Reihe anderer Schikanen von den Wachmannschaften Fragen gestellt und gleichgültig, welche Antwort diese gaben, sie wurden geschlagen, „da ja die Juden nur lügen. […] Wie viele diese Fahrt überlebten, kann ich nicht sagen, weil die Toten wurden gleich in einen Extrawaggon gebracht. Bei der Ankunft in Dachau ist gleich einer wahnsinnig geworden und hat geschrien. Er wurde auf der Stelle erschossen. Ich war erstaunt, auf einmal so viele Juden zu sehen. […] Dann mussten wir ins Bad. Dort standen wir stundenlang. Vorher aber wurden uns Häftlingskleider in die Hände gedrückt, anziehen durften wir die Kleider erst nach dem Bad. […] Nun die Schlafgelegenheiten: In einer Baracke sind normal vier Räume, Belegschaft 50 Mann und ein Aufsichtsorgan, das war ein ›Arier‹. Also vier Räume sind 204 Personen. Wir waren aber in einem Raum 600 Personen, also in einer Baracke 2404 Mann. […] Nun kommt das Lagerleben, und man muss sich vorstellen, in Dachau war alles auf Angst und Schrecken aufgebaut. […] Da es drei Monate Winter keine Außenarbeit gibt, wird im Lager schikaniert. Z. B. wird jeden Tag zwischen den Baracken exerziert. Aber natürlich nur mit Liegestützen, Kniebeugen, Laufen usw. Wenn es Schnee gegeben hatte, mußte der Lagerplatz geräumt werden. Die ›Arier‹ durften einladen, Juden nur mit der Scheibtruhe fahren. Dies natürlich immer im Laufschritt. Ein Gehen hatte es im Lager überhaupt nicht gegeben. Viele konnten dies nicht durchhalten. Leider mussten die mit ihrem Leben büßen.” Eines Tages besuchte der Reichsführer-SS Himmler das Lager mit mehreren Auslandsjournalisten: „Da fassten wir jeder ein Leintuch, ein Messer, eine Gabel, da waren wir ja nur mehr normale Belegschaft, also nur mehr 50 bis 60 in einer Stube. Also in Eisenbetten. Wir mussten das Leintuch ins Bett breiten, und ein Polster wurde auch verteilt und überzogen. Mittag kam Himmler mit den Journalisten ins Lager. Wir bkamen Essen. Wir waren erstaunt: Es gab eine Suppe, Selchfleisch, Pellkartoffeln und Kraut. Die Journalisten staunten natürlich, dass es uns so gut geht. Um 2 Uhr fuhren alle wieder weg. Nach Minuten wurde durch Lautsprecher durchgegeben, was wir gefasst haben, muß in einer halben Stunde alles abgegeben werden. […] Nun komme ich zur Entlassung. […] Ich musste zur Untersuchung, denn wenn einer nur die geringste Verletzung hatte, wurde man nicht entlassen, denn das Volk durfte ja nicht wissen, wie es in Dachau war. Es wurde uns bei der Entlassung ans Herz gelegt, "Wenn einer von euch nur ein Wort über das Lager Dachau erzählt, kommt er garantiert wieder zurück. Aber für immer!" Wie damals die Verhältnisse waren, getraute ich mir nicht einmal meinen eigenen Eltern zu erzählen. Wenn ich heute zurückdenke, wie ich in der Bahn gesessen bin, wir trauten uns mit niemandem sprechen, nicht einmal anschauen trauten wir uns die Leute."