In Groß-Gerau gab es drei jüdische Friedhöfe. Der zweite existierte ab dem Jahre 1600 bis er 1910 endgültig geschlossen wurde. Es war ein schmaler Streifen von etwa 10 Metern Breite und 200 Metern Länge. Er befand sich zur damaligen Zeit außerhalb der Ortsbefestigung etwa parallel zur heutigen Friedrich-Ebert-Anlage zwischen Darmstädter und Berliner Straße. Auch von diesem Friedhof gibt es keine Spuren mehr. Der heutige Grünstreifen könnte sich ziemlich genau an der Stelle dieses Friedhofes befinden.

1936 geschah auf diesem zweiten Friedhof jene beispiellose Verletzung der Totenruhe gegen alle jüdische Tradition, als auf Grund einer Erweiterung des früheren Landratsamtes gegenüber dem Marktplatz (heute steht dort die Kreissparkasse) die jüdische Gemeinde gezwungen wurde, das alte Gräberfeld auszuräumen. Die Skelette mußten per Karren in ein Massengrab auf den neuen Friedhof verbracht werden. Diese Arbeit wurde im November 1936 u.a. von Moritz Goldberger und seinem Sohn Ludwig verrichtet. Ttäglich mussten vier bis fünf Grabstellen geräumt und die Leichen auf einem schwarz verhangenen Karren durch Groß-Gerau zum neuen Friedhof geschoben werden.