1886-ban Erzsébetfalva és Kossutfalva határán egy keresztény és egy zsidó temető létesült.  Utóbbit az erzsébetfalvai zsidó hitközség Szent Egylete vásárolta meg, adakozásból bekerítette és a temetéshez szükséges infrastruktúrával látta el. Nemsokára azonban nyilvánvalóvá vált, hogy a rohamosan növekvő lakosságszám miatt sem a keresztény, sem az izraelita  temető mérete nem elegendő. A régi, Knézits utcai zsidó temető az új 1928-as felavatásáig működött, de csak 1962-ben számolták fel. A régi sírkövek jelentős része megsemmisült, kivéve néhány – a hitközség történetében meghatározó szerepet betöltő – jelentős személyiségét. A többi sírkövet a szóbeszéd szerint a Kakas-tó feltöltése során temették be.

1916-ban az erzsébetfalvai Chevra Kadisa egy soroksári mezőgazdasági ingatlant vásárolt, hogy egy új temetőt alakítsanak ki. Evvel egy időben a nagyközség is több területet vásárolt a soroksári határban temetőlétesítés szándékával (ahová keresztények és izraeliták is temetkezhetnek). A keresztény temetések már 1916-ban megindultak, a zsidó temető elhelyezésére több terv is született, végül  a terület déli határa mentén alakították ki. 1923-ban a Chevra Kadisha kétszázmillió korona költséggel bekeríttette és a következő években kutat, szabályos szertartási termeket, gondnoki lakást és a temető teljes hosszában futó kohenita járdát alakított ki.

1928 februárjában szentelték fel a temetőt és az új szertartástermet, amelynek falára fekete márványtáblát helyeztek el. A második világháború alatt a temető súlyosan károsodott, a nyilvántartás megsemmisült. Minden évben itt emlékeztek meg a Holokauszt áldozatairól, 1947-ben  pedig felavatták azt az emlékoszlopot, amelyen a mártírok egy részének neve szerepelt.  Az eseményen Gönczi László hitközségi elnök mondott beszédet.

1962 augusztusában a nagyobb és az azt  a szolgáltató létesítményekkel összekötő rész átkerült az állam tulajdonába. Az ún. Nagytemető funkcióját részlegesen megszüntették, körbe kerítették. Az ún. Kistemető területét  - ahová ezek után temetkezhettek a környék zsidói - is kerítéssel látták el. Az összekötő rész a köztemető részévé vált és az itt található sírokat 1963-ban/1964-ben – az egyházi hagyományok figyelmen kívül hagyásával – exhumálták. Nagy felháborodást váltott ki az is, amikor a mártír obeliszket – ahelyett, hogy átvitték volna a Kistemetőbe – lerombolták. A Holokauszt áldozatinak tiszteletére Weszler Klára emeltetett saját költségén egy emlékművet.

A Pesterzsébeti Izraelita Kistemető parcellakönyvét Dr. Csillag János és Gönczi Gábor több éves kutatómunka után 2023 végére készítette el. A fenti történeti összefoglalás is ezt a munkát felhasználva született meg.