Især de fattige måtte klumpe sig sammen i usle lejekaserner, som man kaldte dem, med det resultat at en koleraepidemi tog livet af forfærdeligt mange af dem
Så kom der endelig et opgør med disse usle forhold, og Danmarks første sociale boligbyggerier blev opført uden for voldene, nemlig Lægeforeningens boliger, Brumleby i det senere tætbebyggede Østerbro.