Sve počinje 1825. godine između varoši i tadašnjeg sela Palilula. Prvi stanovnici su bili zapravo Romi koji su gradili svoje nastambe i tada nazvali ovo mesto Šićan-mala, ciganska mahala. Tek polovinom 19. veka dolazi do promene u arhitekturi i Skadarlija postaje prava gradska četvrt. Ono što je zanimljivo jeste da se u tom periodu ovim delom grada protezao kanal koji je nakon obilnijih kiša postao rečni tok - granica između Dorćola (Tri Šešira) i Palilule (Dva Jelena).
Priča o Skadarliji kao čuvenom...