I det gamla Vilbergen fanns flera stenbrott och en större grupp stenarbetare valde så småningom att bosätta sig här. Efter hand ökade inflyttningen av andra grupper både från de norra förstäderna och inifrån staden och eftersom markägarförhållandena var oklara bildades en lantlig förstad i ett slags administrativt ingenmansland.

Sedan S:t Johannes socken införlivats med Norrköpings stad 1918 tog dock staden över marken och tvingade bosättarna att skriva på arrendekontrakt. I den stadsplan som upprättades 1923 beskrevs Vilbergen som ”synnerligen primitivt” och ”ett fullständigt kaos”. När den moderna stadsdelen Vilbergen skulle byggas på 1960-talet revs ett hundratal hus och gårdar från den första tiden.

Det är inte känt hur gammalt namnet Vilbergen är. Det är belagt i Sankt Johannes församlings husförhörslängd för åren 1846–1850 då Annelund var ett ”nybygge på Hvilbergen”. Inte heller namnets betydelse är utredd. Enligt Namnarkivet i Uppsala finns det gott om ortnamn med förleden Vil- eller Vila- som anger en plats där valldjuren (och vallfolket) kunnat vila. En annan teori är det handlar om den fornnordiska guden Vile (även kallad Vili), som var en av Odens bröder, och att namnet skapats under 1800-talet då intresset för det fornnordiska var stort.

Vilbergens kvarter fick 1966 namn ur gruppen ”smycken och ädelstenar” och för samtliga kvarter som tillkommit sedan dess har temat behållits. Då gatorna namngavs 1967 inspirerades man till en ny namngrupp, ”stenbrytning”, med en historisk koppling till områdets tidigare verksamhet.