战国初期，公元前472年（越王勾践二十五年）派范蠡在今南京雨花路西侧（古称江上镇）筑城，称越城，俗称范蠡城。城周只有二里八十步，据南京大学保存的东周古尺测量计算，城周仅942米，还不到一公里。城内的面积有6万平方米。越城前临秦淮河，后依雨花台，又与长江临近，位置险要，是防范江北楚军的重要关卡，城里驻着越王及其将士，为保一方平安，因此城外和秦淮河两岸聚集许多居民，这里是南京最早的人口集中的居民区和商业市场。从建越城开始，南京已有2400多年的历史。
据史书记载：越王勾践曾被吴王俘为吴臣的三年里，忍辱负重，面无怨色；释放归越后，经过十年的奋发图强，男耕女织，卧薪尝胆，终于灭吴平耻，实现了愿望。越城，又是古金陵值得自豪的地方，古长干寺在大长干，即后来的大报恩寺所在，在今雨花路东侧，其西侧，就是古越城的原址。三国名将陆逊之孙陆机和陆云两兄弟，特意将私宅故居建在越城的遗址西边，兄弟俩为此均曾诗作《怀旧赋》，为后人留有”望东城之纡余”的诗句。东城者，即此越城之旧址矣。东晋时，还有晋兵驻守在越城及秦淮河的外围，以防北方符坚兵士偷袭。