非洲人国民大会被取缔后，公众人物被迫转入地下。这时，刚刚获得自由的曼德拉审时度势，建议非国大建立自己的军事力量。1961年6月，非国大领导采纳了曼德拉关于使用暴力手段的建议，秘密成立了非国大的武装力量“民族之矛”，由曼德拉领导该组织。流亡生活使曼德拉成为军事战略家，他成了南非黑人的偶像和英雄。这期间，曼德拉于1962年1月到英国访问，在那儿，43岁的他体味到什么是真正的自由。回国不久，因政局动荡，曼德拉又被南非当局逮捕，被判5年苦役。
1963年，当非国大和“民族之矛”的许多领导人都被逮捕时，曼德拉又和他们一起受审，罪名是企图以暴力推翻政府。曼德拉在法庭上陈述了4个小时，他痛斥南非统治者“你们才是真正的罪犯”。1964年6月12日，包括曼德拉在内的被指控者中的8人被判终身监禁。从1964年到1982年，曼德拉被囚于开普敦附近的罗宾岛监狱，后来又被监禁于大陆附近的波尔斯穆监狱。
获释之后的曼德拉全身心地投入他终生的事业，为实现民主、自由、平等的新南非而努力。1991年，在非国大自从1960年被禁之后首次于南非境内举行的全国大会上，曼德拉当选为非国大主席，奥利弗·坦博，他一生的朋友与同事成为这个组织的全国协调人。
当时南非有700万失业人口，暴力事件不断，国家处于分裂状态。曼德拉向人民承诺重塑南非，他是个言出必行的人，历经沧桑的曼德拉果然给这个国家带来了和平。这是20世纪的奇迹。
[我还想知道]
1989年2月，原南非教育部长德克勒克被选为国民党领袖，他在任职后第一次讲话中号召建立一个非种族主义的南非，呼吁就这个国家的前途举行谈判。同年9月，他当选总统，德克勒克立刻解除了对非国大的禁令，二个月内废除了种族歧视制度，并在1990年2月11日释放了约尔逊·曼德拉。
1993年10月，纳尔逊·曼德拉和威廉·德克勒克“因其结束种族隔离制度和平努力，因其为民主的新南非奠定了基础”而荣获本年度诺贝尔和平奖。
1994年5月10日，曼德拉就任南非总统，在他的领导下成功地改变了人民的生活，使南非得以安定。