苏轼在惠州这块荒蛮之地度过了四年，而他在诗中却不时展现自己放达、潇洒的人生态度：“日啖荔枝三百颗，不辞长作岭南人”（《食荔枝二首》），“白头萧散满霜风，小阁藤床寄病容。报道先生春睡美，道人轻打五更钟。”（《纵笔》）当时的宰相章惇读到这些诗，鼻子都气歪了。他不愿他的政敌过着如此安闲的日子，于是将苏轼再贬为琼州（今海南省）别驾。当时的琼州，非人所居，历来流放于此者，极少能够生还。苏轼也抱定必死之心，安顿好家室，与子孙江边泣别，毅然前往。
苏轼于绍圣四年（1097）七月到达琼州，时年六十二岁。初到儋耳（今海南省儋县），儋守张中让他暂居官舍之中，聊避风雨；借一点官地耕种，聊以维持生计。但当权者仍不甘心，必欲置之死地而后快，结果是苏轼被赶出了官所，张中也因此受到了降职处分。苏轼被逼无奈，只好在城南买地，筑室，自己亲自动手，又赖当地十几个穷学生的帮助，终于修成草屋三间，草屋四周是桄榔（常绿乔木）树林。苏轼为新居题名为“桄榔庵”。他在《桄榔庵铭》中称此地是“海氛瘴雾，吞吐呼吸。蝮蛇魑魅（chīmèi，传说中的妖怪），出怒入娱”。不但自然环境恶劣，而且生活也极为困苦：“此间食无肉，病无药，居无室，出无友，冬无炭，夏无寒泉。”（《答程天侔书》）这“六无”使我们不难想象苏轼当时生活之艰苦。但这艰苦的生活并没有使他颓丧，他“食芋饮水，著书以为乐。”更为可贵的是他没有失去对生活的热爱和对百姓生活的关心。
他还像做地方官一样关心百姓疾苦，帮助他们发展生产，改善生活条件。他给知州王敏仲写信，建议用竹筒引山涧之水解决城市引水问题；他又建议县令充分利用溪水资源，用碓（duì，舂米之物）磨来舂米磨面；他还积极推广新式农具“秧马”等。此外，他还帮助百姓破除迷信，向他们传播文化知识，和当地百姓建立了真诚的友谊。
诗歌已成为苏轼生活中不可或缺的重要组成部分。他不但用诗歌来表现自己的失意、孤独、寂寞，而且为了排遣苦闷，他还把许多日常生活琐事写入诗中，如“旦起理发”，“午窗坐睡”，“夜卧濯足”等。更为令他欣慰的是，他再次发现了陶渊明、柳宗元诗歌的意义，将其“常置左右，目为二友”（《与程全父书》）。特别是对陶诗，体会尤深。他在《与子由六首》其五中说：“吾于渊明，岂独好其诗也哉？如其为人，实有感焉。”他引陶渊明为知己，一遍又一遍地追和陶诗，共得一百零九首。佛、道思想和陶渊明的诗歌成为他在荒蛮之地心平气和地生活数年的重要精神支柱。
当元符三年（1100）六月苏轼遇赦北归时，真可谓百感交集。他即将离开海南时，写下《澄迈驿通潮阁二首》，其一云：“倦容愁闻归路遥，眼明飞阁俯长桥。贪看白鹭横秋浦，不觉青林没晚潮。”没有感恩的言语，没有激动的眼泪，也没有归心似箭的期盼，唯有看到的白鹭秋浦，青林晚潮。在其渡海之际，又写下了《六月二十日夜渡海》一诗：“参横斗转欲三更，苦雨终风也解晴。云散月明谁点缀，天容海色为澄清。空余鲁叟乘桴意，粗识轩辕奏乐声。九死南荒吾不恨，兹游奇绝冠平生。”苦雨终风停止了，天容海色恢复了澄清的本来面貌。该北归了，九死一生的海南流放生活结束了。诗人把这不堪回首的生活经历比作人生最为奇绝的游历，这是何等旷达的襟怀？又是何等难以言状的牢骚！
北归了，但何处是自己的归宿？年近古稀的苏轼的确无处可归。几经周折，才算在常州找到了落脚之地。但第二年，他即与世长辞。临终前，他极富深意地自题画像说：“心似已灰之木，身如不系之舟。问汝平生功业，黄州、惠州、儋州。”（《自题金山画像》）这首颇富自嘲意味的诗，形象而生动地道出了他一生屡遭打击，到处贬逐，而能四海为家，随遇而安的人生态度，也写出了自己身心交瘁的凄凉晚景。
苏轼没有成为宋仁宗所期望于他的北宋宰相，但一生的逆境磨难却玉成了他在文学艺术领域的盖世功业。