一个落魄文人而成为民间故事的主角，这在中国的历史上可以称得上是特例，其中的原因复杂而难以说清。但从中我们至少可以读出：徐渭有过类似的行为并广为人知，在当时就被视为某类人的代表，否则不会有大量的编造和附会凭空落在他的身上。因此这个徐渭是真实的：玩世不恭，报复心重，有施虐倾向。
如果说民间故事中的徐渭更多让人笑的话，那各种文献记载中的徐渭则显得更为狂狷。
“渭性通脱，多与群少年昵饮市肆……时督府势严重，文武将吏庭见，惧诛责，无敢仰者，而渭戴敝乌巾，衣白布澣衣，直创门入，示无忌讳。”
“不喜富贵人，纵饗以上宾，出其死狱，终以对富贵人为苦，辄逃去，与不如公荣者饮即快……虽有时荣不择茅，金常夹砾，而百琲之珠，连贯沓来，无畏之石，针坚立破。英雄气大，未有敢当文长（徐渭字文长）之横者也。”
自郡守以下的求见者，往往都吃他的闭门羹。甚至当来访者一脚门里一脚门外之际，徐渭在里面用手抵门，大声说：“徐渭不在……”
徐渭所表现出来的桀骜不驯的性格，随着他阅历的增长日益显现出来。他在44岁时写的《自为墓志铭》中说：“贱而懒且直，故惮贵交似傲，与众处不浼袒裼似玩，人多病之。”又说：“渭有过不肯掩，有不知耻以为知，斯言盖不妄者。”袁宏道在《徐文长传》说他“眼空千古，独立一时。当时所谓达官贵人，骚士墨客，文长皆叱而奴之，耻不与交，故其名不出于越（浙江的简称）”，“晚年，愤益深，佯狂益甚。显者至门，皆拒不纳。当道官至，求一字不可得。”
徐渭身上散发着一股相当浓重的仙道气息，他放诞任性，我行我素，“游名山，起僵仆，逃外物”，尤其推崇庄子。《读庄子》说“庄周轻死生，旷达古无比，何为数论量，生死反大事?”他也非常崇拜魏晋时代的风流人物，庄子的旷达不羁、阮籍的诗酒仙侠很适合他的口味。徐渭愤世嫉俗，与世寡合，俨然是一个悖逆时代的弄潮儿。
晚年乡居的日子里，徐渭越发厌恶富贵者和礼法之士，所交游的大都是过去的朋友和追随他的门生。他一生不治产业，钱财随手散尽，此时只得靠卖字画度日。但他的画也不是随便就卖人的，买者必须得是他看得上眼的才行。在当徐渭手头拮据时，若有上门求画者投以金帛，顷刻即能得之。若赶在他囊中有钱，就算给的再多，也难得一画。倒是一班门生和晚辈的朋友，或骗或抢，常常得到他的杰作。徐渭似乎特别嗜蟹，许多题画诗记载了朋友们用活蟹来换他画蟹的经过。如他题《螃蟹图》云：“稻熟江村蟹正肥，双螯如戟挺青泥，若教纸上翻身看，应见团团董卓脐。”这种无拘无束、自在自如的生活，倒是给徐渭不羁的生活增添了几分情趣。
徐渭的癫狂较之前辈张旭、怀素、米芾等是有过之而无不及，在他彻底的放浪形骸中充满了怨恨。怨恨富贵之人，甚至连对他有知遇之恩的胡宗宪也是“直创门入，示无忌讳”。再就是自己看不惯的人不但怨恨，如有可能还要打击报复，“藉气势以酬所不快……”。
饱含怨恨的颓唐癫狂有时会化作一种冲击一切、否定一切、毁掉一切的狂暴能量，这种倾向在他的自杀与杀妻行为中达到极至。
“或自持斧击破其头，血流被面，头骨皆折，揉之有声……”
“渭为人猜而妒，妻死后有所娶，辄以嫌弃，至是又击杀其后妇……”
至此，徐渭性格中的阴暗面显露无遗：猜忌愤恨；狠鸷血腥。与他的玩世不恭、嬉笑怒骂、颓唐癫狂一样都是对外界及自身的不满而产生的报复与毁灭的态度和倾向。可以看出徐渭的人格中有强烈的施虐与自虐倾向。
徐渭曾自评云：“吾书第一、诗二、文三、画四。”徐渭人格中强烈的施虐与自虐倾向，在他的书法创作中也多有体现。
徐渭书法中最为独特、成就最高的作品是他的草书，也是他狂态的最好代表，如上海博物馆所藏《春雨诗卷》、《杜甫·幕府秋风诗轴》；苏州市博物馆所藏《应制咏墨轴》与《应制咏剑轴》等等，整体风格狂放躁动，在徐渭狂草的背后，展现的是一个癫狂的人，一种近乎歇斯底里似的疯狂。
徐渭书法在用笔上的一大特点就是“狠”。看徐渭的狂草用笔正如看一场战斗，笔画大范围的挥运像战场上的战士挥舞刀剑在互相砍杀。笔力强劲，仿似招招都欲置人于死地。徐渭曾这样描述执笔、运笔：“手之运笔是形，书之点画是影……准之刀戟矛矢之中人，必如何把握 掷，而后中人之身也有如何之伤痕，钝则不入，缓则不中，遢散则不决不裂。”他要通过手对笔的自如挥动，来达到刀劈斧砍的效果，要“中人、伤人、决人、裂人”。这较之前人“锥画沙”、“快刀斩蒲苇”等比喻用笔力透纸背、痛快淋漓的说法更为狠鸷切齿。他的《应制咏墨》等大草作品，确实比前代草书更多了一种鱼死网破、金石俱焚的狠劲。
从章法上说，徐渭书法的最大特点是密。这在他的各种作品中都是如此，如他的《春雨诗卷》不但上下之间笔画有呼应顾盼，左右之间的笔画也是融合在一起不能分割。这些作品整个的空间是深度压抑的，几乎透不过气来，拥挤、闭塞、窒息、绝望。行距已基本不存在，书法中那种优美、流畅的空间美感消失得无影无踪；书法的时间顺序感也被剥夺，时间已经停滞，世界在这里停止了呼吸。徐渭书法中的章法仿佛是一种宿命—一种摆脱不掉的阴影，它无处不在，它可恨但又是人所依赖、所寄生的地方，它某种程度上就象征着生活本身。
徐渭书法的这些特点是他内心无奈与冲突的图解。一方面是压抑、滞涩、封闭、昏暗，另一面是在这个环境之中的放任、狂野、报复。在艺术中徐渭是先树立起自己的敌人，然后与之战斗。
徐渭书画中这种**裸的攻击性，破坏感，明显的自虐、施虐倾向很容易让人想到弗洛依德所说的死本能（弗洛伊德把本能分为两类，一是性本能，即生本能，它要抗拒死亡，要使生命得到保存与更新；一是死本能，它要让生命得到破坏与毁灭。性本能以爱、建设、保护为代表；死本能以恨、破坏、施虐为代表。但他并没有把二者截然分开，认为两者可以相互转化，“其中的一个包含着进入相反方向的另一个过程”。）尤其他狂草中那种碎片感、粉末感，正好契合了弗洛伊德所说的死本能的任务：把有机体的生命带回到无生命状态，分解成碎末。
疯狂的徐渭在戏剧史上具有独特的地位，他将自己的曲折经历融合到了杂剧中去，把自己对现实的愤懑与不满，通过嬉笑怒骂的杂剧形式表现出来，流露出浓重的反叛意识。他强烈批判社会现实，鞭挞官府人物，讥刺佛门弟子，高歌离经叛道的女性，形成了意气豪达的杂剧风格。徐渭一生总共创作了两种杂剧：《四声猿》和《歌代啸》，前者包括《狂鼓史渔阳三弄》、《玉禅师翠乡一梦》、《雌木兰替父从军》、《女状元辞凰得凤》四种，后者是一部四出风情喜剧。虽然杂剧数量不多，但仅凭此就足以奠定他在戏剧史上的独特地位了。
徐渭晚年几乎是闭门不出，凄凉孤独，穷困交加，他曾写过这样一副对联来作为对自己的概括：“几间东倒西歪屋，一个南腔北调人。”他在“墨葡萄图”这幅作品上的题诗，正反映了他内心的倾诉：“半生落魄已成翁，独立书斋啸晚风。笔底明珠无处卖，闲抛闲掷野藤中。”
公元1593年，在几间东倒西歪屋里，这个南腔北调人结束了自己的一生。死前身边唯有一狗与之相伴，床上连一铺席子都没有，凄凄惨惨。