出生在匈牙利的冯·诺依曼，从小就聪明过人。据说，他6岁时便能用古希腊语与人交谈，他的一生共掌握了七种语言，在他用德语思考问题时，能以阅读的速度将问题译成英语。冯·诺依曼还拥有过目不忘的本领，凡是他读过的东西，都能一字不漏地复述出来，哪怕是多年以后，也是这样。
冯·诺依曼最感兴趣的还是数学，他的梦想是当一名数学家。1920年，还未满18岁的冯·诺依曼，便写出了一篇著名的数学论文，这让当时的数学界大为惊叹。可是，因为家境不好，父亲无法送他去学习数学，冯·诺依曼被迫改学其他学科。当父亲怀着愧疚的心情，来跟冯·诺依曼商量，他能不能去上学费稍微便宜点的化学时，冯·诺依曼懂事地答应了。
从此，冯·诺依曼再也没有去听过一堂数学课。但是，每次考试时，他都会准时参加，并且他的考试成绩毫无例外地都是第一名。后来，虽然冯·诺依曼在化学、计算机等多个领域都取得了巨大的成绩，但却没有哪一项能超过他在数学上的成绩。
有一个这样的故事，便充分地证明了这一点。那还是在计算机的研制时期。有几个数学家聚在一起切磋数学难题，有一道题让在座的数学家们百思不得其解。于是，有人决定带一台计算机回家继续进行演算。第二天一早，那人虽然一脸倦容，但却颇为得意地说：“我从昨天晚上一直算到今天早晨，总算找到了那道题的5种答案。它们越到后面，就越难呢！”
这时，冯·诺依曼刚好进来，于是感兴趣地问：“你们在演算什么难题？”有人马上把题目讲给他听，冯·诺依曼立即进入了演算状态。大约5分钟后，冯·诺依曼道出了前面的4种答案。就在冯·诺依曼再次进入演算状态，准备演算第5种答案时，那人忍不住将答案说了出来。
听完答案后，冯·诺依曼吃了一惊，说：“对，就是这个答案，你是用什么方法算出来的，居然比我还快？”这时，大家再也忍不住了，全都哈哈大笑起来，并说：“他用计算机算了整整一个晚上，才算出来的！”冯·诺依曼一愣，随即也跟着笑了起来。人家用计算机算了一晚，居然只顶得上他用心算5分种。于是，数学界流行起了这样一句话：“有了冯·诺依曼的脑袋，还要计算机干什么？”
冯·诺依曼终于实现了自己少年时的梦想，当上了真正的数学家。可是，他的这条路却走得异常的曲折。在他成名之后，有人这样向他提问：“您认为，您实现梦想的条件是什么？如果从一开始，就让你去学习数学，你会不会早就实现了自己的梦想呢？”
冯·诺依曼却坚定地说：“不，如果一开始就让我去学数学的话，就不会激发出我对数学的巨大兴趣，更加不会让我花去大量的精力去研究数学了。所以说，我今天之所以能在数学上取得这样的成绩，完全得益于我父亲没有送我去学习数学的结果！我认为，实现梦想的条件，就是不给梦想任何条件。”