根据《世说新语》中的记载,司马绍小的时候,有一天司马睿抱着他玩,两个人正闲坐着,司马睿把司马绍放在自己的膝盖上。就在这个时候,有一个长安的使者来见司马睿。多愁善感的司马睿就向使者询问长安的情况,询问洛阳如何,使者说完后,司马睿潸然泪下。不明其中原因的司马绍问父亲为何哭泣,司马睿就把西晋灭亡、王氏东渡的故事细细讲了一遍。然后司马睿就问司马绍说:“你说,太阳和长安哪个更远呢?”司马绍回答说:“太阳更远。没有听说过有人是从太阳那边来的,显然太阳更远(不闻人从日边来,居然可知)。”司马睿对儿子的回答感到很惊奇。第二天,司马睿召集大臣们举行宴会,就把自己儿子的回答跟大家说了一遍。然后又重新问司马绍这个问题,谁知道这一次司马绍回答说太阳更近。司马睿大惊失色,感觉面子上有点挂不住,于是问:“你为什么和昨天说的不一样了呢?”司马绍回答说:“我抬头就可以看到太阳,却看不到长安(举目见日,不见长安)。”司马睿更加伤感了,他幼年美好的时光都是在长安度过,如今无论如何也回不去了。这真的是一个悲伤的故事,有的时候,过去和现在距离,比地球到太阳还要远。