虽然政治上不得意，但于右任的晚年生活还是颇为丰富的，除了作诗自娱，三月三、五月五、九月九参加诗会外，于右任有时还应友人之邀，为某些出版物题词作序，还经常为老友写墓志、墓表，有时一年要有两三次。于右任中年时期曾花大量时间研究北魏墓志、墓表，加上他早年的报人生涯，不管死者的一生多么复杂，他都能做出言简意赅的文字来，并且往往一挥而就，只是感情上承受不住。每见一个老友去世，回忆起昔日亲密聚首，不胜伤感之至。所以写一次，便伤心一次，这些墓志铭字字都是他的血和泪。

于右任的官邸从不设门卫，所以也不用通报，可以直来直往，就和普通百姓的住宅一样，毫无大官公馆的排场，这在台湾官场中实属罕见。于右任的书房名叫“老学斋”，意即“活到老，学到老”，书房颇大，兼作会客室。由于于右任十分好客，往往来宾云集，座无虚席，不得已，只好前客让后客。于右任总是坐在书桌旁的圆椅上，晚年行动不便，所以来者点头，去者挥手，不再起立迎送，一派长者风度，令人肃然起敬。

由于来访的客人太多，开支也大，每月下旬，于右任便闹起了“饥荒”。于右任堂堂“院长”，自然不愿意向别人开口借钱，于是这筹钱的差事就落在于右任的老副官宋子才身上。宋子才从大陆起就跟随着于右任，对于右任的为人十分了解，他曾劝过于右任，也在经济上卡过于右任，但都不生效果。到紧要关头只得把自己的一点积蓄贴上，但杯水车薪，无济于事，最后只好到处借债度日。

有一年，张大千由国外回到台湾，得知于右任的经济很困难，便主动要接济他一笔钱，张大千坦率地说，自己最近在国外举办了画展，卖画的收入不菲，送给他的一点儿只能算小意思，不成敬意。于右任见老友如此真挚，也不好再拒绝，只好收下，然后用这笔钱偿还了宋子才平日所垫付的款项。

可是于右任的经济状况并没有因此转好，反而愈演愈烈，几乎到了生病无钱住院的程度。1962年4月18日，于右任喉咙发炎，住进“荣民医院”作检查，可第二天他就嚷着要出院，在他的日记里记载了他非要出院的原因:“今日早起，疾已轻，有归去之意，开支甚大，如何能继?”然而出院后，于右任便懊悔不该急着回家。5月3日的日记写道:“自医院归，又病，不能兴，食道最难防。”5月27日写道:“我的钱已用干，可以指天作誓的，人疑我有钱，是旁人害我。”

于右任晚年，很想长寿，盼望能活到100岁，因为他想在有生之年回到大陆，见见亲朋故旧，更想再见到他的老伴高仲林。

于右任的发妻高仲林及长女于芝秀都留在大陆原籍，没能随之赴台，幼子于中令及其母沈建华留居上海，大儿子和儿媳在南美洲，一家人分居大陆、台湾、南美数处，音讯阻隔，令于右任十分痛苦。

1956年，于右任通过香港友人吴季玉与大陆的亲人取得了联系，汇去台币600元给高仲林和女儿于芝秀。于右任在信中倾吐了对大陆亲人朝思暮想、心牵祖国之情。此后，吴季玉每年到台湾为于右任祝寿，为他在海峡两岸传递家书。

然而，吴季玉为于右任传递家书的事被台湾国民党特务侦知。1963年9月，特务趁吴季玉又一次去台，于9月14日将其暗杀，凶手逃往香港。于右任闻此噩耗，不胜哀痛，他亲往极乐殡仪馆吊唁吴季玉，因哀伤过度病倒在床。在于右任卧病期间，蒋介石曾派蒋经国前往慰问，并向于右任保证一定将凶手遣返台湾法办，但结果不了了之。

1962年元旦，于右任在“监察院”参加了“开国纪念会”以后，回首半个世纪以前的往事，不禁黯然神伤，加上身患疾病，心绪不宁，自知在世之日不会太久，因而在日记中写下了对身后事的意见，1月12日写到：“我百年后，愿葬于玉山或阿里山树木多的高处，可以时时望大陆，我之故乡，是中国大陆。”1月22日:“葬我在台北近处高山之上亦可，但是山要最高者。”又两天后，一夜未眠的于右任在天微微亮时，写下了《望大陆》这首使人怆然涕下的悲歌:

葬我于高山之上兮，望我大陆;

大陆不可见兮，只有痛哭!

葬我于高山之上兮，望我故乡;

故乡不可见兮，永不能忘!

天苍苍，野茫茫;

山之上，国有殇!

1964年7月2日，于右任支撑着病体，应台湾大专学校本届毕业侨生之约，会见了12名侨生代表，同这些青年人谈了“立志”的问题，不久便生病住院。入院前，于右任因医药费无着落，将病情拖了3个星期。在医院的3个月里，于右任曾试图写份遗嘱，据他身边的人说他写过好几次，但写了又撕，撕了又写，最终没能留下遗嘱。11月10日8时，于右任与世长辞，终年86岁。

当天中午,“监察院副院长”李嗣璁及数名“监察委员”为了寻找于右任的遗嘱，打开了他的自用保险箱。不料展示在人们眼前的，既没有钱财珍宝，也没有股票证券，只有日记和书札，以及为其三子于中令上半年出国留学筹集旅费所出具的借款单底稿，还有平日挪借宋子才数万元的账单，再有就是高仲林为其缝制的布鞋袜。在场的人目睹了这些遗物，无不凄然泪下。

于右任逝世后，蒋介石命张群、严家淦、李嗣璁、谷凤翔、王宗山等5人组成治丧委员会，于11月17日上午在台北市殡仪馆举行公祭。当天收到的挽联挽幛约4000余件,花圈300余只，花篮1500余个，唁电150余封，各界人士前往吊唁和瞻仰遗容的约3万余人。

蒋介石除致祭外，还送了“耆德元勋”挽匾一方。于右任“葬我于高山之上兮，望我大陆”发表在报刊上后，民间对其安葬之地极为关切。台湾有一位姓江的女士愿将其夫遗留的阳明山右侧高山捐献出来，五股乡的村民亦愿捐出观音山硬汉岭山坡地十余坪，供于右任安葬。最后选定淡水镇光明里海拔700余米的八拉卡为于右任的墓地。由于人为的阻隔，于右任生不能骨肉团聚，死不能安息故土，只能长眠于斯，隔海与大陆相望。