去报告吴玠后，吴玠特别花了两千贯钱买一士家姑娘送给岳飞。见面时岳飞对她说：“我家的人穿布衣，吃家常便饭，女娘子倘能同甘苦就请留下，否则我不敢留。”姑娘只是在屏风后面吃吃地发笑。岳飞于是郑重地说：“既然如此则不可留也。”遂把那个姑娘连同嫁奁全退了回去。有些部将劝其把此女留下以结好吴玠，岳飞说：“如今国耻未雪，岂是大将安乐时耶？”吴玠听说后对岳飞愈加敬重。

有人曾问岳飞：“天下何时太平？”岳飞回答：“文官不爱钱，武官不惜命，则太平矣。”

岳飞根本不是恋栈的官迷，他几次上奏，都表白了准备功成身退的心迹。“三十功名尘与土”的名句，正是表达他贱视官爵的心态。南宋的百姓对此有广泛崇高的评价，说他“手握天戈能决胜，心轻人爵只寻幽”。