“乘兴而来败兴而归”这个成语出自 《晋书·王徽之传》，讲述的是东晋时期大书法家王羲之的儿子王徽之的故事。王徽之辞官隐居在会稽山阴，有一天夜里大雪纷飞，他喝酒赏景，觉得少了琴声，便命仆人开船连夜赶往戴逵处。拂晓时，他却说自己只是兴起才来，现在兴致没了就该回去。于是他连夜返回，并未去见戴逵。

后人根据这个故事，引申出了“乘兴而来，兴尽而返”和“乘兴而来，败兴而归”两个成语，分别用来形容凭着一时的兴趣或怀着某种希望兴冲冲地赶来，兴趣完了或感到失望就灰溜溜地回去。其中，“乘兴而来，败兴而归”更侧重于描述因遇到不愉快的事情而扫兴地返回。