在《挪威的森林》第一章的结尾，渡边说直子从没有爱过他，这主要是基于渡边对直子内心世界的理解和感受。渡边认为，直子始终沉浸在木月的世界里，他只是直子一个好朋友和心灵的慰藉。直子在木月死后，与渡边的关系逐渐变好，但渡边认为这只是因为直子在木月身上渴求着某种气息，而并非真正的爱情。

渡边还认为，直子对木月的感情非常深厚，以至于木月死后，直子无法从情感上走出来，陷入了深深的忧郁之中。直子从未向渡边表达过真正的爱，她所表现出的依恋和亲近，更多的是因为渡边在某种程度上成为了木月的替代品。

此外，渡边也意识到，直子对他的感情并不是爱情，而是一种替代性的情感寄托。直子在失去渡边后，感到无法获得幸福和爱情，也无法与现实世界无缝连接，最终选择了自杀。

综上所述，渡边认为直子从未爱过他，主要是因为他认为直子心中的爱情对象始终是木月，而他只是木月的一个替代品。渡边对直子的感情有着深刻的理解和感受，但他也意识到直子对他的感情并非真正的爱情。