Нужно учиться отказывать. При этом, вы должны думать не о том, что человек обидится, а представлять, для чего вам лично нужны эти деньги. Ведь у вас нет совершенно лишних денег, которые вы не знаете, куда девать?
Просто люди не привыкли так поступать. Но вы, человек дающий деньги в долг, в праве ставить свои условия и требования.
А кто сказал, что он забывает вернуть? У него хронический склероз? Он все забывает или только избирательно, когда деньги нужно отдавать?
Скорее всего, он сознательно не отдает деньги, в расчете на то, что вы или забыли, или постесняетесь напомнить.