Наверняка удалось, мало того, удалось построить и с большими проблемами. Я в этом уверен. Но также я уверен, что кому-то не удалось построить нормальные отношения даже не имея и малой доли Ваших проблем. У каждого человека свои проблемы и свое видение ситуации.
В вашем случае ничего страшного нет. Единственное не понимаю, как может одновременно влечь и при этом не привлекать человек?