Конечно, бывают такие люди, которые вызывают непонятное раздражение. Выводить из себя может все, что угодно - тембр голоса, скорость разговора, что-то неприятное во внешности, привычках и т.д.. Дружба с коллегой ведь необязательна, общайтесь при необходимости корректно и все. А испытывают внутри отрицательные эмоции вам никто не запрещает. Все мы люди, в нас есть и позитив, и негатив. Вы же ей ничего плохого не делаете.