¿Victima de un psicópata o simple maltrato?

Mantengo relaciones sexuales con un amigo desde el año pasado. Me enamoré de el muy rápido porque conectábamos mucho. Al principio todo iba bien y parecía que íbamos camino a más. El me dijo que sentía cosas por mi y ahí fue cuando yo abrí mis sentimientos hacia él. Decidimos que íbamos a ir despacio pero que no íbamos a tener relaciones con otras personas.
Un mes después me dice que es un error y que eso fueron ideas mías. Que me olvide que pasó (no fueron ideas mías porque también habló con gente el tema contándoles lo feliz que estaba conmigo). A todo esto, es necesario aclarar que él es una persona que manipula muy bien el lenguaje y a las personas. Todo lo que él dice es siempre la verdad absoluta sin importar lo que el otro quiera decir.
Decidí seguir teniendo la relación que tenía (amigos con derechos) para no perderlo. (Si, tengo problemas de autoestima, claramente)
Al principio mi problema era que una persona no me quería y ya. Pero luego, al hablarlo en terapia, empecé a ver ciertos rasgos psicopáticos. Además de no quererme y de no elegirme (me lo gritó en la cara: "a ver si entendés que no te amo, no estoy enamorado de vos y olvidate de lo que alguna vez te dije") comenzamos a tener discusiones muy seguido. Discusiones de horas que terminan con los dos llorando, cansados de discutir, horrible.
Dormimos juntos casi todos los días desde que empezamos a estar. Nunca dejamos de tener sexo (aunque lo planteamos pero no sucedió) pero él siempre se encarga de recordarme que es solo eso, que solo somos amigos con derechos. Que le encanta lo que soy yo pero que no está enamorado de mí (sigue enamorado de su ex y sigue sufriendo que lo haya dejado hasta el día de hoy)
Su pareja anterior lo dejó porque discutían mucho y el se ponía muy agresivo al discutir. No físicamente pero si verbalmente. Lo empecé a experimentar hace un tiempo y cada vez es más frecuente. Cuando discutimos sí parecemos pareja. Siempre me dice cosas que me duelen a propósito y no es mi imaginación porque él mismo me lo dice cuando me pide perdón por haber discutido. Me empecé a preocupar mas aún ahora cuando el otro día me dijo "Tenés problemitas? cómo vas a poner eso ahí?" Cuando fui a cambiarlo de lugar me agarró del hombro fuerte y me corrió. Fue lo único fisico que pasó hasta ahora. Sacando eso, las últimas conversaciones con él son siempre a punto de estallar en discusión. El es muy cambiante. Hay veces que me busca todo el tiempo y otras que hace todo lo posible por evitarme, siempre todo al extremo. Cuando le expreso mi malestar a cerca de las cosas se enoja terriblemente porque le duele que le diga que no es mi amigo. Me amenaza con que si le digo eso de nuevo no me va a hablar nunca más. Grita mucho cuando discute, se pone furioso. Lo que sí es constante es que descalifica siempre mi punto de vista y, a propósito resalta el de otros para que me de bronca. Me habla mal delante de la gente y cada vez pasa más seguido.
Obviamente también yo tengo un problema. Sé que estoy atándome a una persona que no me hace bien pero no puedo evitarlo. Si no estoy cerca de el tengo mucha ansiedad entonces termino buscándolo (y el siempre está). ¿Soy la complementaria de un psicópata? Necesito soltar a esta persona pero no puedo.
Me faltó aclarar que compartimos el ambiente laboral, eso hace todo más difícil.