Mi vecino no me daja vivir de forma normal

El matrimonio vecino se queja continuamente de mis ruidos, que considero están ocasionados por la lógica convivencia en mi propio hogar. No soy una persona escandalosa ni ruidosa, sólo tengo la costumbre de hablar por teléfono en la cama antes de dormir, y aunque sean horas nocturnas sólo es hablar, además no tengo un tono de voz fuerte, y por supuesto no lo hago alto, pero en cuánto lo hago el vecino me golpea la pared como un loco, hasta llegar a levantarse y aporrearme el timbre de la casa.

Es una situación en la que llegó a tener miedo y he dejado de vivir tranquilamente, voy de puntillas y apenas salgo del salón que es la habitación más alejada de la pared en común, pero no considero normal esta situación, me encuentro en una situación totalmente cohibida y amedrentada, y no quiero seguir así. Ésto lleva ocurriendo una semana, pero no sé cómo debo actuar para pararlo, ya que no quiero tener problemas, y además como los dos vecinos somos propietarios tendremos que continuar viviendo aquí muchos años. Gracias por su respuesta.

María