Permuta no cumplida y usurpación de 3 metros de terreno

Hace 5 años realizamos una permuta de un terreno con almacén (dicho sitio era la salida de los duplex y pisos), por un piso con garaje y trastero que se iba a construir en un plazo de 2 años, transcurido este tiempo el constructor no cumplio con lo pactado ya que no construyo la segunda fase, que es dónde nos pertencia la vivienda permutada, pero si que se apropio de unos tres metros del terreno detrás del almacén, dónde edifico unos duplex y tapo un pozo de agua antiguo que nos pertencia, a todo esto sin permiso, dicho duplex no tiene salida puesto que la salida era el garaje.

Mi pregunta es. ¿Si no reclamo este trozo que me usurpo quedara como un derecho adquiro para el dueño del duplex o para él? ¿que puedo hacer? ¿Hay un plazo para reclamar? ¿el duplex tiene dueño, pero no puede salir puesto que la salida es mi almacén, ¿tendré algún problema?

Ana Formoso