Custodia y vivienda divorcio

Estoy divorciado desde hace tres años, tengo dos hijos, una chica de 20 años y un chico de 16. La custodia la tiene mi exmujer como así consta en el convenio regulador de mutuo acuerdo. La vivienda familiar también la tiene mi exmujer. Estoy pasando una manutención por mis hijos de 750 euros por los dos. Yo empecé a pagar un alquiler y ahora estoy pagando una hipoteca.

La situación ha cambiado porque mi hijo menor de 16 años quiere venirse commigo (la chica de 20 años prefiere seguir con ella). Mi intención es llegar a un acerdo amistoso con mi exmujer tanto sobre la manutención como de la vivienda familiar que ya esta pagada, pero en el caso de que no fuera posible, quisiera saber si yo, como cónyuge custodio del único menor, tendría legalmente derecho al disfrute de la vivienda familiar que ahora ocupa ella.

Angel