Compra venta de un inmueble con gravamen

Necesito su valiosa asesoría en el siguiente caso: voy a comprar una casa y como parte de pago voy a entregar otra vivienda como parte de pago. El vendedor me exige la totalidad del dinero pactado a la firma de la promesa de compra venta y que a la firma de la escritura en 2 meses realizamos las escrituras, pero me asusta un poco porque en el certificado de libertad y tradición dice que el inmueble tiene afectación a vivienda familiar.

Ellos los esposos dueños me dicen que no hay problema porque cuando se firmen las escrituras ellos levantan el gravamen en una única escritura para que no les salga más oneroso, pero me preocupa arriesgar mi dinero. Qué me aconsejan que es lo mejor en este caso, si entrego el dinero con solo la promesa me estaré arriesgando mucho?

Mireya Báez