Problema en compra de casa por tener inquilinos sin contrato

Quería comentarle mi situación ante la compra de una vivienda, la cuestión es: Hace más o menos dos meses firmamos un contrato previo a la compra de la vivienda en el que entregamos al vendedor la cantidad de 5000 euros como fianza para que nos reservase la casa; este contrato tiene validez hasta el día 20 de noviembre  y en el acordamos que si cualquiera de las partes se arrepentía de la transacción o no firmaba antes de la fecha acordada tendría que entregar 5000 euros a la otra parte.

Pues bien, la casa esta ocupada por inquilinos sin ningún tipo de contrato y por supuesto nosotros como compradores queremos que antes de firmar escrituras estos se hayan marchado. La cuestión es que hoy a día 30 de octubre los inquilinos no se han ido y el notario ha concertado ya la cita para dentro de dos días con el vendedor para firmar las escrituras sin consultarnos a nosotros que somos los compradores.

Nosotros no queremos firmar de momento pero el vendedor afirma que si dentro de dos días no nos presentamos a firmar las escrituras se queda con nuestros 5000 euros (aún quedan 20 días de contrato de arras).

La cuestión es, ¿Tiene el vendedor derecho a quedarse con nuestros 5000 euros a pesar de que la casa no esta libre de cargas y esa es una condición esencial para poder venderla y firmar las escrituras? ¿En caso en que firmemos con los inquilinos en ella, podríamos echarlos fácilmente?
PD: en el contrato de arras firmado si se especifica que la casa esta ocupada por inquilinos y también que en el momento de la compra debe encontrarse libre de cargas.

Cristina