Regulación de visitas a hija de padres separados

Mi marido y yo estamos separados de hecho. Todavía no hemos presentado los papeles del divorcio. No se ocupa de la manutención de la niña desde que se fue de casa en el mes de febrero. No ha ingresado nada. Viene a verla dos días a la semana, pero es lo único que hace.

La ve dos días a la semana, estando en mi compañía, jamás se ha preocupado por ella, ni de cambiarle el pañal, ni de darle la merienda.
Ahora quiere llevársela un día completo para celebrar el cumpleaños de la menor, en compañía de la familia paterna. No quiero cedérsela, porque la menor cumple solo un año, y no esta acostumbrada a estar con el.

A mi no me importa que venga ese día, con su familia, y lo celebremos todos. Pero no quiero dejarla sola con ellos.
Tengo algún tipo de obligación de dejársela llevar, aunque el no cumpla en ningún caso con ella, al no haber ninguna medida cautelar, ni convenio regulador?

Elena