Convenio regulador para estipular visitas

Llevo casi dos años separada del padre de mi hija. Nunca nos casamos y ahora queremos hacer un convenio regulador para estipular las visitas y días que su padre se tenga que quedar con ella. El no trabaja y vive con sus padres así que no le pasa manutención y no se queda con la niña porque sus padres se oponen tajantemente a que la niña pase los fines de semana y vacaciones con él.

Quería saber que se puede hacer al respeto. Mi ex-pareja no se opone a ver a su hija ni a estar con ella, pero no puede porque al vivir con sus padre y no trabajar, no tiene opción de otra vivienda. Que puedo hacer? Nunca hemos hecho ningún convenio ni yo lo he demandado por no haberse hecho cargo de la niña. Se pueden negar los abuelos a tener a la niña en casa, aunque ella esté con su padre?

Lledó Martinez Agud