Custodia de una hija si no estamos casados

Tengo una hija pequeña. Con mi pareja (padre de mi hija) NO estamos casados, pero SÍ tenemos libro de familia (por la niña). Ahora vivimos en Galicia. Si yo me voy a vivir a mi casa en Barcelona con mi hija, ¿Quién tiene la custodia de la bebé si no estamos casados? ¿Me puede quitar mi pareja (o ex-pareja) a mi niña? ¿Me puede demandar o algo? Qué implica el libro de familia?

Lala Pace