Los abuelos paternos me amenazan con denunciarme

Tengo un pequeño de 4 años sus abuelos paternos nunca se han preocupado de el incluso han pasado por el lado de el y ni lo han mirado nunca se han querido hacer cargo cuando a necesitado algo incluso han llegado en alguna ocasión a decir que les daba igual porque no era su nieto pero desde hace un par de meses cada vez que nos ven por la calle los señores nos lian numeritos con gritos insultos y amenazas delante de mi hijo el cual se asusta muchísimo.

La última vez que fue hace un par de días me han amenazado con denunciarme para ejercer los derechos de abuelos mi pregunta es como puedo evitar que mi hijo y yo pasemos por esa situación tanto la de los numeritos como que un juez le de los derechos ya que al no querer saber nada nunca de mi pequeño no creo que le presten atención de ningún tipo.

Alicia