Problema vecinal por árbol frutal

En mi residencia hay una mata de mangos y esta junto a una cerca de una casa, los mangos caen afuera de la cerca en la calle dónde pasan carros pero el árbol esta de la cerca para adentro y según tengo entendido eso es propiedad privada.

La cuestión es que yo no salte la cerca solo agarre unos cuántos mangos que sobre salían de el árbol hacía la calle y viene el cuidador de la casa y me dice que yo no pedí permiso para agarrar mangos llama al dueño para que tome medidas yo le digo que no sabía que en esa casa había gente porque sus dueños la tienen para vacacionar entonces me retiro y pido disculpas al cuidador por la molestia el cuidador llama al dueño y dice que me denuncie y que esa mata pertenece a la casa, yo le digo que los mangos caen en la calle y los pisan los carros de afuera. Puede ser un delito esto?

Carlosgabriel