No hay manera de ocultar realmente su dirección IP. Si te sientes vigilado, o incluso amenazado, puedes desactivar cualquier tipo de conexión. Esto incluirá los datos móviles, el Wi-Fi y el bluetooth (el modo avión hace el truco).
Sin embargo, de esta manera no podrás comunicarte a través de Internet. Cualquier tipo de comunicación a través de Internet implica dos partes: tú, y un sitio web, un juego en línea, una transmisión de vídeo, etc. Las otras partes necesitan conocer tu dirección IP pública para devolverte el tráfico de respuesta.
Si quieres presentarte con una dirección IP "falsa", tienes que buscar servicios de VPN online. De esta forma, contactarás con el servidor VPN (con tu IP), y ese servidor enviará tu tráfico a Internet con su propia dirección IP.
Sin embargo, no te asustes tanto. Si cambias de red, como de móvil a WiFi, de una red WiFi a otra, cambias tu dirección IP pública. Además, el simple hecho de saber tu dirección IP no es realmente un gran problema. Deberías preocuparte si ves que tu teléfono hace cosas extrañas. Si es así, tal vez tenga algún tipo de virus, la mejor opción es formatearla entonces.