¿Es cierto que apagar mi PC con la unidad USB aún conectada puede dañar mi PC o la unidad USB?

La unidad casi seguro que estará bien, al igual que su ordenador. El problema de corromper una unidad casi siempre viene de quitarla sin hacer clic en la función "expulsar" o "quitar la unidad de forma segura" de su sistema operativo.

Cuando el sistema operativo intenta escribir datos en una unidad, en realidad "pone en cola" la operación de escritura porque no puede ocurrir instantáneamente. Si la operación de escritura se interrumpe, terminará con una porción del espacio de la unidad marcada como llena de datos, sin forma aparente de eliminar los datos, lo que se conoce comúnmente como la "corrupción" de su unidad. Si usted apaga su computadora correctamente, el sistema operativo debe decirle a las operaciones de escritura en la cola que se detenga, o esperará hasta que se termine.

Una vez cometí el error o la eliminación de una tarjeta SD en el medio de una enorme operación de escritura, y una gran parte del espacio se marcó como utilizado, pero yo no podía borrarlo. Acabé teniendo que reformatear la tarjeta, y luego funcionó bien.

TL;DR) Casi seguro que no hay nada de qué preocuparse, siempre y cuando se apague correctamente. El sistema operativo debería "expulsar" implícitamente la unidad USB por ti.