¿Una "unidad"? Lo que sea necesario.
La unidad indivisible más pequeña es un bit. Básicamente un valor de encendido/apagado. Aunque suele implementarse como "alto voltaje" y "bajo voltaje".
Combina cuantos de ellos sean necesarios para cualquier tarea concreta. Por ejemplo, lo más común es codificar un carácter usando 8 de ellos juntos formando un "byte". Pero tal vez no necesites las 256 combinaciones únicas posibles, y basta con usar 4 de ellas, en cuyo caso se llama "nibble". O si utilizas un valor entero y necesitas hasta 64.000 posibilidades únicas, por lo que necesitas 16 bits (lo que solía llamarse una "palabra"). ¿Más? Bien, eso es posible también - 32bit, 64bits, 24bits, etc. etc.
Usualmente estos combos ocurren en grupos de potencias de 2, ya que esos son números "redondos" cuando se cuenta en base 2 (binario). Haciendo que cualquier matemática sobre ellos sea mucho más fácil y rápida.
Ahora suma un montón de estas cosas y empiezan a convertirse en números enormes. Aunque siguen siendo un montón de unidades juntas.
En realidad no tiene nada que ver con los ordenadores. Es el sistema de medición métrico que introdujo formas abreviadas para hablar de números grandes (y pequeños). Por ejemplo, el kilo (un prefijo k antes de un símbolo de unidad) significa 1000 de estas cosas. Un Mega (prefijo M) significa 1000 000. Etc. etc. etc.
Hay algunos establecidos como estándar: Prefijo métrico - Wikipedia. Los ordenadores acaban de utilizar lo mismo que ha estado en vigor durante al menos 100 años antes de que los ordenadores fueran siquiera una cosa.