Las otras respuestas son buenas. Mis dos centavos - aunque la nueva máquina no tiene sistema operativo, tiene una BIOS, y cuando la máquina se enciende o se reinicia, la BIOS hace la POST y luego (si la POST está bien) comienza a buscar un programa para arrancar. Buscará en los dispositivos conectados: disco duro, DVD, USB. El orden de búsqueda se establece en la configuración de la BIOS. Así que, por ejemplo, si tienes una unidad flash USB que contiene un programa de arranque, conectada a la máquina, la BIOS debería pasar el control al gestor de arranque de la unidad flash. El resto depende del contenido de la unidad flash. Si contiene un instalador para Linux o Windows, por ejemplo, entonces se ejecutará el instalador, y eso le permitirá instalar el sistema operativo que ha puesto en la unidad flash en el disco duro de la máquina, por ejemplo.
La mayoría de las distros de Linux ahora tienen instaladores "en vivo" - eso significa que el proceso anterior realmente inicia un sistema operativo Linux, con el aspecto y el funcionamiento de un sistema operativo totalmente instalado, sólo un poco más lento porque se está ejecutando desde un DVD o unidad flash en lugar de un disco duro. Linux Mint, por ejemplo, hace esto, para que puedas ver cómo es la distribución antes de instalarla realmente. Cuando decides que quieres instalarlo en tu disco duro, Mint tiene un icono de "Instalación" en el escritorio en vivo, y cuando haces doble clic en él se ejecutará el instalador para permitirte instalar Mint donde quieras, normalmente en el disco duro.
Supongo que esta pregunta no se aplica realmente a los Macs, ya que Apple los vende con Mac OSX preinstalado.