Para los mainframes de IBM suele ser z/OS, z/TPF, z/VM, z/VSE o Linux.
z/OS es el sistema operativo estrella de IBM, es un sistema operativo centrado en el trabajo, y en general el sistema operativo más común en los sistemas Z. Tiene dos interfaces distintas, la interfaz MVS (TSO y a menudo ISPF) y una interfaz Unix. z/OS es probablemente el único sistema operativo que no es ni remotamente Unix y que tiene una certificación Unix.
z/TPF es un sistema operativo en tiempo real para el procesamiento de transacciones, se utiliza para reservar vuelos y transacciones con tarjetas de crédito y cosas así. Utiliza z/OS para el alojamiento del almacenamiento, y máquinas Linux para la compilación cruzada con él. z/TPF, a diferencia del anterior TPF, comparte una buena cantidad de conceptos con Linux (pero no es Linux).
z/VM es en gran medida un host de virtualización, aunque también puede ejecutar algún software local. Mientras que los mainframes por defecto tienen soporte LPAR (hipervisor a nivel de firmware, efectivamente), eso sólo puede ir hasta cierto punto. Así que si necesita más VMs por núcleo, z/VM es probablemente una buena opción.
z/VSE es similar a z/OS, pero un poco más limitado en características y proviene de una familia diferente de SOs. Se utiliza comúnmente junto con el último SO que he enumerado...
Linux es un clon de Unix bastante conocido realizado a principios de los 90. Funciona bien en un montón de plataformas, incluyendo IBM Z. Y al igual que las otras opciones enumeradas aquí, es totalmente compatible con IBM (junto con el proveedor de esa distribución, presumiblemente). Eso significa que, efectivamente, se puede ejecutar Db2 en Linux en Z.
Z/VSE y Linux se utilizan ocasionalmente en un contexto de memoria semicompartida, donde Linux proporciona una interfaz TCP/IP, por lo que no se necesita una en z/VSE. En general, los sistemas Z soportan redes basadas en memoria a través de LPARs, que es lo que utiliza.