El paralelismo es básicamente un tipo de computación en el que muchos cálculos u operaciones se llevan a cabo en paralelo. Esto se hace para conseguir acelerar el cómputo. Para desglosarlo en palabras sencillas tomaré el ejemplo de una cadena de montaje en una planta de fabricación de coches. La fabricación de un coche puede dividirse en diferentes etapas, como la fabricación del motor, la fabricación de los componentes eléctricos del coche, el trabajo de pintura, etc., donde cada etapa puede trabajar en un coche diferente al mismo tiempo. Esto ayuda a aumentar la eficiencia y a incrementar el número de coches fabricados en un tiempo determinado en comparación con lo que ocurre cuando se trabaja con un solo coche en un momento dado. Un enfoque similar se encuentra en el paralelismo a nivel de instrucción (ILP), en el que una instrucción de programa pasa por etapas como la obtención de la instrucción, la decodificación de la instrucción, la obtención del operante, etc., en las que cada etapa trabaja en una instrucción diferente y el rendimiento del ordenador aumenta. Otra aplicación de las matrices son los procesadores de matrices. (No entremos en muchos detalles :P)
Espero que esto haya aclarado tus dudas 🙂