Depende. Si te metes en CS sin ningún conocimiento de programación - entonces sí, CS es relativamente más difícil que la mayoría de las otras carreras de ingeniería. De lo contrario, debería ser relativamente más fácil debido a los antecedentes existentes.
También depende de cuál sea tu escuela. Un curso de CS en el MIT te dará más infierno que un curso de CS en, digamos, UC Riverside (sólo un ejemplo). Sí, lo creas o no, los cursos de CS de las universidades de mayor rango son mucho más difíciles que los de las universidades de menor rango. Por ejemplo, mi universidad es una de las 10 mejores del mundo en Ciencias de la Computación, y universalmente, casi todo el mundo en mi uni lo considera como la carrera más difícil junto con Medicina y Derecho. Sin embargo, es cierto que un curso de informática en mi universidad cuesta al menos 30 horas de preparación a la semana (la mayoría de las veces, sólo tienes que clavar los ojos en la pantalla y preguntarte qué demonios has estado haciendo en tu vida) si no tienes ninguna experiencia en programación. E incluso si lo tienes, sigue siendo una pesadilla para ser honesto (conozco a un chico medallista en la Olimpiada Nacional de Informática de mi país luchando con la Estructura de Datos y Algoritmos y casi cambia su carrera por ello). Cuanto más profundo estudias sobre CS, más vuelve a las matemáticas, y bueno esto hace que sea más una pesadilla que otra cosa.
Sin embargo, esto no significa que otras carreras de Ingeniería sean fáciles. La mayoría de las STEM te harán perder el sueño. Sólo que probablemente algunas son más exigentes que otras, pero en general, las carreras STEM son las peores en cuanto a carga de trabajo. De hecho, la mayoría de las personas que conozco en STEM, Medicina o Derecho son personas que no tienen absolutamente ninguna vida personal más que el trabajo del curso y las prácticas, incluido yo mismo. Compara esto con los estudiantes de las escuelas de negocios, de las facultades de Ciencias Sociales, de Artes o de Humanidades y verás que juegan y se divierten todos los días.