Pues yo mismo he estado en una situación similar antes.
Yo también hice el curso de Stanford para desarrollar Apps de iOS con Swift. Si has visto con atención la primera clase, el profesor dice claramente que el curso es muy pesado, y que necesitas ser bueno en programación orientada a objetos en particular, y en programación en general. Así que no es en absoluto un curso para principiantes. También la metodología de enseñanza es adecuada para los estudiantes de Stanford. Por eso el profesor primero explica los conceptos y la sintaxis de la clase y luego da todo el código/ejemplos de una sola vez, en lugar de dar código/ejemplos tema por tema.
Y por último, puede que me equivoque en esto, pero la tercera clase (por lo que recuerdo) trata de hacer una calculadora, que también almacena el historial de sus operaciones. Y esto se logra utilizando la estructura de datos de la pila. Personalmente encontré este tema de un nivel de dificultad considerablemente más alto, que los otros, antes y después de él. Así que con toda probabilidad, no estás encontrando iOS difícil, estás encontrando la implementación y el funcionamiento de las pilas en swift difícil. Y eso es porque no es una clase de estructuras de datos.
Así que lo ideal es que vayas con algo que sea más fácil, asumiendo que en este punto tu objetivo principal es aprender el desarrollo de iOS, y no la programación en general. Si ese es el caso, puedes consultar mi respuesta sobre recursos para aprender iOS Rohit Gurnani's answer to ¿Cuál es el camino correcto para empezar a desarrollar IOS ahora que swift es de código abierto?
La otra opción es seguir con el curso, y fingir que lo consigues, con la esperanza de que lo consigas eventualmente. Habiendo tomado este curso personalmente, lo que recomiendo es saltar a otro recurso. La razón principal es que este curso asume una gran cantidad de lectura de fondo y la escritura de código para ser hecho por los estudiantes por su cuenta. Se supone que las conferencias no son para verlas de un tirón. En realidad, tienen lugar una conferencia por semana, y se supone que los estudiantes vienen preparados para los temas y tienen que entregar el código cada semana. Así que es una especie de curso guiado, no de enseñanza per se.
Te aconsejo que sigas el curso sólo si estás preparado para ir más allá, y piensas que sólo necesitas una dirección para avanzar. Si crees que necesitas más ayuda, entonces echa un vistazo a los otros recursos.