Los libros que se mencionan a continuación son los que mayoritariamente utilizan todas las universidades.
Primero: Computer Organization and Design, Fifth Edition: The Hardware/Software Interface (The Morgan Kaufmann Series in Computer Architecture and Design): David A. Patterson, John L. Hennessy: 9780124077263: Amazon.com: Books
Preparados y graduados: Computer Architecture, Fifth Edition: Un enfoque cuantitativo (The Morgan Kaufmann Series in Computer Architecture and Design): John L. Hennessy, David A. Patterson: 9780123838728: Amazon.com: Books
Grado: Parallel Computer Architecture: A Hardware/Software Approach (The Morgan Kaufmann Series in Computer Architecture and Design): David Culler, Jaswinder Pal Singh, Anoop Gupta Ph.D.: 9781558603431: Amazon.com: Books
Little Advanced: Modern Processor Design: Fundamentos de los procesadores superescalares: John Paul Shen, Mikko H. Lipasti: 9781478607830: Amazon.com: Books
Entonces si necesitas entender los conceptos de la mejor manera posible te sugeriría las video conferencias de la CMU (presentes en YouTube) y las video conferencias de Princeton (presentes en Coursera).