Cuando era niño, Erwin solía ser bastante curioso y perspicaz, solía preguntarse por qué no había información sobre la humanidad antes de que esta se refugiara dentro de las murallas, ya que aun sin registros, los que vivieron en ese periodo debieron haberle contado a sus descendientes cómo eran las cosas. Un día su padre le contó una teoría personal que explicaba cómo el rey de las murallas había alterado los recuerdos de los humanos una vez que las murallas fueron edificadas, de modo que así olvidaron todo lo que ocurrió antes de esa etapa. Siendo un chico bastante inocente, Erwin compartió dicha información con otros niños de su ciudad, lo que resultó en la muerte de su padre a manos del primer escuadrón interno de la Policía Militar.
Con el paso de los años, Erwin se unió al cuerpo de reclutas en donde conoció a Nile Dok, con quien compartió sus sospechas de que la monarquía ocultaba información sobre el mundo exterior. Los dos planeaban unirse al Cuerpo de Exploración y ambos acabaron enamorándose de la misma mujer, Erwin renunció a Marie para poder cumplir su objetivo de encontrar la verdad, mientras que Nile cambió sus planes de unirse al Cuerpo de Exploración para poder casarse con ella, por lo que eventualmente se unió a la Policía Militar.
Al graduarse y unirse al Cuerpo de Exploración, Erwin se guardó sus teorías para sí mismo, allí descubrió que sus camaradas peleaban por la humanidad, mientras que él solo lo hacía por sus propios fines. A pesar de todo, destacó mucho como soldado y con el tiempo, reunió a varios soldados bajo su mando. Más adelante fue ascendido a líder de escuadrón y, para entonces, diseñó la formación a larga distancia para detección de enemigos, la cual, si bien no evitaría la muerte de los soldados, reduciría en un 30% la cantidad de víctimas durante las expediciones. Erwin le sugirió al comandante Keith Shadis usarla en la próxima expedición, pero este denegó la petición y le dijo a Smith que la usara cuando él fuese ascendido a comandante.
Luego del fracaso en una expedición, el Cuerpo de Exploración vuelve a las murallas. En medio del disturbio, Erwin gira la mirada y observa a Eren sonriendo, entonces Erwin se avergüenza por la derrota y gira la cabeza inmediatamente hacia abajo. Junto al Cuerpo de Exploración, sale a una expedición y no se ven presentes en el ataque, en el cual se tuvo grandes bajas. Tras otro de muchos fracasos, Shadis abandona su puesto y decide entregárselo a Erwin al notar las enormes cualidades que este tiene para ocupar dicha posición.
El comandante Erwin sale de expedición junto al Cuerpo de Exploración. En el momento en que los titanes empiezan a ir hacia donde está la muralla, este se da cuenta de que la del Distrito Trost había caído. Erwin le ordena inmediatamente a sus hombres volver. Cuando llegan a su destino, observan que los soldados ya habían tapado el agujero de la muralla de Trost. Entonces, se encargan de eliminar a los titanes que ya estaban dentro de la ciudad.
Erwin se presenta con Levi ante Eren cuando este está en la prisión subterránea de la Sala de Tribunales. Cuando empieza el juicio, Erwin le explica al comandante en jefe, Darius Zackly, que desea usar el poder de Eren para poder recuperar la Muralla María. Al final, gracias a su estrategia, logra ingresar a Eren en el Cuerpo de Exploración, con la condición de que después de la siguiente expedición y su resultado, se volvería a juzgar a Eren. Cuando los cadetes de la Tropa de Reclutas del Ciclo Nº104 deben elegir a qué división militar se dirigirán, Erwin da un emotivo discurso sobre el futuro de la humanidad, dando información muy importante que logra convencer a 21 soldados, la mayoría, soldados destacados que quedaron entre los 10 mejores. Curiosamente, la mayoría fueron motivados anteriormente por Eren, y no cambiaron de opinión después de haber vivido el segundo ataque del Titán Colosal.
Después del asesinato de los Titanes de Prueba: Sawney y Bean, Erwin les pregunta a varios de los soldados del Cuerpo de Exploración "¿quién crees que es el enemigo?". Ante esta pregunta, la mayoría se volvían confusos y Erwin medía sus reacciones ante la pregunta. Cuando llega a confiar en algunos, comienza a planificar una expedición para capturar al espía, teniendo en mente que el Titán Colosal, o el Acorazado tienen las mismas habilidades que Eren y que, seguramente, estará decidido en sabotear la expedición.
Durante la expedición, un misterioso titán con rasgos femeninos aparece y aniquila a una parte del grupo. Erwin entra en un bosque y establece una trampa para capturarla. La Titán Hembra persigue Eren y el Escuadrón de Levi quienes lograron atraerla hasta la trampa de Erwin. Él deja que Mike y Levi ataquen a la titán, pero tras varios ataques, resulta inútil. Levi intimida a la Titán, causando que esta suelte un grito y llame a titanes de todas las direcciones. Los soldados que estuvieron presentes recibieron instrucciones de defenderla a toda costa, sin embargo la taza de mortalidad era cada vez más alta, obligándolo a una retirada y dejar libre a la titán.
El fracaso de Erwin, hace que sea culpado y convocado a la capital imperial para ser juzgado por los acontecimientos. Sin embargo, Armin le explica la teoría de que él cree plenamente en que Annie Leonhart es la Titán Hembra que intentó capturar a Eren. Entonces, después de las palabras de Armin, realizan un plan para atrapar a la Titán Hembra en uno de los distritos interiores, en la Muralla Sina.
El plan era la última oportunidad que tenía el Cuerpo de Exploración. Armin intenta engañar a Annie diciéndole que Eren quería escapar del consejo y del gobierno. Esta acepta ir con Armin, Eren y Mikasa y, cuando se encuentran frente a un túnel que conecta el Distrito Stohess con el exterior, ella se rehúsa a seguirlos. El plan de Erwin para atrapar a Annie falla en ese momento y comienza una batalla entre todo el Cuerpo de Exploración (excepto Levi y Erwin) y la Titán Hembra. Estos al final la atrapan, gracias a Mikasa, quien cortó sus dedos cuando Annie intentaba escapar escalando la muralla, a pesar de eso, Annie se cristalizó y las pérdidas de recursos fueron muy grandes.
Erwin, después de eso, entra en una reunión de emergencias para explicarle a las autoridades lo sucedido. Este explica que la captura de Annie no fue en vano, ya que la simple existencia de ella y Eren Jaeger explica que hay muchos espías y posibles traidores que viven refugiados en las murallas, entonces, este le explica que buscarán a todos estos y los encerrarán hasta que digan algo con respecto a sus poderes. Mientras estaba en la reunión, un soldado entra a la habitación corriendo avisando que dentro de la Muralla Rose había titanes, y que lo más probable es que esta había sido destruida.
En una discusión con Dot Pixis acerca de los titanes que accedieron a la Muralla Rose, Erwin le declara que el gobierno ha enviado algunos miembros de la Policía Militar para que cooperen en la aparente violación. Un soldado de las Tropas de Guarnición da el informe verbalmente, informando que no hay ninguna brecha o incumplimiento en algún punto de la muralla, también dice que en la Tropa de Reclutas Nº104 se identificaron tres Titanes Cambiantes, Reiner, Bertolt e Ymir respectivamente. Al oír esto, instantáneamente, reúne a un grupo de soldados de las diferentes ramas militares y se dirige hacia la escena.
Erwin llega con las fuerzas militares combinadas 5 horas tarde. Más soldados se unen a su tropa para acompañarle por la expedición, Hange le indica que lo más probable es que se hallan dirigido hasta el bosque, dentro de la Muralla María. Con esa información, Erwin despliega la tropa y sale en el rescate de Eren. Al observar las señales de bengala a lo lejos, Reiner no encuentra una solución, por lo que decide transformarse dentro del bosque, unos que otros soldados adoptan la posición tridimensional usando los grandes árboles, durante esto, una Ymir transformada en titán captura a Historia dentro de su boca y se embarca en la espalda del Titán Acorazado.
Erwin Smith, decide llamar a todos los soldados para atraer a los titanes de los alrededores hacia el Titán Acorazado y los demás. Cuando logra cumplir su objetivo, uno de sus brazos es comido por completo. A pesar de eso, los soldados continúan la misión. Luego aparece cuando Armin intentaba recuperar a Eren de la espalda de Bertolt, desempeña un gran papel al cortar el pecho de Bertolt para que soltara a Eren. Al final, recuperan a los secuestrados y vuelven a las murallas.