Poco tiempo después de que la Orden Teutónica se alzará con la victoria en Europa del Este, en Tierra Santa se perdía la ciudad de Acre en 1291 y con ella finalizaba la presencia cristiana en Palestina. Acre era también el cuartel general de la Orden, (tras la conquista musulmana del castillo de Montfort en 1271) y tras perderse la ciudad, la sede principal de la Orden se trasladó a la ciudad de Venecia. Con la persecución a los Templarios y en vista del desprestigio que sufrían las Ordenes Militares y de que ya nunca se volvería a los Santos Lugares, la Orden decidió en 1309 abandonar el Mediterráneo y trasladar su cuartel general al majestuoso castillo de Marienburg de Prusia.

Mientras la Orden abandonaba Tierra Santa, en el Este de Europa las cosas estaban a punto de cambiar. Lituania había superado su largo periodo de guerras intestinas por el poder y se alzaba más fuerte que nunca y dispuesta a enfrentarse a los Caballeros Teutónicos con todas sus fuerzas. En 1296 ascendió al trono lituano el duque Vytenis, el cual construyó un entramado de fortificaciones para defender sus fronteras occidentales y desde las cuales lanzar continuas campañas militares contra los territorios de la Orden Teutónica, el ducado de Mazovia e incluso el Reino de Polonia. La intención de Lituania era mantener una actitud ofensiva contra la Orden Teutónica que le diera la iniciativa militar en el oeste mientras sus ejércitos más poderosos se encaminaban hacía al este a la conquista de los vastos territorios del Principado de Kiev. En el año 1321, el Gran Duque Gediminas, sucesor de su hermano Vytenis, capturó la ciudad de Kiev y anexionó los territorios del Principado de Kiev a Lituania, la cual alcanzó con esto su máximo apogeo, convirtiéndose en una de las potencias más poderosas del Este de Europa. Las continuas batallas entre los Caballeros Teutónicos y los lituanos continuaron a lo largo de las siguientes décadas. Sin embargo, sin el lastre de su presencia en Tierra Santa, la Orden podía dedicar todos sus recursos a combatir en el Este de Europa, y el fin de las Cruzadas supuso que muchos nobles europeos, hambrientos de gloria, acudieran a Prusia para batallar contra los paganos lituanos al lado de los Caballeros Teutónicos. Finalmente, en 1382 los Caballeros Teutónicos se impusieron en la guerra contra Lituania y lograron conquistar la provincia de Samogitia. Cuatro años después, en 1386, el Gran Duque Jogaila de Lituania se convirtió al cristianismo para poder contraer matrimonio con Jadwiga, heredera del reino de Polonia, convirtiéndose así en Rey de Polonia con el nombre de Ladislao II.

El nuevo estado polaco-lituano que surgía de esta unión era el reino más poderoso del este de Europa y dado que ahora era un estado cristiano, la Orden Teutónica no podría solicitar que el Papa lanzase cruzadas en su contra. Polonia había conseguido mediante un acuerdo matrimonial lo que la Orden no había podido lograr con las armas: la conversión de Lituania.

La alianza contra natura entre la católica Polonia y el gran ducado pagano de Lituania se debió en gran parte a las acciones agresivas de los Caballeros Teutónicos. Polonia había sido un fiel aliado de la Orden Teutónica a lo largo de la historia y como vimos anteriormente, fue la petición de ayuda del ducado polaco de Mazovia lo que permitió a la orden alemana lanzar sus Cruzadas Bálticas. Sin embargo, esta ayuda polaca nunca fue recompensada por el Orden Teutónica, y es más, la Orden no dudo en apropiarse inescrupulosamente de territorios polacos en su propio beneficio, como fue el caso de la captura de la ciudad de Dánzig en 1308. Los Caballeros Teutónicos habían acudido a Dánzig para ayudar a los polacos a sofocar una revuelta de los habitantes de la ciudad, sin embargo, una vez sofocada la revuelta, los Caballeros Teutónicos no devolvieron la ciudad a los polacos sino que la anexionaron a sus territorios, cortando la salida al mar de Polonia y ganándose la enemistad eterna de ésta. El expansionismo teutón era una grave amenaza para Polonia y para Lituania, de ahí la unión de ambas.

En 1409 Samogitia se rebelaría contra el dominio de la Orden Teutónica, ante esto, el nuevo reino de Polonía-Lituanía saldría en defensa de los rebeldes y declararía la guerra contra la Orden Teutónica, una guerra que decidiría el destino del Este de Europa. A comienzos de 1410, el rey Ladislao II de Polonia se puso a la cabeza de un ejército de 38.000 hombres (entre lituanos, polacos y mercenarios rusos y tártaros) y lanzó por sorpresa una ofensiva contra el territorio de la Orden Teutónica con el objetivo de derrotarla antes de que esta pudiera congregar a todos sus hombres.

El Gran Maestre de la Orden; Ulrich Von Jungingen, contaba con poco mas de 26.000 hombres para oponerse a la invasión polaca, pero confiado en su superioridad militar decidió salir osadamente al encuentro del ejército enemigo, en vez de atrincherarse en sus castillos a la espera de que llegaran refuerzos desde la prefectura de Livonia.

El 15 de julio de 1410 ambos ejércitos se disputarían el dominio de Europa Oriental en una batalla decisiva que pasaría a los anales de la Historia: la Batalla de Tannenberg. Los dos ejércitos se posicionaron en línea entre los bosques y colinas de Tannenberg y después de lanzarse los acostumbrados desafíos, propios de esta época caballeresca comenzó la batalla con el ataque de la caballería lituana contra el ala izquierda del ejército teutónico. Una lluvia de flechas de ballesta devastó las primeras filas de los caballeros lituanos, los cuales volvieron grupas y huyeron hacía sus líneas. Una parte de la caballería de la Orden Teutónica se lanzó impetuosamente en su persecución y recibió el contraataque de la caballería rusa y tártara, trabándose en un combate en el que ambos bandos sufrieron muchas bajas.

La infantería polaca por su parte cargó contra el centro de la línea de infantería de la Orden Teutónica, pero esta se mantuvo firme y los polacos fueron perdiendo terreno poco a poco y comenzaron a retroceder. La victoria parecía estar al alcance de la mano y el Gran Maestre decidió cubrirse de gloria lanzándose a la carga junto a 200 caballeros contra la línea enemiga. El Gran Maestre pensaba que ante su carga los enemigos romperían filas y huirían, pero la jugada le salió mal. El Gran Maestre y sus audaces caballeros, que componían la elite militar y administrativa de la Orden, fueron rodeados por sus enemigos y, uno a uno, fueron cayendo muertos de sus caballos. La muerte del Gran Maestre y sus 200 caballeros desmoralizó al ejército de la Orden Teutónica y los polacos se alzaron con una gran victoria.

La derrota de Tannenberg supuso un golpe durísimo para la Orden de los Caballeros Teutónicos, la cual solo sobrevivió gracias a la heroica defensa que realizó el hermano comandante Heinrich von Plauen en el castillo de Marienburg y a la contratación de 7500 mercenarios con los que suplir las enormes bajas sufridas en Tannenberg. Al año siguiente, 1411, se firmó finalmente la paz entre la Orden Teutónica y el reino de Polonia-Lituania mediante el Tratado de Thorn. Este tratado fue benevolente con los Caballeros Teutónicos, los cuales solo tuvieron que ceder a Polonia la antigua provincia lituana de Samogitia. Sin embargo, los Caballeros Teutónicos habían recibido un golpe mortal del que jamás se recuperarían. Poco a poco fueron perdiendo poder y sus territorios más ricos pasaron a manos de sus ambiciosos vecinos.

En 1454 Polonia reanudó las hostilidades y lanzó una potente ofensiva contra los territorios de la Orden Teutónica, la cual tuvo que recurrir a una contratación masiva de mercenarios para poder defenderse. En 1456 Polonia conquistó el Castillo de Marienburg, cuartel general de los Caballeros Teutónicos, merced a una traición de los mercenarios que lo defendían y con ello decantó la guerra hacía su lado. Finalmente, Polonia derrotó a los Caballeros Teutónicos en la Batalla de Zarnowiec en 1462 y estos se vieron abocados a buscar la paz antes de perder todos sus territorios y extinguirse.

La guerra concluyo en 1466 con la firma del Segundo Tratado de Thorn, mediante el cual los Caballeros Teutónicos cedían a Polonia la totalidad de sus territorios en Prusia Occidental. La Orden, más debilitada que nunca, tuvo que trasladar su sede a Königsberg, a Prusia Oriental, que junto a Livonia eran los únicos territorios que aún conservaba.

Tras el final de la Edad Media el declive de la Orden se aceleró, en el nuevo mundo de Estados Centralizados que estaba surgiendo ya no había sitio para caballeros andantes y tras la llegada del Luteranismo a Alemania, la Orden se vio envuelta en un conflicto religioso que acabó con su ruptura con el catolicismo y con el Papado. En 1525 los Caballeros Teutónicos de Prusia se secularizaron y el territorio se convirtió en un ducado perteneciente a Polonia. En 1561 ocurriría lo mismo con Livonia, que también se convirtió en un ducado polaco. En 1562 ya no quedaba nada del pasado esplendor de la Orden Teutónica, pero las raíces alemanes que sembró en el Este de Europa permanecerán inamovibles durante los próximos siglos, hasta el resurgimiento de Prusia como reino independiente. Por último, Prusia y los territorios ocupados por la Orden en el Este de Europa sirvieron de excusa para el expansionismo Alemán y fueron una de las causas del estallido de la Segunda Guerra Mundial (1939-1945). Hoy en día Prusia es parte del territorio de Polonia.

La Orden Teutónica continuó existiendo en Alemania como una orden secular de nobles alemanes. En la actualidad la Orden aún existe y se dedica a actividades benéficas en Europa Central.