Идея создать мемориал возникла в год 25-летия Великой Победы в декабре 1966 года. Останки неизвестного бойца 2 декабря эксгумировали из братской могилы у бывшей железнодорожной станции Крюково. Именно здесь в конце 1941 года удалось остановить наступление пехотных и танковых соединений вермахта.
Спустя почти полгода, 8 мая 1967 года, на месте захоронения официально открылся сам мемориал.
Надпись на мемориале придумывал писатель Сергей Смирнов, а также поэты Константин Симонов, Сергей Михалков и Сергей Наровчатов. По воспоминаниями Сергея Смирнова, в итоге выбрали вариант, предложенный Сергеем Михалковым: "Имя твое неизвестно, подвиг твой бессмертен".