Takashi Aiba a raté son concours d'entrée à l'université, depuis il étudie pour pouvoir le retenter l'année suivante. Un jour, à 12:05, tout s'arrête autour de lui, les personnes comme les objets. Takashi est la personne encore mobile, cette étrange situation prend fin une heure après. Depuis, tout les jours à 12:05, tout s'arrête pendant une heure. Pendant ce temps d'arrêt, il rencontre Tokine Shinomiya, une fille pouvant également bouger pendant ces moments qu'elle nomme "Loss Time", ensemble, ils profitent de ces moment à part.
Mais un secret se cache derrière ces temps perdus...