鯨崎町海邊的懸崖下有一個大人們不曾涉足的地方,那是孩子們的祕密基地,一家由魔法師經營的當鋪。
這家當鋪不能典當金銀珠寶、名畫鑽錶,只能典當「回憶」。在二十歲前,每個人都可以把回憶寄放在這裡,換取金錢,也可以將回憶贖回。不過,一旦過了二十歲生日,就會忘記關於當鋪的一切。當然,也包括沒被贖回的回憶。
永澤里華,鯨崎國中校刊社的新社長。為了採訪魔法師,里華來到「回憶當鋪」,並因此結識了三不五時就來典當回憶的小學生芋川遙斗。一次與魔法師的閒談中,里華得知同班同學白土芽依幾乎天天到當鋪典當不愉快的回憶……
走進回憶當鋪的人,有的努力想忘掉些什麼,有的拚命想記起些什麼;有的小心翼翼珍藏回憶,有的卻滿不在乎地丟掉生活中瑣碎的回憶。直到回憶一點一滴流逝,這才發現,即便是微不足道的回憶,也確確實實刻劃著生命的印記,而不論快樂、悲傷、寂寞、痛苦,所有的回憶都是生命的一部分,也是無可取代的生命經驗。