L’origine del santuario è collegata a un evento miracoloso accaduto durante la guerra che Lorenzo de’ Medici mosse contro Volterra nel 1472. La popolazione inerme rivolse alla Vergine suppliche e preghiere finché essa apparve a una donna del luogo promettendo pace e protezione. Nacque così la devozione, viva ancora oggi, per la Madonna delle Grazie, detta anche del Libro.
La chiesa presenta una forma a T con porticato trilatero e massicci bastioni esterni che sorreggono arcature asimmetriche. Prende il nome da un dipinto raffigurante la Vergine con il Bambino incoronata da due angeli, assorta nella lettura di un libro, opera di Matteo di Pierantonio de’ Gondi. Il dipinto fu qui venerato fino al 1958, quando per ragioni di sicurezza la chiesa fu chiusa al pubblico e il dipinto trasferito nella parrocchiale di San Bartolomeo dove oggi è custodito.
A poca distanza dalla chiesa si trova la Fonte del Latte: una fonte termale che gode della fama di far venire il latte alle madri.