Situata lungo la strada che conduce alla vecchia cava di zolfo, è la chiesa più lontana dall'abitato, ma non per questo meno frequentata dai lateresi
Costruita in forma rettangolare, a navata unica, contiene cinque altari, decorati da affreschi e dipinti di un certo valore, a testimoniare l'importanza che rivestiva per i suoi fedeli e per i governanti del borgo in epoche diverse.
Al primo altare a sinistra appartiene un affresco, raffigurante San Sebastiano, esatta copia del soggetto dipinto su tela nel 1596 nella chiesa di S. Salvatore a Farnese, che mostra in basso la data 1501, una firma illeggibile e lo stemma dei Farnese: la datazione è però ritenuta poco probabile e si preferisce attribuire l'opera all'artista emiliano Anton Maria Panico, allievo del Carracci.
Sugli altri altari trovano posto le immagini di S.Antonio da Padova, di S.Francesco Saverio e di S.Antonio Abate, mentre l'immagine quattrocentesca della Madonna col Bambino che tiene in mano un uccellino, che dà il titolo alla chiesa. è una copia: l'originale venne trasferito nella Chiesa parrocchiale di S.Clemente nel 1739 e posto sopra l'altare del SS.Crocifisso.
Non si conosce l'anno di costruzione della chiesa, anche se molto probabilmente essa è anteriore al 1400: da un verbale del Consiglio Generale del 1579 e da un'inchiesta fatta nello stesso anno al fine di dimostrare che le cappelle di S. Sebastiano e della Madonna della Cava erano di jus (diritto) della Comunità, si evince un termine ante quem, in quanto i cinque testimoni sono concordi sul fatto che le due cappelle erano molto antiche, costruite prima della nascita dei loro genitori.
