Lupinaia è, come già detto, paese molto antico. Pur risalendo le origini del villaggio presumibilmente già all’età del ferro, le prime notizie scritte sono del periodo longobardo, precisamente dell’anno 754. Intorno all’anno mille fu feudo della potente famiglia longobarda dei Gherardinghi. Nel 1171 fu messa a ferro e fuoco nell’ambito delle dispute tra Pisani e Lucchesi per il controllo della Garfagnana. Lo Stato di Lucca esercitò poi per molti secoli il proprio dominio su Lupinaia,, a parte alcune brevi interruzioni. Nel 1583 fu assalita dalle truppe Estensi, provenienti da Modena, saccheggiata ed incendiata. Successivamente nel 1614 fu costruita una torre di avvistamento (l’attuale campanile). Nel 1616 fu cinta completamente di mura a spese dello Stato di Lucca. Nel 1636 il castello fu oggetto di un nuovo restauro e rafforzamento.
Tali fortificazioni hanno subito il degrado del tempo ed oggi sono visibili solo in parte; la porta sud è comunque conservata in buono stato e ci fornisce indicazioni circa la potenza della vecchia struttura muraria e l’importanza di Lupinaia come vedetta sulla vallata sottostante.
