Era l’estiu del 1854 quan la malaltia del còlera va fer estralls entre els manlleuencs i deixà la quantitat de 285 morts. Els manlleuencs, religiosos com eren, consideraven que aquesta malaltia era un càstig del cel. Per aquest motiu varen considerar que posarien fi al còlera si dedicaven contínues pregàries religioses. I feren la prometença que si s’acabava el còlera aixecarien una ermita dedicada a l’apòstol de Sant Jaume. Aquesta ermita va ser construïda prop de la vila i substituí l’antiga església mig ruïnosa que hi havia a Vilamontà i que havia estat beneïda el 1307.
Al cap de pocs dies, un cop acabat el còlera, la població manlleuenca es va sentir protegida i en compliment de la promesa el 1855 es va començar a construir l’ermita que portà el nom de Sant Jaume. El lloc escollit fou en un turó que generosament va cedir Hipòlit Poquí. En la construcció, que va durar uns dos anys, ja que bàsicament només hi treballaven els diumenges, hi varen col·laborar pràcticament tots els habitants del poble com si es tractés d’una cadena de muntatge: els homes, posats en filera, traslladaven les pedres del riu fins a l’ermita.