A finales del siglo XVII, en tiempos del Obispo dominico Fray Alonso de Santo Tomás, un vecino de la ciudad llamado Juan Valverde construyó a su costa una capilla callejera en las inmediaciones del puente, en la cual se habría de dar culto a la imagen de un Crucificado bajo la advocación del Perdón. La intención con la que se fundó la capilla era la de dar luz al ámbito de la calle Marqués y evitar así los «pecados y abominaciones» que se daban en aquel lugar. La devoción a la Virgen de los Dolores la introdujo un feligrés de San Juan llamado Martín Federico, quien fundó un rosario nocturno en 1747 popularmente conocido como Hermandad de los Tiñosos, ya que parece ser que aquel se dedicaba a sanar dicha enfermedad.