Olvés conserva el derecho de romería a la Ermita de la Virgen de Semón. Esta Ermita se levanta sobre un cerro cuyos datos arqueológicos han demostrado que hubo poblados antiguos, en este caso, un poblado celtíbero. El primer domingo de mayo se peregrina a la romería de la Virgen de Semón o de las Aguas. Tiene su santuario en el término de Acered. Desde hace unos años se organiza una cena el sábado por la noche en el pabellón del pueblo, seguida de un baile. Unos van en coche, mientras que otros pocos mantienen la tradición de ir andando, en un recorrido de unas dos horas y media aproximadamente. Antes de misa, el ayuntamiento reparte chocolate, pastas y moscatel. Se celebra una misa cantada pidiéndole a la Virgen agua para que los campos tengan una gran cosecha. Los grupos comen en los alrededores de la Ermita y se quedan hasta mitad tarde.
Es curioso ver dentro de la ermita la cantidad de ofrendas y donaciones en forma de figuras, retratos y objetos que los visitantes han ido dejando en manera de agradecimiento. Los pueblos de Acered, Alarba y Castejón también peregrinan a la ermita los siguientes domingos del mes de mayo. Y cuando mayo tiene cinco domingos, pues el quinto domingo van todos los pueblos juntos.
Antes iban todos los que podían, hombres, mujeres y niños, montados en caballerías y andando. El ayuntamiento daba una propina y una botella de vino a dos hombres para que llevasen los pendones. Se ha transmitido oralmente que antiguamente los llevaban al hombro y andando. Iban por el camino de Valmayor hasta Alarba, donde el ayuntamiento y las gentes, los recibían en las eras del pueblo. Después, continuaban por una senda hasta la Ermita donde los esperaba el santero. Algunos jóvenes se adelantaban para tocar la campana y recibir a los Romeros. El ayuntamiento llevaba anís y galletas de vainilla para tomar un refrigerio, se celebraba misa y cada cuadrilla comía por su cuenta. De vuelta de nuevo se paraba en Alarba, donde el cura y las autoridades los acogían. Se entraba a la iglesia para rezar y el ayuntamiento de Alarba ofrecía un refresco al de Olvés. Se despedían en las eras, donde los abanderados hacían las cortesías con los dos pendones al pueblo de Alarba. En la desaparecida Ermita de San Gregorio de Olvés esperaban quienes no habían podido ir a la romería. Los mozos improvisaban una carrera con sus mulas y los caballos desde La Poza hasta el peirón de la Virgen del Pilar, junto a la ermita de San Gregorio
La romería terminaba en la iglesia del pueblo sobre las tres o las cuatro de la tarde. Si no podían ir el domingo a la romería por causa de la lluvia, iban al día siguiente, lunes. Al llegar a la Iglesia del pueblo, se entraba y se cantaba la Salve a la Virgen.
Los años de sequía se iba en romería andando con la cruz hueca hasta la Virgen de Semón.
El santero estuvo hasta los años setenta, del que se decía, el santero de la Virgen de Semón, por la noche que llueva y por el día buen sol. Recorría en caballería los pueblos de las inmediaciones con el manto de la Virgen para recoger donativos y también le daban vino cuando prensaban.
ORACIÓN A NUESTRA SEÑORA DE SEMÓN
Olvés también tiene la costumbre de viajar el último domingo de abril hasta Valdehorna para visitar y participar en los actos que se celebran en honor a la «Virgen de la Cabeza».