Schulexpositus Schramel schreibt hierzu 1876: "Nur die Pfarrei Oberviechtach setzte die Prozession fort bis 1848. Eine außerordentliche Prozession hierher hielten nochmal die Altendorfer und 1866 die Dieterskirchner. Die Kirche hat aufgehört Wallfahrtskirche zu sein." 1876 ist also die Walllfahrt längst erloschen. 1851 schreibt der schwerkranke Expositus Lang, er könne wegen der vielen Arbeit sich am Elementarunterricht der Schule nicht beteiligen. Er erwähnt dabei die Geralbeichte, die zu Pertolzhofen als einem früheren Wallfahrtsort häufiger vorkommen. In der Antwort des Pfarrers heißt es, das sei lächerlich. "Die ehemalige Wallfahrtskirche wird nur noch von den umliegenden Ortschaften aus der Pfarrei und hie und da von anderen naheliegenden Ortschaften aus anderen Pfarreien in kleiner Zahl besucht."
Beider Aussagen geben Hinweis auf die Zeit des Verschwindens der Wallfahrer. 1850 und 1876 wird Pertolzhofen als früherer Wallfahrtsort bezeichnet, 1850 kamen aber immer noch Wallfahrer zu Unserer Lieben Frau nach Pertolzhofen. Der Niedergang ist zwischen 1830 und 1850 angesetzt.