Die Kapelle steht auf historischem Boden: Gesiegelte Lehmziegel, die in der Nähe gefunden wurden, deuten darauf hin, dass hier schon zur Römerzeit ein Bergheiligtum gewesen ist.

Die später an dieser Stelle errichtete, dem hl. Petrus geweihte Kapelle war Pfarrkirche nicht nur in Neef, sondern auch für die ganze Umgebung. Im Jahr 1140 wurde sie dem Kloster Stuben zugeteilt, das einige Jahre zuvor am Fuß des Berges im Moseltal gegründet worden war.

Während der Chor der Kapelle noch aus dem 12. / 13. Jahrhundert stammt, ist der größte Teil des jetzigen Baues im 16. / 17. Jahrhundert errichtet worden. Er wurde wiederholt renoviert, zuletzt im Jahr 1974.

Der kunstvolle Altaraufsatz im Chorraum ist ein gutgearbeitetes Spätrenaissancewerk mit Knorpelwerkornamentik (Mitte 17. Jahrhundert), wahrscheinlich aus der Hoffmann-Schule (Trierer Marktbrunnen und Domkanzel). In der Mitte zeigt er ein Relief der Kreuzabnahme und seitlich davon die Figuren des hl. Petrus und Paulus. Darüber wird die Auferstehung zwischen den hl. Sebastian und Rochus dargestellt. Der Altar stammt aus dem Kloster Stuben. Auch er hat unter Kriegsschäden gelitten und wurde zusätzlich beraubt, so dass heute einige Altarfiguren fehlen.

Nachdem jüngst die Kapelle wieder in Ordnung gebracht worden ist, soll demnächst auch der Altar restauriert werden. Ein neues Dach hat die Kapelle im Jahr 2001 bekommen.