Auch in der Evangeli-schen Kirchen-gemeinde Wuppertal Beyenburg wirkte Gerhard Kaps erfolgreich. Ab April 1967 übernahm er dort die Leitung des Kirchenchores. Anknüpfend an die Arbeit in Lennep stellte er auch hier in erster Linie sein Wirken unter das Motto: Gott loben das ist unser Amt. Einige herrliche Konzerte konnten veranstaltet werden. Über die Musik versuchte er ökumenische Zusammenarbeit zu erreichen, nicht immer zur Freude aller Gemeindeglieder. Dennoch gab es mehrere gelungene gemeinsame Veranstaltungen. Vielleicht  werden sich einige noch an das Adventskonzert erinnern, in der u. a. Teile der Bach-Kantate "Wachet auf ruft uns die Stimme" (fast fehlerlos) mit großem Orchester zusammen mit dem Katholischen Kirchenchor Beyenburg in der Klosterkirche aufgeführt wurden. Eine Chorfamilie brauchte nach dem Verständnis von Gerhard Kaps natürlich auch Geselligkeit. Und so kam man nicht nur gern zu den Montags-Proben, es gab auch Ausflüge und Familienabende im Gemeindehaus, selbstverständlich mit Programm. Theaterstücke fehlten nicht.  Im Dezember 1979 legte Gerhard Kaps seine Ämter in Beyenburg nieder um einer jüngeren Generation Platz zu machen.