Viele Beiträge mußten nach dem 2.Weltkrieg zur Aufbauarbeit geleistet werden. Gerhard Kaps setzte sich vor allem für die Musik in Remscheid ein. So gehörte er zu den Mitbegründern der heutigen Städtischen Musik- und Kunstschule, der Städtische Chor probte gelegentlich in den Privaträumen Zar und Zimmermann ein und die Mitgliedschaft im Evangelischen Kirchenchor Lennep war ebenfalls selbstverständlich. Am 1.4.1955 übernahm Gerhard Kaps die Leitung dieses Chores von Schulrat Christian Meyer. Nachwuchsprobleme hatte der Chor zu dieser Zeit keine, Gerhard Kaps war stets bemüht, Jugend für den Chor zu gewinnen. "Gott loben, das ist unser Amt" . Unter diesem Motto verlangte Gerhard Kaps von jedem Chormitglied, daß zumindest an den kirchlichen Feiertagen im Gottesdienst vierstimmig gesungen werden konnte. Und es gelang stets. Genau so wichtig wie der Gesang im Gottesdienst war für Gerhard Kaps das fröhliche Beisammensein. Der Chor zeichnete sich durch ein starkes Zusammengehörigkeitsgefühl aller Altersgruppen aus. Gerhard Kaps sprach in diesem Zusammenhang gern von seiner Chorfamilie. Nicht wenige fanden durch den Chor näher zusammen und schlossen den Bund fürs Leben. Jedes Jahr fand ein wohlvorbereiteter Familienabend statt und an die dargebotenen Aufführungen erinnert sich heute noch manch Ehemaliger oder Aktive. Fahrten ins Blaue wurden organisiert, die meist dazu genutzt wurden, mit anderen Chören Kontakt aufzunehmen und gemeinsam zu singen. Höhepunkt der Arbeit mit dem Evangelischen Kirchenchor Lennep war das Konzert zum 75jährigen Bestehen des Chores im November 1965. Der Chor mußte seinerzeit Solisten und Musiker, die für die Aufführung der Kantaten benötigt wurden, selbst finanzieren. Das Festkonzert wurde dennoch ein großer Erfolg und Teile daraus, wie die Kantate "Alles was ihr tut" gehörten lange zum Repertoire des Chores. Im April 1967 stellte die Kirchengemeinde Lennep eine Kantorin ein, die sowohl den Chorleiter als auch den langjährigen Organisten der Lenneper Gemeinde ablöste. Diese Maßnahme dürfte für Gerhard Kaps eine der schwersten seines Lebens gewesen sein, Aber er trat ab. Noch im November des gleichen Jahres wurde Gerhard Kaps die Leitung des Evangelischen Kirchenchores Beyenburg anvertraut.