Hermann-Joseph Schmitt gehörte zum weiteren Zirkel der KAB-Führung zwischen den Weltkriegen; nach 1945 baute er die KAB wieder auf.
Er war der einzige Sohn eines Postbeamten aus Köln und hatte noch eine Schwester. Nach Tod des Vaters musste er aus finanziellen Gründen das Gymnasium verlassen. Er machte eine Schlosserlehre und arbeitete dann in einer Eisenbahnwerkstätte. Von 1915 bis 1917 war er Soldat. 1918 machte er auf dem 2. Bildungsweg das Abitur nach, um Priester werden zu können. 1922 wurde er in Köln zum Priester geweiht. Dann übernahm er seine erste und einzige Kaplansstelle in Wuppertal-Elberfeld - in der Diaspora, wo er als Präses die Leitung des katholischen Arbeitervereins (KAB) übernahm. Er wurde Bezirkspräses und kam in engen Kontakt mit Verbandssekretär Bernhard Letterhaus und Verbandspräses Dr. Otto Müller aus der Kölner Zentrale.
Letterhaus schlug ihn als Generalsekretär des neu gegründeten Reichsverbandes der Katholischen Arbeiter- und Arbeiterinnenvereine Deutschlands vor. Schmitt leitete den Reichsverband, der fünf Regionalverbände umfasste, von 1928 bis 1944 in Berlin, wo er die Interessen der KAB gegenüber der Regierung vertrat. Dort arbeitete er eng mit den Christlichen Gewerkschaften zusammen. 1933 kandidierte er für das Zentrum zum Reichstag und wurde auch gewählt. Bei der fraktionsinternen Probeabstimmung zum Ermächtigungsgesetz stimmte er dagegen, fügte sich dann aber bei der Abstimmung im Reichstag der Fraktionsdisziplin und stimmte zu.
Nach der Märzkundgebung der Bischöfe veröffentlichte der Reichsverband am 2. April eine Erklärung, der zufolge er die Bedingungen seiner Arbeit "nach der geistigen und methodischen Richtung hin" neu festlegen wollte. Er folgte damit den Versuchen der Fuldaer Bischofskonferenz, einen modus vivendi mit der NS-Regierung zu finden. Daher nahm die KAB wie die christlichen und freien Gewerkschaften an den Kundgebungen zum "Tag der nationalen Arbeit" am 1. Mai 1933 teil. Es nutzte ihr so wenig wie den beiden anderen, die kurz danach verboten wurden. Die Deutsche Arbeitsfront (DAF) als nationalsozialistische Nachfolgeorganisation der Gewerkschaften erklärte im Juni 1933 die katholischen Arbeitervereine als staatsfeindlich und verbot die Doppelmitgliedschaft.
Vergeblich hoffte er auf den Schutz des am 20. Juli 1933 abgeschlossenen Reichskonkordates. Über die Konkretisierung des entscheidenden Artikels 31 verhandelten die Bischöfe mit der NS-Regierung bis 1936 vergeblich; dann wurden die Verhandlungen aufgegeben.
1934 hatte Schmitt einige Male Gelegenheit bei Romreisen vatikanische Stellen über die Lage der Kirche im Reich zu unterrichten.
Schmitts Post wurde seit 1935 überwacht, und die Gestapo unternahm Verhöre und Hausuntersuchungen. Seine Arbeit für die KAB kam immer mehr zum Erliegen; 1939 wurde der Reichsverband offiziell aufgelöst. Er engagierte sich in der Flussschiffermission - wie der KAB-Schriftleiter Nikolaus Groß, der ihre Zeitung zusätzlich übernommen hatte. Außerdem engagierte er sich in der pastoralen Betreuung der zu Arbeitseinsätzen verpflichteten Katholiken, der Evakuierten und Kinderlandverschickten, der sog. Wandernden Kirche. Wie Groß arbeitete er auch in der überdiözesanen Männerseelsorge beim Fuldaer Bischof Dietz mit.
1939 übertrug ihm der Berliner Bischof Preysing die Studentenseelsorge. Er kam vermehrt in Kontakt mit akademischen Kreisen, auch mit konservativen Oppositionellen wie dem Papen-Berater Edgar Jung, der beim sog. Röhm-Putsch 1934 ermordet wurde. Trotz vermehrter Zuwendung zu akademischen Kreisen hielt Schmitt besonders Kontakt zum KAB-Verbandssekretär Letterhaus, der seit 1942 als Offizier bei der Abwehr in Berlin arbeitete. Über ihn, aber auch andere Bekannte in Berlin erfuhr er von den Plänen des Widerstandes, besonders der Gruppe um den ehemaligen Leipziger Oberbürgermeister Carl Goerdeler. Die sozialpolitischen Entwürfe, die gegen Ende des Jahres in Bezug auf die Einheitsgewerkschaft zum Abschluss kamen, beriet er mit ihnen. Mit Letterhaus unterhielt er sich über die sittliche Erlaubtheit des Tyrannenmordes, den er ausdrücklich bejahte. Doch warnte er ihn vor der aktiven Mitwirkung im Goerdeler-Kreis, über den zu viel geredet werde, und verweigerte selbst das Mittun. Dennoch hatte er an einem Treffen einer Gesprächsrunde einmal teilgenommen. Als der kommunistische Teilnehmer Anton Saefkow, der im September 1944 hingerichtet wurde, verhaftet wurde, erfuhr die Gestapo seinen Namen. Am 20.Juli 1944 wurde Schmitt verhaftet und stand am 12.10.1944 vor dem Volksgerichtshof. Da die mitangeklagte Frau Pechel ihn deckte, wurde er frei gesprochen, aber dennoch ins KZ Dachau überstellt. Auf dem sog. Todesmarsch im Frühjahr 1945 in Richtung Salzburg gelang Schmitt mit Hilfe eines Wächters die Flucht. Bis die US-Armee kam, konnte er sich bei Ordensfrauen in Wolfratshausen verstecken.
Im Juli 1945 kehrte Schmitt nach Köln zurück und wurde vom Kölner Erzbischof Frings zum Diözesanpräses der KAB ernannt, die er wieder aufbaute und in der Folgezeit prägte. Er nahm über das neue Schulungshaus für Funktionäre des Sozialkatholizismus, des Katholisch-Sozialen Instituts in Bad Honnef, Einfluss auf die Sozialpolitik der frühen Bundesrepublik.
Am 23.4.1964 starb Schmitt in Köln. Der KAB war er bis zum Schluss verbunden geblieben.