Johann Schmitt wurde am 6. Juni 1815 als Sohn des Landwirts Jakob Wilhelm Schmitt in Ensheim  geboren.

Von 1831 bis 1833 besuchte er das Lehrerseminar in Friedberg. Zunächst unterrichtete Schmitt an privaten Lehranstalten. Schmitts Anstellung als Lehrer erfolgte 1841, 1843 trat er eine Stelle an der Gemeindeschule in Fränkisch-Crumbach an. Während seiner fünfjährigen Tätigkeit gründete er den ersten Lehrerverein des Bezirks Lichtenberg. Er gab das „Schulblatt für die Lehrer des Großherzogthums Hessen“ heraus, auf sein Betreiben hin gründete sich im Sommer 1848 der Hessische Landeslehrerverein. Schmitt war später sowohl an der Neugründung des Hessischen wie des Deutschen Lehrervereins beteiligt. Er wurde zum Bezirksrat im Regierungsbezirk Dieburg und zum Abgeordneten der Zweiten Kammer des Hessischen Landtags für den Bezirk Groß-Bieberau gewählt.

1849 kam Schmitt an die Knabenschule nach Bessungen. 1850 wurde ihm die Redaktion des „Schulblatts“ untersagt. Schließlich wurde er aus dem Schuldienst entlassen. Er nahm die Redaktion des „Schulblatts“ wieder auf  und wurde 1853 aufgrund eines politisch unliebsamen Leitartikels zu einem halben Jahr Gefängnis verurteilt. In finanzieller Not bemühte er sich um  Wiedereinstellung in den Schuldienst. 1856 bekam er eine Stelle als Vikar in Nierstein, danach wurde er nach  Gräfenhausen und nach Hergershausen versetzt. Er gründete 1860 mit dem „Schulboten für Rhein-Main“ ein neues Lehrerblatt und verfasste zahlreiche schulpolitische Schriften und Schulbücher.

1871 wurde er schließlich auf eigenen Wunsch hin aus dem Schuldienst entlassen.

In fortgeschrittenem Alter widmete sich Johann Schmitt besonders den Aufgaben des Landeslehrervereins. Im Rahmen des „Schulboten“ veröffentlichte er weiterhin kritische Beiträge zum Schulwesen.

Schmitt setzte sich immer wieder aktiv für die Belange Not leidender Bevölkerungsteile ein. Er drängte auf die Einrichtung einer Sterbekasse, die 1864 als Ludwig- und Alice-Stiftung in Kraft trat und forderte er die Etablierung eines Lehrer-Waisenstifts. Er machte sich für bessere Bildung der ländlichen Bevölkerung sowie für die Volksbildung stark.

Am 6. August 1893 starb Johann Schmitt.