Nach vierjähriger handwerklicher Ausbildung als Steinmetz und Besuch des Polytechnikums in Stuttgart arbeitete Schmidt von 1843 als Geselle, später als Werkmeister bis 1856 in der Dombauhütte in Köln. Ein dritter Preis im Wettbewerb für den Bau der Votivkirche in Wien 1855 hatte seine Berufung als Professor an die Mailänder Kunstakademie und 1859 an die Akademie der bildenden Künste in Wien zur Folge. Ein erster Preis im Wettbewerb für das Berliner Rathaus 1857 trug dazu bei.

Wien wurde sein Hauptarbeitsfeld, wo er neben seiner Tätigkeit als Dombaumeister des Stephansdoms mehrere Kirchen im neugotischen Stil errichtete. Als sein Hauptwerk sah Schmidt den Neubau des Wiener Rathauses (1872-82) an, für den er im Wettbewerb den ersten Preis erhalten hatte, ein Bauwerk, in dem sich die Baukunst des 19. Jahrhunderts — Stilelemente der Renaissance mit der Formenwelt der Gotik mischend und damit die Epoche des Eklektizismus einleitend — noch einmal in einer großen Leistung imponierend darstellte.

Das umfangreiche Lebenswerk fand vielseitige Anerkennung, so 1886 durch Verleihung des Freiherrntitels.