Als einziger Sohn seines berühmten Vaters Friedrich Wilhelm Herschel (1738-1822), dem wir die ersten auf Beobachtungen gegründeten Vorstellungen vom Bau des Milchstraßensystems und der Bewegung der Sonne verdanken, genoß er eine hervorragende Ausbildung. Schon als Einundzwanzigjähriger wurde er in die Royal Society aufgenommen und erhielt 1821 die höchste Auszeichnung dieser Gesellschaft, die Copley-Medaille.

Nach einem kurzen juristischen Intermezzo (1814/15) widmete er sich ganz der Physik und Astronomie. In Fortführung der Lebensarbeit seines Vaters dehnte er die Himmelsdurchmusterung auf die bis dahin völlig vernachlässigte südliche Halbkugel aus. Vom Kap der Guten Hoffnung, wohin er eine vierjährige Expedition (1834-1838) ausgerüstet hatte, brachte er ein umfangreiches Material zurück, das zusammen mit dem von seinem Vater am Nordhimmel erarbeiteten einen Überblick über die Verteilung der Sterne, Sternhaufen und Nebelflecke in allen Richtungen des Raumes ermöglichte. 

Elf Kataloge von Doppelsternen, ein Katalog von 5079 Nebeln und Sternhaufen (1864) und ein posthum veröffentlichter Katalog von 10300 Doppel- und Mehrfach-Sternen (1874) sind die reife Frucht dieser Tätigkeit, die weltweite Anerkennung gefunden hat. 

Seine letzte Ruhestätte hat Sir John Herschel in der Westminster Abbey neben Sir Isaak Newton gefunden.