Sickel studierte zuerst in Berlin und promovierte bei Heinrich Leo 1850 in Halle. Entscheidend war der Einfluß Karl Lachmanns auf ihn, bei dem er die Methoden der philologischen Quellenkritik kennenlernte. 1850-1852 bildete er sich in der Pariser Ecole des Chartes weiter, um 1855 als Dozent für historische Hilfswissenschaften in Wien bestellt zu werden. 1857 übernahm er eine a.o. Professur am Institut für österreichische Geschichtsforschung, dessen Direktor er 1869 wurde und das er zur bedeutendsten Pflegestätte der historischen Hilfswissenschaften im deutschen Kulturgebiet ausbaute. 1890 wurde er Vorstand des auf seine Initiative begründeten Österreichischen Historischen Instituts in Rom. 1901 schied er aus dem aktiven Dienst.

Sickels größte und bleibende Leistung ist die Entwicklung einer auf paläographischen Kriterien aufbauenden Diplomatik und Urkundenlehre, die er selbst seiner bahnbrechenden Ausgabe der Königs- und Kaiserurkunden von Konrad I. bis zum Tod Ottos III. (911-1002) und einer Reihe anderer großer Editionen zugrunde legte.