Erman war Schüler von Georg Ebers in Leipzig und von Richard Lepsius in Berlin. Dann arbeitete er in der Bibliothek und bald darauf als Assistent am Münzkabinett der Königl. Museen, war von 1884 bis 1914 Direktor des Ägyptischen Museums und daneben seit 1892 Professor an der Universität, an der er bis zu seiner Emeritierung 1923 mit großem Erfolg lehrte.

Das 1885-1886 erschienene und später neu aufgelegte (mit Hermann Ranke) Buch "Ägypten und ägyptisches Leben im Altertum" hat — neben dem über "Ägyptische Religion" — Erman weithin bekannt gemacht. Seine überragende Leistung beruhte jedoch darauf, daß er den Bau und die Grammatik der altägyptischen Sprache als erster systematisch erforschte und darüber grundlegende, bis heute im wesentlichen gültige Arbeiten vorlegte: 1878 die Pluralbildung im Ägyptischen, 1880 die Neuägyptische Grammatik, 1894 Ägyptische Grammatik. Als Krönung schuf er im Auftrag der Berliner Akademie ab 1897 (später zusammen mit Hermann Grapow) das große Wörterbuch der ägyptischen Sprache.