Tirpitz je rođen u Küstrinu (sada Kostrzyn nad Odrą, Poljska) u pokrajini Brandenburg, Pruska. Pridružio se pruskoj mornarici 1865. i sudjelovao u Francusko-pruskom ratu 1870–71. Nakon rata obnašao je razne stožerne dužnosti i zapovjedništva te napredovao u činovima.
Godine 1897. Tirpitz je imenovan državnim tajnikom Carske mornarice , naslijedivši admirala Friedricha von Hollmanna. Odmah je krenuo u provedbu svojih ambicioznih planova za proširenje njemačke mornarice, vjerujući da je jaka mornarica neophodna za nacionalnu sigurnost i gospodarski prosperitet Njemačke.
Pod Tirpitzovim vodstvom, njemačka mornarica je brzo rasla. Povećao se broj bojnih brodova i krstarica, a uvedene su i nove vrste ratnih brodova, poput podmornica i razarača. Tirpitz je također nadgledao izgradnju mreže pomorskih baza i pristaništa.
Tirpitzov program širenja mornarice opteretio je njemačke resurse i izazvao napetost s Britanijom, koja se osjećala ugroženom zbog rasta njemačke mornarice. Godine 1906. Britanija je porinula Dreadnought, revolucionarni novi tip bojnog broda koji je sve postojeće bojne brodove učinio zastarjelima. Tirpitz je odgovorio naredivši izgradnju nove klase bojnih brodova, klase Nassau, koji su bili naoružani snažnijim topovima i debljim oklopom od Dreadnoughta.
Englesko-njemačka utrka u pomorskom naoružanju nastavila se sve do izbijanja Prvog svjetskog rata 1914. Njemačka mornarica, pod Tirpitzovim zapovjedništvom, odigrala je značajnu ulogu u ratu, ali je na kraju poražena od strane Kraljevske mornarice.
Nakon rata Tirpitz se povukao iz mornarice i ušao u politiku. Bio je zastupnik u Reichstagu od 1924. do 1928. i bio je glasan kritičar Weimarske republike. Tirpitz je umro u Ebenhausenu u Bavarskoj 1930.
Tirpitz je i dalje kontroverzna osoba. Neki mu se dive zbog njegove dalekovidnosti i odlučnosti u izgradnji njemačke mornarice, ali ga također kritiziraju zbog njegove uloge u anglo-njemačkoj utrci u pomorskom naoružanju i izbijanju Prvog svjetskog rata.