Sivi kitovi prvenstveno se hrane Malim rakovima nazvan amfipodi koji žive na oceanskom dnu. Ovi amfipodi su maleni, otprilike veličine zrna riže i čine većinu prehrane sivog kita.
Oni također jedu:
* Ostali mali beskralješnjaci: To može uključivati male škampe, crve i druge rakove.
* riba: Iako nisu tako uobičajeni, sivi kitovi mogu povremeno jesti male ribe koje nalaze na morskom dnu.
Da bi se nahranili, sivi kitovi koriste svoje ploče za filtriranje vode i uhvatite male beskralješnjake. To čine usisavanjem u velikim količinama sedimenata i vode, a zatim prisiljavajući vodu kroz svoje tanjure, ostavljajući hranu iza sebe.
Zanimljivo je da sivi kitovi migriraju velike udaljenosti kako bi pronašli svoju hranu. Ljetne mjesece provode hranjenjem u hladnim, hranjivim sastojcima, a arktički i subarktički, a zatim prelaze na jug u toplije vode za uzgoj zimi.