"Shiba" se odnosi na vrstu malih, četkica koja se nalazi u planinskim regijama Japana. Riječ "shiba" koristi se za opisivanje nečeg malog, kompaktnog ili rustikalnog. U slučaju Shiba Inu, vjerojatno se odnosi na malu veličinu psa i njegovu povezanost sa ruralnim područjima.
"INU" na japanskom jednostavno znači "psa". To je uobičajena riječ koja se koristi za odnose na bilo koju vrstu psa, bez obzira na pasminu.
Dakle, riječ "shiba intu" doslovno se odnosi na "pasji pas" ili "mali rustikalni pas". Ovo ime odražava podrijetlo psa i povezanost sa ruralnim područjima Japana gdje je uzgajana.