Arbus a fost fotograf în Armata Americană înainte să devină actor. El s-a căsătorit cu fotografa Diane Nemerov în 1941, dar căsnicia lor nu a durat mult. După ce a divorţat, Arbus a început o carieră de actor şi a jucat în mai multe filme, printre care şi „Greasers Palace” în regia lui Robert Downey Sr.
A devenit cunoscut cu rolul psihiatrului Sidney Freedman în serialul „M.A.S.H.”, în 1973, la un an după debutul acestui serial de comedie cu accente dramatice, inspirat de războiul din Coreea.
El a avut apariţii şi în numeroase serii de televiziune, printre care „M.A.S.H.”, „The Rockford Files”, „Starsky And Hutch” sau „Law & Order”. Ultimul său rol de televiziune a fost acela dintr-un episod al serialului de comedie „Curb Your Enthusiasm”, în 2000.
Arbus are trei fiice, Amy şi Doom din căsnicia cu Diane nemerof şi Arin, de la cea de-a doua soţie a sa, actriţa Mariclare Costello.