Logo ele foi contratado para trabalhar na Broadway, onde além de cantor, pode demonstrar suas habilidades cômicas e em 1951 estreou no cinema, atuando em Homens do Deserto (Ten Tall Men, 1951), estrelado por Burt Lancaster.
Era um papel pequeno, mas no ano seguinte, interpretou Aladin em A Princesa de Damasco (Thief of Damascus, 1952).
Em 1952 ele atuou em New Faces, um espetáculo da Broadway que fez muito sucesso. A peça foi filmada, e lançada nos cinemas com o nome de New Faces (1954) e era estrelada pela cantora e atriz Eartha Kitt. Na Broadway, ele conheceu Eddie Cantor, que se tornou um grande incentivador de sua carreira. Em 1965 Clary casou-se com Natalie Cantor, a filha de Eddie. Eles ficaram juntos até a morte dela, em 1997.
Na década de 50 ele atuou muito no teatro e televisão, mas não fez mais filmes. Ele só retornou ao cinema em 1963, em Amor Daquele Jeito (a New Kind of Love), estrelado por Paul Newman e Joanne Woodward.
Ao longo de sua carreira, ele fez poucos filmes, trabalhando mais na televisão. E foi na televisão que ele fez seu papel mais famoso, o cabo francês LeBeau em Guerra, Sombra e Água Fresca (Hogan’s Heroes, 1965-1971).
No primeiro ano da série, entretanto, ele não estava contente com seu papel, e pediu para ser desligado. Mas os produtores o convenceram a ficar, e deram um papel maior para ele, além de permitir que ele cantasse em diversos episódios.
Clary foi criticado por interpretar uma comédia sobre um campo de prisioneiros. Em sua defesa, ele declarou que era um Stalag e não um campo de concentração. Stalag eram campos para prisioneiros militares, e Clary, sem desmerecer os soldados prisioneiros, afirmou que a situação deles era muito mais tranquila que os campos de extermínio. Além disto, o papel permitia a ele interpretar um membro da resistência contra o nazismo.
Werner Kemplerer, o Coronel Klink, também era judeu. Nascido na Alemanha, ele e sua família fugiram do Holocausto, migrando para os Estados Unidos, em 1935. Clary e Kemplerer foram grandes amigos, até a morte do ator, em 2000.
Do elenco, os atores John Banner e Leon Askin também foram afetados pelo Holocausto. Banner, o Sargento Schultz, era judeu austríaco, e foi um popular ator teatral em seu país. Em 1938, após Hilter anexar a Austria à Alemanha, conseguiu fugir para os Estados Unidos.
Askin, o General Burkhalter, também era judeu austríaco, e outro grande nome do teatro em seu país. Em 1940 ele foi preso e torturado, mas conseguiu fugir, migrando também para os Estados Unidos. Seus pais foram mortos no campo de concentração de Treblinka. As cicatrizes no rosto do ator são marcas deixadas pelos soldados nazistas.
Com a morte de Clary, o ator Kenneth Washington tornou-se o último integrante do elenco de Guerra, Sombra e Água Fresca ainda vivo, sendo que Washington entrou apenas na última temporada do programa.
Após a série ser cancelada, Robert Clary atuou pouco, fazendo participações em séries de televisão. Ele foi do elenco regular da novela Days Of Your Lives, em 1987.
No cinema, ainda interpretou Joseph Spah, em O Dirigível Hindenburg (The Hinderburg, 1975). Spah é um personagem real, e era ator (seu nome artístico era Ben Dova). Ele foi acusado de ter sabotado o dirigível alemão, sendo inocentando após um julgamento. Leia mais sobre ele aqui.
Seu último longa metragem foi Lembranças de Um Amor (Remembrance of Love, 1982), que mostrava o reencontro de sobreviventes do Holocausto, muitos anos depois.
Em 2001, após narrar um curta-metragem, o ator se aposentou das telas. Ele escreveu suas memórias, e passou a viajar o mundo, contando suas experiências nos campos de concentração. Ele também voltou a pintar, retomando os estudos feitos no começo de sua carreira.
