Romita nasceu em Nova Iorque, filho de John Romita Sr., um dos mais influentes co-criadores de histórias do Homem-Aranha entre as décadas de 1960 e 1970. Iniciou a sua carreira profissional na Marvel UK, onde realizou ilustrações para capas de reimpressões, antes de se estrear nos Estados Unidos com a história “Chaos at the Coffee Bean!”, publicada no Amazing Spider-Man Annual #11, em 1977.

Ganhou rapidamente notoriedade a partir de 1978, ao trabalhar em Homem de Ferro com o argumentista David Michelinie e o artista Bob Layton. No início da década de 1980, passou a integrar a equipa criativa de Amazing Spider-Man e foi também o artista responsável pelo lançamento da série Cristal. Em colaboração com Roger Stern, co-criou o vilão Duende Macabro e ilustrou uma das histórias mais memoráveis do confronto entre o Homem-Aranha e o Juggernaut.

Entre 1983 e 1986, trabalhou em Uncanny X-Men com Chris Claremont, período que voltou a repetir em 1993, sempre com forte reconhecimento do público e da crítica. No final dos anos 1980 e início dos anos 1990, destacou-se em Demolidor, numa colaboração marcante com Ann Nocenti e o arte-finalista Al Williamson, onde refinou significativamente o seu estilo artístico. Mais tarde, voltou a trabalhar com Frank Miller na obra Daredevil: The Man Without Fear, uma revisitação da origem da personagem.