James est né à Cheshire, dans le Connecticut aux États-Unis. James est le plus vieux d'une famille de trois enfants. Son père est vendeur de téléphone cellulaire et sa mère s'occupe d'un studio de gymnastique. Il a été identifié comme étant dyslexique à la maternelle et il a appris à lire dans une classe spéciale. Il a plus tard été couronné étudiant d'honneur.

Il est devenu comédien car une commotion cérébrale l'a contraint à abandonner le football. Il a fait ses débuts professionnels à l'âge de 16 ans dans une pièce écrite et dirigé par Edward Albec qui s'intitulait Finding the sun. Plus tard, James a abandonné ses études en littératures anglaise à l'université Drew pour jouer dans la série Dawson's Creek.

Quelques petits faits :
- Il a été le colocataire de Joshua Jackson pendant la première saison de Dawson's Creek
- Il affirme que Kevin Williamson est la vraie star de la série.