James stammt ursprünglich von den Amerikanischen Jungferninseln. Sie wuchs als ältestes von neun Kindern auf. In ihrer Heimat betrieb ihr Vater ein Restaurant sowie einen Food Truck, in dem James bereits als Siebenjährige arbeitete.

Im Alter von 16 Jahren verlegte sie ihren Wohnort auf das Festland der USA. Sie wohnte zunächst mit ihrer Mutter in Maryland, lebte danach 15 Jahre in New York und wohnte anschließend in Illinois. Nach der Ausstrahlung der 1. Staffel von Abbott Elementary im Jahr 2021 verlegte James teilweise ihren Wohnort nach Los Angeles. Sie lebt seitdem gleichermaßen in New York und Los Angeles.

Vor ihrer beruflichen Karriere im Bereich Comedy studierte James Modedesign am Fashion Institute of Technology in New York, beendete ihr Studium dort aber nicht. Während ihrer Zeit an der Hochschule gründete sie den Essenslieferservice „Joy of Not Cooking“ und arbeitete u. a. als Partyorganisatorin für eine PR-Firma für Mode.

James ist Mutter zweier Söhne.