Джеймс Лоуренс Брукс родился
9 мая 1940 года в Бруклине, Нью-Йорк, в еврейской семье торговцев Дороти и Эдварда Брукса. Отец Брукса ушел из семьи, когда узнал о беременности своей жены, контакты с ним Джеймс потерял в возрасте двенадцати лет. Джеймс вырос в Северном Бергене, штат Нью-Джерси, где окончил Старшую Школу Вихаукена. В Старшей Школе Джеймс Брукс работал в газете, для которой брал интервью у различных знаменитостей, например у Луи Армстронга.