Artysta nie chciał za życia sprawdzać, czy dziecko żony jest jego synem. Jednak dla dobra rodziny postanowił, że po jego śmierci należy sprawdzić czy rzeczywiście był ojcem 5-letniego Jamesa Josepha Browna II.
Wokalista miał cztery żony. Czwarta z nich, matka Jamesa Josepha Browna II, Tommy Rae ma dziś 37 lat. Para pobrała się w styczniu 2002 roku. Syn urodził się w czerwcu 2001 roku. Małżeństwo nie układało się jednak najlepiej. W 2004 roku muzyk został oskarżony przez żonę o pobicie. Sam piosenkarz zwrócił się wówczas do sądu o unieważnienie małżeństwa.
W pogrzebie wokalisty udział wzięło blisko 9 tysięcy osób. Brown umarł 25 grudnia w wyniku komplikacji po zapaleniu płuc. Miał 73 lata.