Prince zarejestrował „Holly Rock” pod koniec kwietnia 1985 roku, w studiu Sunset Sound w Los Angeles. W tym samym tygodniu powstało też „Kiss”, które Prince zamieścił na płycie „Parade”.
„Holly Rock” powstało z myślą o filmie „Krush Groove” (1985). Prince oddał Sheili E. prawa autorskie i producenckie, ale tak naprawdę był współautorem i producentem utworu. Choć w chwili premiery piosenka nie stała się hitem, jej pełna 6-minutowa zyskała wśród fanów kultowy status z uwagi na wyczerpany nakład soundtracku.
„Originals” to pierwsza związana z Prince’em płyta, na której ukazało się „Holly Rock”. Również po raz pierwszy nagranie zostało opublikowane cyfrowo.
„Originals” to 15 utworów, w tym 14 wcześniej niepublikowanych nagrań, które pokazują jak wielką rolę Prince odegrał w karierze innych artystów. W zestawie znalazły się oryginalne wersje takich utworów jak „The Glamorous Life”, „Manic Monday”, „Jungle Love”, „Love… Thy Will Be Done”, „Make-Up” czy „Baby, You’re A Trip”. Na płytę trafiła ponadto wersja przeboju „Nothing Compares 2 U” z 1984 roku, która w 2018 roku ukazała się na singlu.