Lider Babyshambles ma kolekcję kawałków, które stworzył z Dot Allison, jednak na razie nie ujrzą one światła dziennego. – Kilka lat temu napisaliśmy z Pete’em sporo świetnych piosnek. On jest naprawdę znakomitym twórcą i poetą – mówi szkocka wokalistka. – Niestety nie możemy ich wydać. Problem jest taki, że Kate mu nie pozwoliła. A przynajmniej tak mi powiedziano.
Artystka wyjawiła, że większość materiału stanowią „piękne, akustyczne numery”. Muzycy planowali wydać album z duetami, który promować miał singel „I Wanna Break Your Heart”.
Debiutancki longplay Babyshambles, „Down In Albion”, ukazał się w listopadzie 2005 roku.