Die eigentliche Gründung der Band erfolgte durch die Schwestern Charlotte und Johanna Klauser, wobei The Black Sheep zunächst als Schülerband in einer Dreierbesetzung tätig waren und schließlich aufgelöst wurden. Im Jahr 2005 erfolgte eine Neugründung, im Verlaufe derer neben den Gründungsmitgliedern zwei weitere Mitglieder, Aurora Steffens und Patricia Ross, aufgenommen wurden und die Band fortan eine Viererbesetzung aufwies. In dieser Besetzung wurden regelmäßige Auftritte absolviert sowie eine Demo aufgenommen.

Einem breiteren Publikum wurden The Black Sheep durch ihre Teilnahme am Bravo-Otto-Schülerwettbewerb 2005 bekannt, in Verlauf dessen die Band das Finale erreichte und eine Zweitplatzierung errang, sowie durch einen Auftritt als Vorgruppe der deutschen Rockband Silbermond im Jahr 2006.

Im Jahr 2007 traten sie beim überregionalen Bandwettbewerb Popmotor auf. Sie schafften es jedoch nicht über das Achtelfinale hinaus und belegten somit den 32. Rang.

Im Jahr 2008 erhielt die Band einen Plattenvertrag beim deutschen Tochterunternehmen des US-amerikanischen Plattenlabels Roadrunner Records und absolvierte eine Tournee als Vorgruppe der deutschen Mittelalter-Rock-Band In Extremo. Im Zuge der gemeinsamen Tour sang Charlotte Klauser mit dem In-Extremo-Sänger Das letzte Einhorn mehrfach das Duett „Aufs Leben“, welches auch auf der Konzert-DVD von In Extremo, Am goldenen Rhein, veröffentlicht wurde. Das Debüt-Album der Black Sheep mit dem Titel Not Part of the Deal wurde am 27. März 2009 über Roadrunner Records veröffentlicht. Auf dem Album wirkt als Gastsänger Aydo Abay, ehemaliger Sänger der Koblenzer Band Blackmail, an einem Song mit. 2008 wurde zudem ein Auftritt der Band im Kölner Rockclub Underground im Rahmen des WDR-Programmformats Rockpalast mitgeschnitten und ausgestrahlt.

Im Juni 2009 fand eine Tournee statt, bei der The Black Sheep als Vorband für die US-amerikanische Punkrock-Band Social Distortion auftrat. Im August 2009 spielte die Band mehrere Konzerte im Norden Deutschlands, sowie in Westdeutschland, unter anderem auf dem Gamescom Festival 2009 in Köln und im Vorprogramm der amerikanische Rock-/Metal-Band Life Of Agony auf deren "20 Years Strong" Tour. Bei diesen Auftritten ersetzte der Bonner Gitarrist Mario Kleine die Bassistin Aurora Steffens am Bass, da diese eine Handverletzung auskurieren musste. Im November 2009 agierte die Formation als Vorband bei der Deutschlandtour der finnischen Band Sunrise Avenue.

Im Oktober 2010 absolvierte die Band eine Tour als Headliner (betitelt „Crystal Ceiling Tour“) in kleinen Clubs durch Deutschland. Die Bassistin Aurora Steffens wurde auf dieser Tour durch Lea Küpper ersetzt. Am 23. Januar 2011 wurde seitens der Band offiziell bekanntgegeben, dass Steffens die Band verlassen hat und der Besetzungswechsel somit permanent ist.

Im Jahr 2012 fand ein erneuter Besetzungswechsel statt, im Zuge dessen die Bassistin Küpper durch Katja Stoffels ersetzt wurde. Parallel dazu verließ das Gründungsmitglied Ross die Band, und Claudia Lippmann übernahm als Schlagzeugerin. Die Aktivität der Band beschränkte sich im Jahr 2011 vornehmlich wieder auf kleinere Auftritte, sowie eine Tournee in Polen und einige Soloauftritte von Charlotte Klauser in China im Zuge einer Werbekampagne für den Lautsprecherhersteller Monkey Banana.