Песента е записана през 1994 г., но излиза едва през 2002 г. Тя е последното парче на Кърт Кобейн и това придава особена сила на внушението. Текстът на песента подлежи на интерпретации - музикално предсмъртно писмо или примиряване на човека с неговите демони.
Песента от Nevermind включва най-дългото китарно соло на Кърт Кобейн, който не се слави със страст към този тип изпълнения. Тя е по-мелодична, а Кобейн описва текста като противоречив и насочен към хората и онова, което се очаква от поведението им. Последвалото самоубийство на музиканта придава на фразата от песента "And I swear that I don't have a gun" ("заклевам се, че нямам пушка") много различно звучене, въпреки че не е целенасочено.
Биографът на Кобейн описва това като любовно парче. Първоначално е трябвало да се казва Formula и да бъде изпълнявано от друга група - Retards. Кобейн толкова харесва текста на парчето, че става едно от любимите му за свирене на живо.
Кобейн насочва текста на песента към хората извън ъндърграунд средите, които започват да се появяват на концертите на групата след появата на дебютния им албум "Bleach". Тя е шега с всички онези, които "харесват хубавите песни... но не знаят какво значат". Иронично, парчето се оказва лесно за запомняне и припяване именно от масовата публика.
"Исках да напиша най-смешното поп парче, някога създавано, за да подготвя хората за следващия ни албум", казва Кобейн за тази песен.
Кобейн пише песента след цяла нощ в слушане на албума "Meet The Beatles" без прекъсване. Парчето е свързано с разпокъсаната връзка, която музикантът има с тогавашното си гадже Трейси Марандър.
Твърди се, че All Apologies е посветена на Кортни Лав и Франсис Бийн Кобейн.
"Спокойно, щастливо, удобно", са трите думи, с които Кобейн описва парчето пред биографа си Майкъл Азерад през 1993 година.
Кърт Кобейн пише песента през 1992 година и за известно време я оставя настрана. Когато се мести в Холивуд Хилс заедно с Кортни Лав, се връща към парчето. Биографът на Кобейн Чарлс Р. Крос отбелязва, че стила на Лав като текстописец се усеща силно в тази песен на Nirvana. Името на парчето идва от кутийка с формата на сърце, която Лав подърява на Кърт. Първоначално той нарича песента „Ковчег с формата на сърце". Тя е ключова за последния студиен албум на бандата - In Utero.
Песента разказва за мъж, който се обръща към Бог, когато приятелката му умира, но преплитането на маниакално-депресивните образи с нестабилна, спастична динамика, превръщат Lithium в най-чист пример за звученето на Nirvana.
Колкото и да е предсказуемо, трудно този химн на гръндж музиката да не заеме първото място. Песента е първа в "Nevermind" и... носи името на дезодорант. Приятелка на музиканта пише на стената: "Кърт мирише на Teen Spirit" - това е името на аромата, който тогавашното му приятелка ползва. Месеци след излизането на песента, Кобейн разбира, че има такъв дезодорант. Самото парче е опитът на Кърт да създаде парче в стила на Pixies - група, на която се възхищава.