Gli Harvey Milk sono stati formati negli anni '90 in Georgia dal chitarrista Creston Spiers e dal bassista Stephen Tanner. Il loro primo album, Harvey Milk (2010), registratato nel 1994, venne pubblicato solo 16 anni dopo.
My Love Is Higher (Yesha, 1996) è un album progressive-metal che si basa su testi depressi, voci torturate, riff malvagi e percussioni maestose. L'ouverture strumentale di otto minuti A Small Turn Of Kindness dice tutto: dopo alcune ripetizioni minimaliste à la Terry Riley e un assolo di violoncello spastico, riff di chitarra horror si scontrano con gelidi ritmi di batteria, e dall'attrito nasce una virulenta jam con sfumature funk-jazz.
Il goffo rock'n'roll di Where The Bee Sucks There Suck I fa sembrare musicali gli MC5 (si dia merito al batterista per il senso di smarrimento). La musica metal a fuoco rapido dei sette minuti di Jim's Polish è così contorta che suona completamente sbagliata.
Al contrario, una dolce ninna nanna esplode in un riff metal di cinque secondi nei sette minuti di The Anvil Will Fall e poi il pezzo si trasforma in una maestosa aria orchestrale, piena di archi celestiali e fiati tonanti, per poi mutare nuovamente in una variazione ubriaca dell'aria in un contesto heavy metal. My Father's Life's Work consiste in dieci minuti di agonia ininterrotta, con la chitarra che scolpisce ogni nota (sostenuta) per pura disperazione, e la voce che geme incoerentemente (tutto sommato, una sorta di massimizzazione del blues). I 13 minuti di F.S.T.P sono ancora più dilatati e sconnessi, anche se il canto lento sembra sempre sul punto di diventare un inno. La dinamica, che alterna continuamente volume alto e basso, ritmo lento e veloce, tono brutale e gentile, è presa in prestito da Type O Negative, Big Black e, soprattutto, Melvins, ma soprattutto queste canzoni sono creature meschine e senza precedenti.
Rispetto ad altri fornitori di suoni pesanti, come Earth e Sunn O))), gli Harvey Milk erano meno ripetitivi, meno monolitici e molto più ostili. L'ululato di Spier su All The Live Long Day ben rappresenta la loro musica: non è soltanto senza melodia, è veramente brutta e insopportabile.

Courtesy And Good Will Toward Men (Yesha, 1997 - Tumult, 2000 - Relapse, 2006) esagera tutti gli elementi della loro musica. Il risultato è una lunga, crudele, lenta agonia; una terrificante sinfonia di dolore che corrisponde alle vette degli Swans. La lunga distorsione di chitarra che apre i dieci minuti di Pinnochio's Example è una metafora appropriata: alla fine si evolve in un riff, ma non supera mai la propria incapacità di articolarsi oltre quel suono primordiale. Gli undici minuti strumentali di My Broken Heart Will Never Mend sono un campo di battaglia (ritmi marziali lenti, riff maestosi) da cui, ancora una volta, si irradiano soltanto deboli segnali. Vero, le altre canzoni sono un po' meglio arricchite. Un delicato strimpellio conduce al canto e al jamming solenne e galattico di Brown Water, (solo i decibel lo separano dalla musica indiana più trascendentale). L'ossessivo ritmo marziale di Sunshine No Sun Into the Sun conduce in caverne di dissonanza e grugniti. The Boy With Bosoms è una sorta di meditazione Hendrix-iana. Tuttavia l’album rimane fondamentalmente un criptico buco nero da cui si irradia solo una radiazione di fondo molto confusa. È meno terrificante di My Love Is Higher, con pezzi che non raggiungono proprio la giugulare, ma piuttosto fluttuano senza meta in uno strano spazio post-psichedelico.

The Pleaser (Reproductive, 1998) vanta brani ruggenti come Down, Misery e soprattutto U.S. Force, ma è soprattutto un esercizio di imitazione degli anni '70. Sembra una parodia dell'hard rock dei Led Zeppelin (Get It Up And Get It On, Lay My Head Down) e dei Kiss (Rock And Roll Party) dall'inizio alla fine. Questo giochetto leggero pose di fatto fine alla loro carriera.

The Singles (Relapse, 2003) riassume la loro carriera.
The Kelly Sessions (Crowd Control Activity, 2004) raccoglie versioni alternative di materiale già pubblicato.

Anthem (Chunklet, 2006) è una raccolta su DVD di spettacoli dal vivo della durata di tre ore e mezzo.

Dopo una lunga pausa, la band tornò con Special Wishes (Megablade, 2006), che includeva diversi momenti di pathos (la jam Once In A While, il prog-rock Instrumental, la ballata potente Old Glory), ma nel complesso hanno minimizzato il lato feroce del passato.

La transizione verso un nuovo stile "doom" fu facilitata dall'aggiunta di Joe Preston, il bassista di Melvins ed Earth, alla chitarra.
L'arrangiamento e la dinamica diventano ancora più sofisticati su Life The Best Game in Town (Hydra Head, 2008), con la voce melodrammatica di Creston Spiers e le percussioni apocalittiche di Kyle Spence che spesso rubano la scena alla chitarra di Joe Preston. La stereotipata jam da stoner (il cui miglior esempio è Decades, il cui controtempo lo fa sembrare un remix al rallentatore di When the Levee Breaks dei Led Zeppelin) è stata distorta e deformata in un'esperienza quasi spirituale in brani come Death Goes to the Winner di otto minuti (con frequenti pause simili a un canto funebre e un pausa strumentale che è semplicemente un muro di feedback) e Roses (con la sua imponente aria operistica). Altri riferimenti ai Led Zeppelin emergono nel frenetico fraseggio chitarristico di After All I've Done For You e nell'acrobatico rock'n'roll di Barn Burner. Il foraggio standard agonizzante dei Black Sabbath è dispensato solo da Skull Socks & Rope Shoes e Goodbye Blues (che si chiude con un finale da cartone animato, forse un'autoparodia). L'orecchiabile Motown e i numeri rock (inclusa una bizzarra cover di We Destroy the Family) dei Fear mostravano una band capace di una gamma più ampia di stili.

Il breve A Small Turn Of Human Kindness (Hydra Head, 2010) abbandonò ogni pretesa artistica e si abbandonò al funebre destino che era sempre stata la loro specialità, raggiungendo il picco con il travolgente (per quanto travolgente possa essere il doom-metal) I Did Not Call Out. Tuttavia, troppo era prevedibile, e alla fine I Know This is All My Fault, con sfumature di synth, e I Know This Is No Place For You, con sfumature di mellotron, suonavano interessanti semplicemente perché erano "più carini" del doom.

Cerberic Doxology (Anthem Records, 2007) era stata una collaborazione tra Joe Preston e Daniel Menche.