A principios de 1977, el guitarrista Thurston Moore se mudó a Nueva York y formó un grupo con sus compañeros de piso llamado Room Tone, que pronto cambió su nombre a The Coachmen. Tras la disolución de esta banda, Moore comenzó a improvisar con Stanton Miranda, cuya agrupación, CKM, incluía a Kim Gordon. Moore y Gordon formaron una nueva banda que utilizó varios nombres provisionales —Male Bonding, Red Milk y The Arcadians— antes de adoptar definitivamente el nombre de Sonic Youth justo antes de junio de 1981. El nombre surgió de la combinación del apodo “Sonic” de Fred Smith, guitarrista de MC5, y “Youth”, tomado del artista de reggae Big Youth.
La banda debutó en el Noise Fest de junio de 1981, celebrado en la galería White Columns de Nueva York. Allí, Moore quedó impresionado por la actuación de Lee Ranaldo, quien formaba parte del conjunto de guitarra eléctrica de Glenn Branca. Moore lo invitó a unirse al grupo, formando así un trío que tocó tres canciones sin batería durante el festival. Los tres miembros se turnaban en la batería hasta que conocieron a Richard Edson, quien se convirtió en su primer baterista estable.

Glenn Branca contrató a Sonic Youth como el primer grupo de su sello discográfico, Neutral Records. En diciembre de 1981, la banda grabó cinco canciones en un estudio ubicado en el Radio City Music Hall, material que se lanzó como el mini-LP homónimo Sonic Youth. Aunque el disco fue ampliamente ignorado comercialmente, recibió reseñas positivas de la prensa estadounidense. Tras este lanzamiento, Edson dejó la banda para dedicarse a la actuación y fue reemplazado por Bob Bert.
Durante sus inicios en la escena musical neoyorquina, Sonic Youth entabló una estrecha relación con la banda Swans, con quien compartía espacio de ensayo. En noviembre de 1982, emprendieron su primera gira como teloneros de Swans por el sur de Estados Unidos, seguida de otra por el Medio Oeste. Sin embargo, las tensiones crecieron debido a las críticas constantes de Moore hacia el estilo rítmico de Bert, quien finalmente fue despedido. Fue sustituido por Jim Sclavunos, quien tocó en su segundo álbum, Confusion Is Sex, lanzado en 1983.
Ese mismo año, la banda organizó una gira europea, pero Sclavunos renunció tras pocos meses. Bert fue invitado a regresar con la condición de no ser despedido nuevamente al final de la gira. Aunque en Nueva York la prensa ignoraba en gran medida el noise rock, en Europa Sonic Youth fue bien recibido.
El crítico Robert Christgau los agrupó junto a otras bandas bajo la etiqueta “pigfucker”, lo que generó una breve disputa con Moore, quien incluso cambió el título de una canción en señal de protesta, aunque finalmente ambos resolvieron sus diferencias de forma amistable.

En 1984, durante una gira europea, la banda tuvo un desastroso debut en Londres debido a fallas técnicas, pero la crítica británica respondió con entusiasmo. Al regresar a Nueva York, ya eran lo suficientemente populares como para tocar casi semanalmente. Ese año, Moore y Gordon contrajeron matrimonio y lanzaron Bad Moon Rising, un álbum conceptual que reaccionaba al clima político y social de la época.

Grabado por Martin Bisi, el disco se caracterizaba por transiciones continuas entre canciones, muros de feedback y ritmos contundentes. Incluía la colaboración de Lydia Lunch en el sencillo “Death Valley '69”, inspirado en los crímenes de Charles Manson. Aunque la prensa neoyorquina seguía ignorándolos, en el Reino Unido el álbum vendió 5,000 copias en seis meses.
Debido a desacuerdos con Branca sobre regalías, la banda firmó con Homestead Records en Estados Unidos y con Blast First en el Reino Unido. Harto de interpretar Bad Moon Rising en vivo, Bert abandonó nuevamente el grupo y fue reemplazado por Steve Shelley, exmiembro de The Crucifucks. La banda quedó tan impresionada con su estilo que lo contrató sin audición. Bert mantuvo una relación cordial con el grupo y participó junto a Shelley en el videoclip de “Death Valley '69”.
Sonic Youth admiraba al sello independiente SST Records y finalmente firmó con él a principios de 1986. Grabaron EVOL con Martin Bisi, un álbum que marcó una evolución en su sonido: más melódico, con letras centradas en figuras de la cultura pop como Madonna y Marilyn Monroe, y con la sólida base rítmica aportada por Shelley.

El disco también contó con la participación del bajista Mike Watt, a quien la banda animó a viajar a Nueva York tras la muerte de su compañero D. Boon. EVOL les dio visibilidad nacional y atrajo la atención de la prensa mainstream.
En 1987 lanzaron Sister, un álbum conceptual parcialmente inspirado en el escritor Philip K. Dick. Este trabajo refinó aún más su mezcla de estructuras pop y experimentación, vendió 60,000 copias y fue el primero en entrar al Top 20 de la encuesta Pazz & Jop del Village Voice. A pesar del éxito crítico, la banda se mostró insatisfecha con SST por cuestiones financieras y administrativas, por lo que decidió firmar con Enigma Records, distribuido por Capitol y parcialmente propiedad de EMI.
En 1988 lanzaron Daydream Nation, un doble LP aclamado universalmente. El álbum quedó segundo en la encuesta Pazz & Jop, encabezó listas de fin de año en publicaciones británicas como NME y Melody Maker, y en 2005 fue incluido en el Registro Nacional de Grabaciones de la Biblioteca del Congreso. Su primer sencillo, “Teen Age Riot”, tuvo una difusión significativa en radio universitaria y de rock moderno. Aunque fue considerado uno de los mejores álbumes de la década, su distribución fue deficiente.

Moore calificó a Enigma como “una mafia de poca monta”, lo que impulsó a la banda a buscar un contrato con un sello mayor.
En 1990, Sonic Youth lanzó Goo con Geffen Records, su primer álbum en un sello importante. Incluía el sencillo “Kool Thing”, con la participación de Chuck D de Public Enemy, y fue percibido como más accesible que sus trabajos anteriores. En 1992, lanzaron Dirty en DGC, un álbum con influencias políticas y referencias al asesinato de su amigo Joe Cole. Contó con la colaboración de Ian MacKaye y con ilustraciones de Mike Kelley. El video de “100%” fue dirigido por Spike Jonze y protagonizado por Jason Lee.
En 1993, contribuyeron con la canción “Burning Spear” al álbum benéfico contra el SIDA No Alternative. En 1994, lanzaron Experimental Jet Set, Trash and No Star, su álbum mejor posicionado en listas estadounidenses hasta ese momento, alcanzando el puesto 34 en el Billboard 200. Incluía el sencillo “Bull in the Heather”, pero no hubo gira completa debido al nacimiento de su hija, Coco Hayley Gordon Moore. Ese mismo año, grabaron una versión de “Superstar” de The Carpenters para un álbum tributo, que años después aparecería en la película Juno.

En 1995, encabezaron el festival Lollapalooza junto a Hole y Pavement, consolidando su estatus como iconos del rock alternativo. Fueron parodiados en un episodio de Los Simpson titulado “Homerpalooza”, para el cual también compusieron la música de cierre. Mientras tanto, los miembros de la banda desarrollaban proyectos paralelos: Gordon con la marca de ropa X-Girl y la banda Free Kitten; Ranaldo y Moore con músicos experimentales; y Shelley con su sello Smells Like Records y colaboraciones con artistas como Cat Power.

A partir de los álbumes A Thousand Leaves y Washing Machine, Gordon comenzó a tocar la guitarra con más frecuencia, lo que dio lugar a una formación de tres guitarras. Washing Machine marcó un alejamiento de sus raíces punk, con secciones de jam extensas como “The Diamond Sea”, que superaba los 19 minutos.
A finales de los 90 y principios de los 2000, lanzaron una serie de discos experimentales bajo su propio sello SYR, con títulos y notas en distintos idiomas. Estos trabajos eran mayormente instrumentales e improvisados. Jim O'Rourke, quien participó en SYR3, se convirtió en miembro oficial de la banda. Algunas piezas de los lanzamientos SYR se incorporaron a sus conciertos y a álbumes posteriores.
A Thousand Leaves (1998) presentaba una atmósfera onírica y jams prolongados. Su único sencillo, “Sunday”, tuvo un video dirigido por Harmony Korine y protagonizado por Macaulay Culkin. SYR4, titulado Goodbye, 20th Century, reinterpretó obras de compositores vanguardistas como John Cage y Steve Reich, aunque recibió críticas mixtas.
En julio de 1999, mientras estaban de gira en California, todo su equipo fue robado. Esto los obligó a reiniciar con nuevos instrumentos y grabaron NYC Ghosts & Flowers, abriendo para Pearl Jam en 2000. En 2001, colaboraron con la cantante francesa Brigitte Fontaine en su álbum Kékéland. Tras los ataques del 11 de septiembre de 2001, varios miembros de la banda estuvieron cerca del lugar de los hechos. Posteriormente, participaron en el festival All Tomorrow’s Parties en Los Ángeles, reprogramado para marzo de 2002.

En 2002 lanzaron Murray Street, considerado un regreso a la forma, revitalizado por la incorporación plena de O'Rourke, quien tocaba bajo, guitarra y sintetizador. En 2004, publicaron Sonic Nurse, similar en estilo y también bien recibido. Incluía “Pattern Recognition”, inspirada en la novela de William Gibson, y “Mariah Carey and the Arthur Doyle Hand Cream”, una sátira cantada por Gordon. El álbum tuvo una promoción televisiva en programas como los de Conan O’Brien y Jay Leno. Aunque estaban programados para la gira Lollapalooza 2004, esta fue cancelada por bajas ventas.
En 2005, se informó que parte del equipo robado en 1999 había sido recuperado. También se confirmó la salida inminente de O'Rourke. En 2006, Mark Ibold, exmiembro de Pavement, se unió como bajista para la gira. Ese mismo año lanzaron Rather Ripped, un álbum más conciso, melódico y convencional en estructura, alejado de sus experimentaciones anteriores. Fue aclamado por la crítica, incluido por Rolling Stone como el tercer mejor álbum del año. Tocaron en festivales como Bonnaroo y Lollapalooza. En diciembre publicaron The Destroyed Room: B-Sides and Rarities, su último lanzamiento con Geffen.

En 2007, Sonic Youth se convirtió en una de las primeras bandas de rock reconocidas en tocar en China, gracias a la promotora Split Works. En 2008, relanzaron Master-Dik en CD exclusivamente en su tienda en línea y publicaron dos nuevas ediciones de la serie SYR: SYR7 en arpitano y SYR8 en danés. También lanzaron el recopilatorio Hits Are for Squares en asociación con Starbucks Music, con selecciones de celebridades y una nueva canción, “Slow Revolution”.
Ese mismo año, se publicó la biografía Goodbye 20th Century: A Biography of Sonic Youth, escrita por David Browne, con entrevistas a la banda y a numerosos colaboradores. En agosto, estrenaron dos nuevas canciones en su último concierto en McCarren Park Pool y anunciaron planes para grabar un nuevo álbum. Al no renovar con Geffen, firmaron con Matador Records. En 2009 lanzaron The Eternal, producido por John Agnello, con una edición en vivo exclusiva para quienes preordenaron. Además, compusieron la banda sonora para la obra de la Merce Cunningham Dance Company, interpretada en abril de 2009 en Brooklyn.
En 2010, musicalizaron la película francesa Simon Werner a Disparu, cuya banda sonora se publicó en 2011 como SYR9, la última entrega de la serie SYR. Finalmente, el 14 de octubre de 2011, Kim Gordon y Thurston Moore anunciaron su separación tras 27 años de matrimonio, generando incertidumbre sobre el futuro de la banda, a pesar de que habían insinuado planes de grabar nuevo material.