En mayo de 1953, Ahmet Ertegun de Atlantic Records se acercó a Clyde McPhatter después de que este dejara los Dominoes y lo contrató para el incipiente sello de R&B y jazz para que formara un nuevo grupo. McPhatter reclutó primero a varios miembros de su grupo anterior, los Mount Lebanon Singers, pero finalmente se decantó por Gerhart y Andrew Thrasher en el barítono y segundo tenor, respectivamente, Bill Pinkney en el tenor alto, Willie Ferbee en el bajo y Walter Adams en la guitarra. Este es el grupo que produjo el primer éxito del grupo: "Money Honey". Los Drifters tuvieron varios éxitos más antes de que McPhatter fuera reclutado en mayo de 1954, tras lo cual siguió una carrera en solitario. Vendió su parte del grupo a George Treadwell, un antiguo trompetista de jazz y marido de la legendaria cantante Sarah Vaughan, que se convirtió en el mánager del grupo.

McPhatter fue sustituido primero por David Baughn, que había participado en la primera sesión de grabación del grupo. Aunque su voz era similar a la de McPhatter, su comportamiento errático lo hizo inadecuado a los ojos de los ejecutivos de Atlantic Records. Baughn pronto dejó el grupo y fue sustituido por Johnny Moore (de The Hornets), oriundo de Cleveland. Esta formación tuvo un gran éxito de R&B en 1955 con "Adorable", seguido de varios otros ("Ruby Baby", "I Got To Get Myself A Woman" y "Fools Fall In Love").
A mediados de la década de 1950, los Drifters comenzaron a trabajar con los legendarios compositores Jerry Leiber y Mike Stoller, quienes con el tiempo también se convirtieron en los productores del grupo. Su éxito de 1956 "I Gotta Get Myself a Woman" marcó el comienzo de lo que muchos consideran la época dorada del grupo. Sin embargo, los bajos salarios y otras disputas causaron problemas a los Drifters.
Johnny Moore fue reclutado en noviembre de 1957 y sustituido por Bobby Hendricks, que había estado brevemente con The Swallows. Sin embargo, el grupo todavía no era capaz de entrar en los mercados mainstream.

El mánager George Treadwell finalmente despidió a todos los cantantes de los Drifters y contrató a la mayoría del grupo anteriormente conocido como The Five Crowns, incluyendo al vocalista principal Ben E. King, promocionándolos bajo el nombre de The Drifters. Este es el grupo cuyo sonido se asocia generalmente con el nombre.

Esta nueva formación lanzó varios sencillos que se convirtieron en grandes éxitos en las listas. "There Goes My Baby" fue la primera grabación comercial de rock and roll en incluir una orquesta de cuerdas. "This Magic Moment", "Save The Last Dance For Me" e "I Count The Tears" le siguieron poco después.
Sin embargo, los cambios de personal comenzaron casi de inmediato. Lover Patterson, que había sido el mánager de los Five Crowns y ahora era el mánager de la gira de los Drifters, no se llevaba bien con Treadwell. Como Patterson tenía a Ben E. King bajo un contrato personal, se negó a permitir que King hiciera giras con el grupo.

El nuevo miembro Johnny Lee Williams se encargó entonces de las giras. Sin embargo, King continuó grabando con The Drifters durante aproximadamente un año antes de comenzar una exitosa carrera en solitario. Su voz estaba tan asociada con el grupo en ese momento que los éxitos en solitario de Ben E. King, como "Stand By Me" y "Rose in Spanish Harlem", a menudo se consideran canciones de The Drifters.
Williams fue posteriormente reemplazado por Rudy Lewis del grupo de góspel The Clara Ward Singers. Fue Lewis quien asumió el liderazgo en éxitos como "Some Kind Of Wonderful", "Please Stay" y "Up On The Roof".
Johnny Moore regresó en 1964, después de su servicio militar y una fallida carrera en solitario, lo que convirtió al grupo en un quinteto formado por Moore, Charlie Thomas, Rudy Lewis, Gene Pearson y Johnny Terry. Lewis murió la noche antes de que el grupo estuviera programado para grabar "Under the Boardwalk", y Johnny Moore asumió el papel de cantante principal en esa sesión, que produjo el último gran éxito del grupo.
En marzo de 1970, después de una serie de cambios adicionales en la formación, The Drifters se habían disuelto. En enero de 1971, Johnny Moore produjo una sesión que posteriormente se vendió a Atlantic, lo que resultó en "A Rose By Any Other Name" y "Be My Lady", los últimos lanzamientos de los Drifters con Atlantic.

Los Drifters reaparecieron finalmente en Inglaterra y sufrieron muchos otros cambios de personal desconcertantes. A lo largo de la década de 1970, los únicos discos del grupo que entraron en las listas fueron canciones disco en las listas británicas.
En 1999 murió el miembro que más tiempo había estado en el grupo, Johnny Moore. En diciembre de 2006, Tina Treadwell, hija de George, presentó una demanda en el Tribunal Superior de Londres por el control legítimo del nombre y los productos de The Drifters.
El grupo fue incluido en el Salón de la Fama del Rock and Roll en 1988. Tanto "The Original Drifters" (1998) como "Ben E. King and The Drifters" (2000) fueron incluidos en el Salón de la Fama de Grupos Vocales. En 2004, la revista Rolling Stone clasificó a The Drifters en el puesto 81 de su lista de los 100 artistas más grandes de todos los tiempos.