A Abercrombie começou como uma pequena loja e fábrica no dia 4 de junho de 1892 na baixa Manhattan, em Nova Iorque, e foi fundada por David Thomas Abercrombie. Sua paixão por esportes ao ar livre inspirou o surgimento da marca. Sua clientela inicial era composta por caçadores e exploradores e é por isso que ganhou como símbolo, um alce.
Com a entrada de um novo sócio passou a se chamar ABERCROMBIE & FITCH e em 1913 mudou seu endereço para a badalada Quinta Avenida, passando também a vender roupas esportivas.
A ABERCROMBIE & FITCH foi a primeira loja de Nova York a vender roupas masculinas e femininas em um mesmo lugar.
