Albert Fish nasceu em Washington no dia 19 de maio de 1870. Seu pai tinha 43 anos a mais que sua mãe e pelo menos sete membros de sua família tiveram graves doenças mentais em duas gerações que precederam o nascimento de Fish. Fish tinha 5 anos quando seu pai morreu de ataque cardíaco e sua mãe o colocou em um orfanato. No orfanato ele era frequentemente agredido, descobriu que gostava da dor física e começou a ter ereções quando era agredido, o que o influenciou a gostar do sadomasoquismo. Aos 7 anos sua mãe o tirou do orfanato porque havia conseguido um emprego.
Aos 9 anos Fish caiu de uma cerejeira e machucou seriamente a cabeça, o que mais tarde causaria dores de cabeça e pequenos problemas mentais.