Rasa Florida Cracker a fost adusa in Florida in 1521, atunci cand exploratorii spanioli si colonisti au venit in aceste locuri. Acesti cai se trag din caii iberici si au fost influentati de North African Barb, de Spanish Sorraia, Spanish Jennet si de Andalusian. Unii dintre acesti cai au scapat sau au fost eliberati de catre spanioli, adaptandu-se si dezvoltandu-se in functie de mediu. Numele acestei rase vine de la poporul Cracker care folosea zgomote puternice atunci cand mana cirezile. La mijlocul secolului XVII, cresterea acestei rase in Florida a devenit un lucru bine institutionalizat. Caii din rasa Cracker au fost folositi ca si ponei de cireada, ca si cai de cabrioleta, dar si in ferme pana in secolul XX. Fermerii au continuat sa creasca acesti cai si la sfarsitul secolului XX. In 1984, o herghelie de cai Florida Cracker a fost donata Departamentului de Agricultura din Florida. Aceasta rasa mai este cunoscuta si sub alte nume, precum: Florida Horse, Florida Cow Pony, Chickasaw Pony, Seminole Pony, Marsh Tackie, Prairie Pony si Grass Gut.