Les diverses ruines que l'on trouvent dans le gouvernorat attestent de sa longue et riche histoire, tant à l'intérieur (vestiges berbères dans les montagnes de Beni Khedache) que le long des côtes (ruines romaines de Gigthis près de Médenine).

Après la grande instabilité qui suit les invasions hilaliennes et les différentes révoltes intérieures, la sécurité et le calme reviennent dans la région à partir du début du XVe siècle, ce qui encourage les Berbères à descendre de leurs sanctuaires montagneux et à venir s'installer dans la plaine de Jefara ou sur l'île de Djerba (Beni Maaguel).

Ce mouvement coincide avec l'arrivée de nombreux cheïkhs almoravides venus de la lointaine Saguia el-Hamra ou de la proche Tripolitaine propager leur foi réformatrice. Certains parmi ces derniers parviennent à rassembler autour d'eux les tribus de la région.