Vraisemblablement contemporaine des inexpugnables fortifications de la ville, la grande mosquée de Sfax affiche l’élégante austérité de son architecture ifriqiyenne. Elle fut érigée selon le chroniqueur sfaxien Mahmoud Magdiche (XVIIIe siècle) qui a relayé d’autres historiens et chroniqueurs qui l’ont précédé, au milieu du IXe siècle (850 J.C/235 H.), sous la dynastie des Aghlabides. Elle matérialise la centralité du tissu urbain médinal par sa situation à l’intersection des deux artères perpendiculaires qui traversent la médina du nord au sud et d’est en ouest, structurant ainsi son maillage urbain en forme de damier. La forme singulière en équerre de la salle de prières, hypostyle et couverte de voûtes d’arêtes supportées par des arcs outrepassés, bandés dans les deux sens et montés sur des chapiteaux et des colonnes de marbre de remploi, enserre des côtés sud et ouest une cour aux dimensions relativement petites. Deux modestes coupoles, celle qui coiffe le mihrab et celle du bahou (portique), se détachent de cette couverture. Entourée d’une galerie circulaire, la cour communique avec la salle de prières par une dizaine de portes en bois à tympans et à plusieurs battants ornés de sculptures à motifs floraux ou géométriques. Originale est aussi cette salle par ses deux mihrâbs. Le premier, aménagé, semble-t-il, au Xe siècle à l’époque ziride, est aujourd’hui désaffecté puisque ne faisant plus face à la nef centrale actuelle. Le second est certainement contemporain des agrandissements de la salle de prières, réalisés au cours du XVIIIe siècle, à l’époque ottomane. Fleuron de l’architecture ifriqiyenne, la façade orientale de la grande mosquée de Sfax, d’époque ziride, est monumentale par son élégant agencement qui comprend surtout une série de niches à triple voussures, décorées de motifs variés. Au-dessus du linteau de l’une des fenêtres se trouve une plaque de marbre  de l’époque byzantine remployée, représentant deux paons, partiellement endommagés, qui s'affrontent de part et d'autre d’une corbeille d’où s’échappent des rinceaux à grappes de raisin et des oiseaux. A gauche de cette plaque, un panneau épigraphique commémore l’agencement de cette façade (378/988). Une autre inscription datée de 468/1085 cite le nom de Hammou Ibn Malil comme étant l’initiateur de cette réalisation. A base carrée, le minaret rappelle celui de la grande mosquée de Kairouan, mais s’en distingue par sa silhouette élancée et moins trapue. Il se compose de deux tours superposées, surmontées d’un lanternon. L’ensemble est décoré de motifs polymorphes : calligraphiques, floraux et géométriques, tous taillés dans la pierre calcaire. Les historiens affirment que le minaret visible aujourd’hui est contemporain de la façade est, mais qu’il enveloppe une tour plus ancienne qui serait contemporaine de la fondation de la mosquée (IXe) ; les sondages et les travaux de restauration l’ont indubitablement confirmé. La mémoire collective a perpétué le souvenir parfois fabulé, de faits héroïques qui ont marqué la résistance sfaxienne à l’occupation normande, notamment par le recours aux réservoirs d’eaux de la mosquée pour fabriquer des armes et à un mythique tunnel pour communiquer avec l’extérieur de la ville.