Cette forteresse fut originellement bâtie par les Romains comme ligne de défence militaire stratégique sur les frontières est de l’Egypte. L’emplacement fut spécifiquement choisi sur un site mediane entre la Haute et Basse Egypte pour que les Romains puissent facilement dompter tout attentat de révolution provenant contre leur reigne soit du nord ou du sud du pays.

Les historiens ont reconnu la nomination Babylone comme étant à l’origine dérivée du nom de la ville voisine Egyptienne Babylion, l’ancien nom Egyptien était très probablement Per Habi An On qui signifie la maison de la deité Habi dans la ville d’Héliopolis.

La forteresse Romaine est aussi connue sous le nom de Qasr El Shamee qui signifie Le Palais des Cièrges. La forteresse a gagné ce nom grâce au fait qu’au début de chaque mois on allumait les cièrges dans l’une des tours au coucher du soleil pour que la population puisse suivre le circuit du soleil se dépaçant d’une tour à une autre.
Dans l’enclos des murs de la forteresse on y trouve le Musée Copte, six églises Coptes et un couvent.