Po kilkunastu latach opuścił i to miejsce, by udać się ponownie do Jerozolimy i zamieszkać w jednej z grot w pobliżu potoku Cedron w 478 r. Z czasem zgromadzili się wokół niego uczniowie. Mieszkali w pobliskich grotach. Założył dla nich Wielką Ławrę - klasztor Mar Saba. W 483 r. wystawił kościół, a dokoła cele mnichów, których liczba doszła do kilkuset. Dla ułatwienia rządów i kierownictwa duchowego w wieku 48 lat przyjął święcenia kapłańskie z rąk patriarchy Jerozolimy (w 491 r.). Kiedy liczba mnichów jeszcze się powiększała, św. Saba założył kilka innych podobnych klasztorów (ławr) w Palestynie. Szczególną sławę zdobyły osady mnisze w Gadara i w Emaus. Dla zachowania karności, osobiście obchodził założone przez siebie klasztory i wygłaszał do mnichów nauki. Łącznie miał zostawić w Palestynie 7 klasztorów dużych, 8 mniejszych i 3 hospicja dla pielgrzymów. W kilka lat później został archimandrytą wszystkich klasztorów i pustelników palestyńskich.
Czymś oryginalnym i niespotykanym dotąd ani potem było to, że św. Saba zakładał klasztory-kolonie. Mogły do nich należeć osoby różnych narodowości i języków. Każda kolonia miała swoją kaplicę, gdzie w swoim języku odprawiała liturgię i codzienne modły. Każda też z tych kolonii miała swojego przełożonego. W niedziele oraz w święta wszyscy mnisi gromadzili się w kościele, gdzie w języku greckim odprawiano nabożeństwa. Nad wszystkim czuwał Saba.
W sporach doktrynalnych Saba opowiedział się za nauką Soboru Chalcedońskiego (451). Chcąc skłonić do powszechnego uznania tej nauki, udał się do cesarza Anastazego I w Konstantynopolu. Jego wysiłki okazały się jednak daremne. Wziął w obronę miejscowych kupców i rzemieślników przed nadmiernymi podatkami urzędników cesarskich, na których wytoczył skargę przed wspomnianym cesarzem (511). Wziął również w obronę Samarytan, którym groziło wyniszczenie. Kiedy cesarz Justyn I (518-528) zamierzał osadzić na stolicy patriarchy w Jerozolimie monofizytę, Saba ze swoimi mnichami wystąpił przeciwko niemu tak gwałtownie, że intruz musiał się zrzec biskupstwa. Jest autorem "Typikonu" - księgi regulującej przebieg całorocznej liturgii. Została ona przyjęta przez cały Kościół Wschodni.
Zmarł w klasztorze Mar Saba 5 grudnia 532 r. Jego relikwie były czczone w Mar Saba, a potem zostały przeniesione do Konstantynopola, wreszcie do Wenecji (w X lub XI w.). Pierwszy żywot Świętego napisał jego uczeń, Cyryl ze Scytopolis. Kult Saby poprzez południowe Włochy przenieśli na Zachód mnisi wschodni. W samym Rzymie ma Święty wystawiony ku swojej czci kościół na Małym Awentynie (z wieku VII), wiele razy restaurowany. Kiedyś był przy nim również klasztor grecki. W roku 1965 na życzenie papieża Pawła VI Wenecja oddała relikwie św. Saby prawosławnym mnichom w Mar Saba, którzy się o nie upominali.