Сергей Скадовский родился 2 марта 1863 года в Херсоне, в семье отставного военного, который, выйдя в отставку, занимался коневодством и добился в этом деле больших успехов. Сын Сергей унаследовал от отца целеустремленность, деловую хватку и понимание роли помещичьего хозяйства в экономике Российской империи. Он решил посвятить себя продолжению отцовского дела и заняться обустройством собственного имения. С этой целью он получил специальность агронома в Германии. В возрасте 21 года Сергей Балтазарович унаследовал имение своего отца. Наследство это было немалым, только земли он получил 33 тысячи десятин, а также до 500 голов лошадей. Управление огромным хозяйством требовало знаний, неустанной ежедневной работы, а также умения ориентироваться в вопросах экономики и рыночных отношений. Сергей Балтазарович  получил наследство, будучи молодым человеком. Он не промотал отцовские деньги,  таких примеров было огромное множество, а сохранил хозяйство отца и значительно приумножил семейный капитал.
В 1888 году Сергей Балтазарович женился на  Марии Александровне Шлиппе, которая до конца жизни была для него верным другом, поддержкой во всех делах и замечательной матерью для их четверых дочерей и четверых сыновей. Мария Александровна разделяла взгляды мужа и принимала активное участие в благотворительной деятельности.
Сергей Скадовский был известным человеком, его знали не только как успешного помещика, но и как государственного и общественного деятеля.. В конце 80-х годов XIX он был избран почетным членом попечительского совета детских приютов, дважды избирался на должность предводителя дворянства Днепровского уезда Таврийской губернии, был действительным статским советником, избирался депутатом Государственной Думы Российской империи.
 В 1893 году он начинает строить пристань и порт. Строительство города и порта было личным предприятием Скадовского и оплачивалось из его личных средств. В мае 1897 года в скадовский порт пришел первый иностранный корабль, который вывез за границу 42 тысячи пудов пшеницы, а  всего  за этот год было вывезено более полутора млн пудов пшеницы.
В городе появились бакалейные и мануфактурные лавки, паровая мельница, две кузни, несколько мастерских, склад строительный материалов. Для жителей города были построены бесплатная больница, школа, почта, аптека.. Между Одессой и Скадовском стали регулярно ходить пароходы. В городе открылись таможня, телеграф, лоцманская служба.
Семья Скадовских было широко известна своей благотворительной деятельностью. Они передали беднякам Днепровского уезда 5000 пудов проса, на деньги Скадовских полностью содержалась школа. В 1904 году, во время Русско-японской войны Сергей Балтазарович участвовал в создании госпиталя Красного Креста в китайском городе Харбине, накануне штурма Порт- Артура. В большом усадебном доме Скадовских была открыта лечебница для людей, больных чахоткой. Успехи в лечении таких больных натолкнули Скдовского на мысль о целебных свойствах местного климата. Так начиналась история Скадовска-курорта.  Мария Александровна Скадовская была председателем общества взаимопомощи “Благо детей”. В 1904 году, во время русско-японской войны Сергей Балтазарович участвовал в организации госпиталя для русских солдат в китайском городе Харбине. В первую мировую войну  Мария Александровна Скадовская на свои средства открыла лазарет для раненых на 39 мест. Но этого ей было недостаточно и  в возрасте 45 лет она добровольно пошла служить сестрой милосердия Красного Креста на Западный фронт. Была награждена медалью “За храбрость “ и  Георгиевской лентой. К сожалению, пребывание на фронте подорвало здоровье Марии Александровны и в 1917 году она умерла, не дожив один год до своего 50-летия.

Сергей Балтазарович Скадовский имел государственные награды: Орден Святого Станислава, Орден Святого Владимира, Серебряную медаль для ношения на Андреевской ленте, Орден Святой Анны, турецкий орден «Османия».
Жизненный путь Сергея Балтазаровича Скадовского завершился в 1918 году, Он умер в возрасте 55 лет от паралича сердца. Захоронение Марии и Сергея Скадовских сохранились на городском кладбище.

В центре города Скадовска поставлен памятник основателю, на котором высечены слова «Я хочу построить приветливый город, в котором всем людям было бы приятно жить»

В 2000 году имя Скадовского было присвоено одному из торговых кораблей Черноморского флота.