徐世昌和徐世光是亲兄弟。徐氏虽是官宦人家，但他们这一代，家境日衰，其父亲25岁去世那年，徐世昌六岁，徐世光四岁，他们是在母亲刘氏培养教育下长大的。为了支撑家庭的吃穿用度，刘氏先是做针线活，补贴家用；后来实在支撑不住，就变卖自己的珠宝首饰，直到家中已再无可变卖的器物。童年的这段苦难经历是徐氏兄弟一生的宝贵财富——他们后来一个做了民国总统，一个做了山东大员，与母亲刘氏早年的悉心教育有着莫大的关系。

　　据说当年袁世凯在河南陈州闲居，办了两个文社，每天召集一帮文人雅士吟诗作对。偏巧当时徐世昌在淮宁县(今河南淮阳，属陈州管辖)担任文职，两人偶尔谋面，谈了几句时局，结果越谈越多，一发不可收拾，后来竟然成了八拜之交。三年之后，顺天府乡试，徐氏兄弟因囊中羞涩，无法参加，这可愁坏了徐氏兄弟。危难关头，袁世凯大手一挥，奉上白银100两，解了两兄弟的燃眉之急。徐氏兄弟凭借袁世凯资助，得以顺利到顺天府应试，双双中举。

　　徐氏本籍贯天津，兄弟二人离开政界后，均住在天津。徐世昌居津十七年，他整日在房内著书立说，写字画画。徐世光喜画梅，并做慈善事业。