远古时期若木被封徐国的地方在今天的安徽凤阳县北部，这是徐姓的最早的发源地。在此地聚居的徐氏，在徐国灭亡的时候，已经是一个大姓了。后来他们纷纷向北方迁徙。

从夏朝至秦初，徐姓一直活跃于安徽、江苏、河南、山东的江淮地区。 历史上有一个日本始祖徐福，也叫徐市，关于他渡海求不老神药的事，在历史上有多处记载，《史记》中的《秦始皇本纪》是这样记载的： “徐市，齐人，上书言海中有三神山，名曰蓬莱、方丈、嬴州，请地齐戒与童男女求之，于是遣市发童男女数千人，入海求之。”徐市访不老神药的故事，虽然在不同的史书记载中有一些出入，但却为两千多年以前的徐氏迁播于山东提供了有力的证明。

两汉魏晋南北朝时，徐姓已经发展到河北、山西、陕西、甘肃、江西、浙江、广西、四川、湖北等地。唐朝时，徐姓始入福建和广东，明末入台湾。由于徐姓主力早在秦汉时期已迁离北方，中国北方几次战乱对徐姓的伤害相对较轻。尤其在宋、元、明时期，徐姓在赣浙苏闽四省繁衍最盛，尤其在江苏，形成了东海、高平、琅玡、濮阳、东莞五大望族，最终形成了今天典型的东方大姓。