烟墩山在古代原是南海的海防前哨之一,上有烽火台,每当发现海盗意图来袭,即焚烟示警。南宋绍兴二十二年1152年香山立县后,由于地处边隅,经济落后,人民生活贫困,在全国被划归“下县”。如何才能改变这种状态呢?有人从“风水”的角度找到了原因。据说,这里的地势原属“网缯(即鱼网)地”,岐江东西两岸的烟墩山和马山,就是张开“神缯”就向烟墩山倾斜,结果“财气”就白白地给漏走了。
明万历三十六年1608年九月,香山知县蔡继善接受了乡绅们的提议,决定在烟墩山上兴修风水塔,使之总高度与长洲的马山相齐,这就是现今烟墩山塔的来历。烟墩山塔在民间又称“花塔”,是一座七层八角形楼阁式砖结构塔,塔置平座,凌角牙砖与线砖相间叠涩出檐,塔顶用铸铁制成。