賴布衣是江西定南鳳崗村人，原名賴鳳崗，字文俊。父親名叫賴澄山，是江西有名的地理師。賴布衣七歲時，便已熟讀詩書，九歲即中秀才，布衣是其後的外號。 賴布衣本無心學習風水之術。在一次偶然的機會，賴父發現一個佳穴，但卻在下葬其祖父時，被僕人破壞了風水，使得原本可以高中的賴布衣名落孫山，從此以後，他對於功名看得很淡，便一心致力在堪輿術上，濟世救人。
