原名杨能俊，1914年10月27日出生于长汀县宣成乡贫苦农民家庭。幼年读过私塾和教会小学，后经亲友帮助，入读县城省立第七中学，开始接触革命思想，参加革命活动。1928年，加入中国共产主义青年团，翌年1月，参加古城、四都农民暴动，任少年武装先锋队大队长。3月，配合红四军入汀，参加组织汀江两岸农民暴动。随后参加暴动的农民赤卫队改编为闽西红军第三路军，杨成武任第三路军指挥部秘书、宣传队中队长，先后参加攻打龙岩、永定和上杭白砂镇等战斗。1930年初加入中国共产党。闽西红军编入红四军后，他参加上杭、吉水、樟树、文家市等地的战斗，初显军事指挥才能，由干事、连政治指导员升任大队长（营长）。