王阳明殁于明嘉靖七年十一月二十五日（1529年1月9日），至明万历年间，曾经声名显赫的绍兴王府已开始走向衰微。常言道，贵不出三代，阳明家族同样也逃不出这一历史的宿命。明隆庆元年（1567），即阳明殁后近四十年，新继位的穆宗下令恢复了阳明被莫须有的罪名所削去的新建伯爵位，并诏赠新建侯，谥文成；隆庆二年又诏准荫子一人，世袭副千户。据光绪《余姚县志》卷七《荫封》记载，姚江山阴王氏荫封世袭之系谱为：王正亿—王承勋—王先通—王业泰。在此四代人中，竟然发生了两次大的家族纠纷，致使朝野上下震惊，王门内外牵累，终而导致了姚江山阴王氏的过早衰微，甚至还影响到王学的传承与发展。总的来说，在阳明的直系后裔中，既少有学术上的卓然成就者，又少有政治上的傲然气节者。也就是说，其后裔不惟于阳明立言之志未有所得，而且于阳明立功之业亦罕有所获，真正值得称道者，的确凤毛麟角。