夏邑人。 永乐初，袭父职，为中都留守左卫指挥佥事。 洪熙时，隶阳武侯薛禄，征北有功，进指挥使。 宣德元年，进万全都指挥佥事。 正统六年，与参将王真巡哨至伯颜山，遇寇击走之。次闵安山，遇兀良哈三百骑，又败之。追至莽来泉，寇越山涧遁去，乃还。时谦已迁都指挥同知，乃以为都指挥使。 正统八年，充右参将，守备万全左卫。 正统九年，与杨洪破兀良哈兵于克列苏，进都督佥事。 所部发其不法事，帝以方防秋，宥之。 复以北征功，进都督同知。 帝北狩，也先拥至宣府城下，令开门。谦与参将纪广、都御史罗亨信不应，遂去。进右都督。 与杨洪入卫，会寇已退，追袭之近畿。战失利，洪劾之。兵部并劾洪不救。景帝俱弗问。 洪入总京营，廷议欲得如洪者代之，咸举谦。乃进左都督，充总兵官，镇守宣府。 景泰元年四月，寇三百骑入石烽口，复由故道去，降敕切责。 逾月，复入犯。谦率兵御之，次关子口。寇数千骑突至，谦拒以鹿角，发火器击之，寇少却，如是数四。谦军且退，寇复来追。都督江福援之，亦失利。谦卒力战，寇不得入。 六月复有二千骑南侵。谦遣都指挥牛玺等往御，战南坡。谦见尘起，率参将纪广等驰援。自巳至午，寇败遁。论功，封抚宁伯。 八月，上皇还。道宣府，谦率子永出见，厚犒其使者。既而谦谬报寇五千骑毁墙入。察之，则也先贡使也。诏切责之，谦惶恐谢。 景泰二年二月，卒于镇。 赠侯。子永袭。 成化中，谥武襄。