限制人身自由的行政处罚权只能由政府行使。