限制人身自由的行政处罚权只能由公安机关和交通管理部门行使。