甲县公安局发现其所属乙公安派出所作出的行政处罚有错误，应当撤销该公安派出所的行政处罚决定。