根据《行政复议法》的规定，对政府工作部门依法设立的派出机构依照法律、法规或者规章规定，以自己的名义作出的具体行政行为不服的，只能向设立该派出机构的部门申请行政复议。