某县公安局对一起共同抢劫案件立案侦查，以公安局长韩某为首组成侦破小组，查获犯罪嫌疑人赵某、钱某、孙某涉嫌结伙拦路抢劫。在侦查过程中，孙某聘请的律师李某未与孙某商量，独立提出本案的侦查员张权与被害人是同住一个小区的邻居，关系密切，申请其回避。刑警大队长立即停止了张权的侦查工作，张权为了避免别人的闲话也立即退出了侦查活动，后刑警大队长经审查认为李某提出的要求回避申请不属于法定回避的理由，驳回了回避申请。接着钱某通过其他途径向上级公安机关提出申请公安局长韩某回避，理由是韩某与犯罪嫌疑人赵某的父亲是老战友，关系密切。上级公安机关随即作出了韩某的回避决定。张某退出侦查活动是否正确？为什么？