A市市政府为了提高所属辖区村民委员会整体素质，决定从市一级政府机关抽调一批高素质干部担任村民委员会主任或副主任。该市政府的决定是正确的。