卢绾是在汉高祖驾崩后逃去匈奴的。