信息论源于统计理论和电信技术的发展，主要研究信息属性、信息度量、信息表示和信息传输。