查看“信息熵”的源代码

信息熵（information entropy），也称香农熵(Shannon entropy)是不确定性的度量。    

==简介==
===时间轴===
*1948年，[[香农]]（C.E.Shannon）将热力学的熵，引入到信息论。


==资源==
===论文===
*[http://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf A Mathematical Theory of Communication] 香农（C.E.Shannon）. 1948
*[http://pages.cs.wisc.edu/~rist/642-spring-2014/shannon-secrecy.pdf Communication Theory of Secrecy Systems] 香农（C.E.Shannon）. 1949

===书籍===
*[https://book.douban.com/subject/1918022/ 《The Mathematical Theory of Communication》] 香农（C.E.Shannon）/ Warren Weaver 1949
*[https://www.ituring.com.cn/book/1185 《通信的数学理论》]  香农（C.E.Shannon）/ Warren Weaver 著 贾洪峰 译 

===相关文章===
*[https://zh.wikipedia.org/wiki/熵_(信息论) 维基百科：熵 (信息论)]
*[https://en.wikipedia.org/wiki/A_Mathematical_Theory_of_Communication Wikipedia：A Mathematical Theory of Communication]
*[https://www.jiqizhixin.com/graph/technologies/7afc5fc3-a61c-4238-b496-9c39392a91fe 机器之心：信息熵]
*[https://blog.csdn.net/v_JULY_v/article/details/40508465 CSDN：v_JULY_v - 最大熵模型中的数学推导]

[[分类:机器学习]]