本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
信息熵是机器学习中一个常用的基本概念，它是信息量的延伸概念
信息熵一般用于表示事件的混沌性，在逻辑回归和决策树等模型都涉及到信息熵的相关知识
本文讲解信息熵、香农信息熵等相关概念与计算公式，以及信息熵的意义，快速了解信息熵是什么意思
01. 信息熵是什么
本节介绍信息熵的定义和信息熵的计算公式
信息熵的定义与计算公式
信息熵是机器学习中常用的概念，信息熵通俗来说就是信息量的期望设有n种取值，取值为的概率为，则x的信息量期望称为信息熵 信息熵计算公式如下： 特别地，当取为香农信息量时，称为香农信息熵香农信息熵公式如下： ✍️信息熵举例说明 假设已知一个人的性别为男、女的概率分别为 那么对任意一个人，在知道他是男/女的时候，分别获得信息量因此，在知道性别时获得的信息量期望为,即信息熵
02. 信息熵的意义与用途
本节介绍信息熵常用的意义与作用
信息熵的用途-变量价值判断
信息熵在机器学习中的应用无处不在，其中一个就是用来判断变量的价值假设有两个变量，我们只能知道其中一个变量的值，那么，我们应该选择知道哪一个呢？此时，可以根据变量的信息熵来判断变量的价值，它代表知道变量的值时所获得的信息量期望 因此在评估变量价值时，往往可以用信息熵来对变量的价值进行量化，信息熵越大说明价值越大
信息熵的用途-评估混沌性
信息熵在机器学习中常常用来评估混沌性，例如评估y的混沌性 当我们对一个事件越不确定、越混沌时，在得知该事件的确切值时期望获得的信息量就越多 即如果事件对于我们越混沌，我们对事件的掌握越少，事件所包含的信息熵就会越大 因此，机器学习中常用信息熵来评估一个事件的混沌程度，或者我们对事件的掌握程度 1. 对事件的评估 信息熵越小，代表事件越清晰，事件的信息熵越大，代表事件本身越混沌 2. 评估我们对事件的掌握程度 事件的信息熵越大，代表我们对事件的掌握程度越小 事件的信息熵越小，代表我们对事件的掌握程度越大 这里的“事件”在机器学习中一般是指样本的真实y值，因此熵就是我们对y值的掌握程度机器学习的模型往往就是将X转换为y的信息，去进一步掌握y，了解y，降低我们对于y的混沌性
好了，信息量的概念与意义就写到这了~
End