透彻理解协方差矩阵

透彻理解协方差矩阵协方差及协方差矩阵有着特别广泛的应用,在多元高斯分布、高斯过程、卡尔曼滤波等算法中多有用到。本文从协方差、协方差矩阵讲起,并重点讲解协方差矩阵在

欢迎大家来到IT世界,在知识的湖畔探索吧!

协方差及协方差矩阵有着特别广泛的应用,在多元高斯分布、高斯过程、卡尔曼滤波等算法中多有用到,本文从协方差、协方差矩阵讲起,并重点讲解协方差矩阵在高斯分布中的用法及意义,也是讲解高斯过程、贝叶斯优化的铺垫。

协方差(Covariance)

X、Y两个随机变量的协方差在和中用于衡量两个变量的总体。用来刻画两个随机变量之间的相关性:

透彻理解协方差矩阵

假定我们不知道潜在的概率分布,我们取n个样本来计算:

透彻理解协方差矩阵

分别计算这n样本的两个变量的均值,这两个变量的协方差可以用下式来计算:

透彻理解协方差矩阵

由于变量都有量纲,如果消除各自量纲影响,将协方差除以两个变量的标准差,则可得相关系数:

透彻理解协方差矩阵

协方差矩阵

随机向量:

透彻理解协方差矩阵

我们计算所有元素的两两协方差,形成协方差矩阵:

透彻理解协方差矩阵

透彻理解协方差矩阵

这是一个对称矩阵,对角线是每个变量的方差。如果是对角阵,

协方差矩阵形式如下:

透彻理解协方差矩阵

协方差矩阵与多元高斯分布

多元高斯分布概率密度的推导

设多元高斯分布如下:均值向量为μ,协方差矩阵为Σ

透彻理解协方差矩阵

透彻理解协方差矩阵

与一元高斯分布对比,概率密度函数形式有所变化,这个变化是怎么来的,我们通过二元高斯分布来推导一下这个密度函数的由来。

对于二元高斯分布,我们设定:

透彻理解协方差矩阵

现在我们推导两个变量的高斯分布的密度函数公式:

透彻理解协方差矩阵

透彻理解协方差矩阵

这个联合概率密度函数是各自概率密度函数的乘积,这表明两个变量是独立的。这个独立性反映在我们的协方差矩阵中,就是只有对角线元素不为零,两个变量是独立的,所以联合概率密度可以表示为两个变量概率密度的乘积

二维高斯分布函数图像

我们看相互独立的两个变量的二维高斯分布图像在XoY平面投影的函数表达式

透彻理解协方差矩阵

透彻理解协方差矩阵

令:

透彻理解协方差矩阵

得:

透彻理解协方差矩阵

显然这是一个椭圆曲线的表达式。

我们看两种情况,一种协方差矩阵是对角阵(变量相互独立),另一种是协方差矩阵是非对角阵(变量有关联)

  • 如果高斯随机向量具有对角线的协方差矩阵(所有变量都是不相关的,那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴平行于坐标轴。
透彻理解协方差矩阵

  • 如果高斯随机向量的协方差矩阵是非对角阵(一些变量是相关的),那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴仍然是相互重直,但与坐标轴并不平行。
透彻理解协方差矩阵

我们用matlab来形象展示一下:

下图是两个变量的均值都是零,协方差矩阵为:

透彻理解协方差矩阵

其三维曲面如下:

透彻理解协方差矩阵

在XOY平面的投影如下:

透彻理解协方差矩阵

本文主要讲解了协方差矩阵及其在高斯分布中意义和用法。协方差矩阵在高斯过程中有着非常重要的意义,如果不能很好的理解协方差矩阵,就不能很好的理解高斯过程。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://itzsg.com/31620.html

(0)

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们YX

mu99908888

在线咨询: 微信交谈

邮件:itzsgw@126.com

工作时间:时刻准备着!

关注微信