官方比特派app下载|gmm
作者： 官方比特派app下载
2024-03-07 18:59:22
G买卖
G买卖
首页
我要买
我要卖
手机版
[登录] [注册]
|
消息
|
个人中心
|
帮助中心
|
官方微信/微博
用微信扫我
微博：G买卖
|
联系客服
|
站点地图
客服中心
在线咨询
意见反馈
用户帮助
站点消息
系统消息
公告通知
新闻资讯
品牌介绍
我是买家
我要买
我买到的
我收藏的
我是卖家
我要卖
我发布的
我卖出的
我的钱包
特色商品交易
传奇永恒专用元宝
传奇永恒游戏币
传奇永恒游戏时长
永恒之塔守护点
盛趣游戏点券交易行
您有条新消息
￥
立即使用
请在“我的-钱包-优惠券”中查看您的优惠券
我知道了
游戏名称
商品分类
平台
运营商
游戏区
游戏服务器
删除
删除
首页
游戏列表
永恒之塔
为您找到相关商品件
您已选择：
操作系统：
运营商：
清空筛选条件
商品类型：
账号
装备
游戏币
点券
操作系统：
运营商：
更多
收起
游戏区：
已选条件
确定
取消
更多
收起
多选编辑
游戏服：
已选条件
确定
取消
更多
收起
多选编辑
已选条件
确定
取消
更多
收起
多选编辑
¥
-
¥
确定
更多
收起
更多
收起
多选编辑
实力商家入驻，置顶流量等你
精选店铺
比例
购买数量
我要入驻
分钟内发货
/
最佳比例
1元=
元/
按数量
按金额
=
元
元=
库存：
立即购买
点击查看全部
提醒：
GMM(不包邮)：GMM(包邮)：A平台：B平台：
游戏：
区服： /
收缩
综合
时间
单价最低
比例
比例
价格
价格
¥
-
¥
确定
价格
库存
保障类型
按库存买
整包买
官方截图
自助验货
担保
寄售
首单优惠
可用优惠券
商品类型：
¥0.980
¥
¥
/ 张
/
查看详情
立即购买
立即购买
官方截图
自助验货
盛趣游戏点券交易行
盛趣游戏点券交易行
首单优惠
可用优惠券
商品类型：点券
全区服通用
¥0.975
99999
立即购买
官方截图
自助验货
[魔道星 58级]可以还价
[魔道星 58级]可以还价
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服8区-傲世八星
¥580.00
1
查看详情
官方截图
自助验货
[治愈星58级]护法满级烙印齐全
[治愈星58级]护法满级烙印齐全
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服2区-谁与争锋
¥2000.00
1
查看详情
官方截图
自助验货
[弓星 58级]不想玩了
[弓星 58级]不想玩了
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服8区-傲世八星
¥800.00
1
查看详情
官方截图
自助验货
[护法星 55级]4星将校
[护法星 55级]4星将校
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服4/5/6区-火之神殿
¥2999.00
1
查看详情
官方截图
自助验货
[治愈星 51级]过年了 了
[治愈星 51级]过年了 了
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服9区-叱咤风云
¥180.00
1
查看详情
官方截图
自助验货
[剑星 58级] 黑金150多个 obs110万有10几天气息
[剑星 58级] 黑金150多个 obs110万有10几天气息
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服7区-王者之巅
¥500.00
1
查看详情
官方截图
自助验货
[剑星 57级]军团长两首饰 obs20几万
[剑星 57级]军团长两首饰 obs20几万
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服10区-纵横四海
¥500.00
1
查看详情
官方截图
自助验货
[护法星 58级]野外辅助最强护法
[护法星 58级]野外辅助最强护法
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服2区-谁与争锋
¥55555.55
1
查看详情
官方截图
自助验货
[治愈星 55级]极品辅助奶，带2精灵
[治愈星 55级]极品辅助奶，带2精灵
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服2区-谁与争锋
¥600.00
1
查看详情
官方截图
自助验货
[魔道星 55级]55级4星魔道出售
[魔道星 55级]55级4星魔道出售
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服9区-叱咤风云
¥1500.00
1
查看详情
官方截图
自助验货
[魔道星 58级]出售
[魔道星 58级]出售
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服8区-傲世八星
¥1588.88
1
查看详情
官方截图
自助验货
[守护星 58级]剑星56级 弓星58级 杀星58级 治愈星56级
[守护星 58级]剑星56级 弓星58级 杀星58级 治愈星56级
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服10区-纵横四海
¥1000.00
1
查看详情
官方截图
自助验货
[守护星 55级]魔族精万防具全套 精万首饰全套 伸缩大剑 神庙大剑 伸缩长剑
[守护星 55级]魔族精万防具全套 精万首饰全套 伸缩大剑 神庙大剑 伸缩长剑
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服1区-永恒之巅
¥800.00
1
查看详情
官方截图
自助验货
[魔道星 55级]55魔道 55乃 极品魔道打工任意
[魔道星 55级]55魔道 55乃 极品魔道打工任意
首单优惠
可用优惠券
商品类型：账号
永恒之塔-怀旧服10区-纵横四海
¥1800.00
1
查看详情
×
温馨提示
知道了
￥
立即使用
请在“我的-钱包-优惠券”中查看您的优惠券
我知道了
×
我的足迹>>
扫码下载
我买到的
我卖出的
我收藏的
用户指南
安全防骗
意见反馈
支付反馈
回到顶部
收起
×
获取上架模板信息失败，请检查网络后再次尝试！！
确定
×
G家账号登录
×
×
×
请选择上架方式
普通上架
批量上架
×
1.下载G买卖APP
2.G买卖微信公众号
微信号：gmm281 扫一扫，联系客服
立即领取
立即查看
可前往券中心查看！
立即查看
申请成功，工作人员稍后会联系你，请保持手机畅通！
增值电信业务经营许可证: B2-20110024 | 网络文化经营许可证：沪网文（2016）6362-468号 上海数吉计算机科技有限公司 版权所有 沪ICP备15027399号-9
地址：上海市浦东新区环科路515号沪公网备31011502008404号
G买卖是上海数吉计算机科技有限公司开发的专业安全的游戏服务平台，支持盛趣旗下所有热门游戏账号、点券、金币、装备等交易。官方过户杜绝找回、客服验货真实有效、丰富活动福利满满，致力于打造“更懂你的游戏服务平台”。
适龄提示：适合18岁以上使用
建设中，敬请期待
丸子团子正在绑架程序猿叔叔开发ing，敬请期待！
确定
计量经济学GMM方法的核心原理是什么？ - 知乎
计量经济学GMM方法的核心原理是什么？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册计量经济计量计量经济学数理统计学计量经济学GMM方法的核心原理是什么？有没有大神可以浅显易懂地解释一下这个方法的简单逻辑是什么，实在是看不懂太复杂的公式，只是想知道它解决问题的基本原理是什么以及为什么这个方法可以解决内生…显示全部 关注者29被浏览130,393关注问题写回答邀请回答好问题 5添加评论分享4 个回答默认排序SPSSAU已认证账号 关注GMM估计是用于解决内生性问题的一种方法，除此之外还有TSLS两阶段最小二乘回归。如果存在异方差GMM的效率会优于TSLS，但通常情况下二者结论表现一致，很多时候研究者会认为数据或多或少存在异方差问题，因而可直接使用GMM估计。内生变量是指与误差项相关的解释变量。对应还有一个术语叫‘外生变量’，其指与误差项不相关的解释变量。产生内生性的原因通常在三类，分别说明如下：内生性问题的判断上，通常是使用Durbin-Wu-Hausman检验（SPSSAU在两阶段最小二乘回归结果中默认输出），当然很多时候会结合自身理论知识和直观专业性判断是否存在内生性问题。如果假定存在内生性问题时，直接使用两阶段最小二乘回归或者GMM估计即可。一般不建议完全依照检验进行判断是否存在内生性，结合检验和专业理论知识综合判断较为可取。内生性问题的解决上，通常使用工具变量法，其基本思想在于选取这样一类变量（工具变量），它们的特征为：工具变量与内生变量有着相关(如果相关性很低则称为弱工具变量)，但是工具变量与被解释变量基本没有相关关系。寻找适合的工具变量是一件困难的事情，解决内生性问题时，大量的工作用于寻找适合的工具变量。关于引入工具变量的个数上，有如下说明：过度识别和恰好识别是可以接受的，但不可识别这种情况无法进行建模，似想用一个工具变量去标识两个内生变量，这是不可以的。工具变量引入时，有时还需要对工具变量外生性进行检验（过度识别检验），针对工具变量外生性检验上，SPSSAU提供Hansen J检验。特别提示，只有过度识别时才会输出此两个检验指标。GMM估计类型参数说明如下：案例说明1 背景本案例引入Mincer(1958)关于工资与受教育年限研究的数据。案例数据中包括以下信息，如下表格：数据共有12项，其中编号为1，5，7，8，12共五项并不在考虑范畴。本案例研究‘受教育年限’对于‘Ln工资’的影响。明显的，从理论上可能出现‘双向因果关系’即‘受教育年限’很可能是内生变量。那么可考虑使用‘母亲受教育年限’和‘成绩’这两项数据作为工具变量。同时研究时纳入3个外生变量，分别是‘婚姻’，‘是否大城市‘和’当前单位工作年限’。使用两阶段最小二乘TSLS回归进行解决内生性问题。本案例研究时，工具变量为2个，内生变量为1个，因而为过度识别，可以正常进行TSLS回归。2 理论关于内生性的检验Durbin-Wu-Hausman检验(SPSSAU在两阶段最小二乘回归TSLS结果中默认输出)，其用于检验是否真的为内生变量；如果说检验不通过（接受原假设），那么说明没有内生变量存在，可直接使用OLS回归即可。当然即使没有内生性，一般也可以使用TSLS回归或GMM估计，没有内生性问题时，OLS回归和TSLS回归，或GMM估计结论通常一致；关于过度识别检验上，SPSSAU提供Hansen J检验，原理上此过度识别检验仅在‘过度识别’时才会输出，即工具变量个数>内生变量个数时，才会输出。3 操作本案例分别将被解释变量，内生变量，工具变量和外生变量纳入对应的模型框中，如下：4 SPSSAU输出结果SPSSAU共输出5类表格，分别是研究变量类型表格，GMM估计模型分析结果表格，GMM估计模型分析结果-简化格式表格，模型汇总(中间过程)表格和过度识别检验(overidentifying restrictions)。说明如下：5 文字分析上一表格展示本次研究时涉及的各变量属性，包括被解释变量，内生变量，工具变量和外生变量组成情况。上表格列出GMM估计的最终结果，首先模型通过Wald 卡方检验(Wald χ² =272.418，p=0.000<0.05)，意味着模型有效。同时R方值为0.341，意味着内生和外生变量对于工资的解释力度为34.1%。具体查看内生和外生变量对于被解释变量‘工资’的影响情况来看：受教育年限的回归系数值为0.112(p=0.000<0.01)，意味着受教育年限会对工资产生显著的正向影响关系。婚姻(已婚为1)的回归系数值为0.168(p=0.000<0.01)，意味着相对未婚群体来讲，已婚群体的工资水平明显会更高。是否大城市(1为大城市)的回归系数值为0.145(p=0.000<0.01)，意味着相对来讲，大城市样本群体，他们的工资水平明显会更高。当前单位工作年限的回归系数值为0.036(p=0.000<0.01)，意味着当前单位工作年限会对工资产生显著的正向影响关系。总结分析可知：受教育年限, 婚姻，是否大城市, 当前单位工作年限全部均会对工资产生显著的正向影响关系。上表格展示模型的基础指标值，包括模型有效检验wald卡方值（此处提供wald卡方非F检验），R值，Root MSE等指标值。过度识别检验用于检验工具变量是否为外生变量，本次研究涉及工具变量为2个，分别是‘母亲受教育年限’和‘成绩’。从上表可知，过度识别Hansen J检验显示接受原假设（p=0.868>0.05），说明无法拒绝‘工具变量外生性’这一假定，模型良好。特别提示：工具变量个数 > 内生变量个数，即过度识别时，才会有效；如果恰好识别（工具变量个数=内生变量个数），此时无法输出检验值。6 剖析涉及以下几个关键点，分别如下：内生变量和外生变量，其二者均为解释变量，如果考虑内生性问题时才会将解释变量区分成内生变量和外生变量。如果存在异方差则GMM的效率会优于TSLS，但通常情况下二者结论表现一致，很多时候研究者会认为数据或多或少存在异方差问题，因而可直接使用GMM估计。模型有效性检验上，SPSSAU默认使用wald卡方检验而非F检验。GMM模型参数时，SPSSAU提供GMM估计，GMM迭代法和IVLIML法三种。GMM估计(两步GMM)与GMM迭代结论基本一致，如果存在弱工具变量可考虑使用IVLIML法。发布于 2023-12-28 10:05赞同 6添加评论分享收藏喜欢收起鱼鳍的鳍干过精算干过计量经济最后跑来干统计了 关注只说最基础的MM (method of moments)的话，也就是用样本统计量来估计总体的真实值，简单的例子就是用样本平均数来做期望的估计值。我们不知道总体的真实值所以用样本的统计量来估算。也就是 样本统计量 = 真实值的估计也就是 样本统计量-真实值的估计=0在这种情况下有几个统计量就有几个估计值常说的GMM (generalised method of moments)，就是在可利用的统计量多于需要算的估计值的情况下，想要利用上所有的统计量的时候，没有办法列出来MM里面这些等式了——等式数量和要求的值的数量不相等很有可能没有实数解啊。所以GMM就是尽可能地让上述的差值 （样本统计量-真实值的估计）接近0而不是等于0去求解，从而得到一个实数解。 GMM的方法就是求一个特殊的统计量的最小值，在这里叫QQ = （样本统计量-真实值的估计）乘以 比重矩阵 乘以 （样本统计量-真实值的估计）我写这个式子真的超级超级不严谨。。。既然问题里说不用复杂公式。。。。把比重矩阵视作一个常数的话，当Q实现最小值的时候，就达成（样本统计量-真实值的估计）最接近于0的时候啦。这个时候的估计值就是我们想要得到的那个估计值。问题里的第二部分是为什么这个方法可以解决内生性，答案是这个方法不一定能解决内生性。内生性的存在是因为“模型”不正确，而这个方法是“估算值的方法”。这个“估算值的方法”可以估算有内生性的“模型”也可以估算没有内生性的“模型”，有没有内生性不是这个“方法”说了算的。至于提问的时候有这样的误解，可能是因为接触到GMM的时候是考虑了GMM和IV （Instrumental variable 工具变量？） estimation的关联。 IV这个“估算值的方法”是专门来解决内生性的，在某种意义上IV是GMM的一个特殊情况。在这种特殊应用下IV可以和GMM视作等同， 而只有在这种特殊情况下GMM才可以减小内生性。至于IV为什么能减小内生性。。。。那就是另一个很长的故事了最近开通了知乎的付费咨询，如果有相关问题欢迎向我付费咨询编辑于 2020-11-21 13:27赞同 301 条评论分享收藏喜欢收起
动态面板系统GMM的基本思路与步骤（入门级，新手必看！！！）_哔哩哔哩_bilibili
动态面板系统GMM的基本思路与步骤（入门级，新手必看！！！）_哔哩哔哩_bilibili 首页番剧直播游戏中心会员购漫画赛事投稿动态面板系统GMM的基本思路与步骤（入门级，新手必看！！！）
10.7万
100
2021-08-03 19:37:49
未经作者授权，禁止转载3899304171671051动态面板系统GMM的基本思路与步骤（入门级，新手必看！！！）知识分享官知识校园学习经济学GMM系统GMM数据分析统计学计量经济学动态面板面板数据面板数据分析
大鸭进京赶烤
发消息
我一往情深地爱上沙漠和大海
关注 2.9万
最流畅的高清对局，最纯正的爽感枪战
接下来播放
自动连播【stata教学】动态面板模型 广义矩估计gmm的stata操作，新手导向^o^小菲stata
13.0万
234
系统GMM模型的实证小信使
2.2万
22
解决内生性(6)——简单理解广义矩估计(GMM)silencedream
7.6万
110
【stata】GMM、面板实际操作，极简易操作、最基础入门 论文小救星_布偶猫_
6.1万
58
多指标综合评价的基本思路与步骤（新手必看！！！）大鸭进京赶烤
7.1万
99
时间序列分析的基本思路与步骤（入门级，新手必看！！！）大鸭进京赶烤
28.5万
413
【stata教学】面板数据的一套完整分析～基本回归分析和假设检验（单位根和协整）～简单新手教程～小菲stata
14.9万
171
一定要把非平衡面板转化为平衡面板嘛？实证会计文献鉴赏
1.6万
4
回归结果不显著可以调节了，不改变数据哦（stata代码一秒调节、一键显著！）小果冻930
5.9万
4
【stata教学】调节效应模型，去中心化，结果解读，新手导向！小菲stata
4.1万
145
论文实证分析的一整套基础流程： 描述性、相关性、相关检验、主回归模型、稳健性分析、异质性检验小菲stata
22.5万
266
【SPSSAU】GMM估计方法案例解读SPSSAU官方账号
2919
1
计量经济学（40）两步GMMfindingnothing
2259
2
Stata基础：稳健性检验！！！小志小视界
11.5万
51
如何用stata完成一篇实证论文。一套实证分析流程（数据导入、描述性统计、相关性分析、多重共线性检验、异方差、OLS、OLS+稳健标准误）欢乐短剧
14.8万
207
3.6动态面板周老师私家课堂
2339
4
面板数据分析的基本思路与步骤（新手必看！！）大鸭进京赶烤
12.7万
341
Stata基础：相关性分析结果输出与解读运用小志小视界
8.8万
105
Stata基础：固定效应模型小志小视界
10.6万
78
【stata教学】如何对所有变量一键式取对数、差分、滞后、缩尾？意义何在？小菲stata
3.4万
117
展开
小窗
客服
顶部
赛事库 课堂 2021
高斯混合模型（GMM） - 知乎
高斯混合模型（GMM） - 知乎首发于机器学习笔记切换模式写文章登录/注册高斯混合模型（GMM）戴文亮笔者最近在计算机视觉课程里接触到了高斯混合模型（Gaussian Mixture Model），遂写一篇笔记来整理记录相关知识点，分享给大家。欢迎讨论、指正！混合模型（Mixture Model）混合模型是一个可以用来表示在总体分布（distribution）中含有 K 个子分布的概率模型，换句话说，混合模型表示了观测数据在总体中的概率分布，它是一个由 K 个子分布组成的混合分布。混合模型不要求观测数据提供关于子分布的信息，来计算观测数据在总体分布中的概率。高斯模型单高斯模型当样本数据 X 是一维数据（Univariate）时，高斯分布遵从下方概率密度函数（Probability Density Function）：P(x|\theta) = \frac{1}{\sqrt{2\pi\sigma^{2}}} exp(-\frac{(x-\mu)^2}{2\sigma^{2}}) 其中 \mu 为数据均值（期望）， \sigma 为数据标准差（Standard deviation）。当样本数据 X 是多维数据（Multivariate）时，高斯分布遵从下方概率密度函数：P(x|\theta) = \frac{1}{(2\pi)^{\frac{D}{2}}\left| \Sigma \right|^{\frac{1}{2}}}exp(-\frac{(x-\mu)^{T}\Sigma^{-1}(x-\mu)}{2}) 其中， \mu 为数据均值（期望）， \Sigma 为协方差（Covariance），D 为数据维度。高斯混合模型高斯混合模型可以看作是由 K 个单高斯模型组合而成的模型，这 K 个子模型是混合模型的隐变量（Hidden variable）。一般来说，一个混合模型可以使用任何概率分布，这里使用高斯混合模型是因为高斯分布具备很好的数学性质以及良好的计算性能。举个不是特别稳妥的例子，比如我们现在有一组狗的样本数据，不同种类的狗，体型、颜色、长相各不相同，但都属于狗这个种类，此时单高斯模型可能不能很好的来描述这个分布，因为样本数据分布并不是一个单一的椭圆，所以用混合高斯分布可以更好的描述这个问题，如下图所示：图中每个点都由 K 个子模型中的某一个生成首先定义如下信息：x_{j} 表示第 j 个观测数据， j = 1,2,...,N K 是混合模型中子高斯模型的数量， k = 1,2,...,K \alpha_{k} 是观测数据属于第 k 个子模型的概率， \alpha_{k} \geq 0 ， \sum_{k=1}^{K}{\alpha_{k}} = 1 \phi(x|\theta_{k}) 是第 k 个子模型的高斯分布密度函数， \theta_{k} = (\mu_{k}, \sigma_{k}^{2}) 。其展开形式与上面介绍的单高斯模型相同\gamma_{jk} 表示第 j 个观测数据属于第 k 个子模型的概率高斯混合模型的概率分布为：P(x|\theta) = \sum_{k=1}^{K}{\alpha_{k}\phi(x|\theta_{k})} 对于这个模型而言，参数 \theta = (\tilde{\mu_{k}}, \tilde{\sigma_{k}}, \tilde{\alpha_{k}}) ，也就是每个子模型的期望、方差（或协方差）、在混合模型中发生的概率。模型参数学习对于单高斯模型，我们可以用最大似然法（Maximum likelihood）估算参数 \theta 的值，\theta = argmax_{\theta} L(\theta) 这里我们假设了每个数据点都是独立的（Independent），似然函数由概率密度函数（PDF）给出。L(\theta) = \prod_{j=1}^{N}P(x_{j}|\theta) 由于每个点发生的概率都很小，乘积会变得极其小，不利于计算和观察，因此通常我们用 Maximum Log-Likelihood 来计算（因为 Log 函数具备单调性，不会改变极值的位置，同时在 0-1 之间输入值很小的变化可以引起输出值相对较大的变动）：logL(\theta) = \sum_{j=1}^{N}{logP(x_{j}|\theta)} 对于高斯混合模型，Log-Likelihood 函数是：logL(\theta) = \sum_{j=1}^{N}{logP(x_{j}|\theta)} = \sum_{j=1}^{N}{log(\sum_{k=1}^{K}{\alpha_{k}\phi(x|\theta_{k})})} 如何计算高斯混合模型的参数呢？这里我们无法像单高斯模型那样使用最大似然法来求导求得使 likelihood 最大的参数，因为对于每个观测数据点来说，事先并不知道它是属于哪个子分布的（hidden variable），因此 log 里面还有求和，对于每个子模型都有未知的 \alpha_{k}, \mu_{k}, \sigma_{k} ，直接求导无法计算。需要通过迭代的方法求解。EM 算法EM 算法是一种迭代算法，1977 年由 Dempster 等人总结提出，用于含有隐变量（Hidden variable）的概率模型参数的最大似然估计。每次迭代包含两个步骤：E-step：求期望 E(\gamma_{jk} | X, \theta) for all j = 1,2,...,N M-step：求极大，计算新一轮迭代的模型参数这里不具体介绍一般性的 EM 算法（通过 Jensen 不等式得出似然函数的下界 Lower bound，通过极大化下界做到极大化似然函数），只介绍怎么在高斯混合模型里应用从来推算出模型参数。通过 EM 迭代更新高斯混合模型参数的方法（我们有样本数据 x_{1}, x_{2}, ...,x_{N} 和一个有 K 个子模型的高斯混合模型，想要推算出这个高斯混合模型的最佳参数）：首先初始化参数E-step：依据当前参数，计算每个数据 j 来自子模型 k 的可能性\gamma_{jk} = \frac{\alpha_{k}\phi(x_{j}|\theta_{k})}{\sum_{k=1}^{K}{\alpha_{k}\phi(x_{j}|\theta_{k})}}, j = 1,2,...,N; k = 1,2,...,K M-step：计算新一轮迭代的模型参数\mu_{k} = \frac{\sum_{j}^{N}{(\gamma_{jk}}x_{j})}{\sum_{j}^{N}{\gamma_{jk}}}, k=1,2,...,K \Sigma_{k} = \frac{\sum_{j}^{N}{\gamma_{jk}}(x_{j}-\mu_{k})(x_{j}-\mu_{k})^{T}}{\sum_{j}^{N}{\gamma_{jk}}}, k = 1,2,...,K （用这一轮更新后的 \mu_{k} ）\alpha_{k} = \frac{\sum_{j=1}^{N}{\gamma_{jk}}}{N}, k=1,2,...,K 重复计算 E-step 和 M-step 直至收敛 （ ||\theta_{i+1} - \theta_{i}|| < \varepsilon , \varepsilon 是一个很小的正数，表示经过一次迭代之后参数变化非常小）至此，我们就找到了高斯混合模型的参数。需要注意的是，EM 算法具备收敛性，但并不保证找到全局最大值，有可能找到局部最大值。解决方法是初始化几次不同的参数进行迭代，取结果最好的那次。Reference《统计学习方法》第九章 - EM算法及其推广——李航Mixture model - Wikipedia高斯混合模型（GMM）介绍以及学习笔记编辑于 2022-12-20 11:01・IP 属地未知概率论机器学习统计学赞同 172783 条评论分享喜欢收藏申请转载文章被以下专栏收录机器学
高斯混合模型（GMM）推导及实现 - 知乎
高斯混合模型（GMM）推导及实现 - 知乎首发于老生谈科技切换模式写文章登录/注册高斯混合模型（GMM）推导及实现渐渐弃坑不写文，不回复，不使用上一篇讨论的EM算法的推导过程，本问结合EM算法来推导高斯混合模型的原理，并对其进行简单的实现高斯混合模型（Gaussian mixture model，GMM），常用于聚类，它与K-means算法有个相同之处在于，都需要指定 K 值。它使用EM算法来求解，有时只能收敛于局部最优而它与K-means相比的优点是，K-means只能将每个样本划分为一个类，GMM可以给出一个样本对于所有类别的概率。GMM不仅仅可以用于聚类，还可以用于概率密度的估计，也可以用于生成新的样本GMM是一个生成模型，它假设数据是从多个高斯分布中生成的，可以这样理解生成流程：有 K 个高斯分布，赋予每一个分布一个权重，每当生成一个数据时，就按权重的比例随机选择一个分布，然后按照该分布生成数据那么根据数据进行反推，可以假定一个样本有一个潜在的类别，而这个类别是无法观测到的，也就是隐变量，所以对于样本在给定参数 \theta 的条件下边际概率为：P\left(x|\theta\right)=\sum_{i}^{K}P\left(x,z=C_i|\theta\right)=\sum_{i}^{K}P\left(z=C_i|\theta\right)P\left(x|\theta,z=C_i\right) \\ 其中 z=C_i 表示样本属于某个类别， P\left(z=C_i\right) 也就是隐变量的概率分布并且满足 \sum_{i}^{K}p_i=1 ，且样本的条件概率分布服从于（多元）高斯分布，即 | = _ \sim ( | _ ,Σ_ ) ：\phi\left(x|\mu_i,\Sigma_i\right)=\frac{1}{\left(2\pi\right)^\frac{d}{2}\left|\Sigma_i\right|^\frac{1}{2}}\exp{\left(-\frac{\left(x-\mu_i\right)^T\Sigma_i^{-1}\left(x-\mu_i\right)}{2}\right)}\\ 上式假设样本含有 d 个属性。样本的边际概率为：P\left(x|\theta\right)=\sum_{i}^{K}{p_i\phi\left(x|\mu_i,\Sigma_i\right)} \\ 下面通过一个具体的栗子来对GMM进行推导，下图是三个二元高斯概率密度函数的图像3个高斯这三个高斯的参数分别是，均值：\mu_1=\left[\begin{matrix}2.5\\8\\\end{matrix}\right],\mu_2=\left[\begin{matrix}8\\2.5\\\end{matrix}\right],\mu_3=\left[\begin{matrix}10\\10\\\end{matrix}\right] \\ 协方差矩阵：\Sigma_1=\left[\begin{matrix}2&1\\1&2\\\end{matrix}\right],\Sigma_2=\left[\begin{matrix}3&2\\1&2\\\end{matrix}\right],\Sigma_3=\left[\begin{matrix}2&0\\0&2\\\end{matrix}\right]\\ 下图是通过这三个高斯函数生成的数据现在，我们通过这些数据，使用GMM将这三个高斯的参数给估计出来首先，明确变量与参数\begin{align} X&=\left(x_1,x_2,\ldots,x_N\right) \\ Z&=\left(z_1,z_2,\ldots,z_N\right) \\ \theta&=\left(p,\mu,\Sigma\right) \end{align}\\ 其中参数 \theta 包含隐变量 Z 的概率分布，各个高斯的均值与协方差矩阵：\begin{align} p&=\left(p_1,p_2,\ldots,p_K\right) \\ \mu&=\left(\mu_1,\mu_2,\ldots,\mu_K\right) \\ \Sigma&=\left(\Sigma_1,\Sigma_2,\ldots,\Sigma_K\right) \end{align}\\ 然后是EM算法中的E步，写出 Q 函数：\begin{align} Q\left(\theta,\theta^{\left(t\right)}\right)&=\mathbb{E}_{Z|X,\theta^{\left(t\right)}}\left[\log{P\left(X,Z|\theta\right)}\right]\\ &=\sum_{Z}{\log{P\left(X,Z|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)} \end{align}\\ 因为每个样本的独立同分布的，所以对数似然可以写成：\log{P\left(X,Z|\theta\right)}=\log{\left(\prod_{i=1}^{N}P\left(x_i,z_i|\theta\right)\right)}=\sum_{i=1}^{N}\log{P\left(x_i,z_i|\theta\right)}\\ 以及 Z 的后验可以写成P\left(Z|X,\theta^{\left(t\right)}\right)=\prod_{i=1}^{N}P\left(z_i|x_i,\theta^{\left(t\right)}\right)\\ 不过为了更加简洁，后验 P\left(Z|X,\theta^{\left(t\right)}\right) 在下面的推导中先不展开\begin{align} &Q\left(\theta,\theta^{\left(t\right)}\right)\\ &=\sum_{Z}\left[\left(\sum_{i=1}^{N}\log{P\left(x_i,z_i|\theta\right)}\right)P\left(Z|X,\theta^{\left(t\right)}\right)\right]\\ &=\sum_{Z}\left[\log{P\left(x_1,z_1|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)+\ldots+\log{P\left(x_N,z_N|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)\right]\\ &=\color{red}{\sum_{Z}\left(\log{P\left(x_1,z_1|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)\right)}+\ldots+\sum_{Z}\left(\log{P\left(x_N,z_N|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)\right) \end{align}\\ 可以看到， Q 函数被分出了 N 个相似的部分，我们将其中标红部分提出来化简\begin{align} &\sum_{Z}\left(\log{P\left(x_1,z_1|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)\right)\\&=\sum_{z_1,z_2,\ldots,z_N}\left(\log{P\left(x_1,z_1|\theta\right)}\left(\prod_{i=1}^{N}P\left(z_i|x_i,\theta^{\left(t\right)}\right)\right)\right)\\ &=\sum_{z_1,z_2,\ldots,z_N}{\log{P\left(x_1,z_1|\theta\right)}P\left(z_1|x_1,\theta^{\left(t\right)}\right)\left(\prod_{i=2}^{N}P\left(z_i|x_i,\theta^{\left(t\right)}\right)\right)}\\ &=\sum_{z_1\ }\sum_{z_2,\ldots,z_N\ }{\log{P\left(x_1,z_1|\theta\right)}P\left(z_1|x_1,\theta^{\left(t\right)}\right)\left(\prod_{i=2}^{N}P\left(z_i|x_i,\theta^{\left(t\right)}\right)\right)}\\ &=\sum_{z_1\ }{\log{P\left(x_1,z_1|\theta\right)}P\left(z_1|x_1,\theta^{\left(t\right)}\right)}\color{blue}{\sum_{z_2,\ldots,z_N\ }\left(\prod_{i=2}^{N}P\left(z_i|x_i,\theta^{\left(t\right)}\right)\right)} \end{align}\\ 再把上式中蓝色部分提出来展开\begin{align} &\sum_{z_2,\ldots,z_N\ }\left(\prod_{i=2}^{N}P\left(z_i|x_i,\theta^{\left(t\right)}\right)\right)\\ &=\sum_{z_2}\sum_{z_3}{\ldots\sum_{z_N}\left(P\left(z_2|x_2,\theta^{\left(t\right)}\right)P\left(z_3|x_3,\theta^{\left(t\right)}\right)\ldots P\left(z_N|x_N,\theta^{\left(t\right)}\right)\right)}\\ &=\sum_{z_2}\ P\left(z_2|x_2,\theta^{\left(t\right)}\right)\sum_{z_3}\ P\left(z_3|x_3,\theta^{\left(t\right)}\right)\ldots\sum_{z_N}\ P\left(z_N|x_N,\theta^{\left(t\right)}\right) \end{align}\\ 可以看到， P\left(z_i|x_i,\theta^{\left(t\right)}\right) 是关于 z_i 的概率分布，根据概率分布的性质有\sum_{z_i}\ P\left(z_i|x_i,\theta^{\left(t\right)}\right)=1\\ 所以，整个这一（蓝色）部分的值等于1，代回前面的式子，得到\sum_{Z}\left(\log{P\left(x_1,z_1|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)\right)=\sum_{z_1\ }{\log{P\left(x_1,z_1|\theta\right)}P\left(z_1|x_1,\theta^{\left(t\right)}\right)}\\ 同理，可以得到\begin{align} &\sum_{Z}\left(\log{P\left(x_2,z_2|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)\right)=\sum_{z_2\ }{\log{P\left(x_2,z_2|\theta\right)}P\left(z_2|x_2,\theta^{\left(t\right)}\right)}\\ &\vdots \\ &\sum_{Z}\left(\log{P\left(x_N,z_N|\theta\right)}P\left(Z|X,\theta^{\left(t\right)}\right)\right)=\sum_{z_N\ }{\log{P\left(x_N,z_N|\theta\right)}P\left(z_N|x_N,\theta^{\left(t\right)}\right)} \end{align}\\ 将这些化简的结果代回到 Q 函数，可以得到\begin{align} &Q\left(\theta,\theta^{\left(t\right)}\right)\\ &=\sum_{z_1\ }{\log{P\left(x_1,z_1|\theta\right)}P\left(z_1|x_1,\theta^{\left(t\right)}\right)}+\ldots+\sum_{z_N\ }{\log{P\left(x_N,z_N|\theta\right)}P\left(z_N|x_N,\theta^{\left(t\right)}\right)}\\ &=\sum_{i=1}^{N}\sum_{z_i\ }{\log{P\left(x_i,z_i|\theta\right)}P\left(z_i|x_i,\theta^{\left(t\right)}\right)}\\ &=\sum_{i=1}^{N}\sum_{k=1}^{K}{\log{P\left(x_i,z_i=C_j|\theta\right)}P\left(z_i=C_j|x_i,\theta^{\left(t\right)}\right)}\\ &=\sum_{i=1}^{N}\sum_{k=1}^{K}{\log{\left(p_k\phi\left(x_i|\mu_k,\Sigma_k\right)\right)}P\left(z_i=C_k|x_i,\theta^{\left(t\right)}\right)}\\ &=\sum_{i=1}^{N}\sum_{k=1}^{K}{\left( \log{p_k}+\log{\phi\left(x_i|\mu_k,\Sigma_k\right)} \right)P\left(z_i=C_k|x_i,\theta^{\left(t\right)}\right)} \end{align}\\ 由此确定了 Q 函数，接着就可以根据该函数来求解下一时刻的参数了\theta^{\left(t+1\right)}=\arg{\max_\theta{Q\left(\theta,\theta^{\left(t\right)}\right)}} \\ 需要注意的是， Q 函数的两个参数中， \theta^{(t)} 是当前时刻的参数值，是已经确定的，该参数所对应的部分： P\left(z_i=C_k|x_i,\theta^{\left(t\right)}\right) ，是隐变量在当前参数下的后验概率，也是已经确定的，所以在后续的化简和求导中都可以当作常量处理为了后面的推导更加简洁，先给该后验另取一个变量名 \gamma 作为表示：\begin{align} \gamma_{ij}&=P\left(z_i=C_j|x_i,\theta^{\left(t\right)}\right)\\ &=\frac{P\left(x_i,z_i=C_j|\theta^{\left(t\right)}\right)}{\sum_{k=1}^{K}P\left(x_i,z_i=C_k|\theta^{\left(t\right)}\right)}\\ &=\frac{P\left(x_i|z_i=C_j,\theta^{\left(t\right)}\right)P\left(z_i=C_j|\theta^{\left(t\right)}\right)}{\sum_{k=1}^{K}P\left(x_i|z_i=C_k,\theta^{\left(t\right)}\right)P\left(z_i=C_k|\theta^{\left(t\right)}\right)}\\ &=\frac{p_j\phi\left(x_i|\mu_j,\mathrm{\Sigma}_j\right)}{\sum_{k=1}^{K}{p_k\phi\left(x_i|\mu_k,\mathrm{\Sigma}_k\right)}} \end{align}\\ 下面，就是EM算法中的M步，根据确定的 Q 函数求下一时刻的参数，首先是 Z 的概率分布：\begin{align} p^{\left(t+1\right)}&=\arg{\max_p{\sum_{i=1}^{N}\sum_{k=1}^{K}{\left( \log{p_k}+\log{\phi\left(x_i|\mu_k,\mathrm{\Sigma}_k\right)} \right)\gamma_{ik}}}}\\ &=\arg{\max_p{\sum_{i=1}^{N}\sum_{k=1}^{K}{\log{p_k}\gamma_{ik}}}} \end{align}\\ 不过，这里不能直接求导，因为概率分布有一个约束： \sum_{i}^{K}p_i=1 。所以，通过拉格朗日乘数法来消除该约束。构造一个拉格朗日函数：L\left(p,\lambda\right)=\sum_{i=1}^{N}\sum_{k=1}^{K}{\log{p_k}\gamma_{ik}}+\lambda\left(\sum_{i}^{K}p_i-1\right) \\ 对该函数求导\frac{\partial L\left(p_k,\lambda\right)}{\partial p_j}=\sum_{i=1}^{N}{\frac{1}{p_j}\gamma_{ij}}+\lambda \\ 令偏导为0，并且两边同时乘上 p_j ，得到：\sum_{i=1}^{N}\gamma_{ij}=-\lambda p_j \qquad(1.1) \\ 以上，是对 p 求偏导的通向结果，具体的，对 p 的每一个分量求导，得到：\begin{align} \frac{\partial L\left(p_k,\lambda\right)}{\partial p_1}&\Longrightarrow\sum_{i=1}^{N}\gamma_{i1}=-\lambda\ p_1\\ &\vdots\\ \frac{\partial L\left(p_k,\lambda\right)}{\partial p_K}&\Longrightarrow\sum_{i=1}^{N}\gamma_{iK}=-\lambda\ p_K \end{align}\\ 将所有分量的结果相加，得到：\sum_{j=1}^{K}\sum_{i=1}^{N}\gamma_{ij}=\sum_{j=1}^{K}{-\lambda p_j} \\ 首先，利用之前的约束条件： \sum_{i}^{K}p_i=1 ，所以上式右边结果为 -\lambda 。又因为 \gamma_{ij} 也是一个概率分布，所以有： \sum_{j}^{K}\gamma_{ij}=1 ，最终得到：\lambda=-N \\ 代入（1.1）式，得到：p_j^{\left(t+1\right)}=\frac{1}{N}\sum_{i=1}^{N}\gamma_{ij}\\ 然后是各个高斯的均值：\begin{align} \mu^{\left(t+1\right)}&=\arg{\max_\mu{\sum_{i=1}^{N}\sum_{k=1}^{K}{\left( \log{p_k}+\log{\phi\left(x_i\middle|\mu_k,\Sigma_k\right)} \right)\gamma_{ik}}}}\\ &=\arg{\max_\mu{\sum_{i=1}^{N}\sum_{k=1}^{K}{\log{\phi\left(x_i\middle|\mu_k,\Sigma_k\right)}\gamma_{ik}}}}\\ &=\arg{\max_\mu{\sum_{i=1}^{N}\sum_{k=1}^{K}{\left(\log{\frac{1}{\left(2\pi\right)^\frac{d}{2}}}-\frac{1}{2}\log{\left|\mathrm{\Sigma}_k\right|}-\frac{\left(x_i-\mu_k\right)^{T}\Sigma_k^{-1}\left(x_i-\mu_k\right)}{2}\right)\gamma_{ik}}}}\\ &=\arg{\max_\mu{\sum_{i=1}^{N}\sum_{k=1}^{K}{\left(-\frac{\left(x_i-\mu_k\right)^{T}\Sigma_k^{-1}\left(x_i-\mu_k\right)}{2}\right)\gamma_{ik}}}} \end{align}\\ 这里没有约束条件，直接对上式求导\begin{align} &\frac{\partial}{\partial\mu_j}\left(\sum_{i=1}^{N}\sum_{k=1}^{K}{\left(-\frac{\left(x_i-\mu_k\right)^T\mathrm{\Sigma}_k^{-1}\left(x_i-\mu_k\right)}{2}\right)\gamma_{ik}}\right)\\ &=\frac{\partial}{\partial\mu_j}\left(\sum_{i=1}^{N}{\left(-\frac{\left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)}{2}\right)\gamma_{ij}}\right)\\ &=\sum_{i=1}^{N}{\left(-\frac{1}{2}\frac{\partial}{\partial\mu_j}\left(\left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)\right)\right)\gamma_{ij}}\\ &=\sum_{i=1}^{N}{\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)\gamma_{ij}}\\ &=\sum_{i=1}^{N}{\mathrm{\Sigma}_j^{-1}x_i\gamma_{ij}}-\sum_{i=1}^{N}{\mathrm{\Sigma}_j^{-1}\mu_j\gamma_{ij}}\\ \end{align}\\ 令偏导为0，并且两端同时乘上 \Sigma_j^2 ：\sum_{i=1}^{N}{x_i\gamma_{ij}}=\mu_j\sum_{i=1}^{N}\gamma_{ij}\\ 最后得到：\mu_j^{\left(t+1\right)}=\frac{\sum_{i=1}^{N}{x_i\gamma_{ij}}}{\sum_{i=1}^{N}\gamma_{ij}}\\ 最后，就是协方差矩阵的更新了，首先化简 Q 函数\begin{align} \Sigma^{\left(t+1\right)}&=\arg{\max_\Sigma{\sum_{i=1}^{N}\sum_{k=1}^{K}{\left(\log{\frac{1}{\left(2\pi\right)^\frac{d}{2}}}-\frac{1}{2}\log{\left|\mathrm{\Sigma}_k\right|}-\frac{\left(x_i-\mu_k\right)^T\mathrm{\Sigma}_k^{-1}\left(x_i-\mu_k\right)}{2}\right)\gamma_{ik}}}}\\ &=\arg{\min_\Sigma{\sum_{i=1}^{N}\sum_{k=1}^{K}{\left(\log{\left|\mathrm{\Sigma}_k\right|}+\left(x_i-\mu_k\right)^T\mathrm{\Sigma}_k^{-1}\left(x_i-\mu_k\right)\right)\gamma_{ik}}}} \end{align}\\ 这里，先把特征值的求导公式贴出来，对于一个矩阵 A ，有：\frac{\partial\left|A\right|}{\partial A}=\left|A\right|A^{-1} \\ \frac{\partial\log{\left|A\right|}}{\partial A}=A^{-1}\\ 接着，求 Q 函数关于协方差的偏导：\begin{align} &\frac{\partial}{\partial\Sigma_j}\left(\sum_{i=1}^{N}\sum_{k=1}^{K}{\left(\log{\left|\mathrm{\Sigma}_k\right|}+\left(x_i-\mu_k\right)^T\mathrm{\Sigma}_k^{-1}\left(x_i-\mu_k\right)\right)\gamma_{ik}}\right)\\ &=\sum_{i=1}^{N}{\frac{\partial}{\partial\Sigma_j}\left(\log{\left|\mathrm{\Sigma}_j\right|}+\color{red}{\left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)}\right)\gamma_{ij}}\\ &=\sum_{i=1}^{N}{\left(\mathrm{\Sigma}_j^{-1}-\left(x_i-\mu_j\right)\left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-2}\right)\gamma_{ij}} \end{align}\\ 下面对上式中标红部分的求导过程进行展开，因为 \left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right) 的结果是一个标量，也可以视作是一个 1\times1 的矩阵，所以它就迹就等于它自身。又因为 ( )= ( )\\ 所以，变换得到\begin{align} \left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)&=tr\left(\left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)\right)\\ &=tr\left(\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)\left(x_i-\mu_j\right)^T\right) \end{align}\\ 同样，矩阵的迹求导公式为：\frac{\partial tr\left(AB\right)}{\partial A}=B^T\\ 所以\begin{align} \frac{\partial tr\left(\mathrm{\Sigma}_j^{-1}\left(x_i-\mu_j\right)\left(x_i-\mu_j\right)^T\right)}{\partial\Sigma_j}&=\left(x_i-\mu_j\right)\left(x_i-\mu_j\right)^T\frac{{\partial\Sigma}_j^{-1}}{\partial\Sigma_j}\\ &=-\left(x_i-\mu_j\right)\left(x_i-\mu_j\right)^T\mathrm{\Sigma}_j^{-2} \end{align}\\ 接着，令偏导为0，并且两端同时乘上 \Sigma_j^2 ：\begin{align} \sum_{i=1}^{N}{\left(\Sigma_j-\left(x_i-\mu_j\right)\left(x_i-\mu_j\right)^T\right)\gamma_{ij}}=0\\ \Sigma_j\sum_{i=1}^{N}\gamma_{ij}=\sum_{i=1}^{N}{\left(x_i-\mu_j\right)\left(x_i-\mu_j\right)^T\gamma_{ij}} \end{align}\\ 最后得到：\mathrm{\Sigma}_j^{\left(t+1\right)}=\frac{\sum_{i=1}^{N}{\left(x_i-\mu_j\right)^T\left(x_i-\mu_j\right)\gamma_{ij}}}{\sum_{i=1}^{N}\gamma_{ij}}\\ 以上，全部的公式已经推导完毕，现在整理一下\begin{align} \gamma_{ij}&=\frac{p_j\phi\left(x_i|\mu_j,\Sigma_j\right)}{\sum_{k=1}^{K}{p_k\phi\left(x_i|\mu_k,\Sigma_k\right)}}\\ p_j^{\left(t+1\right)}&=\frac{1}{N}\sum_{i=1}^{N}\gamma_{ij}\\ \mu_j^{\left(t+1\right)}&=\frac{\sum_{i=1}^{N}{x_i\gamma_{ij}}}{\sum_{i=1}^{N}\gamma_{ij}}\\ \mu_j^{\left(t+1\right)}&=\frac{\sum_{i=1}^{N}{x_i\gamma_{ij}}}{\sum_{i=1}^{N}\gamma_{ij}} \end{align}\\ 最后的最后，根据以上公式，写一个简单的实现import numpy as np
from scipy import stats
class GMM(object):
def __init__(self, k: int, d: int):
'''
k: K值
d: 样本属性的数量
'''
self.K = k
# 初始化参数
self.p = np.random.rand(k)
self.p = self.p / self.p.sum() # 保证所有p_k的和为1
self.means = np.random.rand(k, d)
self.covs = np.empty((k, d, d))
for i in range(k): # 随机生成协方差矩阵，必须是半正定矩阵
self.covs[i] = np.eye(d) * np.random.rand(1) * k
def fit(self, data: np.ndarray):
'''
data: 数据矩阵，每一行是一个样本，shape = (N, d)
'''
for _ in range(100):
density = np.empty((len(data), self.K))
for i in range(self.K):
# 生成K个概率密度函数并计算对于所有样本的概率密度
norm = stats.multivariate_normal(self.means[i], self.covs[i])
density[:,i] = norm.pdf(data)
# 计算所有样本属于每一类别的后验
posterior = density * self.p
posterior = posterior / posterior.sum(axis=1, keepdims=True)
# 计算下一时刻的参数值
p_hat = posterior.sum(axis=0)
mean_hat = np.tensordot(posterior, data, axes=[0, 0])
# 计算协方差
cov_hat = np.empty(self.covs.shape)
for i in range(self.K):
tmp = data - self.means[i]
cov_hat[i] = np.dot(tmp.T*posterior[:,i], tmp) / p_hat[i]
# 更新参数
self.covs = cov_hat
self.means = mean_hat / p_hat.reshape(-1,1)
self.p = p_hat / len(data)
print(self.p)
print(self.means)
print(self.covs)随机生成了2000个样本，迭代100次后的结果如下：p = np.array([0.3, 0.6, 0.1])
means = np.array([
[2.5,8],
[8,2.5],
[10,10]
])
covs = np.array([
[[2,1],[1,2]],
[[3,2],[1,2]],
[[2,0],[0,2]]
])
# 隐变量概率分布
[0.29775162 0.59836025 0.10388813]
# 均值
[[ 2.48575471 8.22122078]
[ 7.95854299 2.46035662]
[10.03840073 9.95829754]]
# 协方差
[[[ 1.8398814 0.63200226]
[ 0.63200226 1.65134274]]
[[ 2.56927682 1.42297665]
[ 1.42297665 2.21976053]]
[[ 2.07091948 -0.03055896]
[-0.03055896 2.07287524]]]可以看到，基本上已经收敛的差不多了编辑于 2019-10-07 14:22机器学习自然语言处理人工智能赞同 58635 条评论分享喜欢收藏申请转载文章被以下专栏收录老生谈科技内容包括大数据、人工智能、物联网、web3等领域一个大学生的日常笔记你能找到的最通俗易懂的大学生数学与编程知
Stata：GMM 简介及实现范例 - 知乎
Stata：GMM 简介及实现范例 - 知乎首发于连玉君Stata专栏-连享会切换模式写文章登录/注册Stata：GMM 简介及实现范例连玉君计量经济学话题下的优秀答主 作者：王乔 (中南财经政法大学) Stata 连享会： 知乎 | 简书 | 码云连享会 最新专题 直播连享会-知乎推文列表连享会 - Stata 暑期班：直播 (不必舟车劳顿了) 时间： 2020.7.28-8.7 主讲嘉宾：连玉君 (中山大学) | 江艇 (中国人民大学) 课程主页：https://gitee.com/arlionn/PX | 微信版http://qr32.cn/FJvyx9 (二维码自动识别)1. GMM 简介广义矩估计 ( Generalized Method of Moment , 简称 GMM ) 是一种构造估计量的方法，类似于极大似然法 ( MLE ) 。 MLE 通过假设随机变量服从特定的分布，进而将待估参数嵌入似然函数，通过极大化联合概率密度函数得到参数的估计值。 GMM 则是以随机变量遵循特定矩的假设，而不是对整个分布的假设，这些假设被称为矩条件。这使得 GMM 比 MLE 更稳健，但会导致估计量的有效性有所降低 (估计出的标准误比较大)。2. MM 估计量E(\mathrm{y}-\mu)=0 \rightarrow \frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-\hat{\mu}\right)=0 \rightarrow \hat{\mu}=\frac{1}{N} \sum_{i=1}^{N} y_{i} 其中， N 表示样本数， y_{i} 表示 y 的第 i 个观察值 。此处，估计量 \hat{\mu} 被称为矩估计量( the method of moments estimator )，简称 MM 估计量。这是因为，该估计量的构造以母体矩条件( population moment condition )为基础，进而用其样本矩条件（依赖于我们使用的数据）做等价代换。因为我们从总体矩条件开始，然后运用类比原理得到一个依赖于观测数据的估计量。2.1 PMC 和 SMC 样本均值的估计我们想要估计随机变量 {Y} 的均值，即 \mu=E[\mathrm{y}] ，其中“母体矩条件( PMC )”为： E[\mathrm{y}]-\mu=0 \{{y_{1}, y_{2}, \dots, y_{n}}\} 为从这个母体中随机抽取的一组样本观察值，则对应的“样本矩条件( SMC )”为 \frac{1}{N} \sum_{i=1}^{N} y_{i}-\hat{\mu}=0 因此，我们可知母体矩条件的样本均值估计为： \mu=E[\mathrm{y}] ，样本矩条件的样本均值估计为： \hat{\mu}=\frac{1}{N} \sum_{i=1}^{N} y_{i} 。 例子： 自由度为 k 的 \chi^{2} 随机变量的均值为 k ，方差为 2k ，因此两个母体矩条件( PMC )如下：E[Y-k]=0 \qquad (1a) E\left[(Y-k)^{2}-2 k\right]=0 \qquad (1b) 这个母体中随机抽取的一组样本观察值 \{y_{1}, y_{2}, \ldots, y_{n}\} ，对应的样本矩条件( SMC )为：\frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-\hat{k}\right)=0 \quad (2a) \frac{1}{N} \sum_{i=1}^{N}\left[\left(y_{i}-\hat{k}\right)^{2}-2 \hat{k}\right]=0 \quad (2b) 2.2 MM 估计的一般形式矩估计法是用样本的 k 阶矩作为总体的 k 阶矩的估计量，建立含待估计参数的方程，从而可解出待估计参数。一般地，不论总体服从什么分布，总体期望 \mu 与方差 \sigma^{2} 存在，则根据据估计法，它们的矩估计量分别为：\hat{\mu}=\frac{1}{n} \sum_{i=1}^{n} X_{i}=\overline{X} \hat{\sigma}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2} 2.2.1 OLS 估计OLS 估计可以视为矩估计的一个特例。OLS 估计的公式为：y_{i}=\beta x_{i}+\mu_{i} 其中， x_{i} 与 \mu_{i} 不相关，则有 E\left[\mu_{i} | x_{i}\right]=0 。因此， E\left[\mu_{i} | x_{i}\right]=0 \rightarrow E\left[y_{i}-\beta x_{i} | x_{i}\right]=0 \rightarrow E\left[x_{i}\left(y_{i}-\beta x_{i}\right)\right]=0 其中， E\left[x_{i}\left(y_{i}-\beta x_{i}\right)\right]=0 是母体矩条件，对应的样本矩条件为：\frac{1}{N} \sum_{i=1}^{N}\left[x_{i}\left(y_{i}-\hat{\beta}^{M M} x_{i}\right)\right]=0 求解即可得到 OLS 估计下的 \hat{\beta}^{M M} 。2.2.2 IV 估计工具变量法（IV）是为了解决一个违反经典假设问题而设计的，假设条件是：解释变量与随机扰动项不相关。如果出现了违反该假设的问题，就需要找一个和解释变量高度相关的、同时和随机扰动项不相关的变量。要注意的问题是，工具变量的设定除了上述两个条件以外，工具变量的个数至少要大于或者等于解释变量的个数，常数项是默认的工具变量，和随机扰动项不相关的解释变量也可以作为工具变量。工具变量是矩估计的一种形式。假设公式为： y_{i}=\beta x_{i}+\mu_{i} ，根据公式可得： \mu_{i}=y_{i}-\beta x_{i} ，取得工具变量为 Z_{i} ，其中 x_{i}, z_{i} \in R^{k} ，得到 E\left[y_{i}-\beta x_{i} | z_{i}\right]=0 ，则 E\left[y_{i}-\beta x_{i} | z_{i}\right]=0 \rightarrow E\left[z_{i}\left(y_{i}-\beta x_{i}\right)\right]=0 ，E\left[Z_{i}\left(y_{i}-\beta x_{i}\right)\right]=0 为母体矩条件，对应的样本矩条件为： \frac{1}{N} \sum_{i=1}^{N}\left[z_{i}\left(y_{i}-\hat{\beta}^{M M} x_{i}\right)\right]=0 ，求解即可得到工具变量估计下的 \hat{\beta}^{\text { MM }} 。连享会 最新专题 直播3. GMM3.1 为何要使用 GMM ？GMM 估计中，假设待估参数的个数为 k ，矩条件的个数为 l ：1.恰好识别( just or exactly identified )：当 k = l 时，即待估参数个数等于矩条件个数； 2.过度识别( overidentified )：当 k < l 时，即待估参数个数小于矩条件个数。GMM 是矩估计（ MM ）的推广。在恰好识别情况下，目标函数的最小值等于 0 ，GMM 估计量与 MM 估计量等价；然而在过度识别情况下，MM 不再适用，GMM 可以有效地组合矩条件，使 GMM 比 MM 更有效。在 GMM 估计中，母体矩条件为： E[y]-u=0 ，样本矩条件为： \frac{1}{N} \sum_{i=1}^{N} y_{i}-\hat{\mu}^{\operatorname{G} MM}=0 ，通过求解样本矩条件得到 GMM 均值估计： \hat{\mu}^{G M M}=\frac{1}{N} \sum_{i=1}^{N} y_{i} 。3.2 两阶段最小二乘法两阶段最小二乘法其本质上是属于工具变量，回归分两个阶段进行，因此而得名。具体机理是：第一步，将结构方程先转换为简化式模型（约简型方程），简化式模型里的每一个方程都不存在随机解释变量问题，可以直接采用普通最小二乘法进行估计。第二步，由第一步得出的 \hat{Y} 的估计量替换 Y 。该方程中不存在随机解释变量问题，也可以直接用普通最小二乘法进行估计。例子：一般 IV 回归模型为：Y_{i}=\beta_{0}+\beta_{1} X_{1 i}+\ldots+\beta_{k} X_{k i}+\beta_{k+1} W_{1 i}+\ldots+\beta_{k+r} W_{r i}+u_{i} (i=1,2, \ldots, n) (a)其中：Y_{i} 为因变量；u_{i} 为误差项，表示测量误差和/或遗漏因素；X_{1 i} , X_{2 i} , \ldots , X_{k i} 表示k个内生回归变量，可能与 u_{i} 相关；W_{1 i} , W_{2 i}, \ldots , W_{r i} 表示 r 个包含的外生变量，与 u_{i} 不相关；\beta_{0} , \beta_{1} , \ldots , \beta_{k+r} 为未知回归系数；Z_{1 i} , Z_{2 i} , \ldots , Z_{m i} 为 m 个工具变量。以单内生回归变量的 2SLS 为例，当只有一个内生回归变量 X 和一些其他的包含的外生变量时，感兴趣的方程为： Y_{i}=\beta_{0}+\beta_{1} X_{i}+\beta_{2} W_{1 i}+\ldots+\beta_{1+r} W_{r i}+u_{i} （b），其中同前 X_{i} 可能与误差项相关，但 W_{1 i}, W_{2 i}, \ldots, W_{r i} 与误差项不相关。2SLS 的总体第一阶段回归将 X 与外生变量 W 和工具变量（ Z ）联系在了一起：X_{i}=\pi_{0}+\pi_{1} Z_{1 i}+\ldots+\pi_{m} Z_{m i}+\pi_{m+1} W_{1 i}+\ldots+\pi_{m+r} W_{r i}+v_{i} (c)其中 \pi_{0} , \pi_{1} , \ldots , \pi_{m} 为未知回归系数， v_{i} 为误差项。在 2SLS 的第一阶段中，可用 OLS 估计（ c ）式中的未知系数，并记由该回归得到的预测值为 \hat{X}{1}, \hat{X}{2}, \ldots, \hat{X}_{n} 。在 2SLS 的第二阶段中，用 OLS 估计 X_{i} 用第一阶段的预测值替换后的（ b ）式。也就是用 OLS 估计 Y_{i} 关于 \hat{X}{i} ， W{1 i}, W_{2 i}, \ldots, W_{r i} 的回归。得到的 \beta_{0}, \beta_{1}, \ldots, \beta_{1+r} 估计量就是 2SLS 估计量。当存在多个内生回归变量 X_{1 i}, X_{2 i}, \dots, X_{k i} 时，除了每个内生回归变量都需要自己的第一阶段回归以外， 2SLS 的算法是类似的。其中每个内生回归变量的第一阶段回归形式同（ c ）式，即因变量是某个 X ，回归变量是所有工具变量（ Z ）和所有包含的外生变量（ W ）。所有这些第一阶段回归一起得到了每个内生回归变量的预测值。在 2SLS 的第二阶段中，用 OLS 估计内生回归变量（ X ）分别用其预测值（ \hat{X} ）替换后的（a）式。得到的 \beta_{0}, \beta_{1}, \beta_{2}, \dots, \beta_{k+r} 估计量即为2SLS估计量。3.4 过度识别检验上面提到了，只有恰好识别和过度识别才能用 IV 方法估计。假设待估参数的个数为 k ，矩条件的个数为 l 。当 k=l 时，称为“恰好识别”，当 k {equations(namelist) | nequations(#)} {parameters(namelist) | nparameters(#)} [options] [program_options]其中，moment_prog 是以矩条件为基础构造的矩估计表达式。各个选项具体说明如下：Model 选项derivative([reqname|#]/name=dexp_jk) ：指定 reqname （或 # ） 对参数名的导数；可指定多于一次。twostep ：使用两步 GMM 估计onestep ：使用一步 GMM 估计 igmm ：使用迭代 GMM 估计variables ( varlist ) ：在模型中指定变量nocommonesample ：不要限制所有方程的估计样本都是相同的Instruments 选项instruments([reqlist:]varlist)[,noconstant])： 是制定工具；可以被多次指定xtinstruments([reqlist:]varlist,lags(#_1/#_2)) ：是制定面板类工具变量；可以被多次指定Weight matrix 选项wmatrix(wmtype[,independent]) ：指定权重矩阵; wmtype 可以是robust ,cluster clustvar , hac kernel [lags] ，或者 unadjustedcenter： 计算权重矩阵时的中心矩winitial(iwtype[, independent])： 指定初始权重矩阵； iwtype 可以是unadjested , identity , xt xtspec ,或者 Stata 矩阵的名字SE/Robust 选项vce(vcetype[,independent])： 其中 vcetype 可以是 robust , cluster clustvar , bootstrap , jackknife , hac kernel lags ,或者 unadjustedquickderivatives：采用VCE数值导数的另一种计算方法Reporting 选项level(#) ：设置置信水平;默认是水平( 95 )title(string) ：将字符串显示为参数估计表上方的标题title2(string) ：显示字符串作为副标题display_options ：控制列与列格式、行间距、行宽、显示省略的变量、基单元格与空单元格，以及因子-变量标记Optimization 选项from(initial_values) ：参数的指定初始值igmmiterate(#) ：指定迭代 GMM 估计的最大迭代次数igmmeps ：迭代的 GMM 参数收敛准则指定为 # ；默认为 igmmeps(1e-6)igmmweps( # ) ：迭代的 GMM 权重矩阵收敛准则指定为 # ;默认是 igmmweps (1e-6)optimization_options ：控制优化过程；很少使用coeflegend ：显示图例而不是统计数据4.2 简单例子在对 gmm 命令的一般形式有了解之后，此处举个简单的案例来进行 gmm 的分析。以 Stata 自带的数据 auto.dta 为例，进行以下的 GMM 实验：4.2.1 简单线性回归Stata 操作为：sysuse auto,clear regress mpg gear_ratio turn gmm (mpg - {b1}*gear_ratio - {b2}*turn - {b0}),instruments(gear_ratio turn)结果如下：. gmm (mpg - {b1}*gear_ratio - {b2}*turn - {b0}),instruments(gear_ratio turn) Step 1 Iteration 0: GMM criterion Q(b) = 471.67875 Iteration 1: GMM criterion Q(b) = 3.058e-21 Iteration 2: GMM criterion Q(b) = 2.545e-31 Step 2 Iteration 0: GMM criterion Q(b) = 1.691e-32 Iteration 1: GMM criterion Q(b) = 1.691e-32 (backed up) note: model is exactly identified GMM estimation Number of parameters = 3 Number of moments = 3 Initial weight matrix: Unadjusted Number of obs = 74 GMM weight matrix: Robust ------------------------------------------------------------------------------ | Robust | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- /b1 | 3.033 1.502 2.02 0.043 0.090 5.976 /b2 | -0.733 0.118 -6.21 0.000 -0.964 -0.502 /b0 | 41.218 8.397 4.91 0.000 24.761 57.675 ------------------------------------------------------------------------------ Instruments for equation 1: gear_ratio turn _cons4.2.2 利用线性组合的简单线性回归Stata 操作为：gmm (mpg - {xb:gear_ratio turn} - {b0}), instruments(gear_ratio turn)结果如下：Step 1 Iteration 0: GMM criterion Q(b) = 471.67875 Iteration 1: GMM criterion Q(b) = 3.058e-21 Iteration 2: GMM criterion Q(b) = 4.073e-31 Step 2 Iteration 0: GMM criterion Q(b) = 3.566e-32 Iteration 1: GMM criterion Q(b) = 3.566e-32 (backed up) note: model is exactly identified GMM estimation Number of parameters = 3 Number of moments = 3 Initial weight matrix: Unadjusted Number of obs = 74 GMM weight matrix: Robust ------------------------------------------------------------------------------ | Robust | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- gear_ratio | 3.032884 1.501664 2.02 0.043 .0896757 5.976092 turn | -.7330502 .117972 -6.21 0.000 -.9642711 -.5018293 -------------+---------------------------------------------------------------- /b0 | 41.21801 8.396739 4.91 0.000 24.76071 57.67532 ------------------------------------------------------------------------------ Instruments for equation 1: gear_ratio turn _cons4.2.3 两阶段最小二乘(与 ivregress 2sls 相同)最小二乘法的 Stata 操作为：ivregress 2sls mpg gear_ratio (turn = weight length headroom)结果为：Instrumental variables (2SLS) regression Number of obs = 74 Wald chi2(2) = 90.94 Prob > chi2 = 0.0000 R-squared = 0.4656 Root MSE = 4.2007 ------------------------------------------------------------------------------ mpg | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- turn | -1.246426 .2012157 -6.19 0.000 -1.640801 -.8520502 gear_ratio | -.3146499 1.697806 -0.19 0.853 -3.642288 3.012988 _cons | 71.66502 12.3775 5.79 0.000 47.40556 95.92447 ------------------------------------------------------------------------------ Instrumented: turn Instruments: gear_ratio weight length headroom相应 GMM 的 Stata 操作为：gmm (mpg - {b1}*turn - {b2}*gear_ratio - {b0}), instruments(gear_ratio weight length headroom) onestep结果如下：Step 1 Iteration 0: GMM criterion Q(b) = 475.42283 Iteration 1: GMM criterion Q(b) = .16100633 Iteration 2: GMM criterion Q(b) = .16100633 GMM estimation Number of parameters = 3 Number of moments = 5 Initial weight matrix: Unadjusted Number of obs = 74 ------------------------------------------------------------------------------ | Robust | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- /b1 | -1.246426 .1970566 -6.33 0.000 -1.632649 -.8602019 /b2 | -.3146499 1.863079 -0.17 0.866 -3.966217 3.336917 /b0 | 71.66502 12.68722 5.65 0.000 46.79853 96.53151 ------------------------------------------------------------------------------ Instruments for equation 1: gear_ratio weight length headroom _cons4.2.4 两步 GMM 估计 (与 ivregress GMM 相同)我们可以使用以下两种语句进行两步 GMM 估计：ivregress gmm mpg gear_ratio (turn = weight length headroom) gmm (mpg - {b1}*turn - {b2}*gear_ratio - {b0}), /// instruments(gear_ratio weight length headroom) wmatrix(robust)第一条语句的结果为：Instrumental variables (GMM) regression Number of obs = 74 Wald chi2(2) = 97.83 Prob > chi2 = 0.0000 R-squared = 0.4769 GMM weight matrix: Robust Root MSE = 4.1559 ------------------------------------------------------------------------------ | Robust mpg | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- turn | -1.208549 .1882903 -6.42 0.000 -1.577591 -.8395071 gear_ratio | .130328 1.75499 0.07 0.941 -3.30939 3.570046 _cons | 68.89218 12.05955 5.71 0.000 45.25589 92.52847 ------------------------------------------------------------------------------ Instrumented: turn Instruments: gear_ratio weight length headroom第二条语句的结果为：Step 1 Iteration 0: GMM criterion Q(b) = 475.42283 Iteration 1: GMM criterion Q(b) = .16100633 Iteration 2: GMM criterion Q(b) = .16100633 Step 2 Iteration 0: GMM criterion Q(b) = .00863899 Iteration 1: GMM criterion Q(b) = .00741189 Iteration 2: GMM criterion Q(b) = .00741189 GMM estimation Number of parameters = 3 Number of moments = 5 Initial weight matrix: Unadjusted Number of obs = 74 GMM weight matrix: Robust ------------------------------------------------------------------------------ | Robust | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- /b1 | -1.208549 .1882903 -6.42 0.000 -1.577591 -.8395071 /b2 | .130328 1.75499 0.07 0.941 -3.30939 3.570046 /b0 | 68.89218 12.05955 5.71 0.000 45.25589 92.52847 ------------------------------------------------------------------------------ Instruments for equation 1: gear_ratio weight length headroom _cons4.3 进阶例子当然 GMM 更有名的应用是在动态面板的估计上，我们可以使用 xtabond 估计动态面板。以 Stata 自带的数据 abdate.dta 为例，进行实验：webuse abdata,clear` `xtabond n L(0/1).w L(0/1).k, lags(1) noconstant vce(robust)结果如下：Arellano-Bond dynamic panel-data estimation Number of obs = 751 Group variable: id Number of groups = 140 Time variable: year Obs per group: min = 5 avg = 5.364286 max = 7 Number of instruments = 32 Wald chi2(5) = 658.83 Prob > chi2 = 0.0000 One-step results (Std. Err. adjusted for clustering on id) ------------------------------------------------------------------------------ | Robust n | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- n | L1. | .8041712 .1199819 6.70 0.000 .5690111 1.039331 | w | --. | -.5600476 .1619472 -3.46 0.001 -.8774583 -.242637 L1. | .3946699 .1092229 3.61 0.000 .1805969 .6087429 | k | --. | .3520286 .0536546 6.56 0.000 .2468676 .4571897 L1. | -.2160435 .0679689 -3.18 0.001 -.3492601 -.0828269 ------------------------------------------------------------------------------ Instruments for differenced equation GMM-type: L(2/.).n Standard: D.w LD.w D.k LD.k也可以用 GMM 的形式估计动态面板，表示为：gmm (D.n - {rho}*LD.n - {xb:D.w LD.w D.k LD.k}), /// xtinstruments(n, lags(2/.)) /// instruments(D.w LD.w D.k LD.k, noconstant) /// deriv(/rho = -1*LD.n) deriv(/xb = -1) winitial(xt D) onestep结果如下：Step 1 Iteration 0: GMM criterion Q(b) = .0011455 Iteration 1: GMM criterion Q(b) = .00009103 Iteration 2: GMM criterion Q(b) = .00009103 GMM estimation Number of parameters = 5 Number of moments = 32 Initial weight matrix: XT D Number of obs = 751 (Std. Err. adjusted for 140 clusters in id) ------------------------------------------------------------------------------ | Robust | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- rho | _cons | .8041712 .1199819 6.70 0.000 .5690111 1.039331 -------------+---------------------------------------------------------------- xb | w | D1. | -.5600476 .1619472 -3.46 0.001 -.8774583 -.242637 LD. | .3946699 .1092229 3.61 0.000 .1805969 .6087429 | k | D1. | .3520286 .0536546 6.56 0.000 .2468676 .4571897 LD. | -.2160435 .0679689 -3.18 0.001 -.3492601 -.0828269 ------------------------------------------------------------------------------ Instruments for equation 1: XT-style: L(2/.).n Standard: D.w LD.w D.k LD.k4.4 过度识别检验在计量经济学方法研究以及应用中，一般需要恰好识别或者过度识别，虽然过度识别的情况比较多一些，另外这是进行工具变量法的必要条件；若是出现过度识别，则需要进行过度识别检验，也称为 Sargen - Baseman 检验。该假设的条件为所有有效的工具变量的个数与内生解释变量一样多，或者说是这个所有的工具变量都是外生的。GMM 中过度识别的命令为 estat overid 。若是 Sargen - Baseman 检验的统计量对应的 p 值大于 0.05 ，则认为所有的工具变量都是外生的，也就是有效的，反之则是无效的。（原假设是所有工具变量是外省的，若是 p 值小于 0.05 ，则拒绝原假设）此处用 Stata 自带数据 auto.dta 来进行试验：sysuse auto,clear ivregress gmm mpg gear_ratio (turn = weight length headroom),wmatrix(robust) small estat overid结果如下:Instrumental variables (GMM) regression Number of obs = 74 F( 2, 71) = 46.93 Prob > F = 0.0000 R-squared = 0.4769 Adj R-squared = 0.4622 GMM weight matrix: Robust Root MSE = 4.2428 ------------------------------------------------------------------------------ | Robust mpg | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- turn | -1.208549 .1922271 -6.29 0.000 -1.591839 -.8252594 gear_ratio | .130328 1.791684 0.07 0.942 -3.442189 3.702845 _cons | 68.89218 12.3117 5.60 0.000 44.34336 93.44101 ------------------------------------------------------------------------------ Instrumented: turn Instruments: gear_ratio weight length headroom过度识别检验（ Sargen - Baseman 检验）的结果为：Test of overidentifying restriction: Hansen's J chi2(2) = .54848 (p = 0.7601)根据结果可知， Sargen - Baseman 检验统计量对应的 p 值大于 0.05 ，所有的工具变量都是外生有效的。参考文献：Zsohar, P., 2010, Short introduction to the generalized method of moments, Hungarian statistical review, 16: 150-170. [PDF]相关课程连享会-直播课 上线了！http://lianxh.duanshu.com免费公开课：直击面板数据模型 - 连玉君，时长：1 小时 40 分钟Stata 33 讲 - 连玉君, 每讲 15 分钟.部分直播课 课程资料下载 (PPT，dofiles 等)Note: 助教招聘信息请进入「课程主页」查看。 因果推断-内生性 专题 ⌚ 2020.11.12-15 主讲：王存同 (中央财经大学)；司继春(上海对外经贸大学) 课程主页：https://gitee.com/arlionn/YG | 微信版 http://qr32.cn/BlTL43 (二维码自动识别) 空间计量 专题 ⌚ 2020.12.10-13 主讲：杨海生 (中山大学)；范巧 (兰州大学) 课程主页：https://gitee.com/arlionn/SP | 微信版 https://gitee.com/arlionn/DSGE (二维码自动识别)关于我们Stata 连享会 由中山大学连玉君老师团队创办，定期分享实证分析经验。直播间 有很多视频课程，可以随时观看。连享会-主页 和 知乎专栏，300+ 推文，实证分析不再抓狂。公众号推文分类：计量专题 | 分类推文 | 资源工具。推文分成 内生性 | 空间计量 | 时序面板 | 结果输出 | 交乘调节 五类，主流方法介绍一目了然：DID, RDD, IV, GMM, FE, Probit 等。连享会小程序：扫一扫，看推文，看视频……扫码加入连享会微信群，提问交流更方便编辑于 2020-09-25 13:18stata连享会赞同 3577 条评论分享喜欢收藏申请转载文章被以下专栏收录连玉君Stata专栏-连享会连享会主页 lianxh 【GMM】Gloss Mod Manager 食用教程 - 3DM Mod站 如何学习GMM检验?是从计量经济学中学习么？ - 知乎首页知乎知学堂发现等你来答切换模式登录/注册统计学计量经济计量计量经济学如何学习GMM检验?是从计量经济学中学习么？关注者10被浏览36,373关注问题写回答邀请回答好问题添加评论分享5 个回答默认排序连玉君计量经济学话题下的优秀答主 关注1. GMM 简介 广义矩估计 ( Generalized Method of Moment , 简称 GMM ) 是一种构造估计量的方法，类似于极大似然法 ( MLE ) 。 MLE 通过假设随机变量服从特定的分布，进而将待估参数嵌入似然函数，通过极大化联合概率密度函数得到参数的估计值。 GMM 则是以随机变量遵循特定矩的假设，而不是对整个分布的假设，这些假设被称为矩条件。这使得 GMM 比 MLE 更稳健，但会导致估计量的有效性有所降低 (估计出的标准误比较大)。 2. MM 估计量E(\mathrm{y}-\mu)=0 \rightarrow \frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-\hat{\mu}\right)=0 \rightarrow \hat{\mu}=\frac{1}{N} \sum_{i=1}^{N} y_{i} \\ 其中, N 表示样本数, y_{i} 表示 y 的第 i 个观察值 。此处，估计量 \hat{\mu} 被称为矩估计量( the method of moments estimator ), 简称 MM 估计量。这是因为，该估计量的构造以母体矩条件( population moment condition )为基础, 进 而用其样本矩条件（依赖于我们使用的数据）做等价代换。因为我们从总体矩条件开始，然后运用类比原理得到一个依赖 于观测数据的估计量。 2.1 PMC 和 SMC 样本均值的估计我们想要估计随机变量 Y 的均值, 即 \mu=E[\mathrm{y}], 其中“母体矩条件( \mathrm{PMC}) "为:E[\mathrm{y}]-\mu=0 \\其中, \left\{y_{1}, y_{2}, \ldots, y_{n}\right\} 为从这个母体中随机抽取的一组样本观察值, 则对应的“样本矩条件( \left.\mathrm{SMC}\right)^{\prime \prime} 为\frac{1}{N} \sum_{i=1}^{N} y_{i}-\hat{\mu}=0 \\因此, 我们可知母体矩条件的样本均值估计为: \mu=E[\mathrm{y}], 样本矩条件的样本均值估计为: \hat{\mu}=\frac{1}{N} \sum_{i=1}^{N} y_{i} 。2.2 MM 估计的一般形式矩估计法是用样本的 k 阶矩作为总体的 k 阶矩的估计量，建立含待估计参数的方程， 从而可解出待估计参数。 一般地, 不论总体服从什么分布, 总体期望 \mu 与方差 \sigma^{2} 存在, 则根据据估计法, 它们的矩估计量分别为：\begin{gathered} \hat{\mu}=\frac{1}{n} \sum_{i=1}^{n} X_{i}=\bar{X} \\ \hat{\sigma}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} \end{gathered} \\2.2.1 OLS 估计OLS 估计可以视为矩估计的一个特例。OLS 估计的公式为:y_{i}=\beta x_{i}+\mu_{i} \\其中, x_{i} 与 \mu_{i} 不相关，则有 E\left[\mu_{i} \mid x_{i}\right]=0 。因此,E\left[\mu_{i} \mid x_{i}\right]=0 \rightarrow E\left[y_{i}-\beta x_{i} \mid x_{i}\right]=0 \rightarrow E\left[x_{i}\left(y_{i}-\beta x_{i}\right)\right]=0 \\详见连享会推文：专题：IV-GMM Stata：GMM-简介及实现范例IV专题: 内生性检验与过度识别检验相关推文 Note：产生如下推文列表的 Stata 命令为：. lianxh 过度识别 GMM. songbl 过度识别 GMM安装最新版 lianxh/ songbl 命令：. ssc install lianxh, replace. ssc install songbl, replace xtdpdgmm：动态面板数据模型一网打尽Sargan+Hansen：过度识别检验及Stata实现发布于 2021-07-23 22:59赞同 17添加评论分享收藏喜欢收起唠叨猫 关注GMM为广义矩估计Generalized Method of Moments的简称，经济含义就是被解释变量的前期值会对后期值产生影响，比如今年的GDP也是会影响明年的GDP的，是用样本矩代替总体矩的估计方法，Stata软件有ivreg2可以轻松实现。发布于 2020-03-18 00:25赞同 3添加评论分享收藏喜欢 访客不能直接访问 (ERROR:15) > 访客不能直接访问 [查看所需的权限/条件] > 你可能需要 [登录] 后访问 ... > 使用APP打开 ... > 后退 ... > 返回首页 ... > G买卖_游戏交易|APP下载 首页 我要买 我要卖 手机版 [登录] [注册] | 消息 | 个人中心 | 帮助中心 | 官方微信/微博 用微信扫我 微博：G买卖 | 联系客服 | 站点地图 客服中心 在线咨询 意见反馈 用户帮助 站点消息 系统消息 公告通知 新闻资讯 品牌介绍 我是买家 我要买 我买到的 我收藏的 我是卖家 我要卖 我发布的 我卖出的 我的钱包 特色商品交易 传奇永恒专用元宝 传奇永恒游戏币 传奇永恒游戏时长 永恒之塔守护点 盛趣游戏点券交易行 您有条新消息 ￥ 立即使用 请在“我的-钱包-优惠券”中查看您的优惠券 我知道了 扫一扫进入手机官网或手机上输入https://www.gmmsj.com 扫一扫下载APP 建设中，敬请期待 iOS版本临时下架，请您在电脑或手机上打开G买卖官网(https://www.gmmsj.com)进行交易。 确定 × 获取上架模板信息失败，请检查网络后再次尝试！！ 确定 × G家账号登录 × × × 请选择上架方式 普通上架 批量上架 × 1.下载G买卖APP 2.G买卖微信公众号 微信号：gmm281 扫一扫，联系客服 立即领取 立即查看 可前往券中心查看！ 立即查看 申请成功，工作人员稍后会联系你，请保持手机畅通！ 增值电信业务经营许可证: B2-20110024 | 网络文化经营许可证：沪网文（2016）6362-468号 上海数吉计算机科技有限公司 版权所有 沪ICP备15027399号-9 地址：上海市浦东新区环科路515号沪公网备31011502008404号 G买卖是上海数吉计算机科技有限公司开发的专业安全的游戏服务平台，支持盛趣旗下所有热门游戏账号、点券、金币、装备等交易。官方过户杜绝找回、客服验货真实有效、丰富活动福利满满，致力于打造“更懂你的游戏服务平台”。 适龄提示：适合18岁以上使用 建设中，敬请期待 丸子团子正在绑架程序猿叔叔开发ing，敬请期待！ 确定【GMM】Gloss Mod Manager 食用教程 - 3DM Mod站
如何学习GMM检验?是从计量经济学中学习么？ - 知乎
访客不能直接访问
G买卖_游戏交易|APP下载