当前位置:首页 >> 互联网 >>

机器学习中,有哪些特征选择的工程方法?

搜索话题、问题或人...

提问

首页 话题 发现 注册知乎 登录

机器学习 特征选择
机器学习中,有哪些特征选择的工程方法?
1 条评论 分享
知乎用户,做过几个机器学习系统 25 杨晓风、知乎用户、Qingbiao Miao 等人赞同
特征选择是特征工程中的重要问题(另一个重要的问题是特征提取),坊间常说:数据和特征决定了机器学 习的上限,而模型和算法只是逼近这个上限而已。由此可见,特征工程尤其是特征选择在机器学习中占有相 当重要的地位。 通常而言,特征选择是指选择获得相应模型和算法最好性能的特征集,工程上常用的方法有以下: 1. 计算每一个特征与响应变量的相关性:工程上常用的手段有计算皮尔逊系数和互信息系数,皮尔逊系数只 能衡量线性相关性而互信息系数能够很好地度量各种相关性,但是计算相对复杂一些,好在很多toolkit里边 都包含了这个工具(如sklearn的MINE),得到相关性之后就可以排序选择特征了; 2. 构建单个特征的模型,通过模型的准确性为特征排序,借此来选择特征,另外,记得JMLR'03上有一篇论 文介绍了一种基于决策树的特征选择方法,本质上是等价的。当选择到了目标特征之后,再用来训练最终的 模型; 3. 通过L1正则项来选择特征:L1正则方法具有稀疏解的特性,因此天然具备特征选择的特性,但是要注 意,L1没有选到的特征不代表不重要,原因是两个具有高相关性的特征可能只保留了一个,如果要确定哪个 特征重要应再通过L2正则方法交叉检验; 4. 训练能够对特征打分的预选模型:RandomForest和Logistic Regression等都能对模型的特征打分,通过 打分获得相关性后再训练最终模型; 5. 通过特征组合后再来选择特征:如对用户id和用户特征最组合来获得较大的特征集再来选择特征,这种做 法在推荐系统和广告系统中比较常见,这也是所谓亿级甚至十亿级特征的主要来源,原因是用户数据比较稀 疏,组合特征能够同时兼顾全局模型和个性化模型,这个问题有机会可以展开讲。 6. 通过深度学习来进行特征选择:目前这种手段正在随着深度学习的流行而成为一种手段,尤其是在计算机 视觉领域,原因是深度学习具有自动学习特征的能力,这也是深度学习又叫unsupervised feature learning的 原因。从深度学习模型中选择某一神经层的特征后就可以用来进行最终目标模型的训练了。 整体上来说,特征选择是一个既有学术价值又有工程价值的问题,目前在研究领域也比较热,值得所有做机 器学习的朋友重视。 编辑于 2015?04?01 5 条评论 感谢 分享 收藏 ? 没有帮助 ? 举报
查看全部 1 个回答
知乎是一个真实的问答社区,在这里分享 知识、经验和见解,发现更大的世界。 使用邮箱注册 ?
使用微博登录

使用 QQ 登录

关注问题 72 人关注该问题

关于作者

知乎用户

关注他

Geek?机器学习/分布式文件系 统/NoSQL攻城狮!

被收藏 21 次 技术 魏星 创建 | 1 人关注
统计与数据分析 Yan He 创建 | 1 人关注
学习研究 罐装南瓜 创建 | 0 人关注
未 知乎用户 创建 | 0 人关注
学习方法 李子豪 创建 | 0 人关注

相关问题

换一换

模式识别机器学习的发展方向? 1 个回答

如何运用机器学习方法来预测股市? 6 个回答

有没有机器学习方面集大成的教材推荐? 22 个回答

机器学习有什么作用? 1 个回答

机器学习 matlab教程? 2 个回答
回答状态 最后编辑于 2015?04?01 所属问题被浏览 853 次
作者保留所有权利

? 2015 知乎

移动应用 ? 加入知乎 ? 知乎协议 ? 商务合作


相关文章:
机器学习中,有哪些特征选择的工程方法? - 知乎用户的回....pdf
由此可见,特征工程尤其是特征选择机器学习中占有相 当重要的地位。 通常而言,特征选择是指选择获得相应模型和算法最好性能的特征集,工程上常用的方法有以下: 1....
机器学习中的特征选择.pdf
机器学习中的特征选择_电子/电路_工程科技_专业资料。20 计算机科学2004V01.31N9.1 1 机器学习中的特征选择 张丽新王家钦赵雁南杨泽红 (清华大学计算机科学与技术...
机器学习中的特征选择问题.doc
机器学习中的特征选择问题 - 机器学习中的特征选择问题 机器学习中,特征选择特征工程重要问题(另一 个重要的问题是特征提取) ,坊间常说:数据和特征决定了 ...
机器学习之特征选择_图文.pdf
选择 Feature Selection 重庆大学 余俊良 特征选择 ?...决策树方法一 般使用信息增益作为评价函数。 特征...机器学习中,有哪些特征选... 3页 免费 喜欢...
机器学习中的特征选择_图文.ppt
机器学习中的特征选择 - 本文首先介绍了特征选择的必要性,然后从搜索策略和评价函数两方面剖析了特征选择的流程,最后介绍了几个常用的特征选择算法。
机器学习中的特征选择算法研究_图文.pdf
是目前机器学习领域的研究热点之一,基因工程,文本...有效方法,因此本文将特征选择应用到集成学 习中,...由此,特征选择的作用主要有:去除不相关特征、冗余...
机器学习与数据挖掘_特征选择与降维..ppt
机器学习与数据挖掘_特征选择与降维. - 机器学习与数据挖掘 特征选择与特征降维
机器学习实际应用中必须考虑到的9个问题.doc
机器学习实际应用中必须考虑到的 9 个问题 张皓 AI...设计合适的优化方法可 能会使你的训练过程有质的...特征选择(feature selection)和低维 投影(如 PCA)...
特征选择在几种决策树集成方法中的表现研究.pdf
特征选择在几种决策树集成方法中的表现研究 - 机器学习领域有句话广为流传:机器学习的上限是由数据和特征决定的,而一个好的模型或算法能无限接近这个上限。本文...
模式识别与机器学习期末考查试题及参考答案.doc
在模式识别中研究所关心地就是其对人类效果地提高, 偏工程.而在机器学习中则...特征地方法或过程.模式识别和机器学习方法 首先要解决地一个问题就是特征选择....
采用机器学习的聚类模型特征选择方法比较_论文.pdf
采用机器学习的聚类模型特征选择方法比较 - 第 38卷 第 1 期 2017年
一种基于图的特征选择方法.pdf
一种基于图的特征选择方法 - 在很多的机器学习和数据挖掘任务中,特征子集选择是重要的数据预处理步骤之一.提出一种基于图方法的无监督式特征选择方法(GBFS),构造...
基于机器学习的网络流量特征选择_论文.pdf
基于机器学习的网络流量特征选择_电子/电路_工程科技...将机器学习方法应用在
模式识别与机器学习思考题及参考答案.doc
(分类、聚类、特征选择、信息融合等) ,这两个领域...理论和方法的进步促进了工程应用中 识别性能的明显提高...机器学习:要使计算机具有知识一般有两种方法;一种是...
如何选择机器学习项目的算法模板_图文.ppt
如何选择机器学习项目的算法 随着机器学习的进一步火热,越来越多的算法已经可以 ...一种线性降 维方法,可以找出包含信息量较高的特征主成分,可以解释数据中 的大...
基于机器学习的文本分类方法.pdf
前基于知识工程和专家系统的文本分类模式有所突破, ...特征选择方面的方法, 然后具体研究基于及其学习的文 ...是通过将机器学习领域的分类算法用 于文本分类中来[...
文本分类中特征选择方法研究.pdf
文本分类中特征选择方法研究_电子/电路_工程科技_专业资料。对四种特征选择方法:...文本分类方法机器学习的推动下迅 MI(G,£)=log可蒉韵= . 、P(t,cJ) ...
模式识别与机器学习思考题参考标准答案.doc
(分类、聚类、特征选择、信息融合等),这两个领 域地界限越来越模糊.机器学习...识别地研究吸引了越来越 多地研究者,理论和方法地进步促进了工程应用中识别性能...
集成学习中特征选择技术.pdf
工程与科学学院 ,上海 200072) 摘要 : 集成学习和特征选择是当前机器学习领域中...然而 , 很少有人对重复取样 ( 如 bagging 和 boosting 方法) 的基础上进行...
文本分类中特征选择方法研究_论文.pdf
文本分类中特征选择方法研究_信息与通信_工程科技_专业资料。对四种特征选择方法:...本分 类 方法机器学习的推 动下 迅 文 MI( , f):l可 og 、 P(,...