大规模数据的随机森林算法

摘要：信息技术的高速发展提升了人们生产、收集数据的能力,越来越多的数据呈现出海量化、高维化的特征。这类大规模数据的出现给统计分析带来计算效率方面的挑战。为有效解决计算效率较低的问题,研究者结合"分治"思想提出了一种分析框架,并以随机森林算法为例内嵌其中得到大规模随机森林算法（BLOCK-SDB-RF）。研究者从数据覆盖率及时间复杂度两方面对该算法的优势进行分析,同时通过数值模拟探究了BLOCK-SDB-RF算法的应用效果。数值模拟结果显示:1.随着数据样本量、特征维度的增加,该算法在计算效率上的优势愈发明显;2.尽管变量间的相关性对该算法的计算效率影响并不明显,但随着相关性的增加,研究者需要牺牲一部分预测精度。在实证分析中,研究者以音乐流媒体服务商KKBOX提供的日志数据为例,进一步讨论了BLOCK-SDB-RF算法在大规模高维实际数据分析中的作用。

关键词：大数据; 计算效率; 随机森林; 分布式计算;

本文发表于《统计与信息论坛》2020年06期

李扬：中国人民大学国家传播战略研究中心研究员，中国人民大学教授

祁乐：中国人民大学统计学院博士生

聂佩芸：腾讯公司国际业务部数据分析师