行业领域:信息传输、软件和信息技术服务业 —— 软件和信息技术服务业
专利信息: 非专利技术
成熟度: 通过中试
技术合作方式: 其他
技术推广方式: 正在技术推广
技术交易价格: 面议
联系人:李海涛
联系方式:13515765315
技术成果发布数:448
邮箱:355294213@qq.com
成果内容简介
本发明公开的一种基于MapReduce的K近邻数据预测方法,包括如下步骤:确定训练数据和待测试数据,将训练数据上传至Hadoop集群,分散存储;设计Map函数计算待预测数据与本节点的部分训练数据之间的距离;设计Combine函数,对Map函数的输出进行局部排序;Reducer端设计Reduce函数,进行全局排序,得到全局的K个最近邻数据对象及其距离,利用距离加权方法,计算K个权重大小,将计算出的权重值定义为回归系数,计算出待预测数据的预测值。本发明采用变参机制替代传统线性回归预测方法中的固参模式,提高了数据预测的准确精度;利用MapReduce编程模型,在Hadoop分布式计算平台上实现并行计算,大幅度提高了大规模数据集的计算效率。