揭秘二三四五秘密武器,大数据的商业化应用

二三四五大数据计算平台有颇大的野心,数据应用商业化是它们最终极的目标。
2018年是二三四五成立的第14个年头,在过去的这14年里,伴随着中国互联网的飞速发展,二三四五从无到有、从小到大、从弱到强,迅速成长为一家国内一流的互联网企业巨头。
从过去到现在,公众对二三四五的认识一直在变化,从网址导航到软件分发,从传统互联网到互联网金融再到星球联盟。在互联网浪潮之中,二三四五有迟到,但从未缺席。
从微观角度切入,二三四五算是一家以技术驱动的大数据公司。在二三四五的产品里,流淌着各种各样的数据。二三四五网址导航的电商数据、二三四五车贷王的消费数据、二三四五浏览器的浏览数据等等,这些海量的数据组成了二三四五的各个产品线,而这些数据转化为业务和产品,最终可以让普通用户能够享受,则离不开稳定、安全、可靠的大数据计算平台,这也就是二三四五大数据计算平台所要承担的艰巨任务。
2018年,在二三四五新科技研究院成立的背景下,其大数据团队也被提升到了一个新的高度。5月,大数据中心团队组建完毕;7月,平台实现10亿级数据量采集;9月,平台运行精准营销系统······面对每天TB级的数据采集量,大数据平台需要不断解决任务数量增长快、任务多样化、任务关系复杂、任务效率失败不可控等种种问题。
通过离线(通过flume进行数据收集)或者实时(实时通过Kafka进行处理)接收二三四五旗下各产品数据,做好日志接入;按业务需求使用spark或hive对技术进行粗提取,对开发完成后的MR任务使用workflow调度系统进行任务调度。这能很好的处理每天的TB级数据
在数据挖掘上,根据业务需求,依托spark或者mapreduce进行数据开发,流转至机器学习模块进行数据的价值再挖掘。不同的业务有着不同的数据变现任务,因此数据挖掘模块以提供计算资源为主,各业务在各自的计算队列进行挖掘。
二三四五非常重视数据安全,针对不同业务,采用权限隔离,保证业务之间不存在相互入侵。统一使用web页面提交,不提供登入SSH权限。对于敏感信息,使用编码技术进行加密处理,相关数据使用均有可追踪路径查询。
通过对大数据平台的数据处理和输出,二三四五的大数据应用商业化得到了很好的保障。从运营角度来说,它能够实时感知每台机器、每个接口、每个业务的运行状态,实现秒级监控警报。对营销来说,可以实时感知用户兴趣变化、环境/位置变化、商家优惠策略变化,从而实现精准营销。
大数据是互联网企业的命脉和护城河,数据的价值正在不断的挖掘和升值。二三四五大数据平台将自己放在行业领先者的位置,整合行业精英以及核心技术,实现跨平台,多维度、稀疏高维数据的充分利用。
而这,就是二三四五的秘密武器。 

相关产品

评论