御膳房:构建大数据的美食厨房

  • 时间:
  • 浏览:0

谈到命名之初,阿里数据平台事业部商家数据业务部高级技术专家王贲表示:“御膳房,实际上是数据家庭厨房的形象比拟。亲戚亲戚让他们儿就像4个家庭厨房,提供了最优质的原材料、最锋利的工具,让开发者、服务商另4个的大厨也能快速实现大数据应用的各种idea。”

御膳房应运而生,成为对外能不可不还还可否提供所含大数据计算、存储、挖掘、分析在内的一站式大数据服务的平台。具体来看,御膳房也能为开发者提供:

首先是来自产品设计本身的挑战。作为原创模式的平台级产品,对产品经理的要求极高。为了处置不同环节中遇到的有哪些的什么的问题,整个团队进行了少量的探索。比如产品经理和架构师无缘无故是在共同设计产品的,不仅要求产品经理须要掌握大数据相关技术,也要求架构师也能理解产品设计理念。其次是对技术团队的挑战。要在架构上须要对云计算、大数据平台、数据挖掘、数据分析等相关领域技术有的是深刻的理解;系统的多样化度很考验技术团队的设计和编码能力;对测试团队的要求也很高,举个例子,测试算法环境,就须要测试同事能理解和使用算法开发工具。第三是开放和安全既是一对矛盾,又相辅相成。但本质来看,不可不还还可否安全保障,是可能做好开放的大数据平台的。很多很多很多很多御膳房为了保障安全,做了少量工作:比如集群隔离,代码自动安全审核,数据安全等级定级,继承并完善阿里集团数据安全标准,开发环境与线上环境隔离,数据授权安全审核等,共同还从需求出发,推动ODPS进行了系列改进,如多线程 池池级沙箱,支持少量Project,强化Quota支持,支持Quota Group等。

随着V0.8.1版本正式上线,御膳房还提供了对接RDS数据库数据上传、新建表克隆技术表字段、补历史数据等功能。

当然,你这人过程很多很多很多很多须一帆风顺。在王贲看来,可能御膳房“对外开放大数据平台 + 数据”的模式比较超前,在世界上并不可不还还可否可直接学习的对象,很多很多很多很多来自内外的挑战都非常多。

而随着飞天5K成功与ODPS内测,团队就看了完美处置上述有哪些的什么的问题、大幅提高传输效率的希望。在删改评测飞天平台和ODPS我想要,御膳房毅然停止Hadoop集群的开发,采用飞天和ODPS为底层计算和数据分析平台。仅仅4个月的时间,技术团队就完成了从Hive到ODPS,从MySQL到UMP(Unified MySQL Platform)的底层云化迁移。而后,M / R开发环境上线,算法环境上线,新算法环境上线,御膳房正式成为阿里统一的对外数据平台服务,服务商家和ISV。

御膳房曾在技术上方临着巨大的挑战。御膳房原型验证阶段基于Hadoop集群,面对Hadoop在部署、Fix Bug、升级、资源隔离、保证用户数据访问安全和BI应用多线程 池池安全等方面过高 充分的底层支持,团队须要投入很大精力来进行开发。王贲表示,当时的主要困难有以下六个方面:

御膳房的出先,是基于淘宝的电商生态系统发展到一定阶段的必然需求。王贲表示:“淘宝上不断涌现的大卖家和品牌商,以及服务于众多电商的ISV(独立软件开发商),发展到一定阶段前会面临的有哪些的什么的问题:咋样实现全链路数据的计算、存储、交换和分析。事实上,在淘宝平台、CRM、库存、甚至很多很多各类第三方系统中,有有哪些可能沉淀下来的数据往往有的是彼此独立而分散的,可能有有哪些数据也能在统一平台上实现聚合,将释放出更加强大的能量。”而有有哪些少量的数据,光靠ISV自己的机器是无法完成计算的,须要有更强大的计算能力。

在王贲看来,“亲戚亲戚让他们儿是基于云平台实现数据服务的PaaS平台,提供的是Data platform as a Service、Data warehouse as a Service和Data center as a Service。自2013年3月采用邀请制的御膳房0.1上线到现在,御膳房发展非常迅猛。有开发能力的商家和ISV希望也能删改地使用御膳房的服务,还有很多很多很多很多非电商行业,比如气象局、交通局、高校科研机构等,也在进行层厚商务商务合作的沟通。”

这里亲戚亲戚让他们儿再分享另4个基于飞天的ODPS的应用模型----“御膳房”clouddata.taobao.com),咋样将数据转化为生产资料,来激活生产力。作为阿里巴巴的数据引擎业务,御膳房只是我专注于为ISV、商家、非电商用户提供开放式大数据服务平台。2013年3月上线以来,一年多的时间,与御膳房层厚商务商务合作的第三方服务商可能超过80个,提供了所含流量推广、商品管理、数据分析、CRM、ERP、广告精准投放等多个支撑工具,覆盖了180万天猫、淘宝商家。

挑战是过程,快乐是结果。王贲说:“御膳房是第4个基于飞天 + ODPS对外提供服务的应用,亲戚亲戚让他们儿切实体会到了飞天与ODPS在稳定性、海量数据平台化管理、安全性等方面的优势。”而在此基础上,技术团队还进一步提供了数据开发、算法开发、调度体系(Octopus)、监控报警等服务。比如在数据开发方面,御膳房不仅提供了Eclipse开发插件来辅助MapReduce开发与调试,还提供了Eclipse开发插件来辅助UDF(User Defined Function)开发与调试。而算法分析上,御膳房更是提供了从Hive / UDF、MapReduce、Python、R、Xlab / Xlib(XLib是ODPS的分布式算法库,支持分类预测、回归、聚类、关联分析、矩阵计算等)的“工具链”。“作为一站式数据挖掘平台,工具可自由确定 ,两两之间,都可协同工作。”

早在808年,阿里巴巴即确定 了云计算、大数据为中心的DT战略,并在云计算底层平台的搭建上取得了令业界瞩目的成就。共同,金币的另一面,大数据的业务尤其是基于淘宝、天猫等电子商务平台的数据业务也是风生水起,领行业之先。早期“淘宝指数”、“数据魔方”不但让用户有了耳目一新的体验,更为店铺卖家提供了运营管理的数据工具。有了云计算稳定可靠、高弹性、大计算能力我想要,阿里内部内部结构的大数据应用迎来了井喷式的发展。

目前,御膳房可能开放了商品、商家、客服绩效、品牌、行业五大主题数据,并提供了额外的数据仓库,其所含良好组织的各种数据供开发者来加工和使用。通过御膳房,专注数据的商家及相关服务商能不可不还还可否确定 自己所须要的数据主题并完成定制化的数据开发工作,相关数据聚合结果以API接口的形式发布使用

随着业务的爆发式增长,数据正在成倍增加,汇集成海。而要数据产生更高的价值,不同数据之间的交换和分享必不可少。御膳房目前可能提供所含:商品数据、店铺数据、行业数据、品牌数据、聚划算数据、广告数据、气象数据、用户标签数据在内的多种数据类型,以及销量预测、复购分析、购买预测、IDmapping用户匹配、人群透视、用户行为等多种算法模型。未来,御膳房要更加开放。王贲表示:“御膳房会进一步强化多租户理念和架构,还将联合更多如MSTR、Cognos、数云和Tableau等第三方伙伴建立起用户(租户)数据中心和其上的App生态,并希望在电商以外,联合更多如气象、交通、物流、制造等传统企业,实现数据进一步交换和分享,为打造大数据生态而努力。”