看爱奇艺如何玩转大数据

日期:2016-2-22来源:TechTarget中国

以“大数据”为首的新兴技术使人类社会的数据种类和规模正以前所未有的速度增长,数据的产生已经完全不受时间、地点的限制,数据开始从简单的处理对象转变为一种基础性资源。企业甚至于政府机构等都选择拥抱大数据,争相迎接大数据新时代。

然而,玩转“大数据”是需要云计算技术在数据存储管理与分析等方面的强力支撑的。而作为全球领先的云计算服务提供商,亚马逊AWS在面对大数据趋势时表现得更加从容和淡定。亚马逊AWS拥有最完整的大数据平台,可提供一个广泛的托管服务,帮助用户快速、轻松地构建并保护大数据应用程序。无论用户的应用程序是需要实时流式处理、批量数据处理,亦或是需要结构化数据和非结构化数据,亚马逊AWS都能提供完善的基础设施和工具来处理用户的大数据项目。下面的三个案例可以说明亚马逊AWS在大数据处理和应用上所具有的价值和贡献。

帮助顶级视频网站应对内容暴增挑战

作为国内领先的视频网站,爱奇艺自2010年正式上线以来便构建了涵盖电影、电视剧、综艺、动漫、纪录片等十余种类型的视频内容库。随着数量的急剧增长,这些视频内容已达PB量级,也致使爱奇艺自己的存储系统开始面临诸多挑战。爱奇艺副总裁刘文峰说,“坦率地讲,Amazon Glacier是我们的不二之选。”

使用Amazon Glacier作为冷备系统之后,爱奇艺的视频数据和日志文件归档流程得到了极大的简化。除此之外,归档数据的安全可靠是Amazon Glacier带来的最大好处,这使得爱奇艺可以放心地把关键的视频数据和日志文件存放在云端。此外,AWS分布在世界各地的数据中心也为爱奇艺的全球化服务提供了强有力的支持。

助力全球最大股票市场处理全球交易数据

而作为世界最大的股票市场之一,纳斯达克也在每天用亚马逊AWS大数据平台收集、处理和分析数十亿条记录。自亚马逊AWS于2006年成立以来,纳斯达克便成为了其忠实的用户。目前,纳斯达克平均每天有50多亿条数据记录要运行到Amazon Redshift;甚至在2014年的10月,一天的数据处理峰值竟然达到了140亿条。

除此之外,纳斯达克还运用了Amazon S3 and Amazon EMR来实现独立的数据计算和托管。Amazon S3拥有近乎99.999999999%的完美拓展性,可以不用花费太多成本,便可以让数据横跨多个区域、在不同的数据中心间自由穿梭。而且,纳斯达克在Amazon EMR上的运用使得部署和管理Hadoop集群变得十分简单。其可以根据自身企业需要,自由地控制集群的增长或者收缩,甚至在周末或假日期间将其关闭。亚马逊AWS给予了纳斯达克在大数据处理和维护上无限可能。

推动互联网公司全球创新和扩张

不仅如此,近期一个很火的旅行房屋租赁网站及应用——Airbnb,也正在通过亚马逊AWS的大数据平台来逐步完善和升级自身的服务系统。为了支持需求,该公司将 200 个 Amazon Elastic Compute Cloud (Amazon EC2) 实例用于其应用程序、内存缓存和搜索服务器。为了每天轻松处理和分析 50 GB 的数据,Airbnb 使用了 Amazon Elastic MapReduce (Amazon EMR)。Airbnb 还使用 Amazon Simple Storage Service (Amazon S3) 存储备份和静态文件,包括 10 TB 的用户照片。

此外,Airbnb 已将其主要的 MySQL 数据库迁移到了 Amazon Relational Database Service (Amazon RDS)。Airbnb 只需 15 分钟的停机时间就可以将其整个数据库迁移到 Amazon RDS。这种快速转换对于快速增长的 Airbnb 非常重要。Airbnb 的工程师 TOBI Knaup 说: “因为使用了 AWS,我们一直可以轻松(在所需时间和成本方面)扩展我们的站点。”

毫无疑问,亚马逊AWS能够利用自身成熟技术,帮助企业自如地迎接大数据挑战。更有价值的是亚马逊AWS可以通过技术和平台,激发用户创新,“玩转”大数据,让企业在暗涌翻腾的大数据时代立于不败之地。当然,这是用户的成功,也是亚马逊AWS的胜利。

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

云计算和大数据>更多

  • 移动互联中:企业如何在大数据的野蛮生长中掘金?

    随着全球移动设备、可穿戴设备等智能设备的不断增多,我们看到大数据的数量也不断增长,而且是爆发式的增长。IDC的一份报告预测,到2020年,大数据和业务分析市场将增长至203亿美元,是2015年1120亿美元的两倍。

  • 特朗普经济:2017年IT渠道商机大家谈

    随着步入2017年,IT渠道分析师和高管们都形成了一个共识:变革就在眼前。过去一年,许多渠道合作伙伴都实施了大胆的措施来改变他们的业务,从而促进其收入增加。

  • 2017年:你见或不见,这些趋势就在那里!

    2017年新年的钟声已经敲响,在新的一年,还是要许下新年的愿望,不是为了一定实现,而为了在新的一年能有好的运势。那么,在2017年,IT圈的你是否也会期望看到下面的事情发生?

  • 云数据库市场之争:客户希望Oracle与AWS和平共处

    Oracle和AWS正在陷入一场争夺企业用户使用他们数据库工作负载托管服务的战争中。但是,对于将业务迁往云的客户来说,这个决定并不一定是二者选其一的。

相关推荐

技术手册>更多

  • 开源云计算平台和产品教程

    在寻找开源云计算服务供应商时,拥有较强开发能力团体或特定业务应用的企业往往会习惯性地避开商业云计算服务供应商。但是有些问题依然存在,如开源云计算服务供应商如何体现其价值。谁将拔得头筹?Eucalyptus系统是否能够在与OpenStack的残酷竞争中胜出?OpenStack是否能够摆脱过分项目宣传的老套路,进而推出具有量产商业化性质的云计算产品?红帽公司是否能够进一步明确其模糊不清的云计算战略?那么诸如Abiquo之类的无关虚拟化管理程序公司又如何?谁将成为世人眼中的焦点,成为企业私有云计算实施计划中的宠儿?

  • 开源云平台OpenStack电子书

    OpenStack风头正劲,大名鼎鼎的厂商,如VMware、红帽、IBM都加入其麾下,Rackspace、思科、戴尔和惠普对这个项目的贡献超过1000万美金。从产业角度来看,第三方的大力支持足以证明OpenStack获得了足够的吸引力,但是最基本的平台问题还是有待解决。在这本电子书中我们将详细介绍OpenStack的三载风雨路,以及其在存储、网络等方面的进展。

  • 云存储服务使用指导手册

    根据TechTarget最近的一项调查,我们发现受访者所在的企业中,目前有44%已经在数据保护和其他应用中使用云存储服务。大概在未来六个月中,这个数字还会继续增长,因为46%的受访者表示他们计划增加对于云数据存储服务的使用。

  • 私有云实施前准备

    越来多的企业倾向于私有云的选择,因为他们既想要利用云计算的优势,但又不想因为采用公有云,而被迫放弃他们手中的控制权,因此私有云变得越来越受欢迎。

TechTarget

最新资源
  • 安全
  • CIO
  • SOA
  • 虚拟化
  • 网络
  • 数据中心