AWS新型HDD存储选项:大数据工作负载预测你也可以

日期:2016-4-28

Amazon Web Services(AWS)宣布两个全新 Amazon Elastic Block Store (Amazon EBS) 低成本的硬盘 (HDD) 型存储选项上市,以大数据集、大输入/输出 (I/O) 块和序列 I/O 的模式,向客户提供面向吞吐量密集和大数据工作负载的可预测性能。Amazon EBS 吞吐量优化型 HDD (st1) 和 Amazon EBS 冷 HDD (sc1) 卷向客户交付始终一致的基线性能,并可“爆增”到更高吞吐量以便满足 MapReduce、Kafka、提取/转换与加载 (ETL)、日志处理和数据仓库工作负载性能需求。Amazon EBS 客户仅为他们占用的存储付费,没有额外吞吐量的费用。

从 2008 年发布 Amazon EBS 以来,AWS 持续创新地提供块存储选项,以此支持客户优化工作负载的存储性能并降低成本。2012 年,AWS 开始提供包含固态硬盘 (SSD) 技术的 Amazon EBS 卷,交付用于延迟敏感型交易工作负载的高性能持久存储,例如数据库持续地要求每秒有大量的输入输出操作 (IOPS)。2014 年,AWS 发布了性价比优化的、基于 SSD 的存储服务,开创 IOPS“爆增”模式,高成本效益地交付各种交易型工作负载所需的 IOPS 性能,包括启动卷、开发/测试和低延迟交互式应用。通过新发布的产品,AWS 持续创新,交付面向大数据工作负载的、且拥有业界最佳性价比的块存储。作为AWS 基于 HDD 的新一代存储设计,这些 Amazon EBS 卷是为了面向吞吐量密集型、大数据工作负载(例如处理日志或 Kafka 流传输数据、MapReduce 执行集群数据分析、数据仓库)或面向较少访问的工作负载而优化的。Amazon EBS 吞吐量优化型 HDD (st1) 和冷 HDD (sc1) 卷交付具有可预测高吞吐量的、满足大数据应用处理需求所需的低成本 HDD 存储。吞吐量优化型 HDD (st1) 卷包括高达每卷每秒 500 MB的最大吞吐量,冷 HDD (sc1) 卷则有每卷每秒 250 MB 的最大吞吐量。所有的EBS 卷类型均可提供持久快照功能并且具有 99.999% 可用性。

亚马逊AWS计算服务副总裁Peter DeSantis表示,“过去数年,AWS 已交付一系列基于 SSD 的 Amazon EBS 卷,以此支持客户可以成功且高经济效益地运行 IOPS 最密集的应用。但是,对于大数据工作负载,HDD 仍是最佳块存储解决方案,然而却一直没有什么创新。但是,直到今天,这两个全新 Amazon EBS 卷已代表了 HDD 成本和性能方面的阶跃变化,而且可以支持更高效地运行吞吐量密集型、大数据工作负载。”

Localytics 是一个面向Web 和移动应用的生命周期支持平台,超过 27 亿个设备、37,000 多种app都在使用它的服务。Localytics 后台工程总监Mohit Dilawari表示,“我们的Vertica 集群上有数拍字节磁存储,我们一直在寻找改善性能和降低成本的方式。发布的 Amazon EBS 冷 HDD (sc1) 支持我们迁移 Vertica 集群,节省月存储成本 50% 以上,同时还提供我们运行查询所需的可靠吞吐量。更大卷规模还无需组合多个卷,以此简化集群管理和操作、同时支持更方便地扩展。”

Infor 向超过 73,000 个客户和 5,800 万云用户提供行业专用和面向云而构建的商业软件。Infor 云服务副总裁Jim Plourde表示,“我们对发布 Amazon EBS 吞吐量优化型 HDD (st1) 和冷 HDD (sc1) 感到非常兴奋,期望利用卷降低成本、向吞吐量优化型 HDD (st1) 迁移一些大数据工作负载并且向冷 HDD (sc1) 迁移更冷数据。向冷 HDD (sc1) 迁移我们的更冷数据,能够节省大量存储成本。”

Apache Kafka创建的 Confluent 支持组织从流数据实现商业价值。Confluent 联合创始人和首席执行官Jay Kreps表示,“从我们运行不同的高吞吐量工作负载的基准测试中,我们发现全新 Amazon EBS 吞吐量优化型 HDD (st1) 和冷 HDD (sc1) 卷始终一致地交付运行 Kafka 必需的吞吐量、性能和可靠性。新卷可为客户节省高达 50% 的 Amazon EBS 存储并为 Kafka 提供相同吞吐量和性能。此外,新卷为在 AWS 上运行 Kafka 的客户提供更多选项。因为客户能够使用低成本实例,例如 Amazon EC2 C4 或 M4,借助这些 Amazon EBS 新卷优化性能并降低成本。”

客户可利用 AWS 管理控制台、AWS 命令行界面 (CLI) 或 AWS 软件开发包 (SDK) 启动 Amazon EBS 吞吐量优化型 HDD (st1) 和冷 HDD (sc1) 卷。Amazon EBS 吞吐量优化型 HDD (st1) 和 Amazon EBS 冷 HDD (sc1) 卷已在全部商用的 AWS 区域上市。



微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

云存储>更多

  • 谷歌云存储降价:与Glacier竞争冷存储市场

    随着谷歌对自己的云存储产品重新分了类,最近又新增了一个冷存储层级以吸引企业客户,该公司正在回归价格才是决定因素的这一云战略。

  • OpenStack对象存储评估:Swift对阵Ceph

    两种最常见的OpenStack存储选项分别是作为OpenStack项目一部分的Swift,以及独立的开源系统Ceph。这两个选项都提供对象存储,并且可以免费下载。

  • AWS冷存储成本知多少

    专用高速网络连接,如AWS Direct Connect,可以在数据中心和AWS云设备之间建立专用连接。以太网连接绕过了公共互联网,避免了瓶颈和拥塞,这往往降低了带宽,也降低了数据传输性能。

  • 联想企业网盘:只做数据的搬运工

    联想企业网盘是基于云存储的企业文件协同与管理平台,企业借助该平台可以为员工提供个人数据存储、分享服务,保护数据安全;也可以按照企业组织架构组建企业级、部门级、项目级的协同工作服务,提高数据处理效率。

相关推荐

  • IBM云战略:进展与改进并存

    在市场辨识度竞争中,IBM落后于Amazon Web Services和Microsoft Azure,但是,随着云计算的演进,仍然存在一些场景里IBM可能成为主要,甚至统治级的选手。

  • Fireglass技术击垮AWS CloudTrail

    Fireglass的联合创始人和CTO Dan Amiga以及安全研究团队领导人Dor Knafo列举了一些入侵AWS环境的方法,这些方法让黑客在完成攻击的同时能够消除入侵AWS CloudTrail。

  • 云迁移工具:AWS Snowball和Amazon Kinesis Firehose

    在 AWS re:Invent 大会上,亚马逊公司旗下的 Amazon Web Services(AWS) 发布两项新功能,帮助客户更快速和更经济划算地向 AWS 云迁移任意类型和规模的数据。

  • AWS在中国发布“AWS云创计划”

    “AWS云创计划”是一个全球性创业加速扶持计划,可以提供的支持包括最高可达人民币10万的AWS服务抵扣券、技术培训、创业公司专项活动以及内容广泛的开发者支持。

技术手册>更多

  • 云开发系列文摘之私有云战略

    公有云和私有云各自成为镁光灯下的焦点词汇,但是很多分析师则愿意在二者的混合物——缓和云上下注。专家看到了人们对于私有云的兴趣,因为很多企业就是简单的不能或者不信任,所以不会将数据放入公有云中。不久的将来,这一现状会改变,一些数据在公有云中也非常安全,也许在亚马逊的保护之下甚至比大多数的IT内部要更加安全。在本期云开发文摘中,我们将如何制定良好的私有云战略。

  • 云存储市场求生指南

    云存储对于一系列的存储需求是一种有效的选择。理解各种云存储系统的关键特性有助于识别合适的用例,并避免潜在且昂贵的错误。在这本技术手册中,我们将着重关注云存储市场动态,以及目前的价格情况,同时关注企业在选择云存储服务时需要注意哪些问题,有哪些可供参考的内容。

  • 解密后端即服务(BaaS)

    后端即服务(BaaS)作为通向后端的一个不同方法已经兴起—它包含服务器、应用程序和支持应用程序面向用户的前端数据库—通过引入云服务架构通向后端流程。虽然是新的,但它已经有了许多的厂商,随着BaaS商场的不断增长,越来越多的开发团队开始注意到移动应用领域的这个新生儿。

  • 调查报告:案例研究揭示云应用流程冲击和效益

    从别人的错误和成功中吸取经验教训是任何新技术向前发展的最佳途径。这份特别报道是TechTarget最近的调查的具体内容展现。

TechTarget

最新资源
  • 安全
  • CIO
  • SOA
  • 虚拟化
  • 网络
  • 数据中心