AWS S3中归档数据四要点

日期:2014-5-21作者:Dan Sullivan

AWS简单存储服务   S3   AWS S3   

【TechTarget中国原创】

对于存储归档任务来说,AWS的简单存储服务(S3)是一个较具成本效益的选择。把归档移至云计算可让企业用户减少内部部署硬件,例如网络附属存储(NAS)的文件存储。当你在一个归档中进行文件搜索时,为了降低存储介质故障或其他问题所带来的风险,你可能会使用冗余副本,而使用AWS的S3还可以有助于节省冗余副本的数量。

如果需要实现AWS S3优势的最大化,适当的规划是至关重要的。当把归档迁移至S3时以及在云计算中长期管理它们时,有几点是需要谨记于心的。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者>更多

Dan Sullivan
Dan Sullivan

Dan Sullivan是一名作家、系统架构师和顾问,拥有超过20年关于先进的分析、系统架构、数据库设计、企业安全、商业智能的IT从业经验。他的从业范围广泛,包括金融服务业、制造业、医药、软件开发、政府、零售、天然气和石油生产、发电、生命科学和教育。

云存储>更多

相关推荐

技术手册>更多

  • 主流云计算服务模式安全攻略

    毫无疑问,云计算具备了众多的好处。从规模经济到应用可用性,云计算绝对能够为您的应用环境带来一些积极的因素。如今,在广大云计算供应商和支持者的推崇下,众多企业用户已开始跃跃欲试。但是,对于公共云计算平台而言,无论是SaaS(软件即服务)、IaaS(基础设施即服务),还是PaaS(平台即服务),都无法拿出真正可靠的云安全方案来。而对于私有云而言,也不同程度地面临着类似的问题,这也正是广大用户最为担心的方面。本手册为用户介绍如何在SaaS、IaaS及PaaS模式下保证应用和数据的安全性。

  • 初识云计算

    云计算的概念越来越流行,Amazon、Google和IBM是第一批将云计算引入公众视线的公司。云计算就是新的Web2.0,一种既有技术上的市场绽放。

  • 调查报告:云计算应用趋势以及成本分析

    企业选择采用公有云服务或者构建私有云的原因多种多样,但都是为了和企业的目标保持一致。TechTarget调查结果显示了这些动机,本报告揭示了潜在的云应用趋势和成本分析。

  • 云计算网络安全电子书

    不管你选择软件即服务、平台即服务还是基础架构即服务,有一件事是不可避免的:你需要良好的、可靠的网络连接到云。 网络很可能成为一个障碍,因为云大大改变了网络的作用以及与之配套的硬件和软件。在这本技术手册中,我们将主要介绍云网络安全的相关内容。

TechTarget

最新资源
  • 安全
  • CIO
  • SOA
  • 虚拟化
  • 网络
  • 数据中心
【TechTarget中国原创】

对于存储归档任务来说,AWS的简单存储服务(S3)是一个较具成本效益的选择。把归档移至云计算可让企业用户减少内部部署硬件,例如网络附属存储(NAS)的文件存储。当你在一个归档中进行文件搜索时,为了降低存储介质故障或其他问题所带来的风险,你可能会使用冗余副本,而使用AWS的S3还可以有助于节省冗余副本的数量。

如果需要实现AWS S3优势的最大化,适当的规划是至关重要的。当把归档迁移至S3时以及在云计算中长期管理它们时,有几点是需要谨记于心的。

为你的归档设计一个组织架构

有些企业可能希望通过操作功能和日期来组织归档内容;而另一些企业则发现按照组织层次结构是更为简单的。无论哪种方法适合你的企业,你都需要考虑你应如何为归档任务实施扣费。例如,如果你计划向你企业的各个部门为他们所使用的归档开出帐单,那么你将需要一个能够让你轻松生成帐单报告的结构。

Bucket是AWS S3的存储逻辑单位。每个Bucket可以有最多10个标签,例如名称值对,“部门:财务。”在生成帐单报告过程中,这些标签是比较有用的,但是在所有的存储区域中使用始终一致的一组标签也是非常重要的。

AWS正在计划要求所有的Bucket名称遵循DNS命名约定。Bucket名称应当是3至63个字符,并用句号分隔标签。这里,应使用一个分层式命名约定。Bucket名称应当是这样的,例如:archive.finance.audit 和 archive.finance.accountspayable。

每一个AWS帐号一次可以拥有100Bucket。如果单一一个账户能够管理所有的归档,那么应制定相应的计划。而对于在一个Bucket中存储对象的数量是没有限制的。在若干Bucket或多个Bucket之间存储对象是没有性能损失的。亚马逊S3在Bucket中支持文件夹,从而为使用多个bucket提供一个替代方案。但是,文件夹不支持成本分配标签。

为传输数据确定最佳方法

这取决于你要传输至S3的数据量,你可能需要考虑使用AWS导入/导出数据迁移服务。不同于传统通过互联网传输文件的方式,客户需要把数据通过硬盘递交给亚马逊,并在亚马逊的一个数据中心内把数据载入S3。AWS在美国东部(北弗吉尼亚州)、美国西部(俄勒冈州)、美国西部(北加州)、欧美(爱尔兰)以及亚太地区(新加坡)提供专项服务。

我们建议,使用导入/导出服务还是通过互联网传输文件,这取决于网络速度和你需传输的数据容量。如果你的网络速度达到10Mbps且数据传输量在600GB以上,那么可考虑后者的方法。而当网速达到100Mbps,传输数据量超过5TB时,那么导入/导出服务则是可行的一种方法。AWS导入/导出计算器可帮助你估算对你的归档使用这项服务的成本。

验证、验证、再验证

不管你采用何种方法传输数据,你将需要验证被传输的数据是被正确地写入S3的。传输错误可能会导致源文件和目标文件之间的差异。大多数的Linux发行版本包括了用于计算文件哈希值的md5sum工具。用户可以使用这个工具计算源文件和目标文件的哈希值。如果两个哈希值有差,那么就说明传输过程中出现了错误,同时该文件应被重新传输。由于这些文件一般都是具有一定价值的信息集合,所以验证在AWS S3中所存储数据的完整性是非常重要的。

期待更便宜的替代产品

亚马逊的Glacier是一个专门的文件归档服务,其价格为0.01美分每GB每月,这样的价格是S3目前价格的三分之一,具体主要决定于所存储数据的容量。如果你不会需要执行检索操作或者会很快地就删除这些文件,那么可考虑弃用AWS S3而使用Glacier。在Glacier中检索数据可能需要花费数小时之久,而亚马逊会因为你把三个月内新载入的数据删除而收费。

实现AWS S3和Glacier优势的一个方法就是根据公司策略使用生命周期管理规则把文件迁移至Glacier。例如,一个已经被保存在S3中六个月的归档文件。你可能不会访问它;如果你确实需要访问它,那么检索这个文件需要花费长达数个小时并不会中断业务运营。一个生命周期配置规则可以与S3 Bucket相关,这样在指定时间之后文件会被自动传输至S3,从而降低整体存储成本。

企业用户可以针对归档任务使用AWS S3,但是最好做好长期规划,这样你就可以简化日常管理运营,例如为个人用户开账单并在适当的情况下通过使用Glacier控制成本。