AWS S3中归档数据四要点

日期:2014-5-21作者:Dan Sullivan

AWS简单存储服务   S3   AWS S3   

【TechTarget中国原创】

对于存储归档任务来说,AWS的简单存储服务(S3)是一个较具成本效益的选择。把归档移至云计算可让企业用户减少内部部署硬件,例如网络附属存储(NAS)的文件存储。当你在一个归档中进行文件搜索时,为了降低存储介质故障或其他问题所带来的风险,你可能会使用冗余副本,而使用AWS的S3还可以有助于节省冗余副本的数量。

如果需要实现AWS S3优势的最大化,适当的规划是至关重要的。当把归档迁移至S3时以及在云计算中长期管理它们时,有几点是需要谨记于心的。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者>更多

Dan Sullivan
Dan Sullivan

Dan Sullivan是一名作家、系统架构师和顾问,拥有超过20年关于先进的分析、系统架构、数据库设计、企业安全、商业智能的IT从业经验。他的从业范围广泛,包括金融服务业、制造业、医药、软件开发、政府、零售、天然气和石油生产、发电、生命科学和教育。

云存储>更多

  • 谷歌云存储降价:与Glacier竞争冷存储市场

    随着谷歌对自己的云存储产品重新分了类,最近又新增了一个冷存储层级以吸引企业客户,该公司正在回归价格才是决定因素的这一云战略。

  • OpenStack对象存储评估:Swift对阵Ceph

    两种最常见的OpenStack存储选项分别是作为OpenStack项目一部分的Swift,以及独立的开源系统Ceph。这两个选项都提供对象存储,并且可以免费下载。

  • AWS冷存储成本知多少

    专用高速网络连接,如AWS Direct Connect,可以在数据中心和AWS云设备之间建立专用连接。以太网连接绕过了公共互联网,避免了瓶颈和拥塞,这往往降低了带宽,也降低了数据传输性能。

  • 联想企业网盘:只做数据的搬运工

    联想企业网盘是基于云存储的企业文件协同与管理平台,企业借助该平台可以为员工提供个人数据存储、分享服务,保护数据安全;也可以按照企业组织架构组建企业级、部门级、项目级的协同工作服务,提高数据处理效率。

相关推荐

  • 这样做就能降低AWS合规性和安全性风险

    公有云提供商可能会遇到服务器故障之类的事件。初创企业需要在确保安全性标准的同时了解他们自己的风险承受能力。

  • 亚马逊Web服务(AWS) S3如何设置CloudFront分布?

    AWS CloudFront可配合一些其他的服务一起使用,其中就包括了EC2和S3。遵循以下步骤可从一个S3存储段中设置一个CloudFront分布。

  • 日志API使用CloudTrail调用和监控AWS应用程序

    开发你自己的应用程序可以让你对日志记录拥有完全的控制权。有了云计算,你就会受制于服务供应商的日志记录服务选项。CloudTrail是一个监控工具,它可以跨亚马逊云计算服务提供应用程序编程接口调用的日志记录服务。

  • AWS S3:主动降价更好地回馈客户

    云计算以其灵活的可扩展性和低廉的价格获得了越来越多企业的青睐,而针对云端的存储服务更是如此。同传统的存储产品一样,云存储也逐渐趋于商品化,而且这种新型的存储方式对于一系列的存储需求更是成为一种有效的选择。

技术手册>更多

  • 云数据安全防御手册

    当云计算、云存储逐渐走入人们的工作生活时,企业在把资源迁移到云端时,不得不为其资产的安全而担忧,如何确保数据安全,他们要采取怎样的措施才能避开云中数据的泄漏,保证数据安全?

  • 云计算服务水平协议SLA教程

    服务等级协议是关于网络服务供应商和客户间的一份合同,其中定义了服务类型、服务质量和客户付款等术语。SLA概念已被大量企业所采纳,作为公司IT部门的内部服务。大型企业的IT部门都规范了一套服务等级协议,以衡量、确认他们的客户(企业其他部门的用户)服务,有时也与外部网络供应商提供的服务进行比较。目前,许多IT经理正在考虑把许多应用及服务迁移进云端。一部分人因为经济原因被迫考虑云计算,而另外一部分人考虑提供一些新的IT服务。不管怎样,IT经理目前以及不久的将来不得不面对服务等级协议(SLA)。

  • 一步一步教你打造私有云架构

    云计算(Cloud Computing)是真实的,计算正在向云平台转移。尽管从技术的演进上来说,云计算还算不上是一次技术革命,但是,它对IT产业的影响算得上是革命性的。它不仅将影响我们应用IT的方式,更为重要的是,它很可能将引发IT产业新一轮的调整。究竟何谓云计算?它有哪些主要类型?云计算有哪些优劣势?随着云计算的逐渐推广,企业如何在维持原有预算水平不变的前提下搭建一个私有云架构来改进IT业务?本手册将对这些问题进行解答。

  • 企业备战云迁移指导手册

    向云迁移已经是企业势在必行的工作,但云迁移并非那么简单,面临着一系列的安全、风险问题,企业需要做好成全准备,方能水到渠成。

TechTarget

最新资源
  • 安全
  • CIO
  • SOA
  • 虚拟化
  • 网络
  • 数据中心
【TechTarget中国原创】

对于存储归档任务来说,AWS的简单存储服务(S3)是一个较具成本效益的选择。把归档移至云计算可让企业用户减少内部部署硬件,例如网络附属存储(NAS)的文件存储。当你在一个归档中进行文件搜索时,为了降低存储介质故障或其他问题所带来的风险,你可能会使用冗余副本,而使用AWS的S3还可以有助于节省冗余副本的数量。

如果需要实现AWS S3优势的最大化,适当的规划是至关重要的。当把归档迁移至S3时以及在云计算中长期管理它们时,有几点是需要谨记于心的。

为你的归档设计一个组织架构

有些企业可能希望通过操作功能和日期来组织归档内容;而另一些企业则发现按照组织层次结构是更为简单的。无论哪种方法适合你的企业,你都需要考虑你应如何为归档任务实施扣费。例如,如果你计划向你企业的各个部门为他们所使用的归档开出帐单,那么你将需要一个能够让你轻松生成帐单报告的结构。

Bucket是AWS S3的存储逻辑单位。每个Bucket可以有最多10个标签,例如名称值对,“部门:财务。”在生成帐单报告过程中,这些标签是比较有用的,但是在所有的存储区域中使用始终一致的一组标签也是非常重要的。

AWS正在计划要求所有的Bucket名称遵循DNS命名约定。Bucket名称应当是3至63个字符,并用句号分隔标签。这里,应使用一个分层式命名约定。Bucket名称应当是这样的,例如:archive.finance.audit 和 archive.finance.accountspayable。

每一个AWS帐号一次可以拥有100Bucket。如果单一一个账户能够管理所有的归档,那么应制定相应的计划。而对于在一个Bucket中存储对象的数量是没有限制的。在若干Bucket或多个Bucket之间存储对象是没有性能损失的。亚马逊S3在Bucket中支持文件夹,从而为使用多个bucket提供一个替代方案。但是,文件夹不支持成本分配标签。

为传输数据确定最佳方法

这取决于你要传输至S3的数据量,你可能需要考虑使用AWS导入/导出数据迁移服务。不同于传统通过互联网传输文件的方式,客户需要把数据通过硬盘递交给亚马逊,并在亚马逊的一个数据中心内把数据载入S3。AWS在美国东部(北弗吉尼亚州)、美国西部(俄勒冈州)、美国西部(北加州)、欧美(爱尔兰)以及亚太地区(新加坡)提供专项服务。

我们建议,使用导入/导出服务还是通过互联网传输文件,这取决于网络速度和你需传输的数据容量。如果你的网络速度达到10Mbps且数据传输量在600GB以上,那么可考虑后者的方法。而当网速达到100Mbps,传输数据量超过5TB时,那么导入/导出服务则是可行的一种方法。AWS导入/导出计算器可帮助你估算对你的归档使用这项服务的成本。

验证、验证、再验证

不管你采用何种方法传输数据,你将需要验证被传输的数据是被正确地写入S3的。传输错误可能会导致源文件和目标文件之间的差异。大多数的Linux发行版本包括了用于计算文件哈希值的md5sum工具。用户可以使用这个工具计算源文件和目标文件的哈希值。如果两个哈希值有差,那么就说明传输过程中出现了错误,同时该文件应被重新传输。由于这些文件一般都是具有一定价值的信息集合,所以验证在AWS S3中所存储数据的完整性是非常重要的。

期待更便宜的替代产品

亚马逊的Glacier是一个专门的文件归档服务,其价格为0.01美分每GB每月,这样的价格是S3目前价格的三分之一,具体主要决定于所存储数据的容量。如果你不会需要执行检索操作或者会很快地就删除这些文件,那么可考虑弃用AWS S3而使用Glacier。在Glacier中检索数据可能需要花费数小时之久,而亚马逊会因为你把三个月内新载入的数据删除而收费。

实现AWS S3和Glacier优势的一个方法就是根据公司策略使用生命周期管理规则把文件迁移至Glacier。例如,一个已经被保存在S3中六个月的归档文件。你可能不会访问它;如果你确实需要访问它,那么检索这个文件需要花费长达数个小时并不会中断业务运营。一个生命周期配置规则可以与S3 Bucket相关,这样在指定时间之后文件会被自动传输至S3,从而降低整体存储成本。

企业用户可以针对归档任务使用AWS S3,但是最好做好长期规划,这样你就可以简化日常管理运营,例如为个人用户开账单并在适当的情况下通过使用Glacier控制成本。