3月14日起开始在Filecoin 虚拟机上部署智能合约吧→

云存储服务:了解分布式存储方法

阅读本文,了解分布式云存储方法如何为行业设定新标准。我们将研究为何需要分布式云存储,其运作模式及定义特征。

欲知分布式云存储,就有必要问问“何为云存储”?云存储是最流行和最广泛使用的存储数据的方法之一,它为用户提供了一种从世界任何地方存储、共享和访问其文件的方法。

随着更快网速、更便宜存储硬件和更好基础设施的出现,云存储技术在持续发展,云存储服务的类型也在不断变化。随着时间推移,它们已经发展到包括由区块链技术提供动力的分布式云存储解决方案。

分布式云存储正迅速成为首选解决方案,尤其是对那些希望保护数据不受审查、预防单点故障、防范潜在黑客或恶意行为者、降低云存储服务成本的人群来说,更是如此。

通过了解分布式云存储服务如何运作,以及其相对于中心化的同类服务有何优势,开发人员可以利用这些工具来创建更安全、可靠和用户友好的在线体验。

何为分布式云存储?

简言之,分布式云存储是一个跨多台计算机或分布式网络存储数据的过程。与AWS或谷歌云等大多数云存储服务相比,这个替代方案很有意义,因为后者将委托给它们的所有数据都存储至专有的孤岛式服务器中。

在云存储服务中,存储文件的传统方式是将这些服务器放置在特定位置,充当枢纽或数据中心。当用户选择将文件存储在这些类型的云存储服务提供商处时,他们依赖的是一个系统,该系统根据其地理位置找到文件,并按文件的存储时间向服务提供商付费。

由于分布式云存储依赖整个计算机网络来存储用户文件,地点变得无关紧要,取代了以上传统方式。同样,云存储的成本也更具竞争力。

在分布式点对点云存储网络中,文件分布在独立的存储提供者之间,并根据内容定位。这些存储提供者通过加密经济市场来维护其文件的副本,从而获得报酬。

与其他云存储方案相比,选择这种模式结合了云计算和分布式技术的能力,创建了一个安全可靠的在线文件共享系统。这是朝着构建更加分布式的网络基础设施,迈出的重要一步。

分布式云存储必要性

由于集中式云存储仍然是大多数组织和网络服务的规范,其缺点仍然是在用户体验和整体安全性方面的很多问题背后。其中包括:

审查制度

由于基于服务器的集中式云存储通常是由私营公司建立的,因此这些服务往往会受到来自机构的压力,可能导致在某些管辖区进行审查。

云存储成本

云存储成本的竞争格局给新的独立存储提供者带来了进入障碍,造成现有企业拥有垄断特权的市场环境,从而导致云存储服务用户的不公平定价。

缺乏所有权

虽然集中式云服务提供商存储的数据通常可以由客户随意检索,但在涉及到这些数据集的可移植性时,服务就出现了某些困难。诸如供应商锁定、公司控制加密和其他公司政策等因素往往模糊了用户对其数据所有权的界限。

数据泄露

将所有数据存储在少数几个数据中心意味着,一旦发生数据泄露等恶意攻击时,这些数据可能会遭遇“鸡蛋都放在一个篮子里”的问题。黑客通常将这些服务器视为“蜜罐”,可以泄露大量数据。

数据中断

诸如DDoS攻击等的其他黑客攻击,也是传统云存储服务的一个常见问题,其中一个漏洞就能导致数百万用户长时间无法访问数据。

分布式云存储如何运作?

分布式云存储通过使用点对点(peer-to-peer,简称P2P)技术,将数据存储和检索的责任放在各个网络参与者的计算机上。数据被分解成碎片,冗余地存储在参与网络的多个节点上。

此外,文件使用加密哈希机制进行加密,保证了只有知道文件内容地址的人才能访问这些信息。

为防止恶意行为,分布式云存储系统通常使用所谓的存储证明共识算法,算法更多细节请见Filecoin说明书

这种算法是根据存储提供者对网络贡献的数据量来选择存储提供者,然后通过一个随机验证系统来检查存储提供者是否确实持有数据。

与云存储服务相比,分布式云存储为用户提供了对其数据的更多控制,并确保只有用户自己能访问数据。由于利用参与者的本地网络进行文件传输,分布式云存储系统还可以提供更高的带宽速度。

更重要的是,该系统的分布式性质导致没有中心故障点,网络攻击者将更难针对特定文件。

IPFS作为云存储的P2P文件系统

星际文件系统(InterPlanetary File System,简称IPFS)为分布式云存储奠定了基础。该项目成功地引入了分布式云存储系统,将BitTorrent蜂群等点对点技术与加密原理相结合,作为用户在没有数据中心或中介机构的情况下,在分布式网络上共享文件的一种方式。

正如IPFS白皮书说道:“IPFS是一个点对点的分布式文件系统,旨在用同一个文件系统连接所有的计算设备。在某些方面类似于Web,但IPFS可以被视为单个BitTorrent群,在一个Git存储库中交换对象。换言之,IPFS提供了一个高吞吐量的内容寻址块存储模型,其中包括内容寻址的超链接”。

最后一句话很重要。欲知IPFS,需了解云存储的内容寻址。

(关于IPFS如何运作的更详细解释,请参考此文档.)

内容寻址

在IPFS之前,大多数在线共享的内容都遵循一种叫做HTTP的特定协议规则。这就是为何每次用户要访问一个网站或任何类型的内容时,通常都要先输入http://再输入地址。

问题在于,HTTP是一种基于位置的协议。它根据地理位置搜索存储内容的服务器来满足请求。尽管截至目前,这种方法运行良好,但有可能出现更快、更安全的替代方法。

当使用内容寻址而不是基于位置的协议时,文件是根据内容标识符(或CID)来识别的,即它们的加密哈希值而不是传统的文件名。这种文件识别方法可以更有效地存储和检索数据,因为用户可以在不依赖单一物理存储位置的情况下查阅文件。

由于其分布式的特性,内容寻址在安全性、可靠性和可扩展性方面提供了许多好处。通过加密哈希值来查阅文件,则没有中心故障点,攻击者就无法轻易针对特定文件。这也有助于避免重复,从而解决数据集内部的不一致和潜在的安全问题。

Filecoin和分布式云存储的激励机制

然而,正如Filecoin文档中所述,这对于一个分布式云存储服务来说依然不够:

“IPFS本身并不包括激励为他人存储数据的内置机制,这是Filecoin所要解决的挑战。Filecoin建立在IPFS之上,为长期存储创建分布式存储市场,拥有大存储容量的节点可以将其存储空间租给用户,并从中获得报酬。

Filecoin网络保证数据的安全存储。然而,存储、验证和解封的过程(分别称为密封、证明和检索)计算成本很高,可能需要时间。这对于数据的检索尤其相关,检索应该尽可能快地进行。因此,Filecoin提供了一个额外的检索市场。在这个市场上,专门的节点可以通过保存未密封的缓存副本来帮助快速提供网络中的内容,以获得报酬。”

云存储的存储和检索市场

简而言之,Filecoin通过引入区块链网络和激励机制,奖励独立存储提供者为网络提供存储功率、存储容量以及检索文件,进一步推动了IPFS的创新。这些分别被称为网络的存储市场和检索市场。

存储市场

Filecoin经济的一个重要组成部分是,存储提供者参与了一个直接向客户提供存储空间的市场。网络将这些存储提供者与客户进行匹配,客户根据他们提供的价格、位置和存储时间段的相关信息做出选择。

在达成存储交易后,客户着手将数据传输至存储提供者。然后,网络通过要求存储提供者在FIL中锁定抵押品来确保其满足交易的条件。若存储提供者无法在商定的时间内提供完整且及时存储客户数据的加密证明,则该抵押品将被“没收”。

存储提供者通过存储交易可以获得两种激励:他们从客户那里收到成功存储数据的FIL付款,并根据他们对网络贡献的存储功率和存储容量,参与赚取区块奖励的机会。

检索市场

存储提供者赚取FIL的另一种方法是检索存储信息。他们能够为用户提供他们所要求的数据,以换取少量FIL。这些信息中最及时的通常备受青睐,这为处于战略位置的节点参与到网络中增加了额外的激励。

Filecoin云存储方法的优势

这种分布式的模式使任何接入互联网的人都有可能参与到全球分布式的云存储市场中来。同时,该协议能够为客户提供比传统云存储提供商更强大的文件完整性和可用性保障。

Filecoin的存储证明算法确保存储提供者(SP)拥有客户数据的完整副本。这为客户提供了比大多数云存储提供商提供的更高的安全水平。因为当存储协议不被遵守时,存储提供者将受到惩罚。

总的说来,这意味着Filecoin能够提供[数据持久性] (https://filecoin.io/blog/posts/ipfs-filecoin-and-content-persistence/)。

(通过这些资源,可深入了解Filecoin存储提供者的经济学知识。)

数据持久性

IPFS的内容寻址与Filecoin网络的加密经济学相结合,开发人员就可以创建用于长期存储的数据安全应用程序,同时也允许快速检索和分发内容。Filecoin擅长在很长一段时间内存储大量数据,而没有链接损坏甚至数据中断的风险。

随着越来越多的应用程序采用这种方法,它将确保用户在最需要的时候能够访问自己的关键数据。这也是分布式云存储基础设施最终能够提供更好的用户体验的原因之一。

Filecoin和IPFS携手共进

携手共进、IPFS和Filecoin为用户提供了一个完整的分布式云存储服务,让他们能够以分布式的方式安全存储数据,同时还可以通过提供这项服务而获得经济奖励。

与传统的云存储服务相比,两种协议结合,用户可以享受更多信任、可靠性和去中心化。IPFS有助于确保这些存储提供者存储的数据通过内容寻址保持可访问性,而Filecoin创建了一个开放的市场,任何人都可以在这个市场上通过数据持久性来竞标长期存储数据的合同。

分布式云存储的特点

分布式云存储方法是由这些能力定义的,并依靠一系列的特征将它与其他云存储类型区别开来。主要有以下几点:

抵制审查

鉴于Filecoin上的分布式云存储使用内容寻址作为存储信息的基本层,该网络能够绕过基于服务器的云存储存在的许多风险。管辖区或DDoS攻击可能能够审查存储在一个特定存储提供者中的数据,但它不能审查存储和冗余分布在整个网络上的其他存储提供者的数据。

速度

同样的冗余分布数据和内容寻址系统也加快了检索过程。当用户希望访问存储在网络上的数据时,这些信息是从存储在全球各节点上的多个副本中提取,而不是从可能受到互联网流量瓶颈影响的中央服务器中提取。

低数据存储成本

与其他云存储服务存储数据的收费相比,分布式存储方案总是更便宜。这是因为Filecoin存储和检索市场具有固有的竞争力。在Filecoin区块链上,客户有一组多样化的独立存储提供者,可以进行匹配其需求的存储交易。这些交易的执行始终受到网络本身逻辑的保护,而不会有集中式提供商任意决策的风险,同时也规避了过高的云存储成本。

隐私和安全

与集中式云存储服务不同,存储在Filecoin上的加密数据的密钥从未由第三方持有或透露给第三方。由于点对点和密码学的应用,Filecoin确保只有选择在网络上存储数据的用户才能访问和解密其信息,这对于数据备份和敏感数据非常重要。

数据完整性

此外,这些应用密码学原理的相同能力意味着客户数据的副本总是与原始数据相同。该系统基于哈希值的验证,它可以检测到数据之间哪怕是最微小的差异。Filecoin确保存储在网络上数据的哈希值始终与客户上传至云存储空间的原始版本相匹配。

无需信任

Filecoin分布式架构的另一个优点是,它不需要任何参与者信任其他参与者才能正常运转。网络本身负责确保存储交易根据指定条件执行,并且信息总是随时可用。这消除了因需要信任第三方存储而存在的交易对手风险,甚至消除了一些公司政策所暗示的对数据缺乏所有权的情况。

开源

IPFS和Filecoin从头到尾都是作为开源解决方案构建的。这是因为他们的开发历来采取基于社区的方法,可以产生更有弹性和强大的代码。分布式云存储解决方案旨在轻松集成至其他技术栈中,并与不断增长的分布式网络的其余部分相结合。更重要的是,它们的目的是让任何有兴趣的人都可以审计,增加了分布式云存储无需信任的特性。

可编程性

最后,Filecoin正在将可编程性和数据计算能力引入其分布式云存储网络。这是一个重大的改进,将扩展网络的用例,超越云存储的范围,并引入分布式替代方案,替代集中式企业提供的类似云计算功能。阅览Filecoin虚拟机(FVM)网站,了解更信息。

关于Filecoin和分布式云存储的最后想法

回到最初的问题“何为云存储?”,这个问题将很快由一个分布式的方法来解答,而非目前大多数互联网用户所熟悉的基于HTTP服务器的云存储模式。

分布式云存储是云存储服务发展的下一步。随着互联网不断朝着分布式、开源开发和基于协议的解决方案的方向发展,期望将同样的原则应用于数据存储基础设施,也并不遥不可及。

理解分布式云存储方法,以及如何将其应用于普通网络应用和web3应用中的数据存储和检索,将成为未来产品开发的必要条件。

特别Filecoin,它响应了当前数据存储市场对隐私、成本以及很快对数据的可编程性和计算的需求。因为该网络有能力在IPFS的内容寻址基础上,通过存储提供者的激励网络和存储证明共识算法,增加数据持久性,这一切将成为可能。

持续关注

为保持与Filecoin和分布式云存储方法的发展同步,请在Slack上加入我们。您还可以通过这些链接跳转至您选择的平台,深入Filecoin社区保持活跃的所有不同渠道。

为您的数据采取分布式存储的方法吧,马上开始,今天就使用可靠和安全的低成本云存储。

Filecoin是一个开源的云存储市场、协议和加密货币
icon_client
filecoin_request_icon
filecoin_data_icon
filecoin_data_icon_black
icon_miner
icon_miner_other
filecoin_data_icon_black