分散式系统是近来的焦点,因为它们可提供不受中介影响的新型应用程序,创造新的规模经济并为用户提供空前的数据控制。智能合约功能使用户能够创建具有这些优势的应用程序。有了这个工具,人们就越来越浪漫地使用了一个新的互联网,即分散式互联网(web3),该应用程序将比现在更加强大和引人注目。分散的应用程序将在经济上安全的区块链系统的基础架构上开发。

很快,很明显,作为去中心化的操作系统,区块链自身无法在不改善许多事情的情况下处理比Cryptokitties更加耗费资源的应用程序。这些事件引起了公众对去中心化基础架构的创新和改进的狂热,因此可以产生有用的去中心化应用程序。

例如,区块链本身就是一个非常差的存储设备。重要的认识之一是,人们无法在链上经济地存储文件[1]。确实,由成千上万的用户共享的分类帐实际上无法容纳超过兆字节规模的数据,在该分类帐中,每个用户之间都将复制每个数据。

因此,去中心化系统内的许多重要发展都应该并且确实发生在区块链之外某些第2层解决方案,私有P2P网络解决方案,存储文件等。实际的区块链和其他单独的组件加起来就构成了去中心化的互联网。

2.png

Web3堆栈

尽管去中心化系统可能会带来革命性的变化,但如果技术落后,不会有多少人会加入去中心化互联网,这意味着去中心化技术栈不会比现有解决方案差很多(除非去中心化具有有趣的特性)。

当前,堆栈的任何部分都不完整,DNS,存储和计算层的开发尤其早。一个典型的口头禅是我们将使用区块链构建DApp,以利用区块链的不变性等优势,即使我们必须将文件存储在某个集中位置也可以” [2]

我认为,尽管有可能在受到广泛采用的区块链之上构建应用程序,但如果不以不信任,分散的方式加载和交换数据,这些应用程序就不是分散式应用程序。换句话说,这些在其他优点上是有趣的应用程序,但不一定是因为它们确实是去中心化的。

这将我带入我的核心论文:

基于区块链的文件存储->去中心化数据->去中心化互联网

BFS将成为web3的骨干。我将进一步强调BFS通过分散数据来催化分散化Internet的主张。因为没有真正的分散数据,就没有真正的Dapp,没有真正的Dapp,就没有分散的互联网。

与其他存储解决方案相比,安全的,公平的,经济的BFS具有许多潜在的优势,无论是对于一般的还是针对Web3基础架构。我还将分析实现BFS大规模普及所面临的重大技术和业务障碍。

一、集中式云存储开始占领市场(1990年代至今)

1990年代,文件存储在本地服务器中并从本地服务器提供服务,人们只需要直接从其他不同的计算机请求数据即可。尽管人们能够自己完全控制和提供文件,但是很好地设置这些服务器需要在网络,网络安全以及时间方面的丰富经验。

最初似乎并没有什么大问题,因为到1997年整个Internet大约只有1.5 TB,并且Internet的总价值几乎没有今天的大。当时流行的信念可以由一位著名的计算机科学家来概括:可能有数千PB的信息全部被告知;到2000年,磁带和磁盘的产量将达到这一水平” [3]

在接下来的几年中,范式发生了变化,因为计算机与计算机之间的交互产生的数据远远超过人类自身的数据,并且这些数据中的大部分对于消费者和企业而言非常有用,他们发现了新的方法来从诸如人工的数据中产生结果智能,超高清视频和财务建模。

用户对存储,处理和分析这些数据的需求变得越来越重要,并且很难自行处理。截至2018年,现在每年约产生32ZB总数据(即32,000,000,000 TB)。

这就是Amazon进来的地方。随着Amazon开始成为电子商务业务的主要参与者,他们意识到自己已经开发了一套庞大的内部API和基础结构来处理其业务的大量数据。不久,亚马逊团队构建了一套完整的内部软件集合,以帮助他们的各个部门节省数月的时间,而不必担心基础架构[4]

二、2006年,Amazon S3EC2面世,预示了集中式云的时代

云使用户可以轻松访问Amazon强大的工具集合,并由于其简单性和强大功能开始在许多企业的存储需求中占主导地位。亚马逊(紧随微软,谷歌和诸如Facebook之类的私有云)获得了对互联网数据的更多控制。

个人用户失去了主权并失去了控制自己数据的能力。在大约1个故障点上,各种大型数据持有者成为数据泄露增加,数据丢失和高配置服务器停机时间的受害者,这使企业损失了数十亿美元的收入,并失去了人类的知识和自由。再加上对大型集中式云所有者可能会侵犯个人和企业隐私的认识,引发了反对数据集中化的思想和实践动向。

作为分散式互联网的组成部分,Amazon S3凭借其简单性和强大功能乍一看是诱人的选择。当前,许多DApp都使用此类服务来引导其产品,从而有望在将来实现分散的数据,或者他们可能会争辩说,可以在没有分散数据的情况下拥有分散的应用程序。

但是,我认为数据集中化从根本上是一个严重的问题,使得集中式云(约1个故障点)上托管的应用程序或基础架构无法分散。互联网只是一堆计算机,彼此之间传输文件。集中式存储可实现集中式数据,从而实现集中式Internet

3.jpg

因此,良好的分散存储可确保分散式Web的遗产。即使web3堆栈的许多其他组件受到攻击,数据也始终可以最终以不信任的方式最终被检索/通信。即使没有分散的存储,即使是公共链本身也不是分散的,因为大多数区块链完整节点很可能托管在很少的集中式云存储解决方案上。

三、分散存储可实现分散数据

一个挑战者应运而生:点对点文件存储(2001年至今)

对等文件存储已成为集中式云的替代产品,而没有集中化的思想和实际风险。在Amazon S3诞生前五年,BitTorrent已经通过允许在同级之间高效共享文件铺平了道路。对等应用程序最终占2009年互联网流量的50%。尽管BitTorrent允许人们彼此共享文件,但它不适合像Amazon S3Dropbox允许的那样存储和发现这些文件。你要它不能用作文件存储解决方案。

IPFSBitTorrent的里程碑为基础,开发了一个真正的对等,分散式文件存储系统。在IPFS中,所有文件都组合在一起,在统一文件系统中存在一种通用语言,并且所有对等方在整个系统中共享,从而使人们可以发现并相互传输文件。

诸如Internet Archive和许多DApp之类的组织开始进行试验,并使用IPFS来存储其文件,以便在分散管理时宣传其更多堆栈。对于许多最初的实验用例,IPFS绰绰有余。

因为IPFS将对等体统一在一个系统中(对等体可以通过所谓的分布式哈希表(DHT)相互发现),所以存在通过IPFS协议进行通信的通用语言,并且没有故障的中心点,因此IPFS是真正的新的分散式Internet的存储主干的分散式候选。果然,许多知名的DApp(例如OpenBazaarAugur)都使用IPFS

不幸的是,那里存在一些根本性问题,这些问题阻止IPFS大大超出社区项目和开源爱好者的范围。这是最紧迫的:

IPFS中的文件被访问的越多,分发到的节点越多,但是由于节点没有超出慈善事业的范围来保存文件,因此访问较少的文件会随着时间的流逝而消失。这已经使得许多商业应用(例如视频的长期存档和旧的区块链)不可行。

尽管DHT骨干网使对等端彼此发现并在IPFS中查找文件非常有效,但是DHT对于文件发现并不安全。这意味着恶意攻击者可以例如阻止您以相对较少的努力来查找特定文件。

许多项目通过将文件包装在由集中式Amazon S3计算机托管的IPFS节点中来修补第一个问题。这意味着您将随着时间的推移托管一些Amazon S3节点,以保证IPFS上文件的存在(只要Amazon本身按预期运行)。但是,再次存在集中化的问题,首先使使用IPFS的目的无法实现。为了使分散的数据更好,我们需要的是一种从此类系统中汲取灵感的方法,但要增加激励层以及更强的安全性保证,以使分散的数据在与集中式数据相同的规模上可行。

四、基于区块链的文件存储有望实现(2020+

公共区块链使用密码激励和惩罚来引导不受信任的用户行为走向期望的共识。因此,理想的BFS具有强大的密码激励系统,并得到分散技术堆栈其他部分的支持,例如DHT的安全替代方案,似乎解决了两个问题,这些问题阻止了IPFS成为事实上的分散式Internet基础设施。

对于分散式Internet,理想的文件存储解决方案与集中式Internet相同,甚至要好于分散式。

在良好的情况下,网络中的每个存储提供者都需要提供大量的存储空间,并且可以有效地以密码方式保证其存储和带宽。BFS实现了技术的创新和全新的使用,例如擦除编码,存储证明和空间证明。有许多创新参与者进入现场,数十个项目采用各种方法在技术和产品方面进行创新。

遵守区块链规则的个人和参与的专业存储提供商的集合可以使任何集中式公司(甚至像亚马逊这样的庞然大物)的影响力和力量都黯然失色。除了无需中介机构进行数据交换外,基于区块链的解决方案还具有许多优势:

1.允许您控制自己的数据并且不受审查;

借助加密激励措施,如果节点不存储和提供数据,将在经济上受到惩罚。当企业和政府机构具有如此高的容错能力时,将很难取下文件。由于分散管理,因此没有中间人(例如Google / AWS)代表您管理数据。

2.非常抵制严重的黑天鹅事件和文件停机;

通过使用传统的切片或擦除代码存储文件的碎片,可以容纳许多主机。如果有足够多的节点,那么自然灾害,人为/计算机错误以及协同攻击将很难影响系统。

3.与集中式系统相比,具有潜在的性能优势;

由于许多节点存储文件的较小部分,因此可以并行下载文件。就像在BitTorrent中一样,并行下载的速度可能比从集中式云进行的常规下载快许多倍。

4.可能很便宜,并创造了新的经济。

许多人认为存储和数据是一种商品,并且大量硬盘空间是空的。存储提供商可以出于有用的目的将其硬盘资产货币化。由于存储文件的成本仅比硬盘驱动器本身的初始购买成本低得多,因此托管文件的管理成本非常少-存储提供商实质上是在产生纯利润。现有的解决方案已向用户证明了节省的巨额成本:Sia的成本大约为10美元。低于$ 2 / TB /月,而S3标准版价格为$ 23 / TB /月。

对于分散式Internet,理想的文件存储解决方案与集中式Internet相同,甚至要好于分散式。BFS希望用户获得集中式实体和IPFS崇尚的权力下放人员的期望。集中式解决方案的主要问题全部来自它们是集中式的事实。换句话说,理想的BFS是理想的文件存储解决方案。它应该使大量关心分散的人们从集中式解决方案转移到使用分散的数据,因为在迁移中几乎没有什么牺牲。

五、基于区块链的文件存储还有很多问题需要解决

前面的部分已经就BFS可能比IPFS和集中式解决方案具有的潜在利益建立了论据。实际上,2018年两个最受欢迎的生产级存储项目的总存储量实际上比2016年大型云提供商的存储量少了数千PB,而未来几年云存储的总存储容量预计将显着增长。在与区块链中的许多个人以及传统企业和企业进行讨论之后,我得出的结论是,去中心化互联网可以使集中式解决方案停滞不前Amazon S3和其他产品具有功能和优化以及可用性,这些功能目前无法与基于区块链的解决方案或IPFS匹敌。我们将研究两种技术和可用性问题。

4.png

基于区块链的文件存储系统仍处于年轻阶段

1.技术

Amazon S3当前在上传/下载性能以及更广泛的功能集方面均具有显着优势。

根据上载,与集中式解决方案相比,分散式解决方案可能总是效率低下。通常,上载是通过分散市场进行的,其中存储提供商和存储买方需要以某种方式进行匹配。这种提供者/购买者匹配和通信过程以及单个节点与企业级集中式计算机相比较慢的速度是上传瓶颈。要将文件上传到特定的人,通常在他/她第一次将文件上传到该人时需要较长的初始化时间(上传延迟)(以某种形式的经验证的存储合同在链上发布);或者,可以先发布并允许将文件上传交易(买卖双方匹配)包含在每个文件的已验证区块中,

某些解决方案,例如并行上传,可以将不同的碎片或文件片段立即上传到不同的节点,以最大化连接带宽,长期的买方与供应商合同,成批的脱链买方/卖方匹配以及可以在以后回收的存储协商链上(第2层解决方案)和更快的共识/更有效的区块传播正在进行中。

区块链可伸缩性也是阻止区块链系统增加容量的问题。信封计算的背面显示,如果每个Tx指定要存储的50MB文件,并且每块有25个存储事务(每30秒生成一次),则整个系统每年可以存储约1.3艾字节的数据,与大型云提供商当前存储的内容进行比较。此外,还有许多其他瓶颈,例如缓慢的存储证明,会阻止系统达到计算出的最大容量。第2层和其他可伸缩性解决方案可以帮助解决该问题,但是加密证明也需要更加有效。

下载速度也遇到与上传类似的问题,其中下载速度和延迟问题是由买方/提供者的匹配和通信引起的,并且各个节点的速度也受到质疑。下载者可以预付费下载(SiaStorj),或者按需付费(每次下载)(Filecoin)。每次下载的方法每次都利用买卖双方匹配和付款,即使该过程是在链下完成的,这也要比集中式解决方案花费更长的时间。这些问题的解决方案类似于上载的解决方案。

最后,还有基于区块链的解决方案所没有的丰富功能。

例如,目前在我所看到的所有解决方案中,每个下载者都必须是区块链中的注册用户,并且通常必须拥有令牌,而在集中式云中,每个人都可以在不知道自己是浏览器或应用程序的情况下浏览内容。使用云(当然,这也是可用性问题)。当前的解决方案使用户能够对文件客户端进行加密,但是由于事务是公开的,因此旁观者可以看到匿名地址正在将特定文件的哈希相互发送。对于某些公司(例如基因组公司)来说,这可能非常棘手,他们可能不希望其他人知道他们向谁发送数据以及有关该数据的任何公共信息(甚至不包括哈希)。

而且,要设计出有效的证据来证明存储提供者拥有他们应该存储的文件(存储证明),或者要按需上传文件(上传证明),是非常困难的。此外,企业所期望的专业服务也得到了保证。服务级别协议(SLA)和文件许可(谁可以查看哪个文件)很难实现。大多数功能都处于开发的早期阶段(在功能集与集中式功能相当之前,我们的发展速度约为20%)。

2.可用性

与其他任何问题相比,BFS和区块链本身在上下文中的可用性是更大的进入障碍。

缺乏与区块链的集成以及其他付款方式的选择是一个大问题。BFS通常与DApp用户选择的公共链隔离开来。例如,Filecoin0ChainSia拥有自己的区块链。DApp用户不想浏览一个全新链条的复杂规则,也不想了解桩和行为等,以上传文件。跨链集成和跨链支付可用于简化这一过程。例如,NEO区块链上的NEO Dapp用户(可能拥有一些NEOgas令牌)可以通过易于插入的上载API支付Gas令牌以上传文件,无论BFSNEO本身还是简单的BFS都可以正常工作与NEO有一些Oracle或跨链集成。理想情况下,令牌支付的所有动态都应尽可能直观。

其次,当尝试使用文件时,通常会出现糟糕的用户体验。例如,无论您是上传者还是下载者,在FilecoinSia中,您当前都必须下载整个区块链,这需要几个小时。然后,您通常必须在交易所上拥有一个帐户,并且能够了解加密货币和钱包,才能查看文件。这与Amazon S3形成了鲜明的对比,在Amazon S3中,您可以通过Web界面管理所有上传,并且所有下载都是从最终用户那里抽象出来的,以至于他们甚至都不会意识到文件来自何处,直到Amazon。崩溃,并删除了其中的大部分Facebook和互联网的其他部分。显然,需要使用户体验从加密货币和区块链中更加抽象的解决方案,以使用户体验可与集中式云相媲美。一种解决方案是将加密和支付的复杂性全部放在上传者的一边,以便下载者可以在其浏览器上使用简单的JS模块查看分散的数据,而无需安装。

最后,缺乏用于从集中式云解决方案迁移数据的工具,这阻碍了切换过程。

六、基于区块链的文件存储和去中心化互联网的良性循环

分散式互联网保证了无需中介机构的数据交换类型。这将启用Web应用程序的新用途,以改进现有应用程序,或者实现前所未有的全新应用程序。正如Polychain CapitalOlaf Carlson-Wee所说:我认为我们将把Web 2的内容进行比较或移植到该Web 3上,或者将用户拥有的Web分散化,但是随着时间的推移,我们会找到那些Web 3种本机应用程序是我真正关心的事情,即使现在它们确实听起来有点科幻,我认为它们的外观还不清楚” [5]。无论是存档的区块链,前端数据,元数据还是大型多媒体文件,拥有一种用于存储和共享这些数据的工具对于这种类型的数据交换以及去中心化的概念至关重要。尽管BFS系统仍在开发中,但让我们充分利用它们应有的关注,并在它们之上建立基础,以使它们成为可能的产品。基于区块链的文件存储不再只是一个时髦的词,而是解决了许多社会迫切希望解决的问题的很大一部分解决方案,前提是这样做也相当方便。这种便利以将来的分散式解决方案的形式出现,它像集中式解决方案一样功能强大且易于使用。

5.jpg

基于区块链的文件存储促进了去中心化互联网的采用

分散的数据构成了分散的Internet如前所述,Internet只是计算机之间的连接,这些计算机通过某种通信协议相互存储和传输数据。这样,分散的数据就是存储和共享数据的不信任,分散的方式。截至撰写本文时,共有3200万个区块链钱包;这些是数百万的用户,他们已经利用去中心化的通信协议(八卦协议,Tor等)和不可信的方式来验证数据(自身的区块链)。但是,几乎没有任何真正可行的+采用+去中心化的应用程序。强大的存储层是缺少的组件。

分散式互联网是否会完全取代集中式互联网取决于采用BFS是否会导致集中式服务外流(图B,上图),其结果仍有待观察。由于从本质上讲,去中心化存储的参与增加是对新的去中心化互联网的参与,因此,在尝试解决此问题的过程中,我们可能无意间创建了一个存储系统,该系统比针对社会不断变化的需求的现有解决方案要好得多,良性循环(上图A)允许更多的人加入去中心化互联网。尽管如此,在良性循环出现之前,仍有许多问题需要解决,这就是诸如Archon Cloud之类的项目所关注的。我希望本文能对基于区块链的文件存储及其重要性提供扎实的介绍。请继续关注将来的文章,这些文章将描述像我们这样的人们正在研究的特定BFS解决方案。

资料来源:

[1]https://medium.com/@didil/off-chain-data-storage-ethereum-ipfs-570e030432cf

[2]https://blog.wavesplatform.com/web3-0-the-road-ahead-for-waves-9bd8a51f63ce

[3]https://courses.cs.washington.edu/courses/cse590s/03au/lesk.pdf

[4]https://techcrunch.com/2016/07/02/andy-jassys-brief-history-of-the-genesis-of-aws/

[5]https://www.youtube.com/watch?v=9SYVX2wcMVM

本文由:IPFS搬运工 发布于:2020-01-14 18:03:04 0 位用户参与了讨论
分享淘帖
回复

使用道具

成为第一个回贴人

B Color Link Quote Code Smilies
Copyright © 2001-2019 · 挖矿网 ·   京ICP备12010892号-1 -