Swarm-分布式存储项目最新研报(必收藏)

[复制链接]
12314 |0
发表于 2021-6-9 12:30:00 | 显示全部楼层 |阅读模式

wk588_pew0oqg1kpg.jpg

wk588_pew0oqg1kpg.jpg

一、为什么我们需要分布式存储?

目前,云存储的简单性和低维护量导致了数据大规模迁移到集中式服务器的局面,少数互联网巨头(如亚马逊、微软、IBM、Google等)掌握着海量用户的完整数据,反而人们对自身的数据却没有控制权。

科技平台通过提供免费服务,获取用户个人数据,然后利用数据来进行商业活动。这种模式下,必然会导致平台公司对用户数据的无止境地索取,我们可将其称之为“监控资本主义”。

尽管公司之间的竞争可确保为用户提供许多服务提供商供选择,但服务本身的性质通常引起人们对审查或滥用私人数据的可能性的关注。朝着云存储的转变也为数据盗窃创造了更多机会。

“今天的个人数据,就如同观看人们在水族馆里裸泳一样。”——欧盟司法专员维拉·朱洛娃

数据隐私、数据归属权的问题,也极大地影响到了依赖数据的智能行业的发展。怎样在保护隐私和数据整合使用中找到一个平衡,要怎么界定数据的所有权、使用权、管理权,以及如何满足进行监管等,这些问题对于我们这个时代来说都是非常终极的拷问,也是当前亟待解决的问题。

面对如此艰巨的挑战,目前,虽然我们还没有看到一个特别合适的解决方案,但是,区块链是已知的解决上述问题的最好的工具,可能也是目前唯一的工具。而基于ETH的分布式存储项目Swarm,可以说是其中的佼佼者。                 

二、SWARM是什么?

wk588_24ef2ezmmgz.jpg

wk588_24ef2ezmmgz.jpg

Swarm是ETH项目官方的一部分,主要是由基金会开发,允许矿池存储、带宽和算力资源来支持基于ETH网络的应用。团队试图创建一个不停机、零故障和防审查的点对点存储和服务解决方案。在Swarm内创建一个经济激励的系统将促进资源交换价值的支付和转移,使用了ETH区块链中不同的协议和技术。

wk588_sw0gkxyvb2g.jpg

wk588_sw0gkxyvb2g.jpg

Swarm去中心化的内容存储和分发服务,可以将它视为CDN,通过互联网在计算机上分发。你可以像运行ETH节点一样,运行Swarm节点并连接到Swarm网络上。这与BitTorrent相似,也可以类比IPFS,用以太坊作为报酬激励。文件被分解成块,分配并被参与的志愿者们储存。那些为存储并为块提供服务的节点,从那些需要储存和检索数据服务的节点得到以太坊 作为补偿。

代币信息

BZZ Toke是Swarm的功能性(UTILITY)Network,同时也用于带宽和存储奖励。

发起方:ETH基金会

创始人:Vitalik Buterin

发行总量:6250万枚

官方预计将于2021年第二季度(6月份左右)进行主网启动工作。

wk588_pnttycv0pz1.jpg

wk588_pnttycv0pz1.jpg

三、SWARM实现了哪些功能?

随着Web2.0占领了世界,Peer-to-peer(P2P)的革命也在加快步伐,悄悄地并行发展,实际上,P2P已经接管了大量数据包,毫无疑问,所有的用户最终可以共同使用迄今未被充分利用的上游带宽,从而可以为内容提供与以前只有在大公司及其数据中心的帮助下才能实现的相同的可用性和吞吐量。依附在互联网骨干网中最宽的带宽上,只需花费一小部分成本即可实现。更重要的是,用户保留了对其数据的更多控制权和自由度。最终,这种数据分发方式被证明是即使面对强大且资金充裕的实体采取暴力的手段想要将其关闭,它也具有显着的弹性。

但是,即使是最先进的P2P文件共享模式,无跟踪器的BitTor rent也仅是文件级共享。

这根本不适合提供人们期望We b2.0上的Web应用程序提供的那种交互式,响应式体验。除此之外,虽然BitTorrent变得非常流行,但并未考虑到经济学或博弈论的概念。

 BitTorrent的天才之处在于其巧妙的资源优化,解决了超文本传输协议(火币全球生态通证TP)的古老、集中,主从设计中最棘手,最根深蒂固的问题,该协议是万维网的基础。它通过使用分层分段哈希来阻止作弊,但这种精美而简单的方法存在五个相应的缺点,如:

*缺乏经济诱因--没有内置的诱因来播种下载的内容

*初始延迟--通常,下载开始缓慢且有一定延迟

*特殊性严重限制了 BitTorrent在需要快速响应和高带宽的交互式应用程序中的使用。

*缺少细粒度的内容寻址-小数据块只能作为它们所包含的较大文件的一部分来共享。

*没有隐私或模棱两可一-攻击者很容易发现托管希望删除的内容

 Swarm--来自ETH基金会官方...的对等方的IP地址,然后作为攻击者使用DDOS攻击。

*没有动力继续共享--节点一日达到目标(即从对等方检索所有所需文件),就不会因其共享工作(存储和带宽)而获得奖励。但是,随着区块链技术的加入,我们终将迎来真正的Web3.0:一种去中心化,抗审查性的设备,用于共享以及集体创建内容,同时保持对它的完全控制。而且,使用和共享利用率低下的计算机已经拥有的强大功能完全可以解决上述问题。Swarm项目的目的就是为未来的自我主权数字社会构建无许可的存储和通信基础架构。

 Swarm的主要目标是提供充分分散和冗余存储的ETH公共记录,尤其是存储和分发DApp的代码和数据以及区块链数据。从经济角度来看,它允许参与者有效汇集他们的存储容量和带宽资源,以给网络的所有参与者提供这些服务,同时接受ETH的激励。  

四、SWARM的奖励机制和节点搭建设

Swarm的存储空间受到所有单个节点对网络的存储贡献之和的限制。邮票系统通过将费用上传到Swarm网络上而增加了成本,从而分配了以最佳方式写入Swarm的权利。利用该信号,存储节点可以决定要保留什么内容以及要忽略什么内容,从而以保留最有价值的那些块的方式分配存储空间。

使用通过邮资系统支付的钱,项目补偿可以证明自己正在存储数据的节点。可以设想采用彩票类型的系统来提供该功能。在存储彩票中,存储大块就像购买彩票。因此,通过存储更多块,节点可以增加获胜的机会!

当前还处于Swarm网络的早期阶段,随着Swarm网络日益壮大,节点数量也在增长。一旦 Bee 客户端启动并运行,用户将开始与世界各地的对等方建立联系,成为Swarm的一部分,Swarm是一个全球P2P网络,负责存储和分发全球所有数据。

想要获得激励和BZZ(Swarm通证)空投的用户,特别是如果您从Swarm在主网上开始运行的第一天起就加入并拥有一个数据丰富且连接良好的节点,可以尽快安装 Bee 节点。

五、项目团队和背景

Swarm核心团队共有32名员工,并在瑞士成立了Swarm协会,除了ETH资金会的资金支持外,他们还与 BitDavinci Suisse达成合作,获得了充足的资金有了自己的资金来源。在过去一年中,该项目几次重组了团队,现在最终拥有8个组织良好的子团队:Leet Squad,Bee 团队,Bee-JS 团队, Comms,H R,DevOps,Ops和知识管理。

wk588_qcs4lkyppye.jpg

wk588_qcs4lkyppye.jpg

Swarm作为实现分散式网络的三位一体支柱之一的概念和第一个表述出现在2015年初ETH启动之前。由ETH创始人Vitalik Buterin,Gavin Wood和Jeffrey Wilcke推动,Swarm的协议标签bzz和shh都是Vitalik创造的。

Swarm在3个维度上的范围和数据完整性

从开发人员的角度来看,Swarm最好地看作是公共基础结构,它为Web 2.0时代所熟悉的实时交互式Web应用程序提供了动力。它为作为复杂应用程序构建块的基元提供了低级API,并为基于Swarm的Web 3.0开发堆栈的工具和库提供了基础。API和工具旨在允许从任何传统的Web浏览器访问Swarm网络,因此Swarm可以立即提供私有和分散的替代方法来替代当今的World Wide Web(WWW)。

wk588_v0wb0qjgh10.jpg

wk588_v0wb0qjgh10.jpg

考虑到Swarm的系统的设计和体系结构,我们可以将Swarm视为具有明显可分离的层,每个层都取决于上一层(请参上图):

  • 对等网络协议,用作底层传输,
  • 具有协议的覆盖网络,该协议为块(固定大小的数据块)的分布式不可变存储提供支持,
  • 提供高层数据访问并为基本层功能定义API的组件,
  • 定义标准的应用程序层,并概述更精细的用例的最佳实践。

从终端用户的角度来看,Swarm 和万维网的差别不大,除了上传的资源不托管在特定的服务器上,这让用户使用Swarm时和平时的使用习惯没有太大区别。Swarm 提供了一个点到点的存储和服务解决方案,它具有 DDos 抗性、零停机、容错和审查及自我维持的特性,它内置了激励系统,通过点对点记账,允许用户为交易资源进行支付。Swarm 旨在和ETH的 DevP2P多协议网络层以及ETH区块链进行深度集成,以进行域名解析(利用 ENS)、服务支付和内容可用性保证的等。为了解析 ENS 域名,Swarm 节点必须要连接到ETH区块链上(主网或测试网)。

六、项目开发进展

在许多方面,该项目已经成熟,Swarm 1.0预计将于今年第二季度发布。

2020年,该项目团队创建了一个新的Swarm网络,与“旧” Swarm网络平行存在。另外累计发布了四个Bee版本,Bee节点变得更加稳定和模块化,为Swarm 1.0主网上线及以后的版本做好了准备:

项目发展路线图

wk588_j0weqxfs53v.jpg

wk588_j0weqxfs53v.jpg

Swarm的开发进展和Roadmap完全相符,所有高级功能都已实现且已发布,预计Swarm 1.0 将在2021年第二季度正式发布。

七、竞品简析

在分布式存储领域,除了Swarm之外,还有很多项目在积极推进分散式存储及Web3.0的到来。要完全超越Web2.0的世界,仍然需要克服一个问题:将数据存储在区块链上对于极少量的东西来说是非常昂贵的。

BTC和ETH都采用了BitTorrent的布局并与其一起运行,通过交易能力对体系结构进行了补充,但以后对于存储非系统数据没有考虑。在其他项目中,ZeroNet已成功实施了简单的BitTorrent数据分发方法,用于Web内容分发。但是,由于上述BitTorrent问题,ZeroNet最终无法支持Web服务用户所期望的响应能力。

为了尝试启用响应式,分布式Web应用程序(或dapps),行星际文件系统(IPFS)对BitTorrent进行了自己的重大改进。一个突出的功能是高度兼容Web的基于URL的检索方案。此外,对可用数据的目录,索引(如组织为D火币全球生态通证的BitTorrent一样)得到了极大的改进,从而还可以搜索任何文件的一小部分。还有许多其他项目也在积极探索,并为Web2.0开发人员所期望的服务器和服务群提供有价值的Web3.0替代,以提供从现有对集中式体系结构的依赖中摆脱出来的途径启用数据收割者。这些角色并不是微不足道的,即使是当今最简单的Web应用程序,也包含了非常多的概念和范式,这些概念和范式必须重新映射到Web3.0的不信任设置中。事实证明,在许多方面,与在区块链中实施不信任计算相比,该问题甚至可能更加细微。Swarm通过一系列精心设计的数据结构来对此做出响应,这些数据结构使应用程序开发人员可以在Web3.0的新设置中重新创建我们在Web2.0中已经习惯的概念。Swarm成功地重新构想了当前的网络产品,并在坚实的加密经济基础上重新实现了产品。

当前最火的分布式存储项目可能要属IPFS,与Swarm相比较,在一定程度上,IPFS在宣发和主网上线上具有一定的先发优势。接下来我们希望通过更全面的对比,分析一下Swarm和IPFS这两个项目。

Swarm和IPFS的相似之处:

Swarm和IPFS都为下一代互联网未来的高效分散存储层提供了全面的解决方案。高层次的目标和技术都非常相似。Swarm和IPFS系统都渴望提供:

  • 通用的分散式分布式存储解决方案。
  • 内容交付协议。

他们都是通过创建一个协作节点网络来实现的,每个节点都运行一个符合用于存储和检索任意内容的严格定义的通信协议的客户端。利用个人参与者的剩余存储和带宽,网络节点共同提供无服务器托管平台。

两个项目相同点:

  • IPFS和Swarm都是完全开源的,渴望为参与节点提供一层(货币)激励,鼓励用户进行健康的运营和/或保险/再保证:),并为用户提供使用其资源的补偿。

  • 使用某种块存储模式,在这种模式下可以将较大的文档切碎,并且可以并行提取这些文件。

  • 通过内容寻址提供完整性保护(也适用于加密的部分内容)。

  • 这两个项目都提供了URL方案和分散的域名解析。

  • 将文件系统目录透明且高效地映射到存储对象集。

因此,两者原则上都非常适合替换当前破碎的互联网的数据层,并且作为web3愿景的存储层(与其他同类尝试一起,特别是zeronet、Maidsafe、i2p、storj等),必须具有通常的分布式文档存储的特性,比如:

  • 低延迟检索。

  • 高效的自动缩放(内容缓存)。

  • 可靠的容错操作,可抵抗节点的断开,冗余存储的间歇性可用性。

  • 零停机时间。

  • 审查性。

  • 可能永久版本化的内容存档。

Swarm和IPFS有何不同?

Swarm为ETH和DApp提供内容分发服务,具备以下功能:
➢ Swarm是一个去中心化的存储平台,提供ETHweb3堆栈的本地基础层服务。
➢ Swarm旨在替代ETH链上存储解决方案,成为ETH公共记录的去中心化存储平台。
➢ Swarm能够在不干扰区块链上信息的情况下,协助DApp存储和分发代码、数据及内容。
假设我们正在开发一个以区块链为基础的的医疗记录系统:跟踪医疗记录的添加日期、医疗记录内容、以及何人出于何种目的查看过记录,那么我们就需要在区块链中维护上述所有不可变的事务记录。但是,医疗记录本身(包括医生记录、医疗诊断和影像等),其实并不适合被存储在ETH区块链中。Swarm或IPFS更适合此类用例。
DApp可以直接在去中心化的文件系统(如IPFS和Swarm)中创建、管理并存储数据和内容,使用Swarm散列对数据和内容进行访问和检索。当DApp向ETH网络提交事务时,事务可以借助Swarm散列来引用Swarm资源。
Swarm在去中心化的节点上维护特定类型的内容寻址分布式哈希表(distributed hash table,简称D火币全球生态通证)。上传到Swarm网络中的文件或内容将被作为blob对象分割成不同的块。然后利用这些分块创建Merkle树,从而确保内容的完整性。Trunks将被进一步分配到参与节点,并存储到D火币全球生态通证中。当发出访问请求时,由最接近分块地址的节点提供内容。
Swarm提供了多个用于访问和管理内容的API,其中包括CLI(命令行接口)和JSON-RPC API。我们可以通过erebos、swarm-js或者swarmgw包来获得JavaScript包,其可用于大多数以UI/JavaScript为基础的DApp。
IPFS与Swarm十分类似,是一款在去中心化网络上存储并共享内容的点对点分布式文件系统。IPFS和Swarm二者都能够提供去中心化数据和内容存储,以及直接由内容所生成的可寻址散列;二者都可以存储区块链事务中的各项内容。
但二者内部也存在许多技术差异——它们通过不同的方式来切分大数据集并将分块存储在分布式网络。我们可以把IPFS看作是一个BitTorrent swarm,在Git存储库中交换对象;而Swarm与ETH区块链集成更加密切,并且有促进内容共享的激励系统。但其实IPFS也可以借助FIL来提供相似的激励系统。
同样,Swarm中的DApp应用架构也适用于IPFS。IPFS也提供了多个用于访问和管理内容的API,包括CLI接口、JSON-RPC API以及火币全球生态通证TP接口。JavaScript包和Go库也同样可用,可用于大多数以UI/JavaScript或Go为基础的DApp。

关于激励措施

FIL是IPFS的姊妹项目,它为IPFS增加了激励层,并依赖于自己的altchain。FIL区块链上的可检索性证明“挖掘”是一个向存储者提供持续补偿以保存内容的方案。作为工作证明任务的一部分的随机审计得到可检索性证明的回应,中标矿工得到相应的补偿。这种制度有其固有的局限性:知识产权基金只能实施积极的激励,依赖集体责任。

Swarm充分利用智能合约的功能来处理注册节点的按金支付。这就允许采取强制性措施作为威慑。Swarm提供了一种跟踪责任的方案,使存储者(storers)对特定内容单独负责。

IPFS不能保证存储,而Swarm强制执行内容不可知行为,并提供用户可灵活调整的特定于内容的安全级别。

Swarm将对很少访问的链外内容实施高效的自动集体审计,并在区块链上进行最后的诉讼,作为内容保险的一部分(一项关键功能)。使用一个成对的会计协议和延迟的小额链外支付,Swarm提供了大量的交易成本节约,同时维护安全。IPFS+fileDavinci对竞争性托管证明挖掘的依赖意味着区块链的过度使用和正常运行所固有的资源冗余使用。

由于成对的记账(pairwiseaccounting,)、延迟支付和集体审计都是链外的,Swarm对区块链的依赖程度大大降低,仅限于注册和最后诉讼。

最后,Swarm的“Manifests”概念(具有完整性保护的通用路由表/键值索引)允许

  • 在云上建模分层文件系统
  • 无服务器的服务器,具有路由表和元数据原理系统(内容类型、加密和保险信息等)
  • 在Swarm内部实现任意的D火币全球生态通证,所以它可以支持“侧链”或传统webapps的db组件(如mysql在LAMP栈等)

总得来说,Swarm和IPFS都是非常优质的项目,都在为下一代互联网未来的高效分散存储层提供全面的解决方案,以解决当今互联网以及数据分配和存储中的诸多问题。

 八、Network经济模型

BZZ Status (以下SNT模型根据前期资料整理,可能会有更新和调整,以 Swarm官方公告为准):

BZZ Toke是Swarm的功能性(UTILITY)Network,同时也用于带宽和存储奖励。

BZZ初始供应量:62.5M,最低起拍价(公募预计在主网发布前):0.32DAI,由Curve平台提供流动性。

Status 分配:

  • Fundraising : 50%

  • Team : 20%

  • Foundation : 7%

  • Infrastructure Grants : 10%

  • DApp Grants : 10%

  • Donations : 3%

九、项目融资情况

Swarm作为ETH项目官方的一部分,长期以来(2015年开始,进行了五年多的深入研究)由ETH基金会提供资金支持,除此之外,为保证Mainnet的顺利完成,Swarm已与BitDAC Suisse合作,并在其帮助下完成了600万美元的私募,有足够的资金来进一步扩大团队规模,确保Swarm10能够按时执行,并于今年二季度发布。

 BitDavinci Suisse,成立于2013年,是瑞士加密金融和技术的先驱和市场领导者。BitDavinci Suisse帮助塑造了瑞士的加密货币和区块链生态系统,并一直是“Crypto Valley"和" Crypto NationSwitzerland"发展的推动力。作为受监管的瑞士金融中介机构,并已获得 Swiss andLiechtenstein bank的许可,

 BitDACSuisse为私人和机构客户提供主要经纪,交易,托管,借贷,抵押和其他加密金融服务。BitDavinciSuisse在其位于哥本哈根的楚格(Zug,)建立了一支由 200 多名专家组成的团队。

目前,Swarm已经获得ALPHEMY

 CAPITAL、bitscale capital、DFG、KR1、

目前,Swarm已经获得ALPHEMY

 CAPITAL、bitscale capital、DFG、KR1、 HASHKEY、NGC Venture、了得资本、P2P CAPITAL、Waterdrip Capital(水滴资本)、White Paper Capital 和 YBB Foundation LTD等多家知名机构的投资。

wk588_terxjj0dmpo.jpg

wk588_terxjj0dmpo.jpg

附:Swarm每月开发进展更新-(2021年4月)中文版

wk588_ueuvlx0daui.jpg

wk588_ueuvlx0daui.jpg

对于Swarm团队来说,4月是一个令人工作/辛苦的月份。发生了很多事情。我们很自豪地分享我们的进步。
团队正在为Swarm v0.6.0版本做准备。其中有些人有机会在Rinke Hendriksen的公开演示中对其进行了观看了解。
JS团队发布了Bee Dashboard仪表板,它将使安装和操作节点更加容易。
公平数据协会组织了为期两天的精彩活动,涵盖了与公平数据经济相关的主题,并为web3社区提供了讲解视频。
您可以在下面更详细地阅读每月的开发进度报告。

Bee 跟踪进展

支持以下功能:

1. Postage stamps

2. Light nodes

3. File/manifest redefinition

4. Pinning CRUD API

社区举行了演示的会议。

开始与Discord社区进行更广泛的合作来测试bee的0.6.0测试版本(非正式发布版本)(#bee-testing-0-6-0)。

实施各种功能以提高网络的稳定性。

DevOps跟踪

发布了新版本的Bee Helm chart(v0.9.0)。
发布了新版本的Beekeeper Helm chart (v0.2.5)。
发布了新版本的Geth Swap Helm chart (v0.1.12)。
发布了新版本的Beekeeper(v0.6.4),该版本改进了集成测试。
更新了 bee-staging 和bee-local库,以支持Bee和Beekeeper的最  新改进。

JS 跟踪

发布了新版本的Bee-js Javascript client library(v0.8.1)。自上次更新以来的发行摘要:

1.)添加了缺少的Bee API端点

2.)改进了签名者界面和ETH钱包支持

3.)更容易处理二进制和JSON数据

4.)BigInt支持与金钱相关的API

发行了Bee Dashboard的0.1.0版本(以前称为Bee SNT UI)。您可以在我们的中等职位中阅读有关它的更多

信息。

研究方向

建立了一种将基于时间的结算与货币结算相结合的方法。

在简化安全邮资票方面取得突破(即通过挖掘算法来获得积极的存储奖励),将在1.0版之后实施Sybil抵抗节点寻址。     

未来是未知的,人类仍将面临诸多挑战。在当今的数字社会中,可以肯定的是,要成为主权并控制我们的命运,国家和个人都必须保留对其数据和通信的访问和控制权。Swarm的愿景和目标来自分散的技术社区及其价值,因为Swarm在未来的社会中可能会变得无处不在。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表