分散型ストレージソリューションを構築するにはどうすればよいでしょうか?現在のソリューションのうちどれが優れているでしょうか?

分散型ストレージ環境

信頼性を持たずに価値を転送することを主な目的とするレイヤー 1ブロックチェーン (ビットコインやイーサリアムなど) とは異なり、分散型ストレージ ネットワークでは、トランザクション (ストレージ要求) を記録するだけでなく、データが特定の時間内に保存されることを保証し、ストレージに関連するその他の課題を克服する必要があります。したがって、分散型ストレージ ブロックチェーンでは、ストレージと検索のさまざまな側面が機能できるように、連携して動作する複数のコンセンサス メカニズムを適用するのが一般的です。

以下の分散型ストレージ プロジェクトの非網羅的なリストでは、分散型ストレージの状況と、P2P ファイル共有やデータ マーケットプレイスなどのニッチなデータ ストレージの使用例を垣間見ることができます。

この研究は、ストレージ ネットワーク (IPFS ベースと非 IPFS ベースの両方) に焦点を当てています。

図 1: 分散型ストレージ プロトコルの概要 (網羅的ではありません)

分散ストレージ設計の課題

この論文の最初のセクションで示したように、ブロックチェーンは、関連するコストとブロックスペースへの影響のため、大量のデータをオンチェーンで保存するのには適していません。したがって、分散型ストレージ ネットワークでは、分散化を確保するために他のテクノロジを適用する必要があります。ただし、ネットワークの分散化を維持したい場合、ブロックチェーンを主要なストレージスペースとして使用しないと、他の多くの課題が発生します。

本質的に、分散型ストレージ ネットワークは、ネットワーク内のすべてのアクターがそれぞれの作業に対してインセンティブを与えられることを保証しながら、分散型システムの信頼性のない性質を維持しながら、データを保存、取得、維持できる必要があります。

したがって、設計の観点から、主な課題を次の例示的な段落にまとめることができます。

データ保存形式 – まず、ネットワークはデータの保存方法を決定する必要があります。データを暗号化するかどうか、データをセット全体として保存するか、小さなチャンクで保存するかを決定します。

データの複製 — 次に、ネットワークはデータの保存場所を決定する必要があります。つまり、データをいくつのノードに保存するか、すべてのデータをすべてのノードに複製するか、または各ノードに異なるデータを取得してデータのプライバシーをさらに保護するかを決定します。データの保存形式とデータのネットワーク伝播によって、時間の経過とともにデバイスに障害が発生してもデータがネットワーク上で利用可能になる確率 (永続性) が決まります。

ストレージ追跡 - ここから、ネットワークにはデータが保存されている場所を追跡するメカニズムが必要です。これは、ネットワークが特定のデータを取得するためにどのネットワークの場所を要求するかを知る必要があるため重要です。

保存されたデータの証明 — ネットワークはデータがどこに保存されているかを知る必要があるだけでなく、ストレージ ノードも、保存しようとしているデータが実際に保存されていることを証明できる必要があります。

時間の経過に伴うデータの可用性 – ネットワークでは、データが適切な場所に適切なタイミングで存在することを保証する必要もあります。つまり、時間の経過とともにノードが古いデータを削除しないようにするメカニズムを設計する必要があるということです。

ストレージ価格の発見 — ノードは、ファイルの継続的なストレージに対して料金を支払うことを期待しています。

永続的なデータ冗長性 - ネットワークはデータの場所を把握する必要がありますが、パブリックオープンネットワークの性質上、ノードは常にネットワークから離脱し、新しいノードは常にネットワークに参加します。したがって、個々のノードが保存すべきときに保存すべき内容を保存することを保証するだけでなく、ノードが離れてデータが消えた場合でも、ネットワーク全体でデータの十分なコピーまたはデータの一部が維持されるようにネットワークで保証する必要があります。

データ転送 - 次に、ネットワークがノードに接続して、要求されたデータ (ユーザーまたはデータ保守ワークロードによって) を取得する場合、帯域幅にもコストがかかるため、データを保存しているノードはデータ転送を行う必要があります。

ネットワーク トークノミクス — 最後に、データがネットワーク内に存在することを保証するだけでなく、ネットワーク自体が長期的に存在し続けることをネットワークが保証する必要があります。ネットワークが消滅すると、すべてのデータも消滅します。したがって、ネットワークの永続性を確保し、データの長期的な可用性を確保するには、強力なトークノミクスが必要です。

データの分散化の課題を克服する

このセクションでは、IPFS、Filecoin、Crust Network、Arweave、Sia、Storj、Swarm の分散型ストレージ ネットワーク設計のさまざまな側面を比較対照し、上記の課題をどのように克服するかについて説明します。これは、分散化を実現するために幅広いテクノロジーを使用する、確立された分散型ストレージ ネットワークと新興の分散型ストレージ ネットワークの両方を反映しています。

以下の表は、各ネットワークの技術的側面とトークン経済をまとめたものです。これらについては、このセクションで詳しく説明します。また、さまざまな設計要素に従って、著者がこれらのチェーンの強力な使用例であると考えるものについても説明します。

図2: 検討したストレージネットワークの技術設計決定の概要

図3: 検討したストレージネットワークのトークン設計決定の概要

図4: 検討したストレージネットワークの強力な使用事例の概要

各プロトコル設計では多くの概念が密接に関連しているため、各課題を明確に分割することは不可能であり、サブセクション間で重複する部分が生じます。

データ保存形式とデータ複製

データ形式とデータ複製とは、ユーザーまたはアプリケーションがファイルの保存を要求したときに、データが単一のノード インスタンスにどのように保存されるか、およびデータが複数のノードに伝播される方法を指します (以下、ユーザーとアプリケーションを総称してクライアントと呼びます)。これは重要な区別です。ネットワークまたは他のネットワーク参加者によって開始されたデータ保守プロセスの結果として、データがノードに保存されることもあるためです。

以下の表では、プロトコルがデータを保存する方法の簡単な概要を確認できます。

図5: ストレージネットワークのデータ保存方法とデータ複製のレビュー

上記のプロジェクトのうち、Filecoin と Crust は、ピア間でファイルを転送し、ノードにファイルを保存するためのネットワーク調整および通信層として、Interstellar File System (IPFS) を使用します。 IPFS と Filecoin はどちらも Protocol Labs によって開発されました。

新しいデータを Filecoin ネットワークに保存する場合、ストレージ ユーザーは Filecoin ストレージ マーケットを通じてストレージ プロバイダーに接続し、ストレージ注文を行う前にストレージ条件を交渉する必要があります。次に、ユーザーは、使用する消去コーディング (EC) のタイプとその中のレプリケーション係数を決定する必要があります。消失訂正符号化では、データは一定サイズの断片に分割され、各断片が拡張されて冗長データがエンコードされるため、元のファイルを再構築するには断片のサブセットのみが必要になります。レプリケーション係数は、ストレージマイナーのより多くのストレージセクターにデータをコピーする頻度を指します。ストレージ マイナーとユーザーが条件に同意すると、データはストレージ マイナーに送信され、ストレージ マイナーのストレージ セクターに保存されます。

図6: データ複製とデータの消失訂正符号

ユーザーが冗長性をさらに高めたい場合は、追加のストレージ プロバイダーと追加のストレージ契約を結ぶ必要があります。これは、1 つのストレージ マイナーがオフラインになり、コミットされたすべてのストレージ セクターがオフラインになるというリスクが依然として存在するためです。 Filecoin プロトコル上に構築された NFT.Storage や Web3.Storage などのアプリケーションは、複数のストレージ マイナーを使用してファイルを保存することでこの問題を解決しますが、プロトコル レベルでは、ユーザーが複数のストレージ マイナーを手動で操作する必要があります。

対照的に、Crust は固定数のノードにデータを複製します。ストレージ オーダーが送信されると、データは暗号化され、少なくとも 20 個の Crust IPFS ノードに送信されます (ノードの数は調整可能)。各ノードでは、データが多数の小さなフラグメントに分割され、Merkle ツリーにハッシュされます。各ノードには、完全なファイルを構成するすべてのフラグメントが保持されます。 Arweave も完全なファイル複製を使用しますが、Arweave は少し異なるアプローチを採用しています。トランザクションが Arweave ネットワークに送信されると、最初の単一ノードがデータをブロックとして blockweave (Arweave のブロックチェーン表現) に保存します。そこから、Wildfire と呼ばれる非常に積極的なアルゴリズムにより、データがネットワーク全体に迅速に複製されることが保証されます。これは、どのノードも次のブロックをマイニングするためには、前のブロックにアクセスできることを証明する必要があるためです。

図7: データ保存形式が検索と再構築に与える影響

Sia、Storj、Swarm は、Erasure Coding (EC) を使用してファイルを保存します。 Crust の実装により、20 個の完全なデータ セットが 20 個のノードに保存されます。これは冗長性が非常に高く、データの耐久性も非常に高くなりますが、帯域幅の観点からは非常に非効率的です。消失訂正符号化は、帯域幅に大きな影響を与えずにデータの耐久性を高めることで、冗長性を実装するより効率的な方法を提供します。

Sia と Storj は、特定の耐久性要件を満たすために、EC シャードを特定の数のノードに直接伝播します。一方、Swarm は、より近いノードが近隣を形成するようにノードを管理し、これらのノードは相互にデータ チャンク (Swarm で使用される特定のフラグメント形式) を積極的に共有します。人気のあるデータがネットワークから頻繁に呼び出される場合、他のノードも人気のあるブロックを保存するように促されます。これを機会主義的キャッシュと呼びます。したがって、Swarm では、ネットワーク内のデータ フラグメントの数は、「正常」と見なされる最小数よりもはるかに大きくなる可能性があります。これは帯域幅に影響しますが、要求ノードまでの距離を短縮することで、将来の取得要求を前倒しすると考えることができます。

ストレージ追跡

データが 1 つ以上のノードに保存された後、ネットワークはデータが保存されている場所を認識する必要があります。こうすることで、ユーザーがデータの取得を要求したときに、ネットワークはどこを探せばよいかがわかります。

図8: ストレージネットワークのストレージ追跡の確認

Filecoin、Crust、Sia、Arweave はすべて、ブロックチェーンまたはブロックチェーン ライフ構造を使用して、ストレージ オーダーを管理し、ネットワーク上に行われたすべてのストレージ要求を記録します。 Filecoin では、Crust と Sia が証明 (つまり、ファイルがマイナーによって保存され、チェーン上に保存されたことの証明) を保存します。これにより、これらのネットワークは、どのデータがどの時点でどこに保存されているかを把握できるようになります。 Arweave では、ネットワークはすべてのノードにできるだけ多くのデータを保存するようにインセンティブを与えますが、ノードはすべてのデータを保存する必要はありません。 Arweave はブロックチェーン上にデータをブロックとして保存し、ノードがすべてのデータを保存する必要がないため、ノードが後で取得できる一部のデータを失う可能性があります。したがって、Arweave のブロックウィーブは「ブロックチェーンのような」構造になっています。

Filecoin、Crust、Sia では、すべてのストレージ ノードが、どのストレージ ノードがどのデータを保存しているかの詳細を含むローカル テーブルを維持します。このデータは、ノード間でチャットすることで定期的に更新されます。ただし、Arweave では、コンテンツを要求するときに、ノードはコンテンツを保持していることがわかっている特定のノードに接続するのではなく、状況に応じて要求を実行します。

Storj も Swarm も独自のレイヤー 1 ブロックチェーンを持っていないため、ストレージを異なる方法で追跡します。 Storj では、ストレージ順序管理とファイル ストレージが、サテライト ノードとストレージ ノードという 2 種類のノードに分割されています。サテライトは、単一のサーバーまたは冗長化されたサーバーの集合体であり、ユーザーが保存用に送信するデータのみを追跡し、契約を締結したストレージ ノードにのみ保存します。ストレージ ノードは複数の衛星と連携し、複数の衛星からのデータを保存できます。このアーキテクチャにより、Storj にファイルを保存するときにネットワーク全体の合意は必要なくなり、効率が向上し、データの保存に必要なコンピューティング リソースが少なくなります。しかし、これは、衛星がオフラインになった場合、その衛星によって管理されているデータにアクセスできなくなることも意味します。

Swarm では、データからブロックへの変換プロセス中に、データが保存されているアドレスが各ブロックのハッシュに直接記録されます。ブロックはノード間で同じアドレス空間 (つまり、近隣) に保存されるため、ファイルの近隣はブロック ハッシュ自体によって簡単に識別できます。つまり、ブロック自体によって保存場所が暗示されるため、ファイルが保存されている場所を追跡するための別のメカニズムは必要ありません。

ストレージデータの証明、時間の経過に伴う可用性、ストレージ価格の発見

ネットワークは、データがどこに保存されているかを把握するだけでなく、特定のノードに保存されることを意図したデータが実際にその特定のノードに保存されていることを確認する方法も必要です。検証が行われた後のみ、ネットワークは他のメカニズムを使用して、データが長期間保存されたままであることを保証できます (つまり、ストレージ ノードは最初のストレージ操作後にデータを削除しません)。このようなメカニズムには、データが特定の期間保存されていることを証明するアルゴリズム、その期間の保存要求を正常に完了した場合の金銭的インセンティブ、および未処理の要求に対する抑止力などが含まれます。ここで注意すべき点は、永続的なストレージは長期的なデータ可用性の一形態ではあるものの、時間の経過に伴うデータの可用性は永続性と同じではないということです。最後に、保存されたデータの証明と、時間の経過に伴うデータの可用性の確保方法を説明するために、このセクションでは、各プロトコルの完全な保存プロセスについて説明します。

図9: 検証済みのストレージネットワークの保存データの証明、時間の経過に伴う可用性、価格設定メカニズム

ファイルコイン

Filecoin では、ストレージマイナーは、ストレージリクエストを受信する前に、ネットワークにストレージを提供するという約束として、ネットワークに担保を預ける必要があります。完了すると、マイナーはストレージ市場でストレージを提供し、サービスに価格を設定できます。 Filecoin にデータを保存したいユーザーは、ストレージ要件 (必要なストレージ容量、ストレージ期間、冗長性、レプリケーション係数など) を設定し、クエリを送信できます。

ストレージ市場は、クライアントとストレージマイナーをマッチングします。その後、クライアントはデータをマイナーに送信し、マイナーはデータをセクターに保存します。次にセクターは封印され、このプロセスによって、データはマイナーの公開鍵に関連付けられたコピーと呼ばれるデータの一意のコピーに変換されます。この封印プロセスにより、各コピーが物理的に一意のコピーであることが保証され、Filecoin の複製証明アルゴリズムの基礎が形成されます。このアルゴリズムは、レプリカの Merkle ツリー ルートと元のデータのハッシュを使用して、提供されたストレージ証明の有効性を検証します。

時間が経つにつれて、ストレージマイナーはアルゴリズムを定期的に実行して、保存されたデータの所有権を一貫して証明する必要があります。ただし、このように一貫してチェックするには、大量の帯域幅が必要になります。 Filecoin の斬新な点は、データが時間の経過とともに保存されることを証明し、帯域幅の使用を削減するために、マイナーが以前の証明の出力を現在の証明の入力として使用し、複製の証明を順番に生成することです。これは、データが保存される期間を表す複数の反復にわたって実行されます。

クラストネットワーク

Crust ネットワークでは、ノードはネットワーク上で保管注文を受け入れる前に担保を預け入れる必要があります。ノードがネットワークに提供するストレージ容量によって、担保として提供される最大量が決まり、ノードがネットワーク上のブロック作成に参加できるようになります。このアルゴリズムは Guaranteed Proof of Stake と呼ばれ、ネットワークにステークを持つノードだけがストレージスペースを提供できることを保証します。

ノードとユーザーは分散ストレージ マーケットプレイス (DSM) に自動的に接続され、ユーザーのデータを保存するノードが自動的に選択されます。ストレージの価格は、ユーザー要件 (ストレージ期間、ストレージ容量、レプリケーション係数など) とネットワーク要因 (輻輳など) に基づいて決定されます。ユーザーがストレージ注文を送信すると、データはネットワーク上の複数のノードに送信され、マシンの Trusted Execution Environment (TEE) を使用してデータが分割され、フラグメントがハッシュされます。 TEE はハードウェア所有者でさえアクセスできないクローズド ハードウェア コンポーネントであるため、ノード所有者は独自にファイルを再構築することはできません。

ファイルがノードに保存されると、ファイル ハッシュを含む作業レポートが、ノードの残りのストレージとともに Crust ブロックチェーンに公開されます。ここから、データが長期にわたって保存されるように、ネットワークは定期的にランダム データ チェックを要求します。TEE では、ランダムな Merkle ツリー ハッシュが関連するファイル フラグメントとともに取得され、復号化されて再ハッシュされます。次に、新しいハッシュを予想されるハッシュと比較します。このストレージ証明の実装は、Meaningful Proof of Work (MPoW) と呼ばれます。

シア

Filecoin や Crust の場合と同様に、ストレージ ノードはストレージ サービスを提供するために担保を預ける必要があります。 Sia では、ノードは担保をどれだけ預けるかを決定する必要があります。担保はユーザーへのストレージの価格に直接影響しますが、同時に、担保を低く預けることは、ノードがネットワークから消えても失うものが何もないことを意味します。これらの力により、ノードは担保のバランスをとる方向に押し進められます。

ユーザーは、Filecoin と同様に機能する自動ストレージ マーケットを通じてストレージ ノードに接続します。ノードがストレージ価格を設定し、ユーザーは目標価格と予想されるストレージ期間に基づいて予想価格を設定します。ユーザーとノードは自動的に相互に接続されます。

ユーザーとノードがストレージ契約に同意すると、資金は契約内にロックされ、消失訂正符号を使用してデータがフラグメントに分割されます。各フラグメントは異なる暗号化キーを使用して個別にハッシュされ、各フラグメントは複数の異なるノードに複製されます。 Sia ブロックチェーンに記録されるストレージ契約には、契約条件とデータの Merkle ツリー ハッシュが記録されます。そこから、保存の証明が定期的にネットワークに送信され、データが予想される保存期間保存されていることが保証されます。これらのストレージ証明は、元の保存ファイルのランダムに選択された部分のハッシュのリストと、ブロックチェーンに記録されたそのファイルのマークルツリーに基づいて作成されます。ノードは、一定期間内に提出されたストレージ証明ごとに報酬を受け取り、最終的に契約が完了したときに報酬を受け取ります。

Sia では、保管契約は最長 90 日間継続できます。ファイルを 90 日間以上保存するには、ユーザーは Sia クライアント ソフトウェアを使用して手動でネットワークに接続し、契約をさらに 90 日間延長する必要があります。 Skynet は、Filecoins Web3.Storage や NFT.Storage プラットフォームと同様に、Sia の上にある別のレイヤーであり、Skynet 独自のクライアント ソフトウェア インスタンスがユーザーに代わって契約更新を実行することで、ユーザーのためにこのプロセスを自動化します。これは回避策ではありますが、Sia プロトコル レベルのソリューションではありません。

アルウィーブ

Arweave では一時的な保存が許可されないため、以前のソリューションとはまったく異なる価格モデルが採用されています。Arweave では、保存されたデータはすべて永続的です。 Arweave では、ストレージ料金は、ネットワーク上にデータを 200 年間保存するコストによって決まり、そのコストが年間 -0.5% 減少すると想定しています。保管コストが 1 年間で -0.5% 以上減少した場合、その節約分は保管期間の終了時にさらに保管年数を追加するために使用されます。 Arweave 独自の推定では、ストレージ コストの年間削減率 -0.5% は非常に控えめな数字です。ストレージ コストの削減が Arweave の想定よりも常に大きい場合、ストレージ期間は無制限に増加し続け、ストレージが永続的になります。

Arweave にファイルを保存する価格は、前述の 200 年間の保存コストの見積もりとネットワークの難易度に基づいて、ネットワークによって動的に決定されます。 Arweave はプルーフ・オブ・ワーク (PoW) ブロックチェーンです。つまり、ノードは次のブロックをマイニングするために暗号ハッシュ パズルを解く必要があります。より多くのノードがネットワークに参加すると、ハッシュ パズルを解くことがより困難になり、パズルを解くためにより多くのコンピューティング リソースが必要になります。動的な価格難易度調整は、ノードがネットワーク上に留まり、新しいブロックをマイニングするインセンティブを維持できるようにするための追加の計算能力のコストを反映します。

ユーザーがネットワーク上にファイルを保存するための価格を受け入れると、ノードはデータを受け入れてブロックに書き込みます。ここで、Arweave のアクセス証明アルゴリズムが役立ちます。アクセス証明アルゴリズムは 2 つのフェーズで機能します。まず、ノードはブロックチェーン内の前のブロックにアクセスできることを証明し、次に、リコール ブロックと呼ばれるランダムに選択された別のブロックにアクセスできることを証明する必要があります。ノードが両方のブロックへのアクセスを証明できる場合、PoW フェーズに入ります。 PoW フェーズでは、2 つのブロックへのアクセスを証明できるマイナーだけが、暗号ハッシュ パズルの解決を試み始めます。マイナーがパズルを解くと、データとともにブロックをブロックチェーンに書き込みます。今後、ネットワーク上のノードが次のブロックをマイニングできるようにするには、新しくマイニングされたブロックを含める必要があります。

マイナーは、ネットワーク トークンの発行によるデータとブロックの報酬の組み合わせで報酬を得ます。取引手数料に加えて、ユーザーが支払った残りの価格は基金に保管され、時間の経過とともにデータを保有するマイナーに支払われます。この手数料は、取引手数料とブロック報酬がマイニング業務の収益性を上げるのに不十分であるとネットワークが判断した場合にのみ支払われます。これにより基金内にフローティングトークンが作成され、200 年の最小保管期間がさらに延長されます。

Arweave のモデルでは、保管場所の追跡は行われません。したがって、ノードが要求されたデータにアクセスできない場合、ノードはローカルに保持しているピア リスト内のノードにブロック データを要求します。

ストージ

Storj 分散型ストレージ ネットワークには、ブロックチェーンやブロックチェーンのような構造はありません。ブロックチェーンが存在しないということは、ネットワークの状態に関してネットワーク全体での合意が得られていないことも意味します。代わりに、データの保存場所の追跡はサテライト ノードによって処理され、データの保存はストレージ ノードによって処理されます。サテライト ノードは、データの保存に使用するストレージ ノードを決定でき、ストレージ ノードは、ストレージ要求を受け入れるサテライト ノードを決定できます。

サテライトは、ストレージ ノード間のデータの場所の追跡を処理するだけでなく、ストレージ ノードによるストレージと帯域幅の使用に対する課金と支払いも担当します。この取り決めでは、ストレージ ノードが独自の価格を設定し、ユーザーがその価格を支払う意思がある限り、Satellite がストレージ ノードを相互に接続します。

ユーザーが Storj にデータを保存する場合、接続するサテライト ノードを選択し、特定のストレージ要件を共有する必要があります。次に、サテライト ノードはストレージのニーズを満たすストレージ ノードを選択し、そのストレージ ノードをユーザーに接続します。ユーザーは、Satellite に料金を支払いながら、ファイルを直接ストレージ ノードに転送します。その後、衛星は保存されたファイルと使用された帯域幅に対して毎月のストレージ ノード料金を支払います。

ストレージ ノードが意図したとおりにデータを継続的に保存していることを確認するために、サテライトはストレージ ノードの定期的な監査を実行します。データを保存しない衛星は、消失訂正符号を適用する前にファイル フラグメントをランダムに選択し、消失訂正符号が適用されたフラグメントを保存しているすべてのノードにデータの検証を要求します。十分な数のノードがデータを返すと、衛星は誤ったデータを報告したノードを識別できます。

ノードが消えてデータがオフラインになるのを防ぎ、監査を通じてファイル シャードを常に検証できるようにするために、Storj Satellite はストレージ ノードの収益の大部分を差し控えており、ネットワークから早期に離脱したり監査に不合格になったりすることが経済的に不可能になっています。ノードがネットワーク内に長く留まると、差し押さえられた収益の一部が解放されます。ネットワークは、ストレージ ノードが少なくとも 15 か月間実行した後にネットワークを離れる必要があると判断し、ストレージ ノードがネットワークを離れる必要があることをネットワークに通知して、ネットワークがすべてのデータを移動できるようにした場合にのみ、保留されていた残りの資金を返還します。

群れ

Swarm にはストレージ要求を追跡するためのレイヤー 1 ブロックチェーンはありませんが、Swarm へのファイルの保存は Ethereum 上のスマート コントラクトを通じて処理されます。したがって、ファイルに関する詳細な情報を含む保存順序を追跡することが可能になります。また、Swarm では各ブロックのアドレスがブロック内に含まれているため、ブロックの近隣も識別できます。したがって、データが要求されると、近隣内のノードは相互に通信して、ユーザーが要求したブロックを返します。

Swarm では、クライアント ソフトウェアを通じて、データの量と Swarm にデータが保存される期間をユーザーが決定し、スマート コントラクトを使用して計算を実行できます。データが Swarm に保存されると、ブロックは 1 つのノードに保存され、その後、アップロードノードと同じ近隣の他のノードに複製されます。データがノードに保存されると、ブロックに分割され、そのデータがブロックのツリーにマッピングされて、Merkle ツリーが構築されます。ツリーのルート ハッシュは、ファイルを取得するために使用されるアドレスです。したがって、ツリーのルート ハッシュは、ファイルが正しくチャンク化され、保存されていることを証明します。ツリー内の各ブロックにはさらに包含証明が埋め込まれており、長期ストレージ（コミットストレージとも呼ばれる）を販売したいノードは、コミットメントを行う際に、イーサリアムベースのスマートコントラクトを介してステーク（基本的には保証金）を検証してロックする必要があります。コミットメント期間中にノードが保存をコミットしたデータの所有権を証明できなかった場合、そのノードは預けたデータをすべて失うことになります。

最後に、データが時間の経過とともに削除されないようにするために、Swarm はランダム選択を採用しています。ランダム選択では、 Swarmの RACE 選択システムによって選択されたランダム データを保持するノードに報酬が与えられます。

永続的なデータの冗長性

データが一定数のノードに保存されている場合、長期的にはノードがネットワークから離脱したり参加したりすると、このデータは最終的に消えてしまうと考えられます。これに対処するには、ノードは、あらゆる形式で保存されたデータが定期的に複製され、ユーザーが定義した保存期間中、常に最小限の冗長性レベルが維持されるようにする必要があります。

図10: 検討したストレージネットワークのデータ永続化メカニズム

Filecoin ネットワークでブロックがマイニングされるたびに、ネットワークは、データを保存するために必要な証明が存在し、有効であることを確認します。特定の障害しきい値を超えると、ネットワークはストレージマイナーに障害があると見なし、ストレージ注文を失敗としてマークし、ストレージ市場で同じデータの新しい注文を再導入します。データが回復不可能と判断された場合、データは失われ、ユーザーには払い戻しが行われます。

2021年9月にメインネットがローンチされたネットワークの中で最も新しいCurst Networkには、時間の経過とともにファイルの冗長性を補充するメカニズムがまだありませんが、現在そのようなメカニズムが開発中です。

Sia では、ネットワーク上で利用可能な消去コード化されたフラグメントの数がヘルスインジケーターに変換されます。時間の経過とともにノードと消失符号化フラグメントが消滅すると、データの健全性が低下します。ヘルス状態を高く維持するには、ユーザーは手動で Sia クライアントを開いてヘルス状態をチェックし、100% でな​​い場合はデータ フラグメントをネットワーク上の他のノードに複製する必要があります。 Sia では、データが回復不可能な断片化しきい値を下回り、最終的にネットワークから消失するのを防ぐために、月に 1 回 Sia クライアントを開いてこのデータ修復プロセスを実行することを推奨しています。

Storj は Sia と同様のアプローチを採用していますが、ネットワーク上に十分な消去コード化されたファイルフラグメントがあることを確認するための手順をユーザーに実行させる代わりに、Satellite ノードがこの作業を引き継ぎます。サテライト ノードは、ストレージ ノードに保存されているシャードに対して定期的にデータ監査を実行します。監査で不良セグメントが返された場合、ネットワークはファイルを再構築し、欠落しているセグメントを再生成して、ネットワークに保存し直します。

Arweave では、新しいデータをマイニングするためにノードが古いデータを保存することを要求するアクセス証明アルゴリズムを通じて、一貫したデータ冗長性が実現されます。この要件は、ノードが、次のブロックをマイニングしてマイニング報酬を受け取る可能性を高めるために、古いブロックや「希少な」ブロックを検索して保持するように動機付けられることを意味します。

最後に、Swarm は、時間が経つにつれてデータが消失するのを防ぐための重要な手段として、近隣レプリケーションを通じて永続的な冗長性を確保します。 Swam では、ノードに最も近い隣接ノードの各セットに、そのノードのデータ ブロックのコピーを保持する必要があります。これらの隣接ノードは、ノードがネットワークから離脱したり参加したりすると時間の経過とともに再編成され、各ノードの最も近い隣接ノードが更新され、それらのノード上のデータを再同期する必要があります。これにより、最終的なデータの一貫性が実現されます。これは完全にオフチェーンで実行される継続的なプロセスです。

刺激データの送信

図11: ストレージネットワークを介したデータ転送の検閲を容易にするメカニズム

ユーザーがネットワーク上にデータを保存したら、ユーザー、別のノード、またはネットワーク プロセスがデータへのアクセスを要求したときに、そのデータを取得できる必要があります。ノードがデータを受信して​​保存したら、要求に応じてデータを送信する用意がなければなりません。

Filecoin は、リトリーバル マイナーと呼ばれる別のタイプのマイナーを通じてこれを実行します。検索マイナーは、データフラグメントの提供を専門とするマイナーであり、その提供に対して FIL トークンで報酬を受け取ります。ネットワーク内のどのユーザーも検索マイナー（ストレージノードを含む）になることができ、検索注文は検索マーケットを通じて処理されます。ユーザーがデータを取得したい場合、取得市場に注文を出し、取得ノードがサービスを提供します。 Filecoin は IPFS と同じ基盤スタック上に構築されていますが、ユーザー データを転送するために IPFS の Bitswap 交換プロトコルを使用しません。代わりに、Bitswap プロトコルを使用して、Filecoin ブロックチェーンからブロックを要求および受信します。

Crust は、IPFS の Bitswap メカニズムを直接使用してデータを取得し、ノードがデータ転送を積極的に行うように促します。 Bitswap では、各ノードは通信するノードのクレジット スコアと負債スコアを維持します。データのみを要求するノード (たとえば、ユーザーがデータ取得要求を送信したとき) は、最終的に十分な負債を負うため、そのノード自体が十分な取得要求を満たすようになるまで、他のノードはその取得要求に応答しなくなります。これに加えて、クラスト ネットワークでは、データ ストレージ要求のストレージ証明を提供できる最初の 4 つのノードに、注文を開始したユーザーからストレージ料金の一定の割合が付与されます。つまり、ノードは、データの提供のアクティブさに応じて、データを迅速に受信できるというメリットが得られます。

したがって、Swarm の SWAP プロトコル (Swarm Account Protocol) は、IPFS の Bitswap メカニズムと同じように動作し、追加の機能を統合します。ここで、ノードは他のノードの帯域幅のクレジットと負債のローカル データベースも維持し、ノード間のサービス間関係を作成します。ただし、SWAP では、短期的にはノードがクレジットと負債の比率を再調整するためにデータを必要としない場合があることが想定されています。この問題を解決するために、ノードは他のノードに小切手を支払うことで借金を返済することができます。チェックとは、ノードが別のノードを支払うことを約束するオフチェーン証明書であり、Ethereumブロックチェーンのスマートコントラクトを介してBzzトークンと引き換えることができます。

図12：グループ会計プロトコル。出典：Swarm Whitepaper

SIAとStorjでは、ユーザーが使用する帯域幅を支払います。 SIAでは、アップロード、ダウンロード、および修理帯域幅がユーザーによって支払われますが、Storjでは、アップロードに必要な帯域幅はストレージノードによって負担されます。 Storjでは、これはノードがデータを受信した直後にデータの削除を防ぐためです。このセットアップにより、ノードは帯域幅の使用を避ける理由はありません。帯域幅は、ストレージ注文を受け入れる前に規定する価格で支払われるためです。

最後に、Arweaveでは、ノードは、ピアがトランザクションとブロックをどのように共有するか、そしてリクエストにどの程度確実に応答するかに基づいて、帯域幅を割り当てます。次に、ノードは、対話するすべてのピアのこれらの要因を追跡し、スコアが高いピアと通信することを好みます。これにより、データを送信して情報を共有するノードの意欲が高まります。これは、ブロックをより遅い方法で受信ブロックが、他のノードと比較してArweaveのPOAコンセンサスアルゴリズムの暗号化ハッシュパズルを解決する時間が少ないことを意味するためです。

トークンエコノミクス

最後に、ネットワークはトークン設計を決定する必要があります。上記はデータが利用可能な場合に利用可能になることを保証しますが、トークン経済学の設計により、ネットワークが将来存在することが保証されます。ネットワークがなければ、ユーザーとホストには対話する根本的なデータがありません。ここでは、トークンの目的とトークン供給に影響を与える要因を詳しく見ていきます。

注：上記のコンポーネントはすべてトークン経済学の設計に影響を与えますが、ここでは主にトークンユーティリティとトークン排出設計に焦点を当てています。

図13：レビューされたストレージネットワークのトークンエコノミクスの設計決定

FileCoinネットワークでは、FILトークンはストレージ注文と検索帯域幅の支払いに使用されます。 Filecoinネットワークには、2種類のミントを使用するインフレトークン排出モデルがあります。これにより、6年間の半分のスケジュール（ビットコインの4年と比較）で追加のトークン排出量が生成され、ベースミントがあります。ネットワークは、総ストレージスペースのマイルストーンに到達しました（図23を参照）。これは、ネットワーク上のストレージマイナーが、ネットワークにできるだけ多くのストレージを提供するようにインセンティブ化されることを意味します。

市場でのFILの循環供給を減らす方法は2つあります。鉱山労働者がコミットメントを満たさない場合、彼らの担保は焼失し、ネットワークから永久に削除されます（執筆時点で3,000万人のFIL）。最後に、タイムロックされたストレージ注文は、循環からFILを一時的に削除し、時間の経過とともに鉱山労働者に支払います。これは、より多くのストレージが使用されるほど、短期的に循環するトークンが少なくなり、トークンの価値にデフレの価格圧力が発生することを意味します。

図14：ストレージマイニングと最大ベースラインミントのための最大および最小ミント。出典：https：//filecoin.io/blog/filecoin-circulating-supply/

クラストネットワークでは、CRUトークンは、ストレージオーダーの支払いと、Crust Networkの保証された株式（GPO）コンセンサスメカニズムの一部としてステーキングに使用されます。このモデルでは、ネットワークトークンの排出もインフレ性であり、ブロック報酬として使用されます。ただし、クラストネットワークにはトークンキャップがありません - 12年間のインフレ率は前年比で減少しており、その後トークンのインフレ率は2.8％のままです。

地殻では、バリデーターとその保証人によってロックされた株式も誓約された担保として機能します。バリデーターが悪意を持って行動したことが判明した場合、または必要な証拠を提供できない場合、彼らの株式は斬新されて焼かれます。最後に、担保およびタイムロックされたストレージ注文は、一時的に循環からトークンを削除します。マイナーネットワークストレージ容量は鉱山労働者の杭の限界を決定するため、鉱山労働者は他の鉱夫に比例してステーキング収入を最大化するためのより多くのストレージ容量を提供するように奨励されています。失速して時間制限されたストレージ注文にロックされているトークンは、トークンの価値にデフレ価格圧力をかけます。

図15：クラストネットワークトークン排出。出典：地殻経済のホワイトペーパー

SIAには、ネットワークで使用される2つのトークンがあります。 1つはユーティリティトークンシアコイン、もう1つはSiafundsと呼ばれる収益を上げるトークンです。 Siafundsは、ネットワークが最初にライブになったときに一般に販売され、主にSIA財団が保持しています。 Siafundsは、ネットワーク上に配置されたすべてのストレージ注文の収益の割合を保有する権利を保有します。 SiafundsはSIAのトークン経済学に大きな影響を与えないので、ここでは詳しく説明しません。

Siacoinには、トークンキャップなしでブロック報酬として機能するインフレトークン排出モデルがあります。ブロックの高さが270,000（操作の約5年、2020年に到達）になるまで、ブロックあたりの線形方法でブロックの報酬が永久に減少します。それ以来、各ブロックには30,000 SC固定ブロックの報酬が含まれています。 2021年、SIA FoundationはSIAネットワークをハードフォークスし、各ブロックに追加の30,000 SC補助金を提供し、SIAネットワークをサポート、開発、促進するように設計された非営利団体であるSIA Foundationに資金を提供します。

図16：シアコイン供給と基礎コインミントの年間成長。出典：https：//siastats.info/macroeconomics

SIAはまた、燃焼証明メカニズムを使用しており、鉱夫は収益の0.5〜2.5％を燃やして、ネットワークに法的ノードがあることを証明する必要があります。これはトークンの供給に下向きの圧力をかけますが、年間の火傷量は約500,000 SCしか反射しませんが、トークン排出量は31億4,000万SCです。最後に、担保および長期の保管注文は、SIAの循環からトークンを一時的に除去します。

Arweaveネットワークのネイティブトークンは、Arweaveネットワーク上の永続的および理論的な永続的なストレージの支払いに使用されるARトークンです。 Arweaveは、最大供給キャップが6600万ARトークンで、インフレトークンモデルも使用しています。 Arweaveでは、主なデフレの影響はArweaveの寄付によって推進されています。これは、Arweaveによる長期保管契約の実施です。ユーザーがファイルをArweaveに保存したい場合、保管料のごく一部のみがマイナーに引き渡されます。残りは、Arweaveの非常に保守的な仮定に基づいて少なくとも200年のストレージ時間で寄付基金に預けられます。これは、配置されたストレージ注文が少なくとも200年間トークンをロックし、この200年間の期間にわたってゆっくりと支払われることを意味します。

図17：ARトークンのインフレとチームの割り当て。出典： https：//medium.com/amber-group/arweave-enabling-the-permaweb-870ade28998b

Storjでは、Storjトークンは保管料と帯域幅の料金の支払いに使用されます。すべての4億2500万のStorjトークンは、Ethereumネットワーク上のERC20トークンとして事前に宣言されています。以前は、ビットコインに基づいたSJCXトークンが使用されていましたが、2017年にStorj Labsはトークンをイーサリアムに変換し、コードをStorjに変更しました。 Storjトークンの中で、190.8百万のStorjトークンは現在、Storj Labsがホストする6つのスマートコントラクト制御バッチにロックされていますが、234.1百万Storjトークンはロック解除されていません。多くは四半期ごとにロックが解除され、Storj Labsが事業に資金を提供するために資金を必要としないと考えている場合、彼らは多くを再ロックします。これは、STORJの供給のほぼ半分がStorj Labsによって直接制御されることを意味しますが、キャッシュアウトしたい場合、資金がスマートコントラクトの背後にロックされているため、6四半期待つ必要があります。

図18：バッチRELOCKタイムテーブル。出典：https：//www.storj.io/blog/using-timelocked-tokens-to-support-long-sustainability

最後に、SwarmはBZZトークンを実際のトークンとして使用して、ネットワークストレージ料金の支払いを行います。 swarmによって展開されたトークン経済モデルは、トークンの供給に基づいてトークンの価格を決定する関節曲線です。ユーザーは、トークンを現在の市場価格でいつでもジョイントカーブに戻すことができます。群れでは、長期の保管注文は「コミットメント」の形で誓約する必要があります。以前のネットワークと同様に、ストレージの使用量が増えると、市場で利用可能なトークンが少なくなり、トークンを購入したいユーザーがジョイントカーブから購入しなければならないため、トークンの価格にデフレの圧力が発生し、価格のトークン販売が増加します。

図19：BZZ結合曲線の形状。出典：https：//medium.com/ethereum-swarm/swarm-and-its-bzzaar-bonding-curve-ac2fa9889914

話し合う

あるネットワークは別のネットワークよりも客観的に優れていると言うことは不可能です。分散型ストレージネットワークを設計する際に考慮しなければならない無数のトレードオフがあります。 Arweaveはデータの永続的な保存に最適ですが、Arweaveは、Web2.0の業界参加者をWeb3.0に移行するのに必ずしも適していません。すべてのデータを永続的に保存する必要はありません。ただし、永続性を必要とする強力なデータサブフィールド、NFTとDAPPがあります。

他のネットワークを見ると、同様のトレードオフが表示されます。Filecoinは、ストレージをWeb3.0に移行するためにWeb2.0ストレージプロバイダーを奨励しているため、分散化の採用の原動力です。 Filecoinの時空間的証明アルゴリズムは計算的に高価で、書き込みが遅いため、頻繁に変化しない価値の高いデータにより適しています（スローガン「人間の最も重要なデータを保存する」）。ただし、多くのアプリケーションがデータを常に変更する必要があります。クラストネットワークは、計算強度が低いストレージを提供することにより、このギャップを埋めます。

これらのプロジェクトがデータを保存する方法を見ると、クラストネットワークとArweaveが消去コードを使用しない唯一のプロジェクトであることがわかります。多くの人々は、ほとんどのプロジェクトがそれを使用しているため、消去コーディングがより良い選択だと思うかもしれませんが、そうではありません。 Arweaveは、Wildfireメカニズムと組み合わされたアクセスコンセンサスメカニズムの証明により、ネットワーク全体でデータが積極的に複製されることを保証するため、消去エンコードを必要としません。クラストネットワークでは、データは少なくとも20のノードにコピーされ、多くの場合100を超えるノードにコピーされます。これにはより高い前の帯域幅がありますが、多数のノードから同時にデータを取得できると、ファイルの検索が高速になり、障害が発生したり、ノードがネットワークを離れると強い冗長性が追加されます。クラストネットワークには、他のチェーンのようなデータ補充または修復メカニズムがないため、この高レベルの冗長性が必要です。ここでレビューされた分散型ストレージネットワークの中で、クラストネットワークは最年少です。

プロジェクトをFilecoinと比較すると、他のチェーンはより高い階建ての分散化をサポートしていますが、ストレージノードの大きなクラスターのStorjを制御できる単一の衛星ノードなど、他の方法でより集中化される可能性があります。衛星ノードがオフラインの場合、ファイルへのすべてのアクセスが失われます。ただし、SIAが必要とする手動メンテナンスプロセスと比較して、衛星の自己制御メンテナンスプロセスを大幅にアップグレードすることです。ユーザーと衛星間のあらゆる形態の支払いを許可することにより、StorjはWeb2.0ユーザーに、分散型ストレージへのアクセスを容易にするための最初のステップを提供します。

他のプロジェクトのアプローチに対するStorjの分散型アプローチをさらに比較すると、STORJのシステム全体のコンセンサスの欠如は、ネットワークがストレージリクエストを満たし続けるためにコンセンサスを待つ必要がないため、ネットワークパフォーマンスを改善するための意図的な設計決定であることがわかります。

SwarmとStorjは、独自のLayer1ブロックチェーンネットワークを持たないが、Ethereumネットワークに展開されているERC20トークンに依存している唯一のプロトコルです。 SwarmはEthereum Networkに直接統合され、Storage OrdersはEthereum Smart Contractsを通じて直接制御されます。近接性と同じ環境の利便性により、これにより、SwarmはイーサリアムネイティブのDappsとEthereumベースのNFTメタデータを保存するための強力な選択となります。 Storjはイーサリアムにも基づいていますが、Ethereum Ecosystemには高度に統合されていませんが、スマート契約の恩恵を受けることもできます。

SIAとFilecoinは、ストレージベンダーが価格を設定し、特定の要件に基づいてそれらの価格を支払う意思のあるストレージユーザーを一致させることができるストレージ市場メカニズムを使用しますが、他のネットワークでは、ストレージ価格はネットワーク固有の要因のプロトコル規定に基づいています。ストレージ市場を使用すると、ユーザーはファイルを保存および保護する方法についてより多くの選択肢を得ることができますが、ネットワークで価格を設定すると、複雑さを軽減し、ユーザーエクスペリエンスを容易にすることができます。

結論は

分散型ストレージネットワークが直面しているさまざまな課題に対する最良のアプローチはありません。ネットワークの目的とそれが解決しようとしている問題に応じて、ネットワーク設計とトークン経済学の技術の観点から比較検討する必要があります。

図20：レビューされたストレージネットワークの強力なユースケースの概要

最後に、ネットワークの目的とそれが最適化しようとする特定のユースケースは、さまざまな設計上の決定を決定します。

比較ネットワーク分析

以下は、以下に定義されている一連のスケールで互いに比較されるさまざまなストレージネットワークの概要です。使用されるスケールは、これらのネットワークの比較次元を反映していますが、多くの場合、分散型ストレージの課題を克服するためのアプローチは良くも悪くもないことに注意する必要がありますが、単に設計上の決定を反映しています。

• ストレージパラメーターの柔軟性：ユーザーがファイルのストレージパラメーターを制御する程度

• ストレージの永続性：どの程度ファイルストレージがネットワークを介して理論的持続性を達成できるか（つまり、介入は必要ありません）

• 冗長性の持続性：サプリメントまたは修理を通じてデータの冗長性を維持するネットワークの能力

• データ送信のインセンティブ：ネットワークがノードがデータを寛大に送信できることを保証する程度

• ストレージ追跡の普遍性：データストレージの場所に関するノード間のコンセンサスの程度

• 保証されたデータアクセシビリティ：ストアドプロシージャの個々の参加者がネットワーク上のファイルへのアクセスを削除できないことを確認するネットワークの機能

Filecoinのトークン経済学は、ネットワーク上のストレージスペースの増加をサポートし、大量のデータを不変の方法で保存することをサポートしています。さらに、それらのストレージアルゴリズムは、時間の経過とともに大幅に変化する可能性が低いデータにより適しています（コールドストレージ）。

図21：ファイルコインの概要の概要

Crust's Token Economicsは、超冗長で迅速な検索を保証し、人気のあるNFTからの高トラフィックダップや迅速な取得に適しています。

持続的な冗長性がなく、永続的なストレージを提供する能力が深刻な影響を受けるため、貯蔵の持続性のクラストスコアが低くなります。それにもかかわらず、非常に高い複製因子を手動で設定することにより、持続性を達成できます。

図22：クラストの概要の概要

SIAはプライバシーに関するものです。ユーザーが手動で回復する必要がある理由は、ノードがどのデータフラグメントを保存し、どのデータに属しているかを知らないためです。データ所有者のみが、ネットワーク内のシャードから元のデータを再構築できます。

図23：SIAの概要の概要

対照的に、Arweaveは持続性についてです。これは、寄付設計にも反映されているため、ストレージはより高価になりますが、NFTストレージの魅力的なオプションにもなります。

図24：Arweaveの概要の概要

Storjのビジネスモデルは、請求および支払い方法に大きな影響を与えているようです。AmazonAWSS3ユーザーは、毎月の請求に精通しています。ブロックチェーンベースのシステムで一般的な複雑な支払いとインセンティブシステムを削除することにより、Storj Labsはある程度の分散化を犠牲にしますが、AWSユーザーの主要なターゲットグループの入場障壁を大幅に低下させます。

図25：STORJの概要の概要

Swarmの関節曲線モデルにより、ネットワーク上により多くのデータが保存されるため、ストレージコストが残業し続けることが保証され、イーサリアムブロックチェーンに近接しているため、より複雑なイーサリアムベースのDAPPの主要なストレージの強力な競争相手になります。

図26：群れの概要の概要

次の境界

Web3インフラストラクチャの柱（コンセンサス、ストレージ、コンピューティング）に戻ると、分散型ストレージには、特定のユースケースの市場に自分自身を位置づけた強力なプレーヤーが数人いることがわかります。これは、既存のソリューションを最適化したり、新しいニッチをキャプチャするための新しいネットワークを除外しませんが、次の質問を提起します。

答えは次のとおりです。計算。真に分散型インターネットを実現する次のフロンティアは、分散化されたコンピューティングです。現在、ブロックチェーンでスマートコントラクトを実行するよりもはるかに低いコストでより複雑なコンピューティングを実行できる複雑なDAPPSを動かすことができる、信頼性のない分散化されたコンピューティングソリューションを市場にもたらすことができるソリューションはごくわずかです。

インターネットコンピューター（ICP）とHolochain（Holo）は、執筆時点で分散化されたコンピューティング市場で強力な地位を持つネットワークです。それにもかかわらず、コンピューティングスペースはコンセンサスとストレージスペースほど混雑していません。したがって、強力な競合他社は遅かれ早かれ市場に参入し、それに応じて自分自身を位置づけます。そのような競合他社の1つはStratos（STOS）です。 Stratosは、分散型のデータグリッドテクノロジーを通じて、ブロックチェーンテクノロジーと分散型ストレージ、分散型コンピューティング、分散データベースを組み合わせたユニークなネットワーク設計を提供します。

分散化されたコンピューティング、特にStratosネットワークのネットワーク設計は、将来の研究の分野と考えています。