Filecoin の究極ガイド: 仕組みの概要、プロトコルの詳細、改善の可能性

現在のファイルストレージ市場の状況

現在、Amazon S3 はインターネット上のファイルストレージの主力となっています。理由はたくさんあります: 1. 信じられないほど安い: ストレージ 1 GB あたり 0.023 ドル。 10,000 回の読み取りリクエストあたり 0.04 セント。 2. 速すぎる。 3. 信頼性が高い: 確かに、何度か障害が発生し、事実上インターネットの大部分がオフラインになりました。しかし、稼働率は依然として 99.9% です。 4. 拡張性が非常に高い。 5. 優れた開発エクスペリエンスを提供します。拡張のために、Amazon の他のサービス スイート (CloudFront など) と簡単に統合できます。このような優れたクラウド ストレージ サービスが存在する世界では、競合製品はこれよりも優れたパフォーマンスを発揮するか、少なくとも同等である必要があります。小規模では、分散型ネットワークはうまく機能しません。しかし、IPFS が大規模に採用されれば (BitTorrent よりも高い採用率)、インターネットのより優れたバージョンであることが証明され、まったく新しい経済が切り開かれる可能性があります。

技術概要

4 つの部分に分かれています: 1. Filecoin ネットワークの仕組みの概要2. Filecoin プロトコルの詳細な研究。 3. その他の問題（白書では議論されていないもの） 4. Filecoinプロトコルの改善の可能性

01 ファイルコインネットワークの動作原理の概要

Filecoin には、クライアント、ストレージ マイナー、および検索マイナーの 3 つのユーザー グループがあります。顧客はデータの保存と取得に対して料金を支払います。利用可能なサービスプロバイダーから選択できます。個人データを保存する場合は、プロバイダーに送信する前に暗号化する必要があります。ストレージマイナーは報酬と引き換えにクライアントのデータを保存します。ストレージ用にどれだけのスペースを確保するかを決定します。クライアントとストレージマイナーが合意に達した後、マイナーは保存されたデータの証拠を継続的に提供することが義務付けられます。誰でも証明を確認し、ストレージマイナーが信頼できるかどうかを確認できます。検索マイナーは、クライアントの要件に基づいてデータを提供します。クライアントまたはストレージマイナーからデータを取得できます。検索マイナーとクライアントはマイクロペイメントを使用してデータとコインを交換します。データは断片に分割され、クライアントは断片ごとに少額のコインを支払います。検索マイナーはストレージマイナーとしても機能します。

最後に、ネットワークは、クライアントとマイナーのアクションを検証するすべてのフルノードを表します。これらのノードは、使用可能なストレージをカウントし、ストレージ証明をチェックし、データ障害を修復します。

この記事で使用されている用語の一部:

フラグメント: フラグメントは、クライアントが分散ストレージ ネットワークに保存するデータの一部です。たとえば、データ (おそらくディレクトリ) を意図的に複数の部分に分割し、各部分を異なるストレージ マイナーのセットで保存することができます。

セクター: セクターとは、ストレージ マイナーがネットワークに提供するディスク領域です (特定のストレージ プロバイダーのディスク領域の特定の部分に関連付けられた一意の ID と考えることができます)。マイナーはクライアントのアイテムを自分のセクターに保管し、そのサービスに対してトークンを獲得します。シャードを保存するには、ストレージマイナーは自分のセクターをネットワークに提供する必要があります。

AllocTable: AllocTable は、パーツと割り当てられたセクターを追跡するデータ構造です。 AllocTable は元帳内のブロックごとに更新され、その Merkle ルートは最新のブロックに保存されます。実際には、このテーブルは、認証検証中にすばやく検索できるように DSN の状態を保持するために使用されます。

注文: 注文とは、サービスを提供するという要求または意図の表明です。クライアントは、サービスを要求するために市場（それぞれ、データの保存のためのストレージ市場とデータの取得のための取得市場）に入札注文を送信し、マイナーはサービスを提供するためにリクエスト注文を送信します。

注文帳: 注文帳は注文のセットです。 Filecoin は、ストレージ市場と検索市場で別々の注文を維持します。

コミットメント: コミットメントとは、ネットワークにストレージ (具体的にはセクター) を提供するという約束です。ストレージマイナーは、ストレージ市場で注文を受け付けるために、元帳（Filecoin ブロックチェーン）に誓約書を提出する必要があります。担保には、担保セクターのサイズとストレージマイナーによって預けられた担保が含まれます。

ストレージ市場

クライアントは、ストレージ注文帳に入札注文を送信します (次のセクションで説明する PUT プロトコルを使用)。お客様は注文時に指定されたコインを預け、保管したい枚数を指定する必要があります。顧客は複数の注文を送信することができ、注文の複製係数を指定することもできます。冗長性が高くなると (レプリケーション係数が高くなると)、ストレージ障害に対する耐性が高まります (以下で説明)。

ストレージマイナーは、Manage.PledgeSector を介してブロックチェーン内の担保取引を通じて担保を預けることで、ネットワークにストレージを担保します。担保（ファイルコイン）は、サービス提供期間中預けられ、マイナーが保管を約束したデータのストレージ資格情報を生成すると返還されます。一部の保管証明が失敗した場合、担保の一定の割合が失われます。担保取引がブロックチェーンに表示されると、マイナーはストレージ市場でストレージを提供できるようになります。つまり、価格を設定し、売り注文を市場の注文帳に追加します。

すべてのストレージ割り当ては、ネットワークのすべての参加者に公開されます。各ブロックでは、ネットワークは各ジョブに必要な証明が存在するかどうかを確認し、証明が有効かどうかを確認し、適切なアクションを実行します。1. 証明が欠落しているか無効である場合、ネットワークはストレージマイナーの担保を悪用して罰します。2. 多数の証明が欠落しているか無効である場合 (システムパラメータ Δfault によって定義)、ネットワークはストレージマイナーに障害があると見なし、注文を失敗として決済してから、同じブロックの新しい注文を市場に再導入します。 3. そのマイナーを保管しているすべてのストレージマイナーが故障した場合、そのマイナーは失われ、顧客は払い戻しを受けます。

検索市場

どのように機能するか見てみましょう。

検索マイナーは、ネットワーク全体に売り注文をブロードキャストすることで作業を発表します。つまり、価格を設定し、売り注文を市場の注文帳に追加します。

すべてを合計すると、次のグラフにはネットワーク内で発生しているすべてのアクティビティが表示されます。

02 Filecoinプロトコルの詳細な研究

Filecoin は、分散型ストレージ ネットワーク (DSN) の概念を導入します。 DSN は、独立したクライアントとストレージ プロバイダーのネットワークを記述するためのスキームです。 DSN は、複数の独立したストレージ プロバイダーによって提供されるストレージを集約し、自己調整してクライアントにデータ ストレージとデータ取得を提供します。調整は分散化されており、信頼できる当事者を必要としません。これらのシステムの安全な運用は、個々の当事者が実行するアクションを調整および検証するプロトコルを通じて実現されます。 DSN は、システムの要件に応じて、ビザンチン合意、ゴシップ プロトコル、CRDT などのさまざまな調整戦略を採用できます。 DSN には、put、get、manage という 3 つの関数の実装が含まれます。 PUT を使用すると、クライアントは一意の識別子でデータを保存できます。 Get を使用すると、クライアントは識別子を使用してデータを取得できます。レンタル可能なスペースを測定し、プロバイダーを審査し、起こりうるデータ エラーを修正することで、オーケストレーション ネットワークを管理します。管理プロトコルは通常、ストレージ プロバイダーによって、クライアントまたは監査人のネットワークと連携して実行されます (これには、以下で説明するビザンチン障害が含まれます)。

DSN にはいくつかのプロパティがあります。最初の 2 つは必須です。 1. データの整合性とは、クライアントが常にストレージと同じデータを受信し、ストレージ プロバイダーがクライアントに間違ったデータを取得するように説得できないことを意味します。 2. 取得可能性とは、クライアントが時間の経過とともにデータを取得できることを意味します。

DSN のオプション属性:

1. 公開検証により、ネットワーク上の誰もがデータ自体を知らなくても、データが保存されていることを確認できます。

監査可能性により、データが適切な期間保存されていることを確認できます。

3. インセンティブの互換性は、優れたサービス プロバイダーに報酬を与え、劣ったサービス プロバイダーに罰を与えることを目的としています。

4. 機密性の実現: データを非公開で保存したいクライアントは、データをネットワークに送信する前に暗号化する必要があります。

フォールト トレランス DSN は、次の 2 種類の障害を許容できます。管理障害: これらの障害は、管理プロトコルの参加者 (ストレージ プロバイダー、クライアント、監査人) によって引き起こされるビザンチン障害です。 DSN ソリューションは、基盤となる管理プロトコルのフォールト トレランスに依存します。管理エラーのフォールト トレランスの想定に違反すると、システムの実行可能性とセキュリティが損なわれる可能性があります。たとえば、Manage プロトコルで、ビザンチン合意を使用してストレージ プロバイダーを監査する必要がある (ノードが監査できるため) DSN シナリオを考えてみましょう (プロトコルの条件に従って保存する必要があるすべてのデータを保存している場合)。このようなプロトコルでは、ネットワークはストレージ プロバイダーからストレージ証明を受け取り、ビザンチン合意 (BA) を実行してこれらの証明の有効性について合意します。障害の総数が n に達した場合に BA が f 回以下の障害を許容する場合、DSN は f < n/2 個の障害ノードを許容できます。これらの前提に違反した場合、監査が危険にさらされ、システム全体が役に立たなくなる可能性があります。ストレージ エラー: ストレージ エラーは、クライアントがデータを取得できない原因となるビザンチン エラーです。つまり、ストレージ マイナーはシャードを失い、取得マイナーはシャードの提供を停止します。入力データが m 個の独立したストレージ プロバイダー (合計 n 個中) に格納され、最大 f 個のビザンチン プロバイダーを許容できる場合、Put 実行は正常に実行され、(f, m) は許可されます。パラメータ f と m はプロトコルの実装によって異なります。プロトコル設計者は f と m を固定するか、ユーザーに選択を任せることができます。これにより、Put(data) が Put(data, f, m) に拡張されます。 f より少ない場合、保存されたデータに対する Get 操作は成功します。ストレージプロバイダーが間違っています。たとえば、各ストレージ プロバイダーがすべてのデータを保存するようにプロトコルが設計されている単純なシナリオを考えてみましょう。この方式では、m = n かつ f = m-1 です。常に f = m-1 ですか?いいえ、一部のスキームでは、各ストレージ プロバイダーがデータの特定の部分を保存する消失訂正符号を使用して設計できるため、データを取得するには m 個中 x 個のストレージ プロバイダーが必要になります。この場合、f = MX です。

コンセンサスアルゴリズム

再利用できない作業: ほとんどの許可のないブロックチェーンでは、マイナーがハッシュ関数の反転などの難しい計算パズルを解く必要があります。多くの場合、これらのパズルの解決策は役に立たず、ネットワークのセキュリティを保護する以外に本質的な価値はありません。 Ethereum（スマートコントラクトロジックの実行）やPrimecoin（新しい素数の発見）などの一部のブロックチェーンは、そのコンピューティングパワーの一部を活用して有用な作業を実行しようとします。

無駄な作業: 難しい問題を解決するには、特に計算能力のみに依存する場合、マシンとエネルギー消費の点で非常にコストがかかります。マイニング アルゴリズムが驚くほど並列化されている場合、パズルを解く主な要素は計算能力です。

無駄を減らすようにしてください。理想的には、ネットワークのリソースの大部分は有用な作業に使用されるべきです。いくつかの取り組みでは、鉱山労働者にエネルギー効率の高いソリューションの使用を求めています。たとえば、Spacemint では、マイナーは計算ではなくディスク領域を割り当てる必要があります。これらのディスクはエネルギー効率が高いですが、ランダムなデータで満たされているため、依然として「無駄」になっています。他の取り組みでは、パズルを解く代わりに、利害関係者がシステム内の通貨のシェアに応じて次のブロックに投票する、従来のプルーフ・オブ・ステークに基づくビザンチン合意を採用しています。

したがって、無駄なプルーフ・オブ・ワークの計算を無駄にする代わりに、Filecoin マイナーが行う作業によって、マイナーはコンセンサスに参加できるようになります。

有用な作業: 計算結果がブロックチェーンのセキュリティ保護を超えてネットワークにとって価値がある場合、コンセンサス プロトコルでマイナーが行った作業は有用であるとみなされます。

Filecoin は、ネットワーク上で現在使用しているストレージ容量に比例した確率 (これをマイナーの投票力と呼びます) で、ネットワークがマイナーを選出して新しいブロックを作成するという、便利なワークオブワーク合意プロトコルを提案しています。 Filecoin プロトコルは、マイナーがマイニング計算を並列化するための計算能力よりもストレージに投資するように設計されています。マイナーは、コンセンサスに参加するためにデータが保存されていることを証明するために、ストレージと再利用計算を提供します。

採掘能力モデリング

Filecoin のパワー: Filecoin では、時刻 t におけるマイナー M のパワー p は、M のストレージ割り当ての合計です。 M が I に与える影響は、ネットワーク内の総電力を超える M の電力の割合です。 Filecoin では、power には次のプロパティがあります。

1. パブリック: ネットワークで現在使用されているストレージの合計容量はパブリックです。ブロックチェーンを読むことで、誰でも各マイナーのストレージ割り当てを計算できます。したがって、誰でも各マイナーがどれだけの電力を使用しているか、また、任意の時点で合計でどれだけの電力を使用しているかを計算できます。

2. 公的に検証可能: ストレージ割り当てごとに、マイナーはサービスが提供されていることを証明するために時空間の証明を生成する必要があります。ブロックチェーンを読むことで、誰でもマイナーが主張するパワーが正しいことを確認できます。

3. 変数: マイナーはいつでも、新しいセクターにコミットしてそれを埋めることで、ネットワークに新しいストレージを追加できます。このようにして、マイナーは時間の経過とともに保有する電力の量を変更することができます。

コンセンサス アルゴリズムでこれがどのように (数学的に) 機能するかについて詳しくは、ホワイトペーパーを参照してください。

また、悪意のあるマイナーが、シビル攻撃、アウトソーシング攻撃、ジェネレーション攻撃という 3 つの攻撃を使用して、提供していないストレージの報酬を獲得することを防ぐメカニズムも必要です。

シビル攻撃: 複数のシビル ID を作成することで、悪意のあるマイナーは、実際に保存するよりも多くのコピーを保存しているように見せかけて (そして報酬を受け取り)、データを 1 回だけ保存することができます。

アウトソーシング攻撃: 悪意のあるマイナーは、他のストレージ プロバイダーからデータを迅速に取得して、実際に保存するよりも多くのデータを保存する可能性があります。

生成攻撃: 悪意のあるマイナーは、小さなプログラムを使用してオンデマンドで効率的にデータを生成しながら、大量のデータを保存していると主張する場合があります。プログラムが格納しているはずのデータよりも小さい場合、悪意のあるマイナーが Filecoin ブロック報酬を獲得する可能性が高まります。この報酬はマイナーが現在使用しているストレージに比例します。

ストレージ プロバイダーは、顧客が料金を支払ったデータが実際に保存されていることを顧客に納得させる必要があります。実際には、ストレージ プロバイダーは、ブロックチェーン ネットワーク (またはクライアント自体) が検証するためのストレージ証明 (PoS) を生成します。

ストレージの動作を公開的に検証可能にするために、Filecoin は Proof of Replication (PoRep) と Proof of Spacetime (PoSt) という 2 つのコンセンサス アルゴリズムを導入しています。

複製証明 (PoRep) は、サーバー (証明者 P) がユーザー (検証者 V) に対して、データ D が独自の専用物理ストレージに複製されていることを納得させることができる、新しいタイプのストレージ証明です。私たちの方式は対話型プロトコルであり、証明者 P は (a) データ D の n 個の異なるコピー (物理的に独立したコピー) を保存することを約束し、次に (b) チャレンジ/レスポンス プロトコルを介して検証者 V に P が実際に各コピーを保存していることを納得させます。 PoRep は、PoR および PDP スキームを改善して、シビル攻撃、アウトソーシング攻撃、および生成攻撃を防止します。空間時間の証明: ストレージの証明スキームにより、ユーザーはチャレンジ時にストレージ プロバイダーがアウトソーシングされたデータを保存しているかどうかを確認できます。 PoS スキームを使用して、特定のデータが一定期間保存されていることを証明するにはどうすればよいですか。この問題に対する自然な答えは、ユーザーにストレージ プロバイダーにチャレンジを繰り返し (たとえば、1 分ごとに) 送信させることです。しかし、ストレージプロバイダーがブロックチェーンネットワークに証明を提出する必要があるFilecoinのようなシステムでは、各やり取りに必要な通信の複雑さがボトルネックになる可能性があります。この問題に対処するために、私たちは「時空間の証明」という新しい証明を導入しました。これにより、検証者は、証明者がアウトソーシングしたデータを一定期間保存していることを検証できます。 1. 直感的には、時間を決定する方法として、証明者に順次ストレージ証明 (この場合は複製証明) を生成するように要求します。

2. 実行を再帰的に組み合わせて短い証明を生成します。

スマートコントラクト

Filecoin は、データ ストレージに特化したコントラクトだけでなく、より一般的なスマート コントラクトもサポートしています。

ファイル契約: ユーザーは、ストレージ サービスを提供または提供する条件をプログラムできます。言及する価値のある例がいくつかあります。(1) マイナーとの契約: クライアントは、市場に参加せずにサービスを提供するマイナーを事前に指定できます。 （２）支払い戦略：クライアントはマイナーに対して異なる報酬戦略を設計することができる。例えば、ある契約では時間の経過とともにマイナーにより高い賃金を支払うことができ、別の契約では信頼できるオラクルから通知されたストレージ価格を設定することができる。 （3）チケットサービス：契約により、マイナーはユーザーに代わってトークンを預け、保管/検索料金を支払うことができます。（4）より複雑な操作：クライアントはデータの更新を可能にする契約を作成できます。

スマート コントラクト: ユーザーは、他のシステム (Ethereum など) と同様に、プログラムをトランザクションに関連付けることができ、ストレージの使用に直接依存しません。分散型命名システム、資産追跡、クラウドファンディング プラットフォームなどのアプリケーションが予測されます。

クロスチェーン相互作用

他のプラットフォーム上の Filecoin: Bitcoin、Zcash、特に Ethereum や Tezos などの他のブロックチェーン システムでは、開発者がスマート コントラクトを作成できます。ただし、これらのプラットフォームはストレージ機能が非常に少なく、非常に高価です。これらのプラットフォームの保存と取得のサポートを提供するためのブリッジを提供する予定です。 IPFS は、コンテンツを参照および配布する方法として、すでに複数のスマート コントラクト (およびプロトコル トークン) によって使用されていることに注意してください。 Filecoin のサポートを追加すると、これらのシステムは Filecoin トークンと引き換えに IPFS コンテンツを保存することを約束できるようになります。

Filecoin の他のプラットフォーム: 他のブロックチェーン サービスと Filecoin を接続するためのブリッジを提供する予定です。たとえば、Zcash との統合により、データを非公開に保存するためのリクエストの送信をサポートできるようになります。

03 その他の問題

ここでは、ホワイト ペーパーで十分に説明されていない潜在的な問題をいくつか挙げます。検索市場のスケーラビリティ: マイクロペイメント システム (検索市場) は、検索プロトコルに多くのオーバーヘッドを生み出します。今日の集中型インフラストラクチャに匹敵する検索速度を実現するには、Filecoin と IPFS を大規模に導入して、高密度のステート チャネル ネットワークを作成する必要があります。検閲（違法コンテンツ）：過去の Napster や The Pirate Bay で見られたように、検閲の欠如は最終的に Web 上の違法コンテンツにつながり、ダーク ウェブを事実上表面化させます。考えられる解決策としては、時間の経過とともに学習し、違法コンテンツを自動的に検出して必要な措置を講じる AI ベースのプロトコルが考えられます。しかし、Web が民主的であるためには、コンテンツに対して特定のアクションを実行する必要があるかどうかを決定するプロトコルをユーザー自身が管理する必要があります (したがって、ビザンチン動作が導入されます)。

結論として、検閲は人によって異なる問題であり、中央集権的な公的アプローチではなく、より個別的なアプローチが必要です。 Filecoin の役割は、データ管理の市場を創出することであり、検閲に強い管理ポリシーを提案することではありません。したがって、この「パーソナライズされた」レビュー レイヤーは、Filecoin 上のアプリケーションに転送できます。

04 Filecoinプロトコルの改善の可能性

ここでは、Filecoin プロトコルのいくつかの可能な改善点をリストします。 Tahor-LAFS 暗号化方式: 値を追加する場合、クライアントは最初にその値を (対称キーを使用して) 暗号化し、次にそれを管理可能なサイズのセグメントに分割し、冗長性のために消去コード化します。たとえば、「2-of-3」消失訂正符号化は、セグメントが合計 3 つのフラグメントに分割されるが、それらのフラグメントのうちの 2 つがあれば元のセグメントを再構築できることを意味します (ZFEC の詳細については、こちらを参照してください)。これらのセグメントは共有となり、特定のストレージ ノードに保存されます。ストレージ ノードは共有データ リポジトリです。ユーザーは、データの整合性や機密性を保証するためにそれらに依存しません。

最終的には、暗号化キーと適切なストレージ ノードを見つけるのに役立ついくつかの情報が、「機能文字列」の一部になります (エンコード プロセスについては後で詳しく説明します)。重要な点は、機能文字列はグリッドから値を取得するために必要かつ十分であるということです。使用できなくなったノード（またはオフラインになったノード）が多すぎて、十分なシェアを取得できなくなると、この操作は失敗します。書き込み機能、読み取り機能、検証機能があります。 「信頼性の低い」機能はオフラインでも利用できます。つまり、書き込み権限を持つユーザーは、それを読み取り権限に変換できます (サーバーと対話せずに)。検証機能は値の存在と整合性を確認できますが、内容を復号化することはできません。グリッドには可変値と不変値の両方を入れることができます。当然、不変の値には書き込み機能がまったくありません。 Awesome IPFS は、コミュニティによって維持および更新されるプロジェクト、ツール、または IPFS に関連する素晴らしいものすべてに関するリストです。さらに詳しい情報を確認したり、リストに情報を追加したりするには、GitHub の Awesome IPFS にアクセスしてください。

著者について: Vaibhav Saini は、MIT ケンブリッジ イノベーション センターで育成されたスタートアップ企業 TowardsBlockchain の共同創設者です。彼は上級ブロックチェーン開発者であり、Ethereum、Quorum、EOS、Nano、Hashgraph、IOTA など、複数のブロックチェーン プラットフォームに携わってきました。