分散ストレージとは何ですか?ファイルコインの詳細な研究

2020年、分散ストレージはそのユニークな姿勢で私たちの視界に入ってきましたが、分散ストレージとは一体何なのかについて考えたことはなかったようです。分散ストレージがなぜ必要なのでしょうか?

実際、分散ストレージの使用は「強制」であると言えます。なぜなら、急速に発展するインターネット、エコシステム全体のアプリケーションにおける継続的な革新、増え続けるユーザー数、そして段階的に増加するデータに直面して、これらは間違いなく既存のローカル ストレージに多大な圧力をかけることになるからです。そのため、他の分散ストレージシステムを採用することで対応する圧力を軽減する必要があり、分散ストレージと分散ファイルシステムが誕生しました。

本日は、分散ストレージを紹介し、Filecoin について詳しく調査します。

分散ストレージ システムは、複数の独立したデバイスにデータを保存します。従来のネットワーク ストレージ システムでは、集中型ストレージ サーバーを使用してすべてのデータを保存します。ストレージ サーバーはシステム パフォーマンスのボトルネックとなり、信頼性とセキュリティの焦点となり、大規模なストレージ アプリケーションのニーズを満たすことができなくなります。分散ネットワークストレージ システムは、スケーラブルなシステム構造を採用し、複数のストレージ サーバーを使用してストレージ負荷を分散し、ロケーション サーバーを使用してストレージ情報を検索します。システムの信頼性、可用性、アクセス効率が向上するだけでなく、拡張も容易になります。

現代のコンピューティングは高度に集中化された段階にあります。過去 10 年間、一部の大手ストレージ企業は、従来のコンピュータ システムをクラウド ストレージ製品に分割することで巨額の利益を上げてきました。これは、現代のネットワークの集中化の現象を間接的に反映しています。つまり、いずれかのプロバイダーに問題が発生すると、重大なインターネット インシデントにつながることになります。たとえば、Amazon のネットワークは 2017 年に突然中断されました。 Github は 2020 年 6 月に長期間中断されました。マイクロソフトのクラウドサービスは2020年10月に数週間にわたって障害が発生したなど。

また、これらのサービスでホストするコンテンツについても心配する必要があります。これらのコンテンツは、壊れやすいリンクの背後に隠されており、私たちが構築するコンピューター システムと、それらにますます依存する社会に重大な影響を及ぼします。集中型アーキテクチャが成功している理由の 1 つは、構築が容易であることです。マージを防ぐために、開発者は基本的な構成要素を構成する必要があります。分散ストレージは、分散 Web の基礎であり、前提条件です。

1. 柔軟性

現代のインターネットは非常に脆弱です。現在、 Web コンテンツは URL の背後に隠されており、各 URL は特定のサーバーに常に属しており、プロバイダーが何らかの理由でネットワーク接続を中断すると、その URL が指すコンテンツにアクセスできなくなります。集中化によりこの影響が増大し、単一障害点が生じ、検閲が容易になります。その結果、今日のインターネットでは、リンクが切断されたり永久に利用できなくなったりすると、国家による検閲や分散型サービス拒否攻撃によってあらゆるファイルへのアクセスが妨害されるため、インターネット リンク障害は一般的です。

理想的な分散型システムでは、オペレーターの喪失によって、ユーザーが以前に保存および提供されたコンテンツにアクセスできなくなることはありません。分散型システムでは、ネットワークの多数のノードに責任を分散させることで、攻撃者がリソースを吸い上げることができる集中化されたターゲットが存在しないため、検閲やその他のサービス拒否攻撃に対しても自然に耐性を持つようになります。

集中型ストレージシステムは検閲の影響を受けやすい。典型的な例は、スペインの17の自治州のうちの1つであるカタルーニャが独立を問う住民投票を実施した時だ。独立計画に反対するスペイン政府は、ISPレベルで投票情報を掲載したウェブサイトをブロックした。政府はこれらの重要なリンクを切断することで、多くの個人がこの情報にアクセスすることを事実上阻止した。

ただし、多くの Web サイトは、ピアツーピア ストレージ ネットワーク InterPlanetary File System (IPFS) を使用してミラーリングされています。 IPFS ノードを実行しているユーザーは誰でも、ネットワーク上の他のノードから検証済みの情報をダウンロードし、自分で共有することができます。 IPFS の分散型の性質は、ファイルへのアクセスをブロックしようとするスペイン政府の試みに反するものであり、1 つのノードがブロックされても、別のノードが簡単にその代わりを務めることができる。一般に、分散ストレージ システムでは、ネットワーク レベルのブロッキングがより困難になります。

2. 効率性

すべてのコンピューティング システム アーキテクチャには長所と短所があり、すべてのユース ケースに適した単一のソリューションは存在しません。残念ながら、集中化を重視する現代の Web も同様です。現在、世界中のいくつかの都市にある少数の集中型データセンターにほとんどのコンテンツが保存されています。たとえば、同じネットワーク上の 2 人のユーザーが互いにメッセージを送信する場合、通常、それらのメッセージはいずれかのデータ センターに送信されます。 100 人のユーザーが部屋の中で自分のデバイスで同じビデオを視聴している場合、1 つのコピーをダウンロードしてローカル ネットワーク全体で共有するのではなく、各ユーザーが中央サーバーにアクセスして 100 のコピーをダウンロードします。

簡単に言えば、分散ストレージを使用すると、インターネット上の特定のデータセンターにリクエストを送信する必要がなくなり、ファイルを簡単に共有できるようになります。代わりに、ノードは可能な限り少ない仲介者を介して相互に接続します。たとえば、他の国のノードに接続するには依然としていくつかのホップが必要ですが、同じネットワーク上のノードはファイルを直接共有できます。分散ストレージの最終的な目標は、多数のノードを確立して、誰もがローカル ピア ノードを通じて情報を取得できるようにすることです。

分散ストレージ ソリューションは、このような活動に根本的に新しい効率性をもたらすことができます。分散システムでは、データ センターを迂回することで、最新のコンテンツ配信ネットワークよりもエンド ユーザーの近くにノードを配置できるため、ファイルの取得速度が大幅に向上します。ローカル ネットワークを介したピアツーピアのファイル共有は、特に広域インターネットへのアクセスが制限されている地域では、帯域幅を節約することもできます。

回復力と効率性は分散ストレージの特徴ですが、理想的なストレージ システムには他にも多くの特性があります。

1. アクセスしやすい

理想的な分散システムはアクセス可能である必要があります。ネットワークへの参加は簡単で、できるだけ多くのノードがネットワークに代わってファイルを保存および配布できるようにする必要があります。

これを読んでいて「ノードになれるか？」と疑問に思っているなら、答えは「それは場合による」です。 Filecoin を使用すると、比較的技術に精通している人なら誰でもクライアント ノードを実行してネットワークとやり取りできるようになります。ストレージマイナーノードを実行するには、特定の仕様を満たすハードウェアが必要であるため、誰でも実行できるわけではありません。

IPFS では、ノードに対するハードウェア要件が低くなるため、組み込みの Web ブラウザを実行するなどして、より多くのユーザーがノードを実行してネットワークに貢献できるようになります。クラウド サービス プロバイダーは、安価で信頼性の高いストレージをこれまで以上にアクセスしやすくしました。彼らの成功の大きな要因は、API を介してコードを通じてストレージを構成および管理できることです。競合するどのシステムでも、同じレベルの利便性を提供できるはずです。

2. コンテンツアドレス指定

前述したように、URL にはいくつかの固有の設計上のトレードオフが存在します。これらはデータの内容ではなく、データの場所を説明します。集中型システムではデータの検索がいかに困難になるかを説明するために、ふわふわした子猫の写真をダウンロードしたいとします。次の 2 つの URL を考えてみましょう。

https://example1.com/cat.jpeg

https://example2.com/cat.jpeg

これらの URL はどちらも cat.jpeg というファイルを参照していますが、2 つのファイルが同じであるという保証はありません。 example1.com がオフラインの場合、example2.com がニーズを満たすかどうかはわかりません。cat.jpeg はまったく異なる可能性があります。実際、それは犬の写真かもしれません！ URL とそれが参照するコンテンツの間には、本質的な関係はありません。

したがって、今日のインターネットでは、「このファイルを持っている人はいますか?」と尋ねる方法はありません。ファイルの保存場所以外、ファイルについて何も知らないからです。

URL を使用してファイルを共有すると問題が発生する可能性があります。サーバーがその URL とは異なるファイルの提供を開始したり、誰かが中間者攻撃を実行してファイルを変更する可能性があります (奇妙なことに、この攻撃は珍しいことではありません)。 URL にアクセスするすべての人が希望するファイルを受け取っているかどうかを確認するのは困難です。

対照的に、コンテンツ アドレス指定では、ファイルのデジタル フィンガープリントとして機能するコンテンツ識別子 (CID) に基づいてファイルを特定します。このようにファイルをアドレス指定すると、位置アドレス指定の問題が解決されます。クライアントがファイルを必要とする場合、サーバーに URL を要求するのではなく、ネットワーク内のノードに特定の CID を持つファイルを要求します。クライアントがファイルをダウンロードすると、そのファイルのフィンガープリントがクライアント自身で作成されます。

前の例を振り返ると、cat.jpeg が入力されたときに配信されるファイルについて、すべての Web サイトが共通の認識を持っているかのようです。したがって、どのノードにも特定の cat.jpeg が存在するという保証はありませんが、ノードはそのファイルのフィンガープリントをチェックして一致するものを見つけようとします。

フィンガープリントなどの手順には、一般の人が必要とする以上の技術的知識が必要ですが、Filecoin および IPFS クライアントでは、このプロセスを簡単に自動化できます。これにより、クライアントは要求したファイルを受け取ったことを保証できます。また、このシステムでは、データの代替プロバイダーを見つけるのは簡単です。

主なポイント: CID を使用すると、集中型システムでは失われる可能性のあるコンテンツを検索できるようになります。 CID は、中間者攻撃や、サーバーが特定の URL のファイルを突然変更するのからも保護します。

3. 独立

トラストレスシステムでは、2 つの当事者がお互いを知ったり、第三者を探したりすることなく共同作業を行うことができます。彼女は、システムのインセンティブが参加者をネットワークが機能するために必要な行動へと導くと主張している。

4. 検証可能

理想的なストレージ システムは、ノードが約束したとおりのデータを正確に保存していることを簡単かつ継続的に証明できる必要があります。このタイプの監査可能性は、信頼性のなさを実現するための鍵となります。データが正しく保存されていることを常に確信できる場合は、ストレージを提供する側を信頼する必要が少なくなります。

5. オープン性

最後に、理想的な分散ストレージ システムはオープンです。つまり、コードはオープン ソースであり、監査可能です。さらに、ストレージ システムはモノリシックであってはなりません。代わりに、ロックインを奨励するのではなく、誰でも実装して構築できるオープン プロトコルを公開する必要があります。

Filecoin プロジェクトは、これらの特性を満たすように設計された分散ストレージ システムです。 2014 年に説明された Filecoin プロトコルは、もともとピアツーピア ストレージ ネットワークである InterPlanetary File System (IPFS) のインセンティブ レイヤーとして開発されました。 IPFS と同様に、Filecoin は以前のバージョンのプロパティに基づいて構築されたオープン プロトコルであり、同じ基盤となるピアツーピアおよびコンテンツ アドレス指定機能を活用します。

Filecoin ノード ネットワークは、ファイルの取得と保存のための分散型ストレージ マーケットを提供します。ネットワークは、ネットワーク参加者によるコミットメントを記録する新しいブロックチェーンによってサポートされています。ユーザーはブロックチェーンの暗号通貨 FIL を使用して、ネットワーク上で取引を実行します。

1. 市場を調査する

検索市場では、検索マイナーと呼ばれるノードが、できるだけ早くクライアントにファイルを提供するために競争します。検索マイナーには少額の FIL 手数料が報酬として支払われます。これにより、重要な場所にあるノードにネットワークに参加するインセンティブが与えられ、ファイルの迅速な配布が容易になります。また、非常に必要な文書をコピーして保存するための強力なネットワークの構築も奨励しています。

2. ストレージ市場

Filecoin のストレージ市場では、ストレージ マイナーと呼ばれるノードが、価格や場所などのさまざまな特性で競争し、指定された期間のファイル ホスティング契約をクライアントに提供することが許可されています。ストレージマイナーは契約を受け入れる前に FIL を担保にする必要があります。ストレージマイナーが顧客に対する義務を履行できなかった場合、この機能を使用して顧客に自動的に払い戻しを行うことができます。

ストレージマイナーとそのクライアントが合意に達すると、クライアントはデータをストレージマイナーに転送します。ストレージマイナーは、Filecoin のストレージの基本単位であるセクターにデータを追加します。次に、マイナーはパッキングと呼ばれる計算集約的な操作を実行し、そのセクターのデータの一意のコピーを作成します。

クライアントがデータの複数の一意のコピーを保存したい場合、シーリング プロセスによって各コピーに一意のフィンガープリントが確保され、そのフィンガープリントを取得するために必要な計算によってノードが基本データからフィンガープリントを再生成することが防止され、不正行為を回避できます。データは最終的に、Filecoin ブロックチェーンへの複製の証明を公開するために使用されます。

ストレージトランザクション中、ストレージマイナーは定期的に時空間証明をブロックチェーンに送信する必要があります。マイナーは、ランダム性（ブロックチェーン自体によって提供される）、セクターのシーリング、ブロックチェーンに公開された複製の証明を使用して、これらの証明を取得します。これらの証明は、ストレージ マイナーがデータの完全かつ一意のコピーを持っているという強力な確率論的根拠をクライアントに提供します。これはかなり強力な保証であり、現代のクラウド ストレージ プロバイダーでさえ顧客に提供していないものです。

クライアントは、取引手数料として FIL を支払うことで、Filecoin ストレージのマイナーに報酬を与えます。ストレージマイナーには、ブロックチェーンのブロックをマイニングする機会も与えられます。これには、マイニングされたブロックに自分のメッセージを含めたい他のマイナーからの FIL 報酬と取引手数料の両方が必要です。 Filecoin のプルーフ・オブ・ステーク システムでは、マイナーは追加のハードウェアが必要になりますが、熟練した個人にとっては要件はまだ低いです。ネットワークへのクライアント参加のためのハードウェア要件が満たされているだけでなく、Filecoin ノードはネットワークとのプログラムによる対話のための API も公開しており、サードパーティのサービスがコア ネットワーク機能の上に構築できるようにしています。

分散ストレージは、従来の集中型ストレージに代わる強力な選択肢を提供します。開発者に、コンテンツの保存と配信における安定性と効率性を重視したデザイン コンピューティング領域を探索する機会を提供します。 Filecoin は、分散ストレージによってデータのセキュリティが強化されるだけでなく、Web3.0 ネットワークをより多くの人が利用できるようになることを示しています。

- 終わり -