Dai Jiale: IPFSの本質、技術アーキテクチャ、応用の詳細な説明

01

IPFSとは何ですか?

IPFSの中国語名は Interstellar File System で、2014 年 5 月に Juan Benet 氏によって開始されました。Juan Benet 氏の個人的な経験は伝説的です。彼はスタンフォード大学を卒業した。 IPFS プロジェクトを作成する前に、彼が設立した最初の会社は Yahoo に買収されました。 2015年、彼が創設したIPFSはYCombinatorインキュベーションコンペティションで巨額の投資を受け、またProtocol Labも設立した。ラボ チームは、14 人のコア開発者とコミュニティからの数百人のコード貢献者で構成されています。

IPFSは本質的に、コンテンツ アドレス可能でバージョン管理された、ピアツーピアのハイパーメディア分散ストレージおよび転送プロトコルです。その目標は、過去 20 年間使用されてきたハイパーテキスト メディア転送プロトコル (HTTP) を補完、あるいは置き換え、より高速で、より安全で、より自由なインターネット時代を築くことです。

私たちは毎日インターネットを閲覧したり、アプリを使ってMomentsやWeiboを閲覧したりするときに、HTTPプロトコルを使用しています。これは、TCP/IP のコンピュータ アプリケーション レベルに基づいており、ハイパーテキスト データをサーバーからローカル ブラウザーに送信し、ローカル ブラウザーがそれをレンダリングしてユーザーに提示します。このようなネットワーク環境に基づいて、CS または BS アーキテクチャが形成され、最終的に BAT などの大規模ネットワーク プロバイダーに組み込まれます。

インターネット プラットフォームによって提供されるネットワーク サービスは、おおまかに 3 つの反復モードを経てきました。

最初のモデルは集中型です。たとえば、初期の 12306 では、分散化できなかったため、中央サービス グループが1 つしかありませんでした。すべてのチケット購入トラフィックはこのサービス グループで直接処理されていたため、このサービス グループに大きな負担がかかっていました。

2 番目のモデルは分散型クラスターであり、各 Web サイトが異なる地域にサービス グループを確立する必要がある O2O 百連隊キャンペーンに似ています。背後にある IDC コンピュータ ルームは、同じサービスをローカル エリア内に分散するため、中央サーバーにかかる負荷が軽減されます。

最初の 2 つのモデルには、いくつかの欠点があります。最初のモデルでは、サービスは中央ネットワークに大きく依存します。大企業やスタートアップ企業では、ダウンタイムを許容できません。運用保守にはSLAと呼ばれるKPI指標があります。安定性が99.9%に達しない場合は、基本的に不適格です。 SLA には非常に高いコストがかかり、大企業ではシステムの安定性を確保するために運用および保守の専門家やプロフェッショナルのグループを雇う必要があります。 2 番目のモードでは、保存されたデータが失われるリスクがあります。ケーブルが掘り起こされたり、従業員がデータベースを削除して逃げたりするといった冗談がよく言われますが、これらはすべて隠れた危険です。

同時に、これら 2 つのモードの帯域幅コストは比較的高いため、帯域幅リソースが一定量浪費されることになります。例えば、「The Rap of China」の初オーディションの動画は10億回再生されました。ビデオ ファイルのサイズが 1 GB であると仮定すると、ビデオ全体を再生すると 1000 PB の帯域幅が消費されます。帯域幅のコストが 1 GB あたり 0.001 ドルの場合、iQiyi は 1 つのエピソードに対して ISP (インターネット サービス プロバイダー) に 100 万ドルを支払う必要があります。

IPFS は第 3 のモデルになる可能性があります。 IPFS は、ピアツーピアのネットワーク トポロジを作成しようとしますが、これは HTTP によって表される配布関係を破壊することと同等です。コンテンツ アドレス可能性の特性を持ち、ファイル コンテンツを通じて一意のハッシュ識別子を生成するため、スペースのオーバーヘッド コストをある程度節約できます。

HTTPプロトコルで使用されるドメイン名のアドレス指定は、最終的には最下層にマッピングされ、ドメイン名に対応する IP アドレスの下のホストや、ファイル ディレクトリ内のファイルを検索します。同じファイルが存在するかどうかは関係ありませんが、コンテンツ アドレス指定では、一意の識別子を介してファイルにアクセスし、識別子が保存されているかどうかを事前に確認します。以前に保存されている場合は、繰り返し保存することなく他のノードから直接読み取ることができるため、ある意味でスペースを節約できます。

具体的なシナリオの例を見てみましょう。映画「パシフィック・リム」を観たいとします。シャオミンは以前にこの映画をダウンロードしたことがあります。 IPFS ノードを起動し、ビデオ ファイルを IPFS ネットワークに追加します。ハッシュ フィンガープリント b を取得し、それをパブリック ゲートウェイに公開して、パス名 /IPFS/b を取得します。

彼はハッシュのフィンガープリントとパス名を教えてくれました。私がしなければならなかったのは、ローカル ノードを起動し、アドレス指定 PIN の要求をゲートウェイに送信することでした。 IPFS は分散ハッシュ テーブルのハッシュ値を自動的にインデックスし、フィンガープリント b に対応するノード リストを見つけました。

大きなビデオは通常、1 つのノードには存在せず、断片化されて他のサブノードに保存される場合があります。 IPFS はこれらすべてのノード リストを並行して取得し、最終的にローカル マネージャーがそれらを完全なファイルに組み立てます。並列ダウンロードの速度は、完全なファイルを直接ダウンロードするよりもはるかに高速です。ローカルブラウザで映画をすぐに視聴し、他のユーザーと共有し続けることができます。

02

IPFS アーキテクチャ

IPFS には、上から下に、ID、ネットワーク、ルーティング、交換、オブジェクト、ファイル、命名、アプリケーションの少なくとも 8 つの層のサブプロトコル スタックがあります。各プロトコル スタックには独自の機能があり、互いに補完し合います。

アイデンティティ層とルーティング層は一緒に説明できます。ピア ノード ID 情報とルーティング ルールの生成は、Kademlia プロトコルを通じて生成および策定されます。 KAD プロトコルは基本的に、DHT と呼ばれる分散ルーズハッシュ テーブルを構築します。 DHT ネットワークに参加するすべてのユーザーは、独自の ID 情報を生成し、この ID 情報を使用してネットワーク内のリソース情報と他のメンバーの連絡先情報を保存する必要があります。 WeChat 名刺を共有するのと同じように、誰かを探したいのに WeChat ID を直接検索できない場合は、その人の連絡先情報を持っている友人と名刺を共有することで連絡を取ることができます。

ネットワーク層は比較的中核であり、使用される LibP2P は任意のトランスポート層プロトコルをサポートできます。 NAT テクノロジーにより、イントラネット内のデバイスは同じ外部 IP を共有できるようになります。私たちが経験したことのあるホームルーターは、この原理に基づいて動作します。

交換レイヤーはThunderに似たBTツールです。 Xunlei は実際に P2P ネットワークをシミュレートし、中央サーバーを作成します。サーバーがリソースを要求するユーザーを登録すると、同じリソースを要求するユーザーは小さなクラスター群を形成してデータを共有します。この方法には欠点があります。サーバーはThunderによって統一的に管理されます。障害やダウンタイムが発生した場合、ダウンロード操作は実行できません。

集中型サービスでは、一部のダウンロード要求を制限することもできます。人々は、各シード ノードによって保存されるデータがハッシュ テーブルに保存される、よりスマートな方法である Bittorrent を発明しました。 BT ツールは規制が比較的少なく、サービスがより安定しています。

IPFS チームは、Bitswap と呼ばれる BitTorrent を革新し、ノードの共有を奨励するためのクレジットおよび課金システムを追加しました。 FileCoin はおそらく Bitswap をベースにしているのではないかと推測します。ユーザーは Bitswap にデータを追加することでクレジット ポイントを増やし、共有するデータが増えるほどクレジット ポイントも高くなります。ユーザーがデータを保存せずに取得のみを行う場合、クレジット スコアはどんどん低くなり、他のノードは接続を埋め込む際にクレジット スコアの高いノードを優先します。

この設計により、魔女の攻撃の問題を解決できます。信用スコアは機械によって増加させることはできません。検索リクエストが継続的に行われると、クレジットスコアはどんどん低くなります。リクエスト数とストレージ量の変数の間には、放物線に似た、より洗練されたアルゴリズムが存在します。初期段階では、多くのことを許容できますが、一定の回数に達すると、信頼されなくなります。

オブジェクト レイヤーとファイル レイヤーは一緒に議論するのに適しています。 IPFS 上のデータ構造の 80% を管理します。ほとんどのデータ オブジェクトは MerkleDag 構造内に存在し、コンテンツのアドレス指定と重複排除を容易にします。ファイル レイヤーは、DAG と並行した新しいデータ構造であり、Git と同じデータ構造を使用してバージョン スナップショットをサポートします。

命名レイヤーには自己検証機能（他のユーザーがオブジェクトを取得する際に、フィンガープリント公開鍵を使用して署名検証を行う、つまり、使用した公開鍵がNodeIdと一致するかどうかを確認し、ユーザーが公開したオブジェクトの真正性を検証するとともに、変更可能な状態を取得する）があり、暗号化されたDAGオブジェクト名を定義可能にし、可読性を高めるためにIPNSの独創的な設計が追加されています。

最後に、アプリケーション層があります。 IPFS の核となる価値は、その上で実行されるアプリケーションにあります。 CDN のような機能を使用することで、非常に低い帯域幅コストで必要なデータを取得できるため、アプリケーション全体の効率が向上します。

新しいテクノロジーが古いテクノロジーに取って代わる理由は 2 つしかありません。1 つ目は、システム効率を向上できることです。 2 つ目は、システムコストを削減できることです。 IPFS はこれら両方を実現します。

垂直データフロー図でもある IPFS 系図を作成しました。先ほど述べた 8 層プロトコルでは、実際には各層の実装が対応するモジュールにバインドされ、直感的なチャート設計が実行されます。

開発の際、IPFS チームは高度にモジュール化された統合アプローチを採用し、プロジェクト全体をビルディング ブロックのように開発しました。 Protocol Labs チームは 2015 年に設立され、基盤となる IPFS を提供する 3 つのモジュール (IPLD、LibP2P、Multiformats) を開発してきました。

Mutiformats は、ハッシュ暗号化アルゴリズムと自己記述メソッド (値から値がどのように生成されるかを知ることができる) のコレクションです。 SHA1\SHA256\SHA512\Blake3B などの 6 つの主流の暗号化方式があり、ノード ID とフィンガープリント データの生成を暗号化して記述するために使用されます。

LibP2P は IPFS コアの中核です。さまざまなトランスポート層プロトコルと複雑なネットワーク機器に直面しても、開発者は高速かつコスト効率に優れた使用可能な P2P ネットワーク層を迅速に確立できます。これが、IPFS テクノロジーが多くのブロックチェーン プロジェクトで好まれる理由です。

IPLD は、実際には、既存の異種データ構造を 1 つの形式に統合して、異なるシステム間でのデータ交換と相互運用性を容易にする変換ミドルウェアです。現在 IPLD がサポートしているデータ構造は Bitcoin と Ethereum のブロックデータで、IPFS と IPLD もサポートしています。これは、IPFS がブロックチェーン システムで人気がある 2 番目の理由でもあります。 IPLD ミドルウェアは、さまざまなブロック構造を 1 つの伝送標準に統合できるため、開発者はパフォーマンス、安定性、バグについて心配することなく、比較的高い成功基準を実現できます。

IPFS はこれらのモジュールの機能を適用し、独立したノード上で実行され、Web サービスの形式で誰でもアクセスできるコンテナ化されたアプリケーションに統合します。

最後に、Filecoin があります。このプロジェクトは昨年7月に発表されたばかりで、開発の進捗状況は今日まで秘密にされている。 Filecoin はこれらのアプリケーションのデータを価値あるものにし、ビットコインに似たインセンティブ ポリシーと経済モデルを通じて、より多くの人々がノードを作成し、IPFS を使用するように促します。

むしろ、IPFS と FileCoin を別々に検討していただきたいと思います。 IPFSをうまく活用すれば、多くのFileCoinプロジェクトを作成できます。しかし、それ自体の価値と重要性は IPFS ほど大きくありません。

03

IPFSの応用上の意義

まず、コンテンツ作成に一定の自由度をもたらすことができます。 Akasha は典型的なアプリケーションです。これは、Ethereum と IPFS をベースにしたソーシャル ブログ作成プラットフォームです。ユーザーが作成したブログコンテンツは、中央サーバーではなく IPFS ネットワークを通じて公開されます。

同時に、ユーザーは Ethereum ウォレット アカウントにバインドされ、高品質のコンテンツに ETH 報酬を与えることができます。コンテンツ作成者は、人間の脳のマイニングと同じように、これによって ETH を獲得できます。規制上の制約もそれほど多くなく、仲介業者から手数料を取ることもありません。コンテンツからのすべての収益はクリエイターに直接支払われます。

2 つ目は、ストレージと帯域幅のコストを削減できることです。以前、iQiyi の例を挙げましたが、比較的成功しているビデオ プロジェクトは「Dtube」と呼ばれます。これは、Steemit 上に構築された分散型ビデオ再生プラットフォームです。ユーザーがアップロードしたビデオ ファイルは IPFS プロトコルを通じて保存され、一意の識別子が付けられます。従来のビデオ Web サイトと比較して、リソースの冗長性が削減され、大量のユーザーがビデオを再生する際に発生する帯域幅コストが大幅に節約されます。

3つ目は、ブロックチェーンと完全に統合できることです。ブロックチェーンの本質は分散型台帳です。ボトルネックの 1 つは、元帳の保存容量です。現在、ほとんどのパブリックチェーンの最大の問題は、独自のチェーンに大量のハイパーメディアデータを保存できないことです。現在までのビットコインのブロックデータの合計はわずか30～40G程度です。 Ethereum などのプログラム可能なブロックチェーン プロジェクトでは、契約コードの小さな部分のみを実行および保存できます。 DApp がスーパーアプリに発展したいという願望は大きく制限されています。

IPFS テクノロジを使用してストレージのボトルネックを解決することは、現在、移行段階のソリューションであり、最も一般的なアプリケーションは EOS です。 EOS は、数百万 TPS の同時ボリュームをサポートできる能力を誇ります。これは、DPOS コンセンサス メカニズムに加えて、IPFS を使用して大規模データの転送効率を解決する基盤となるストレージ設計によるものです。

EOS は、IPLD を介してパッケージ化されたブロック データを異種で処理し、コンテンツのアドレス指定が容易なデータ構造タイプに統合して IPFS リンクにマウントします。これにより、IPFS ネットワークは、EOS ブロックチェーン システム自体のコンピューティング リソースをあまり消費せずに、ストレージと P2P 検索のロジックを実行できます。

4 番目に、従来のアプリケーションに分散キャッシュ ソリューションを提供できます。 IPFS-GEO は私が以前書いたプロジェクトです。これは、従来の LBS アプリケーション用の分散キャッシュ プロジェクトです。 GeoHash アルゴリズムを使用して地理的位置座標データを 1 次元文字列に変換し、検索値を持つ関連データを IPFS ネットワークに保存できます。 IPFS ネットワークは一意性を識別し、それを各隣接ノードに配布します。

検索要求が到着すると、システムはまず文字列の類似範囲を比較して検索範囲を絞り込み、検索効率を高めます。次に、NodeID を介して近くのノードからハイパーメディア データを取得し、分散キャッシュと同様の効果を実現して、LBS アプリケーションの検索アクション全体の効率を大幅に向上させます。

04

IPFSのスターアプリケーション

OpenBazaar は IPFS 上のスター アプリケーションです。私はそれに中国語名「Open Market」を付けました。同社はつい最近、Bitmainから500万ドルの投資を受けたばかりだ。

以前のバージョン 1.0 では、 OpenBazaar はブラック マーケットと呼ばれていました。当時は IPFS は適用されておらず、 P2P トランザクションの実装にはZeroMQが使用されていました。また、中央集権的な検査をある程度回避し、取引手数料を配当として利用者に与えていた。同時に、ビットコインを決済チャネルとして統合したことで大きな反響を呼び、短期間でユーザー数が急増しました。

Open Marketのバージョン2.0がリリースされた後、公式は法的要素を考慮したレビューメカニズムのレイヤーを追加し、ビットコインに加えてBCHなどのデジタル通貨をサポートし、以前のZeroMQに代わるIPFSを統合して再構築しました。

現在、オープンマーケットの多くのストアは、ユーザーがオンラインになっていなくてもホスト上で実行できます。従来は取引を行うために全員が同時にログインする必要がありましたが、現在では IPFS を使用することでオフライン ストアを実現することと同等になります。これは、店舗を訪れる人が増えれば増えるほど、店舗データがコピーされる回数が増えることを意味し、これは質の高い店舗の宣伝やプロモーションにつながり、ある意味では価値のリターンとなります。

私はこれをスター プロジェクトと呼んでいます。IPFS をベースにして優れた機能を備えているだけでなく、IPFS を完全に再構築しているからです。 IPFS のすべてのソース コード、プロトコル、およびさまざまなサポート機能が再度公開されます。 IPFS のブランチを再構築してプロトコル名を変更するだけでなく、プロトコル ヘッダーも変更されるため、ある意味では OB ネットワークがメインの IPFS ネットワークから分離されます。

OpenBazaar は、より集中化された制御を望んでおり、分散化と集中化の中間点を選択して、サービスの安定性を確保するために独自のマイニング ファームとコンピューター ルームを構築したいと考えています。従来のアプリケーションや企業のほとんども、このように考えられると思います。完全な分散化はありそうにないので、その本質を取り出し、不要な部分を捨てることができます。