「最も暗い時間」に、Filecoin の運用および保守エンジニアは何をしているのでしょうか?

この記事は元々IPFS Force ZoneのJossによって書かれました。

序文

運用保守の範囲はほとんどの人にとって漠然としていますが、特に分散ストレージの分野では、「運用保守」には「コンピュータルーム」や「IDC」などの用語が付随することが多く、他の業界の多くの人々が、マシンの移動、サーバーの積み下ろし、ネットワーク電源の管理などをベンチマークとして、ネットワーク管理者のようにマシンの動作を維持するという物理的なレベルでの運用保守を理解しています。実際、運用保守エンジニアは、業務方法に基づいて、運用保守エンジニア、運用保守開発エンジニア、運用保守プラットフォーム研究開発エンジニア、データベースエンジニア、データベース研究開発エンジニアなど、多くのカテゴリに分かれており、ビジネス向けのカスタマイズされたネイティブツールの開発よりも、運用保守能力を反映しています。

運用および保守エンジニアは、システムアーキテクチャを継続的に最適化して展開効率を向上させ、リソース使用率を最適化し、全体的な ROI を高めながら、サービス全体の高可用性を維持および確保する責任を負います。

Filecoin のメインネットが近づくにつれ、業界では基本的に「運用と保守」の重要性について合意に達しました。業界の説教の情報量と内容が増加するにつれて、Filecoin プロジェクトの定期的な動向からマイニングサービスプロバイダーの選択に至るまで、ますます多くの投資参加者が合理的な分析の期間に入ります。メインネットローンチ前夜、現段階で最も重要な運用・保守エンジニアは準備ができているでしょうか?

運用とメンテナンスを始める

1.1運用と保守とは何ですか?

運用保守とは、一般的にインターネットの運用と保守を指し、研究開発、テスト、システム管理とともに 4 大技術部門の 1 つです。

具体的には、運用と保守の技術的方向性には、サービス監視技術、サービス障害管理、サービス容量管理、サービスパフォーマンス最適化、サービスグローバルトラフィックスケジューリング、サービスタスクスケジューリング、サービスセキュリティ保証、データ転送技術、自動サービスリリースと展開、サービスクラスター管理、サービスコスト最適化、データベース管理、プラットフォーム開発、分散ストレージプラットフォームの開発と最適化などがあります。その中でも、分散は非常に明確な技術的必須事項です。

同時に、運用保守業務では、Web サーバー、監視、自動展開、構成管理、負荷分散、転送ツール、バックアップツール、データベース、分散プラットフォーム、分散データベース、コンテナー、仮想化、セキュリティ、問題追跡など、大規模で包括的な事項と小規模で詳細な事項の両方を運用保守担当者が処理する必要があります。

運用保守エンジニアは、ソフトウェアまたはコマンドラインを介してサードパーティのシステムとデータをリアルタイムで同期し、ビジュアル監視プラットフォームとさまざまなシステムのシームレスな統合を実現し、システムデータの正確性と安定性を確保し、アラーム情報をタイムリーに処理し、動的環境の監視と管理の効率を向上させます。

動的環境モニタリングは 2008 年から 12 年間存在しており、主に次のモジュールが含まれています。

配電システム：UPSおよびDC電源、自給式発電機、配電キャビネット、雷保護検出など。
環境システム：空調、温度・湿度監視、漏水監視、ガス監視など。
防火システム：煙センサー、温度センサー、早期警報システム、その他の防火設備など。
セキュリティシステム：画像監視、アクセス制御監視、赤外線検知、ガラス破損検知など。
IT ネットワーク管理監視: ネットワーク機器、PC サーバー、オペレーティングシステム、データベース、アプリケーションなど。

さらに、運用・保守エンジニアは、以下の点にも注意する必要があります。

リンケージ制御：電子スイッチ、リンケージビデオ録画、データ保存、モーション制御など。
イベント記録: 操作記録、ステータス記録、例外記録、確認記録など。
異常警報：音と光の警報、音声放送、電話警報、SMS警報、電子メール通知など。

運用および保守担当者の一日は、出勤から始まり、退勤で終わります。忙しいサイクルを何度も繰り返し、「007」のような仕事モードが一般的です。

1.2運用と保守の履歴

運用保守に必要なのは、システム運用における変数を制御可能にすることですが、運用保守環境の異質性と複雑さにより、日々の運用保守作業にかかる人手と時間のコストがますます高くなっています。

基本的な運用保守から最新のインテリジェント運用保守への移行は、主に次の 4 段階の移行です。

スクリプト時代
ツール時代
自動化の時代
知性の時代

2年前から「インテリジェントな運用と保守」が広く注目を集め始めました。ビッグデータ分析、APM（アプリケーションパフォーマンス管理）、インテリジェント異常検出、機械学習などのテクノロジーの台頭と段階的な成熟に伴い、運用と保守のニーズは徐々に自動化とインテリジェンスへと移行してきました。

自動化の重要性

2.1 自動化された運用・保守方法

自動化はインテリジェンスの前提条件です。自動化された運用および保守方法により、ハードウェアとネットワークの自動管理、仮想マシンの自動管理、オペレーティングシステムとソフトウェアの自動インストールと構成が解決されます。私たちは多くの「マネジメント」を見てきました。自動化の重要性は、一方では、効率性の向上、コストの最適化、リソースの最適化、柔軟性の向上により、他の作業を行うためのリソースを解放することです。一方、運用・保守の結果を標準化し、再現することです。

もちろん、ツールから自動化までのプロセスはそれほど簡単ではありません。業界全体では、自動化の検討に向けた取り組みが現在進められています。長年にわたり分散ストレージに深く関わり、また 2 年近くにわたり Filecoin ソースコードに携わってきた IPFS Force Zone は、自動化された運用および保守サービスを提供する数少ないプロバイダーの 1 つです。業界の発展に尽力してきた技術リーダーの方々に敬意を表したいと思います。

運用と保守に戻ると、Filecoin の分野では、標準的な運用と保守のソフトウェア開発は、他の比較的伝統的な運用と保守のソフトウェアとは異なります。たとえば、Alibaba のツールから自動化までのプロセスでは、ツールに関する課題は比較的小さいと考えています。従来の運用および保守担当者でも、Python を使用してより多くのツールシステムを作成するなど、いくつかのツールを簡単に作成できます。しかし、開発者のツールが最終的に自動化の段階に到達できるようになると、ツールに対する要件はますます高くなることを意味します。たとえば、ツールの品質です。開発者が作成したツールに問題が頻繁に発生し、大規模な圧力に耐えられない場合、人間の観点から、開発者は徐々に信頼感を失い、最終的にプロセスを完了することが困難になります。

自動化された O&M によって監視、問題診断、可視化などが実装されると、O&M 担当者には、災害復旧の切り替え、緊急操作、アプリケーションの展開、起動と停止など、いくつかの手動タスクのみが残ります。このようにして、残った大量のエネルギーを O&M 開発に充てることができ、ユーザーに優れたサービス体験をもたらすことができます。

2.2自動化を実現する方法

完全な統合電源環境監視システムは、分散型独立電源設備、コンピュータ室環境、セキュリティ監視などの動作状況をリアルタイムで収集・監視し、関連データを記録・処理することができます。適時に障害を検出し、必要な遠隔制御および調整操作を実行し、適時に現場および遠隔操作および保守処理に通知します。勤務者がほとんどいない、あるいはまったくいないコンピュータ室を実現するとともに、電源と空調の集中監視、保守、管理を実現し、電源システムの信頼性と通信機器の安全性を向上させ、コンピュータ室の自動化、さらにはインテリジェントな管理と科学的な意思決定に強力な技術サポートを提供します。

しかし、現時点ではFilecoin分野における自動化された運用保守の実際の実装はそれほど多くなく、優れたネイティブカスタマイズされた運用保守システムはさらに少なく、Force Mining Poolもその1つです。

Filecoinにおけるオペレーションの重要性

3.1DEVOPSコンセプト

3.1.1 DevOpsの仕組み

DevOps モデルでは、開発チームと運用チームはもはや「分離」されていません。アプリケーションのライフサイクル全体（開発、テストから展開、運用まで）を通じて相互に連携し、単一の機能に限定されない一連のスキルを開発します。これらのチームは、ベストプラクティスを使用して、以前は手動で実行されていた低速のプロセスを自動化し、アプリケーションを迅速かつ確実に運用および進化させるのに役立つテクノロジアーキテクチャとツールを使用して、速度をさらに向上させます。

3.1.2 DevOpsの文化的概念

DevOps への移行には、文化と考え方の変化が必要です。 DevOps の目的は、従来サイロ化されていた 2 つのチーム間の障壁を取り除くことです。彼らは、より頻繁にコミュニケーションを取り、効率を高め、顧客サービスの質を向上させるよう努めています。彼らはサービスを完全に制御しており、多くの場合、確立された役割や機能の従来の範囲を超えて、エンドユーザーのニーズを考え、それらのニーズに対応します。

3.1.3DevOps実践ノート

ソフトウェア開発とインフラストラクチャ管理のプロセスを自動化および簡素化することで、組織のイノベーションを加速するのに役立つ重要なプラクティスがあり、これらのプラクティスの多くには適切なツールが必要です。基本的な実践経験の 1 つは、小規模で頻繁な更新を行うことです。

これは、組織が顧客にイノベーションを迅速に提供するための効果的な方法です。このような更新は、通常、従来のリリース方法における不定期の更新よりも、より増分的な性質を持ちます。頻繁な小規模な更新により、各展開のリスクが軽減されます。バグの原因となった最新のデプロイメントを特定できるため、チームはバグをより迅速に処理できるようになります。更新の頻度とサイズは異なる場合がありますが、DevOps モデルを使用する組織は、従来のソフトウェア展開方法を使用する組織よりも頻繁に更新します。

さらに、組織はマイクロサービスアーキテクチャを使用してアプリケーションの柔軟性を高め、イノベーションのペースを加速できます。マイクロサービスアーキテクチャは、大規模で複雑なシステムを、シンプルで独立したプロジェクトに分割します。アプリケーションは個別のコンポーネント (サービス) に分割され、各コンポーネントは単一の目的または機能に限定されており、兄弟コンポーネントから独立して実行することも、アプリケーション全体と一緒に実行することもできます。このアーキテクチャにより、アプリケーションの更新の調整オーバーヘッドが削減され、各サービスが各サービスを所有する小規模で機敏なチームにマッピングされるため、組織はより迅速に行動できるようになります。

ただし、マイクロサービスと高いリリース頻度を組み合わせると、デプロイメント量が大幅に増加し、運用上の課題が生じます。したがって、継続的インテグレーションや継続的デリバリーなどの DevOps プラクティスは、これらの問題に対処し、組織が安全かつ信頼性の高い方法で迅速に配信できるようにするのに役立ちます。コードとしてのインフラストラクチャや構成管理と同様に、インフラストラクチャ自動化の実践は、コンピューティングリソースの弾力性を維持し、頻繁な変更に適応できるようにするのに役立ちます。さらに、監視とログ記録を実施することで、エンジニアはアプリケーションとインフラストラクチャのパフォーマンスを追跡し、発生した問題に迅速に対応できるようになります。

3.2 Filecoin O&Mと従来のO&Mの違い

Filecoin マイナーの運用と保守は、従来のインターネットの運用と保守よりも数倍、あるいは数十倍も困難です。これは主にマイニングモデルの影響を受けます。たとえば、マシン全体を直列モードと並列モードで使用する場合、問題は単一のファームウェア上のプログラムの安定性にのみ関係します。ただし、クラスター化または分散型のマイニングプールを採用する場合、さまざまなリクエストのスケジュール設定やクラスター間の分単位の展開といった高い基準は、運用および保守エンジニアにとって大きな課題となります。 Filecoin ネットワーク全体の計算能力に対する需要が急増した場合、クラスター化されたマイニングプールモデルの運用と保守は依然として容易に処理できますが、他のモデルの運用と保守には、このような状況を解決するために多くの人員とリソースが必要になります。

Filecoin の運用と従来の運用の具体的な違いについて言えば、次のような例があります。

物理層: Alibaba Cloud などのサービスプロバイダーには標準化されたサービスサポートがないため、 Filecoin クラウドサービスでは基盤となるアーキテクチャにさらに注意を払う必要があり、ハードウェアの範囲をはるかに超えたカスタマイズされた自社構築の IDC が必要になります。

SaSS : Filecoin ソフトウェアサービス層では、データの視覚化をサポートするために多数の運用ツールも必要です。そのため、運用・保守では開発をプラットフォーム化し、ツールを可視化する必要があります。このプロセスでは、運用と保守が多くの研究開発作業に参加します。

運用および保守プロセス: 従来の運用および保守は参加者が少なく、ロジックが単純です。主にWeb 形式でインターフェースにアクセスし、ポートを適切に監視し、フィードバック結果によって基本的にほとんどの変数を制御でき、プロセスはシンプルです。しかし、Filecoin には複雑なプロセス、メンテナンスが必要なモジュールの数、自動化の難しさ、複雑で高頻度の監視データ、そして特にダモクレスの剣のようなペナルティメカニズムがあり、そのような難しさがあってもミスは許されないことをマイナーに常に思い出させます。顧客のデータストレージニーズに応えることが Filecoin の最優先事項です。

精度: 運用と保守には物理層の監視が必要ですが、Filecoin の場合、ブロック時間、ブロックレート、コンピューティングパワーの傾向、Lotus 同期の高さの精度などの次元を監視することは、物理層の動作状態と同じくらい重要です。従来の運用および保守のシナリオでは、例外の処理には数時間かかる場合がありますが、数千万のユーザーに対するアプリケーションサービスは数分で済む場合があります。ただし、Filecoin ネットワークのパラメータに異常が発生すると、マイナーの利益が大幅に減少し、抵当ペナルティが発生する可能性があり、簡単に損失が発生する状況につながる可能性があります。

さらに、Force Zone の運用保守では、Lotus 公式コードを最適化し、運用保守の開発能力とプログラム実行結果の安定性をテストし、ヘルスステータスチェック、障害時の自動再起動、障害時の自己修復などを実装する必要があります。これらはすべて、CPU 使用率を高め、それによってコンピューティング能力、ブロック出力、収益を増加させ、効率を 2 ～ 3 倍に高めるためのものです。

3.3プロジェクトリリースの違い

3.3.1 頻度

従来のインターネットプロジェクトは、毎週水曜日など、固定された頻度と時間にリリースされます。デプロイメントの理由は、主にバグを修正し、新しい機能を追加することです。しかし、Filecoin ネットワークの現在の状況を考えると、The Force Operations and Maintenance が行う必要があるのは、柔軟に展開し、いつでも展開し、チェーンのバージョンをいつでも更新して、既存のクラスターをプッシュダウンし、プロセス全体を 1 回で再展開できるようにすることです。ネットワークの変更に迅速に対応するには、あらゆる詳細の調整を何十回も検討およびテストする必要があります。これは、リアルタイムで最適なマイニング収益を達成するための前提条件でもあります。

3.3.2 粒度

Filecoin マイニングサービスは、データ監視や運用保守アプリケーションの状態監視の可視化を実現するだけでなく、非常に細かい粒度も備えています。たとえば、Sector を実行するプロセスでは、P1 ～ P7 のステータスと戻り値が自動的に監視されます。

Force Zone の運用保守エンジニアがデータの粒度、自動化、改良、プラットフォーム化 (バックエンド) を十分に細かく設定すると、国内外での自動展開が数分で完了します。すべてのサーバーをバックグラウンドでワンクリックで管理でき、新しいコードを並行して展開でき、自動化ツールによって展開時間を短縮できるため、99% の時間節約効率最適化が実現します。数百メガバイトほどの小さなデータパケットを分単位でリモート展開することは、業界にとって課題ですが、Filecoin マイニングプールテクノロジーの進歩にとっては大きな前進です。

自動化された大規模な運用と保守

Filecoin の大規模マイナーテストで最初に設定された「5PB」の大規模マイナー基準は、もはや業界にとっての課題ではないようです。 Filecoin メインネットは、発売の 3 ～ 6 か月前に 1000PB に達すると予想されています。このデータにより、Filecoin の運用および保守エンジニアが事前に準備した課題が生まれます。大規模に運用および保守するにはどうすればよいでしょうか?

ドアの後ろには午前3時のフォースプールチームがいます

現在、自動化された O&M は、大規模クラスターの O&M 問題を解決する唯一の方法であり、O&M エンジニアが直面する最大の課題でもあります。サービスの高可用性を確保しながら数十万台のサーバー上のサービスを管理するには、クラスターレプリケーション機能が必要です。ただし、従来の運用および保守プロジェクトと比較すると、レプリケーション展開の複雑さは数十倍に増加します。機器が確実に棚に並べられるよう、24 時間のオンサイトメンテナンスを提供します。機器の動作を保証するために、高頻度で環境モニタリングとログ記録を定期的に実施します。システムの動作を保証するための自動分散展開および分散監視システム。機器、システム、アプリケーションの接続性を確保するためのコアネットワーク監視。データのセキュリティを確保するための成熟した 1 対 5 の冗長保護戦略。攻撃や防御の保護などなど、まだまだ十分とは言えません。運用と保守の道は長く、終わりがありません...

要約する

待望のメインネットが到来すると、Filecoin 開発エンジニアは徐々に引退し、最終的には Filecoin の開発はコミュニティに引き継がれることになります。ネットワークの運用状況は、大手マイナーの運用・保守エンジニアのスキルに依存します。

宇宙開発競争の最終段階では、運用・保守エンジニアたちの懸命な努力が報われることになるだろう。現時点ではまだ詳細は不明なので、8月25日まで待ちましょう。

/終わり。

声明: この記事は、IPFS Force District からのオリジナル記事です。著作権はIPFS Force Districtに帰属します。許可なく複製することはできません。違反者は法律に従って責任を問われることになります。

ヒント: 投資にはリスクが伴いますので、市場に参入する際には注意してください。この記事は投資や財務に関するアドバイスを目的としたものではありません。

<<: 30日間、130のプロジェクト: Web3を強化する新しいアイデア

>>: 初期の採掘モデルに関する研究：サトシ・ナカモトはチームではなく単独で作業する傾向があった