暗号通貨の価格を正確に予測するにはどうすればいいでしょうか?トレーディング、テクニカル、ソーシャルセンチメント指標のためのディープラーニングアルゴリズムについて学ぶ

原題: 暗号通貨の価格予測: 取引、技術、社会感情指標のディープラーニング研究

暗号通貨資産は裁定取引による高頻度ロボット取引に自然に適しているため、トレーダーよりも暗号通貨サークルの深い参加者や保有者がより高い収益を得るというのは私たちの幻想かもしれません。

ある程度の信頼はあるもののベテランではない私たちのような個人投資家は、テクニカル指標の取引を少々軽蔑しています。しかし、通貨の価格変動に直面した場合、私たちはそれほど無関心ではありません。価格変動は多かれ少なかれ私たちの感情を乱します。

通貨価格の予測や感覚に関しては、それは完全に社会感情に基づいています。この記事では、さまざまなディープラーニングアルゴリズムを通じて多数のテクニカル、トレーディング、ソーシャルセンチメント指標から、包括的なテクニカル、トレーディング、ソーシャルセンチメント指標のディープラーニング結果が、通貨価格の予測において単一の指標よりも優れているという結論を導き出しています。 Github や Reddit の技術開発者に基づく感情指標は、参考としてより価値があります。

これは必ずしも正しい、または真実というわけではありませんが、結局のところ、ディープラーニングのアルゴリズムとデータには問題がある可能性があります。しかし、この30ページの論文は私たちを怖がらせるのに十分です。暗号通貨の取引を予測するために、このような高度なアルゴリズムを使用し、オープンで豊富なデータを利用できるようになった今、私たち個人投資家は何をすべきでしょうか?

個人的な宿題をやればいいかもしれません。なぜこのプロジェクトに投資する必要があるのでしょうか?どうすればプロジェクトに貢献できるでしょうか?コインの価格を気にしないでいられるでしょうか?

タイトル: ディープラーニングによる暗号通貨の価格分類におけるテクニカルトレーディングとソーシャルメディア指標について

著者:Marco Ortu、Nicola Uras、Claudio Conversano、Giuseppe Destefanis、Silvia Bartolucci

URL: http://arxiv.org/abs/2102.08189

まとめ

暗号通貨市場のボラティリティの高さと新しいメカニズムの存在により、暗号通貨の価格を予測することは非常に困難な作業として知られています。この研究では、2017 年から 2020 年までの 2 つの主要な暗号通貨、イーサリアムとビットコインに焦点を当てています。 4つの異なるディープラーニングアルゴリズム（多層パーセプトロン（MLP）、畳み込みニューラルネットワーク（CNN）、長短期記憶（LSTM）ニューラルネットワーク、注意長短期記憶（ALSTM））と3種類の特徴を比較することにより、価格変動の予測可能性に関する包括的な分析が行われます。特に、テクニカル指標（始値と終値など）、取引指標（移動平均など）、ソーシャル指標（ユーザー感情など）を分類アルゴリズムへの入力として考慮します。テクニカル指標のみで構成される制限付きモデルと、テクニカル指標、取引指標、ソーシャルメディア指標を含む制限なしモデルを比較します。結果は、制限のないモデルが制限のあるモデル（取引やソーシャルメディアの指標、従来の技術変数を含む）よりも優れており、すべてのアルゴリズムの予測精度が大幅に向上したことを示しています。

1 はじめに

過去 10 年間、世界市場では暗号通貨取引の増加と急激な成長が見られ、世界の 1 日あたりの時価総額は数千億ドルに達しています (2021 年 1 月時点で約 1 兆ドルに達しています)。

最近の調査によると、価格変動や市場操作に伴うリスクにもかかわらず、現在の金融危機の中で、新しい暗号資産の斬新な特徴と価値上昇の可能性により、機関投資家の新たな暗号資産に対する需要と関心が急増していることがわかりました。

好況と不況のサイクルは、ネットワーク効果や市場の広範な採用によって引き起こされることが多く、価格を高い精度で予測することが困難になります。この問題に関しては膨大な文献があり、暗号通貨の価格予測のための定量的な手法が数多く提案されている[13, 15–18]。暗号通貨のボラティリティの急激な変動、自己相関、マルチスケーリング効果も広く研究されており[22]、それらがイニシャル・コイン・オファリング（ICO）に与える影響も同様に研究されている[10, 11]。

文献の中で徐々に浮上してきた重要な考慮事項は、暗号通貨取引の「社会的」関連性です。ブロックチェーンプラットフォームの基礎となるコードは Github のオープンソースで開発されており、暗号エコシステムへの最新の追加は Reddit や Telegram の専用チャンネルで議論されており、Twitter は最新の開発に関する活発な議論が行われるプラットフォームを提供しています。具体的には、感情指数は価格バブルを予測するために使用できること[5]や、Redditの議論から抽出された感情は価格と相関していることが示されています[28]。

オープンソース開発は暗号通貨の成功と価値を形作る上で重要な役割を果たしている[21,25,27]。特に、Bartolucci らによる以前の研究では、 [2]（本研究はこれを拡張したもの）は、Githubの開発者コメントから抽出された感情の時系列と暗号通貨の収益の間にグレンジャー因果関係があることを示しました。 2 つの主要な暗号通貨であるビットコインとイーサリアムについては、開発者の感情の時系列を予測アルゴリズムに組み込むことで、予測の精度が大幅に向上することも示されています。

本稿では、ディープラーニング手法を用いた価格予測可能性に関するこれまでの研究をさらに拡張し、時価総額で最大の2つの暗号通貨であるビットコインとイーサリアムに焦点を当てます。

私たちは、オンタイム価格予測を分類問題にマッピングすることで価格の変化を予測します。ターゲットは、価格の上昇または下落を示す上昇と下降の 2 つの固有カテゴリを持つバイナリ変数です。以下では、4 つのディープラーニングアルゴリズム (多層パーセプトロン (MLP)、多変量アテンション長期短期記憶完全畳み込みネットワーク (MALSTMFCN)、畳み込みニューラルネットワーク (CNN)、長期短期記憶ニューラルネットワーク (LSTM)) のパフォーマンスと結果を比較します。

入力として、(i) 始値や終値、出来高などのテクニカル指標、(ii) 価格から計算されたモメンタムや移動平均などの取引指標、(iii) Github や Reddit のコメントから抽出された感情要素などのソーシャルメディア指標などのカテゴリ (金融指標と社会指標) を使用します。

それぞれのディープラーニングアルゴリズムについて、時間ごとおよび日ごとの頻度を持つ制約付きおよび制約なしのデータモデルを検討します。制限されたモデルは、ビットコインとイーサリアムの技術的な変数に関するデータで構成されています。制限のないモデルには、Github と Reddit のソーシャルメディア指標と技術的変数およびトランザクション変数が組み込まれました。

4 つのディープラーニングアルゴリズムすべてにおいて、制限のないモデルが制限のあるモデルよりも優れていることが示されました。 1 時間ごとのデータ頻度で、取引とソーシャルメディアの指標を従来のテクニカル指標と組み合わせると、ビットコインとイーサリアムの価格予測の精度が、制限モードでの 51 ～ 55% から、制限なしモードでの 67 ～ 84% に向上します。毎日の頻度の解像度については、Ethereum の場合、制限されたモデルを使用して最も正確な分類が実現されます。対照的に、ビットコインの場合、ソーシャルメディアインジケーターのみを含む無制限モードが最高のパフォーマンスを実現します。

次のセクションでは、実装されたアルゴリズムと、モデルのパフォーマンスを評価するために使用されるブートストラップ検証手法について詳しく説明します。

この論文は次のように構成されている。セクション 2 では、使用されるデータとメトリックについて詳しく説明します。第3章では、実験方法論について説明します。第 4 章では、調査結果とその重要性を示し、第 5 章では本研究の限界について説明します。最後に、第 6 章では、調査結果を要約し、今後の方向性を概説します。

2 つのデータセット: テクノロジーとソーシャルメディアの指標

このセクションでは、実験に使用されるデータセットと 3 つのカテゴリのメトリックについて説明します。

2.1 テクニカル指標

ビットコインとイーサリアムの価格時系列を時間ごとおよび日ごとに分析します。私たちは、暗号データダウンロード Web サービス、特に Bitfinex.com Web サイトのトランザクションデータサービスから、利用可能なすべての技術変数を抽出します。 2017/01/01から2021/01/01までの過去4年間、合計35,638時間の観測を検討しました。

私たちの分析では、テクニカル指標を純粋にテクニカルな指標と取引指標の 2 つの主なカテゴリに分類します。テクニカル指標は、始値や終値などの「直接的な」市場データを指します。取引指標とは、移動平均などの派生指標を指します。

テクニカル指標は次のとおりです。

終値: 取引期間中の暗号通貨の最終取引価格。
始値: 取引期間の開始時に暗号通貨が最初に取引される価格。
安値: 取引サイクル中に暗号通貨が取引される最低価格。
高値: 取引期間中に暗号通貨が取引された最高価格。
取引量: 完了した暗号通貨取引の数。

表 1 と 2 はテクニカル指標の要約統計を示しています。図 1 と 2 には、テクニカル指標の過去の時系列グラフも表示されています。

これらのテクニカル指標に基づいて、移動平均などの取引指標を計算することができます。より正確には、StockStats Python ライブラリを使用して生成します。

表4に示すように、36種類の異なる取引指標を使用しました。遅延値は、前の値（t−1、t−n）が入力として使用されることを意味します。ウィンドウサイズは、時刻 t におけるメトリックを評価するために使用される以前の値の数を表します。たとえば、時刻 t における ADXRt を計算するには、10 個の以前の値、ADXt−1、…、ADXRt−10 を使用します。

ここでは、5 つの主要な取引指標の定義を示します。

単純移動平均 (SMA): 一定期間 (期間と呼ばれる) における暗号通貨の終値の算術平均。
加重移動平均 (WMA): 最新の価格データに高い重みを付ける移動平均計算。
相対力指数 (RSI): 最近の価格変動の大きさを測定するモメンタム指標です。これは、株式やその他の資産が買われ過ぎか売られ過ぎかを評価するためによく使用されます。
変化率 (ROC): 現在の価格と一定期間前の価格の間の変化率を測定します。
モメンタム: 価格の加速率、つまり価格が変化する速度です。この指標は、傾向を特定するのに特に役立ちます。
オンバランスボリューム (OBV): 資産の取引量に基づく技術的なモメンタム指標であり、株価の変化を予測するために使用されます。

表 3 と 5 は、検討した分析期間における取引指標の統計を示しています。図 3 と 4 では、履歴時系列チャートで同じ取引指標を確認できます。次のセクションでは、テクニカル指標と取引指標を使用して価格分類モデルを作成します。

2.2 ソーシャルメディア指標

このセクションでは、Github 上の Ethereum および Bitcoin 開発者のコメントと Reddit 上のユーザーコメントから、ソーシャルメディアメトリックの時系列がどのように構築されるかについて説明します。特に、Reddit については、表 6 にリストされている 4 つのサブ Reddit チャンネルを検討しました。検討対象期間は 2017 年 1 月から 2021 年 1 月までです。

Ethereum の Github から抽出された開発者のコメントと Reddit r/Ethereum から抽出されたユーザーコメントの例を、表 7 と表 8 に示します。この例で説明したように、レビューに関連する感情の定量的な尺度は、最先端のテキスト分析ツール (以下でさらに詳しく説明) を使用して計算されます。各コメントに対して計算されるこれらのソーシャルメディアメトリックは、愛 (L)、幸福 (J)、怒り (A)、悲しみ (S)、VAD (価数 (Val)、優位性 (Dom)、覚醒 (Ar))、感情 (Sent) などの感情です。

2.3 ディープラーニングによるソーシャルメディア指標の評価

BERTモデル[8]から双方向エンコーダー表現と呼ばれるソーシャルメディアメトリクスを抽出するために、事前にトレーニングされた深層ニューラルネットワークを使用します。 BERT やその他の Transformer Encoder 構造は、自然言語処理 (NLP) のさまざまなタスクにうまく適用されており、NLP で一般的に使用されるリカレントニューラルネットワーク (RNN) の進化を表しています。ディープラーニングモデルでの使用に適した自然言語のベクトル空間表現を計算します。 BERT ファミリのモデルは、Transformer エンコーダーアーキテクチャを使用して、入力テキストの各トークンをその前後のすべてのトークンの完全なコンテキストで処理します。そのため、このモデルは「Transformers からの双方向エンコーダー表現」という名前が付けられています。 BERT モデルは通常、大規模なテキストコーパスで事前トレーニングされ、その後特定のタスクに合わせて微調整されます。これらのモデルは、事前にトレーニングされた深層ニューラルネットワークを使用して、自然言語の高密度ベクトル表現を提供します。変圧器の構造を図5に示します。

トランスフォーマーはアテンションメカニズムに基づいており、RNN ユニットはタイムスタンプ t まで入力を隠しベクトル ht にエンコードします。後者は、次のタイムスタンプ（またはシーケンスツーシーケンスモデルの場合はトランスフォーマー）に渡されます。注意メカニズムを使用すると、完全なソース文を固定長のベクトルにエンコードする必要がなくなります。代わりに、出力生成の各ステップで、デコーダーはソース文のさまざまな部分を処理できます。重要なのは、入力文とこれまでに生成された内容に基づいて、モデルが何に注意を払うべきかを学習できるようにすることです。

Transformer アーキテクチャを使用すると、この作業で行っているように、非常に大規模なデータセットでトレーニングされた NLP モデルを作成できます。事前トレーニング済みの言語モデルは、ネットワーク全体を再トレーニングすることなく特定のデータセットで微調整できるため、大規模なデータセットでそのようなモデルをトレーニングすることが可能です。

さまざまな事前トレーニング済みモデルを通じて学習された重みは、特定のデータセットに合わせて重みを調整するだけで、後で特定のタスクに再利用できます。これにより、特定のデータセットの低レベルの複雑さを捉え、より洗練された重み調整を通じて、事前トレーニング済みの言語モデルによって学習された知識を活用できるようになります。

Transformer パッケージの Tensorflow および Keras Python ライブラリを使用して、これらの事前トレーニング済みニューラルネットワークのパワーを活用します。具体的には、BERT ベースケースの事前トレーニング済みモデルを使用しました。図 6 は、ソーシャルメディアメトリックを抽出するための 3 つの NN 分類器をトレーニングするために使用されるアーキテクチャ設計を示しています。この図は、最終モデルのトレーニングに使用された 3 つのゴールドデータセット (Github、Stack Overflow、Reddit) を示しています。

特に、Stackoverflow のユーザーコメントから抽出した 4,423 件の投稿で構成される感情ラベル付けデータセットを使用して、Github の感情モデルをトレーニングしました。両方のプラットフォームのコメントは、ソフトウェア開発者やエンジニアが使用する技術用語を使用して書かれています。また、Github [23]から取得した4,200文の感情ラベル付きデータセットも使用しました。最後に、33,000 件を超えるラベル付けされた Reddit ユーザーのコメントを含む感情ラベル付けデータセットを使用しました。

表 9、10、および 11 は、2 つの異なるデータセット (Github と Reddit) での感情と感情の分類のパフォーマンスを示しています。

2.3.1 Github 上のソーシャルメディアメトリクス

ビットコインとイーサリアムの両プロジェクトはオープンソースであるため、コードと貢献者間のすべてのやり取りはGitHub[26]で公開されています。アクティブな貢献者は、いわゆる「問題」を継続的に開き、コメントし、閉じます。問題は、発見されたバグ、コードに実装される新しい機能の提案、新しい機能、または開発中の新しい機能に関する情報を含む開発プロセスの要素です。これは、多数のリモート開発者が関与する複雑で大規模なプロジェクトであっても、すべての開発プロセス段階を追跡するためのエレガントで効果的な方法です。問題には「コメント」を付けることができます。つまり、開発者はそれに関するサブディスカッションを開始できます。多くの場合、特定の問題に関するコメントを追加して、実行されているアクションを強調したり、可能な解決策を提案したりします。 GitHub に投稿されたすべてのコメントにはタイムスタンプが付けられます。したがって、正確な日時を取得し、この研究で検討された影響指標ごとに時系列を生成することが可能です。

感情分析には、2.3 で説明した BERT 分類器を使用します。この分類器は、Ortu らによって開発された公開 Github 感情データセットを使用してトレーニングされています。 [24]そしてMurgiaらによって拡張された。 [23]。このデータセットは、感情分析アルゴリズムが Apache Software Foundation の Jira 問題追跡システムから抽出された開発者のコメントに基づいてトレーニングされており、ソフトウェアエンジニアリングのドメインと Github および Reddit (選択されたサブ Reddit を考慮) のコンテキストにあるため、特に私たちの分析に適しています。分類器は、F1 スコアが 0.89 に近い状態で、愛、怒り、喜び、悲しみを分析できます。

価性、覚醒度、優位性、いわゆる VAD は、それぞれ特定の刺激に対する被験者の関心、注意力、制御感覚を説明する概念化された感情的次元を表します。ソフトウェア開発の文脈では、VAD メトリックは、開発者のプロジェクトへの関与レベル、およびタスク完了に対する自信と応答性を表すことができます。 Warriner ら[30]は、Mantylaらのアプローチと同様に、VADスコアを使用して分類器をトレーニングした14,000語の英語単語の参照辞書を作成しました。 [20]。 [20]では、200万件以上のコメントを含む70万件のJira課題レポートからVADメトリクスを抽出し、異なるタイプの課題レポート（機能リクエストとバグなど）には感情のばらつきがあることを示しました。対照的に、問題の優先度を上げると、一般的に覚醒度が高まります。

最後に、2.3で説明したBERT分類器と同様の研究で使用された公開データセット[3, 4]を使用して感情を測定します。このアルゴリズムは、短いテキストで表現された感情の極性を、肯定的 (1)、中立的 (0)、否定的 (-1) の 3 つのレベルで抽出します。

私たちの分析は、感情（愛、喜び、怒り、悲しみ）、VAD（価数、積極性、優位性）、感情という 3 種類の感情指標に焦点を当てています。セクション 2.3 で指定したように、カスタムツールを使用して、各影響メトリッククラスの注釈テキストから抽出します。

すべてのコメントの影響度指標の数値が計算されると（表7と表8の例に示すように）、コメントのタイムスタンプ（コメントが投稿された日付）を考慮して、対応するソーシャルメディアの時系列を構築します。感情時系列は、考慮された時間的頻度 (時間ごとおよび日ごと) に従って、時間ごとおよび日ごとの間隔で複数のレビューの感情と感情を集約したものです。

特定のソーシャルメディアメトリック (例: 怒り) と特定の時間的頻度について、その日に投稿されたすべてのコメントの影響度を平均化して時系列を構築します。

表 12 と 13 では、それぞれ 2 つの暗号通貨の社会指標時系列の要約統計を詳細に報告しています。また、ビットコインとイーサリアムのすべてのソーシャルメディアメトリックの時系列をそれぞれ図 7 と図 8 に示します。

2.3.2 Redditの影響力の測定

ソーシャルメディアプラットフォーム Reddit は、毎月約 80 億回の訪問数を誇るアメリカのソーシャルニュースアグリゲーション、Web コンテンツ評価、ディスカッション Web サイトです。これは英語圏の国、特にカナダと米国で最も人気のあるソーシャルネットワークです。ほぼすべての情報は英語で書かれていますが、スペイン語、イタリア語、フランス語、ドイツ語で書かれたものもいくつかあります。

Reddit は複数のサブレディットに基づいて構築されており、それぞれが特定のトピックについて議論することに専念しています。したがって、主要な暗号通貨プロジェクトには特定のサブプロジェクトが存在します。この研究では、各暗号通貨について、技術的なものと取引関連のものの 2 つのサブ項目が分析されました。タブでは、サブ項目が考慮されます。図に示すように、各サブレディットごとに、2017年1月から2021年1月までのすべてのコメントを収集しました。

感情検出には、2.3 で説明した BERT 分類器を使用します。これは、Ortu らによって開発された公開 Github 感情データセットを使用してトレーニングされています。 [24]そしてMurgiaらによって拡張された。 [23]。前のセクションで説明したように、このデータセットは私たちの分析に特に適しています。

分類器は、F1 スコアが 0.89 に近い状態で、愛、怒り、喜び、悲しみを検出できます。 VAD メトリックについては 2.3.1 と同じアプローチを使用しましたが、感情については以前のアプローチ、つまり、共有データセットの最大かつ有名な Web プラットフォームである Kaggle.com で入手可能な Reddit コメントのパブリックゴールデンデータセットを使用してトレーニングされた BERT ディープラーニングアルゴリズムを使用しました。

表 14 と 16、および図 9 と 11 は、これら 2 つの Bitcoin サブ Reddit の統計と時系列を示しています。

表 17 と 15、および図 10 と 12 は、これら 2 つの Ethereum サブ Reddit の統計と時系列を示しています。

2.4 価格変更の分類

ターゲット変数は、以下にリストされている 2 つの固有クラスを持つバイナリ変数です。

上昇: このクラスは「Up」というラベルが付けられ、コード 1 として表示され、価格が上昇している状況を示します。
ダウン: これはダウンとしてマークされ、0 でコード化され、価格が下落している状況を示します。

図 13 は、時間別および日別の頻度のクラス分布とデータセットを示しており、時間別の頻度の場合はかなりバランスの取れた分類問題を扱っているのに対し、日別の頻度の場合はわずかに不均衡な分類問題を扱っていることがわかります。

表 18 は上昇と下降のインスタンスの詳細を示しており、ビットコインの場合は 48%、5%、51.5%、イーサリアムの場合は 49%、8%、50%、2% です。 1日の頻度では、ビットコインは44%、8%、55.2%、イーサリアムは48%、5%、51%、5%です。ビットコインの毎日の頻度については、上向きのクラスに向かってわずかに不均衡な分布があります。この場合、精度とともに f1 スコアを考慮してモデルのパフォーマンスを評価します。

2.5 時系列処理

私たちは教師あり学習の問題を扱っているので、時間に関連付けられた x 入力と y 出力のベクトルを持つようにデータを準備します。この場合、入力ベクトル x は回帰子と呼ばれます。 x 入力は、モデルの予測値、つまり過去の 1 つ以上の値、いわゆる遅延値で構成されます。前のセクションで説明した選択した機能に対応する値を入力します。ターゲット変数 y は、0 または 1 のいずれかになるバイナリ変数です。0 (下降) のインスタンスは、価格が下落していることを示します。時刻 t の終値と時刻 t+1 の始値の差が 0 以下の場合、時刻 t のインスタンス 0 が取得されます。 1 (up) インスタンスは、価格が上昇していることを示します。時刻 t の終値と次の時刻 t+1 の始値の差が 0 より大きい場合、インスタンスが 1 つ取得されます。私たちは 2 つの時系列モデルを検討しました。

制限付き: 入力ベクトル x には、テクニカル指標 (始値、終値、高値、安値、出来高) のみが含まれます。
制限なし: 入力ベクトル x は、テクニカル、取引、ソーシャルメディアの指標で構成されます。

制限付きモデルと制限なしモデルの両方で、各指標に対して 1 つの遅延値を使用します。この区別の目的は、取引とソーシャルメディアの感情指標を回帰ベクトルに追加することで、ビットコインとイーサリアムの価格変動の分類が効果的に改善されるかどうかを判断し、定量化することです。

3 方法論

このセクションでは、分析で考慮したディープラーニングアルゴリズムについて説明し、ハイパーパラメータの微調整について説明します。

3.1 多層パーセプトロン

多層パーセプトロン (MLP) は、多層パーセプトロンの特性と一般的な活性化関数を備えたフィードフォワード人工ニューラルネットワーク (ANN) の一種です。

最も一般的な活性化関数は次のとおりです。

ここで、Vi は入力重みベクトルです。

MLP には、入力層ノード、隠し層ノード、出力層ノードという 3 つの主要なカテゴリのノードが含まれます。入力ノードを除き、ニューラルネットワークのすべてのノードは、非線形活性化関数を使用するパーセプトロンです。 MLP は多層構造と非線形活性化関数を備えているため、線形パーセプトロンとは異なります。

一般に、MLP ニューラルネットワークはノイズに対して非常に耐性があり、欠損値がある場合でも学習と推論をサポートできます。ニューラルネットワークはマッピング関数について強い仮定を立てず、線形および非線形の関係を簡単に学習できます。任意の数の入力機能を指定できるため、多次元予測を直接サポートできます。任意の数の出力値を指定できるため、複数ステップの予測や多変量予測も直接サポートされます。これらの理由から、MLP ニューラルネットワークは時系列予測に特に役立つ可能性があります。

最近のディープラーニング技術の発展において、ReLU (Rerectified Linear Unit) は、シグモイド関数に関連する数値問題を解決するためによく使用される区分線形関数です。 ReLU の例としては、-1 から 1 の間で変化する双曲正接関数や、0 から 1 の間で変化するロジスティック関数などがあります。ここで、i 番目のノード (ニューロン) の出力は yi であり、入力接続の加重合計は vi です。

整流器関数とソフトマックス関数を組み込むことで、代替の活性化関数が開発されました。ラジアルベース関数には、より高度な活性化関数 (別のクラスの教師ありニューラルネットワークモデルであるラジアルベースネットワークで使用される) が含まれます。

MLP は完全に接続されたアーキテクチャであるため、1 つのレイヤーの各ノードは、特定の重み wi,j を使用して次のレイヤーの各ノードに接続されます。ニューラルネットワークは、教師あり逆伝播法と最適化法 (確率的勾配降下法が広く使用されている方法) を使用してトレーニングされます。データが処理された後、パーセプトロンは、予想される結果に対する出力のエラーの量に応じて接続の重みを調整して学習します。パーセプトロンにおけるバックプロパゲーションは、最小二乗平均 (LMS) アルゴリズムの一般化です。

n 番目のトレーニング例が入力層に提示されると、出力ノード j のエラー量は ej(n) = dj(n) − yj(n) になります。ここで、d は予測値、y はパーセプトロンが生成するはずだった実際の値です。次に、バックプロパゲーション法は、式（2）で与えられる全体的な出力誤差を最小化するようにノードの重みを調整します。

各ノードの重みの調整は、式（3）の勾配降下法を使用してさらに計算されます。ここで、yiは前のニューロンの出力、ηは学習率です。

パラメータ η は通常、応答に収束する重みと応答の周りで振動する重みの間のトレードオフに設定されます。

誘導局所場vjが変化し、その導関数は次のように計算できます。

ここで、φ′は上記の活性化関数の導関数であり、活性化関数自体は変化しません。隠しノードの重みを変更する場合、解析はより困難になりますが、関連する量は式(4)に示されている量であることが示されます。このアルゴリズムは、式（4）に示すように、活性化関数の逆伝播を表し、出力層を表すk番目の層の重みの調整に依存し、出力層は、隠れ層の重みの活性化関数の導関数に依存します。

3.2 長短期記憶ネットワーク

長期短期記憶ネットワークは、データシーケンス内の長期的な依存関係をキャプチャできるリカレントニューラルネットワーク (RNN) の特殊な形式です。 RNNは、自然言語、DNA配列、手書き文字、単語配列、センサーや金融市場からのデジタル時系列データストリームなど、さまざまな種類のデータシーケンスのパターンを認識するように設計された特定のトポロジーを持つ人工ニューラルネットワークです[12]。従来の再帰型ニューラルネットワークの大きな欠点は、長いシーケンスを処理できず、長期的な依存関係をキャプチャできないことです。 RNN は、短期記憶依存性を持つ短いシーケンスにのみ使用できます。 LSTM は長期記憶の問題を解決するために使用されます。これは RNN から直接派生したもので、長期的な依存関係をキャプチャするために使用されます。 LSTM ニューラルネットワークは、一連の操作を適用して入力シーケンスの変換を実行するユニットに編成されます。内部状態変数は、LSTM セルから次のセルに転送されるときに LSTM セルによって保持され、図 16 に示すように、いわゆるアクションゲート (忘却ゲート、入力ゲート、出力ゲート) によって更新されます。3 つのゲートはすべて、異なる独立した重みとバイアスを持っているため、ネットワークは、以前の出力と現在の入力をどの程度維持するか、および内部状態をどの程度出力に渡すかを学習できます。このようなゲートは、内部状態がどの程度出力に転送されるかを制御し、他のゲートと同様に動作します。 LSTM ユニットは次の要素で構成されています。

1 セル状態: この状態はシーケンス全体の情報を伝達し、ネットワークのメモリを表します。
2 忘却ゲート: 以前のタイムステップから保持された関連情報をフィルタリングします。
3 入力ゲート: 現在のタイムステップから追加する関連情報を決定します。
4 出力ゲート: 現在のタイムステップの出力量を制御します。

最初のステップはドアのことを忘れることです。このゲートは、過去または遅延した値を入力として受け取り、過去の情報のどれだけを忘れるか、どれだけ保持するかを決定します。前の隠れ状態の入力と現在の入力は、シグモイド関数を介して出力ゲートに転送されます。情報を忘れることができる場合、出力は 0 に近くなり、情報を保存する場合、出力は 1 に近くなります (以下を参照)。

行列 Wf と Uf には、それぞれ入力接続と再帰接続の重みが含まれます。下付き文字 f は忘却ゲートを表す場合があります。 xt は LSTM の入力ベクトルを表し、ht+1 は LSTM ユニットの隠れ状態ベクトルまたは出力ベクトルを表します。

2 番目のゲートは入力ゲートです。このフェーズでは、セルの状態が更新されます。以前の隠し状態と現在の入力は、最初はシグモイド活性化関数への入力として表されます (値が 1 に近いほど、入力の相関が高くなります)。ネットワークのチューニングを改善するために、隠れ状態と現在の入力を tanh 関数に渡して、-1 から 1 の間の値を圧縮します。次に、tanh と sigmoid の出力を要素ごとに乗算します (以下の式で、記号 * は 2 つの行列の要素ごとの乗算を表します)。式 6 のシグモイド出力は、tanh 出力から保持される重要な情報を決定します。

入力ゲートがアクティブ化された後にセルの状態を判定できます。次に、前のタイムステップでのセルの状態が、忘却ゲートの出力によって要素ごとに乗算されます。これにより、セル状態で 0 に近い値と乗算された値は無視されます。入力ゲートの出力は要素ごとにセル状態に追加されます。式7の新しいセル状態は出力です。

最後のゲートは出力ゲートで、次の隠された状態の値を指定します。ここでは、現在の入力と以前の隠された状態が追加され、シグモイド関数に転送されます。次に、新しい細胞状態がTANH関数に転送されます。最後に、TANH出力にシグモイド出力を掛けて、隠された状態がどのような情報を伝えることができるかを決定します。出力は隠された新しい状態です。新しい細胞状態と新しい隠れた状態は、式8を介して次の段階に移動します。

この分析を実行するために、Keras Framework [7]を使用して深い学習に使用しました。私たちのモデルは、積み重ねられたLSTM層と、1つのニューロンと密に接続された出力層で構成されています。

3.3注意メカニズムニューラルネットワーク

注意関数は、エンコーダデコーダーパラダイムの拡張であり、長い入力シーケンスの出力を改善することを目的とするディープラーニングアルゴリズムの重要な側面です。図16は、AMNNの背後にある重要なアイデアを示しています。これは、デコーダーがデコード中にエンコーダー情報を選択的にアクセスできるようにするためです。これは、各デコーダーステップに新しいコンテキストベクトルを作成し、以前の非表示状態とすべてのエンコーダの非表示状態に基づいて計算し、トレーニング可能な重量を割り当てることによって達成されます。このようにして、注意技術は入力シーケンスに異なる優先順位を与え、最も重要なシーケンスにもっと焦点を当てています。

エンコーダー操作は、エンコーダデコーダーハイブリッド操作自体と非常によく似ています。各入力シーケンスの表現は、前のタイムステップおよび現在の入力で隠された状態の関数として、各タイムステップで決定されます。

最終的な非表示状態には、以前の隠された表現からのすべてのエンコードされた情報と以前の入力が含まれています。

注意メカニズムとエンコーダデコーダーモデルの重要な違いは、各デコーダーステップtについて、新しいコンテキストベクトルC（t）が計算されることです。次のように進み、ステップtでコンテキストベクトルc（t）を測定します。まず、エンコーダータイムステップjとデコーダータイムステップtの各組み合わせについて、いわゆるアライメントスコアE（j、t）は、式（9）の加重合計を使用して計算されます。

WA、UA、およびVAは、この式で学習した重みであり、注意の重みと呼ばれます。 WA重みはエンコーダーの隠された状態にリンクされ、UA重みはデコーダーの隠された状態にリンクされ、VA重みはアライメントスコアを計算する関数を決定します。スコアE（j、t）は、エンコーダーjの時間セグメントでソフトマックス関数を使用してステップtで正規化され、次の注意重量α（j、t）を取得します。

時間Jでの入力の重要性は、時間tの出力を解読するために使用される注意重量α（J、T）で表されます。コンテキストベクトルc（t）は、次のように、エンコーダーのすべての隠された値の加重合計である注意の重みに従って推定されます。

このアプローチによれば、いわゆる注意関数は、コンテキストデータのベクトルによってトリガーされ、最も重要な入力に重み付けされます。

コンテキストベクトルc（t）がデコーダーに転送され、次の可能な出力の確率分布を計算します。このデコード操作には、入力に存在するすべての時間ステップが含まれます。次の場合、現在の非表示状態s（t）は、再発ユニット関数に従って計算され、以下の方程式に従って、コンテキストベクトルc（t）、非表示状態s（t -1）、および出力yˆ（t -1）を入力として取得します。

この関数を使用すると、モデルは入力シーケンスの異なる部分と出力シーケンスの対応する部分との関係を識別できます。 SoftMax関数は、ステップT：の各時間で、加重された非表示状態のデコーダーの出力を計算するために使用されます。

LSTMの場合、注意メカニズムは、注意の重量が存在するため、長い入力シーケンスでより良い結果を提供します。

この研究では、Fazle et al。図17は、各層のニューロンの数を含むMalstm-FCNのアーキテクチャを示しています。入力シーケンスは、完全な畳み込み層と注意LSTM層と平行化され、バイナリ分類のためにSoftMaxアクティベーション関数を介して連結して出力層に渡されます。完全畳み込みブロックには、それぞれ128、256、および256のニューロンで構成される3つの時間的畳み込みブロックが含まれており、これらは特徴抽出器として使用されます。連結前に、各畳み込み層はバッチ正規化で完了します。寸法シャッフルは、入力データの時間次元を変換して、LSTMが各変数のグローバル時間情報を一度に取得するように変換します。したがって、時系列分類の問題については、次元のシャッフル操作により、正確性を失うことなく、トレーニングと推論の計算時間が短縮されます[15]。

3.4畳み込みニューラルネットワーク

畳み込みニューラルネットワーク（CNNS）は、画像処理、画像分類、自然言語処理、財務時系列分析などの深い学習アプリケーションで最も一般的に使用される特別なタイプのニューラルネットワークです[6]。

CNNアーキテクチャの最も重要な部分は、畳み込み層です。このレイヤーは、畳み込みと呼ばれる数学的操作を実行します。これに関連して、畳み込みは、入力データマトリックスの乗算とフィルターと呼ばれる2次元の重みの配列を含む線形操作です。これらのネットワークは、少なくとも1つのレイヤーで畳み込み操作を使用します。

畳み込みニューラルネットワークは、入力層と出力層、複数の隠れ層など、従来のニューラルネットワークと同様の構造を持っています。 CNNの主な特徴は、その隠れ層が通常、上記の操作を実行する畳み込み層で構成されていることです。図18は、時系列分析のためのCNNSの一般的なアーキテクチャを示しています。画像処理タスクに典型的な通常の2D畳み込み層の代わりに、1D畳み込み層を使用します。次に、最初の層をポーリング層で正規化し、その後平らにして、出力層が各ステップtで時系列全体を処理できるようにします。この場合、多くの1D畳み込み層を深い学習ネットワークで組み合わせることができます。

CNNの実装には、Keras Framework [7]を使用して深い学習を行います。私たちのモデルは、2つ以上の積み重ねられた1次元CNN層、ポーリング用のNニューロンを備えた1つの密接な接続層、平坦化用のNニューロンを備えた1つの密接な接続層、および1つのニューロンとの最後の密接な接続出力層で構成されています。

3.5ハイパーパラメーターの調整

ハイパーパラメーター調整は、特定のアルゴリズムのハイパーパラメーターを最適化する方法です。アルゴリズムが最適なパフォーマンスを実現し、特定の予測エラーに基づいて評価できるように、ハイパーパラメーターの最適な構成を決定するために使用されます。各アルゴリズムについて、最適化するハイパーパラメーターを選択し、テストするすべての値を含む、各ハイパーパラメーターの適切な検索間隔を定義します。次に、アルゴリズムは、最初に選択したハイパーパラメーター構成にデータセットの特定の部分に一致します。適合モデルは、トレーニングフェーズの前に使用されていないいくつかのデータでテストされています。このテストプログラムは、選択した予測エラーの特定の値を返します。

グリッド検索プログラム[19]を介した最適化プログラムは、ハイパーパラメーター値のすべての可能な組み合わせをテストした後、終了します。したがって、選択した予測エラーで最高のパフォーマンスを生成するハイパーパラメーター構成が最適化された構成として選択されます。表19は、各実装アルゴリズムのハイパーパラメーター検索間隔を示しています。 MalstM-FCNは深いニューラルネットワークに固有のアーキテクチャであるため、レイヤー数、レイヤーあたりのニューロンの数、および各層の活性化関数が事前に指定されています（セクション3.3で説明されています）。

ハイパーパラメーターの最適化プロセスの堅牢性を確保するために、モデル検証手法を使用して、特定のモデルによって得られたパフォーマンスが個別のデータセットにどのように一般化されるかを評価します。この検証手法には、データサンプルをトレーニングセット（モデルの適合に使用する）、検証セット（FITモデルの検証に使用）、およびテストセット（モデルの最終的な最適化された一般化機能の評価に使用）に分割することが含まれます。分析では、37.8％のオフバッグサンプルと10,000回の反復を使用してBooStrapメソッドを実装して、最終的なハイパーパラメーターを検証しました。

4実験的証拠

このセクションでは、分析の主な結果を報告して説明します。特に、制限付きモデルと非制限モデルの両方の結果について説明します。これらの結果は、標準分類エラーメトリック、精度、F1スコア、精度、およびリコールに基づいて評価されました。

4.1制限モデルのハイパーパラメーター

1時間あたりの頻度を考慮して、セクション3.5で言及された4つの深い学習アルゴリズムのハイパーパラメーターの微調整について簡単に説明します。表20は、分類エラーメトリックの観点からグリッド検索テクノロジーを使用して、さまざまなニューラルネットワークモデルで得られた最良の結果を示しています。表20に、MalstM-FNCおよびMLPモデルの最適な識別パラメーターと関連する結果を示します。

最高の精度を得るニューラルネットワークは、平均精度が53.7％、標準偏差が2.9％のMalstm-FNCです。実装された機械学習モデルでは、最高のF1スコアはMalstM-FNCで、平均精度は54％で標準偏差が2.01％でした（LSTMは同じF1スコアを取得しましたが、より高い分散が観察されました）。

4.2無制限のモデルのハイパーパラメーター

表21は、グリッド検索テクノロジーを介してニューラルネットワークモデルによって得られた分類エラーメトリックの最良の結果を示しています。 CNNおよびLSTMモデルの最良の識別パラメーターと関連する結果を表21に示します。

無制限のモデルの結果は、トランザクションとソーシャルメディアメトリックをモデルに追加することで、平均精度、つまり予測エラーを効果的に改善できることを示しています。実装されたすべてのアルゴリズムについて、この結果は一貫性があり、この結果が統計的変動であること、または実装された特定の分類アルゴリズムのアーティファクトである可能性があることを除外することができます。制約のないモデルの最良の結果は、CNNモデルを使用して得られ、平均精度は87％、標準偏差は2.7％でした。

4.3結果と議論

表22は、4つの深い学習アルゴリズムを使用した時間周波数の価格変更分類タスクの結果を示しています。この表は、制限された（上）および非制限（下）モデルの両方の結果を示しています。まず、4つの深い学習アルゴリズムすべてで、無制限のモデルは、精度、本格的なチェック、リコール、およびF1スコアの観点から制限されたモデルよりも優れていることに注意してください。精度の範囲は、MLPの制限の51％からCNNおよびLSTMの84％の範囲です。

実際、これらの4つの分類子の結果は一貫しており、これは統計的変動によるものではなく、予測無制限モデルが高いためであることをさらに確認しています。ビットコインの場合、最高のパフォーマンスはCNNアーキテクチャを通じて得られますが、イーサリアムではLSTMを通じて取得されます。

さらに、2つのサブモデルを考慮して、1時間ごとの周波数ごとに無制限モデルの分類を調査しました。1つのサブモデルには技術的およびソーシャルメトリックが含まれ、もう1つのサブモデルにはすべてのメトリック（ソーシャル、技術、トランザクション）が含まれます。このようにして、モデルのパフォーマンスに対する社会的および取引指標の影響を明確にすることができます。 2つの無制限のサブモジュールのF1スコアの精度、予測、リコール、および分布について統計的なt検定を実行し、ソーシャルインジケーターを追加しても無制限のモデルが大幅に改善されないことを発見しました。したがって、表22では、社会的および技術的指標のみを含む無制限のモデルを省略します。

表23は、毎日の周波数価格の変更に関する4つの深い学習アルゴリズムの結果を示しています。この表は、制限された（上）および非制限（下）モデルの両方の結果を示しています。無制限のモデルは、それぞれモデルへの社会的および取引指標の貢献をよりよく強調するために、テクノロジー社会的および技術社会的取引サブモデルにさらに分けられます。

MalstM-CNFは、99％の精度でイーサリアムの最高の分類パフォーマンスを実現するために、技術指標のみで構成される制約付きモデルを使用します。ビットコインの場合、MLPのF1スコアは55％、精度は60％ですが、無制限のモデルはソーシャルメディアメトリックと技術指標のみです（この場合、セクション2.4で説明されているクラスの分布がわずかに不均衡であるため、ビットコインのF1スコアと精度を考慮します）。毎日の周波数分類のために、2日目の価格動向は、一般的な技術指標で別々にパフォーマンスが向上したことがわかります。モデルに追加するメトリックが多いほど、パフォーマンスが低下します。もう1つの一般的な結果は、Ethereumの毎日の価格移動分類の精度、精度、リコール、F1スコアがビットコインよりもはるかに優れていることです。毎日の分類の結果は、他の研究[1]と一致しており、1時間ごとの無制限モデルを考慮すると、時間ごとおよび日の分類が大幅に改善されます。ソーシャルメディアメトリックは、ビットコインのケースの毎日の頻度で特に重要です。この結果は、暗号通貨市場に対するソーシャルメディアの感情の影響に関する最近の結果と一致しています[2]：ソーシャルメディアが市場に与える影響は、1時間ごとに捉えられていない長い遅れを示しています。

有効性の5つの脅威

このセクションでは、分析の有効性に対する潜在的な制限と脅威について説明します。まず、分析はイーサリアムとビットコインに焦点を当てています。これは、異なる暗号通貨を分析すると異なる結果につながる可能性があるため、外部の妥当性に対する脅威をもたらす可能性があります。

第二に、内部の妥当性に対する脅威は、結果に影響を与える交絡因子に関連しています。経験的証拠に基づいて、私たちのモデルでは、技術的、取引、および社会的指標が網羅的であると想定しています。それにもかかわらず、この研究では、価格の動きに影響を与える可能性のある他の要因を見落としている可能性があります。

最後に、構造的妥当性の脅威は、観察が関心のある現象をどのように正確に記述するかに焦点を当てています。価格変更の検出と分類は、現象全体を説明する客観的なデータに基づいています。一般的に、技術指標と取引指標は客観的なデータに基づいており、通常は信頼できます。ソーシャルメディアメトリックは、パブリックデータセットを使用してトレーニングされた深い学習アルゴリズムによって得られた実験測定に基づいています。これらのデータセットは、感情的および感情的分類エラーに変換する固有のバイアスを伴う場合があります。

6 結論

最近の文献では、主要な暗号通貨またはその他の市場指標の価格の不安定性をモデル化し、予測する多くの試みがありました。この目標に取り組んでいる多くの研究グループにもかかわらず、暗号通貨市場の分析は依然として最も物議を醸すとらえどころのないタスクの1つです。この問題の解決を非常に複雑にするいくつかの側面があります。たとえば、その比較的若いため、暗号通貨市場は非常に活発でペースが速いです。新しい暗号通貨の出現は、市場自体の構成の予期せぬ頻繁な変化につながる定期的なイベントです。さらに、暗号通貨とその「仮想」の性質の高価格のボラティリティは、投資家とトレーダーにとっても祝福であり、実用的な重要性を持つ深刻な理論的および経験的モデルの呪いでもあります。このような若い市場に関する研究では、その価格行動は大部分が調査されておらず、科学の分野だけでなく、暗号市場構造における投資家、主要なプレーヤー、利害関係者にも根本的な影響を与えています。

この記事では、「古典的な」技術変数に社会的および取引指標を追加することで、暗号通貨の価格の変化の分類の実際の改善につながるかどうかを評価することを目指しています（1時間ごとの周波数を考慮して）。この目標は、多層パーセプロン（MLP）、多変量注意長期短期メモリ完全畳み込みネットワーク（MALSTM-FCN）、畳み込みニューラルネットワーク（CNN）、および長期短期記憶（LTMS）ニューラルネットワークなどの幅広いディープラーニングテクノロジーを実装およびベンチマークすることです。分析では、2つの主要な暗号通貨、ビットコインとイーサリアムを検討し、2つのモデルを分析しました。1つは技術指標のみを考慮する制限モデルであり、もう1つは社会的および取引指標を含む非制限モデルです。

制限分析では、精度、精度、リコール、F1スコアの点で最高のパフォーマンスを達成するモデルはMalstm-FCNであり、ビットコインの平均F1スコアは54％、EthereumのCNNは時間頻度でCNNです。制限がなければ、ビットコインとイーサリアムのLSTMニューラルネットワークの平均精度は、それぞれ83％と84％です。無制限のモデルの1時間ごとの頻度分類の場合、最も重要な発見は、モデルに取引指標とソーシャルインジケーターを追加することで、平均精度、精度、リコール、およびF1スコアを効果的に改善できることです。実装されたすべてのモデルが同じ結果を達成したため、この発見は統計的変動の結果ではないことを確認しました。同じ理由で、結果は特定の実装アルゴリズムに依存することを除外できます。最後に、毎日の分類のために、Malstm-CNF for Ethereumは、技術指標のみを含む制限されたモデルを使用する場合、99％の精度で最適な分類パフォーマンスを実現します。ビットコインの場合、MLPのF1スコアは55％で、精度は60％であり、無制限のモデルにはソーシャルメディアメトリックと技術指標が含まれます。この場合、ビットコインのF1スコアと精度を、わずかに不均衡なカテゴリ分布についてセクション3.4で説明します。毎日の周波数分類のために、2日目の価格動向は、一般的な技術指標で別々にパフォーマンスが向上したことがわかります。モデルに追加するメトリックが多いほど、パフォーマンスが低下します。

もう1つの一般的な結果は、Ethereumの毎日の価格移動分類の精度、精度、リコール、F1スコアがビットコインよりもはるかに優れていることです。私たちの結果は、暗号通貨の価格変化の分類の高性能が、深い学習アーキテクチャの特定の設計と微調整を通じて達成できることを示しています。

<<: ウィリアム: このコールバックは終わりましたか?

>>: 海外メディア：米国45州にある1,800台のビットコインATMがドージコインの入出金に対応