好文集ChatGPT Plus¥119

LLM エージェントを活用した高頻度売買システムの自己改善ワークフロー構築

文章目录

私は普段暗号資産・為替などで HFT やアービトラージを主としたシステムトレードを行っています。

最近は実験として、ほぼ人間の介入なしに自己改善ループによって取引モデルを改善し続ける HFT トレーディング bot を作るという試みを行っています。

嵌入推文(联网查看)

嵌入推文(联网查看)

嵌入推文(联网查看)

嵌入推文(联网查看)

この様に、ある程度の成果を出すことができたため、備忘録も兼ねて現時点での知見を共有したいと思います。

HFT botの自己改善ワークフロー

この記事では、私が高頻度取引(HFT)のbotを開発・運用するときに使っているワークフローを紹介します。私は複数のbotを並列して開発しており、botごとにGitリポジトリを分けています。このワークフローでは、各botの改善を個別に自動で回しながら、bot間で知見を共有できるようにしています。付録では、HFTのバックテスト精度を上げるためのレイテンシ補正の方法と、Heartbeatに運用保守の作業を任せる方法も紹介します。

全体構成

ワークフローは次の3つの要素で構成しています。

要素使っているもの役割
AIのharnessPaseo + Claude Codebotごとの監視と改善、知見の整理を定期的に実行する
データレイクTardis、Databento、S3、Parquetヒストリカルデータと実稼働データを蓄積する
ナレッジベースObsidian vault + qmd全botの実験結果と確定した知見を集約し、bot間で共有する

3つの要素と複数のbotの関係は次の図のとおりです。図ではbotをA、B、Cの3つにしています。

文章配图

以下、要素ごとに説明します。

Paseo

Paseo はAIのharnessで、誰でも無料でダウンロードして使えます。私はPaseoの中でClaude Codeを動かしています。

Claude Codeのloopとの違い

Claude Codeには組み込みのloopスキルがあり、1つのセッション内で処理を定期実行できます。ただしloopの定期処理は揮発性なので、Claude Codeを再起動すると消えます。

Paseoにはloopとほぼ同じ機能がHeartbeatという名前で搭載されています。Heartbeatは永続的なので、Claude CodeやPaseoを再起動しても定期処理が残ります。

Claude CodeのloopPaseoのHeartbeat
提供元Claude Codeの組み込みスキルPaseo(MCP toolとしてClaude Codeに渡される)
再起動後定期処理が消える定期処理が残る

HeartbeatはMCP toolとしてClaude Codeに渡されます。そのため、Claude Codeに「Heartbeatで自己改善ワークフローを回して」と依頼すれば、改善処理が自動で回り続けます。

Heartbeatの間隔

私の認識では、Claudeのprompt cacheの有効期間は60分です。キャッシュを切らさないように、Heartbeatの間隔は59分以内に設定することをおすすめします。私は30分ごとに設定しています。

HeartbeatとScheduleの使い分け

Paseoには、Heartbeatとは別にScheduleという定期実行の機能もあります。2つの違いは、既存のセッションにアタッチするか、毎回新しいセッションを作るかです。私は次のように使い分けています。

bot改善知見の整理
使う機能HeartbeatSchedule
間隔30分ごと6時間ごと
セッションbotごとに1つ、長期間動かし続ける全bot共通で1つ。毎回新しく作り、終了後にアーカイブする
主な処理本番botの監視、ロジックの改善、仮説のバックテスト全botのexperimentsから確定した知見を抜き出す
ナレッジベースから読むもの自分と他のbotのexperiments、findings全botのexperiments
出力experimentsfindings

bot改善のHeartbeatは、botごとに別々のセッションで動かしています。各セッションには、AWSのEC2インスタンスなどで稼働している担当botの監視と、ロジックの自己改善をさせています。具体的には、データレイクに蓄積されたデータを30分ごとに確認して新しい発見がないかを調べ、立てた仮説が正しいかをヒストリカルデータでバックテストします。このとき、他のbotが保存したexperimentsや、整理済みのfindingsもナレッジベースから参照させます。試行錯誤の結果は、30分ごとにexperimentsとしてvaultに保存させます。

知見の整理は、botの開発とは別の定期処理です。PaseoのScheduleで使い捨てのセッションを立ち上げ、全botのexperimentsの中に確定した新しい知見があれば、findingsとして保存させます。このセッションは終了したらアーカイブしてほしいので、HeartbeatではなくScheduleを使っています。

文章配图

データレイク

QuantLake という名前の独自のデータレイクを構築しています。いずれ OSS にするつもりです。

データレイクには2つの機能があります。

1つ目は、TardisやDatabentoからヒストリカルデータをダウンロードし、Parquetファイルとして提供する機能です。2つ目は、稼働中のbotがライブ取引中に取得したリアルタイムデータや取引履歴を、S3経由でローカルに自動ダウンロードする機能です。このダウンロードは、bot改善のHeartbeatと同じ30分間隔で実行しています。

この2つにより、あらかじめリクエストしておいた銘柄と取引所について、ヒストリカルデータと実稼働データが随時蓄積されていきます。

ナレッジベース

ナレッジベースは、基本的には素のObsidian vaultです。エージェントの検索性能を上げるために、qmd を別途導入しています。

botごとにGitリポジトリが分かれているので、知見をリポジトリ内に保存すると、そのbotからしか参照できません。botの開発や自己改善ワークフローで得た知見や試行錯誤の結果は、1か所にまとめて整理するべきだと考えています。そのため、すべての情報をObsidian vaultに反映させています。

各botの改善セッションは、vaultにexperimentsを保存するだけでなく、他のbotが保存したexperimentsや整理済みのfindingsも参照します。たとえばbot Aの改善中に得た知見を、bot Bの改善セッションが次の仮説づくりに使えます。

文章配图

Agent Skills

Claude Codeは、何も指示しなければリポジトリ外にあるデータレイクやナレッジベースを使いません。そこで、次の2つのAgent Skillsを用意してClaude Codeに読み込ませています。

  1. データレイクを使わせるためのAgent Skills

  2. ナレッジベースを使わせるためのAgent Skills

終わりに

以上です。この様な自己改善ループのワークフローを構築することで基本的に 24/365 でエージェントがシステムトレードの運用を行ってくれます。 メンテナンスにかける工数が削減されることで同時に複数のモデルの開発・保守ができるようになるため、1人でもちょっとしたトレーディング・カンパニーのようなものを運営できるようになりました。皆さんも是非チャレンジしてみてください。


付録Tips1: バックテストにおけるレイテンシの補正

DatabentoやTardisでは長期間のヒストリカルデータを購入できます。しかしHFTでは、購入したヒストリカルデータをそのままバックテストに使うと、実際のトレードとの状況の差が大きくなります。botが実際に受信するデータには、ヒストリカルデータにはないレイテンシが含まれるからです。

マーケットデータの補正

次の手順で、ヒストリカルデータを実際に受信できるデータに近づけてください。

文章配图

botを実際に動かすEC2インスタンスなどで、1〜2日分のリアルタイムデータを保存します。期間は、DatabentoやTardisで購入できるヒストリカルデータと重なるようにしてください。

  1. 保存したリアルタイムデータと、同じ期間のヒストリカルデータを比較します。

  2. レートの受信などで生じるレイテンシの差を、パラメータとして算出します。

  3. 算出したパラメータをヒストリカルデータに適用します。

  4. 補正したデータを使ってバックテストします。

注文まわりの遅延

マーケットデータ以外の遅延も、パラメータとして定量化してバックテストエンジンに組み込んでください。

文章配图

パラメータ内容
マーケットデータの受信遅延ヒストリカルデータと、botが実際に受信するデータとの時刻差
発注遅延注文を発注したときに生じる遅延
イベント受信までの遅延発注時刻から、発注したことを示すイベントを手元で受信するまでの遅延

jitterの反映

より高度な方法として、単純な遅延だけでなくjitter(遅延のばらつき)もパラメータとしてバックテストに反映させる方法があります。jitterを含めて検証すると、遅延の変動に強いシステムを作れます。

付録Tips2: Heartbeatに運用保守の作業も任せる

30分ごとのHeartbeatで渡すプロンプトには、トレードシステムの改善だけでなく、botの運用保守に関する指示も追加できます。これにより、これまで人間が手作業で管理していた泥臭い運用作業も自動化できます。

文章配图

取引所のメンテナンス対応

botが取引する取引所のメンテナンス予定が掲載されているWebページのURLを、プロンプトに埋め込みます。そのうえで、Heartbeatの処理内容に次の2つを加えます。

  1. メンテナンス情報をチェックする

  2. メンテナンス期間中はbotを一時停止する

異常時の停止判断をLLMに任せる

メンテナンス以外の運用タスクも任せられます。たとえば、リアルタイムデータの受信フィードの遅延が一定以上になったら、一定時間botを停止させることができます。

さらに、異常事態が発生したときに、LLMが自分の判断でbotを一時停止または完全に停止することを許可しておきます。この権限を与えておくと、人間が想定していなかった事態が起きても、LLMがその場で状況を判断して運用作業を行います。

プロンプトの例

Heartbeatのプロンプトに追加する運用保守の指示は、たとえば次のようになります。URLは仮のものです。

## 運用保守

毎回のHeartbeatで、トレードシステムの改善に加えて次の運用作業を行ってください。

- 次のページで、取引所のメンテナンス予定を確認してください。
  https://example.com/exchange/maintenance
- メンテナンス期間中は、botを一時停止してください。
- リアルタイムデータの受信フィードの遅延が一定以上になった場合は、botを一定時間停止してください。
- そのほか異常事態が発生したと判断した場合は、あなたの判断でbotを一時停止、または完全に停止してかまいません。
全文完
查看原文