リアルタイムデータの処理と分析 (K-4) 2026年
担当教員
TA
北野 尚樹 (M1)
実施学期・受入人数・教室
春学期ABC 水３・４限 と 金曜５・６限
成績評価
課題１：5%、課題2：10%、課題3：10%、課題4：15%、課題5：15%、課題6：45%
全課題の提出するのは必須になります。一つの課題でも未提出場合は、成績はDになります。
実験概要
SNS、センサー、株式、スマートフォンなどのIoTデバイスから、リアルタイムデータと呼ばれる大量のリアルなデータストリームが溢れています。主な目的は、リアルタイム データを処理および分析する方法を学ぶことです:
- リアルタイム処理モデルを理解
- ストリーム処理アーキテクチャ（クライアント・サーバー）を構築
- リアルタイム データを分割するためのスライディング ウィンドウ操作を実装
- ウィンドウ内のデータに対する基本的な集計操作をリアルタイムで実装
- リアルタイムデータの処理結果を可視化
- 代表的なアルゴリズムを理解
主な学習内容
第1回：ガイダンス・基礎学習
- 日程：４月２２日水３・４限
- 場所： 計算科学研究センター (CCS) 会議室B or オンライン
- データ ストリームと呼ばれるリアルタイム データの基本概念を学びます。具体的には、データストリームの処理モデルと基本的な操作に関する基礎知識です。
- 資料：ガイダンス・データ ストリームの基本
第2回：課題1
- 日程：４月２４日金５・６限
- 場所：オンライン or 計算科学研究センター 会議室C
- stock,open,high,low,close,timestamp
- 株F,493.40,550.50,491.20,499.60,12:00:00
- 株Q,342.30,402.90,321.00,338.10,12:00:01
- 株I,464.10,521.40,429.40,445.40,12:00:02
第3-4回：課題2・課題1の締め切りと確認
- 日程：4月30日木３・４限、５月１日金５・６限
- 場所：オンライン or 計算科学研究センター 会議室C
- Client/Server ArchitectureをJavaで使って実装:
- Server (Server.java): データストリームのシミュレーション
- Javaプログラムを作成し、stock_data.txtファイルからデータを読み取り、Clientに送る。48 ミリ秒ごとに 1 レコードの送信速度を設定してください。
- Client (Client.java):
- Serverに接続して、データ ストリームにアクセスして受け入れるJava プログラムを作成します。
- 受け取ったデータに新しいtimestamp（システム時間と呼ばれる）を付けて, 5100 ミリ秒ごとに, 株毎のそれぞれopen, high, low, closeの値の中から最大値と最小値を計算してから、consoleにリアルタイムでprint outします。
- 実行する方法: Socket programming with Javaを使って、Client/Serverの送信は出来ます。他のやり方でも大丈夫です。。
- Socket Programming入門・スケルトン
第5-7回：課題3・課題2の締め切りと確認
- 日程：５月１３日水３・４限、５月１５日金５・６限
- 場所：オンライン or 計算科学研究センター 会議室C
- Sliding Window 演算（Count windowとTime windowの両方）
- Windowにあるデータに基本演算 (平均、最小、最大、Standard deviation: 標準偏差) を使用してスライディング ウィンドウ集計を実装します。具体的にはclose値段を使って、株ごとの平均・最大・Standard deviationを計算して、リアルタイムでconsoleにprint outします。
- 結果を見せれば、他のプログラミング言語でも大丈夫です。
- 参考資料：Sliding window aggregation
第8-10回：課題4・課題3の締め切りと確認
- 日程：５月２０日水３・４限、５月２２日金５・６限
- 場所：オンライン or 計算科学研究センター 会議室C
- HTMLとJavascriptはあくまでデータを表示する機能のみを有し，aggregation等の計算はで行わないこと．この計算は基本的に課題3までで作成したプログラムを使用すること．
- ブラウザではWindowにあるデータのテーブルと，aggregationの結果のグラフの両方を1つの画面に表示すること．
- WebSocketを使うために、依存libraryが多いので、Mavenを使うのはおすすめです。Mavenの入門です。
- WebSocket入門・スケルトン
- WebSocketを支えるために、依存libraryをimportする方法:Netbeansバージョン。他のIDEではやり方はだいたい同じです。
第11-13回： ストリーム処理フレームワーク Apache Flinkの基礎学習・課題4の締め切りと確認・課題5
- 日程：５月２７日水３・４限、５月２９日金５・６限、６月３日水３・４限、６月５日金５・６限、６月１０日水３・４限
- 場所：オンライン or 計算科学研究センター 会議室C
- Apache Flink: Data Stream API
- 好きなIDEでもいいですが、お勧めはNetbeansとIntelliJ IDEAです。Apache Flinkのプロジェクトの作り方：
- Netbeansの場合
- IntelliJ IDEAの場合
- VSCodeの場合（対応可能はmacOS確認済み・他のOSは未確認、ファイルの中身がはっきりと見えない場合、ダウンロードしてから開く）
第14-27回：課題6
- 日程：６月１２日金５・６限、６月１７日水３・４限、６月１９日金５・６限、６月２４日水３・４限、６月２６日金５・６限、７月３日金５・６限、７月８日水３・４限、７月１０日金５・６限、７月１５日水３・４限、７月１７日金５・６限、７月２２日水３・４限、７月２４日金５・６限、７月２９日水３・４限
- 場所：オンライン or 計算科学研究センター 会議室C
- 自由：テーマを自分で決める。
これまでに学習した知識を使用して、リアルタイム データを分析します。興味のあるトピックを選択し、処理や分析を求めたアプリケーションの開発をします。公開されたデータセットを探し、データ ストリームをシミュレートするには、必要に応じて新しいタイムスタンプを追加してください。必須条件は以下のすべての言及が含まれます：
- Sliding window（time window）を使います
- Apache Flinkを使用するかどうかは自由です。
- Client/Server Architectureのように実装します。基本的に主に３つのコンポーネントがある：（１）データストリームソース、（２）データストリーム処理・分析システム（全ての計算・分析を行う）、と（３）分析結果をリアルタイムで可視化するWebアプリケーションです。
- 図：課題6の株分析を実装する
- １００ms毎に取引と株値段の更新を行います。
- 更新した後にTransaction.javaとStockPrice.javaからそれぞれ取引更新と株値段の更新をStockProcessor.javaに送信します。
- StockProcessor.javaで株IDを使って、取引と株値段を統合します。必要応じて、株主メタデータと株メタデータから情報を取得します。
- 可視化：図のように実装することです。
- 締め切り：
- 1: ６月１８日水３・４限
- 2: ６月２５日水３・４限
- 3: ７月４日金５・６限
- 4: ７月１１日金５・６限
- 5: ７月２５日金５・６限
第28回：成果発表会・最終レポート作成
- 日程：７月３１日金５・６限
- 場所：オンライン or 計算科学研究センター 会議室C
