情報システム実験B「バイナリプログラムの解析」(2023年度)

担当教員：大山恵弘（筑波大学システム情報系）

実験の概要

バイナリプログラムを解析するための基本的な技術やツールを学ぶ．受講者は具体的には以下の事項を実行する．

解析のためのツールや解析を妨害するためのツールの使い方を学ぶとともに．解析現場における問題を模した問題をそれらのツールによって実際に解決する．
それらのツールを改造して機能を拡張したり，それらのツールの核となる部分だけを有するような小さいツールを実装する．
バイナリプログラムの解析のための，規模がある程度大きいシステムを最終課題として開発し，発表会でそれについてのプレゼンテーションを行う．

最終課題とは別に，2週に1回程度のペースで小さい課題についてのレポートを課す予定である．

manabaのコースページ

情報システム実験B
K-15 バイナリプログラムの解析（この実験テーマを選択した学生のみがアクセス可）

実験の資料，参考書

教科書は指定しない．各週の実験についての資料をmanaba上で配布する．実験を行うにはそれだけで十分であるが，さらに深く学びたい人には，以下の書籍を参考書として薦める．どれも相当レベルが高く難解なので，時間をたっぷり確保して，覚悟して読んだほうがいい．

Dennis Andriesse, "Practical Binary Analysis," No Starch Press，2018.
- 著者によるサポートページ / No Starch Press 内のこの本のページ / Amazon.co.jp 内のこの本のページ / Amazon.com 内のこの本のページ
和訳：
Dennis Andriesse 著，株式会社クイープ／遠藤美代子訳，「実践バイナリ解析バイナリ計装、解析、逆アセンブリのためのLinuxツールの作り方」，ドワンゴ，2022．
- Amazon.co.jp 内のこの本のページ / カドカワ内のこの本のページ
Reginald Wong, "Mastering Reverse Engineering," Packt，2018.
- Amazon.co.jp 内のこの本のページ / Amazon.com 内のこの本のページ
Monnappa K A, "Learning Malware Analysis," Packt，2018.
- Amazon.co.jp 内のこの本のページ / Amazon.com 内のこの本のページ
和訳：
Monnappa K A 著，石川朝久訳，「初めてのマルウェア解析」，オライリー・ジャパン，2020．
- Amazon.co.jp 内のこの本のページ / オライリー・ジャパン内のこの本のページ

上記3冊を最も薦めるが，他には以下の書籍を薦める．

姜秉卓著, 金輝剛監修, 金凡峻翻訳，「リバースエンジニアリングバイブル」，インプレス，2013．
- Amazon.co.jp 内のこの本のページ
Digital Travesia管理人うさぴょん著, 「デバッガによるx86プログラム解析入門【x64対応版】」，秀和システム，2014．
- Amazon.co.jp 内のこの本のページ

実験のスケジュール（予定）

受講者の技術レベルに応じて臨機応変に変更する．

第1週：ガイダンス，プログラムのメタデータ
第2週：逆アセンブルと逆コンパイル
第3週：マルウェア解析Webサービス
第4週：パッカー
第5週：難読化
第6週：シグネチャマッチング
第7週：動的解析
第8週：解析回避と環境fingerprinting
第9週：ファジング
第10週：シンボリック実行
第11週：最終課題のシステムの実装（1）
第12週：最終課題のシステムの実装（2）
第13週：最終課題のシステムの実装（3）
第14週：最終課題発表会

最終課題（予定）

バイナリプログラムの解析に関連する既存のツールや機構のクローン，改造版，機能限定版などを実装する．実装するのは，解析する側のツールや機構でもよいし，解析される（ことを回避する）側のツールや機構でもよい．いわゆる「〇〇もどき」「なんちゃって〇〇」「〇〇インスパイア」と呼ばれるツールを作る．車輪の再発明をする．実装を通じて解析ツールや解析に関連する知識についての理解を深める．

例：独自PEファイル情報表示ツール，独自アセンブラ，独自逆アセンブラ，独自デバッガ，独自トレーサ，独自サンドボックス，独自パッカー，独自難読化器，独自エミュレータ

参考： 2022年度の最終課題の優秀レポート： excellent-report-2022.pdf

関連するツール，資料，記事（随時更新）

これらのツールが100%安全であることは保証できません．ツールを自分の環境にインストールするときには，十分に情報を収集して納得した上で，自分の責任においてインストールして下さい． VirtualBoxなどの仮想マシンやWindows Sandboxなどのサンドボックスの利用も検討して下さい．

全体
- マルウェア解析者になるための勉強方法(work-in-progress): https://github.com/pinksawtooth/how_to_become_a_malware_analyst
- マルウェア解析に必要な素養: https://hackmd.io/@K-atc/S1kLEr5x
第1週：ガイダンス，プログラムのメタデータ
- 第2週：逆アセンブルと逆コンパイル
  - 逆アセンブル，デバッグ
    - objdump
    - readelf
    - gdb
    - libbfd: https://www.gnu.org/software/binutils/
    - Capstone: http://www.capstone-engine.org/
    - IDA Pro: https://hex-rays.com/ida-pro/ IDA Free: https://hex-rays.com/ida-free/
    - Radare2: https://github.com/radareorg/radare2
    - うさみみハリケーン: https://digitaltravesia.jp/usamimihurricane/HowToUseUsaMimi.html
    - x64dbg: https://github.com/x64dbg/x64dbg
  - 逆コンパイル機能あり
    - Ghidra: https://ghidra-sre.org/
    - Hex-Rays Decompiler: https://hex-rays.com/decompiler/
    - Binary Ninja: https://binary.ninja/
    - Cutter: https://cutter.re/
    - Malcat: https://malcat.fr/
    - Boomerang: https://github.com/BoomerangDecompiler/boomerang
    - RetDec: https://github.com/avast/retdec
- 第3週：マルウェア解析Webサービス
  - VirusTotal: https://www.virustotal.com/
  - Hybrid Analysis: https://hybrid-analysis.com/
  - Joe Sandbox Cloud: https://www.joesandbox.com/
  - any.run: https://any.run/
  - Hatching Triage: https://tria.ge/
  - OPSWAT MetaDefender Cloud: https://metadefender.opswat.com/
  - malwares.com: https://www.malwares.com
  - ThreatMiner: https://www.threatminer.org
- 第4週：パッカー
  - オープンソース
    - UPX: https://upx.github.io/
    - Upack: https://docs.inedo.com/docs/upack-overview
    - Yoda's Protector: http://yodap.sourceforge.net/
    - Crinkler: https://github.com/runestubbe/Crinkler
    - (NSPack): Obsolete?
  - 無料
    - PECompact: https://bitsum.com/portfolio/pecompact/
    - PEtite: https://www.un4seen.com/petite/
  - 商用（ただし多くは無料の評価版も提供）
    - Themida: https://www.oreans.com/Themida.php
    - VMProtect: https://vmpsoft.com/products/vmprotect/
    - ASPack: http://www.aspack.com/aspack.html
    - The Enigma Protector: https://enigmaprotector.com/
    - PELock: https://www.pelock.com
    - (Obsidium): Obsolete? https://www.obsidium.de/
  - Packing/unpacking関連の資料
    - Black Hat 2007 USA: Mark Vincent Yason, "The Art of Unpacking" https://www.blackhat.com/html/bh-media-archives/bh-archives-2007.html
    - 31st Annual FIRST Conference: Unpacking for Dummies PDF
    - x64dbgによるIAT再構築（UPXのアンパック） https://qiita.com/KazuMatsuHack9981/items/7dfbbfeeb6123fe4d28b
    - UPXのアンパック方法 https://doomo.main.jp/OllyDBG/index_06.htm
    - アンパック手順覚え書き https://www.wivern.com/malware20161101.html
    - マニュアルアンパックのIAT再構築を手動でやった話 https://qiita.com/yakumo890/items/a458e993dcd37a595a89
- 第5週：シグネチャマッチング，難読化
  - シグネチャマッチング
    - ClamAV: https://www.clamav.net/
    - YARA: https://virustotal.github.io/yara/
    - Snort: https://www.snort.org/
    - EICAR: https://eicar.org/
    - InSignary Clarity: https://www.insignary.com/
    - GrammaTech CodeSentry: https://www.grammatech.com/codesentry-sca
    - Black Duck: ソフトウェア・コンポジション解析 https://www.synopsys.com/ja-jp/software-integrity/security-testing/software-composition-analysis.html
  - 難読化
    - 無料のツール
      - C言語用： Tigress: https://tigress.wtf/
        学術的に最先端を走る研究グループによる，Cソースコード-to-Cソースコード難読化器
      - LLVM用： Obfuscator-LLVM: https://github.com/obfuscator-llvm/obfuscator
      - Javaバイトコード用： ProGuard: https://github.com/Guardsquare/proguard
      - .NET用： Dotfuscator: https://docs.microsoft.com/ja-jp/visualstudio/ide/dotfuscator/
      - .NET用： ConfuserEx: https://yck1509.github.io/ConfuserEx/
      - Ruby言語用： RubyEncoder: 日本語版: https://rubyencoder.jp/ 英語版: https://www.rubyencoder.com/
      - Proof-of-conceptツール： M/o/Vfuscator: https://github.com/xoreaxeaxeax/movfuscator
        mov命令だけからなるアセンブリコードにコンパイルするCコンパイラ
    - 商用製品
      - VMProtect https://vmpsoft.com/
      - Oreans Technologies社製品
        
        Themida https://www.oreans.com/themida.php
        WinLicense https://www.oreans.com/WinLicense.php
        Code Virtualizer https://www.oreans.com/CodeVirtualizer.php
      - ソフトウェアプロテクション「Code Protection」「WhiteBox」 https://www.tjsys.co.jp/embedded/MatrixSSE/index_j.htm
      - PELock https://www.pelock.com/
      - StarForce C/C++ Obfuscator https://www.star-force.com/jp/
      - PreEmptive PROTECTION https://www.agtech.co.jp/preemptive/product/
      - DashO for Java/Android https://www.agtech.co.jp/preemptive/dash_o/product/
      - DeNA DeClang: https://github.com/DeNA/DeClang
      - Javaバイトコード用： yGuard: https://www.yworks.com/products/yguard
      - .NET用： Eazfuscator.NET: https://www.gapotchenko.com/eazfuscator.net
      - .NET用： Babel Obfuscator: https://www.babelfor.net/products/babel-obfuscator/
    - ブラウザ上で難読化を試せるWebサイト： OBFUSCATOR: https://picheta.me/obfuscator
  - 関連情報
    - イベント: The International Obfuscated C Code Contest (IOCCC): https://www.ioccc.org/
    - Wikipedia: 難読化 (ソフトウェア): https://ja.wikipedia.org/wiki/%E9%9B%A3%E8%AA%AD%E5%8C%96_(%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2)
    - IT用語辞典e-Words: 難読化 https://e-words.jp/w/%E9%9B%A3%E8%AA%AD%E5%8C%96.html
- 第6週：動的解析
  - トレーサ
    - UNIX
      - strace
      - ltrace
    - Windows
      - System Call Tracer for Windows: https://drmemory.org/page_drstrace.html
      - Windows 上の DTrace: https://learn.microsoft.com/ja-jp/windows-hardware/drivers/devtest/dtrace
      - Sysinternals Process Monitor (Procmon): https://learn.microsoft.com/ja-jp/sysinternals/downloads/procmon
      - Syscall Dumper: https://github.com/joshfinley/SyscallDumper
  - デバッガ
    - gdb
    - IDA Pro: https://hex-rays.com/ida-pro/ IDA Free: https://hex-rays.com/ida-free/
    - RetDec: https://github.com/avast/retdec
    - うさみみハリケーン: https://digitaltravesia.jp/usamimihurricane/HowToUseUsaMimi.html
  - バイナリinstrumentation
    - Intel Pin: https://www.intel.com/content/www/us/en/developer/articles/tool/pin-a-dynamic-binary-instrumentation-tool.html
    - DynamoRIO: https://dynamorio.org/
    - Valgrind: https://valgrind.org/
  - サンドボックス
    - Cuckoo Sandbox: https://cuckoosandbox.org/
    - Windows Sandbox: https://docs.microsoft.com/ja-jp/windows/security/threat-protection/windows-sandbox/windows-sandbox-overview
    - Sandboxie: https://github.com/sandboxie-plus/Sandboxie/
  - コンテナ基盤
    - LXC: https://linuxcontainers.org/lxc/introduction/
    - LXD: https://linuxcontainers.org/lxd/introduction/
    - Docker: https://www.docker.com/
  - エミュレータ
    - QEMU: https://www.qemu.org/
    - Bochs: https://bochs.sourceforge.io/
    - Unicorn Engine: https://github.com/unicorn-engine/unicorn
    - Qiling Framework: https://qiling.io/
  - ハイパバイザ，仮想マシンモニタ
    - VMware: https://www.vmware.com/
    - VirtualBox: https://www.virtualbox.org/
    - Hyper-V: https://docs.microsoft.com/ja-jp/virtualization/hyper-v-on-windows/about/
    - Parallels Desktop: https://www.parallels.com/
- 第7週：ファジングとコードカバレッジ
  - Fuzzer
    - American Fuzzy Lop (AFL) https://github.com/google/AFL
    - AFL++ https://aflplus.plus/
    - libFuzzer https://llvm.org/docs/LibFuzzer.html
    - OSS-Fuzz https://github.com/google/oss-fuzz
    - Project OneFuzz https://www.microsoft.com/en-us/research/project/project-onefuzz/
  - Code coverage tools
    - gcov https://gcc.gnu.org/onlinedocs/gcc/Gcov.html
    - Coverage.py (for Python) https://coverage.readthedocs.io/en/
    - SimpleCov (for Ruby) https://github.com/simplecov-ruby/simplecov
    - Parasoft C++test, Parasoft Jtest https://docs.parasoft.com/
  - Fuzzing関連の資料
    - "An Empirical Study of the Reliability of UNIX Utilities," Communications of the ACM, Vol. 33, No. 12, 1990. https://doi.org/10.1145/96267.96279
    - B. Miller et al., "Fuzz Revisited: A Re-examination of the Reliability of UNIX Utilities and Services," Technical Report, Computer Sciences Department, University of Wisconsin, 1995. http://www.paradyn.org/papers/fuzz-revisited
- 第8週：解析回避と環境fingerprinting
  - Paranoid Fish (Pafish) https://github.com/a0rtega/pafish
  - Al-Khaser https://github.com/LordNoteworthy/al-khaser
  - InviZzzible https://github.com/CheckPointSW/InviZzzible
  - Sems https://github.com/AlicanAkyol/sems
- （第9週：シンボリック実行）
  - ツール
    - angr: https://angr.io/
    - Triton: https://triton-library.github.io/
    - KLEE: http://klee.github.io/
  - 解説論文
    - R. Baldoni et al., "A Survey of Symbolic Execution Techniques," ACM Computing Surveys, Vol. 51, No. 3, 2018. https://doi.org/10.1145/3182657
Copyright (C) 2023 Yoshihiro Oyama All rights reserved.