自然言語処理

  [ GB41611 ]
Natural Language Processing
対象:3・4学年 開設学期:春C 曜日・時限:木4・5・6 単位数:1単位
担当教員:山本幹雄

概要

人間の知識の多くは日本語・英語等の自然言語を使って伝達・蓄積される。本講義では、計算機に入力・蓄積された自然言語データの意味内容まで踏み込んだ処理を行うための基礎を述べる。自然言語処理における、唯一最大の問題は自然言語文のもつ曖昧性である。自然言語文の解析手法を概説し、各解析段階において曖昧性がどのように生じるかを見ていくと同時に、曖昧性を解消するために必要となる(計算機が持つべき)知識と技法を解説する。

学習・教育目標

  1. 自然言語処理の概要とその困難性の原因を理解する
  2. 形態素解析(単語分割)における以下の技術項目を理解する
    1. コスト最小法と確率的手法
    2. ビタービアルゴリズム
    3. 単語辞書の効率的な構造とアルゴリズム
  3. 構文解析における以下の技術項目を理解する
    1. 基本的な解析方法
    2. 曖昧性をなくすための知識:格フレームと選択制限
  4. 自然言語処理の応用例として機械翻訳システムの概要を理解する

キーワード

単語分割, 形態素解析, 辞書構造, 動的計画法, 構文解析, 機械翻訳

Keywords

word segmentation, morphological analysis, dictionary structure, dynamic programming, parsing, machine translation

時間割

講義内容/理解すべき項目
第1週自然言語処理入門
  自然言語処理とは? 自然言語処理の概要と応用例
形態素解析手法の様々な手法
  ヒューリスティックスによる方法、
  言語的知識の利用、コスト最小法
レポート課題の説明
第2週形態素解析手法の様々な手法
  確率的手法
形態素解析のためのアルゴリズム
  ビタービアルゴリズム
演習(ビタービアルゴリズム)
第3週形態素解析のための辞書構造と単語検索
  線形探索、二分探索、トライ、パトリシア木
自然言語文の構文解析の概要
  構文の曖昧性をなくすための種々の方法
演習(ビタービアルゴリズム)
第4週自然言語文の構文解析
  曖昧性をなくすための具体的な方法
  (ヒューリスティックス、選択制限)
自然言語処理の応用
  機械翻訳の問題、機械翻訳システムのしくみ、
  トランスファー方式、構成性原理

教材

web上に置いた配布資料

参考書籍

「自然言語処理」長尾真編, 岩波書店(1996) 4800円
「自然言語処理の基礎」吉村賢治, サイエンス社(2000) 1600円

予備知識・前提条件

次の科目の基本概念は本科目の理解に役立つ:情報理論、確率論、知識処理概論I、オートマトンと形式言語、プログラム言語処理。

成績評価

レポートと試験により評価を行う。

教員メールアドレス

山本幹雄:myama(AT)cs.tsukuba.ac.jp

講義のWebページ

http://www.coins.tsukuba.ac.jp/~myama/lecture/ から

オフィスアワー

月11:00〜12:00 第3エリアSB908