検索、正規表現、Emacsによる検索と置き換え

					2017年06月23日
情報科学類 コンピュータリテラシ

                                       筑波大学 システム情報系 情報工学域
                                       新城 靖
                                       <yas@cs.tsukuba.ac.jp>

このページは、次の URL にあります。
http://www.coins.tsukuba.ac.jp/~yas/coins/literacy-2017/2017-06-23
あるいは、次のページから手繰っていくこともできます。
http://www.coins.tsukuba.ac.jp/~yas/
http://www.cs.tsukuba.ac.jp/~yas/

■連絡事項

• 次回 6月27日火曜日 は、講義室 3A209 に集合。

■補足

• 検索エンジンよりも、人（ＴＡ、教員、隣人）に聞いた方が早い 特に、プログラミングでは。
• 他人をうまく使う方法（相互なので、他人からうまく使われる方法）を鍛 えたい。

■検索に必要な考え方

◆ヒット率と選択率

ヒット率

欲しかった情報のうち、どのくらい見つかったか。

選択率

見つかった情報のうち、どのくらいが本当に欲しかったものか。

図? ヒット率と選択率

◆３つの論理演算

• AND、両方)、(&)
• OR、どちらか、または (|)
• NOT、否定、ふくまない (!)

「keyword1」で検索。

図? キーワードを１つ与えた時

図? キーワードを３つ与えた時(AND)

図? キーワードを３つ与えた時(OR)

図? キーワードを１つ与えた時(NOT)

NOT keyword1 AND keyword2 AND keyword3

図? キーワードを３つ与えた時(AND,NOT)

◆絞込検索

図? キーワードを１つ与えた時

図? キーワードを２つ与えた時

図? キーワードを３つ与えた時

絞込検索は、基本的には、AND と同じ（注意: キーワードの順番に反応する検 索エンジンもある。AND では順番は関係ない。）。

keyword1 AND keyword2 AND keyword3

図? キーワードを３つ与えた時(AND)

■WWW検索エンジン

インターネット上にある膨大な情報から、必要な情報を見つけ出すためには、 次のような方法がある。

• 興味のあるＷＷＷページに埋め込まれているリンクを次々と手繰っていく。
• 雑誌やテレビなど、一般のメディアに掲載されたURLを打ち込む。
• 人間によってよく整理されたメニュー(ディレクトリ)を次々に選択していく。
• キーワードを打ち込んで探す（キーワード検索）。 検索対象のデータ（今の場合、ＷＷＷページ）にも、キーワードが与えられて いる。キーワード検索とは、利用者から与えられたキーワードを持つ対象デー タを利用者に返すことである。

◆検索エンジンとWWWロボット

検索エンジン(サーチエンジン)

WWWで検索機能を使う時、実際に検索を行うプログラム。 インターネット上のあるWWWサーバで動いていてる。

検索対象のデータにキーワードを与える方法

• 内容すべてをキーワードと考える（全文検索）
• 特定のキーワードを与える
  • WWWページを作った人がキーワードを与える
  • 検索エンジンの提供者（人間）がキーワードを与える
  • プログラムでキーワードを自動抽出する

WWWロボット。クローラ。

WWWページからプログラムでキーワードを自動抽出するプログラム。

1. ロボットは、あるURLが与えられると、そのページ を訪れる（ページの内容を得る）。
2. 得たページの内容を解析して、キーワードを抽出する。
3. そのページにリンクが含まれていたら、1 に戻って繰り返す。

◆まとめページ、まとめサイトの危険性

◆検索エンジンでのAND、OR、NOT

AND

空白で区切り、キーワードを並べる。「AND」と書かない。

OR

OR と大文字書く。

NOT

マイナス「-」を使う。単独では使えない。「keyword1 -keyword2」のように使う。

• https://www.google.co.jp/advanced_search
• http://search.yahoo.co.jp/web/advanced
• https://msdn.microsoft.com/en-us/library/ff795620.aspx
• https://duck.co/help/results/syntax

◆検索エンジンの高度な検索機能

• 特定の Web サーバ内で検索する。

  site:ドメイン名
  site:http://www.coins.tsukuba.ac.jp
  site:tsukuba.ac.jp
  

• フレーズによる検索。単に AND ではなく、その順番で出てくる。 (ダブルクォートで括る)

  "word1 word2"
  "University of Tsukuba"
  "筑波大学"
  "情報科学類"
  

  ダブルクォート無しでは、"情報" "科学" "類", "情" "報科" "学類", "情報科 " "学類", "情報科学" "類" のような切り方で探す。
• ワイルドカード。単語の途中に入る。

  "word1 * word2"
  "University * Tsukuba"
  

• 更新された日時を指定する(例:過去1週間以内)
• 英語、日本語等の言語を指定する。
• 地域を指定する。
• ファイルの型(テキスト、PDF、等)を指定する。

◆フィルタ・バブル

• イーライ・パリザー：危険なインターネット上の「フィルターに囲まれた世界」、TED2011 (Eli Pariser: Beware online "filter bubbles")
• DuckDuckGo フィルターバブルから抜け出よう(2016年10月の http://dontbubble.us/ のアーカイブ) (元は、http://dontbubble.us/,DuckDuckGo フィルターバブルから抜け出よう)

■ファイルの検索

◆コマンドによるファイルの検索

シェル

ファイル名置換 (*,?,[]) のパタンを使って、ファイル名で検索できる。

find コマンド

ファイル名、属性（所有者、グループ、日付、モード）等で検索できる。 外部のコマンドも実行できる。 The Unix Super Text 33.1.5 参照

grep コマンド

ファイルの内容で検索できる。 The Unix Super Text 33.1.5 参照。 The Unix Super Text 第32章　正規表現 参照。

◆lv

キー	説明
/パタン	順方向検索
n	順方向検索次候補
/	順方向検索次候補
?パタン	逆方向検索
?	逆方向検索次候補

■正規表現(regular expression)

• 正規表現とは、文字列の集合を表す方法の一種。 対象となる文字列と適合するかしないか(マッチング)を行い、 適合するものだけを取り出す／適合しないものだけを取り出す。
• 検索や置換えで使う。
• オートマトン理論や言語理論に基づいた高速な実現方法がある。
• 単純な「ワイルドカード」よりも、高い表現能力を持つ。
• grep コマンド、Emacs、less (lv) での検索で使える。

• 完全一致／部分一致／前方一致／後方一致
• 単純なワイルドカード（*）。１カ所だけにに使える。複数箇所にはつかえない。 たとえば、「a*b*c」とは書けない。

「^」、「.」、「*」、「$」 は、 メタキャラクタ。特別の意味を持つ。 メタキャラクタを含まない文字列も、正規表現として意味を持つ。

◆正規表現とファイル名置換

$ cd /usr/bin 
$ ls at* 
at   atos	atq	atrm	atsutil
$ ls | grep '^at' 
at
atos
atq
atrm
atsutil
$ ls *[89]* 
c89	tclsh8.4	wish8.4
c99			tclsh8.5	wish8.5
$ ls | egrep '8|9' 
c89
c99
tclsh8.4
tclsh8.5
wish8.4
wish8.5
$ 

◆正規表現の詳細

■Emacs

◆Emacsの検索

• インクリメンタル: 文字を1文字入力する度に、カーソルを移動する。 C-s (下方向)、C-r (上方向) で開始。RET (Return キー、Enter キー、 ) で終了。
• 非インクリメンタル: 検索したい文字列を全て打ち終えてから検索を開始する。 C-s (下方向)、C-r (上方向) 直後に、RET と打つ。

◆Emacsの検索と文字列の置換え

M-x query-replace (M-%, Esc %) が便利。

M-% と打つと、ミニバッファで次のように聞かれる。

Query replace: 置き換え前の文字列

Query replace 置き換え前の文字列 with: 置き換え後の文字列

その他に、次のような置換え機能がある。 The Unix Super Text 33.2 参照。

• replace-string: y/n を聞かないで一気に置換える
• replace-regexp: 正規表現を使って置換える。
• query-replace-regexp: 正規表現を使って置換える。y/n を聞いて来る。

■実習

• Emacs を実行する
• C-x C-f で大きなファイル(1画面に入らないくらい)を開く
• C-s と打ち、インクリメンタルサーチを開始する。
• ファイルの下の方に存在するであろう文字列のうち、先頭の何文字かを打つ。 たとえば、abc123 を検索したい場合、abc 程度で止める。
  • 見つかれば、RET で終了する
  • 見つかななければ、C-s で次に進むか、さらに追加の文字を打つ

• Emacs を実行する
• C-x C-f で大きなファイル(1画面に入らないくらい)を開く
• Esc > (M->) で、ファイルの末尾に移動する。
• C-r と打ち、インクリメンタルサーチを開始する。
• ファイルの「上の方」に存在するであろう文字列のうち、先頭の何文字かを打つ。 たとえば、abc123 を検索したい場合、abc 程度で止める。
  • 見つかれば、RET で終了する
  • 見つかななければ、C-r で次に進むか、さらに追加の文字を打つ

• インクリメンタル・サーチで、文字を打つ前に RET () を打つ
• 文字を打ち、RET

1. 練習用に、内容が破壊されても問題ないファイルを用意する。 たとえば、過去に提出したレポートを cp コマンドでコピーする。
2. そのファイルを emacs 開く
3. M-% (Esc %)と打つ
4. 以後、Emacsの検索と文字列の置換え参照。

• lv を実行する。lv でファイルを表示したり、 man コマンドでマニュアルを表示する。

  $ man lv 
  $ lv -h 
  

• 「/文字列」で検索。例「/-l 」
• 「n」 で次を検索
• 「/」 で次を探す
• 「G」でファイルの末尾に移動
• 「?文字列」で逆方向に検索
• 「?」で逆方向に次を検索

• 一番上のメニューバーの「編集」メニューから「検索」を選ぶ(Command+F)。 すると、左下に、キーワードを打ち込むための箱が現れる。
• 「/」キーを打つ。キーワードを１文字打つ度に、Emacs と同様に インクリメンタル・サーチが行われる。
• 一番上のメニューバーの「編集」メニューから「次を検索(Command+G)」を選ぶと、次の候補に移動する。

• 現在のメッセージ内のテキストを検索(Command+F)
• 現在のメッセージ内で再検索(Command+G)
• 現在のメッセージ内で前を再検索(Command+Shift+G)
• クイックフィルタバー。現在表示中のフォルダを検索。
• すべてのメッセージを検索 (グローバル検索)。

• 検索機能のキーボードショートカット
• クイックフィルタバー
• グローバル検索

• 「編集」メニューから「検索」を選ぶ

• AND (絞り込み検索)
• OR
• NOT (否定)

• 特定の Web サーバ内で検索する。
• フレーズによる検索。
• ワイルドカード。
• 更新された日時の指定。
• 地域の指定。
• ファイルの型の指定。
• その他

• https://www.google.co.jp/advanced_search
• http://search.yahoo.co.jp/web/advanced
• https://msdn.microsoft.com/en-us/library/ff795620.aspx
• https://duck.co/help/results/syntax

1. (検索ボックスに検索したいキーワードを打ち込む。後でもよい)
2. 検索ボックスの左側の虫眼鏡の部分をクリックして、 登録されている検索エンジンの一覧表を表示する。
   (クリックで拡大)
3. 一覧表の中かから、検索エンジンを選ぶ。

1. 一番上のメニューバーで、「Firefox」をクリックし、表示されたメニュー から「環境設定...」を選び、 Firefox、環境設定タブ を開く。
2. 「検索」パネルを開く。
3. 「デフォルト検索エンジン」の下の「▼」の部分をクリックし、 目的のものを選択する。
   (クリックで拡大)

★練習問題(2012) 筑波大学付属図書館の検索機能

★練習問題(2013) フィルタ・バブルの観測

★練習問題(2014) ジョブ制御

次の機能を確認しなさい。

• ^Z (Control+Z) キー
• jobs コマンド
• fg コマンド
• bg コマンド
• %によるジョブの指定方法
• stop コマンド (%による指定)
• kill コマンド (%による指定)

★練習問題(2015) 制御構造

• if then else fi
• for
• while
• case
• exec
• eval
• exit
• .

★練習問題(2016) bashの関数

★練習問題(2017) bash算術計算

$ cat add 
#!/bin/bash

a=$1
b=$2
x=$(($a + $b))
echo $x
$ ./add 10 20 
30
$ 

★練習問題(2018) 条件付きでplatexを2回実行する

ヒント: if を使う。 「&&」を使う方法もある。

★練習問題(2019) 条件付きでのplatex、dvipdfmx、Preview.appの連続実行

★練習問題(2020) C言語のソース・プログラムだけを表示するls

$ ls-c ~/syspro/file/ 
fd-print.c
file-copy.c
mmap-head.c
stdio-thru.c
utmp-print.c
wtmp-last10.c
ystat.c
ystat.h

余裕があれば、-l などのオプションが付けられるようにしなさい。

★練習問題(2021) バックアップ・ファイルとのdiff(複数ファイル)

$ diff-backup kadai10.txt kadai11.txt kadai12.txt 

★練習問題(2022) 小文字のファイル名への変更

$ mv-lower [A-Z]* 

ヒント：ファイル名を echo して、tr で小文字にして、それを `` でシェル変数に入れる。元の名前から小文字 の名前に mv で変える。

余裕があれば、大文字と小文字を変換することで、ファイルが上書きされる時 には警告を出したり、ユーザに問い合わせたりするようにしなさい。

★練習問題(2023) ファイルのn行目からm行目までの表示

$ show-n-m 10 20 filename 

余裕があれば、-n オプションを付けなさい。これは、ファイルに行番号を振 るものである。nl コマンドを使うとよい。(cat -n が使えるシステムもある。)

★練習問題(2024) カウント・ダウン

$ countdown 5 
5
4
3
2
1
0
$ 

■課題20 検索、正規表現、Emacsによる検索と置き換え

(1) 検索エンジンを利用しなさい。100件以下の Web ページがヒットするよう な、キーワード(できるだけ少なく)の組み合わせを探しなさい。この時、AND演 算、OR演算、NOT演算を利用してよい。レポートには、次の情報を含めなさい。

• 利用した検索エンジンの URL
• 検索エンジンに与えた表現
• AND、OR、NOTによる式

練習問題 WWW検索エンジンの利用、 練習問題 WWW検索エンジンの利用、site:、フレーズ、ワイルドカード 参照

(2) 次のプログラムから4つ選び、検索機能を利用してみなさい。

• Emacs
• Firefox (ページ内の検索。検索エンジンを使わないもの。)
• Thunderbird
• lv コマンド
• grep コマンドによる複数のファイルの検索
• ls コマンドと grep コマンドのパイプによる組み合わせ
• find コマンド
• MS-Word
• Excel

• 用いたプログラム。
• 検索の目的。何を検索したいのか。
• 行ったキー操作。ショートカットを使ったどうか。
• 検索機能を使わなかった時に、同じ目的を達成するための方法。 (例: 全てのメールを目で読んで探す。)
• 検索機能を使うことの利点。

練習問題 Emacs インクリメンタルな検索、 練習問題 Emacs 非インクリメンタルな検索、 練習問題 lvの検索機能、 練習問題 Thunderbirdの検索機能、 練習問題 オフィース・ツールの検索機能 参照。

(3) Emacs の query-replace の機能を 使って、次の文書の Emacs の部分を自分の学籍番号に変えなさい。

GNU Emacs is a version of Emacs, written by the author of the original
(PDP-10) Emacs, Richard Stallman.  The primary documentation of GNU
Emacs is in the GNU Emacs Manual, which you can read on line using
Info, a subsystem of Emacs.  Please look there for complete and
up-to-date documentation.  This man page is updated only when someone
volunteers to do so; the Emacs maintainers' priority goal is to
minimize the amount of time this man page takes away from other more
useful projects.  The user functionality of GNU Emacs encompasses
everything other Emacs editors do, and it is easily extensible since
its editing commands are written in Lisp.

練習問題 Emacs query-replace 参照

(4) [加点] The Unix Super Text の次の部分を読みなさい。

• Unix Super Text 上巻「第40章 sh」
• Unix Super Text 上巻「第41章 いろいろなシェル」(bash関連)
• Unix Super Text 上巻「第11章 csh入門」(適宜)
• Unix Super Text 上巻「第35章 フィルタのテクニック」

• testコマンド、「[」コマンド
• 「&&」
• 「||」
• if コマンド
• for
• while

• コマンド名
• 目的（例：こういう操作を簡単に実行できるようにするため。）
• 使い方（引数の説明など）
• ls -l の結果
• シェル・スクリプトの内容(ファイルを emacs C-x i 等で挿入する)

(5) [加点] 正規表現の検索機能を用いて、次のファイルやコマンドの出力から 目的のもの検索して画面に表示しなさい。選択ではなく、全て実行しなさい。 なお、grepコマンドには、or の機能がない。orが必要な場合、grep コマンド を複数回実行してもよい。egrep コマンドの「|」を用いれば 1 回で終 わることもある。

• ファイル: Webサーバ・アクセスログ 。 目的: 自分が作成したWWWページのうち、HTMLファイルへのアクセス。 (ssh で www にログインして行う。)
• コマンドの出力: ps auxw。 目的: 自分のプロセスだけ表示。(この課題では、ps の -U オプションを使わないこと。)
• コマンドの出力: ls -l。目的: ディレクトリだけ表示。
• コマンドの出力: ls -l。目的: 普通のファイル「以外」表示。
• コマンドの出力: ls -l。目的: グループ、または、他人が読めるものだけ表示。