検索、Emacsによる検索と置き換え、通信速度の感覚、木構造の限界、シンボリック・リンク

					2016年06月28日
情報科学類 コンピュータリテラシ

                                       筑波大学 システム情報系 情報工学域
                                       新城 靖
                                       <yas@cs.tsukuba.ac.jp>

このページは、次の URL にあります。
http://www.coins.tsukuba.ac.jp/~yas/coins/literacy-2016/2016-06-28
あるいは、次のページから手繰っていくこともできます。
http://www.coins.tsukuba.ac.jp/~yas/
http://www.cs.tsukuba.ac.jp/~yas/

■連絡事項

• Unix Super Text 「第33章 検索と置換」、 「第28章 World Wide Web」参考。
• 次回 7月1日金曜日 は、講義室 3A209 に集合。試験。

■補足

• 検索エンジンよりも、人（ＴＡ、教員、隣人）に聞いた方が早い 特に、プログラミングでは。
• 他人をうまく使う方法（相互なので、他人からうまく使われる方法）を鍛 えたい。

■検索に必要な考え方

◆ヒット率と選択率

ヒット率

欲しかった情報のうち、どのくらい見つかったか。

選択率

見つかった情報のうち、どのくらいが本当に欲しかったものか。

図? ヒット率と選択率

◆３つの論理演算

• AND、両方)、(&)
• OR、どちらか、または (|)
• NOT、否定、ふくまない (!)

「keyword1」で検索。

図? キーワードを１つ与えた時

図? キーワードを３つ与えた時(AND)

図? キーワードを３つ与えた時(OR)

図? キーワードを１つ与えた時(NOT)

NOT keyword1 AND keyword2 AND keyword3

図? キーワードを３つ与えた時(AND,NOT)

◆絞込検索

図? キーワードを１つ与えた時

図? キーワードを２つ与えた時

図? キーワードを３つ与えた時

絞込検索は、基本的には、AND と同じ（注意: キーワードの順番に反応する検 索エンジンもある。AND では順番は関係ない。）。

keyword1 AND keyword2 AND keyword3

図? キーワードを３つ与えた時(AND)

■WWW検索エンジン

インターネット上にある膨大な情報から、必要な情報を見つけ出すためには、 次のような方法がある。

• 興味のあるＷＷＷページに埋め込まれているリンクを次々と手繰っていく。
• 雑誌やテレビなど、一般のメディアに掲載されたURLを打ち込む。
• 人間によってよく整理されたメニュー(ディレクトリ)を次々に選択していく。
• キーワードを打ち込んで探す（キーワード検索）。 検索対象のデータ（今の場合、ＷＷＷページ）にも、キーワードが与えられて いる。キーワード検索とは、利用者から与えられたキーワードを持つ対象デー タを利用者に返すことである。

◆検索エンジンとWWWロボット

検索エンジン(サーチエンジン)

WWWで検索機能を使う時、実際に検索を行うプログラム。 インターネット上のあるWWWサーバで動いていてる。

検索対象のデータにキーワードを与える方法

• 内容すべてをキーワードと考える（全文検索）
• 特定のキーワードを与える
  • WWWページを作った人がキーワードを与える
  • 検索エンジンの提供者（人間）がキーワードを与える
  • プログラムでキーワードを自動抽出する

WWWロボット。クローラ。

WWWページからプログラムでキーワードを自動抽出するプログラム。

1. ロボットは、あるURLが与えられると、そのページ を訪れる（ページの内容を得る）。
2. 得たページの内容を解析して、キーワードを抽出する。
3. そのページにリンクが含まれていたら、1 に戻って繰り返す。

◆まとめページ、まとめサイトの危険性

◆検索エンジンでのAND、OR、NOT

AND

空白で区切り、キーワードを並べる。「AND」と書かない。

OR

OR と大文字書く。

NOT

マイナス「-」を使う。単独では使えない。「keyword1 -keyword2」のように使う。

• https://www.google.co.jp/advanced_search
• http://search.yahoo.co.jp/web/advanced
• https://msdn.microsoft.com/en-us/library/ff795620.aspx
• https://duck.co/help/results/syntax

◆検索エンジンの高度な検索機能

• 特定の Web サーバ内で検索する。

  site:ドメイン名
  site:http://www.coins.tsukuba.ac.jp
  site:tsukuba.ac.jp
  

• フレーズによる検索。単に AND ではなく、その順番で出てくる。 (ダブルクォートで括る)

  "word1 word2"
  "University of Tsukuba"
  "筑波大学"
  "情報科学類"
  

  ダブルクォート無しでは、"情報" "科学" "類", "情" "報科" "学類", "情報科 " "学類", "情報科学" "類" のような切り方で探す。
• ワイルドカード。単語の途中に入る。

  "word1 * word2"
  "University * Tsukuba"
  

• 更新された日時を指定する(例:過去1週間以内)
• 英語、日本語等の言語を指定する。
• 地域を指定する。
• ファイルの型(テキスト、PDF、等)を指定する。

◆フィルタ・バブル

• DuckDuckGo フィルターバブルから抜け出よう

■ファイルの検索

◆コマンドによるファイルの検索

シェル

ファイル名置換 (*,?,[]) のパタンを使って、ファイル名で検索できる。

find コマンド

ファイル名、属性（所有者、グループ、日付、モード）等で検索できる。 外部のコマンドも実行できる。 The Unix Super Text 33.1.5 参照

grep コマンド

ファイルの内容で検索できる。 The Unix Super Text 33.1.5 参照。 The Unix Super Text 第32章　正規表現 参照。

◆lv

キー	説明
/パタン	順方向検索
n	順方向検索次候補
/	順方向検索次候補
?パタン	逆方向検索
?	逆方向検索次候補

■正規表現(regular expression)

• 正規表現とは、文字列の集合を表す方法の一種。 対象となる文字列と適合するかしないか(マッチング)を行い、 適合するものだけを取り出す／適合しないものだけを取り出す。
• 検索や置換えで使う。
• オートマトン理論や言語理論に基づいた高速な実現方法がある。
• 単純な「ワイルドカード」よりも、高い表現能力を持つ。
• grep コマンド、Emacs、less (lv) での検索で使える。

• 完全一致／部分一致／前方一致／後方一致
• 単純なワイルドカード（*）。１カ所だけにに使える。複数箇所にはつかえない。 たとえば、「a*b*c」とは書けない。

「^」、「.」、「*」、「$」 は、 メタキャラクタ。特別の意味を持つ。 メタキャラクタを含まない文字列も、正規表現として意味を持つ。

◆正規表現の詳細

■Emacs

◆Emacsの検索

• インクリメンタル: 文字を1文字入力する度に、カーソルを移動する。 C-s (下方向)、C-r (上方向) で開始。RET (Return キー、Enter キー、 ) で終了。
• 非インクリメンタル: 検索したい文字列を全て打ち終えてから検索を開始する。 C-s (下方向)、C-r (上方向) 直後に、RET と打つ。

◆Emacsの検索と文字列の置換え

M-x query-replace (M-%, Esc %) が便利。

M-% と打つと、ミニバッファで次のように聞かれる。

Query replace: 置き換え前の文字列

Query replace 置き換え前の文字列 with: 置き換え後の文字列

その他に、次のような置換え機能がある。 The Unix Super Text 33.2 参照。

• replace-string: y/n を聞かないで一気に置換える
• replace-regexp: 正規表現を使って置換える。
• query-replace-regexp: 正規表現を使って置換える。y/n を聞いて来る。

■通信速度の感覚

• 情報量の感覚(5月2日)
• 文字の符号化(5月6日)
• 静止画像の符号化(5月10日)
• 音声の符号化(5月10日)
• 動画像の符号化(5月10日)

◆通信速度の単位

毎秒何ビット、bps、bit per second、bit/second

１秒間に何ビット送れるか

Byte/second、毎秒何バイト

１秒間に何バイトビット送れるか。 1 Byte/sec == 8 bps。

情報量の単位と同様に、通信速度にも次のような係数がことがある。

k (キロ、ケイ)

1024 か 1000

M (メガ)

k の 1024 倍か 1000 倍。1,000,000 くらい。

G (ギガ)

M の 1024 倍か 1000 倍。1,000,000,000 くらい。

T (テラ)

G の 1024 倍か 1000 倍。1,000,000,000,000 くらい。

◆通信速度の感覚

10 k bps

よく普及している携帯電話で得られる速度

32 k bps - 56 k bps

電話回線経由で接続した時に得られる速度。

32 k bps または 64 k bps

PHS (Personal Handy Phone) で得られる速度

64 k bps

ISDN (電話回線と同じ電線で直接ディジタル信号を流す時)

100 k bps

MP3 などで圧縮した音楽を流す時に必要な速度。

128 k bps

ISDN で2回線同時に使った時。

1500 k bps (1.5 M bps)

ISDN (光ファイバでディジタル信号を流す時)

1500 k bps (1.5 M bps)

音楽用 CD を圧縮しないでまま流す時に必要な速度。 (1倍速のCDの速度。)

1500 k bps (1.5 M bps)

ケーブルテレビや ADSL という方式でインターネット接続を した時に得られる速度。

5000 k bps (5 M bps)

DVD-Video を再生している時にディスクから読み出されている データの速度。

10 M bps, 100 M bps, 1000 M bps (1 G bps), 10 G bps

イーサネット(LANでよく使われている)

実習室のパソコンは、1G bps で学内LANに接続されている。

学内LANの基幹部分は、1G bps - 16G bps で接続されている。

筑波大学学内LANは、 SINET5 (2016年-)へ 100Gbps、 で繋がっている。 ただし、 coins、宿舎、無線LAN等の一般的な所から利用する時には、 全体で 30G bps という制約がある。 また、 防火壁(ファイアウォール(firewall)) による制約で速度が低下することもある。

■ファイルとディレクトリの木構造を扱うプログラム

例:

• ls : 引数で指定されたディレクトリの内容を表示する。
• ls -R (Recursively): 引数の中にディレクトリがあり、そのディレクト リの中に別のディレクトリがあれば、それも ls -R で表示する。
• cp: 引数で指定されたファイルをコピーする。
• cp -r dir1 dir2: 引数ではディレクトリを取る。 コピー元のディレクトリにディレクトリが含まれていれば、 それも cp -r でコピーする。
• rm: 引数で指定されたファイルを削除する。
• rm -r dir: 引数で指定されたディレクトリを削除するが、その前にその ディレクトリに含まれているファイルやディレクトリをrm -r で削除する。
• chmod: 引数で指定されたファイルのモードを変更する。
• chmod -R: 引数ではディレクトリを取る。

何もしないと、自動的に再帰的な処理を行うプログラムもある。例: tar, tree, find 等。

ディレクトリに対しても mv コマンドは有効である。ディレクトリの名前を mv で変更すると、木構造で考えると、それ以下のファイルの名前を全て変更し たことと同じ効果がある。

ファイルのコピーでは、以下で述べるシンボリック・リンク等の問題があるため、 cp -r では不十分なことが多い。

■木構造の制約と問題点

大量の情報を保存するには、木構造を使うしかない。 しかし、木構造だけではうまくいかない。

◆こうもりの分類問題

図13 こうもりの分類（１）

図14 こうもりの分類（２）

◆シンボリック・リンク／エイリアス／ショートカット

木構造は、ファイルを整理するのに非常に強力な構造である。しかし、それだ けでは、ファイルを整理するには不都合が起きる。それを解消するために、次 のような名前で呼ばれる仕組みが用意されている。

• シンボリック・リンク(symbolic link,UNIX)
• エイリアス(alias, Macintosh)
• ショートカット(shortcut, Windows)

注意：bash, csh の alias とファイル名の alias (Macintosh) は、まったくの別物。

図15 こうもりの分類（別名つき）

◆ハイパーテキストとハイパーメディア

木構造を補う方法として、 ハイパーテキスト を使うことがある。

■シンボリック・リンク

例：java コマンド

$ ls -l /usr/bin/java 
lrwxr-xr-x  1 root  wheel  74 10  7  2015 /usr/bin/java -> /System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java
$ 

$ ls -l /System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java 
-rwxr-xr-x  1 root  wheel  54624  2  7  2014 /System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java
$ 

シンボリック・リンクを作成するには、ln -s コマンドを使う。

$ ln -s oldname newname 

◆cpコマンドとシンボリック・リンク

$ cat file1 
cat: file1: No such file or directory
$ echo file1 > file1 
$ cat file1 
file1
$ ln -s file1 slink1 
$ cat slink1 
file1
$ ls -l file1 slink1 
-rw-r--r--  1 yas  prof  6  6 17 14:20 file1
lrwxr-xr-x  1 yas  prof  5  6 17 14:20 slink1 -> file1
$ cp slink1 file2 
$ ls -l file2 
-rw-r--r--  1 yas  prof  6  6 17  2015 file2
$ cat file2 
file1
$ 

■授業アンケート

■実習

• Emacs を実行する
• C-x C-f で大きなファイル(1画面に入らないくらい)を開く
• C-s と打ち、インクリメンタルサーチを開始する。
• ファイルの下の方に存在するであろう文字列のうち、先頭の何文字かを打つ。 たとえば、abc123 を検索したい場合、abc 程度で止める。
  • 見つかれば、RET で終了する
  • 見つかななければ、C-s で次に進むか、さらに追加の文字を打つ

• Emacs を実行する
• C-x C-f で大きなファイル(1画面に入らないくらい)を開く
• Esc > (M->) で、ファイルの末尾に移動する。
• C-r と打ち、インクリメンタルサーチを開始する。
• ファイルの「上の方」に存在するであろう文字列のうち、先頭の何文字かを打つ。 たとえば、abc123 を検索したい場合、abc 程度で止める。
  • 見つかれば、RET で終了する
  • 見つかななければ、C-r で次に進むか、さらに追加の文字を打つ

• インクリメンタル・サーチで、文字を打つ前に RET () を打つ
• 文字を打ち、RET

1. 練習用に、内容が破壊されても問題ないファイルを用意する。 たとえば、過去に提出したレポートを cp コマンドでコピーする。
2. そのファイルを emacs 開く
3. M-% (Esc %)と打つ
4. 以後、Emacsの検索と文字列の置換え参照。

• lv を実行する。lv でファイルを表示したり、 man コマンドでマニュアルを表示する。

  $ man lv 
  $ lv -h 
  

• 「/文字列」で検索。例「/-l 」
• 「n」 で次を検索
• 「/」 で次を探す
• 「G」でファイルの末尾に移動
• 「?文字列」で逆方向に検索
• 「?」で逆方向に次を検索

• 一番上のメニューバーの「編集」メニューから「検索」を選ぶ(Command+F)。 すると、左下に、キーワードを打ち込むための箱が現れる。
• 「/」キーを打つ。キーワードを１文字打つ度に、Emacs と同様に インクリメンタル・サーチが行われる。
• 一番上のメニューバーの「編集」メニューから「次を検索(Command+G)」を選ぶと、次の候補に移動する。

• 現在のメッセージ内のテキストを検索(Command+F)
• 現在のメッセージ内で再検索(Command+G)
• 現在のメッセージ内で前を再検索(Command+Shift+G)
• クイックフィルタバー。現在表示中のフォルダを検索。
• すべてのメッセージを検索 (グローバル検索)。

• 検索機能のキーボードショートカット
• クイックフィルタバー
• グローバル検索

• 「編集」メニューから「検索」を選ぶ

• AND (絞り込み検索)
• OR
• NOT (否定)

• 特定の Web サーバ内で検索する。
• フレーズによる検索。
• ワイルドカード。
• 更新された日時の指定。
• 地域の指定。
• ファイルの型の指定。
• その他

• https://www.google.co.jp/advanced_search
• http://search.yahoo.co.jp/web/advanced
• https://msdn.microsoft.com/en-us/library/ff795620.aspx
• https://duck.co/help/results/syntax

1. (検索ボックスに検索したいキーワードを打ち込む。後でもよい)
2. 検索ボックスの左側の虫眼鏡の部分をクリックして、 登録されている検索エンジンの一覧表を表示する。
   (クリックで拡大)
3. 一覧表の中かから、検索エンジンを選ぶ。

1. 一番上のメニューバーで、「Firefox」をクリックし、表示されたメニュー から「環境設定...」を選び、 Firefoxの環境設定タブ を開く。
2. 「検索」パネルを開く。
3. 「デフォルト検索エンジン」の下の「▼」の部分をクリックし、 目的のものを選択する。
   (クリックで拡大)

★練習問題(2012) 筑波大学付属図書館の検索機能

★練習問題(2013) ls -Rコマンド

$ cd ~ 
$ ls -R    . | lv 
$ ls -lR   . | lv 
$ ls -laR  . | lv 

★練習問題(2015) シンボリック・リンクの調査

• /Applications
• /usr
• /usr/bin

$ ls -l /Applications | grep '^l' 

★練習問題(2016) Finder によるエイリアスの作成

★練習問題(2017) Emacs Dired によるディレクトリ木の表示

★練習問題(2018) lynx,w3m コマンドによるディレクトリ木の表示

$ lynx . 
$ lynx ~ 

$ w3m . 
$ w3m ~ 

★練習問題(2019) フィルタ・バブルの観測

★練習問題(2020) ジョブ制御

次の機能を確認しなさい。

• ^Z (Control+Z) キー
• jobs コマンド
• fg コマンド
• bg コマンド
• %によるジョブの指定方法
• stop コマンド (%による指定)
• kill コマンド (%による指定)

★練習問題(2021) 制御構造

• if then else fi
• for
• while
• case
• exec
• eval
• exit
• .

★練習問題(2022) bashの関数

★練習問題(2023) bash算術計算

$ cat add 
#!/bin/bash

a=$1
b=$2
x=$(($a + $b))
echo $x
$ ./add 10 20 
30
$ 

★練習問題(2024) 条件付きでplatexを2回実行する

ヒント: if を使う。 「&&」を使う方法もある。

★練習問題(2025) 条件付きでのplatex、dvipdfmx、Preview.appの連続実行

★練習問題(2026) C言語のソース・プログラムだけを表示するls

$ ls-c ~/syspro/file/ 
fd-print.c
file-copy.c
mmap-head.c
stdio-thru.c
utmp-print.c
wtmp-last10.c
ystat.c
ystat.h

余裕があれば、-l などのオプションが付けられるようにしなさい。

★練習問題(2027) バックアップ・ファイルとのdiff(複数ファイル)

$ diff-backup kadai10.txt kadai11.txt kadai12.txt 

★練習問題(2028) 小文字のファイル名への変更

$ mv-lower [A-Z]* 

ヒント：ファイル名を echo して、tr で小文字にして、それを `` でシェル変数に入れる。元の名前から小文字 の名前に mv で変える。

余裕があれば、大文字と小文字を変換することで、ファイルが上書きされる時 には警告を出したり、ユーザに問い合わせたりするようにしなさい。

★練習問題(2029) ファイルのn行目からm行目までの表示

$ show-n-m 10 20 filename 

余裕があれば、-n オプションを付けなさい。これは、ファイルに行番号を振 るものである。nl コマンドを使うとよい。(cat -n が使えるシステムもある。)

★練習問題(2030) カウント・ダウン

$ countdown 5 
5
4
3
2
1
0
$ 

■課題20 検索、Emacsによる検索と置き換え、通信速度の感覚、木構造の限界、シンボリック・リンク

(1) 検索エンジンを利用しなさい。100件以下の Web ページがヒットするよう な、キーワード(できるだけ少なく)の組み合わせを探しなさい。この時、AND演 算、OR演算、NOT演算を利用してよい。レポートには、次の情報を含めなさい。

• 利用した検索エンジンの URL
• 検索エンジンに与えた表現

練習問題 WWW検索エンジンの利用、 練習問題 WWW検索エンジンの利用、site:、フレーズ、ワイルドカード 参照

(2) 次のプログラムから2つ選び、検索機能を利用してみなさい。

• Emacs
• Firefox (ページ内の検索。検索エンジンを使わないもの。)
• Thunderbird
• MS-Word
• Excel
• lv コマンド
• find コマンド

• 用いたプログラム。
• 検索の目的。何を検索したいのか。
• 行ったキー操作。ショートカットを使ったどうか。
• 検索機能を使わなかった時に、同じ目的を達成するための方法。 (例: 全てのメールを目で読んで探す。)
• 検索機能を使うことの利点。

練習問題 Emacs インクリメンタルな検索、 練習問題 Emacs 非インクリメンタルな検索、 練習問題 lvの検索機能、 練習問題 Thunderbirdの検索機能、 練習問題 オフィース・ツールの検索機能 参照。

(3) Emacs の query-replace の機能を 使って、次の文書の Emacs の部分を自分の学籍番号に変えなさい。

GNU Emacs is a version of Emacs, written by the author of the original
(PDP-10) Emacs, Richard Stallman.  The primary documentation of GNU
Emacs is in the GNU Emacs Manual, which you can read on line using
Info, a subsystem of Emacs.  Please look there for complete and
up-to-date documentation.  This man page is updated only when someone
volunteers to do so; the Emacs maintainers' priority goal is to
minimize the amount of time this man page takes away from other more
useful projects.  The user functionality of GNU Emacs encompasses
everything other Emacs editors do, and it is easily extensible since
its editing commands are written in Lisp.

練習問題 Emacs query-replace 参照

(4) 漢字2000文字からなる文書を考える。漢字1文字を2バイト(16ビット)で符 号化すると、何バイト（何ビット）必要か。この文書を、通信速度が10M bps (bit / s)のネットワークで転送すると、何秒かかるか。ただし、ネットワーク の通信速度でデータが転送可能であるものとする。データ圧縮は行われないも のとする。計算過程も含めて示しなさい。

(6) [加点] The Unix Super Text の次の部分を読みなさい。

• Unix Super Text 上巻「第40章 sh」
• Unix Super Text 上巻「第41章 いろいろなシェル」(bash関連)
• Unix Super Text 上巻「第11章 csh入門」(適宜)
• Unix Super Text 上巻「第35章 フィルタのテクニック」

• testコマンド、「[」コマンド
• 「&&」
• 「||」
• if コマンド
• for
• while

• コマンド名
• 目的（例：こういう操作を簡単に実行できるようにするため。）
• 使い方（引数の説明など）
• ls -l の結果
• シェル・スクリプトの内容(ファイルを emacs C-x i 等で挿入する)

(7) [加点] 正規表現の検索機能を用いて、次のファイルやコマンドの出力から 目的のもの検索して画面に表示しなさい。選択ではなく、全て実行しなさい。 なお、grepコマンドには、or の機能がない。orが必要な場合、grep コマンド を複数回実行してもよい。egrep コマンドの「|」を用いれば 1 回で終 わることもある。

• ファイル: Webサーバ・アクセスログ 。 目的: 自分が作成したWWWページのうち、HTMLファイルへのアクセス。 (ssh で www にログインして行う。)
• コマンドの出力: ps auxw。 目的: 自分のプロセスだけ表示。(この課題では、ps の -U オプションを使わないこと。)
• コマンドの出力: ls -l。目的: ディレクトリだけ表示。
• コマンドの出力: ls -l。目的: 普通のファイル「以外」表示。
• コマンドの出力: ls -l。目的: グループ、または、他人が読めるものだけ表示。