![[←]](../icons/screen-return.gif){kind=icon}
筑波大学 システム情報系 情報工学域
新城 靖
<yas@cs.tsukuba.ac.jp>
このページは、次の URL にあります。
http://www.coins.tsukuba.ac.jp/~syspro/2012/2012-05-23
あるいは、次のページから手繰っていくこともできます。
http://www.coins.tsukuba.ac.jp/~syspro/2012/
http://www.coins.tsukuba.ac.jp/~yas/
~yas/syspro/ipc/echo-client-fdopen-one.c なら次のようにして
コピーできる。
$ cp ~yas/syspro/ipc/echo-client-fdopen-one.c .
「$」は、プロンプトであり、実際には、「cosmos38:~
s0812345$ 」のようになっている。コピーする時には、打たない。また、末尾
の「.」を打つこと。これはカレント・ワーキング・ディレクトリの意
味である。
M-x replace-regexp
Replace regexp (default 省略): ^......
Replace regexp ^...... with:
ただし、Web ページにあるプログラム(行番号があるもの)は、一部省略されて
いるので、そのまま行番号を削除しただけでは動作しないことがある。
したがって、cpコマンド でコピーすべきである。
字下げが気に入らない時には、M-x indent-region を使うとよい。region を設 定するには、C-SPC (control + space) でマークを設定して、カーソルを移動 させる。タブ・キーも使えるが、1行ずつしかできない。
ことえりでバックスラッシュを入力できるようにすると良い。 また、 MacOSX の Spotlight のショートカット・キーを解除 すべきである。
カーソル移動には、M-< やM-> も使
える。
本日の課題では、Java言語でプログラムを作成してもよい。ただし、利用して もよいのは、Socket, ServerSocket, DatagramSocket 等の Socket API に近い レベルのAPI を提供するクラスのみである。高レベルのクラス、たとえば、 HttpURLConnection を用いてはならない。
インターネット上のアプリケーションの多くは、TCP/IPという仕組みを用いて 通信を行っている。
TCP/IPは、信頼性のある（reliable）双方向のストリーム転送サービス （stream transport service）を提供する通信プロトコルである（図１）。ス トリームは、次のような性質がある転送サービスである。
図１(a) TCP/IPにより提供される双方向ストリーム
図１(b) Unixのパイプにより提供される単方向ストリーム
なお、Ｃ言語のライブラリ関数である fopen(), fgets(), fputs() なども、 ストリームと呼ばれることがある。これは、もともとランダム・アクセス可能 で、メモリ中の配列と同じようにアクセスするすることもできるファイルを、 まるでプロセス間通信のストリームと同じように扱うことができることにも 関係している。
TCP/IP では、プロセスとプロセスが、電話で会話をするように通信が行われ る。普通の電話で人間同士が話をするには、まず電話番号を指定して、話相手 に電話をとってもらわなければならない。TCP/IP においても同様である。 TCP/IPでは、電話を掛ける方をクライアント・プロセス、電話を待つ方をサー バ・プロセスと言いう。
TCP/IP では、回線を接続する段階では、クライアント・ プロセスとサーバ・プロセスは非対称である。一度仮想回線が接続された後は、 両方のプロセスは、TCP/IPのレベルでは、まったく対称的になる。
TCP/IPにおいてプロセス間に仮想回線を開設するには、IPアドレスとポート番 号が必要である。ポート番号は、同じIPアドレスを持つホスト上で動いている プロセスを区別するために使われる。
以下に、通信路が開設される手順を示す。
こうして一度通信路が開設されると、クライアントとサーバは、どちらからで もデータを送り始めることができる。
図３（ａ） TCP/IP通信路の開設（１） 図３（ｂ） TCP/IP通信路の開設（２） 図３（ｃ） TCP/IP通信路の開設（３）
TCP/IPにおける通信路開設において、クライアントは、サーバ側の接続要求受 付用ポートのポート番号を、事前に知っている必要がある。サーバは、普通、 ポート番号を固定する。いくつかの主要なサービスでは、利用すべきポート番 号が決められている。たとえば、HTTP ならば、80 を使う。
クライアント側の通信用ポートのポート番号は、通常は、オペレーティング・ システムにより自動的に割り当てられる。
int tcp_connect( char *server, int portno ) [独自]
server のポート番号 (portno) へ
TCPで通信路を開設する。
そのTCP/IPのストリームに対応したファイル記述子を返す。
int fdopen_sock( int sock, FILE **inp, FILE **outp ) [独自]
FILE *に変換する。2つのうち、1つは受信用、もう1つは送信用。
int fprintf(FILE *out,char *fmt, ...) [標準]
char *fgets(char *buf, int n, FILE *in ) [標準]
size_t fwrite(void *buf, size_t size, size_t nitems, FILE *out) [標準]
size_t fread(void *buf, size_t size, size_t nitems, FILE *in)) [標準]
FILE *については、
前半第3週「11. ファイルアクセス」
も参照。
図？(a) 構造化されていないもの
図？(b) 構造化されたもの
クライアント・サーバ・モデルは、プロセス間通信を構造化したものであり、 最近の用語でいうと、デザイン・パターンの１つである。プログラミングの歴 史の中で「構造化」という言葉は、まず、「制御構造」に対して使われた。構 造化プログラミングとは、goto文を、よい goto 文と悪い goto文に分け、よ い goto 文だけを使うようにしようとするものである。初期のプログラミング では、アセンブリ言語や貧弱な制御構造しか持たない Fortran が使われてい たが、その時は、jump 命令や goto 文が多用されていた。そのような jump 命令や goto 文にも、分かりやすいものとわかりにくいものがあった。そこで、 よい goto 文のパターンを整理して、それだけを使ってプログラムを書くのが よいとされた。そしてよい goto 文にはプログラミング言語のレベルでif、 while、continue、break、そして、手続き呼出し(call)とreturn という特別 な形式が割り当てられた。Ｃ言語や Pascal では、goto 文が残されたが、 Java などの最近の言語ではgoto 文が記述できなくなっている。
プロセス間通信を構造化するという意味でのクライアント・サーバ・モデル
では、まずプロセスをクライアントとサーバの２種類に分ける。
図? 通信のパタンからみたクライアントとサーバの定義
クライアント・サーバ・モデルに基づくプログラムには次のようなことを行う プロセスは存在しない。
connect(s); // 接続要求。accept() と対応。
send(s,message); // 要求
receive(s,message); // 応答
send(s,message); // 要求
receive(s,message); // 応答
... // 必要回数繰り返す
close(s); // 接続の切断。
注意1：ここで、connect(), send(), receive() は、抽象的な意味。
具体的なシステム・コールの使い方を説明したものではない。
send() や receive() は、複数の具体的なシステム・コールと対応することが ある。たとえば、1回のシステム・コールでは送信できない場合、（ループして） 複数回のシステム・コールを用いることもある。
make_port(a); // 受付端の登録。
while( 1 )
{
s=accept(a); // 実際の受付。connect() と対応。
while( !eof(s) )
{
receive(s,message); // 要求の受信
send(s,message); // 応答の送信
}
close(s); // 接続の切断。
}
$ telnet hostname
以後、ユーザ名とパスワードを打ち、そのホストへログインできる。そしてシェ
ルにより対話的に利用できる。(coins では、telnet による遠隔ログインのサー
ビスを提供していない。)
$ telnet hostname portno
以下の例は、echo サービス(ポート番号7番)を提供しているサーバに telnet コマンドをクライアントとして接続している。echo サービスは、送られて来た 文字列（最後に改行）をそのまま送り返すものである。
$ egrep '^echo[ ].*/tcp' /etc/services
echo 7/tcp # Echo
$ telnet cosmos10.coins.tsukuba.ac.jp 7
Trying 130.158.86.150...
Connected to cosmos10.coins.tsukuba.ac.jp.
Escape character is '^]'.
hello
hello
exit
exit
quit
quit
^]
telnet> quit
Connection closed.
$ ![[]](../icons/screen-cursor.gif)
注意：coins では、echo サービスを iMac で動作させている。
セキュリティ上の理由から、echo などの、システムプログラムの講義くらいで
しか役に立たないようなサービスを停止することが、最近では一般的である。
$ cp ~yas/syspro/ipc/echo-client-fdopen-one.c .
$ make echo-client-fdopen-one
cc echo-client-fdopen-one.c -o echo-client-fdopen-one
$ ./echo-client-fdopen-one
Usage: ./echo-client-fdopen-one host port 'message'
$ ./echo-client-fdopen-one cosmos10.coins.tsukuba.ac.jp 7 hello
sent: 6 bytes [hello
]
received: 6 bytes [hello
]
$ ./echo-client-fdopen-one cosmos10.coins.tsukuba.ac.jp 7 exit
sent: 5 bytes [exit
]
received: 5 bytes [exit
]
$ ./echo-client-fdopen-one cosmos10.coins.tsukuba.ac.jp 7 quit
sent: 5 bytes [quit
]
received: 5 bytes [quit
]
$
このプログラムは、コマンドラインから３つの引数をとる。第１引数で指
定されたホスト上の、第２引数で指定されたポートで動作しているサーバに接
続する。そして、第３引数で与えられたメッセージをサーバへ送る。echo
サービスのサーバは、同じ文字列を送り返して来る。このプログラムは、サー
バから送り返されてきた文字列を受取り、結果を画面に表示する。
telnet コマンドとは異なり、文字列を１つしか送受信しない。
1: /*
2: echo-client-fdopen-one.c -- 文字列を送受信するクライアント(TCP/IP版)
3: ~yas/syspro/ipc/echo-client-fdopen-one.c
4: Created on: 2009/06/01 21:13:38
5: */
6: #include <stdio.h>
7: #include <stdlib.h> /* exit() */
8: #include <string.h> /* memset(), memcpy() */
9: #include <sys/types.h> /* socket() */
10: #include <sys/socket.h> /* socket() */
11: #include <netinet/in.h> /* struct sockaddr_in */
12: #include <netdb.h> /* getaddrinfo() */
13: #include <string.h> /* strlen() */
14:
15: extern int echo_client_one( char *server, int portno, char *message );
16: extern int echo_send_request( FILE *out, char *message );
17: extern int echo_receive_reply( FILE *in, char buf[], int size );
18: extern int tcp_connect( char *server, int portno );
19: extern int fdopen_sock( int sock, FILE **inp, FILE **outp );
20:
21: main( int argc, char *argv[] )
22: {
23: char *server ;
24: int portno ;
25: char *message ;
26: if( argc != 4 )
27: {
28: fprintf( stdout,"Usage: %s host port 'message'\n",argv[0] );
29: exit( -1 );
30: }
31: server = argv[1] ;
32: portno = strtol( argv[2],0,10 );
33: message = argv[3];
34: echo_client_one( server, portno, message );
35: }
main() 関数は、コマンドラインの引数を調べて、echo_client_one() を呼んで
いる。第2引数のポート番号については、strtol() で、文字列として与えられ
た数を、int に変換している。
36:
37: #define BUFFERSIZE 1024
38:
39: int
40: echo_client_one( char *server, int portno, char *message )
41: {
42: int sock ;
43: FILE *in, *out ;
44: char rbuf[BUFFERSIZE];
45: int res;
46:
47: sock = tcp_connect( server, portno );
48: if( sock<0 )
49: exit( 1 );
50: if( fdopen_sock(sock,&in,&out) < 0 )
51: {
52: fprintf(stderr,"fdooen()\n");
53: exit( 1 );
54: }
55: res = echo_send_request( out, message );
56: if( res < 0 )
57: {
58: fprintf(stderr,"fprintf()\n");
59: exit( 1 );
60: }
61: fprintf( stdout, "sent: %d bytes [%s\n]\n",res,message );
62: res = echo_receive_reply( in, rbuf, BUFFERSIZE );
63: if( res < 0 )
64: {
65: fprintf(stderr,"fprintf()\n");
66: exit( 1 );
67: }
68: printf("received: %d bytes [%s]\n", res, rbuf );
69: fclose( in );
70: fclose( out );
71: }
72:
echo_client_one() では、tcp_connect() という関数を呼び出している。この結果、
サーバとの間に TCP/IP通信路の開設され、通信可能なファイル記述子
(ファイルディスクリプタ)
が返さ
れる。このファイル記述子は、標準入出力(0,1,2)や open() システム・コー
ルの結果と同じもので、
write() システムコールや read() システムコールの第一引数とし
て使うことができる。つまり、write() システムコールを使うと、ネットワー
クに対してデータを送り出すことができ、read() システムコールを使うとネッ
トワークからデータを受け取ることができる。最後に不要になったら close()
で解放する。
このプログラムでは、fdopen_sock() を使って、通信可能なファイル記 述子 com から２つの FILE * を作成している。１つは、入力用、１つは出力 用である。その結果、 高水準入出力ライブラリ を使って通信が行えるようになっている。fprintf() で出力用の FILE * に書 き込むと、ネットワークに対してデータが送り出される。入力用の FILE * に fgets() を行うと、ネットワークからデータを受け取ることができる。
echo_send_request() を呼び出して、要求メッセージを送信している。 echo_receive_reply() を呼び出して、応答メッセージを受信している。
73: int
74: echo_send_request( FILE *out, char *message )
75: {
76: int res;
77: res = fprintf( out, "%s\n", message ); /* send a request with '\n' */
78: return( res );
79: }
80:
echo_send_request() は、エコー・サービスで、要求メッセージを 送信する関数である。 TCP/IP の通信では、行単位(最後に\n)でデータを送受信することが多い。 このプログラムでは、fprintf() で行末に改行(\n)を付加している。
81: int
82: echo_receive_reply( FILE *in, char buf[], int size )
83: {
84: char *res;
85: res = fgets( buf, size, in ); /* receive a reply message */
86: if( res )
87: return( strlen(buf) );
88: else
89: return( -1 );
90: }
91:
echo_receive_reply() は、エコー・サービスで、要求メッセージを
送信する関数である。
fgets() を使って、文字列のデータを行末「\n」まで受信している。
echo サービスでは、１行送り、１行受け取る。他のサービスでは、１行送っ て複数行受け取ったり、受け取る方では行の概念がなくなるもの(HTTPで画像 データを受け取る場合など)もある。その場合は、fprintf() や fgets() では なくて、fwrite() や fread() を使う必要がある。
http://www.coins.tsukuba.ac.jp:80/index.html
Firefox などのクライアントは、まずホスト名 www.coins.tsukuba.ac.jp とポート 番号 80 を使ってサーバとの間に TCP/IP の通信路を開設する。そして、クラ イアントは、開設した通信路を使って、サーバに次のような文字列を送る。
GET /index.html HTTP/1.0←↓
←↓
ここで、"GET" が命令の種類、"/index.html" は、GETの引数の、要求してい るデータを表わす URL (ファイル名)、"HTTP/1.0" は、使っているプロトコル のバージョンである。次の空行は、命令のヘッダ部分の終りを意味するもので あり、必要である。「←」は、キャリッジ・リターンのコード(0x0d,C言語で' \r')、「↓」は、ニューラインのコード(0x0a,C言語で'\n')である。HTTP の ヘッダでは、行末に「←↓」を付けるように規定されている。（サーバを構築 する場合には、「←」か「↓」のどちらか１つしかこない場合でもきちんと動 作することが求められている。）
HTTP/1.1 200 OK←↓ Date: Sun, 27 May 2012 11:39:47 GMT←↓ Server: Apache←↓ Accept-Ranges: bytes←↓ Content-Length: 15885←↓ Connection: close←↓ Content-Type: text/html←↓ ←↓ (空行) 本文（HTML）応答のうち、最初の行が、状態行（status line）と呼ばれる、要求が成功した か失敗したかわ表わしている行である。"200" とは、成功したという意味であ る（表３参照）。２行目から最初の空行（「←↓」だけの行）までは、応答メッ セージのヘッダである。応答メッセージのヘッダには、データの型や、サーバ のバージョン、データが更新された日付と時刻、バイト数などが記録されてい る。
応答で、最初の空行（「←↓」だけの行）の次が、データの本体である。この 例では、HTMLで記述されたデータが返されている。サーバは、データ転送が完 了すると、TCP/IP の通信路を切断する。
クライアントは、受け取ったデータを整形して利用者に対して表示する。たと えば、インライン・イメージとして指定されたデータを続けてサーバに要求し て展開したり、フォントを変えたりして表示する。
$ telnet www.coins.tsukuba.ac.jp 80
telnet で接続した後に、HTTP の要求メッセージを2行(空行含む)送っている。
それに対して、HTTP/1.1 200 OK 以下が、HTTPの応答である。
表３ HTTPで定義されている状態コードの例
状態コード 説明 -------------------------------------------------------------------- 200 OK(エラーなし) 301 要求されたデータが移動した 302 見つからない 303 別のページを見よ 304 ページは変更されていない 400 要求の形式にエラーがある 401 ページの閲覧が承認されななかった 403 アクセスが許されていない 404 要求されたデータが見つからない 501 メソッドが実装されていない
システムプログラムの授業では、主に次のデータを扱うことにし、 marshaling/unmarshalingの問題を深くは取り扱わない。
\n や \r\n 等の行末を意味
する制御文字を置く。C言語の
文字列操作ライブラリ(前半第2週)
で操作できる。
$ telnet サーバ名 80
接続後、キーボードからHTTPに従い要求メッセージを打ち込む。
たとえば、以下の例は、coins のトップページを得るための要求を示す。
$ telnet www.coins.tsukuba.ac.jp 80
GET /index.html HTTP/1.0
...
最初の行は、空白で区切られた３つの部分がなること、改行が２個あることに
注意しなさい。要求を打つと、問題がなければ画面には目的の HTML ファイル
が表示される。
coins のトップページは、文字コードとして UTF-8 を用いている(2012年 5月)。自分で試す時には、端末の文字コードを UTF-8 にするか、 /index.html 以外で、英語や端末の文字コードと一致しているページを選ぶと よい。たとえば、自分のホーム・ページ(~/public_html/index.html) を アクセスするには、GET に次のようなファイル名を与える。
GET /~ログイン名/index.html HTTP/1.0←↓
←↓
システムプログラムのページならば、次のようなファイル名を与える。
GET /~syspro/2012/index.html HTTP/1.0←↓
←↓
Web サーバとしては、coins 以外のものにも接続してみなさい。また、要求す
るファイルとして、/index.html 以外のものを指定してみなさい。
練習問題(602) wgetコマンド
wget は、URLを引数として取り、その資源をサーバから取得してファイルに保
存するコマンドである。wget コマンドを使ってみなさい。
$ wget http://www.coins.tsukuba.ac.jp/index.html
詳しくは、man wget か、wget -h を実行しなさい。
次のオプションを使ってみなさい。
練習問題(601) で、キーボードからどのような文字列を打っ たのかを思い出しなさい。そして、それを printf() で画面に表示するプログ ラムを作成しなさい。
$ ./http-print-request-get-index-html
GET /index.html HTTP/1.0
$
$ ./http-print-request /index.html
GET /index.html HTTP/1.0
$ ./http-print-request /01_compliment.html
GET /01_compliment.html HTTP/1.0
$
HTTPサーバに HTML 等のテキスト・ファイルを要求し、その内容を画面に表示 するプログラムを作りなさい。このプログラムの名前を、wcat とする。
wcat コマンドは、次のように３つの引数を与えて利用するものとする。
$ ./wcat host port file
（ここに、サーバから取得したテキストが表示される）
$
ここで、host は、ホスト名、port は、TCP/IP のポート番号、file は、得る
べきファイル名である。これは、URL の文法で記述すると、次のようになる。
http://host:port/file
なお、wcat では、ポート番号の引数を省略しないものとする（省略可能なよ うに工夫してもよい）。HTTP プロトコルで用いられる標準のポート番号は、 80である。
プログラム全体の構造は、次のようになる。
プログラムをつくる時には、
行末の扱い(CR-LF)に注意しないさい。
行末は、\n ではなく \r\n となっていることがある。
空行も、"\n" ではなく "\r\n" となっていることがある。
$ ./http-response-header file.txt
（ここにヘッダ部分が表示される）
$
HTTPの応答のヘッダ部分は、複数行から構成される。ヘッダの終わりには
空行がある。従って、空行が来るまで、ループして行単位でヘッダを読み込む。
このプログラムを作成する時に用いるデータは、 wget コマンドを用いて作成す ることができる。
$ wget --save-headers URL -O file.txt
注意：wget の -O は、大文字である。
小文字-o は、別の意味がある。
wget のバージョンによっては、--save-headers の代わりに-S
が使えることもある。
$ ./http-response-content file.txt
（ここに本体部分が表示される）
$
$ ./wsave host port file localfile
（画面には何も出力されない）
$
最初の3つの引数は、練習問題(605) のwcatと同じである。
最後の引数は、保存するローカル・ファイルである。
このプログラムでは、本体部分ではバイナリデータを扱う必要がある。 fdopen_sock() を使う場合、ヘッダについては、fgets() を使っ てデータを送受信してもよい。しかし、ヘッダが終わった後、本体部分では、 fread() を使う必要がある。
本体をファイルに保存する部分は、 前半第３週／ファイルアクセス（応用） のプログラムと似たものになると思われる。 ただし、コピー元は、ネットワークで、コピー先はファイルになる。 fread() を使う場合には、入力したバイト数(読み込んだ要素の数)を調べ、 そのバイト数の分を fwrite() 等でファイルに出力する。
HTTPの応答は、バッファ・サイズよりも大きくなる可能性がある。１回の fread() では受信できないことがある。そのため、すべてのデータを受信する まで、バッファ単位でループする必要がある。
また、fread() で文字列を読み込んだとしても、最後に 0 (NULL) で終端 されないので、注意しなさい。
NNTPクライアントを作成しなさい。
まず、telnet で、これらのサーバに接続しなさい。そして、それぞれのプロ トコルに従って、要求を打ち込み、どのような結果が返ってくるかを調べなさ い。
次に、telnet で行った要求の送信と結果の受信を行うようなプログラムを 作りなさい。このとき、必要なパラメタは、main() の引数から取りなさい。 NNTP は、テキスト・ベースのプロトコルなので、全ての通信にfprintf() や fgets() を使ってもよい。
この課題では、fgets() でキーボードからデータを読み込むことはしてはなら ない。main() の引数で得られるパラメタ以外で、サーバに送るべきデータは、 プログラムの内部で fprintf() や snprintf() 等を用いて作成すること。たと えば、"GET " や "HTTP/1.0" などは、fprintf() のフォーマット文字列で指定 する方法がある。キーボードや main() の引数として、本来プログラムで生成 すべき文字列を与えてはならない。 また、サーバからの応答を解析すること。エラーから生じた時には、以後の処 理を中止する機能を持つこと。
接続先として次のホストを使いなさい。
プログラムをつくる時には、 行末の扱い(CR-LF)にも注意しないさい。
ヒント：最大ｎまで、fork() して、それぞれ子プロセスで１個のファイルを コピーする。子供が終了したら、次の子供を fork() する。
実行速度に差があるので、複数のプロセスに均等にURL をばらまく方法では最 速にはならない。
プログラムを終了した後でもう一度実行したときに続きを行う行うことができ るものだけをこの課題を満たしたと認める。プログラムを終了しないものは、 この課題では中断とは認めない。 この課題ではシグナルでプロセスを中断することは行わない。
wget コマンドは、-c オプションを指定すると、中断した続きから再開する。
$ ./time-client host 37
Sun May 27 20:54:23 JST 2012
$
このプログラムでは、TCP/IP でサーバに接続した後、何も送らずにサーバか ら４バイトの数を読み込む。その４バイトの数は、ネットワーク・バイト・オー ダになっているので、ntohl() で、ホストのバイト・オーダに変換する。この 値に、ある値で補正して、Unix で使われているtime_t に変換する。最後に、 strftime() や localtime() でカレンダーの形式に変換する。
RFC868 Time Protocol では、値は、1900年1月1日 0:00 (GMT) を基準にした 秒数を返す。time() システムコールや gettimeofday() システムコールでは、 1970 年を基準にしている。strftime() や localtime() を使う前に、差分を補正する必要がある。
この課題では、ポート番号 37 の time を使いなさい。ポート番号 13 の daytime を使ってはならない。
接続先のホストとしては、次のどれかを使いなさい。
次のようなオプションがよく使わせる。
-a (all)
-n (number)