システムプログラム（第9回）: ＷＷＷプログラミング 

                                       筑波大学 システム情報系 情報工学域
                                       新城 靖
                                       <yas@cs.tsukuba.ac.jp>

このページは、次の URL にあります。
http://www.coins.tsukuba.ac.jp/~syspro/2016/2016-06-15 /index.html
あるいは、次のページから手繰っていくこともできます。
http://www.coins.tsukuba.ac.jp/~syspro/2016/
http://www.coins.tsukuba.ac.jp/~yas/

捕捉

小さなプログラムの利用

API の理解を深めるために、小さなプログラムを書いて挙動を確かめるとよい。 
   1:	/*
   2:	  ~yas/syspro/string/strcmp-null.c --
   3:	  Created on: 2006/06/10 19:23:08
   4:	*/
   5:	
   6:	#include <stdio.h>      /*printf()*/
   7:	#include <string.h>     /* strcmp() */
   8:	
   9:	int
  10:	main( int argc, char *argv[], char *envp[] )
  11:	{
  12:	        int x ;
  13:	
  14:	        x = strcmp(0,".html");
  15:	        printf("%d\n", x );
  16:	}

$ make strcmp-null [←]
cc     strcmp-null.c   -o strcmp-null
$ ./strcmp-null [←]
Segmentation fault: 11
$ []

strrchr()が NULL を返す

次のようなプログラムを書く人はいない。 
        if( strcmp(0,".html") == 0 ) ...
次のようなプログラムを書く人は、たくさんいる。 
        if( strcmp(strrchr(s,'.'),".html") == 0 ) ...
一般に、ポインタをreturnする関数が 0 を返すとどうなるかを考える。

サーバの終了

インターネットから通信を受け付けるサーバは、クライアントから（意図的 に）間違ったメッセージを受信したくらいで exit するのはよくない。できる だけサーバの実行を継続すべきである。

(意図的に)間違ったメッセージを受信して終了したら、Denial of Service Attack (DoS 攻撃) が成功したことを意味する。

サーバが終了しても良い時。

fork() というプロセスのコピーは重たい処理なので、意図的に fork() させる ならば、サーバの資源を枯渇させることを狙う攻撃ともとれる。単に connect して、要求メッセージを送信しないというような攻撃もある。

今日の重要な話

WWW サーバ側のプログラム

CGIの考え方

WWW サーバは、普通は、ファイルに保存された HTML データやイメージ・データを 読み込み、WWWブラウザに返する。 CGI (Common Gateway Interface) では、ファイルが読み込まれる代わりにプログラムが実行され、その実行結果 がブラウザに返される。

Gateway とは、WWW で使われている HTTP というプロトコルへの入り口という 意味である。 プログラムの実行結果は、普通は、HTML にすることが多いが、普通のテキス トであることもイメージであることもある。

クライアント、WWWサーバ、CGIによるプロセス、ファイル
図? CGIの仕組み

CGI の利用例

CGIの設定(Apache)

情報科学類には、２つのサーバ・プロセスが動作している。

www.coins.tsukuba.ac.jp、ポート番号 80
~/public_html/htdocs/ 以下を公開、CGI可能
www.coins.tsukuba.ac.jp、ポート番号 443
~/public_html/secure_htdocs/ 以下を公開、CGI可能、SSL対応(http: ではなく https:)
いずれのサーバも、 Apache HTTP Server を 用いている。

CGI になるファイル名のパタンの例（設定により、これ以外も可能）。 


/cgi-bin/name
/dir/name.cgi

cgi-hello.c

cgi-hello.c は、クライアントに HTML で hello. と返すCGI のプログラムで ある。

cgi-hello.cプログラム全体

   1:	/*
   2:	        cgi-hello.c --簡単な CGI のプログラム
   3:	        ~yas/syspro/www/cgi-hello.c
   4:	        Created on: 2002/06/23 18:21:34
   5:	*/
   6:	
   7:	#include <stdlib.h>     /* exit() */
   8:	#include <stdio.h>      /* printf() */
   9:	
  10:	extern void print_header();
  11:	extern void print_content();
  12:	
  13:	main()
  14:	{
  15:	        print_header();
  16:	        print_content();
  17:	}
  18:	
  19:	void print_header()
  20:	{
  21:	        printf("Content-Type: text/html\n");
  22:	        printf("\n");
  23:	}
  24:	
  25:	void print_content()
  26:	{
  27:	        printf("<HTML><HEAD></HEAD><BODY>\n");
  28:	        printf("hello.\n");
  29:	        printf("</BODY></HTML>\n");
  30:	}
CGI のプログラムは、Apache の場合、標準ではHTTP のヘッダ(一番最初の 「HTTP/1.0 200 OK」 ではなく、２行目以降)を標準出力に出力する所から始 まる。Content-Type: 行は、必ず付ける。空行がヘッダと本分の区切りである。 本文には、この場合は、HTML の文書を置いている。

cgi-hello.cの端末からの実行

CGI の例題を実行する時には、Web サーバ(Linux)にログインしててからコンパ イルしなさい。iMac の MacOSX でコンパイルしたバイナリは、Linux では動作 しない。 
$ ssh www.coins.tsukuba.ac.jp [←]
(プロンプトに含まれているホスト名が変化したことに注意する。)
$ mkdir ~/public_html/htdocs/syspro-cgi-examples [←]
$ cd ~/public_html/htdocs/syspro-cgi-examples [←]
$ cp ~yas/syspro/www/cgi-hello.c . [←]
$ cc cgi-hello.c -o cgi-hello.cgi [←]
$ ./cgi-hello.cgi  [←]
Content-Type: text/html

<HTML><HEAD></HEAD><BODY>
hello.
</BODY></HTML>
$ []
CGI のプログラムの場合、拡張子を .cgi にする。 CGI のプログラムを、シェルから実行することもできる。 引数の与え方については、後述する。

cgi-hello.cのWebブラウザからの実行

WWW ブラウザでは、次の URL を開く。

~ユーザ名/syspro-cgi-examples/cgi-hello.cgi

syspro-cgi-examples は、上の mkdir と合わせる。 mkdir せずに ~/public_html/htdocs/ 直下の場合には、不要。

telnet では、次のようにして実行する。 

$ telnet www.coins.tsukuba.ac.jp 80 [←]
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
GET /~ユーザ名/syspro-cgi-examples/cgi-hello.cgi HTTP/1.0[←]
Host: www.coins.tsukuba.ac.jp[←]
[←]
GET の代りに POST でもよい。 
$ telnet www.coins.tsukuba.ac.jp 80 [←]
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
POST /~ユーザ名/syspro-cgi-examples/cgi-hello.cgi HTTP/1.0[←]
Host: www.coins.tsukuba.ac.jp[←]
Content-Length: 0[←]
[←]
この講義のページに設置された cgi-hello.cgi ( http://www.coins.tsukuba.ac.jp/~syspro/2016/2016-06-15/cgi-hello.cgi ) の実行例。 
$ telnet www.coins.tsukuba.ac.jp 80 [←]
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
GET /~syspro/2016/2016-06-15/cgi-hello.cgi HTTP/1.0[←]
Host: www.coins.tsukuba.ac.jp[←]
[←]
HTTP/1.1 200 OK
Date: Tue, 14 Jun 2016 12:27:51 GMT
Server: Apache
Connection: close
Content-Type: text/html

<HTML><HEAD></HEAD><BODY>
hello.
</BODY></HTML>
Connection closed by foreign host.
$ []
POST の場合。 
$ telnet www.coins.tsukuba.ac.jp 80 [←]
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
POST /~syspro/2016/2016-06-15/cgi-hello.cgi HTTP/1.0[←]
Host: www.coins.tsukuba.ac.jp[←]
Content-Length: 0[←]
[←]
HTTP/1.1 200 OK
Date: Tue, 14 Jun 2016 12:31:32 GMT
Server: Apache
Connection: close
Content-Type: text/html

<HTML><HEAD></HEAD><BODY>
hello.
</BODY></HTML>
Connection closed by foreign host.
$ []

CGIとフォーム

ブラウザからサーバに情報を送ってほしい時には、 HTML の フォーム(form)という機能を使う。

HTML記述例

<H2><A id="cgi-example-get">CGI の GET メソッドを使う例</A></H2>

<FORM ACTION="cgi-printarg.cgi" method="get">
    <P>
    姓: <INPUT type="text" name="lastname">
    名: <INPUT type="text" name="firstname"><BR>
    <INPUT type="radio" name="lang" value="C"> C言語 <BR>
    <INPUT type="radio" name="lang" value="Java"> Java言語 <BR>
    <INPUT type="radio" name="lang" value="others"> その他 <BR>
    電子メール: <INPUT type="text" name="email"><BR>
    <INPUT type="submit" value="send"> <INPUT type="reset">
    </P>
</FORM>

<H2><A id="cgi-example-post">CGI の POST メソッドを使う例</A></H2>

<FORM ACTION="cgi-printarg.cgi" method="post">
    <P>
    姓: <INPUT type="text" name="lastname">
    名: <INPUT type="text" name="firstname"><BR>
    <INPUT type="radio" name="lang" value="C"> C言語 <BR>
    <INPUT type="radio" name="lang" value="Java"> Java言語 <BR>
    <INPUT type="radio" name="lang" value="others"> その他 <BR>
    電子メール: <INPUT type="text" name="email"><BR>
    <INPUT type="submit" value="send"> <INPUT type="reset">
    </P>
</FORM>

表示例

CGI の GET メソッドを使う例

姓: 名:
C言語
Java言語
その他
電子メール:

CGI の POST メソッドを使う例

姓: 名:
C言語
Java言語
その他
電子メール:

<FORM>と</FORM>で括られた部 分が１つのフォームになる。(１つのページに複数のフォームを置くことがで きる。)

<INPUT>の部分が、ブラウザからサーバに送られるデー タを表わす。

「<INPUT type="submit">」のボタンが押されると、 ブラウザは、指定されたメソッドを使ってサーバにデータを送る。

HTTPにより送られるデータの形式

method="get"の場合、Web ブラウザは、 普通のファイルを指定する時と同じように、URL に含めて送る。 
GET /~syspro/2016/2016-06-15/cgi-printarg.cgi?lastname=姓&firstname=名&lang=C&email=who@u-ust.ac.jp HTTP/1.0←↓
Host: www.coins.tsukuba.ac.jp←↓
←↓
URL の長さの上限で制限されるので、長いデータは送れない。

メソッドとして POST が使われた時、Web ブラウザは、データ をHTTP の本文(ヘッダではない部分、空行の後)に入れて送る。 

POST /~syspro/2016/2016-06-15/cgi-printarg.cgi HTTP/1.0←↓
Host: www.coins.tsukuba.ac.jp←↓
Content-Length: 91←↓
←↓
lastname=姓&firstname=名&lang=C&email=who@u-ust.ac.jp←↓

WWWサーバからCGIプログラムへのパラメタの受け渡し

WWW サーバは、HTTP で GET や POST により要求を受けとる。WWW サーバは、 URL の部分を解析し、CGI として認識すると、指定されたプログラムを実行す る。実行された CGI プログラムは、 環境変数と 標準入力 からデータを受け取ることができる。

CGI で利用できる主な環境変数を以下に示す。
環境変数名 内容
REQUEST_METHOD データを送るのに使われたメソッド。POST か GET。
QUERY_STRING URLの指定で「?」以下に指定された文字列。
SCRIPT_NAME プログラムの名前。
CONTENT_LENGTH POSTメソッドが使われた時、標準入力から読み込めるデータのバイト数
データは、「&」、または、 「;」 で区切られた 「フィールド名=値」の並びになっている。

例: 

lastname=姓&firstname=名&lang=C&email=who@u-ust.ac.jp

lastname=姓;firstname=名;lang=C;email=who@u-ust.ac.jp
GETメソッドが使われた場合、CGI のプログラムは、環境変数 QUERY_STRING からデータを得る。 POSTメソッドが使われた場合、CGI のプログラムは、データを標準入力から受 け取る。データのバイト数は、環境変数CONTENT_LENGTH に指定 されている。

送られてくるパラメタの中に漢字、 「&」、 「;」、 その他 URLで使えない文字が含まれていた場合、 「%hh( hh は2桁の16進数)」という形になっている。 これを パーセント・エンコーディング という。 たとえば、「&」は、 「%26」として送られる。

これを元にもどすにはcgiparse というプログラム、 Ruby の CGI::unescape() や pack('H*')、 perl の命令 hex() が使われる。

cgi-printarg.c

次のプログラムは、CGI で実行された時に、その引数を表示するものである。 GET メソッド、および、POST メソッドの両方に対応している。なお、パラメタ の区切りとしては、「&」が使われることを期待している。

シェルからのCGIプログラムの実行

CGI のプログラムをシェルから実行してデバッグすることもできる。

GET の場合、環境変数 REQUEST_METHOD に GETと設定し、環境変数 QUERY_STRING にパラメタを設定する。 

$ cp ~yas/syspro/www/cgi-printarg.c . [←]
$ cc cgi-printarg.c -o cgi-printarg.cgi  [←]
$ ./cgi-printarg.cgi  [←]
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
REQUEST_METHOD=(null)
SCRIPT_NAME=(null)
QUERY_STRING=(null)
CONTENT_LENGTH=(null)
query_string:
(null)
Error while parsing query string
</PRE></BODY></HTML>
$ export REQUEST_METHOD=GET [←]
$ export QUERY_STRING='lastname=name1&firstname=name2&lang=C&email=who@dom' [←]
$ ./cgi-printarg.cgi  [←]
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
REQUEST_METHOD=GET
SCRIPT_NAME=(null)
QUERY_STRING=lastname=name1&amp;firstname=name2&amp;lang=C&amp;email=who@dom
CONTENT_LENGTH=(null)
query_string:
lastname=name1&amp;firstname=name2&amp;lang=C&amp;email=who@dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: lang=C(lang=C)
qv[3]: email=who@dom(email=who@dom)
</PRE></BODY></HTML>
$ []
POST の場合、まず、データをファイルに保存しておく。そのバイト数を wc コマンドなどで調べておく。環境変数 REQUEST_METHOD に POST と設定する。 環境変数 CONTENT_LENGTH にデータファイルの大きさを設定する(ここでは最 後の改行を取り除いたバイト数を指定している)。 
$ unset QUERY_STRING [←]
$ export REQUEST_METHOD=POST [←]
$ echo 'lastname=name1&firstname=name2&lang=C&email=who@dom' > data [←]
$ wc data  [←]
 1  1 52 data
$ export CONTENT_LENGTH=51 [←]
$ ./cgi-printarg.cgi < data [←]
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
REQUEST_METHOD=POST
SCRIPT_NAME=(null)
QUERY_STRING=(null)
CONTENT_LENGTH=51
query_string:
lastname=name1&amp;firstname=name2&amp;lang=C&amp;email=who@dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: lang=C(lang=C)
qv[3]: email=who@dom(email=who@dom)
</PRE></BODY></HTML>
$ []

cgi-printarg.cのmain()

   1:	
   2:	/*
   3:	  cgi-printarg.c -- CGI プログラムに対する引数を表示するプログラム
   4:	  ~yas/syspro/www/cgi-printarg.c
   5:	  Created on: 2002/06/23 18:21:34
   6:	*/
   7:	
   8:	#include <stdlib.h>     /* getenv(), malloc() */
   9:	#include <stdio.h>      /* printf() */
  10:	#include <string.h>     /* strlen() */
  11:	#include <sys/types.h>  /* read() */
  12:	#include <sys/uio.h>    /* read() */
  13:	#include <unistd.h>     /* read() */
  14:	#include <ctype.h>      /* isdigit() */
  15:	
  16:	extern void  print_header(void);
  17:	extern void  print_content(void);
  18:	extern char *get_query_string();
  19:	extern char *read_query_string();
  20:	extern void  safe_printenv( char *name );
  21:	extern void  safe_print_string( char *str );
  22:	extern char *html_escape( char *str );
  23:	extern char *decode_url( char *str );
  24:	extern char *getparam( int qc, char *qv[], char *name );
  25:	
  26:	extern int string_split( char *str, char del, int *countp, char ***vecp  );
  27:	extern void free_string_vector( int qc, char **vec );
  28:	extern int countchr( char *s, char c );
  29:	
  30:	int
  31:	main()
  32:	{
  33:	        print_header();
  34:	        print_content();
  35:	}
  36:	
  37:	void
  38:	print_header()
  39:	{
  40:	        printf("Content-Type: text/html\n");
  41:	        printf("\n");
  42:	}
  43:	
  44:	void
  45:	print_content()
  46:	{
  47:	        char  *query_string ;
  48:	        char **qv ;
  49:	        int    qc ;
  50:	        int    i ;
  51:	
  52:	        printf("<HTML><HEAD></HEAD><BODY><PRE>\n");
  53:	
  54:	        safe_printenv("REQUEST_METHOD");
  55:	        safe_printenv("SCRIPT_NAME");
  56:	        safe_printenv("QUERY_STRING");
  57:	        safe_printenv("CONTENT_LENGTH");
  58:	
  59:	        query_string = get_query_string();
  60:	        printf("query_string:\n");
  61:	        safe_print_string( query_string ); printf("\n");
  62:	
  63:	        if(  string_split( query_string,'&',&qc, &qv ) < 0 )
  64:	        {
  65:	                printf("Error while parsing query string\n");
  66:	                printf("</PRE></BODY></HTML>\n");
  67:	                if( query_string )
  68:	                        free( query_string );
  69:	                exit( -1 );
  70:	        }
  71:	        for( i=0 ; i<qc ; i++ )
  72:	        {
  73:	                char *decoded ;
  74:	                printf("qv[%d]: ",i);
  75:	                safe_print_string(qv[i]);
  76:	                decoded = decode_url( qv[i] );
  77:	                printf("("); safe_print_string( decoded ); printf(")\n");
  78:	                if( decoded )
  79:	                        free( decoded );
  80:	        }
  81:	
  82:	        printf("</PRE></BODY></HTML>\n");
  83:	        free_string_vector( qc, qv );
  84:	        if( query_string )
  85:	                free( query_string );
  86:	}
これは、標準の CGI プログラムな ので、print_header()では、HTTP のヘッダのうち、Content-Type: 行だけを 出力している。

print_content() では、本文を出力している。

safe_printenv() で、環境変数 REQUEST_METHOD, SCRIPT_NAME, QUERY_STRING, CONTENT_LENGTH の内容を標準出力に出力している。

get_query_string() は、クライアントから送られてきたパラメタ(query string)を読込み、文字列として返す関数である。この結果を、 safe_print_string() で標準出力に出力している。

strint_split() で query string を区切り文字「&」で分解している。 この関数は、練習問題(703) string_split()とfree_string_vector()の利用 で使ったものと同じものである。 分解した結果は、main() の引数である int argc, char *argv[] と同じ形になっ ている。qc が、argc, qv が argv に対応する。

for ループでは、qv[] をsafe_print_string() で標準出力に出力している。 さらに、decode_hex() で、%hh (%hhは16進数)の形式を、バイトに元に戻すものであ る。

free_string_vector() は、string_split() で malloc() したものを free() するための手続きである。

get_query_string()

get_query_string() は、CGI でプログラムが実行された時に パラメタが含まれた文字列を読み込むプログラムである。 
  88:	char *
  89:	get_query_string()
  90:	{
  91:	        char *request_method, *query_string;
  92:	        request_method = getenv("REQUEST_METHOD");
  93:	        if( request_method == 0 )
  94:	                return( 0 );
  95:	        else if( strcmp(request_method,"GET") == 0 )
  96:	        {
  97:	                query_string = getenv("QUERY_STRING");
  98:	                if( query_string == 0 )
  99:	                        return( 0 );
 100:	                else
 101:	                        return( strdup(query_string) );
 102:	        }
 103:	        else if( strcmp(request_method,"POST") == 0 )
 104:	        {
 105:	                return( read_query_string() );
 106:	        }
 107:	        else
 108:	        {
 109:	                printf("Unknown method: ");
 110:	                safe_print_string( request_method );
 111:	                printf("\n");
 112:	                return( 0 );
 113:	        }
 114:	}
 115:
get_query_string() は、クライアントから送られてきたパラメタを、１つの 文字列として受け取るものである。GET メソッドの場合()は、単に環境変数 REQUEST_METHOD を読めばよい。ただし、文字列の長さの上限がきつい。

strdup() は、文字列をコピーするものである。使い終わったら、free() で解 放する。

POST メソッドの場合は、read_query_string() で続きの処理を行う。

read_query_string()

read_query_string() は、CGI でPOSTメソッドが使われた時にパラメタを標準 入力から読み込む。 
 116:	char *
 117:	read_query_string()
 118:	{
 119:	        int   clen ;
 120:	        char *content_length ;
 121:	        char *buf ;
 122:	
 123:	        content_length = getenv("CONTENT_LENGTH");
 124:	        if( content_length == 0 )
 125:	        {
 126:	                return( 0 );
 127:	        }
 128:	        else
 129:	        {
 130:	                clen = strtol( content_length,0,10 );
 131:	                buf = malloc( clen + 1 );
 132:	                if( buf == 0 )
 133:	                {
 134:	                        printf("read_query_string(): no memory\n");
 135:	                        exit( -1 );
 136:	                }
 137:	                if( read(0,buf,clen) != clen )
 138:	                {
 139:	                        printf("read error.\n");
 140:	                        exit( -1 );
 141:	                }
 142:	                buf[clen] = 0 ;
 143:	                return( buf );
 144:	        }
 145:	}
 146:
CONTENT_LENGTH には、10進数でバイト数が含まれている。

Webブラウザの表示例

REQUEST_METHOD=GET
SCRIPT_NAME=/~yas/coins/syspro-2016/2016-06-15/cgi-printarg.cgi
QUERY_STRING=lastname=name1&firstname=name2&lang=C&email=who%40dom
CONTENT_LENGTH=(null)
query_string:
lastname=name1&firstname=name2&lang=C&email=who%40dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: lang=C(lang=C)
qv[3]: email=who%40dom(email=who@dom)


REQUEST_METHOD=POST
SCRIPT_NAME=/~yas/coins/syspro-2016/2016-06-15/cgi-printarg.cgi
QUERY_STRING=
CONTENT_LENGTH=53
query_string:
lastname=name1&firstname=name2&lang=C&email=who%40dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: lang=C(lang=C)
qv[3]: email=who%40dom(email=who@dom)

cgi-printarg.cgiの内部関数

以下の内容は、飛ばしてよい。

html_escape()

safe_printenv() は、環境変数をgetenv() で検索し、その値を safe_print_string() で標準出力に出力している。

safe_print_string() は、html_escape() を使って文字列を安全なもの にして表示する。

html_escape()(次回説明)は、 クライアントから送られたような信頼できない文字列を クライアントに送り返す時に、不用意に JavaScript 等がクライアント側の ブラウザで動作しないようにするための関数である。 たとえば、<SCRIPT> のような文字列がクライアントから送られて きたとしても、クライアントには「&lt;SCRIPT&gt;」と 返すだけで、スクリプトは実行されない。

decode_url()

decode_url() は、「%hh(2桁の16進数)」を元のバイトに 戻すものである。isxdigit() は、１６進数の文字として正しいかを調べてい る。strtol() で基底を 16 として変換している。 その他に、「'+'」を「' '」に変換している。

JavaによるCGIプログラムの作成(hello)

JavaによるCGIプログラムの作成(printarg)

Apacheの機能

アクセスログとエラーログ

WWW サーバは、ページがアクセスされる度に記録を残す。この記録をアクセス ログという。アクセスログは、情報科学類のサーバ www (www.coins.tsukuba.ac.jp) では、次の場所にある。
http
/var/log/httpd/http/access*
https
/var/log/httpd/https/ssl_access*
この中で、数字が一番大きなもの、または、日付が新しいものが、 現在増加しているログである。 
$ cd /var/log/httpd/http/ [←]
$ ls    access* | tail -1 [←]
$ ls -t access* | head -1 [←]
以下の例では、現在増加しているログは access_log_20160612 である。 
$ cd /var/log/httpd/http/ [←]
$ ls    access* | tail -1 [←]
access_log_20160612
$ ls -t access* | head -1 [←]
access_log_20160612
$ []
以下は、アクセス・ログの内容の例である。見やすいように改行を入れているが 実際には１行が１つのページの転送を意味する。 
130.158.87.163 - - [14/Jun/2016:22:04:26 +0900]
"GET /~syspro/2016/ HTTP/1.1" 200 4156 "-" 
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0"

130.158.87.163 - - [14/Jun/2016:22:04:26 +0900]
"GET /~syspro/2016/coins-syspro-2016.css HTTP/1.1" 200 2417 "-" 
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0"

130.158.87.163 - - [14/Jun/2016:22:11:01 +0900] 
"GET /~syspro/2016/2016-06-15/cgi-printarg.cgi?lastname=name1&firstname=name2&lang=C&email=who%40dom HTTP/1.1" 200 444 "-" 
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0"

130.158.87.163 - - [14/Jun/2016:22:11:55 +0900]
"POST /~syspro/2016/2016-06-15/cgi-printarg.cgi HTTP/1.1" 200 376 "-" 
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:47.0) Gecko/20100101 Firefox/47.0"
このログは、設定ファイル /etc/httpd/conf/httpd.conf にある CustomLog 等の設定による。 
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
CustomLog "|/usr/sbin/rotatelogs -l /etc/httpd/logs_http/access_log_%Y%m%d 20M" combined
combined という名前が付けられたログのフォーマットの意味は、以下の通りである。

アクセスログの他に、エラーが起きた時にもログが作られる。これを エラーログ という。エラーログは、情報科学類のサーバ www (www.coins.tsukuba.ac.jp) では、次の場所にある。

http
/var/log/httpd/http/error*
https
/var/log/httpd/https/error*
CGI のプログラムをデバッグする時には、このエラーログを見て原因を探る。

その他に、次のようなログを取ることもある。

ssl_request_log (coins では /var/log/http/https/ssl_request*)
SSL のプロトコル等
suexec_log (coins では /var/log/apache2/suexec_log)
suExec を使っていた時のログ
自分が単にＷＷＷブラウザを使っているだけでも、さまざまな情報をサーバに 送っているとに注意しなさい。

CGI プログラムを実行するプロセスの権限

シェルからプロセスを生成しプログラムを実行する時には、その新しいプロセ スの権限（ユーザ属性、getuid() の結果）は、シェルのものからコピーされ る。すなわち、新しいプロセスはシェルと同じユーザの権限で動作する。CGI の場合、遠隔の WWW ブラウザのユーザは、その WWW サーバにログインする権 限はないが、CGI のプログラムを実行することができる。そのプログラムを、 どのユーザの権限で実行する方法としては、大きく次の２つ方法がある。 どちらの方式にも一長一短がある。WWW サーバ・プロセスの権限で動作させた 場合、次のような長所と短所がある。

suEXEC を使う方法の場合、長所と短所は逆になる。

ステータス行も含むヘッダ(Apache non-parsed headers)

Apache では、標準では、サーバが最初のステータス行「HTTP/1.1 200 OK」を Apache が作成している。Status:という行を含めることで、ステータ ス行を記述することもできる。Status:がない場合、Location: というヘッダがあれば、302 Found (redirect)、それ以外の場合は、200 OKが返される。それ以外のヘッダも、Apache が自動的に生成して返す。

ステータス行も含めて、完全なヘッダを CGI で作成して返すこともできる。 この方法を、Apache では、nph (non-parsed headers) と呼んでいる。

Apache で、nph を使うには、nph- で始まるファイル名を用いる。こ れを使うと、Apache は、CGI プログラムが作成したヘッダを一切解釈(parse) せず、そのままクライアントに返す。

CGIでのその他の注意事項

ファイルのロック

練習問題と課題

練習問題(901) WWW サーバ上のデータの観察

次の手順で、WWW サーバ上のデータの観察のアクセスログを観察しなさい。 
abelia01:~ yas$ ssh www[←]
yas@wwws password: パスワード(画面には表示されない)[←]
Last login: Thu Jul 31 10:46:01 2016 from www.coins.tsukuba.ac.jp
violet-nwa:~ yas$ cd /var/www/htdocs/[←]
violet-nwa:htdocs yas$ lv index.html[←]
violet-nwa:htdocs yas$ lv syllabus/index.html[←]
violet-nwa:htdocs yas$ []
'
ssh で遠隔ログインする前後に、プロンプトのホスト名の部分が変化すること に注意しなさい。

同様に https でアクセスできるページについても調べなさい。 トップのディレクトリは、/var/www/secure_htdocs/ 以下にある。

練習問題(902) アクセスログの観察

次の手順で、アクセスログを観察しなさい。 アクセスログは、サーバ(www,www.coins.tsukuba.ac.jp)上の /var/log/httpd/http/access* というファイルにためられる。 これを、次のようにして観察しなさい。
  1. WWW サーバ上のデータの観察と 同様に、ssh で www.coins.tsukuba.ac.jp にログインする。
  2. 練習問題 学類 Web サーバのアクセス・ログの観察 を行う。
  3. 練習問題 学類 Web サーバのアクセス・ログの観察(grep) を行う。
  4. 練習問題 学類 Web サーバのアクセス・ログの観察(tail-f) を行う。
  5. 練習問題 学類 Web サーバのアクセス・ログの観察(https) を行う。
次のコマンドを利用できるようにしなさい。

練習問題(903) cgi-arg1arg2.cgi

次の CGI プログラムをコマンドラインから実行しなさい。 

$ cp ~yas/syspro/www/cgi-arg1arg2.c . [←]
$ cc cgi-arg1arg2.c -o cgi-arg1arg2.cgi  [←]
$ ./cgi-arg1arg2.cgi  [←]
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
Error while parsing query string
</PRE></BODY></HTML>
$ export REQUEST_METHOD=GET [←]
$ export QUERY_STRING='arg1=10&arg2=20' [←]
$ ./cgi-arg1arg2.cgi  [←]
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
arg1: [10]
arg2: [20]
</PRE></BODY></HTML>
$ []

レポートには、次の結果を含めなさい。

余裕があれば、REQUEST_METHOD=POST についても、同様に実行してみなさい。

余裕があれば、フォームを定義し、何かデータを送ってみなさい。 coins で CGI を実行する場合、CGI の実行形式を Web サーバ (http://www.coins.tsukuba.ac.jp) に ssh でログインした上で作成すること。 iMac MacOSX で作成した実行形式は、Web サーバ Linux では動作しない。

http://www.coins.tsukuba.ac.jp/~syspro/2016/2016-06-15/cgi-arg1arg2.cgi

たとえば、次のような記述を含む HTML ファイルを作成し、 ~/public_html/htdocs/ 以下に置く。 

<FORM ACTION="http://www.coins.tsukuba.ac.jp/~syspro/2016/2016-06-15/cgi-arg1arg2.cgi" method="get">
    arg1: <INPUT type="text" name="arg1">
    arg2: <INPUT type="text" name="arg2">
    <INPUT type="submit">
    <INPUT type="reset">
</FORM>
arg1: arg2:
また、余裕があれば、method="post" についても同様に行ってみなさい。

練習問題(904) CGIによる足算

この課題を解く前に必ず 練習問題(903) を行いなさい。レポートには、 練習問題(904) の結果だけでなく、 練習問題(903) の結果も含めなさい。

２つのデータを受け取り、その結果を加えた数を表示するようなCGI のプログ ラムを作成しなさい。

ヒント：

  1. "arg1=10&arg2=20"のように送るようなフォームを想定 してプログラムを作成する。
  2. cgi-arg1arg2.cgiで、余計な表示をなくす。
  3. string_split() で分解した後、"arg1=" や "arg2=" があるパラメタを検索 する。 
         char *arg1_s,*arg2_s;
     arg1_s = getparam(qc,qv,"arg1");
     arg2_s = getparam(qc,qv,"arg2");
    getparam() は、次のような関数であり、 cgi-arg1arg2.cgiのソースコード に含まれている。
    char *getparam(int qc, char *qv[], char * varname ) [独自]
    第１引数と第2引数は、 string_split() で作成したカウントと文字列のベクタである。 第3引数が"name"の時、 この関数は、 "name=value" というパラメタを 見つけ、"value"を返す。 見つからなかったら NULL を返す。 この関数の使い方は、ライブラリ関数 getenv() と似ているので、 それも参考にしなさい。
  4. 引数が足りかったり、不正な場合にはエラー・メッセージを表示して終了する。 ただし、"arg1=100xxx" のように、数の後ろに数字ではないものが含まれて いたとしても、それを無視してよいものとする。
  5. 得られた文字列を、strtol() 等で整数に変換し、足算を行う。結果を printf() の %d などで表示する。

  6. 作成したプログラムを、シェルから実行 して動作を確認する。 
    $ export REQUEST_METHOD=GET [←]
$ export QUERY_STRING='arg1=10&arg2=20' [←]
$ ./a.out [←]
Content-Type: text/html

<HTML><HEAD></HEAD><BODY>
30
</BODY></HTML>
$ []
    なお、一度設定した環境変数の値は、シェルを終了するまで残っている。 a.out を実行するたびに設定する必要はない。

    レポートには、引数が足りかったり、不正な場合にはエラー・メッセージを表 示して終了することも示しなさい。

余裕があれば、そのプログラムを CGI として動作させなさい。 coins で CGI を実行する場合、CGI の実行形式を Web サーバ (http://www.coins.tsukuba.ac.jp) に ssh でログインした上で作成すること。 iMac MacOSX で作成した実行形式は、Web サーバ Linux では動作しない。

  1. 実行形式 a.out を　~/public_html/htdocs の下にコピーする。例: 
    $ mkdir ~/public_html/htdocs/syspro-cgi-examples [←]
$ cp a.out ~/public_html/htdocs/syspro-cgi-examples/calc.cgi [←]
  2. Web ブラウザで次のような URL を開く。例: 
    $ open 'http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc.cgi?arg1=10&arg2=20' [←]
  3. "arg1=10&arg2=20"のように送るようなフォームを含むHTML ファ イルを作成する。 例: 
    $ emacs ~/public_html/htdocs/syspro-cgi-examples/calc.html [←]
  4. Web ブラウザでフォームを含む　HTML ファイルを開き、実行する。例: 
    $ open http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc.html [←]

練習問題(905) CGIによる加減乗除

練習問題(904) で、足算以外の計算もできるようにしなさ い。 演算の種類は、メニューやラジオボタンなどで選択できるようにしなさい。 この課題では、Web ブラウザで実行して、その結果とその時のアクセスログを 示しなさい。

練習問題(906) CGIによるカレンダの表示

fork() と execve() を使って、/usr/bin/cal を実行し、WWW ブラウザに今月 のカレンダを実行する CGI プログラムを作りなさい。cal コマンドは、引数を 付けずに実行すると、今月のカレンダーを表示する。 
$ cal [←]
      June 2016     
Su Mo Tu We Th Fr Sa
          1  2  3  4
 5  6  7  8  9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

$ []

CGI プログラムを実行した月のカレンダーを表示しなさい。固定した表示する だけなら、CGI の意味はない。余計な表示は省略すること。

この課題では、system() や popen() を用いてはならない。

  1. ヘッダを表示する。
  2. fork(), execve(), wait() 等を用いて、cal コマンドを実行する。 標準出力をそのままにしておけば cal コマンドの結果がそのまま CGI の結果として返される。 その他に、パイプを用いて結果を受け取る方法も考えられる。

  3. 作成したプログラムを、シェルから実行 して動作を確認する。 
    $ ./a.out [←]
Content-Type: text/plain

      June 2016     
Su Mo Tu We Th Fr Sa
          1  2  3  4
 5  6  7  8  9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

$ []
余裕があれば、そのプログラムを CGI として動作させなさい。
  1. ~/public_html/htdocs の下にコピーする。 
    $ mkdir ~/public_html/htdocs/syspro-cgi-examples [←]
$ cp a.out ~/public_html/htdocs/syspro-cgi-examples/show-cal-one.cgi [←]
  2. Web ブラウザから次のようなURLを開き、CGI を実行する。 
    $ open http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc-one.cgi [←]
  3. CGI のプログラムを実行するようなフォームを含むHTML ファイルを作成する。 
    <FORM ACTION="http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc-one.cgi" method="get">
<INPUT type="submit">
</FORM>
  4. Web ブラウザからフォームを含む HTML ファイルを開き、CGI を実行する。

練習問題(907) CGIによるカレンダの表示(引数付き)

練習問題(906) で、今月のカレンダーではなく、任意の年・月のカレンダーを表示 しなさい。

ヒント：

  1. "year=2016&month=8"のように送るようなフォームを想定 してプログラムを作成する。
  2. cgi-arg1arg2.cgiで、余計な表示をなくす。
  3. string_split() で分解した後、"year=" や "month=" があるパラメタを検索 する。 
         char *year_s,*month_s;
     year_s = getparam(qc,qv,"year");
     month_s = getparam(qc,qv,"month");
    getparam() は、 cgi-arg1arg2.cgiのソースコード に含まれている。
  4. 引数が足りかったり、不正な場合にはエラーメッセージを表示して終了する。
  5. 得られた文字列を、strtol() 等で整数に変換する。 引数の範囲をチェックする。たとえば、13月や-1年, 10000年等が与えられた場合には、 エラーメッセージを表示して終了する。
  6. snprintf() 等で、cal コマンドにあたえる引数を文字列で作る。
  7. ヘッダを表示する。
  8. fork(), execve(), wait() 等を用いて、cal コマンドを実行する。 標準出力をそのままにしておけば cal コマンドの結果がそのまま CGI の結果として返される。 その他に、パイプを用いて結果を受け取る方法も考えられる。

  9. 作成したプログラムを、シェルから実行 して動作を確認する。 
    $ export REQUEST_METHOD=GET [←]
$ export QUERY_STRING='year=2016&month=8' [←]
$ ./a.out [←]
$ []
    なお、一度設定した環境変数の値は、シェルを終了するまで残っている。 a.out を実行するたびに設定する必要はない。

    レポートには、引数が足りかったり、不正な場合にはエラー・メッセージを表 示して終了することも示しなさい。

余裕があれば、そのプログラムを CGI として動作させなさい。
  1. ~/public_html/htdocs の下にコピーする。 
    $ mkdir ~/public_html/htdocs/syspro-cgi-examples [←]
$ cp a.out ~/public_html/htdocs/syspro-cgi-examples/show-cal.cgi [←]
  2. Web ブラウザから次のようなURLを開き、CGI を実行する。 
    $ open 'http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc.cgi?year=2016&month=8' [←]
  3. "year=2016&month=8"のように送るようなフォームを含む HTML ファイルを作成する。
  4. Web ブラウザからフォームを含む HTML ファイルを開き、CGI を実行する。

注意: CGI のパラメタは、最初は、文字列で受け取り、最終的に cal コマンドには文 字列で渡す。この時に、年月日としては不適切なものがクライアントから渡さ れる可能性がある。不適切なものが渡された場合には、エラー・メッセージを 表示しなさい。また、不正なパラメタで cal コマンドは実行してはならない。

練習問題(908) CGIプログラムの実行権限

CGI プログラムが、どのユーザの権限で動作しているかを調べるプログラムを つくりなさい。CGI として実行した時とシェルから実行した時の結果を比較し なさい。

ヒント：CGI のプログラムから getuid(), getgid(), getgroups() システム・ コールを実行する。uid や gid を文字列で表示したいなら、getpwuid(), getpwuid_r(), getgrgid(), getgrgid_r() を用いる。

getuid(), getgid(), getgroups() システム・コールを用いる代わりにid コマ ンドを実行する方法もある。

練習問題(909) 文字列を表示するアクセス・カウンタ

アクセスされる度に、数字が増えるようなページをCGI で作成しなさい。よく 使われるアクセス・カウンタは、HTML にインライン・イメージとして埋め込ま れる。この課題で作成するカウンタは、単体のページとして動作し、テキスト を表示するものである。

ヒント：

  1. 次のようなプログラムを作成する。 
    main()
{
	ファイルから整数を読み出す（ファイルがなければ0とする）。
	1 加える。
	標準出力(画面)に整数値を表示する。
	ファイルに整数を保存する。
}
  2. 上のプログラムに、CGI として動作するようにヘッダを付ける。 Content-Type: は、text/plain にする。 Content-Type: を text/html にする方法もある。 ただし、本文は、HTML として作成する必要がある。
  3. 最終的にそのプログラムが ~/public_html/htdocs 以下にコピーされるこ とを想定して、整数を保存するファイルを修正する。 必要ならば、初期状態のファイルを作成して、環境に合わせて モードを適切なものにする(常に chmod 666 は誤り)。
  4. 拡張子を .cgi として、~/public_html/htdocs 以下にコピーする。
  5. Web ブラウザから URL を指定して実行する。

練習問題(910) 文字列を表示するアクセス・カウンタ(ロック付き)

練習問題(909) で、ファイルに対するロックを行うようにしないさい。

ロックがきちんと動作していることを示しなさい。そのためには、ロックして getchar() 等でキーボードからの指示で(アンロックして)終了するプログラム を作成する方法がある。プログラムが終了すると自動的にアンロックされる。 次のプログラムを参考にしてもよい。

注意: 2014年4月-2018年3月、coins の環境では、www サーバからNFS経由でアクセス しているファイルに対して次のどの方法でも ロックが働く。

他の環境では、NFS経由でのロックがうまく働かないこともあるので、使う前に 確認すること。2009年2月までの環境では、flock() や fcntl() が動作しなかっ た。

練習問題(911) ハッシュ表を使うライブラリ関数

メモリ中のハッシュ表を使うライブラリ関数 hcreate(), hsearch(), hdestroy() について調べなさい。

練習問題(912) 永続的ハッシュ表

永続的なハッシュ表とは、メモリ中のハッシュ表と同様に、キーを指定して値 をアクセスするための機能を提供するが、データはファイルに保存されている ので、次に同じプログラムを実行した時も、そのまま残されている所が異なる。 具体的な内部のアルゴリズムとしては、ハッシュの他にＢ木もよく使われる。 一般的なデータベースの場合、いくつかの制約(integrity rule)を満たすこと が重要となるが、永続的ハッシュ表の場合には、特にそのような制約はない。

永続的なハッシュ表を作成する方法として、dbm ライブラリを用いる方法があ る。これを利用してみなさい。ライブラリ関数としては、dbm_open(), dbm_store(), dbm_fetch(), dbm_delete(), dbm_close()がある。詳しくは、 man dbm_open を見なさい。

Java 言語の場合、dbm ライブラリではなく、その他の埋め込み型の key-value store を使ってもよい。

練習問題(913) 文字列を表示するアクセス・カウンタ(永続的ハッシュ表の利用)

練習問題(909) で、データを通常のファイルではなく、永続的ハッシュ表を用いるようにしな さい。

練習問題(914) アキュームレータ

練習問題(909) では、アクセスされる度に 1 ずつ増える。そうではなくて、引数をとり、その 数を増やしていくようなものを作成しなさい。

練習問題(915) アキュームレータ(ロック付き)

練習問題(914) で、 練習問題(910) と同様に、ファイルに対するロックを行うようにしないさい。
Last updated: 2016/06/15 11:23:51
Yasushi Shinjo / <yas@cs.tsukuba.ac.jp>