システムプログラム（第9回）: ＷＷＷプログラミング

                                       筑波大学 システム情報系 情報工学域
                                       新城 靖
                                       <yas@cs.tsukuba.ac.jp>

このページは、次の URL にあります。
http://www.coins.tsukuba.ac.jp/~syspro/2014/2014-08-05 /index.html
あるいは、次のページから手繰っていくこともできます。
http://www.coins.tsukuba.ac.jp/~syspro/2014/
http://www.coins.tsukuba.ac.jp/~yas/

今日の重要な話

WWW サーバ側のプログラム

CGI
- 環境変数 REQUEST_METHOD, QUERY_STRING, CONTENT_LENGTH
- (クロスサイトスクリプティング攻撃の仕組みと攻撃への備え)
- (html_escape() の必要性)

CGIの考え方

WWW サーバは、普通は、ファイルに保存された HTML データやイメージ・データを読み込み、WWWブラウザに返する。 CGI (Common Gateway Interface) では、ファイルが読み込まれる代わりにプログラムが実行され、その実行結果がブラウザに返される。

Gateway とは、WWW で使われている HTTP というプロトコルへの入り口という意味である。プログラムの実行結果は、普通は、HTML にすることが多いが、普通のテキストであることもイメージであることもある。

クライアント、WWWサーバ、CGIによるプロセス、ファイル
図? CGIの仕組み

CGI の利用例

検索エンジンで検索すべきキーワードを受け取る。
アクセス・カウンタのイメージを作成する。
掲示板で記事を受け取る。
買い物サイトで購入する物の識別子やクレジット・カードの番号を受け取る。

CGIの設定(Apache)

情報科学類には、２つのサーバ・プロセスが動作している。

www.coins.tsukuba.ac.jp、ポート番号 80: ~/public_html/htdocs/ 以下を公開、CGI可能
www.coins.tsukuba.ac.jp、ポート番号 443: ~/public_html/secure_htdocs/ 以下を公開、CGI可能、SSL対応(http: ではなく https:)

いずれのサーバも、 Apache HTTP Server を用いている。

CGI になるファイル名のパタンの例（設定により、これ以外も可能）。


/cgi-bin/name
/dir/name.cgi

cgi-hello.c

cgi-hello.c は、クライアントに HTML で hello. と返すCGI のプログラムである。

cgi-hello.cプログラム全体

   1:	/*
   2:	        cgi-hello.c --簡単な CGI のプログラム
   3:	        ~yas/syspro/www/cgi-hello.c
   4:	        Created on: 2002/06/23 18:21:34
   5:	*/
   6:	
   7:	#include <stdlib.h>     /* exit() */
   8:	#include <stdio.h>      /* printf() */
   9:	
  10:	extern void print_header();
  11:	extern void print_content();
  12:	
  13:	main()
  14:	{
  15:	        print_header();
  16:	        print_content();
  17:	}
  18:	
  19:	void print_header()
  20:	{
  21:	        printf("Content-Type: text/html\n");
  22:	        printf("\n");
  23:	}
  24:	
  25:	void print_content()
  26:	{
  27:	        printf("<HTML><HEAD></HEAD><BODY>\n");
  28:	        printf("hello.\n");
  29:	        printf("</BODY></HTML>\n");
  30:	}

CGI のプログラムは、Apache の場合、標準ではHTTP のヘッダ(一番最初の「HTTP/1.0 200 OK」ではなく、２行目以降)を標準出力に出力する所から始まる。Content-Type: 行は、必ず付ける。空行がヘッダと本分の区切りである。本文には、この場合は、HTML の文書を置いている。

cgi-hello.cの端末からの実行

CGI の例題を実行する時には、Web サーバ(Linux)にログインしててからコンパイルしなさい。iMac の MacOSX でコンパイルしたバイナリは、Linux では動作しない。

$ ssh www.coins.tsukuba.ac.jp 
(プロンプトに含まれているホスト名が変化したことに注意する。)
$ mkdir ~/public_html/htdocs/syspro-cgi-examples 
$ cd ~/public_html/htdocs/syspro-cgi-examples 
$ cp ~yas/syspro/www/cgi-hello.c . 
$ cc cgi-hello.c -o cgi-hello.cgi 
$ ./cgi-hello.cgi  
Content-Type: text/html

<HTML><HEAD></HEAD><BODY>
hello.
</BODY></HTML>
$

CGI のプログラムの場合、拡張子を .cgi にする。 CGI のプログラムを、シェルから実行することもできる。引数の与え方については、後述する。

cgi-hello.cのWebブラウザからの実行

WWW ブラウザでは、次の URL を開く。

~ユーザ名/syspro-cgi-examples/cgi-hello.cgi

syspro-cgi-examples は、上の mkdir と合わせる。 mkdir せずに ~/public_html/htdocs/ 直下の場合には、不要。

telnet では、次のようにして実行する。

$ telnet www.coins.tsukuba.ac.jp 80 
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
GET /~ユーザ名/syspro-cgi-examples/cgi-hello.cgi HTTP/1.0
Host: www.coins.tsukuba.ac.jp

GET の代りに POST でもよい。

$ telnet www.coins.tsukuba.ac.jp 80 
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
POST /~ユーザ名/syspro-cgi-examples/cgi-hello.cgi HTTP/1.0
Host: www.coins.tsukuba.ac.jp
Content-Length: 0

この講義のページに設置された cgi-hello.cgi ( http://www.coins.tsukuba.ac.jp/~syspro/2014/2014-08-05/cgi-hello.cgi ) の実行例。

$ telnet www.coins.tsukuba.ac.jp 80 
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
GET /~syspro/2014/2014-08-05/cgi-hello.cgi HTTP/1.0
Host: www.coins.tsukuba.ac.jp

HTTP/1.1 200 OK
Date: Thu, 31 Jul 2014 06:06:22 GMT
Server: Apache
Connection: close
Content-Type: text/html

<HTML><HEAD></HEAD><BODY>
hello.
</BODY></HTML>
Connection closed by foreign host.
$

POST の場合。

$ telnet www.coins.tsukuba.ac.jp 80 
Trying 130.158.87.1...
Connected to violet-nwa.coins.tsukuba.ac.jp.
Escape character is '^]'.
POST /~syspro/2014/2014-08-05/cgi-hello.cgi HTTP/1.0
Host: www.coins.tsukuba.ac.jp
Content-Length: 0

HTTP/1.1 200 OK
Date: Thu, 31 Jul 2014 06:09:18 GMT
Server: Apache
Connection: close
Content-Type: text/html

<HTML><HEAD></HEAD><BODY>
hello.
</BODY></HTML>
Connection closed by foreign host.
$

CGIとフォーム

ブラウザからサーバに情報を送ってほしい時には、フォーム(form)という機能を使う。

HTML記述例

<H2><A NAME="cgi-example-get">CGI の GET メソッドを使う例</A></H2>

<FORM ACTION="cgi-printarg.cgi" method="get">
    <P>
    姓: <INPUT type="text" name="lastname">
    名: <INPUT type="text" name="firstname"><BR>
    <INPUT type="radio" name="sex" value="Male"> 男 <BR>
    <INPUT type="radio" name="sex" value="Female"> 女 <BR>
    <INPUT type="radio" name="sex" value="others"> その他 <BR>
    電子メール: <INPUT type="text" name="email"><BR>
    <INPUT type="submit" value="send"> <INPUT type="reset">
    </P>
</FORM>

<H2><A NAME="cgi-example-post">CGI の POST メソッドを使う例</A></H2>

<FORM ACTION="cgi-printarg.cgi" method="post">
    <P>
    姓: <INPUT type="text" name="lastname">
    名: <INPUT type="text" name="firstname"><BR>
    <INPUT type="radio" name="sex" value="Male"> 男 <BR>
    <INPUT type="radio" name="sex" value="Female"> 女 <BR>
    <INPUT type="radio" name="sex" value="others"> その他 <BR>
    電子メール: <INPUT type="text" name="email"><BR>
    <INPUT type="submit" value="send"> <INPUT type="reset">
    </P>
</FORM>

表示例

CGI の GET メソッドを使う例

姓: 名:
男
女
その他
電子メール:

CGI の POST メソッドを使う例

姓: 名:
男
女
その他
電子メール:

<FORM>と</FORM>で括られた部分が１つのフォームになる。(１つのページに複数のフォームを置くことができる。)

<INPUT>の部分が、ブラウザからサーバに送られるデータを表わす。

「<INPUT type="submit">」のボタンが押されると、ブラウザは、指定されたメソッドを使ってサーバにデータを送る。

HTTPにより送られるデータの形式

method="get"の場合、Web ブラウザは、普通のファイルを指定する時と同じように、URL に含めて送る。

GET /~syspro/2014/2014-08-05/cgi-printarg.cgi?lastname=姓&firstname=名&sex=Male&email=who@u-ust.ac.jp HTTP/1.0←↓
Host: www.coins.tsukuba.ac.jp←↓
←↓

URL の長さの上限で制限されるので、長いデータは送れない。

メソッドとして POST が使われた時、Web ブラウザは、データをHTTP の本文(ヘッダではない部分、空行の後)に入れて送る。

POST /~syspro/2014/2014-08-05/cgi-printarg.cgi HTTP/1.0←↓
Host: www.coins.tsukuba.ac.jp←↓
Content-Length: 91←↓
←↓
lastname=姓&firstname=名&sex=Male&email=who@u-ust.ac.jp←↓

WWWサーバからCGIプログラムへのパラメタの受け渡し

WWW サーバは、HTTP で GET や POST により要求を受けとる。WWW サーバは、 URL の部分を解析し、CGI として認識すると、指定されたプログラムを実行する。実行された CGI プログラムは、環境変数と標準入力からデータを受け取ることができる。

CGI で利用できる主な環境変数を以下に示す。

環境変数名内容

REQUEST_METHOD データを送るのに使われたメソッド。POST か GET。

QUERY_STRING URLの指定で「?」以下に指定された文字列。

SCRIPT_NAME プログラムの名前。

CONTENT_LENGTH POSTメソッドが使われた時、標準入力から読み込めるデータのバイト数

データは、「&」、または、「;」で区切られた「フィールド名=値」の並びになっている。

環境変数名	内容
`REQUEST_METHOD`	データを送るのに使われたメソッド。POST か GET。
`QUERY_STRING`	URLの指定で「?」以下に指定された文字列。
`SCRIPT_NAME`	プログラムの名前。
`CONTENT_LENGTH`	POSTメソッドが使われた時、標準入力から読み込めるデータのバイト数

例:

lastname=姓&firstname=名&sex=Male&email=who@u-ust.ac.jp

lastname=姓;firstname=名;sex=Male;email=who@u-ust.ac.jp

GETメソッドが使われた場合、CGI のプログラムは、環境変数 QUERY_STRING からデータを得る。 POSTメソッドが使われた場合、CGI のプログラムは、データを標準入力から受け取る。データのバイト数は、環境変数CONTENT_LENGTH に指定されている。

送られてくるパラメタの中に漢字、「&」、「;」、その他 URLで使えない文字が含まれていた場合、「%hh( hh は2桁の16進数)」という形になっている。これをパーセント・エンコーディングという。たとえば、「&」は、「%26」として送られる。

これを元にもどすにはcgiparse というプログラム、 Ruby の CGI::unescape() や pack('H*')、 perl の命令 hex() が使われる。

cgi-printarg.c

次のプログラムは、CGI で実行された時に、その引数を表示するものである。 GET メソッド、および、POST メソッドの両方に対応している。なお、パラメタの区切りとしては、「&」が使われることを期待している。

シェルからのCGIプログラムの実行

CGI のプログラムをシェルから実行してデバッグすることもできる。

GET の場合、環境変数 REQUEST_METHOD に GETと設定し、環境変数 QUERY_STRING にパラメタを設定する。

$ cp ~yas/syspro/www/cgi-printarg.c . 
$ cc cgi-printarg.c -o cgi-printarg.cgi  
$ ./cgi-printarg 
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
REQUEST_METHOD=(null)
SCRIPT_NAME=(null)
QUERY_STRING=(null)
CONTENT_LENGTH=(null)
query_string:
(null)
Error while parsing query string
</PRE></BODY></HTML>
$ export REQUEST_METHOD=GET 
$ export QUERY_STRING='lastname=name1&firstname=name2&sex=Male&email=who@dom' 
$ ./cgi-printarg 
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
REQUEST_METHOD=GET
SCRIPT_NAME=(null)
QUERY_STRING=lastname=name1&amp;firstname=name2&amp;sex=Male&amp;email=who@dom
CONTENT_LENGTH=(null)
query_string:
lastname=name1&amp;firstname=name2&amp;sex=Male&amp;email=who@dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: sex=Male(sex=Male)
qv[3]: email=who@dom(email=who@dom)
</PRE></BODY></HTML>
$

POST の場合、まず、データをファイルに保存しておく。そのバイト数を wc コマンドなどで調べておく。環境変数 REQUEST_METHOD に POST と設定する。環境変数 CONTENT_LENGTH にデータファイルの大きさを設定する(ここでは最後の改行を取り除いたバイト数を指定している)。

$ unset QUERY_STRING 
$ export REQUEST_METHOD=POST 
$ echo 'lastname=name1&firstname=name2&sex=Male&email=who@dom' > data 
$ wc data 
 1  1 54 data
$ export CONTENT_LENGTH=53  
$ ./cgi-printarg.cgi < data 
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
REQUEST_METHOD=POST
SCRIPT_NAME=(null)
QUERY_STRING=(null)
CONTENT_LENGTH=53
query_string:
lastname=name1&amp;firstname=name2&amp;sex=Male&amp;email=who@dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: sex=Male(sex=Male)
qv[3]: email=who@dom(email=who@dom)
</PRE></BODY></HTML>
$

cgi-printarg.cのmain()

   1:	
   2:	/*
   3:	  cgi-printarg.c -- CGI プログラムに対する引数を表示するプログラム
   4:	  ~yas/syspro/www/cgi-printarg.c
   5:	  Created on: 2002/06/23 18:21:34
   6:	*/
   7:	
   8:	#include <stdlib.h>     /* getenv(), malloc() */
   9:	#include <stdio.h>      /* printf() */
  10:	#include <string.h>     /* strlen() */
  11:	#include <sys/types.h>  /* read() */
  12:	#include <sys/uio.h>    /* read() */
  13:	#include <unistd.h>     /* read() */
  14:	#include <ctype.h>      /* isdigit() */
  15:	
  16:	extern void  print_header(void);
  17:	extern void  print_content(void);
  18:	extern char *get_query_string();
  19:	extern char *read_query_string();
  20:	extern void  safe_printenv( char *name );
  21:	extern void  safe_print_string( char *str );
  22:	extern char *html_escape( char *str );
  23:	extern char *decode_hex( char *str );
  24:	
  25:	extern int string_split( char *str, char del, int *countp, char ***vecp  );
  26:	extern void free_string_vector( int qc, char **vec );
  27:	extern int countchr( char *s, char c );
  28:	
  29:	int
  30:	main()
  31:	{
  32:	        print_header();
  33:	        print_content();
  34:	}
  35:	
  36:	void
  37:	print_header()
  38:	{
  39:	        printf("Content-Type: text/html\n");
  40:	        printf("\n");
  41:	}
  42:	
  43:	void
  44:	print_content()
  45:	{
  46:	        char  *query_string ;
  47:	        char **qv ;
  48:	        int    qc ;
  49:	        int    i ;
  50:	
  51:	        printf("<HTML><HEAD></HEAD><BODY><PRE>\n");
  52:	
  53:	        safe_printenv("REQUEST_METHOD");
  54:	        safe_printenv("SCRIPT_NAME");
  55:	        safe_printenv("QUERY_STRING");
  56:	        safe_printenv("CONTENT_LENGTH");
  57:	
  58:	        query_string = get_query_string();
  59:	        printf("query_string:\n");
  60:	        safe_print_string( query_string ); printf("\n");
  61:	
  62:	        if(  string_split( query_string,'&',&qc, &qv ) < 0 )
  63:	        {
  64:	                printf("Error while parsing query string\n");
  65:	                printf("</PRE></BODY></HTML>\n");
  66:	                if( query_string )
  67:	                        free( query_string );
  68:	                exit( -1 );
  69:	        }
  70:	        for( i=0 ; i<qc ; i++ )
  71:	        {
  72:	                char *decoded ;
  73:	                printf("qv[%d]: ",i);
  74:	                safe_print_string(qv[i]);
  75:	                decoded = decode_hex( qv[i] );
  76:	                printf("("); safe_print_string( decoded ); printf(")\n");
  77:	                if( decoded )
  78:	                        free( decoded );
  79:	        }
  80:	
  81:	        printf("</PRE></BODY></HTML>\n");
  82:	        free_string_vector( qc, qv );
  83:	        if( query_string )
  84:	                free( query_string );
  85:	}
  86:

これは、標準の CGI プログラムなので、print_header()では、HTTP のヘッダのうち、Content-Type: 行だけを出力している。

print_content() では、本文を出力している。

safe_printenv() で、環境変数 REQUEST_METHOD, SCRIPT_NAME, QUERY_STRING, CONTENT_LENGTH の内容を標準出力に出力している。

get_query_string() は、クライアントから送られてきたパラメタ(query string)を読込み、文字列として返す関数である。この結果を、 safe_print_string() で標準出力に出力している。

strint_split() で query string を区切り文字「&」で分解している。この関数は、練習問題(703) string_split()とfree_string_vector()の利用で使ったものと同じものである。分解した結果は、main() の引数である int argc, char *argv[] と同じ形になっている。qc が、argc, qv が argv に対応する。

for ループでは、qv[] をsafe_print_string() で標準出力に出力している。さらに、decode_hex() で、%hh (%hhは16進数)の形式を、バイトに元に戻すものである。

free_string_vector() は、string_split() で malloc() したものを free() するための手続きである。

get_query_string()

get_query_string() は、CGI でプログラムが実行された時にパラメタが含まれた文字列を読み込むプログラムである。

  87:	char *
  88:	get_query_string()
  89:	{
  90:	        char *request_method, *query_string;
  91:	        request_method = getenv("REQUEST_METHOD");
  92:	        if( request_method == 0 )
  93:	                return( 0 );
  94:	        else if( strcmp(request_method,"GET") == 0 )
  95:	        {
  96:	                query_string = getenv("QUERY_STRING");
  97:	                if( query_string == 0 )
  98:	                        return( 0 );
  99:	                else
 100:	                        return( strdup(query_string) );
 101:	        }
 102:	        else if( strcmp(request_method,"POST") == 0 )
 103:	        {
 104:	                return( read_query_string() );
 105:	        }
 106:	        else
 107:	        {
 108:	                printf("Unknown method: ");
 109:	                safe_print_string( request_method );
 110:	                printf("\n");
 111:	                return( 0 );
 112:	        }
 113:	}
 114:

get_query_string() は、クライアントから送られてきたパラメタを、１つの文字列として受け取るものである。GET メソッドの場合()は、単に環境変数 REQUEST_METHOD を読めばよい。ただし、文字列の長さの上限がきつい。

strdup() は、文字列をコピーするものである。使い終わったら、free() で解放する。

POST メソッドの場合は、read_query_string() で続きの処理を行う。

read_query_string()

read_query_string() は、CGI でPOSTメソッドが使われた時にパラメタを標準入力から読み込む。

 115:	char *
 116:	read_query_string()
 117:	{
 118:	        int   clen ;
 119:	        char *content_length ;
 120:	        char *buf ;
 121:	
 122:	        content_length = getenv("CONTENT_LENGTH");
 123:	        if( content_length == 0 )
 124:	        {
 125:	                return( 0 );
 126:	        }
 127:	        else
 128:	        {
 129:	                clen = strtol( content_length,0,10 );
 130:	                buf = malloc( clen + 1 );
 131:	                if( buf == 0 )
 132:	                {
 133:	                        printf("read_query_string(): no memory\n");
 134:	                        exit( -1 );
 135:	                }
 136:	                if( read(0,buf,clen) != clen )
 137:	                {
 138:	                        printf("read error.\n");
 139:	                        exit( -1 );
 140:	                }
 141:	                buf[clen] = 0 ;
 142:	                return( buf );
 143:	        }
 144:	}
 145:

CONTENT_LENGTH には、10進数でバイト数が含まれている。

Webブラウザの表示例

REQUEST_METHOD=GET
SCRIPT_NAME=/~syspro/2014/2014-08-05/cgi-printarg.cgi
QUERY_STRING=lastname=name1&firstname=name2&sex=Male&email=who%40dom
CONTENT_LENGTH=(null)
query_string:
lastname=name1&firstname=name2&sex=Male&email=who%40dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: sex=Male(sex=Male)
qv[3]: email=who%40dom(email=who@dom)

REQUEST_METHOD=POST
SCRIPT_NAME=/~syspro/2014/2014-08-05/cgi-printarg.cgi
QUERY_STRING=
CONTENT_LENGTH=55
query_string:
lastname=name1&firstname=name2&sex=Male&email=who%40dom
qv[0]: lastname=name1(lastname=name1)
qv[1]: firstname=name2(firstname=name2)
qv[2]: sex=Male(sex=Male)
qv[3]: email=who%40dom(email=who@dom)

cgi-printarg.cgiの内部関数

以下の内容は、飛ばしてよい。

html_escape()

safe_printenv() は、環境変数をgetenv() で検索し、その値を safe_print_string() で標準出力に出力している。

safe_print_string() は、html_escape() を使って文字列を安全なものにして表示する。

html_escape()(次回説明)は、クライアントから送られたような信頼できない文字列をクライアントに送り返す時に、不用意に JavaScript 等がクライアント側のブラウザで動作しないようにするための関数である。たとえば、<SCRIPT> のような文字列がクライアントから送られてきたとしても、クライアントには「<SCRIPT>」と返すだけで、スクリプトは実行されない。

decode_hex()

decode_hex() は、「%hh(2桁の16進数)」を元のバイトに戻すものである。isxdigit() は、１６進数の文字として正しいかを調べている。strtol() で基底を 16 として変換している。

Apacheの機能

アクセスログとエラーログ

WWW サーバは、ページがアクセスされる度に記録を残す。この記録をアクセスログという。アクセスログは、情報科学類のサーバ www (www.coins.tsukuba.ac.jp) では、次の場所にある。

http: /var/log/httpd/http/access*
https: /var/log/httpd/https/ssl_access*

この中で、数字が一番大きなもの、または、日付が新しいものが、現在増加しているログである。

$ cd /var/log/httpd/http/ 
$ ls    access* | tail -1 
$ ls -t access* | head -1

以下の例では、現在増加しているログは access_log_20140730 である。

$ cd /var/log/httpd/http/ 
$ ls    access* | tail -1 
access_log_20140730
$ ls -t access* | head -1 
access_log_20140730
$

以下は、アクセス・ログの内容の例である。見やすいように改行を入れているが実際には１行が１つのページの転送を意味する。

130.158.83.140 - - [31/Jul/2014:14:24:54 +0900]
"GET /~syspro/2014/ HTTP/1.1" 200 4631
"http://www.coins.tsukuba.ac.jp/"
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:31.0) Gecko/20100101 Firefox/31.0"

130.158.83.140 - - [31/Jul/2014:15:24:42 +0900] 
"POST /~yas/coins/syspro-2014/2014-08-05/cgi-printarg.cgi HTTP/1.1" 200 348 
"http://www.coins.tsukuba.ac.jp/"
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:31.0) Gecko/20100101 Firefox/31.0"

このログは、設定ファイル /etc/httpd/conf/httpd.conf にある CustomLog 等の設定による。

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
CustomLog "|/usr/sbin/rotatelogs -l /etc/httpd/logs_http/access_log_%Y%m%d 20M" combined

combined という名前が付けられたログのフォーマットの意味は、以下の通りである。

%h: クライアントの IP アドレス。
%l: identd で調べたユーザ名。普通は、"-"
%u: 認証が行われた時のユーザ名。
%t: アクセスされた時刻
%r: 要求行(request line)
%>s: ステータス(200 OK なら 200)
%b: 応答のバイト数
%{Referer}i: Referer: 行の内容。リンク元をたどってアクセスされた時のリンクの元。
%{User-Agent}i" User-Agent: 行の内容。Web ブラウザの種類。

アクセスログの他に、エラーが起きた時にもログが作られる。これをエラーログという。エラーログは、情報科学類のサーバ www (www.coins.tsukuba.ac.jp) では、次の場所にある。

http: /var/log/httpd/http/error*
https: /var/log/httpd/https/error*

CGI のプログラムをデバッグする時には、このエラーログを見て原因を探る。

その他に、次のようなログを取ることもある。

ssl_request_log (coins では /var/log/http/https/ssl_request*): SSL のプロトコル等
suexec_log (coins では /var/log/apache2/suexec_log): suExec を使っていた時のログ

自分が単にＷＷＷブラウザを使っているだけでも、さまざまな情報をサーバに送っているとに注意しなさい。

CGI プログラムを実行するプロセスの権限

シェルからプロセスを生成しプログラムを実行する時には、その新しいプロセスの権限（ユーザ属性、getuid() の結果）は、シェルのものからコピーされる。すなわち、新しいプロセスはシェルと同じユーザの権限で動作する。CGI の場合、遠隔の WWW ブラウザのユーザは、その WWW サーバにログインする権限はないが、CGI のプログラムを実行することができる。そのプログラムを、どのユーザの権限で実行する方法としては、大きく次の２つ方法がある。

WWW サーバ・プロセスの権限で動作させる。
CGI プログラムを作成したユーザの権限で動作させる(suEXEC)。

どちらの方式にも一長一短がある。WWW サーバ・プロセスの権限で動作させた場合、次のような長所と短所がある。

長所：万一、CGI プログラムにバグがあった場合でも、電子メールなど個人のファイルが保護される。
短所：CGIが利用するファイルを、WWW サーバのプロセスからアクセスできる状態にしなければならない。通常の運用では、誰からでもアクセスできる状態にする必要がある(モードを 666 rw-rw-rw-や 777 rwxrwxrwx にする)。このため、そのコンピュータにログインでき人ならば、そのファイルの名前を知っていれば、データを取り出したり内容を破壊したりできる。

suEXEC を使う方法の場合、長所と短所は逆になる。

短所：万一、CGI プログラムにバグがあった場合、電子メールなど個人のファイルが盗まれる。
長所：CGIが利用するファイルを保護できる。CGI を設置した人だけがアクセスできるように設定できる(モードを 600 rw-------や 700 rwx------ にする)。

ステータス行も含むヘッダ(Apache non-parsed headers)

Apache では、標準では、サーバが最初のステータス行「HTTP/1.1 200 OK」を Apache が作成している。Status:という行を含めることで、ステータス行を記述することもできる。Status:がない場合、Location: というヘッダがあれば、302 Found (redirect)、それ以外の場合は、

200
OK

が返される。それ以外のヘッダも、Apache が自動的に生成して返す。

ステータス行も含めて、完全なヘッダを CGI で作成して返すこともできる。この方法を、Apache では、nph (non-parsed headers) と呼んでいる。

Apache で、nph を使うには、nph- で始まるファイル名を用いる。これを使うと、Apache は、CGI プログラムが作成したヘッダを一切解釈(parse) せず、そのままクライアントに返す。

CGIでのその他の注意事項

ファイルのロック

練習問題と課題

練習問題(901) WWW サーバ上のデータの観察

次の手順で、WWW サーバ上のデータの観察のアクセスログを観察しなさい。

ssh コマンドを使ったことがない人は、コンピュータリテラシの資料を参考にして、ssh の使い方を学びなさい。
★練習問題(1101) sshコマンドによる遠隔ログインで、サーバ www.coins.tsukuba.ac.jp に ssh でログインしなさい。 fingerprint を使って SSHにおけるホストの認証を行いなさい。
サーバ www.coins.tsukuba.ac.jp 上の /var/www/htdocs/ 以下のファイルを観察しなさい。
同様に、/var/www/secure_htdocs/ 以下のファイルを観察しなさい。

abelia01:~ yas$ ssh www
yas@wwws password: パスワード(画面には表示されない)
Last login: Thu Jul 31 10:46:01 2014 from www.coins.tsukuba.ac.jp
violet-nwa:~ yas$ cd /var/www/htdocs/
violet-nwa:htdocs yas$ lv index.html
violet-nwa:htdocs yas$ lv syllabus/index.html
violet-nwa:htdocs yas$ 
'

ssh で遠隔ログインする前後に、プロンプトのホスト名の部分が変化することに注意しなさい。

同様に https でアクセスできるページについても調べなさい。トップのディレクトリは、/var/www/secure_htdocs/ 以下にある。

練習問題(902) アクセスログの観察

次の手順で、アクセスログを観察しなさい。アクセスログは、サーバ(www,www.coins.tsukuba.ac.jp)上の /var/log/httpd/http/access* というファイルにためられる。これを、次のようにして観察しなさい。

WWW サーバ上のデータの観察と同様に、ssh で www.coins.tsukuba.ac.jp にログインする。
★練習問題(1106) 学類 Web サーバのアクセス・ログの観察を行う。
★練習問題(1107) 学類 Web サーバのアクセス・ログの観察(https) を行う。

次のコマンドを利用できるようにしなさい。

lv コマンド、または、less コマンド
grep コマンド、または、egrep コマンド
tail コマンド

練習問題(903) cgi-arg1arg2.cgi

次の CGI プログラムをコマンドラインから実行しなさい。

~yas/syspro/www/cgi-arg1arg2.c

$ cp ~yas/syspro/www/cgi-arg1arg2.c . 
$ cc cgi-arg1arg2.c -o cgi-arg1arg2.cgi  
$ ./cgi-arg1arg2.cgi  
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
Error while parsing query string
</PRE></BODY></HTML>
$ export REQUEST_METHOD=GET 
$ export QUERY_STRING='arg1=10&arg2=20' 
$ ./cgi-arg1arg2.cgi  
Content-Type: text/html

<HTML><HEAD></HEAD><BODY><PRE>
arg1: [10]
arg2: [20]
</PRE></BODY></HTML>
$

レポートには、次の結果を含めなさい。

arg1 と arg2 の両方を設定した時の結果
arg1 のみを設定した時の結果
arg2 のみを設定した時の結果
arg1 も arg2 も設定しなかった時の結果

余裕があれば、REQUEST_METHOD=POST についても、同様に実行してみなさい。

余裕があれば、フォームを定義し、何かデータを送ってみなさい。 coins で CGI を実行する場合、CGI の実行形式を Web サーバ (http://www.coins.tsukuba.ac.jp) に ssh でログインした上で作成すること。 iMac MacOSX で作成した実行形式は、Web サーバ Linux では動作しない。

http://www.coins.tsukuba.ac.jp/~syspro/2014/2014-08-05/cgi-arg1arg2.cgi

たとえば、次のような記述を含む HTML ファイルを作成し、 ~/public_html/htdocs/ 以下に置く。

<FORM ACTION="http://www.coins.tsukuba.ac.jp/~syspro/2014/2014-08-05/cgi-arg1arg2.cgi" method="get">
    arg1: <INPUT type="text" name="arg1">
    arg2: <INPUT type="text" name="arg2">
    <INPUT type="submit">
    <INPUT type="reset">
</FORM>

arg1: arg2:

また、余裕があれば、method="post" についても同様に行ってみなさい。

練習問題(904) CGIによる足算

この課題を解く前に必ず練習問題(903) を解きなさい。レポートには、練習問題(904) の結果だけでなく、練習問題(903) の結果も含めなさい。

２つのデータを受け取り、その結果を加えた数を表示するようなCGI のプログラムを作成しなさい。

ヒント：

"arg1=10&arg2=20"のように送るようなフォームを想定してプログラムを作成する。
cgi-arg1arg2.cgiで、余計な表示をなくす。
string_split() で分解した後、"arg1=" や "arg2=" があるパラメタを検索する。
```
     char *arg1_s,*arg2_s;
     arg1_s = getparam(qc,qv,"arg1");
     arg2_s = getparam(qc,qv,"arg2");
```
getparam() は、次のような関数であり、 cgi-arg1arg2.cgiのソースコードに含まれている。

char *getparam(int qc, char *qv[], char * varname ) [独自]
第１引数と第2引数は、 string_split() で作成したカウントと文字列のベクタである。第3引数が"name"の時、この関数は、 "name=value" というパラメタを見つけ、"value"を返す。見つからなかったら NULL を返す。この関数の使い方は、ライブラリ関数 getenv() と似ているので、それも参考にしなさい。
引数が足りかったり、不正な場合にはエラー・メッセージを表示して終了する。ただし、"arg1=100xxx" のように、数の後ろに数字ではないものが含まれていたとしても、それを無視してよいものとする。
得られた文字列を、strtol() 等で整数に変換し、足算を行う。結果を printf() の %d などで表示する。
作成したプログラムを、シェルから実行して動作を確認する。
```
$ export REQUEST_METHOD=GET 
$ export QUERY_STRING='arg1=10&arg2=10' 
$ ./a.out 
30
$ 
```
なお、一度設定した環境変数の値は、シェルを終了するまで残っている。 a.out を実行するたびに設定する必要はない。
レポートには、引数が足りかったり、不正な場合にはエラー・メッセージを表示して終了することも示しなさい。

余裕があれば、そのプログラムを CGI として動作させなさい。 coins で CGI を実行する場合、CGI の実行形式を Web サーバ (http://www.coins.tsukuba.ac.jp) に ssh でログインした上で作成すること。 iMac MacOSX で作成した実行形式は、Web サーバ Linux では動作しない。

実行形式 a.out を　~/public_html/htdocs の下にコピーする。例:

$ mkdir ~/public_html/htdocs/syspro-cgi-examples 
$ cp a.out ~/public_html/htdocs/syspro-cgi-examples/calc.cgi

Web ブラウザで次のような URL を開く。例:

$ open 'http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc.cgi?arg1=10&arg2=20'

"arg1=10&arg2=20"のように送るようなフォームを含むHTML ファイルを作成する。例:
```
$ emacs ~/public_html/htdocs/syspro-cgi-examples/calc.html 
```
Web ブラウザでフォームを含む　HTML ファイルを開き、実行する。例:
```
$ open http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc.html 
```

練習問題(905) CGIによる加減乗除

練習問題(904) で、足算以外の計算もできるようにしなさい。演算の種類は、メニューやラジオボタンなどで選択できるようにしなさい。この課題では、Web ブラウザで実行して、その結果とその時のアクセスログを示しなさい。

練習問題(906) CGIによるカレンダの表示

fork() と execve() を使って、/usr/bin/cal を実行し、WWW ブラウザに今月のカレンダを実行する CGI プログラムを作りなさい。cal コマンドは、引数を付けずに実行すると、今月のカレンダーを表示する。

$ cal 
     August 2014    
Su Mo Tu We Th Fr Sa
                1  2
 3  4  5  6  7  8  9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
$

CGI プログラムを実行した月のカレンダーを表示しなさい。固定した表示するだけなら、CGI の意味はない。余計な表示は省略すること。

この課題では、system() や popen() を用いてはならない。

ヘッダを表示する。
fork(), execve(), wait() 等を用いて、cal コマンドを実行する。標準出力をそのままにしておけば cal コマンドの結果がそのまま CGI の結果として返される。その他に、パイプを用いて結果を受け取る方法も考えられる。

作成したプログラムを、シェルから実行して動作を確認する。

$ ./a.out 
Content-Type: text/plain

     August 2014    
Su Mo Tu We Th Fr Sa
                1  2
 3  4  5  6  7  8  9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
$

余裕があれば、そのプログラムを CGI として動作させなさい。

~/public_html/htdocs の下にコピーする。

$ mkdir ~/public_html/htdocs/syspro-cgi-examples 
$ cp a.out ~/public_html/htdocs/syspro-cgi-examples/show-cal-one.cgi

Web ブラウザから次のようなURLを開き、CGI を実行する。

$ open http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc-one.cgi

CGI のプログラムを実行するようなフォームを含むHTML ファイルを作成する。

<FORM ACTION="http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc-one.cgi" method="get">
<INPUT type="submit">
</FORM>

Web ブラウザからフォームを含む HTML ファイルを開き、CGI を実行する。

練習問題(907) CGIによるカレンダの表示(引数付き)

練習問題(906) で、今月のカレンダーではなく、任意の年・月のカレンダーを表示しなさい。

ヒント：

"year=2014&month=8"のように送るようなフォームを想定してプログラムを作成する。
cgi-arg1arg2.cgiで、余計な表示をなくす。
string_split() で分解した後、"year=" や "month=" があるパラメタを検索する。
```
     char *year_s,*month_s;
     year_s = getparam("year");
     month_s = getparam("month");
```
getparam() は、 cgi-arg1arg2.cgiのソースコードに含まれている。
引数が足りかったり、不正な場合にはエラーメッセージを表示して終了する。
得られた文字列を、strtol() 等で整数に変換する。引数の範囲をチェックする。たとえば、13月や-1年等が与えられた場合には、エラーメッセージを表示して終了する。
snprintf() 等で、cal コマンドにあたえる引数を文字列で作る。
ヘッダを表示する。
fork(), execve(), wait() 等を用いて、cal コマンドを実行する。標準出力をそのままにしておけば cal コマンドの結果がそのまま CGI の結果として返される。その他に、パイプを用いて結果を受け取る方法も考えられる。
作成したプログラムを、シェルから実行して動作を確認する。
```
$ export REQUEST_METHOD=GET 
$ export QUERY_STRING='year=2014&month=8' 
$ ./a.out 
$ 
```
なお、一度設定した環境変数の値は、シェルを終了するまで残っている。 a.out を実行するたびに設定する必要はない。
レポートには、引数が足りかったり、不正な場合にはエラー・メッセージを表示して終了することも示しなさい。

余裕があれば、そのプログラムを CGI として動作させなさい。

~/public_html/htdocs の下にコピーする。

$ mkdir ~/public_html/htdocs/syspro-cgi-examples 
$ cp a.out ~/public_html/htdocs/syspro-cgi-examples/show-cal.cgi

Web ブラウザから次のようなURLを開き、CGI を実行する。

$ open 'http://www.coins.tsukuba.ac.jp/~ログイン名/syspro-cgi-examples/calc.cgi?year=2014&month=8'

"year=2014&month=8"のように送るようなフォームを含む HTML ファイルを作成する。
Web ブラウザからフォームを含む HTML ファイルを開き、CGI を実行する。

注意: CGI のパラメタは、最初は、文字列で受け取り、最終的に cal コマンドには文字列で渡す。この時に、年月日としては不適切なものがクライアントから渡される可能性がある。不適切なものが渡された場合には、エラー・メッセージを表示しなさい。また、不正なパラメタで cal コマンドは実行してはならない。

練習問題(908) CGIプログラムの実行権限

CGI プログラムが、どのユーザの権限で動作しているかを調べるプログラムをつくりなさい。CGI として実行した時とシェルから実行した時の結果を比較しなさい。

ヒント：CGI のプログラムから getuid(), getgid(), getgroups() システム・コールを実行する。uid や gid を文字列で表示したいなら、getpwuid(), getpwuid_r(), getgrgid(), getgrgid_r() を用いる。

getuid(), getgid(), getgroups() システム・コールを用いる代わりにid コマンドを実行する方法もある。

練習問題(909) 文字列を表示するアクセス・カウンタ

アクセスされる度に、数字が増えるようなページをCGI で作成しなさい。よく使われるアクセス・カウンタは、HTML にインライン・イメージとして埋め込まれる。この課題で作成するカウンタは、単体のページとして動作し、テキストを表示するものである。

ヒント：

次のようなプログラムを作成する。

main()
{
	ファイルから整数を読み出す（ファイルがなければ0とする）。
	1 加える。
	標準出力(画面)に整数値を表示する。
	ファイルに整数を保存する。
}

上のプログラムに、CGI として動作するようにヘッダを付ける。 Content-Type: は、text/plain にする。 Content-Type: を text/html にする方法もある。ただし、本文は、HTML として作成する必要がある。
最終的にそのプログラムが ~/public_html/htdocs 以下にコピーされることを想定して、整数を保存するファイルを修正する。必要ならば、初期状態のファイルを作成して、環境に合わせてモードを適切なものにする(常に chmod 666 は誤り)。
拡張子を .cgi として、~/public_html/htdocs 以下にコピーする。
Web ブラウザから URL を指定して実行する。

練習問題(910) 文字列を表示するアクセス・カウンタ(ロック付き)

練習問題(909) で、ファイルに対するロックを行うようにしないさい。

ロックがきちんと動作していることを示しなさい。そのためには、ロックして getchar() 等でキーボードからの指示で(アンロックして)終了するプログラムを作成する方法がある。プログラムが終了すると自動的にアンロックされる。次のプログラムを参考にしてもよい。

~yas/syspro/file/lock-fcntl-sh.c
~yas/syspro/file/lockf-sh.c
~yas/syspro/file/flock-sh.c

注意: 2010年4月-2014年3月、coins の環境では、www サーバからNFS経由でアクセスしているファイルに対して次のどの方法でもロックが働く。

fcntl(,F_SETLKW,)
lockf()
flock()

他の環境では、NFS経由でのロックがうまく働かないこともあるので、使う前に確認すること。2009年2月までの環境では、flock() や fcntl() が動作しなかった。

練習問題(911) ハッシュ表を使うライブラリ関数

メモリ中のハッシュ表を使うライブラリ関数 hcreate(), hsearch(), hdestroy() について調べなさい。

練習問題(912) 永続的ハッシュ表

永続的なハッシュ表とは、メモリ中のハッシュ表と同様に、キーを指定して値をアクセスするための機能を提供するが、データはファイルに保存されているので、次に同じプログラムを実行した時も、そのまま残されている所が異なる。具体的な内部のアルゴリズムとしては、ハッシュの他にＢ木もよく使われる。一般的なデータベースの場合、いくつかの制約(integrity rule)を満たすことが重要となるが、永続的ハッシュ表の場合には、特にそのような制約はない。

永続的なハッシュ表を作成する方法として、dbm ライブラリを用いる方法がある。これを利用してみなさい。ライブラリ関数としては、dbm_open(), dbm_store(), dbm_fetch(), dbm_delete(), dbm_close()がある。詳しくは、 man dbm_open を見なさい。

練習問題(913) 文字列を表示するアクセス・カウンタ(永続的ハッシュ表の利用)

練習問題(909) で、データを通常のファイルではなく、永続的ハッシュ表を用いるようにしなさい。

練習問題(914) アキュームレータ

練習問題(909) では、アクセスされる度に 1 ずつ増える。そうではなくて、引数をとり、その数を増やしていくようなものを作成しなさい。

引数がなければ、保存されている現在の値を表示する。
不正な引数が与えられれば、エラー・メッセージと現在の値を表示する。
引数があれば、保存されている現在の値を引数に加え、保存する。さらに、新しい値を表示する。

練習問題(915) アキュームレータ(ロック付き)

練習問題(914) で、練習問題(910) と同様に、ファイルに対するロックを行うようにしないさい。

Last updated: 2014/08/08 08:24:26

Yasushi Shinjo / <yas@cs.tsukuba.ac.jp>