通信プリミティブ

情報学類 分散システム					2008年12月09日

                                       筑波大学システム情報工学研究科
                                       コンピュータサイエンス専攻, 電子・情報工学系
                                       新城 靖
                                       <yas@is.tsukuba.ac.jp>

このページは、次の URL にあります。
http://www.coins.tsukuba.ac.jp/~yas/coins/dsys-2008/2008-12-09
あるいは、次のページから手繰っていくこともできます。
http://www.coins.tsukuba.ac.jp/~yas/
http://www.cs.tsukuba.ac.jp/~yas/

■復習

• ファイルやファイルに対するロックが使えるのは、集中システムだから。 分散システムでは、ファイルが使えないこと、ロックがうまく動作しないこと がある。
• １人で分散システムを使うこともある。
• 複数人で集中システムを使うこともある。

■今日の大事な話

• プロセス間通信の分類
• marshaling (整列化)
• クライアント・サーバ・モデル(プロセス通信の構造化、よく使うパタン)

第２章 基盤技術 (新城)

■プロセス間通信

• クライアント・サーバ
• グループ通信(マルチキャスト)

◆プロセスとメッセージ

ネットワークで接続された複数のコンピュータ上で複数のプロセスを動作させ る。プロセスは、全体として１つの仕事を成し遂げる。

ノード：プロセス、あるいは、コンピュータ

メッセージ：ノード間で交換されるデータ

分散システムでは、次のような集中システムでは普通に使える共有資源が使えない。

• メモリ
• ファイル
• 名前空間
• イベント
• セキュリティ、主体、認証

◆通信プリミティブ

◆sendとreceive

send()

メッセージを送信する

receive()

メッセージを受信する。

◆通信プリミティブの分類

• 信頼性がある／ない
• (同期／非同期)
• (バッファリングあり／なし)
• 結合が作られる／作られない
• (順序が保存される／されない)
• アドレス指定。送り先の指定がプロセス／メール・ボックス
• 単方向／双方向
• マルチキャストあり／なし
• (帯域保証あり／なし、遅延保証あり／なし)

◆信頼性の有無(reliable or non-reliable)

信頼性性があるかないか。専門用語では、程度問題（高い低い）ではなく、有 るか無いか。

信頼性がある通信プリミティブを利用した場合、あるプロセスが送信したメッ セージは、途中で失われることはなく、有限時間以内に通信相手のプロセスに 送り届けられる。

分散システムでは、メッセージは、失われることがある。

• 伝送媒体に雑音がのってメッセージが壊れる。
• 混んでいるルータでメモリが足りなくなってメッセージが捨て られる。

• 失われたメッセージを再送するなどして、送り届けるように努力する。
• send() は、何も保証しない。
• send() は、何も保証しない。上のレベルでやる(client-server, RPC)。

◆結合（コネクション）が作られるか結合が作られないか

結合が必要な通信プリミティブ

実際に send や receive でメッセージを送受 信する前に結合を確立させる手順を踏む。電話。

結合が作られない通信プリミティブ

送りたいデータをすぐに send することができる。郵便。

◆接続の確立と送受信

着信側

    make_port(); // 受付端の登録。
    accept();    // 実際の受付。connect() と対応。

    receive();
    send();
    receive();
    send();

    close();     // 接続の切断。

    connect();   // 接続要求。accept() と対応。

    send();
    receive();
    send();
    receive();

    close();     // 接続の切断。

◆接続を用いない通信

プロセスＡ

    receive();
    send();
    receive();
    send();

    send();
    receive();
    send();
    receive();

◆アドレス指定

• 直接。プロセスを指定する。
• 間接。メール・ボックス。複数のプロセスによって共有されることもされない こともある。

ほとんどの通信プリミティブは、間接。

◆TCP/IP

◆IP

• 信頼性がない
• 単方向
• データの送り手と受けての間に結合（通信路）が形成されない
• 送出したデータの順番が途中で変ることや送出したデータが失われるこ とがある。その場合、システムは何もしない。
• アドレス指定は、IPアドレス。IPv4 で 32ビット。IPv6 で 128ビット。

◆TCP

• 信頼性のある（reliable）
• 双方向
• ２つのプロセス間に結合(connection，通信路)が形成される
• 複数回に分けて送り出したデータでも順番が入れ替わらない
• データの区切りは保存されない
• アドレス指定は、結合で指定。結合は、次の４つで区別される。
  • 送り手のIPアドレス
  • 送り手のポート番号
  • 受け手のIPアドレス
  • 受け手のポート番号

◆UDP

• アドレス指定、IPアドレスとポート番号(16ビット)

◆どの通信プリミティブを使うか

• TCP, UDP が要求に適合していれば、そのまま使う
• 要求になければ、TCP, または、UDP の上位層に独自のプロトコルを 構築する。

順序付きパケット。

ストリームと似ているが、メッセージの区切りが保存される。 TCP で、メッセージ本体の前に、バイト数を送ることで実装できる。

信頼性のあるデータグラム

通常のデータグラムと似ているが、メッセージが紛失した時に再送する。

• TCP で、実装する。結合は、キャッシュとして使う。
• UDP で実装する。再送のためにメッセージをコピーする。

◆まとめ

■marshaling/unmarshaling

marshaling (整列化)

メモリ中からデータ項目を集めて、ネットワークでメッセージとして 転送するのに適した形式にまとめる。

unmarshaling (非整列化)

逆。

• 整数
• 文字列
• ビットマップデータ（可変長）のバイト数
• ビットマップデータ（可変長）の本体

• 構造体や配列の要素を先頭から順にバッファに追加する。
• 可変長のデータの場合、まず、要素数を追加し、それに続いて本体を追加する。

ネットワーク上を流れている時には、整列化された データの先頭にはネットワークのヘッダが付加されている。

◆整数のmarshaling

• ワード(基本的な整数データ)が 8bit/16bit/32bit/64bit と違うことがある。 C 言語の int 型のビット数が違う。
• 1バイトのビット数は、現在は、8ビットのものが主流。 (1バイトが9ビットのものもあった。)
• メモリには、バイト単位で番地が付けられているものが主流。 (ビット単位、ワード単位で番地を付ける方法も考えられる。)
• バイト・オーダが違うことがある。

◆バイト・オーダ

Ｃ言語で扱える整数

• 1 バイト(char)
• 2バイト(short)
• 4バイト(long)

2バイト、または、4バイトの整数をメモリに保存する方法 : メモリの下位番地に上位バイトを置くか下位バイトを置くか

リトルエンディアン

下位番地に下位バイトを置く。x86 (Intel Pentium/Core, AMD Athlon/Phenom)。

ビッグエンディアン。

下位番地に上位バイトを置く。PowerPC, SPARC, m68k

◆ビッグエンディアンとリトルエンディアンの比較

• リトルエンディアンがよい
  • 32ビットの整数のうち、下位 8 ビットや 16 ビットだけが必要な場合、番地の計算をし直す必要がない。
  • 多倍長の整数を足し算したい場合は、下位からアクセスする
• ビッグエンディアンがよい
  • 多倍長の整数の比較や割り算

◆送り方

• 送信側、または、受信側で相手に合わせて変換する。バイトオーダが同 じ場合は何もしない。
• 標準的なバイトオーダ(ネットワーク・バイト・オーダ) を定める。送 信側では、ネットワークにデータを流す時には、常に自分自身のバイト・オー ダ（ホスト・バイト・オーダ）をネットワーク・バイト・オーダに変換する。 受信側では、ネットワーク・バイト・オーダから自分のホスト・バイト・オー ダに変換する。

• TCP/IP の IP アドレスやポート番号
• XDR

◆バイトオーダを変換するライブラリ関数

◆htonl() を使った整数の送信

unsigned long int hostlong, netlong;    
hostlong = 0x12345678 ;    
netlong = htonl( hostlong );    
send(conn, &netlong, sizeof(netlong), 0);

◆snprintf()/strtol()

送信側:

    char buf[BUFSIZE];
    hostlong = 0x12345678 ;    
    snprintf(buf,BUFSIZE,"%d\n",hostlong );
    send(conn, buf, strlen(buf), 0);

注意：sscanf() は、整数をデコードするために使う分には問題ないが、 文字列を受け取るために使うとバッファ・オーバーフローが生じる可能性があるので、 使わない方がよい。

◆文字列のmarshaling

• 文字コードを合わせる。
• 複数バイトの場合、バイト・オーダも合わせる。

◆XDR

rpcgen というスタブ・コンパイラがある。 データ構造を与えると、marshaling を行う手続きを自動生成する。

SunRPC を使わなくて、XDR だけを使う方法もある。

xdrmem_create(XDR *, const caddr_t, const uint_t, const enum xdr_op)

メモリの指定されたの番地に保存／回復／メモリの解放。

void xdrstdio_create(XDR *, FILE *, const enum xdr_op)

FILE * を通じて、構造体の読み書き。

◆その他

• XML でタグ付けすると、値だけでなく、意味まで送れる。
• JSON (JavaScript Object Notation)
• CSV (Comma Separated Values)
• S式

■クライアント・サーバ・モデル

通信を構造化。send()/receive() を直接使うのは、goto (jump) でプログラ ムを書くようなもの。call/if/while で書きたい。

プロセスを２種類に分類する。通信は、次のパタンを繰り返す。

クライアント

先にメッセージ(要求)を send() １回、後でメッセージ(応答)を receive() １回

サーバ

先にメッセージ(要求)を receive() １回、後でメッセージ(応答)を send() １回

◆クライアントとサーバに分けて考える意義

構造化プログラミング：分かりにくいgoto文をつかわないで、わかりやすい goto文だけ使う。

◆サービスの授受

クライアント(client)

サービスを受ける方、顧客

サーバ(server)

サービス(service)を提供する方

◆利用者数

クライアント

一人で使うもの

サーバ

複数人で共有するもの

◆接続方法

クライアント

電話を掛ける方に相当する

サーバ

電話を待っている方

以上のように、クライアントとサーバは、いろいろな意味で使われる。これら の意味は、多くの場合、一致しているが、一致していないこともある。

◆能動的・受動的

通信を開始するパタンで、コンピュータ、プログラム、人間は、次の２つに分 類される。

能動的(active)

ほっといても自分でメッセージを発信し始める

受動的(passive)、受け身

何か言われると答えるが、自分ではメッセージを発信し始めることはない

例：ＷＷＷサーバは、ＷＷＷクライアントから何か要求が来ない限り、ずっと 黙っている。

コンピュータを使う時には、人間が能動的になり、コンピュータが受動的にな る。

テレビを見ている時には、人間が受動的になり、テレビが能動的になる。

講義形式の授業では、サービスの授受では、教官がサーバで、学生がクライア ントになる。通信の開始の方法では、教官が能動的になり、学生が受動的にな る。

大学以上では、学生は、能動的になることが求められている。

◆Peer to Peer (P2P)

混沌とした通信を 構造化 してわかりやすくしたものが、クライアント・サーバ・モデルである。

サーバあるシステムでは、サーバが落ちるとシステム全体が動作しなくなる。 このように複数の要素から構成されているシステムで、ある要素が故障した時 に、全体が動作しなくなるような場所を、単一障害個所(single point of failure) という。

コンピュータサイエンスでは、古くから、単一障害個所を避けるための研究が 行われてきている。もっとも成功している方法は、サーバを複数用意する方法 である。

サーバがないシステムでは、下手に作るとどの要素が故障してもシステム全体 が止まってしまうことになる。

サーバがないシステムで成功している例はある。

• インターネットの基幹のルータ。(IPv4 の BGP (Border Gateway Protocol) は、スケーラビリティ的に厳しい所には来ている。)
• ニュースシステム (後述)

peer は、「対等の仲間」の意味。「通信相手」という意味もある。

検索は、サーバで索引を集めた方が速い。Web 上の検索エンジンなど。

サーバがない方法の利点(特徴)

• うまく作れば、単一障害点がなくなる。
• サーバを維持するコストが不用である。
• サーバを経由しないで通信が行われると、サーバの負荷が減る。
• 無政府的で面白い。

• 下手に作ると、どの要素が故障しても全体が止る (single point of failure はないが、multiple points of failure になる)
• 検索などは遅い
• 責任の所在が不明になる
• 通信相手が本物かどうか確かめるのがたいへん

• 1999年起業。
• サーバでは、音楽ファイルの索引を置く。
• 音楽データの交換は、サーバを経由することなく、個々のプログラム間で 行われる。
• 2000年、全米レコード協会が提訴
• 2001年、Napster 敗訴。
• その後、別の会社買収し、ブランド名だけ残る。 今は、独自の著作権管理技術を使っている。

◆RPC

■今日のまとめ

◆クライアント

main() {
    connect(); // 結合が作られる通信プリミティブを使う時
    marshal();
    send();
    receive();
    unmarshal();
    close();   // 結合が作られる通信プリミティブを使う時
}

◆サーバ

main()
  make_port(); // 結合が作られる通信プリミティブを使う時
  while( 1 )
  {
    accept(); // 結合が作られる通信プリミティブを使う時
    receive();
    unmarshal();
    仕事();
    marshal();
    send();
    close(); // 結合が作られる通信プリミティブを使う時
 }
}