NFSとNIS

分散システム

                                       電子・情報工学系
                                       新城 靖
                                       <yas@is.tsukuba.ac.jp>

このページは、次の URL にあります。
http://www.coins.tsukuba.ac.jp/~yas/coins/dsys-2005/2006-01-31
あるいは、次のページから手繰っていくこともできます。
http://www.coins.tsukuba.ac.jp/~yas/
http://www.cs.tsukuba.ac.jp/~yas/

復習

• SunRPC のインタフェース記述言語。struct と union 。
• dirlistサービス

NFS(Network File System)

NFS ( Network File System ) は, Sun Microsystems 社が 開発したネットワーク・ファイル・システムの名前(固有名詞, 商標)。

ネットワーク・ファイル・システム(一般名詞)

ネットワークを通じて他のコンピュータ上にあるファイルを あたかも自分自身のローカルディスクにあるファイ ルと同じように扱えるようにしたファイルシステム

分散ファイルシステム

ネットワーク・ファイル・システムが発展して 分散透明性が実現されたもの。

その他のネットワーク・ファイル・システム

• SMB/CIFS。
• AFP (Apple File Protocol)
• WebDAV
• AT&T RFS (Remote File System)
• AFS (Andrew File System)

NFSの機能

NFSを使うと, ネットワークを通じて別のコンピュータ上のファイルシステム の一部分を, ローカルディスク上にあるファイルシステムと同じように, 自分 のファイルシステムの木に マウント(mount) できる。

相互に参照し合える。

NFSの仕組み

NFSの遠隔手続き呼び出し

RPCのサーバ

ディスクを持っているホストのカーネル

RPCのクライアント

参照しているホストのカーネル

/usr/include/rpcsvc/nfs_prot.x

表? NFSで使われているRPCの手続き

• NFS v2 [RFC1094]
• NFS v3 [RFC1813]
• NFS v4 [RFC3530]

NFSファイルハンドル

NFS でファイルやディレクトリを区別するための識別子。32バイト。

const NFS_FHSIZE	= 32;
...
/*
 * File access handle
 */
struct nfs_fh {
	opaque data[NFS_FHSIZE];
};

一番最初のNFSファイル・ハンドルをどうやって入手するか。

NFSマウントのためのRPCプログラム

lookup()

2.2.5.  Look Up File Name

	diropres
	NFSPROC_LOOKUP(diropargs) = 4;

If the reply "status" is NFS_OK, then the reply "file" and reply
"attributes" are the file handle and attributes for the file "name"
in the directory given by "dir" in the argument.

2.3.10.  diropargs

    struct diropargs {
	fhandle  dir;
	filename name;
    };

The "diropargs" structure is used in directory operations.  The
"fhandle" "dir" is the directory in which to find the file "name".
A directory operation is one in which the directory is affected.

2.3.11.  diropres

    union diropres switch (stat status) {
    case NFS_OK:
	struct {
	    fhandle file;
	    fattr   attributes;
	} diropok;
    default:
	void;
    };

The results of a directory operation are returned in a "diropres"
structure.  If the call succeeded, a new file handle "file" and
the "attributes" associated with that file are returned along with
the "status".

read()

2.2.7.  Read From File

	struct readargs {
		fhandle file;
		unsigned offset;
		unsigned count;
		unsigned totalcount;
	};

	union readres switch (stat status) {
	case NFS_OK:
		fattr attributes;
		nfsdata data;
	default:
		void;
	};

	readres
	NFSPROC_READ(readargs) = 6;

Returns up to "count" bytes of "data" from the file given by "file",
starting at "offset" bytes from the beginning of the file.  The first
byte of the file is at offset zero.  The file attributes after the
read takes place are returned in "attributes".

Notes:  The argument "totalcount" is unused, and is removed in the
next protocol revision.

write()

2.2.9.  Write to File

	struct writeargs {
		fhandle file;
		unsigned beginoffset;
		unsigned offset;
		unsigned totalcount;
		nfsdata data;
	};

	attrstat
	NFSPROC_WRITE(writeargs) = 8;

Writes "data" beginning "offset" bytes from the beginning of "file".
The first byte of the file is at offset zero.  If the reply "status"
is NFS_OK, then the reply "attributes" contains the attributes of the
file after the write has completed.  The write operation is atomic.
Data from this "WRITE" will not be mixed with data from another
client's "WRITE".

Notes:  The arguments "beginoffset" and "totalcount" are ignored and
are removed in the next protocol revision.

getattr()

2.2.2.  Get File Attributes

	attrstat
	NFSPROC_GETATTR (fhandle) = 1;

If the reply status is NFS_OK, then the reply attributes contains the
attributes for the file given by the input fhandle.

2.3.9.  attrstat

    union attrstat switch (stat status) {
    case NFS_OK:
	fattr attributes;
    default:
	void;
    };

The "attrstat" structure is a common procedure result.  It
contains a "status" and, if the call succeeded, it also contains
the attributes of the file on which the operation was done.

2.3.5.  fattr

    struct fattr {
	ftype        type;
	unsigned int mode;
	unsigned int nlink;
	unsigned int uid;
	unsigned int gid;
	unsigned int size;
	unsigned int blocksize;
	unsigned int rdev;
	unsigned int blocks;
	unsigned int fsid;
	unsigned int fileid;
	timeval      atime;
	timeval      mtime;
	timeval      ctime;
    };

...
Notes:  The bits are the same as the mode bits returned by the
stat(2) system call in UNIX.  The file type is specified both in
the mode bits and in the file type.  This is fixed in future
versions.

The "rdev" field in the attributes structure is an operating
system specific device specifier.  It will be removed and
generalized in the next revision of the protocol.

冪等な操作

例：

• 足し算。関数でもある(値の書換えがない、引数だけで結果が決まる)。
• 位置を指定したファイルの読み込み(Unix pread()システムコール)
• 位置を指定したファイルの書き込み(Unix pwrite()システムコール)

• 変数を１つ増やす
• 位置を指定しないファイルの読み込み(Unix read() システムコール)
• 位置を指定しないファイルの書き込み(Unix write() システムコール)

ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);
ssize_t pread(int fd, void *buf, size_t count, off_t offset);
ssize_t pwrite(int fd, const void *buf, size_t count, off_t offset);

状態を保持しないサーバ

NFS Version 2は, サーバ側で状態を保持しない(state-less)。

• サーバ側でファイルを読み書きするための「位置」のような変数を保持しない。 (クライアント側で保持する。)
• write() では、必ずディスクに書き込んでから応答を返す。

操作を冪等にして、サーバを無状態にすると、障害に強くなる。

• クライアントが落ちても、サーバ側に開いたままのファイルが残らない。
• サーバが落ちた場合、要求を送り続けることで回復できる。

cookie

RPC のようにコネクションが作られない通信サービスを使う時に冪等や無状態 といった性質を実現する時に必要になる技術。

例：NFSでのディレクトリの読み込み手続き nfsproc_readdir() で、１回の RPC で全部のデータを返せないことが起きる。 ディレクトリのどの位置まで読み込んだかを 示す中間状態を クッキー(cookie) という形でクライアントに返す。

クライアントは、次の RPC の呼び出しで、 前回受けとった応答の中のクッキーを、サーバへの要求に含めて送す。

readdir()

const NFS_COOKIESIZE	= 4;
typedef opaque nfscookie[NFS_COOKIESIZE];

2.2.17.  Read From Directory

	 struct readdirargs {
		 fhandle dir;
		 nfscookie cookie;
		 unsigned count;
	 };

	 struct entry {
		 unsigned fileid;
		 filename name;
		 nfscookie cookie;
		 entry *nextentry;
	 };

	 union readdirres switch (stat status) {
	 case NFS_OK:
		 struct {
			 entry *entries;
			 bool eof;
		 } readdirok;
	 default:
		 void;
	 };

	 readdirres
	 NFSPROC_READDIR (readdirargs) = 16;

 Returns a variable number of directory entries, with a total size of
 up to "count" bytes, from the directory given by "dir".  If the
 returned value of "status" is NFS_OK, then it is followed by a
 variable number of "entry"s.  Each "entry" contains a "fileid" which
 consists of a unique number to identify the file within a filesystem,
 the "name" of the file, and a "cookie" which is an opaque pointer to
 the next entry in the directory.  The cookie is used in the next
 READDIR call to get more entries starting at a given point in the
 directory.  The special cookie zero (all bits zero) can be used to
 get the entries starting at the beginning of the directory.  The
 "fileid" field should be the same number as the "fileid" in the the
 attributes of the file.  (See section "2.3.5. fattr" under "Basic
 Data Types".)  The "eof" flag has a value of TRUE if there are no
 more entries in the directory.

nfsproc_readdir() で、１回目と２回目の RPC の間にディレクトリの内容が 更新された場合、どのような結果になるのか不明。

NFS非同期入出力デーモン

NFS非同期入出力デーモン ( nfsiod (local NFS asynchronous I/O Daemon) または biod (asynchronous Block I/O Daemon) ) は、NFSのクライアントホスト上で動き、NFSの非同期的な入出力を行う。

• 書き込みの高速化
• ブロックの先読み

lockdとrstatd

• サーバが落ちたら、ロックが消えるかもしれない
• クライアントが落ちたら、ロックを保持したままになるかもしれない
• ネットワークが切れたら、、、

lockd

クライアント・ホストとサーバ・ホストの両方で走る。クライアント・ホスト上 の lockd は、受け取った要求をサーバ上の lockd に転送する。 サーバ・ホスト上の lockd は、クライアントの lockd から受け取っ た要求をシステム・コールでカーネルに伝える。

statd

サーバ・ホスト上の lockd は、クライアント・ホスト上の statd に問い合わせて、 クライアント・ホストがクラッシュしていないか調べる。 クライアント・ホストがクラッシュしたら、 そのクライアントから受け取っていたロック要求を解除する。

lockd には、当初からかなりバグが多かった。 初期の statd には、バッファ・オーバーフローのバグがあった。

NFS Version 3

• 無状態サーバが見直し。
• commit() という手続きが追加。 それまでに行われた書き込みをディスクに行うように指示できる。
• UDP/IP に加えて TCP/IP でもアクセス可能。 大きなブロックで読み書きできる。
• 個々の手続きの結果の中で、ファイルの属性(最終更新時刻を含む)を返す。 getattr() 手続きの呼出し回数。
• ファイルのオフセットが 32 ビットから 64 ビットに変更。4GB 以上の大きさが扱える。
• access() という手続きによるアクセス権のチェック。

NFS Version 4

# yppush passwd.byname

typedef string domainname<YPMAXDOMAIN>;
typedef string mapname<YPMAXMAP>;
typedef string peername<YPMAXPEER>;
typedef opaque keydat<YPMAXRECORD>;
typedef opaque valdat<YPMAXRECORD>;

enum ypstat {
	YP_TRUE		=  1,
	YP_NOMORE	=  2,
	YP_FALSE	=  0,
	YP_NOMAP	= -1,
	YP_NODOM	= -2,
	YP_NOKEY	= -3,
	YP_BADOP	= -4,
	YP_BADDB	= -5,
	YP_YPERR	= -6,
	YP_BADARGS	= -7,
	YP_VERS		= -8
};

struct ypreq_key {
	domainname domain;
	mapname map;
	keydat key;
};

struct ypresp_val {
	ypstat stat;
	valdat val;
};

/*
 * YP access protocol
 */
program YPPROG {
	version YPVERS {
		void
		YPPROC_NULL(void) = 0;

		bool
		YPPROC_DOMAIN(domainname) = 1;

		bool
		YPPROC_DOMAIN_NONACK(domainname) = 2;

		ypresp_val
		YPPROC_MATCH(ypreq_key) = 3;

		ypresp_key_val
		YPPROC_FIRST(ypreq_key) = 4;

		ypresp_key_val
		YPPROC_NEXT(ypreq_key) = 5;

		ypresp_xfr
		YPPROC_XFR(ypreq_xfr) = 6;

		void
		YPPROC_CLEAR(void) = 7;

		ypresp_all
		YPPROC_ALL(ypreq_nokey) = 8;

		ypresp_master
		YPPROC_MASTER(ypreq_nokey) = 9;

		ypresp_order
		YPPROC_ORDER(ypreq_nokey) = 10;

		ypresp_maplist
		YPPROC_MAPLIST(domainname) = 11;
	} = 2;
} = 100004;