JPH09307868A

JPH09307868A - コミュニケーション装置及びコミュニケーション方法

Info

Publication number: JPH09307868A
Application number: JP8237401A
Authority: JP
Inventors: Osamu Yamaguchi; 修山口; Hisashi Kazama; 久風間; Kazuhiro Fukui; 和広福井; Kaoru Suzuki; 薫鈴木; Eiji Tanaka; 英治田中; Takahiro Taniguchi; 恭弘谷口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-03-15
Filing date: 1996-09-09
Publication date: 1997-11-28
Anticipated expiration: 2016-09-09
Also published as: JP3835771B2

Abstract

(57)【要約】【課題】人間同士のコミュニケーションをサポートす
るために、情報の送受信者の状態を、主として画像情報
を解析することによって取得し、その情報を交換するこ
とで、タイミング良い情報提示や、容易に必要とする情
報の検索等を行なうサービスを可能とする環境の提供を
行なう。【解決手段】状況を認識するための画像入力部１０ｂ
を少なくとも一つは有する複数の入力部１０と入力情報
を撮影範囲の状況を記述した状況情報に変換する状況情
報変換部１０ｃと検出した状況情報を転送するための状
況情報通信部１２と状況情報を利用したサービスの提供
を行なう一つまたは複数の応用サービス提供部１４と作
成された出力情報を転送するための出力情報通信部１６
と状況に応じた情報またはメッセージなどを出力するた
めの一つまたは複数の出力部１８からなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザーの状況に
応じてサービスの提供をかえることができるコミュニケ
ーション装置及びコミュニケーション方法に関する。

【０００２】

【従来の技術】一般に、人間が情報機器を用いて、他人
とコミュニケーションを取る場合、大きく分けて２つの
場合がある。一つは電子メールに代表される非同期通信
メディアを用いる場合であり、もう一つは電話などの同
期通信メディアを使う場合である。

【０００３】これらの通信に関しては、メールアドレス
または電話番号といったＩＤ番号を用いて相手を特定す
ることが必要である。この場合、相手がどこにいるかど
うかは意識する必要はなく、そのＩＤ番号に対して処理
を行なえばよい。しかし、緊急で用件を伝える必要があ
る場合や、直接会って話をしたいといった場合には、そ
の通信相手が、ある時間に、どこに存在して、どのよう
な状態であるかを知る必要がある。

【０００４】「ある時間に、どこに存在しているか」を
常に知る公知例としては、ＡｃｔｉｖｅＢａｄｇｅ
（Ｈａｒｐｅｒ，Ｒ．Ｈ．Ｒ．；Ｌａｍｍｉｎｇ，Ｍ．
Ｇ．；Ｎｅｗｍａｎ，Ｗ．Ｍ．，”Ｌｏｃａｔｉｎｇ
ｓｙｓｔｅｍｓａｔｗｏｒｋ：ｉｍｐｌｉｃａｔｉ
ｏｎｓｆｏｒｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏ
ｆａｃｔｉｖｅｂａｄｇｅａｐｐｌｉｃａｔｉｏ
ｎｓ”Ｉｎｔｅｒａｃｔ．Ｃｏｍｐｕｔ．（ＵＫ）（Ｕ
Ｋ）ｖｏｌ．４，ｎｏ．３：Ｐ．Ｐ．３４３−６３（１
９９２）がある。ＡｃｔｉｖｅＢａｄｇｅは、赤外線
通信カードを各自が所持し、建物内のあらゆる場所に複
数の受信装置を取り付けることにより、誰がどの範囲の
取り付けられた場所にいるかを知ることができる方法で
ある。このＡｃｔｉｖｅＢａｄｇｅを用いたアプリケ
ーションとして、だれが何処にいるかを表示する装置
や、その人がいる場所にＥＷＳ（エンジニアリングワー
クステーション）の使用環境を移動させる、電話の転送
を行なうなど方法が挙げられる。

【０００５】ＡｃｔｉｖｅＢａｄｇｅの問題として、
相手がどこにいるかは分かるが、どのような状態である
かを知ることができない。すなわち、２次元的な地図で
の位置は特定できたとしても、その人が立っているの
か、座っているのか、どこを見ているのかといったこと
は、わからない。

【０００６】またＡｃｔｉｖｅＢａｄｇｅでは、受信
装置が多くの場所にある環境では、逆にどこにいるのか
を常時見地されることになるため、プライバシーを如何
に保護するのかという問題がある。

【０００７】電子メール（非同期通信メディア）の場
合、時間に制約されずに相手にメッセージを送ることが
可能である。しかし、即座に読んでもらうことが必要な
場合などは、適当ではないし、読了確認もできない。電
話（同期通信メディア）の場合は、リアルタイムに相手
とコミュニケーションできるものの、相手の状況を無視
して、割込みをかける必要がある。逆の立場からは、邪
魔されたくない場合にも、割込みをかけられることにな
る。

【０００８】

【発明が解決しようとする課題】このように従来のコミ
ュニケーションツールの問題点として、（１）ある人に
伝えたい情報をどのように伝えたいかを指定したり、
（２）情報を受ける人がどのような状況であれば受けて
もよいかを選択したりすることができないことが挙げら
れる。

【０００９】（１）の問題点については、電話、電子メ
ール、ＦＡＸといった通信メディアを変更することで解
決できる場合もあるが、動的に通信メディアを変更する
ことができない。（２）の問題点については、主とし
て、電話による割込みや、急を要するメッセージの伝達
などは受ける人の行動状態を把握する必要がある。

【００１０】本発明は前記のような事情を考慮してなさ
れたもので、誰がどこで何をしているかを推測し、これ
に基づいて必要とする情報の提示、必要とされる情報の
検索を可能とするコミュニケーション装置およびコミュ
ニケーション方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は、周囲の状況を
撮影して画像を入力するための画像入力手段を有する複
数の情報処理装置と、前記複数の情報処理装置の間で相
互に情報の送受信を行なう通信手段とを有し、前記情報
処理装置は、前記画像入力手段によって入力された画像
をもとに状況を表わす状況情報を生成し、前記通信手段
を介して送信する状況情報変換手段と、何れかの情報処
理装置における前記状況情報変換手段によって生成され
た状況情報を前記通信手段を介して受信し、前記状況情
報に応じて前記サービスの提供先に存在する人間に適し
たサービスを生成して前記通信手段を介して何れかの情
報処理装置に提供する応用サービス提供手段とを具備し
たことを特徴とする。

【００１２】これにより複数の情報処理装置（ＷＳやパ
ーソナルコンピュータ等）が通信手段（ネットワーク）
によって接続されたコンピュータ環境において、画像入
力手段（カメラ）によって撮影された画像から判断され
るサービスの提供先の状況、例えばサービスを提供する
相手先となる人間が、何処で、何をしているかなどに応
じてメッセージを送信するといったサービスを提供でき
る。

【００１３】また本発明は、状況に応じた情報を入力す
る複数の入力手段と、前記入力手段によって入力された
情報を、状況を表わす状況情報に変換する状況情報変換
手段と、前記状況情報変換手段によって得られた状況情
報を通信するための状況情報通信手段と、前記状況情報
通信手段によって通信される状況情報に基づいて、サー
ビスを提供するための出力情報を作成する応用サービス
提供手段と、前記応用サービス提供手段によって作成さ
れた出力情報を転送するための出力情報通信手段と、前
記出力情報通信手段によって転送される出力情報に応じ
て、サービスの提供先に存在する人間に対してサービス
を提供するための複数の出力手段とを具備したことを特
徴とする。

【００１４】また、前記状況情報変換手段は、前記入力
手段によって入力された情報をもとに個別識別を行な
い、その個別識別の結果を表わす状況情報を生成するこ
とを特徴とする。

【００１５】これにより、例えばネットワークを用いた
コンピュータ環境において、同環境を利用する人間が、
ネットワーク上の何処で、誰が、何をしているかといっ
たことを通信手段を介して得られる状況情報から知るこ
とができる。

【００１６】また、少なくとも１つの前記応用サービス
提供手段が設けられ、前記応用サービス提供手段は、状
況情報に基づいて提供すべきサービスがそれぞれ異なる
ことを特徴とする。

【００１７】これにより、応用サービス提供手段を置き
換えることで提供するサービスを変更することができ
る。また、前記応用サービス提供手段は、前記状況情報
生成手段によって生成される状況情報の履歴を識別対象
毎に管理する情報管理手段と、前記情報管理手段によっ
て管理される情報についての出力先を含む出力要求を受
信する出力要求受信手段と、前記出力要求受信手段によ
って受信された出力要求に応じて、前記情報管理手段に
よって管理される履歴を用いて前記状況情報に基づく出
力内容を生成し、要求された出力先に出力する内容生成
手段とを具備したことを特徴とする。

【００１８】これにより、例えばネットワークを用いた
コンピュータ環境において、同環境を利用する人間が、
ネットワーク上の何処で、誰が、何をしているかといっ
た情報を提供する情報管理機能をもつ応用サービス提供
手段が実現される。

【００１９】また、前記応用サービス提供手段は、サー
ビスを提供すべき提供先の状況を示す指示を受信する受
信手段と、前記受信手段によって受信された指示を解釈
する指示内容解釈手段と、前記指示内容解釈手段によっ
て解釈された指示内容に応じて実行すべき行動を決定す
る行動決定手段と、前記行動決定手段によって決定され
た実行すべき行動に応じた状況となったかを、前記状況
情報に基づいて判別する状況照合手段と、前記状況照合
手段によって実行すべき行動に応じた状況となったこと
が判別された際に、前記行動決定手段によって決定され
た実行すべき行動に応じてサービスを提供する出力生成
手段とを具備したことを特徴とする。

【００２０】これにより、サービスを提供すべき提供先
の状況を示す指示、例えばメールによって通知されるサ
ービス提供の指示（サービス提供先、その状況、サービ
ス提供形態等）に応じてサービスを提供する応用サービ
ス提供手段を実現できる。従って、同期と非同期とを混
在させたサービスが提供するなど、より良いサービス提
供（コミュニケーション）が可能となる。

【００２１】このような構成により実現される新たなコ
ンピュータ環境は、第１に、人間はカメラ視野に入るだ
けで、自然にコンピュータ環境に取り込まれる、第２
に、人間と人間、人間と情報とが効率良く結び付けられ
る、ことを特徴とする。実現されるコンピュータ環境の
イメージを図２に示している。複数のカメラが存在する
環境において、それらがネットワークによって結ばれて
おり、それぞれ異なる人間の状態をシステムが検知する
環境を構築する。

【００２２】第１の特徴については、ＷＳの顔画像認識
による自動ログインなどが考えられるが、本発明ではサ
ービス開始／終了（ｌｏｇｉｎ／ｌｏｇｏｕｔ）のため
のセキュリティ機構として個人認証をシステムが持つの
ではなく、あらゆるサービスが常時行なわれる環境が存
在している場合、その一つの構成要素となっている「人
間」の状態を管理することが目的である。よって、カメ
ラ視野（カメラによる撮影範囲）に入るだけで、何も持
つ必要がなく、サービスが受けられる状態になり、第２
の特徴である人間と人間、人間と情報とを空間的、時間
的に効率良く結び付けることができる。

【００２３】これからの情報社会において、電子メール
の通信量は増大し、非同期なコミュニケーションが多く
なると予想されるが、さらに直接的なコミュニケーショ
ンを取る必要性も増す。これまでのように、情報の伝え
方を通信メディアの変更によって制御する必要はなく、
誰にどのような情報をどのように伝えたいかをシステム
に伝えるだけで、システムは相手の行動情報に鑑みて、
情報を伝達し、また、カメラに写るという行為を行なう
だけで、情報が享受されるという環境を提供する。

【００２４】情報の送り手、受け手の状態（誰が何処で
何をしているのか）を管理することにより、適切な情報
交換が行なわれる環境（場）を構築するためには、ある
時間、場所における、ある人間の動作をカメラ等で撮影
した画像を解析することによって得られる「状況情報」
が必要である。

【００２５】ここで「状況情報」とは、カメラの撮影範
囲に入っている人間の動作、行動を記述したものをい
い、例えば、椅子にすわっている、立ち上がっている、
歩いている、ある方向を向いている。といった姿勢、話
している、どこを見ている、表情などといった顔から得
られる情報、腕をあげている、手の形状、ジェスチャな
どの行動、また、だれなのかを特定するような、個人
性、服装、髪型などの個人情報などを指す。

【００２６】画像情報から得られる状況情報をネットワ
ークを通じて、情報交換することで、情報の発受信者の
状況に応じた通信が行なわれることとなるため、従来の
コミュニケーションツール（電話、電子メール、ＦＡＸ
等）と比較し、使いやすくなり、よりよい情報伝達がで
きる。

【００２７】また、ＡｃｔｉｖｅＢａｄｇｅのよう
に、常に情報提供を行なっているわけではなく、カメラ
の撮影範囲に入らなければ、自分の所在を知らされな
い。すなわち、個人情報の公開を、カメラの撮影範囲に
入るか否かで制御することができる。また、カメラでの
撮影内容をそのまま、テレビ電話のように、直接伝送す
るのではなく、画像認識により「状況情報」に変換し、
その情報を相互に交換する。よって、ＡｃｔｉｖｅＢ
ａｄｇｅよりも、より詳細な情報を取得できるだけでな
く、２つの観点から使用者に対するプライバシーの保護
がなされることになる。

【００２８】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は本実施形態に係わる
コミュニケーション装置の構成を示すブロック図であ
る。図１に示すように、本実施形態におけるコミュニケ
ーション装置は、一つ以上の入力部１０、状況情報通信
部１２、一つ以上の応用サービス提供部１４、出力情報
通信部１６、一つ以上の出力部１８によって構成されて
いる。

【００２９】入力部１０は、一つ以上のマイク、キーボ
ード、マウスなどの入力デバイス１０ａと、一つ以上の
画像入力部１０ｂと、状況情報変換部１０ｃとを持つ。
画像を入力するための画像入力部１０ｂは、ＣＣＤカメ
ラなどに対応した装置で、Ａ／Ｄ変換の機能を有する。
画像入力部１０ｂも複数個あってもよい。状況情報変換
部１０ｃは、主として画像入力部１０ｂから取得した画
像を処理して、状況情報（詳細については後述する）を
生成する。状況情報変換部１０ｃは、この環境が整備さ
れるそれぞれの場所に、入力デバイス１０ａや画像入力
部１０ｂと共に設置される。なお、状況情報変換部１０
ｃは、画像以外の複数の入力デバイスから得られた情
報、複数の画像入力部１０ｂから得られた情報を用いて
状況情報を生成しても良い。

【００３０】状況情報通信部１２は、入力部１０におい
て生成された状況情報を、応用サービス提供部１４との
間で送受信するために設けてある。応用サービス提供部
１４は、状況情報通信部１２を介して得られる複数の状
況情報を解釈し、人間同志のコミュニケーションを補助
するためのサービスを提供するための制御情報を生成す
る。応用サービス提供部１４は、複数持つことができ、
さまざまなサービスが同時に処理される。また、応用サ
ービス提供部１４のもつ制御情報は、相互に状況情報通
信部１２を通じて交換することができる仕組みを持つ。

【００３１】出力情報通信部１６は、応用サービス提供
部１４によって生成された制御情報を、出力部１８と送
受信するために設けてある。出力部１８は、応用サービ
ス提供部１４が作成した制御情報を出力する。出力部１
８は、必ずしも、各入力部１０に一対一で対応している
必要はなく、またディスプレイなどの表示手段だけに限
らない。

【００３２】図２は、図１に示す構成によって実現され
るコミュニケーション装置（コンピュータ環境）のイメ
ージを示している。図２に示すように、例えば複数のＷ
Ｓあるいはパーソナルコンピュータによる端末（情報処
理装置）が、ネットワーク（状況情報通信部１２、出力
情報通信部１６）によって接続される。各端末には、入
力デバイス１０ａとしてキーボードが設けられ、出力部
１８としてディスプレイとスピーカが設けられ、画像入
力部１０ｂとして２つのカラーＣＣＤカメラがディスプ
レイの上部に設置されている。状況情報変換部１０ｃと
応用サービス提供部１４は、端末における情報処理機能
によって実現される。状況情報変換部１０ｃは、必ずし
も、対応する入力デバイス１０ａと画像入力部１０ｂが
設けられた端末で実現される必要はない。また、応用サ
ービス提供部１４も特定の端末で実現される必要もな
く、複数の端末間で協調して実現されても良い。

【００３３】次に、図１中における各構成部について詳
しく説明する。入力デバイス１０ａは、マウス、キーボ
ード、マイクなどの画像入力装置以外の入力装置であ
り、通常の利用法の他に、状況情報を生成するための情
報を入力するために使用してもよい。

【００３４】画像入力部１０ｂは、ＣＣＤカメラ、赤外
線カメラ、高感度カメラなどの画像入力装置であり、複
数個の入力装置が設けられていても良く、状況情報を生
成するための画像情報を入力するために使用される。本
実施例では、カラーＣＣＤカメラを持つものとして説明
を行なう。

【００３５】状況情報変換部１０ｃは、画像入力部１０
ｂから取得した画像情報を状況情報に変換する。ここで
状況情報とは、画像入力部１０ｂ（カメラ）の撮影範囲
に入っている人間の動作、行動を主として画像情報を解
析、記述したものをいい、カメラの撮影範囲内に入って
る人間の状態を表した情報を指す。状況情報変換部１０
ｃは、個別識別を行ない、その個別識別の結果を表わす
状況情報を生成する。

【００３６】ここで「状況情報」とは、そのカメラの撮
影された時間に、画像内に写っている人が、誰かを特定
する個人性を表す記述、椅子に座っている、立ち上がっ
ている、歩いている、ある方向を向いている、といった
姿勢に関する記述、話している、どこを見ている、表情
などといった顔から得られる情報、腕をあげている、手
の形状、ジェスチャなどの行動の記述、などを表す。

【００３７】さらに、人間から直接得られる情報だけで
はなく、人間が存在する状況を把握するために、画像内
に写っている物体を認識して状況情報を生成してもよ
い。例えば、人間が座っている椅子の状態を判別して、
在席／非在席の判断を行なうことや、ドアの開閉を監視
しておくなどの物体の状態記述や服装や屋外の状況とい
ったものが判断し「暑い」「寒い」といったような環境
の記述などや、髪型、アクセサリ、服の色など個人性の
記述する情報も状況情報として含む。

【００３８】本実施例では、画像情報から得られる状況
情報しか述べないが、音声情報から得られる情報によ
り、「話している」などの個人の状態情報の記述や、
「自動車の音がする」といったような環境情報の記述な
ども状況情報として定義する。

【００３９】また、画像、音声などの情報を使わずに、
各種センサからの情報に基づいた状況記述でもよい。状
況情報変換部１０ｃの構成例を図３に示している。図３
に示すように、状況情報変換部１０ｃは、状況情報生成
部１０ｃ１、通信部１０ｃ２から構成されている。

【００４０】状況情報生成部１０ｃ１は、入力デバイス
１０ａまたは画像入力部１０ｂから取得した入力情報か
ら状況情報を生成する。通信部１０ｃ２は、状況情報生
成部１０ｃ１によって生成された状況情報を送信、ある
いは他の端末からの状況情報を受信するために、通信パ
ケットのヘッダの解釈、パケットの生成、パケットの送
受信を行なう。

【００４１】さらに状況情報生成部１０ｃ１は、図４に
示すように、状況情報生成部１０ｃ１は、人検出部２
０、個人認証部２１、頭部方向推定部２２、視線方向推
定部２３、口形状動作推定部２４、腕動作推定部２５、
状況情報統合部２６からなる。以下、それぞれの詳細に
ついて説明する。

【００４２】（ａ）人検出部２０人検出部２０では、画像入力部１０ｂによって撮影され
た画像中から人間を抽出する。人検出部２０は、図５に
示すように、差分検出部２０ａ、顔検出部２０ｂ、肢体
検出部２０ｃ、スコア統合部２０ｄ、人数計数部２０ｅ
によって構成される。

【００４３】まず差分検出部２０ａにおいて、画像入力
部１０ｂ（ＣＣＤカラーカメラ）の設置された撮影環境
において、誰も撮影されていない状況での画像取得をあ
らかじめ行なっておき、その画像との差分画像を生成
し、変化のあった場所だけから顔、または肢体を検出す
る。差分画像を生成、検出する方法には、例えば（Ｈ．
Ｎａｋａｉ：”Ｎｏｎ−ＰａｒａｍｅｔｒｉｚｅｄＢ
ａｙｅｓＤｅｃｉｓｉｏｎＭｅｔｈｏｄｆｏｒ
ＭｏｖｉｎｇＯｂｊｅｃｅｔＤｅｔｅｃｔｉｏ
ｎ”，Ｐｒｏｃ．ＳｅｃｏｎｄＡＣＣＶ．Ｖｏｌ
３．ｐｐ４４７−４５１（１９９５））などがある。

【００４４】検出された領域について、２つの処理を行
なう。一つは検出された領域に濃淡画像情報をそのまま
用いて、顔の検出を行なうもの、もう一つは、検出され
た領域を二値画像として扱い、領域の配置、属性の関係
を用いて肢体の検出を行なうものである。

【００４５】顔検出部２０ｂでは、さまざまな方向から
みた顔の画像データから、それぞれの方向の平均顔画像
データ（辞書画像）を作成しておき、その辞書画像との
マッチングを行なうことにより検出を行なう。

【００４６】辞書画像の大きさは固定とする。大きな画
像として記述すると、マッチングに非常に時間を要する
ため、３０×３０程度の大きさのものを用意する。その
辞書画像を用いて、さまざまな大きさの顔を検出できる
ようにするため、撮影した画像の解像度を変化させ、辞
書画像とマッチングを行なう。

【００４７】マッチングの度合（類似度）については、
使用するマッチング方法に応じた類似度、例えば相関、
単純、複合、混合類似度などにより設定し、ある閾値の
もの以下のものは候補から取り除く。画像中で、高い類
似度をもつ場所に顔が存在すると判定し、各候補に対し
て類似度に応じた信頼度が決定される。候補の数は、複
数あってもよい。

【００４８】肢体検出部２０ｃは、差分検出部２０ａに
よって生成された二値画像を用いて得た、差分画像の場
所について再度、撮影したカラー画像から、例えば色相
情報、彩度情報、明度情報に基づいて、領域分割を行な
い、ラベリングする。肢体検出部２０ｃは、それらの領
域の位置情報、形状情報、色相、明度といった属性情報
を用いて、人間の肢体の部分に該当する領域と考えられ
る組合せを抽出する。肢体検出部２０ｃは、抽出した領
域の組合せ（人間の肢体の部分に該当すると考えられる
領域）の形状、面積などから、足、胴、腕などとの形状
モデルに対する信頼度を定義し、その信頼度の総和が最
も最大となる組合せの領域を人間の肢体の部分として抽
出する。

【００４９】顔検出部２０ｂ、肢体検出部２０ｃは、そ
れぞれ人間が存在すると考えられる場所について、頭の
位置、体の位置、腕の位置などと信頼度を記述した情報
をスコア統合部２０ｄに送る。

【００５０】スコア統合部２０ｄでは、顔検出部２０ｂ
と肢体検出部２０ａから得られた顔位置と肢体位置の仮
説を統合し、それぞれの存在確率を２次元空間に投票す
る。人数係数部２０ｅでは、スコア統合部２０ｄによっ
て投票された、仮説についての存在確率を統合的に判断
し、画像中に何人の人がどのように撮影されているかを
決定する。

【００５１】存在確率を投票した空間に対し、ある閾値
を決定し、その閾値よりも高い部分を人間がいるとし
て、撮影された人数、撮影された人の位置、大きさ（画
像中の領域）、概略向き、頭位置、体位置、腕位置など
位置の情報を記憶する。

【００５２】ここで閾値は、予測できる情報、環境の場
合に応じて変化させる。例えば、午前と午後などの日照
条件の変化による全体的な閾値の設定方法の改善や、人
間が、ある場所から画像入力部１０ｂによる撮影範囲に
動いていることがわかっている場合には、前の場所にお
いて、肢体の大きさなどが推定されているため、撮影範
囲においては、予測される画像中の位置によって、予め
その領域付近の閾値を変化させるなどの制御を行なう。
これらに用いるパラメータは、実装によって求められ
る。

【００５３】図６には人検出部２０による処理過程を示
している。画像入力部１０ｂによって撮影された画像中
から差分検出部２０ａによって検出された図６（ａ）に
示す入力画像（差分画像）をもとに、顔検出部２０ｂ
は、図６（ｂ−１）に示すように、顔位置の候補とそれ
ぞれの信頼度を求め、肢体検出部２０ｃは、図６（ｂ−
２）に示すように、肢体位置の候補とそれぞれの信頼度
を求める。スコア統合部２０ｄは、顔検出部２０ｂと肢
体検出部２０ｃによって投票された各候補と信頼度を、
図６（ｃ）に示すようにして統合する。人数計数部２０
ｅは、スコア統合部２０ｄによって図６（ｃ）に示すよ
うに統合された中から、例えばしきい値を「１．０」と
してしきい値処理を行ない、図６（ｄ）に示すような結
果を得る。この例では、２人が撮影されているものと推
定される。

【００５４】（ｂ）個人認証部２１個人認証部２１は、人検出部２０によって得られた顔位
置に撮影されている顔が誰であるかを認証する。認証の
方法としては、登録された人の中からの識別が主とな
る。個人認証部２１は、図７に示すような構成をとる。
個人認証部２１は、正規化部２１ａ、照合部２１ｂ、辞
書蓄積部２１ｃ、及び評価部２１ｄによって構成されて
いる。

【００５５】正規化部２１ａは、人検出部２０（顔検出
部２０ｂ）によって検出された顔位置の画像から目の位
置を検出し、その目の位置をもとにして後段の照合部２
１ｂにおける処理のために、辞書蓄積部２１ｃに蓄積さ
れた辞書画像と同じ大きさの画像（正規化画像）を生成
（正規化）する。

【００５６】照合部２１ｂは、正規化部２１ａによって
正規化された顔の部分に画像について、辞書蓄積部２１
ｃに蓄積された複数の辞書画像とそれぞれ照合する。本
実施形態において照合部２１ｂは、複合または混合類似
度を用いて入力画像と辞書画像との類似度を算出する。

【００５７】辞書蓄積部２１ｃは、認識対象とする人の
それぞれについての辞書画像が予め蓄積されている。評
価部２１ｄは、辞書蓄積部２１ｃに登録された辞書画像
（認識対象とする人の数分）のそれぞれについて得られ
た複数の類似度値のうち最大の類似度値をもつ辞書画像
を認識結果、すなわち辞書画像に対応する人の顔が入力
画像に含まれているものと決定する。ただし、類似度値
が、予め指定した閾値よりも低い場合は、撮影された人
が誰であるかを決定せずに認識不能とする。

【００５８】個人認証部２１は、先に人検出部２０で検
出された人の数だけ、複数人の照合が行なう。（ｃ）頭部方向推定部２２頭部方向推定部２２は、人検出部２０で検出された、顔
の向き、肢体の見え方（頭位置、胴位置、腕位置など）
から頭部方向を推定する。

【００５９】頭部方向推定部２２は、人検出部２０によ
って検出された顔位置の付近の濃淡情報を用いて、複数
の顔モデルのパターンと照合することにより顔が向いて
いる方向を推定する。パターンと照合する際の類似度と
しては、相関を用いた公知例（塚本、李、辻：複数のモ
デルによる頭の動き推定、信学論Ｖｏｌ７７−Ｄ−Ｉ
Ｉ，ｎｏ．８，ｐｐ．１５８２−１５９０（１９９
４））が存在するが、ここでは、複合類似度を用いてパ
ターンの類似度を調べ、顔の向きを決定する。

【００６０】また、頭部方向推定部２２は、目、鼻など
の特徴点から顔の向きをだす方法として（ディシルバリ
ヤナゲ、相澤清晴、羽鳥光俊：人間の顔の向きの推定：
信学技報ＰＲＵ−９４−１８（１９９４））などを用い
て、顔の向きを決定しても良い。

【００６１】また、頭部方向推定部２２は、肢体の方向
も同様に、人検出部２０で検出された領域グループ
（足、胴、腕等を含む）の画像とパターンとを照合して
向きを求める。

【００６２】（ｄ）視線方向推定部２３視線方向推定部２３は、画像入力部１０ｂ（カラーＣＣ
Ｄカメラ）によって、離れた位置から撮影された画像中
の顔の位置の目または目の付近から得られる特徴量を使
って視線方向を推定する。

【００６３】視線方向の検出方法としては、特開平４−
２５５０１５号における、視線の相対的な移動量を瞳の
輪郭データを抽出瞳の中心座標の変化から求める方法
や、特開平３−１７６９６号における、ワードプロセッ
サ等のカーソル位置を視線によって制御することを目的
として、目の領域を瞳孔中心を通る垂直線と水平線で分
割し、分けられた領域の面積比を特徴量として、視点位
置を算出する方法を利用することができる。

【００６４】本実施例では、目頭、目尻と瞳の中心の相
対的な位置関係を特徴ベクトルとして、その特徴ベクト
ルを線形識別し、パターン認識によって、顔の方向に対
してどの方向を見ているかを推定する。

【００６５】（ｅ）口形状動作推定部２４口形状動作推定部２４は、人検出部２０によって検出さ
れた顔位置の画像中の口の部分から、口の開閉を検出す
る。口の開閉の検出方法として、（間瀬、Ａ．Ｐｅｎｔ
ｌａｎｄ：オプティカルフローを用いた読唇の試み、電
子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ７３−Ｄ−Ｉ
Ｉ，ｎｏ．６，ｐｐ．７９６−８０３，（１９９０））
や（Ａ．Ｌ．Ｙｕｉｌｌｅ，Ｐ．Ｗ．Ｈａｌｌｍａｎ，
Ｄ．Ｓ．Ｃｏｈｅｎ：ＦｅａｔｕｒｅＥｘｔｒａｃｔ
ｉｏｎｆｒｏｍＦａｃｅｓＵｓｉｎｇＤｅｆｏｒ
ｍａｂｌｅＴｅｍｐｌａｔｅｓ，Ｉｎｔ．Ｊｏｎ．Ｃ
ｏｍｐ．Ｖｉｓ．，Ｖｏｌ１８，ｎｏ．２，ｐｐ．９９
−１１１（１９９２））を用いることができる。

【００６６】本実施例では、例えば口の多段階の開閉具
合（開閉度）に応じた開閉パターンをそれぞれ５種類用
意し、各パターンと入力画像中の口の部分とマッチング
した結果、一番近いパターンに応じた開閉度を、現在、
画像入力部１０ｂにより撮影の対象となっている人の口
の開閉状態とする。時間の経過に伴って各時点での口の
開閉度を判別し、それら口の開閉度の頻度情報を求める
ことによって、話している、あくびをしているなどを検
出する。

【００６７】（ｆ）腕動作推定部２５腕動作推定部２５は、例えば色相情報を用いた手検出に
よる方法を用いる。腕動作推定部２５は、人検出部２０
で行なった領域分割の結果から、顔領域ではなく、肌色
の色相をもつ領域を手領域候補とする。この手領域候補
は、顔位置との相対的な位置関係や、領域の大きさなど
のいくつかの制約に基づいて選択される。腕動作推定部
２５は、手領域の重心位置を特徴量として取り出し、時
間の経過に伴って入力される画像中の手領域の重心位置
の変化から腕の動作を推定し、さらには歩いている、手
を振っているなどの動作の検出を行なう。

【００６８】（ｇ）状況情報統合部２６状況情報統合部２６は、上記した各処理部２１〜２５に
おける画像解析の情報を統合し、ある人間の状態の記述
（状態情報）を生成する。状況情報統合部２６は、図８
に示すように、統合部２６ａ、時刻発生部２６ｂ、場所
情報記憶部２６ｃ、履歴記憶部２６ｄ、統合行動認識部
２６ｅ、統合情報記憶部２６ｆから構成される。

【００６９】統合部２６ａは、各処理部２１〜２５にお
ける検出結果（認識結果、推定候補）を入力して統合す
る。統合部２６ａは、統合結果を統合行動認識部２６ｅ
に出力すると共に、人検出部２０において検出されてい
る人数に対応して履歴記憶部２６ｄに用意される、図９
に示すような状況登録テーブルのスロットに、各処理部
２１〜２５におけるそれぞれの検出結果を登録する。

【００７０】時刻発生部２６ｂは、画像取得、認識処理
時間の間隔を考慮して、その間隔が表現できる単位まで
記録できるように日付、時刻を発生する。時刻について
は、画像取得が行なわれた時刻を記録する。

【００７１】場所情報記憶部２６ｃは、画像入力部１０
ｂ（カラーＣＣＤカメラ）が設置されている場所に基づ
く情報について記述したもので、例えば撮影範囲を考慮
したとき、撮影された画像中での人の大きさから、人と
カメラまでの距離がどの程度になるかといった情報や、
先に各情報の検出時に使用した画像に対する座標系の設
定方法、大域的な設置場所の位置情報が記憶される。な
お、これらの情報は、ある記憶場所に統合的に管理して
おき、その識別番号のみを各状況情報変換部１０ｃで発
生させる方法でもよい。

【００７２】履歴記憶部２６ｄは、統合部２６ａで生成
された情報を時系列で記憶、蓄積するもので、統合行動
認識部２６ｅが過去の情報を必要とする際に参照され
る。統合行動認識部２６ｅは、状態の時間的変化をもと
に画像中の人物の行動を認識するもので、例えば口の開
閉が連続的に行なわれている時には話をしている、ある
いは連続的に位置が移動し、腕が振られていることから
歩いているということを、時系列パターンを入力し、統
合情報記憶部２６ｆに記憶された行動認識用の辞書を参
照することにより行動を認識する。

【００７３】統合情報記憶部２６ｆは、統合行動認識部
２６ｅによる認識用の辞書を記憶するもので、時系列デ
ータからＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄ
ｅｌ）などを用いて学習を行なっておく。

【００７４】また、状況情報生成部１０ｃ１は、人の出
入り、大きな姿勢の変化など、現在時間をｔとすると
き、ｔ−１時間の差分情報が大きな差を示す場合、この
差分情報を状況情報の１つとして通信部１０ｃ２に送
る。

【００７５】先の図９に示す状況登録テーブルに書かれ
た情報は、センサ取得情報と呼び、認識した結果、変化
のあった情報は、行動情報と呼ぶ。行動情報は、図１０
のような行動情報テーブルに、行動の内容と、その行動
が行なわれていたかどうか（ｙｅｓまたはＮｏが記され
ている。

【００７６】状況情報統合部２６によって生成される状
況情報には、図１１に示すように、１）センサ取得情
報、２）差分情報、３）行動情報、４）構造化情報があ
る。１）センサ取得情報は、各検出部２１〜２５から出力そ
のままを数値化し、ベクトル化したもので、状況情報と
しては下のレベルになる。

【００７７】２）差分情報は、１）の状態からある状態
に変化したという差分情報を表す。３）行動情報は、人間の単純な行動が行なわれたかどう
かを記述したものを指す。

【００７８】４）構造化情報は、各応用サービス提供部
１４（詳細については後述する）で作成された、高度な
状況記述である。他の応用サービス提供部１４がそれら
の情報を必要とする場合に、参照が可能である。例え
ば、図２に示すような環境内において、誰がどこにいる
のかを常時捜す手続きなどは、多くの応用サービス提供
部１４にとって必要となる。その場合は、応用サービス
提供部１４に状況情報を送信できる。これについては、
ダイナミックリンク管理システムを例にして後述する。

【００７９】次に、状況情報通信部１２について説明す
る。状況情報通信部１２は、有線、無線などの形態や、
低レベルなプロトコルなどは問わない。以上の実施形態
では、現在の主流となっているＴＣＰ／ＩＰ（Ｔｒａｎ
ｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ
／ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）による手段を
用いて説明する。図１中の太実線で描かれた通信経路に
は、状況情報のみが流れる。

【００８０】状況情報は、図１２で示されるように、送
信ＩＤ、発信ＩＤ、内容ＩＤ、内容からなる状況情報パ
ケットとして通信される。送信ＩＤには、状況情報を生
成した構成部（状況情報変換部１０ｃ）のＩＤが記さ
れ、受信ＩＤには、受けとる応用サービス提供部１４の
ＩＤまたはブロードキャストＩＤ（通信手段（ネットワ
ーク）につながっているノードすべてを対象とする）が
記される。内容ＩＤには、状況情報の種類が記され、内
容には、生成された情報そのものが記される。

【００８１】また、応用サービス提供部１４における状
況情報参照部３０（後述する）を用いて、状況情報の参
照要求を状況情報統合部２６等に出す場合の送信要求パ
ケットは、図１３のように、送信先ＩＤ、発信元ＩＤ、
要求内容の形式を持つ。

【００８２】送信先ＩＤには、ブロードキャストＩＤも
設定でき、要求内容を持っている受信部は、その送信先
に状況情報を送出する。これらの通信パケットを利用し
て、図１４のような、通信プロトコルができる。

【００８３】図１４（１）は、状況情報を生成する部分
から、通信手段につながる全ての状況情報参照部３０
（応用サービス提供部１４内）への情報提供である。図
１４（２）は、状況情報参照部３０からの要求に対し
て、状況情報変換部１０ｃから情報提供をするばあいで
ある。

【００８４】図１４（３）は、状況情報参照部３０から
の要求が、すべての状況情報変換部１０ｃに投げられ、
要求内容を持つものだけが、状況情報参照部３０への情
報提供を行なう。

【００８５】これら３つの通信プロトコルを使って、状
況情報を相互に通信する。これらの通信プロトコルは、
それぞれの応用サービス提供部１４におけるサービス内
容に応じて、選択され使用される。

【００８６】応用サービス提供部１４は、図１５に示す
ように構成される。応用サービス提供部１４は、大きく
４つのブロックからなり、状況情報参照部３０、アプリ
ケーション制御部３２とアプリケーション入出力部３４
とアクション作成部３６から構成される。各部３０，３
２，３４，３６のそれぞれの詳細な構成は、アプリケー
ションの内容によって、さまざまな構成をとる。

【００８７】状況情報参照部３０は、複数の状況情報変
換部１０ｃ、または他の応用サービス提供部１４によっ
て生成された状況情報を状況情報通信部１２を通じて、
取得、蓄積、更新、送信要求を行なう。図１６に状況情
報参照部３０の構成例を示す。状況情報参照部３０は、
通信部３０ａ、記憶部３０ｂ、制御部３０ｃによって構
成される。

【００８８】通信部３０ａは、先に指定したパケットを
用いた通信を行なうための通信プロトコルで規定された
ように、要求パケットの生成、状況情報パケットの受
信、解釈を行なう。記憶部３０ｂは、通信部３０ａによ
って受信され、制御部３０ｃで必要となる状況情報を、
管理テーブル内に記憶する。制御部３０ｃは、アプリケ
ーション制御部３２からの要求に基づいて、記憶部３０
ｂに登録されている状況情報の、送信、管理、更新など
を行なう。また、記憶部３０ｂに存在せず、アプリケー
ション制御部３２で必要となる状況情報は、状況情報通
信部１２を介して取得するが、その取得方法や通信プロ
トコルの選択も行なう。

【００８９】送信された状況情報はアプリケーション制
御部３２に送られる。アプリケーション制御部３２は、
人間同志の円滑なコミュニケーションを行なうためのサ
ービスについての情報処理を行なう。状況情報参照部３
０によって得られた状況情報を用いて、サービス対象と
する人の特定サービス内容の生成等を行なう。

【００９０】アプリケーション入出力部３４は、アプリ
ケーションの制御に必要かつ状況情報でないような情
報、例えばサービス提供に関する依頼あるいは応答のた
めのメール等を状況情報通信部１２とは別の通信経路
（図示せず）を介して入出力する。ただし、ここでの通
信経路は、論理的には状況情報通信部１２または出力情
報通信部１６とは別であっても、物理的に同じネットワ
ーク経路上であっても勿論良い。

【００９１】アクション作成部３６は、出力部１８の選
択、出力部１８への出力情報の作成、出力部１８への送
信などを行なう。応用サービス提供部１４における具体
的な動作については後述する。本実施形態では、サービ
スを提供する応用サービス提供部１４を変更すること
で、任意のサービスを提供することができる。

【００９２】応用サービス提供部１４は、同時に複数個
のものを使用可能である。それぞれの応用サービス提供
部１４は、それらを識別するためのＩＤを持っており、
そのＩＤを通信パケットに記すことで他の手段（状況情
報変換部１０ｃ、他の応用サービス提供部１４等）から
認識される。

【００９３】出力情報通信部１６は、応用サービス提供
部１４によって選択された出力部１８に情報を送信する
ために使用される。状況情報通信部１２と同様に、有
線、無線などの形態や、低レベルな通信プロトコルなど
は問わない。本実施形態では、現在の主流となっている
ＴＣＰ／ＩＰによる手段を用いて説明する。図１中の一
点鎖線で描かれた通信経路（出力情報通信部１６）に
は、以下のような情報が流れる。

【００９４】情報通信のプロトコルは、図１７に示すよ
うに、送信ＩＤ（発信元のＩＤ）、受信ＩＤ（出力部１
８のＩＤ）、メディア識別ＩＤ、出力内容から構成され
るパケット（出力情報パケット）を生成し、そのパケッ
トが移動する。

【００９５】受信ＩＤに、ブロードキャストＩＤが書か
れている場合、全ての出力部１８に情報が送られる。メ
ディア識別ＩＤに依存して、適合する出力メディアに
は、出力内容が出力される。

【００９６】次に、出力部１８について説明する。出力
部１８は、ディスプレイなどの表示部だけに限らず、プ
リンタやメモリ、ハードディスク、他のネットワーク、
電化機器のスイッチなどといったものでもよい。

【００９７】出力部１８は、図１８のように、メディア
ＩＤ解釈部１８ａ、内容解釈部１８ｂ、出力メディア１
８ｃにより構成される。メディアＩＤ解釈部１８ａは、
応用サービス提供部１４から送信される出力情報パケッ
トのメディア識別ＩＤを解釈する。内容解釈部１８ｂ
は、出力情報パケット中の情報の内容を解釈する。出力
メディア１８ｃは、内容解釈部１８ｂによって解釈され
た情報の内容を出力するもので、複数のメディアが含ま
れていても良い。

【００９８】出力部１８の動作を示すフローチャートを
図１９に示している。メディア識別ＩＤには、例えば出
力メディアを示すＴｅｘｔ，Ｓｏｕｎｄ，Ｖｏｉｃｅ，
Ｓｗｉｔｃｈ，Ｐｒｉｎｔｅｒ，Ｄｉｓｐｌａｙ，Ｍｅ
ｍｏｒｙ，Ｎｅｔｗｏｒｋ，ＸｗｉｎＰｒｏｔｏｃｏ
ｌ，Ｍａｉｌなどがある。

【００９９】出力部１８は、メディアＩＤ解釈部１８ａ
によって、これらの識別ＩＤを認識し（ステップＡ
１）、自分の出力メディア１８ｃに変換できないような
メディアを示す場合（ステップＡ２）、すなわち出力不
可能な場合には無視して出力停止する（ステップＡ
３）。

【０１００】内容解釈部１８ｂは、パケットから内容部
分を取り出し、出力内容の変換を行なう（ステップＡ
４）。変換せずにそのまま出力メディア１８ｃに送るこ
とができる内容のものはそのまま送られる。Ｔｅｘｔの
ように、一般的な形式のものは、変換部が内容解釈部１
８ｂに備わっている場合、内容を出力できるように変換
し（ステップＡ６）、出力メディア１８ｃに送る。出力
メディア１８ｃは、内容解釈部１８ｂから送られた信号
を出力する（ステップＡ７）。

【０１０１】例えば、よりリアリスティックなＣＧ（コ
ンピュータグラフィクス）映像を表示させたい場合など
は、メディアとしてＸｗｉｎＰｒｏｔｏｃｏｌ（例え
ば、Ｎｙｅ，Ａｄｒｉａｎ，”ＴｈｅＸｌｉｂＰｒ
ｏｇｒａｍｉｎｇＭａｎｕａｌ”，Ｏ’Ｒｅｉｌｌｙ
ａｎｄＡｓｓｏｃｉａｔｅｓ．（１９８８）に記載
されている）を用いることで、Ｘ−Ｗｉｎｄｏｗが管理
するディスプレイにＣＧ画像を表示できるように内容解
釈部１８ｂにＸ−Ｓｅｒｖｅｒを採用すればよい。

【０１０２】各出力部１８では、応用サービス提供部１
４において、作成された出力内容を出力する。どのよう
な出力内容を生成するか、どの出力メディア使用するか
は、各応用サービス提供部１４において選択される。

【０１０３】次に、前述した環境を利用した具体的なサ
ービス応用例の動作について説明する。ここでは、
（Ａ）ダイナミックリンク管理システムと、（Ｂ）状況
把握コマンドシステムと、（Ｃ）在席管理システムと、
（Ｄ）状況適応型メッセージ伝達システムの４つを例に
して説明する。

【０１０４】（Ａ）ダイナミックリンク管理システムダイナミックリンク管理システムは、誰がどこにいるの
かを常時管理するシステムである。状況情報を他の応用
サービス提供部１４に提供し、特別な応用サービス提供
部１４として存在する。

【０１０５】ダイナミックリンク管理システムを実現す
る場合、応用サービス提供部１４は図２０に示すように
構成される。図２０で示すように、アプリケーション制
御部３２は、情報管理部３２ａ、履歴記憶部３２ｂによ
って構成される。アクション作成部３６は、表示内容生
成部３６ａを構成する。アプリケーション入出力部３４
は、出力要求受信部３４ａを構成する。

【０１０６】こうして構成されるシステムにおいては、
状況情報通信部１２にブロードキャストされる個人識別
情報のみを更新し続ける。状況情報参照部３０の制御部
３０ｃは、個人識別情報の差分情報（行動情報）を受け
とり、記憶部３０ａに記憶される。この応用サービス提
供部１４では、状況情報参照部３０における通信部３０
ａは、送信要求パケットも受けとり、その場合、通信部
３０ａ内の管理テーブルの内容を構造化情報として、状
況情報を送信する。

【０１０７】アプリケーション制御部３２の履歴記憶部
３２ｂは、現在、環境内に検出可能な人間についての管
理テーブルの内容を持つ。情報管理部３２ａは、状況情
報参照部１４の記憶部３０ａ（管理テーブル）の最新の
情報を受け、履歴記憶３２ｂ内の管理テーブルの内容を
更新する。また、情報管理部３２ａは、履歴記憶部３２
ｂにある管理テーブルの内容を受けとり、これまでの履
歴、現在の情報など、複数の出力内容の編集を行なう。

【０１０８】出力要求受信部３４ａ（アプリケーション
入出力部３４）は、情報管理部３２ａで編集された内容
を出力すべき出力部１８を特定する出力要求を受けと
る。出力要求は、図示せぬ通信部を介して出力要求受信
部３４ａに通知される。

【０１０９】表示内容生成部３６ａ（アクション作成部
３６）は、情報管理部３２ａで作成された編集内容を、
出力要求のあった出力部１８へ送信する。出力情報の形
態については問わず、例えば、ＷＷＷ（ＨＴＭＬ）、電
光掲示版、ファイル、プリンタ、メール、表示版などさ
まざまなものがあってよい。

【０１１０】（Ｂ）状況把握コマンドシステム現在のネットワークコンピュータシステムにおいて、そ
れぞれのコンピュータシステムの状態を知るためのコマ
ンド、プログラムがいくつか用意されている。例えばＵ
ＮＩＸオペレーティングシステムにおける環境ではｗ．
ｒｗｈｏ．ｆｉｎｇｅｒなどのコマンドを用いて、各マ
シンの状態の他に、どのマシンに誰がログインしている
かという情報やその人がメールを読んだかどうか、どん
なプログラムを使用しているかなどの情報を手に入れる
ことが出来る。

【０１１１】これらのコマンドの高度化として、各個人
がどのような状態であるかを記述した情報を公開するコ
マンドを構成する。例えば、このコマンドを用いた場
合、上述したようなコマンドでは不可能であった「ある
状態の人だけをリストアップする」といったことが可能
になる。各端末の付近にいる人の「状況情報」を参照す
ることによって、「端末の前で話をしている人」「端末
の前にいるが画面をみていない人」といったような情報
を取得することができる。この情報を用いて、該当する
人とコンタクトをとる、該当する人のリストを利用した
アプリケーションの実行を行なう。

【０１１２】このようなコマンドを用意することで、現
在のネットワークコンピュータシステムにおいても、コ
ミュニケーションを円滑にすすめることの出来るツール
を容易に作成、使用することが出来る。

【０１１３】状況把握コマンドシステムを実現するため
に、応用サービス提供部は図３２のような構成を取る。
アプリケーション制御部は情報管理部と履歴記憶部によ
って構成される。アプリケーション入出力部は、コマン
ド入力部、オプション解釈部からなる。アクション作成
部はコマンドの実行結果を生成する表示内容生成部、と
出力部からなり、コマンド入力があった端末に結果を送
る。

【０１１４】ここでは、ＵＮＩＸシステムを利用した実
施例について述べるが、もちろん他のオペレーティング
システムなどでもよいし、専用のシステムにおける実装
でも構わない。

【０１１５】各部の動作の説明をする。まず、アプリケ
ーション入出力部は、ＵＮＩＸシステムにおけるシェル
プログラムで受け取られたコマンドと機能指定を行なう
ためのオプション部分を解釈する。ここでは、コマンド
の名称を「ｅｗ」とする。利用者はシェルプログラム
に、「ｅｗ−？」などと入力することで、コマンドが実
行され、オプション指定した所望の情報を得ることがで
きる。受け取ったコマンドをコマンド入力部に記憶し、
そのコマンドのオプション部分を処理する。オプション
の内容に応じて、検索する情報の内容や種類、表示方法
などを変更する。オプションの種類として、人がいるの
かいないのかを調べるオプションはもちろん、どのよう
な行動をしているかを調べるものや、まわりの状況を認
識した結果を返すものなどを用意する。本実施例では、
次のように、１）誰が端末の前にいるか、２）どんな姿
勢でいるか、３）どんな行動をしているか、の３つの例
について述べる。

【０１１６】アプリケーション制御部では、情報管理部
は、先のオプションの指定によって、状況情報参照部か
ら取得する情報の種類を選択するための、パケットの解
釈を行なう。例えば、図１２に示したような状況情報パ
ケットを受け取り、内容ＩＤが誰が存在するかを記述し
た内容であれば、その内容を履歴記憶部に、端末ごとに
整理してその情報を書き込む。履歴記憶部には、過去の
履歴も記憶してあり、ある状態がどのくらい続いている
かどうかを表示するための情報にもなる。

【０１１７】誰がどのような属性であるかを調べる必要
があるため、個人識別により存在が確認された場合、そ
れぞれの個人に対して、記憶スロットが用意され、姿
勢、行動などの属性を記憶できるようにする。細かな属
性情報が必要な場合は、各スロットに記述された情報を
出力する。

【０１１８】アクション作成部における表示内容生成部
は、履歴記憶部にかかれた情報を、実行結果として出力
するために、端末順にソーティングし、各記憶スロット
に記述された情報を表形式にまとめ、出力する。これは
後で列に示すように、コマンドの出力を別のコマンドで
処理できるようにするためである。出力部では、その文
字情報をコマンドが入力された端末に送信する。本例で
はシェルプログラムの標準出力への結果が表示される。

【０１１９】表示例としていくつか示す。１）誰がいる
かを探す場合は、 ews-001 tanaka 3.25 mitutes ews-002 ews-003 yamada 30.0 mitutes ews-004 suzuki 70.0 mitutes ２）人の大きな動作を知る場合には、 ews-001 tanaka sitting ews-002 ews-003 yamada sitting ews-004 suzuki sitting takeda standing ３）人の更に細かな動作を知る場合には、 ews-001 tanaka gaze-screen ews-002 ews-003 yamada gaze-other ews-004 suzuki speaking takeda speaking 実際例としてＵＮＩＸのシェルシステムから、話してい
る人を見つけたい場合、 %ew -h 1 grep speaking（入力） ews-004 suzuki speaking takeda speaking（出力結
果）とすることで検索することが可能になり、コミュニケー
ションを始めようとする段階で、その場所に行かずとも
状況を把握することができ、スムーズにコミュニケーシ
ョンを開始することができるようになる。さらに、これ
らの情報を用いて、「画面を見ていないで、長時間座っ
ている人を集める」といったある属性の人を取捨選択す
ることなどにも利用可能である。もちろんこのコマンド
は更に他のシステム、コマンドから利用することも可能
である。

【０１２０】（Ｃ）在席管理システム次に、在席管理システムの実施例について説明する。在
席管理システムは、各システムの使用権を管理するシス
テムであり、システムの利用者が、席を離れた場合、そ
れまで使用していた人以外の人が利用しようとした場合
には、その使用を禁止し、利用者が戻って来た場合に
は、使用権を戻す。

【０１２１】セキュリティのレベルには２段階ある。レ
ベル１は、席を離れていることがわかる場合、他人が座
るかどうかをチェックするもの、レベル２は席について
いるものの顔を向けていない場合にシステム画面を他人
に見せないようにするものである。

【０１２２】レベル１は、誰であるかを認識することに
加え、席についているかどうかを確実にとらえることが
必要となる。レベル２では、席についているかどうかを
常に監視するとともに、顔の向きを検出しておくことに
より、画面を表示するかどうかを決定する。

【０１２３】在席管理システムを実現するために、応用
サービス提供部は、図１３のような構成を取る。アプリ
ケーション制御部は、照合管理部、使用者記憶部、アク
ション作成部は、スクリーンセーバ起動部、スクリーン
セーバ停止部、からなる。この構成では、アプリケーシ
ョン入出力部は、特に設けなくても良い。

【０１２４】まず、使用者記憶部では、システムの使用
者を使用時間、ログイン情報などから決定し、使用者を
記憶する。使用者が席から離れたかどうかは、状況情報
参照部に送られて来る情報を照合管理部が照合すること
により検知する。具体的には、送信される状況情報の差
分情報を常に管理することにより、座席に変動があった
場合のみ情報の更新を行なうようにする。離席が検知さ
れると、アクション作成部にそれを伝え、スクリーンセ
ーバ起動部が、スクリーンセーバを起動し、画面上に表
示されているものを隠蔽する。

【０１２５】スクリーンセーバは、他の利用者が来た場
合には解除されることなく、使用権を確保できる。利用
者が席に戻って来た場合には、個人識別情報を照合管理
部によって、当人かどうかを照合し、利用者であると確
認された場合には、アクション作成部にそれを伝え、ス
クリーンセーバ停止部は、スクリーンセーバを停止す
る。

【０１２６】さらに、席をついている場合でも、顔の向
きを検出しておき、顔の向きが大きく変わり画面を見て
いない場合には、ウインドウをロックする。また、画面
を見るように顔の向きを変化させた場合、ウインドウロ
ックを解除する。これにより、重要な機密情報等が画面
上に表示されている場合、自分がみていない時に画面の
情報を他人に見せないように出来る。

【０１２７】状況情報を用いることによって、より細か
な画面表示の制御が可能であり、他人と対面的な会話を
行なっている場合でも、重要な情報の守秘などが行なわ
れ効果的である。

【０１２８】（Ｄ）状況適応型メッセージ伝達システム図２のようにカラーＣＣＤカメラ（画像入力部１０ｂ）
が各端末に備え付けられ、各状況情報変換部１０ｃに対
して、一対一に対応するディスプレイのような出力部１
８を装備するＥＷＳ（エンジニアリングワークステーシ
ョン）のネットワーク環境における、状況適応型メッセ
ージ伝達システムを例にして説明する。

【０１２９】現在のメールシステムの拡張として、メー
ル（メッセージ）をどのように転送して欲しいかを指定
することで、システムがそれを解釈し、指定された送信
形態、状況になった場合や、ある属性をもった人に対し
てメッセージを送信、表示させる方法を、先に説明した
環境において構築する。

【０１３０】具体的な例として、現在のＩｎｔｅｒｎｅ
ｔを利用したＳＭＴＰ（ＳｉｍｐｌｅＭａｉｌＴｒ
ａｎｓｆｅｒＰｒｏｔｏｃｏｌ）によるメール転送に
おいて、Ｓｔａｔｕｓフィールドといった、相手の状
態、送信形態を記述、追加した拡張例を考える。

【０１３１】１）緊急事項を伝える場合Ｆｒｏｍ：ｓａｔｏＴｏ：ｓｕｚｕｋｉＳｔａｔｕｓ：ｕｒｇｅｎｔシステム動作：ネットワーク内をさがして、呼び止めて
でも伝える。

【０１３２】２）適応な時間までには見てもらえること
を設定Ｆｒｏｍ：ｓａｔｏＴｏ：ｓｕｚｕｋｉＳｔａｔｕｓ：ｕｎｔｉｌ９８／１２／２８１２：
００システム動作：時間までに読了してもらうように、タイ
ミングを見計らって表示。

【０１３３】３）その人が自分の席に戻った時点で表示Ｆｒｏｍ：ｓａｔｏＴｏ：ｓｕｚｕｋｉＳｔａｔｕｓ：ａｔｏｎｅ′ｓｓｅａｔシステム動作：席についたら、タイミングを見計らって
表示。

【０１３４】４）ある状態にある人に送るＦｒｏｍ：ｓａｔｏＴｏ：ｓｔａｔｕｓＳｔａｔｕｓ：ｗｈｏｓｉｔｔｉｎｇｎｏｗシステム動作：今、席についている人だけに送る。

【０１３５】５）ある属性、状態を持つ人すべてに送るＦｒｏｍ：ｓａｔｏＴｏ：ｓｔａｔｕｓＳｔａｔｕｓ：ｓｉｔｔｉｎｇｍａｎｆｏｒｏｎ
ｅｈｏｕｒｓシステム動作：一時間くらいずっと席についている人だ
けに送る。

【０１３６】６）ある属性の人に送るＦｒｏｍ：ｓａｔｏＴｏ：ｓａｔｔｕｓＳｔａｔｕｓ：ｗｈｏｓｉｔｔｉｎｇｉｎｆｒｏ
ｎｔｏｆＥＷＳ−００１” システム動作：”ＥＷＳ−００１”にいる人に送る。

【０１３７】これらのように、送信時に配送方法を指定
できるように拡張する。本実施形態における実現の方法
は、まず、各ＥＷＳ端末においいて、画像入力部１０
ｂ、状況情報変換部１０ｃを備える。通信手段（状況情
報通信部１２、出力情報通信部１６）は、ＥｔｈｅｒＮ
ｅｔを用いた、ＴＣＰ／ＩＰプロトコルを利用する。

【０１３８】ただし、状況情報変換部１０ｃについての
説明でした視線や会話検出などの状況情報は扱わず、こ
こでは説明を簡単にするために着座判定、個人認証、頭
部方向認識のみを扱うものとする。勿論、これら以外の
情報を使用することができる。

【０１３９】応用サービス提供部１４は、ＬＡＮ内のあ
る一台のサーバマシンの実行プロセスとして実現し、図
２１に示すような構成となる。まず、アプリケーション
入出力部３４については、通常のＥＷＳ環境で使用され
ている、メールシステムとのインタフェースとしてメー
ル送受信部３４ｂを設ける。

【０１４０】アプリケーション制御部３２は、図２１に
示すように、メールによって設定された「状況」を解釈
する指示内容解釈部３２ｃと、システムがどのようにメ
ッセージを伝えるかを設定するシステム行動決定部３２
ｄと、指定された状況になったかどうかを照合する状況
照合部３２ｅと、指定された状況とシステムの行動記述
をルール化した知識を蓄える解釈データベース３２ｆに
よって構成されている。アクション作成部３６は、シス
テム行動決定部３２ｄによる設定に応じたメッセージの
表示内容を生成する出力生成部３６ｂと、出力方法につ
いての付加情報を記述した出力方法データベース３６ｃ
から構成されている。

【０１４１】次に、状況適応型メッセージ伝達システム
動作について、図２２に示すフローチャートを参照しな
がら説明する。まず、メール送受信部３４ｂは、メール
が着信した後（ステップＢ１）、指示内容が記された、
宛先、Ｓｔａｔｕｓフィールド、メッセージ部分を分離
する（ステップＢ２）。Ｓｔａｔｕｓフィールドは、指
示内容解釈部３２ｃへ送られ、宛先、メッセージ部分
は、システム行動決定部３２ｄに送られる。

【０１４２】指示内容解釈部３２ｃは、図２３のフロー
チャートに示すように動作してＳｔａｔｕｓフィールド
を解釈する（ステップＢ３）。指示内容解釈部３２ｃ
は、Ｓｔａｔｕｓフィールドについて構文解析を行ない
（ステップＣ１）、解析結果をもとに解釈データベース
３２ｆに蓄積されたルールパターンとのパターンマッチ
ングを行ない、どのルールが適用されるかを調べる（ス
テップＣ２）。

【０１４３】ルールパターンは、例えば図２４に示すよ
うに登録されており、Ｓｔａｔｕｓフィールドの記述
が、どの行動パターンに当てはまるかが参照される。指
示内容解釈部３２ｃは、ルール情報（行動モード、情報
提示方法を含む）を決定し（ステップＣ３）、その内容
をシステム行動決定部３２ｄに送信する（ステップＣ
４）。指示内容解釈部３２ｃは、Ｓｔａｔｕｓフィール
ドに対する解釈内容として、誰に（相手名）、何時（時
間）、何処に（場所）、どのようにして伝えるのかとい
った情報を、図２５に示すような構造体として記述す
る。

【０１４４】システム行動決定部３２ｄは、指示内容解
釈部３２ｃからの通知に対して、図２６のフローチャー
トに示すように動作してシステム行動を決定する（ステ
ップＢ４）。

【０１４５】まず、システム行動決定部３２ｄは、メー
ル送受信部３４ｂに着信されたメール中のメッセージ、
宛先を読み込み、また指示内容解釈部３２ｃによって得
られたルール情報、解釈内容を読み込む（ステップＤ１
〜Ｄ４）。

【０１４６】メッセージは、テキスト情報、宛先はメー
ルまたは属性指示のものが存在する。システム行動決定
部３２ｄは、宛先について固有名宛先であるか、属性宛
先であるかを検査して（ステップＤ５）、属性宛先であ
る場合には適合人物を属性指定に従って検索した上で指
定状況設定を設定する（ステップＤ６，Ｄ７）。

【０１４７】システム行動決定部３２ｄは、ルール情報
に基づいて、システムの行動方法を決定する（ステップ
Ｄ８）。ルール情報は、指示内容解釈部３２ｃによって
解釈されたルールパターンに対応した、システムの動作
アルゴリズムを記述したものとして与えられる。例え
ば、１）の緊急事項を伝える場合（緊急伝達モード）の
システムの動作アルゴリズムは図２８のように表され
（詳細については後述する）、解釈データベース３２ｆ
中に蓄えられている。

【０１４８】システム行動決定部３２ｄは、ステップＤ
７において設定した指定状況設定の内容を状況照合部３
２ｅに送信し（ステップＤ９）、またステップＤ８にお
いて決定したシステムの行動方法を出力生成部３６ｂに
送信する（ステップＤ１０）。

【０１４９】以下、出力生成部３６ｂは、システム行動
決定部３２ｄから送信されたシステム行動方法に内容に
従い（ステップＢ４）、状況照合部３２ｅによって通知
されるメッセージ送信対象の状況等に応じて出力方法、
出力内容を決定しながら、メッセージを出力する動作を
実行する（ステップＢ５，Ｂ６）。

【０１５０】また、状況照合部３２ｅは、システム行動
決定部３２ｄから送信された指定状況設定に応じて、出
力生成部３６ｂからメッセージを送信すべき指定状況の
待ち状態となる。すなわち、状況照合部３２ｅは、図２
７に示すフローチャートのように動作する。

【０１５１】状況照合部３２ｅは、図２５に示すような
形式で、システム行動決定部３２ｄから指定状況（待機
状態）の情報（解釈内容構造体）が送られる（ステップ
Ｆ１）。

【０１５２】解釈内容構造体の各スロットには、確定内
容、または、フリー（制限を設けない）などが設定され
る。例えば、１）の緊急事項を伝える場合の緊急捜索モ
ードでは、図２５（ａ）のように設定され、３）のその
人が自分の席に戻った時点で表示する場合のモードで
は、図２５（ｂ）のように設定される（図２５（ｂ）で
は時間のスロットには制限を設けていない）。これによ
り、状況照合部３２ｅは、情報取得が必要な端末、また
必要な情報の種類を決定する（ステップＦ２，Ｆ３）。

【０１５３】状況照合部３２ｅは、解釈内容構造体に設
定された内容に応じて、状況情報参照部３０に対して通
信要求を出し（ステップＦ４）、各端末の状況情報を取
得する。

【０１５４】状況照合部３２ｅは、状況情報参照部３０
を介して取得された状況情報について、待機状態の情報
表現と照合し（ステップＦ５）、照合が成功した場合に
はメッセージを出力すべきことを示す照合完了信号を出
力生成部３６ｂに送出する（ステップＦ８）。

【０１５５】一方、設定時間を過ぎても照合が成功しな
かった場合には（ステップＦ７）、状況照合部３２ｅ
は、タイムアウト信号をシステム行動決定部３２ｄに送
出する（ステップＦ９）。

【０１５６】なお、出力生成部３６ｂにおいては、メッ
セージの表示だけでなく、端末から声、音などで呼び止
めることも行なう。出力方法については、解釈データベ
ース３２ｆから出力情報パケットのテンプレートをコピ
ーし、それにメッセージ等の情報を付加し、パケットを
生成しておく。システム行動決定部３２ｄから、要求が
来た場合に、先に述べた出力情報パケットを出力情報通
信部１６を介して、それぞれの出力部１８に対して送信
する。

【０１５７】次に、１）の緊急事項を伝える場合（緊急
伝達モード）を例に説明する。緊急伝達モードの際のシ
ステム動作アルゴリズムを図２８に示している。なお、
前述したように状況情報としては、着座判定、個人認
証、頭部方向認識の結果が入力部１０の状況情報変換部
１０ｃから通知されるものとする。

【０１５８】緊急伝達モードの場合、環境内からメッセ
ージの送信先となる相手を探し出し、ある時間内に伝え
ることを最大限に努力するシステムの行動方法が決定さ
れる。状況照合部３２ｅは、状況情報参照部３０を介し
て環境内から送信相手を探す（ステップＥ１，Ｅ２，Ｅ
３）。ある時間が経過した場合には、出力生成部３６ｂ
は、ブロードキャストメッセージを生成して、出力情報
通信部１６を介して環境全体に出力部１８に対してメッ
セージを送信する（ステップＥ４，Ｅ５）。

【０１５９】そして、時間設定を変更して、予め設定さ
れた繰り返し回数に到達していなければ、ステップＥ１
に戻り同様の処理を繰り返す（ステップＥ７）。なお、
時間設定の変更は、環境内の全ての出力部１８にメッセ
ージを送信したことから短時間で送信相手が検出される
ものとして時間を短くしても良いし、また確実に相手を
検出できるように時間を短くしても良い。

【０１６０】送信相手の検索を繰り返し回数分、実行し
ても検出できなかった場合には（ステップＥ７）、メッ
セージ送信を要求してきた送信者、例えばメールの送信
者を捜索し、要求されたメッセージの送信相手にメッセ
ージを伝達できなかったことを示すメッセージを送るた
めの処理を行なう（ステップＥ９）。このメッセージ
は、メール送受信部３４ｂを介して送信される。

【０１６１】一方、状況照合部３２ｅは、環境内を探し
た結果、状況情報参照部３０からの情報をもとにメッセ
ージの送信相手を発見できた場合には、状況情報変換部
１０ｃから送られる状況情報に基づいて場所状況を把握
する（ステップＥ１０）。

【０１６２】その結果、状況情報中の着座判定の結果か
ら他人の端末にいることが検出された場合、状況照合部
３２ｅは、その他人端末での表示設定を出力生成部３６
ｂに指示する（ステップＥ１２）。

【０１６３】一方、メッセージの相手が本来いるべき端
末（自端末）に着座している場合には、状況照合部３２
ｅは、自端末での表示設定を出力生成部３６ｂに指示す
る（ステップＥ１３）。

【０１６４】さらに、状況照合部３２ｅは、状況情報中
の頭部方向認識の結果をもとに、相手の顔向きを検知す
る（ステップＥ１４）。この結果、送信相手が端末を向
いている場合、すなわち視線方向がディスプレイを見て
いることを確認した場合にはメッセージを通知すること
を決定し、出力生成部３６ｂにメッセージの送信を指示
する。

【０１６５】出力生成部３６ｂは、状況照合部３２ｅか
らの指示に応じて、メッセージ送信相手がいる端末の出
力部１８に対して、出力情報通信部１６を介してメッセ
ージ出力情報を送信する（ステップＥ１７）。

【０１６６】また、メッセージの送信相手が見つかった
ものの、相手がディスプレイを見ていない場合は、音を
出す出力情報を送信して、音声を使って呼び出すなどし
て（ステップＥ１５）、顔方向がディスプレイに向くま
で続けるなどの処理を行なう。

【０１６７】メッセージが送信された出力部１８では、
例えばスピーカよりチャイムを出力すると共に、ディス
プレイにおいてメッセージを表示する。なお、前述した
１）の緊急事項を伝える場合以外においても同様に処理
が可能であり、このように、状況情報を利用したアプリ
ケーション（応用サービス提供部１４）により、相手の
状態を意識したメッセージ交換が可能となる。

【０１６８】このようなアプリケーションは、応用サー
ビス提供部１４として複数個用意することにより、さま
ざまなサービスがこの環境内で提供される。他のアプリ
ケーション例として、適応会議召集システム、電話転送
システム、人物捜索システムなどがあるが、状況情報を
組み込むことで、従来より、それぞれのアプリケーショ
ンの高度化が可能になる。

【０１６９】なお、本発明は上述した実施形態に限定さ
れるものではない。例えば、状況情報変換部１０ｃにお
ける各認識部（図４における個人認証部２１〜腕動作推
定部２５）は、それぞれの状況情報変換部１０ｃが持つ
のではなく、バスでつながれた認識部を、それぞれの状
況情報変換部１０ｃが共有する構成でも良い。

【０１７０】また、本実施例では２つの論理的な通信手
段（状況情報通信部１２、出力情報通信部１６）を持つ
構成としているが、物理的には一つの通信手段でもよ
い。その際、状況情報と出力情報を識別するためのパケ
ット構成要素を付加しても良い。

【０１７１】このようにして、誰に、どのような情報
を、どのように伝えたいかをシステムに伝えることで、
情報を受けとる人の行動状態が把握され、送信相手の行
動に応じて情報が提供される。例えば非同期なコミュニ
ケーションあるいは直接的な同期したコミュニケーショ
ンの何れを行なうかを、電話、電子メール、ＦＡＸから
適当な通信メディアを選択することで対応するのではな
く、相手の状態に応じた情報の伝達方法を動的に選択し
て対応することができる。

【０１７２】また、相手が単にカメラ（画像入力部１０
ｂ）の撮影範囲に入ることで行動状態を把握することが
できるため、特別なデバイスを使用することなく容易に
情報提供することができる。また常時、情報提供を行な
っているわけではなく、撮影範囲に入らなければ所在が
知られることもなく、さらに撮影された画像そのもので
はなく状況情報として通知されるのでプライバシーの保
護もなされる。

【０１７３】なお、前述した実施形態においては、画像
入力部１０ｂ（カラーＣＣＤカメラ）から入力された入
力画像をもとにして処理を行なう例について説明した
が、画像以外の入力情報、例えば音声、キーボードから
の入力データ等を変換して得られる状況情報をもとにし
て処理を行なう機能構成とすることもできる。

【０１７４】次に、状況情報変換部１０ｃの変形例につ
いて第２実施形態として説明する。第２実施形態におけ
る、状況情報変換部１０ｃは、図２９に示すように、人
物検出部４０、顔画像解析部４２、ジェスチャ解析部４
４、人物動き解析部４６、端末状態検出部４８、時間管
理部４９、類似度計算部５０、状況辞書部５２、状況記
述ベクトル部５４、状況曲線生成部５６から構成され
る。

【０１７５】人物検出部４０は、連続して入力される画
像例に対して常時処理を行なう。人物が画像入力部１０
ｂのカメラ視野に入ると、即座に人物検出部４０はその
存在を検出し、状況情報を抽出する各モジュールを起動
する。

【０１７６】人物検出部４０における人物検出処理は、
予め蓄えられた人物の存在しない背景画像と入力画像と
の画像間差分により人物領域の抽出を行なう。照明変化
などの背景の揺らぎに対するロバスト性を向上するに
は、例えば後述する参考文献［２］に記載された方法を
利用することが可能である。また、色情報から顔を肌領
域として抽出してこれを基に人物領域を抽出する方法も
利用可能である。この方法は、例えば参考文献［４］に
記載された方法を用いることができる。

【０１７７】顔画像解析部４２は、人物検出部４０によ
って人物の存在が検出されると、人物領域中から顔領域
を抽出して、この顔領域から得られる各状況情報を抽出
する。

【０１７８】顔画像解析部４２は、顔領域抽出部４２
ａ、個人識別部４２ｂ、性別識別部４２ｃ、年齢識別部
４２ｄ、口状態検出部４２ｅ、目状態識別部４２ｆ、顔
向き検出部４２ｇ、視線検出部４２ｈ、アクセサリ解析
部４２ｉによって構成されている。

【０１７９】詳しく調べると、顔領域抽出部４２ａは、
人物領域から顔領域を抽出する。顔領域抽出法として
は、色情報を使う方法（参考文献［３，４］）、ニュー
ラルネットワークによる方法（参考文献［６］）、パタ
ーン認識による方法（参考文献［８］）などが提案され
ているが、本実施例では、予め登録された標準顔テンプ
レートを全画面に渡って操作して最も高い類似度（相
関）を持つ領域を顔領域として抽出する。

【０１８０】類似度がしきい値より小さい場合は、人物
がこちら（画像入力部１０ｂ側）を向いていないと判断
する。類似度計算処理は複合類似度などの従来文字確認
において用いられた方法に置き換えても良い。

【０１８１】この後、抽出された顔領域画像は、各状況
情報を抽出する図２９中に示すモジュール群４２ｂ〜４
２ｉに送られて並列に処理されて各状況情報が抽出され
る。各モジュールについて順に説明してゆく。

【０１８２】個人識別部４２ｂは、顔特徴点抽出部と正
規化画像生成部と類似度計算部と顔辞書記録部と評価部
とから構成される。顔特徴点抽出部は、抽出された顔領
域からエッジ情報やカラー情報を基にモデルマッチング
手法により目、鼻、口などの特徴点を抽出する。例えば
参考文献［１４］に記載された方法を用いることができ
る。

【０１８３】正規化画像生成部は、顔特徴点抽出部によ
って得られた特徴点から、複数の、例えば両目、唇の端
の４点の特徴点を基準としてａｆｆｉｎｅ変換を施し、
決められた位置と大きさに正規化し、目、鼻を含んだ矩
形領域を抽出する。この正規化された画像を正規化画像
と呼ぶ。更に、この後にヒストグラム平坦化処理などに
より輝度の正規化処理を施す。

【０１８４】類似度計算部は、正規化画像生成部によっ
て生成された正規化画像と、予め登録されている辞書画
像の類似度を計算する。本実施例では、類似度として複
合類似度を用いる。

【０１８５】評価部は、最も高い類似度を出力した辞書
画像に該当する人物が、画像入力部１０ｂによって撮影
された画像中に存在するものと判定する。ただし、その
類似度が指定した閾値よりも低い場合は、だれであるか
を決定せずに不定とする。

【０１８６】なお上に述べた個人識別部４２ｂにおける
個人認証技術についての技術動向は、参考文献［５」に
詳しく記載されており、これらの手法を用いることがで
きる。

【０１８７】年齢識別部４２ｄは、個人識別部４２ｂの
正規化画像生成部によって生成された正規化画像、ある
いは正規化する前の顔領域抽出部４２ａによって検出さ
れた顔領域画像から、しわなどの肌の状態や、髪の毛の
色から年齢を推定する。例えば参考文献［１１］に記載
された方法を適用可能である。

【０１８８】性別識別部４２ｃは、年齢識別部４２ｄと
同様に、正規化画像あるいは正規化する前の顔領域画像
から男女の識別を行なう。予め性別を識別する様に学習
させたニューラルネットを用いて識別を行なう。

【０１８９】口状態検出部４２ｅは、動的輪郭モデル
（Ｓｎａｋｅｓモデル）（参考文献［１０］）など用い
た口形状識別を行なう。状況情報量としては形状情報か
ら２０段階の値、口の開閉回数／分も状況情報量として
出力する。

【０１９０】目状態検出部４２ｆは、輪郭モデルを用い
て（参考文献［１３］記載された方法を用いる）、目の
形状を抽出して閉閉状態・回数などを検出する。口状態
検出部４２ｅと同様に情況情報量としては、形状情報か
ら２０段階の値、目の開閉回数／分を状況情報量として
出力する。

【０１９１】顔向き検出部４２ｇは、抽出された複数の
特徴点の座標から顔の３次元的な向きを計算する。例え
ば１台のカメラからの画像を用いる場合は、参考文献
［７］に記載されたチポラの方法、２台のカメラからの
画像を用いる場合は、ステレオ視覚による方法を用いる
ことができる。本実施例では、縦に３段階、横に５段階
の方法を識別して１５段階の状況情報量を出力する。

【０１９２】視線検出部４２ｈは、目領域検出部と視線
推定部から構成される。目領域検出は、参考文献［９］
に記載された方法を用いることができる。視線推定部
は、黒目の位置と目尻および目頭の相対位置関係から求
まる。また様々な方向の視線の目領域の画像から視線方
向を学習したニューラルネットワークを用いることも可
能である（参考文献［１２］）。本実施例では、縦に５
段階、横に１０段階の方向を識別して５０段階の状況情
報量を出力する。

【０１９３】アクセサリ解析部４２ｉは、人物がメガネ
などのアクセサリを身に付けているか否か、またどんな
種類のアクセサリを身に付けているかを識別する。年齢
推定部や性別識別部と同様の方法が適用可能である。

【０１９４】次に、ジェスチャ解析部４４について説明
する。ジェスチャ解析部４４は、手領域抽出部４４ａ、
手の形状識別部４４ｂ、手の位置検出部４４ｃから構成
される。

【０１９５】手領域抽出部４４ａは、人物検出部４０で
検出された領域から人間の全身をスティックで表現した
モデルにより手領域を抽出する。あるいはカラー情報に
基づいて肌色から手領域を抽出することも可能である。
状況情報量として５０段階の値を出力する。

【０１９６】手の形状識別部４４ｂ及び手の位置検出部
４４ｃは、手領域抽出部４４ａによって抽出された手領
域について、それぞれ手の形状、手の位置を検出する。
次に、人物動き解析部４６について説明する。人物動き
解析部４６は、空間位置検出部４６ｂと人物姿勢解析部
４６ｃから構成される。空間位置検出部４６ｂは、人物
検出部４０で抽出された人物の画像中での大きさ、位置
からレンズの焦点距離等から空間位置を推定する。本実
施形状では、例えば参考文献［１］に記載された方法を
用いることができる。

【０１９７】端末状態検出部４８は、計算機（ＷＳやパ
ーソナルコンピュータ等）の入力デバイス１０ａから入
力される入力情報をもとにした状況情報から、端末状態
を識別するもので、キーボード状態識別部４８ｂは例え
ばキーボードのリズムからキーボード状態を識別し、入
力形式識別部４８ｃは入力している形式がテキストかプ
ログラムかを抽出する。

【０１９８】時間管理部４９は、状況情報が発生した時
刻情報を生成する。これまでに述べてきた状況情報は、
連続して状況情報量が状況情報通信手段に流される（ｌ
ｅｖｅｌ１）。または、全てｎビットに正規化されて
“作業中である／忙しそうである”いった抽象レベルの
高い状況情報量（ｌｅｖｅｌ２）に変換されて流され
る。

【０１９９】抽象レベルの高い状況情報量への変換は、
類似度計算部５０で行なう。図３０に示す様に、同時刻
ｔ＝０に正規化された各状況情報量は、状況記述ベクト
ル部５４でまとめてベクトル形式のデータに変換され
る。更に、状況曲線生成部５６は、状況記述ベクトル部
５４によって生成された状況記述ベクトルが、状況特徴
空間中でｔ＝０〜ｔ＝ｔ´の間に変換した軌跡として状
況曲線を生成する。この状況曲線自体が人物の状況を表
現したものと考えられる。

【０２００】状況辞書部５２には、“忙しい／暇であ
る”と定義できる状況での状況曲線モデルが予め記録さ
れてある。新たに入力された状況記述ベクトルは、状況
曲線に変換されて、類似度計算部５０によって状況辞書
部５２に登録されている複数の状況曲線モデルとの類似
度を求める。

【０２０１】類似度計算部５０は、最も高い類似度を出
力した状況を現在の状況として選択し、これに対応した
状況情報量を状況情報通信手段に流す。本実施例では複
合類似度法を用いる。図３１には状況モデル曲線と、入
力された状況曲線との関係を示している。

【０２０２】Ｅｔｈｅｒｎｅｔ（ＴＣＰ／ＩＰ）のよう
な、通信路でなくても、バスを直結したような構成でも
よい。その際、パケットの構成法を変更してもよい。ま
た、本方法は、ソフトパッケージのみで提供することが
可能である。すなわち、図２２，図２３，図２６，図２
７，図２８に示したような各端末における状況情報を取
得するためのソフトウェア、状況情報を交換するための
プロトコル制御ソフトウェア、アプリケーションを駆動
するためのソフトウェアなどを、それぞれの端末にイン
ストールすることで、利用可能になる。これらのソフト
ウェアは、図３４のように、フロッピー、ＣＤ−ＲＯ
Ｍ、ＤＶＤなどの記録媒体、または電気的な通信媒体
（Ｉｎｔｅｒｎｅｔにおけるｆｔｐなど）によって供給
できる。以上、本発明は、その趣旨を逸脱しない範囲
で、種々変形して実施することが可能である。

【０２０３】

【発明の効果】以上詳述したように本発明によれば、人
間同士のコミュニケーションを的確にサポーサし、時間
的な効率と空間的な効率を同時に向上させることができ
るなどの実用上多大な効果が享受される。

【図面の簡単な説明】

【図１】本発明の実施形態に係わるコミュニケーション
装置の構成を示すブロック図。

【図２】図１に示す構成によって実現されるコミュニケ
ーション装置（コンピュータ環境）のイメージを示す
図。

【図３】図１中に示す状況情報変換部１０ｃの構成例を
示す図。

【図４】図３中に示す状況情報生成部１０ｃの１の詳細
な構成を示す図。

【図５】図４中に示す人検出部２０の詳細な構成を示す
図。

【図６】図５に示す人検出部２０による処理過程を示す
図。

【図７】図４中に示す個人認証部２１の詳細な構成を示
す図。

【図８】図４中に示す状況情報統合部２６の詳細な構成
を示す図。

【図９】図８中の履歴記憶部２６ｄに記憶される状況登
録テーブルの一例を示す図。

【図１０】行動情報を登録するための行動情報テーブル
の一例を示す図。

【図１１】本実施形態で扱われる状況情報を説明するた
めの図。

【図１２】状況情報を送信するための状況情報パケット
の一例を示す図。

【図１３】送信要求パケットの構成の一例を示す図。

【図１４】本実施形態における通信プロトコルを説明す
るための図。

【図１５】図１に示す応用サービス提供部１４の構成を
示すブロック図。

【図１６】図１５中に示す状況情報参照部３０の詳細な
構成を示す図。

【図１７】出力情報パケットの構成の一例を示す図。

【図１８】図１中に示す出力部１８の詳細な構成を示す
図。

【図１９】図１８に示す出力部１８の動作を示すフロー
チャート。

【図２０】ダイナミックリンク管理システムを実現する
場合の応用サービス提供部１４の詳細な構成を示す図。

【図２１】状況適応型メッセージ伝達システムを実現す
る場合の応用サービス提供部１４の詳細な構成を示す
図。

【図２２】状況適応型メッセージ伝達システムの動作を
説明するためのフローチャート。

【図２３】図２１中の指示内容解釈部３２ｃの動作を説
明するためのフローチャート。

【図２４】図２１中の解釈データベース３２ｆに格納さ
れるルールパターンの一例を示す図。

【図２５】図２１中の指示内容解釈部３２ｃにより記述
される解釈内容構造体の一例を示す図。

【図２６】図２１中のシステム行動決定部３２ｄの動作
を説明するためのフローチャート。

【図２７】図２１中の状況照合部３２ｅの動作を説明す
るためのフローチャート。

【図２８】緊急伝達モードの際のシステム動作アルゴリ
ズムを示すフローチャート。

【図２９】状況情報変換部１０ｃの変形例の構成を示す
ブロック図。

【図３０】正規化された状況情報量からの状況特徴ベク
トル生成を説明するための図。

【図３１】状況モデル曲線と入力状況曲線との類似度計
算を概念的に示す図。

【図３２】状況把握システムの一構成図。

【図３３】在席管理システムの一構成図。

【図３４】ソフトウェアによるシステムの供給を示した
図。

【符号の説明】

１０…入力部１０ａ…入力デバイス１０ｂ…画像入力部１０ｃ…状況情報変換部１２…状況情報通信部１４…応用サービス提供部１６…出力情報通信部１８…出力部２０…人検出部２１…個人認証部２２…頭部方向推定部２３…視線方向推定部２４…口形状動作推定部２５…腕動作推定部２６…状況情報統合部２６ａ…統合部２６ｂ…時刻発生部２６ｃ…場所情報記憶部２６ｄ…履歴記憶部２６ｅ…統合行動認識部２６ｆ…統合情報記憶部３０…状況情報参照部３０ａ…通信部３０ｂ…記憶部３０ｃ…制御部３２…アプリケーション制御部３２ａ…情報管理部３２ｂ…履歴記憶部３２ｃ…指示内容解釈部３２ｄ…システム行動決定部３２ｅ…状況照合部３２ｆ…解釈データベース３４…アプリケーション入出力部３４ａ…出力要求受信部３４ａ…メール送信部３６…アクション作成部３６ａ…表示内容生成部３６ｂ…出力生成部３６ｃ…出力方法データベース

───────────────────────────────────────────────────── フロントページの続き (72)発明者鈴木薫大阪府大阪市北区大淀中１丁目１番30号株式会社東芝関西支社内 (72)発明者田中英治大阪府大阪市北区大淀中１丁目１番30号株式会社東芝関西支社内 (72)発明者谷口恭弘大阪府大阪市北区大淀中１丁目１番30号株式会社東芝関西支社内

Claims

【特許請求の範囲】

【請求項１】周囲の状況を撮影して画像を入力するた
めの画像入力手段を有する複数の情報処理装置と、前記複数の情報処理装置の間で相互に情報の送受信を行
なう通信手段とを有し、前記情報処理装置は、前記画像入力手段によって入力された画像をもとに状況
を表わす状況情報を生成し、前記通信手段を介して送信
する状況情報変換手段と、何れかの情報処理装置における前記状況情報変換手段に
よって生成された状況情報を前記通信手段を介して受信
し、前記状況情報に応じて前記サービスの提供先に存在
する人間に適したサービスを生成して前記通信手段を介
して何れかの情報処理装置に提供する応用サービス提供
手段とを具備したことを特徴とするコミュニケーション
装置。
【請求項２】状況に応じた情報を入力する複数の入力
手段と、前記入力手段によって入力された情報を、状況を表わす
状況情報に変換する状況情報変換手段と、前記状況情報変換手段によって得られた状況情報を通信
するための状況情報通信手段と、前記状況情報通信手段によって通信される状況情報に基
づいて、サービスを提供するための出力情報を作成する
応用サービス提供手段と、前記応用サービス提供手段によって作成された出力情報
を転送するための出力情報通信手段と、前記出力情報通信手段によって転送される出力情報に応
じて、サービスの提供先に存在する人間に対してサービ
スを提供するための複数の出力手段とを具備したことを
特徴とするコミュニケーション装置。
【請求項３】前記状況情報変換手段は、前記入力手段
によって入力された情報をもとに個別識別を行ない、そ
の個別識別の結果を表わす状況情報を生成することを特
徴とする請求項２記載のコミュニケーション装置。
【請求項４】少なくとも１つの前記応用サービス提供
手段が設けられ、前記応用サービス提供手段は、状況情報に基づいて提供
するサービスがそれぞれ異なることを特徴とする請求項
２記載のコミュニケーション装置。
【請求項５】前記応用サービス提供手段は、前記状況情報生成手段によって生成される状況情報の履
歴を識別対象毎に管理する情報管理手段と、前記情報管理手段によって管理される情報についての出
力先を含む出力要求を受信する出力要求受信手段と、前記出力要求受信手段によって受信された出力要求に応
じて、前記情報管理手段によって管理される履歴を用い
て前記状況情報に基づく出力内容を生成し、要求された
出力先に出力する内容生成手段とを具備したことを特徴
とする請求項３記載のコミュニケーション装置。
【請求項６】前記応用サービス提供手段は、サービスを提供すべき提供先に存在する人間の状況を示
す指示を受信する受信手段と、前記受信手段によって受信された指示を解釈する指示内
容解釈手段と、前記指示内容解釈手段によって解釈された指示内容に応
じてサービス提供のために実行すべき行動を決定する行
動決定手段と、前記行動決定手段によって決定された実行すべき行動に
応じた状況に、前記サービスの提供先に存在する人間が
なっているかを、前記状況情報に基づいて判別する状況
照合手段と、前記状況照合手段によって実行すべき行動に応じた状況
となったことが判別された際に、前記行動決定手段によ
って決定された実行すべき行動に応じてサービスを提供
する出力生成手段とを具備したことを特徴とする請求項
２記載のコミュニケーション装置。
【請求項７】サービスの提供先における状況に応じた
情報を入力して、サービスの提供先における状況を表わ
す状況情報に変換し、この変換された状況情報に基づいてサービスを提供する
ための出力情報を作成し、この作成された出力情報に応じてサービスを提供するこ
とを特徴とするコミュニケーション方法。
【請求項８】応用サービス提供手段は、サービス提供
先に存在する識別対象へのシステムの使用権を管理する
管理手段と、システムへの使用権を制御する制御手段と、システムへの使用権を利用者に伝える保護手段とを具備
したことを特徴とする請求項３記載のコミュニケーショ
ン装置。