JPH11196398A

JPH11196398A - 画像処理装置

Info

Publication number: JPH11196398A
Application number: JP9359882A
Authority: JP
Inventors: Hiroshi Ichiki; 洋一木; Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-12-26
Filing date: 1997-12-26
Publication date: 1999-07-21

Abstract

(57)【要約】【課題】簡易に人の顔の向きを計測する。【解決手段】正面テンプレートメモリ４３には、正面
から撮影された顔（Ｆ₁）が記憶されており、側面テン
プレートメモリ４４には、左側面から撮影された顔（Ｆ
₂）が記憶されている。各ビデオカメラは、ぞれぞれ隣
り合うビデオカメラと所定の角度（ｄＩ₁乃至ｄＩ₃とす
る）を有して設置されている。動き物体検出装置４１−
２１乃至４１−２２は、それぞれ対応するビデオカメラ
から出力された画像から、人以外をマスキング処理し、
対応するメモリバッファ４２−２１乃至４２−２３に出
力する。制御装置４６は、Ｆ₁と各メモリバッファ４２
−２１乃至４２−２３からの出力データＩ₁乃至Ｉ₃との
相関度を、それぞれ計算する。そして、１番強い相関度
のＩ₁乃至Ｉ₃と、Ｆ₁との相関度Ｒ₁、次に強い相関度の
Ｉ₁乃至Ｉ₃と、Ｆ₂との相関度Ｒ₂を計算する。この
Ｒ₁，Ｒ₂、およびｄＩ₁乃至ｄＩ₃を用いて人の顔の向き
を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置に関
し、特に、複数のビデオカメラを用いて人の顔の向きを
計測するのに用いて好適な画像処理装置に関する。

【０００２】

【従来の技術】現在、複数の会議室をネットワークを用
いて接続し、あたかも１つのテーブルを囲んで会議して
いるような遠隔会議システムがある。このようなシステ
ムにおける各会議室は、例えば、図７のような構成にな
されている。この構成例は、４つの会議室がネットワー
クにより接続されている場合を示している。ディスプレ
イ装置２１乃至２３は、会議室４にいる参加者２４以外
の参加者の映像と発言を出力するようになされている。
例えば、ディスプレイ装置２１のディスプレイ部３７−
２１には、会議室１に存在する参加者の映像が表示され
て、スピーカ部３８−２１には、その参加者の発言が出
力される。また同様に、ディスプレイ装置２２のディス
プレイ部３７−２２には、会議室２に存在する参加者の
映像が表示され、スピーカ部３８−２２には、その参加
者の発言が出力される。さらに、ディスプレイ装置２３
のディスプレイ部３７−２３には、会議室３に存在する
参加者の映像が表示され、スピーカ部３８−２３には、
その参加者の発言が出力される。

【０００３】ディスプレイ装置２１乃至２３上に設置さ
れたビデオカメラ５１−２１乃至５１−２３は、参加者
２４の姿を撮影する。この際、各ビデオカメラに撮影さ
れた画像を、そのビデオカメラが設置されたディスプレ
イ装置に対応する会議室に送信するか（従って、それぞ
れの会議室に設置されているディスプレイ部には、それ
ぞれ異なる参加者２４の画像が表示される）、または、
３台のビデオカメラのうち、１台のビデオカメラに撮影
された画像を選択し、各会議室に送信するか（従って、
それぞれの会議室に設置されているディスプレイ部に
は、同一の参加者２４の画像が表示されている）、どち
らかである。

【０００４】マイクロホン３６−２１乃至３６−２３
は、参加者２４の発言を取り込み、各会議室の会議室４
用のディスプレイ装置に設置されたスピーカ部に送信す
る。そして、そのスピーカ部からは、送信された参加者
２４の発言が出力される。

【０００５】指向性を有するマイクロホンを用いると、
参加者２４が、発言を伝えたい参加者の方を向いて発言
すれば、その向かれた位置に設置されているマイクロホ
ンが、他のマイクロホンに比べて、より大きなレベルで
発言を取り込むことができる。従って、各会議室に設置
されたスピーカ部から参加者２４の発言が出力される
際、その出力レベルは異なる。これにより、出力レベル
の高いスピーカ部を有する会議室にいる参加者は、直感
的に、参加者２４は自分に向かって話をしていることを
理解できる。

【０００６】

【発明が解決しようとする課題】上述した会議室の構成
においては、複数のビデオカメラが設置されており、こ
れらのビデオカメラを用い、参加者２４の顔の向きを計
測し、その計測した結果から、参加者２４が、どの会議
室にいる参加者に対して話しているのか判断し、その判
断結果に対応した会議室にのみ、参加者２４の発言を伝
送したり、または、出力レベルを高くして伝送したりす
ることが可能である。

【０００７】しかしながら、このように参加者２４の顔
の向きを計測するには、立体計測などの複雑な処理を行
う必要があるが、会議システムでは、厳密に顔の向きを
測定する必要はなく、もっと簡単に顔の向きを計測する
ことが望まれている。

【０００８】本発明はこのような状況に鑑みてなされた
ものであり、複数のビデオカメラを用いて、簡易に参加
者の顔の向きを計測できるようにするものである。

【０００９】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、被写体正面の画像を記憶する正面記憶手段
と、被写体側面の画像を記憶する側面記憶手段と、複数
のビデオカメラにより撮影された各画像のうち、正面記
憶手段に記憶されている画像に１番近い画像と、２番目
に近い画像とを検索する検索手段と、１番近い画像と、
正面記憶手段に記憶されている画像との相関度を計算す
る第１の計算手段と、２番目に近い画像と、側面記憶手
段に記憶されている画像との相関度を計算する第２の計
算手段と、ビデオカメラの所定の角度、第１の計算手段
により計算された値、および第２の計算手段により計算
された値から、前記被写体の角度を決定する決定手段と
を備えることを特徴とする。

【００１０】請求項１に記載の画像処理装置において
は、被写体正面の画像が記憶され、被写体側面の画像が
記憶され、複数のビデオカメラにより撮影された各画像
のうち、記憶されている被写体正面の画像に１番近い画
像と、２番目に近い画像とが検索され、１番近い画像
と、記憶されている正面画像との相関度が計算され、２
番目に近い画像と、記憶されている側面画像との相関度
が計算され、これらの計算された計算値と、ビデオカメ
ラの所定の角度とから、被写体の角度が決定される。

【００１１】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。なお、従来の場合と対応す
る部分には同一の符号を付してあり、その説明は適宜省
略する。

【００１２】請求項１に記載の画像処理装置は、被写体
正面の画像を記憶する正面記憶手段（例えば、図４の正
面テンプレートメモリ４３）と、被写体側面の画像を記
憶する側面記憶手段（例えば、図４の側面テンプレート
メモリ４４）と、複数のビデオカメラにより撮影された
各画像のうち、正面記憶手段に記憶されている画像に１
番近い画像と、２番目に近い画像とを検索する検索手段
（例えば、図６のステップＳ５）と、１番近い画像と、
正面記憶手段に記憶されている画像との相関度を計算す
る第１の計算手段（例えば、図６のステップＳ８）と、
２番目に近い画像と、側面記憶手段に記憶されている画
像との相関度を計算する第２の計算手段（例えば、図６
のステップＳ８）と、ビデオカメラの所定の角度、第１
の計算手段により計算された値、第２の計算手段により
計算された値から、被写体の角度を決定する決定手段
（例えば、図６のステップＳ９）とを備えることを特徴
とする。

【００１３】請求項２に記載の画像処理装置は、正面記
憶手段と側面記憶手段に記憶される画像は、複数のビデ
オカメラのうち、所定のビデオカメラ（例えば、図５の
正面ビデオカメラ３５−２１）に対して被写体（例え
ば、図５の参加者２４）が正面を向いている時に撮影さ
れた画像であることを特徴とする。

【００１４】図１は、本発明の画像処理装置を適用した
テレビ会議システムの構成を示している。なお、本明細
書において、システムとは、複数の装置で構成される全
体的な装置を表すものとする。図１に示されるように、
複数（この実施例の場合、４つ）の通信センタ１−１乃
至１ー４が、例えば、ISDN（Integrated Service Digit
al Network）などのネットワーク２を介して相互に接続
されている。また、各通信センタは、例えば、図２に示
すような１つの会議室を備えている。

【００１５】図２に示す会議室においては、１つのテー
ブル１０、１つの椅子及び３台のディスプレイ装置が設
けられている。例えば、通信センタ１−４の会議室にお
いては、図２に示される番号４の位置に椅子が配置され
ており、番号１乃至３の位置にディスプレイ装置が配置
されている。また、通信センタ１−３の会議室において
は、図２に示される番号３の位置に椅子が配置されてお
り、番号１，２、および４の位置にディスプレイ装置が
配置されている。また、通信センタ１−２の会議室にお
いては、図２に示される番号２の位置に椅子が配置され
ており、番号１，３、および４の位置にディスプレイ装
置が配置されている。さらに、通信センタ１−１の会議
室においては、図２に示される番号１の位置に椅子が配
置されており、番号２乃至４の位置にディスプレイ装置
が配置される。

【００１６】また、通信センタ１−４の会議室に配置さ
れたディスプレイ装置において、図２に示される番号１
の位置に配置されたディスプレイ装置には、通信センタ
１−１の参加者を撮影した画像が表示され、番号２の位
置に配置されたディスプレイ装置には、通信センタ１−
２の参加者を撮影した画像が表示され、番号３の位置に
配置されたディスプレイ装置には、通信センタ１−３の
参加者を撮影した画像が表示されるようになされてい
る。他の通信センタも同様に、参加者が座る椅子以外の
位置に配置されたディスプレイ装置には、対応する通信
センタの参加者を撮影した映像が表示されることにな
る。

【００１７】このように、それぞれの通信センタの会議
室には、その通信センタの特定の位置に参加者が座るた
めの椅子が配置されており、その他は、他の通信センタ
の参加者を表示するディスプレイ装置が配置されること
になる。したがって、このように、会議室を構成するこ
とにより、どの通信センタの会議室においても、参加者
の配置が同一の位置となる。すなわち、あたかも、テー
ブル１０を中心にして、４人の参加者が、実際に特定の
位置に配置されたような状態となる。ただし、各通信セ
ンタの会議室において、実在する参加者自身以外は、全
てディスプレイ表示による参加者になるが、どの会議室
においても、同様の会議状態が実現されていることにな
る。

【００１８】次に、各通信センタの詳細について、図３
を用いて説明する。なお、各通信センタとも、ディスプ
レイ装置の配置状態は多少異なるが、ほぼ同一の構成で
あるため、ここでは、通信センタ１−４についてのみ説
明し、他の通信センタ１−１乃至１−３の説明は省略す
る。

【００１９】まず、通信センタ１−４の会議室には、図
２に示したように、番号４の位置に椅子が配置されてお
り、番号１乃至３の位置にディスプレイ装置がそれぞれ
配置されている。従って、図３に示される参加者２４
は、図２の番号４の位置に配置されている椅子に座るこ
とになる。また、各ディスプレイ装置２１乃至２３に
は、他の通信センタからそれぞれ供給される画像を表示
するディスプレイ部３７−２１乃至３７−２３、その画
像に対応する音声を出力するスピーカ部３８−２１乃至
３８−２３、およびその参加者２４の発言を取り込むマ
イクロホン３６−２１乃至３６−２３が設けられてい
る。さらに、参加者２４の映像を取り込むために、参加
者２４の左側に設置されている左側面ビデオカメラ３５
−２２、参加者２４の正面に設置されている正面ビデオ
カメラ３５−２１、および参加者２４の右側に設置され
ている右側面ビデオカメラ３５−２３が設けられてい
る。

【００２０】ディスプレイ部３７−２１乃至３７−２３
とスピーカ部３８−２１乃至３８−２３は、通信センタ
１−１乃至１−３から送信されてきた画像とその画像に
対応する音声をそれぞれ出力するようになされている。
すなわち、例えば、ディスプレイ装置２１のディスプレ
イ部３７−２１には、通信センタ１−１の参加者の画像
が表示され、スピーカ部３８−２１からは、その参加者
の発言が出力されるようになされている。また、ディス
プレイ装置２２のディスプレイ部３７−２２には、通信
センタ１−２の参加者の画像が表示され、スピーカ部３
８−２２からは、その参加者の発言が出力されるように
なされている。さらに、ディスプレイ装置２３のディス
プレイ部３７−２３には、通信センタ１−３の参加者の
画像が表示され、スピーカ部３８−２３からは、その参
加者の発言が出力されるようになされている。

【００２１】また、ディスプレイ装置２１に配置されて
いる正面ビデオカメラ３５−２１は、通信センタ１−４
の参加者２４を撮影し、マイクロホン３６−２１は、そ
の参加者２４の発言を取り込み、その参加者２４の画像
と発言が、通信センタ１−１に供給される。また、ディ
スプレイ装置２２に設置されている左側面ビデオカメラ
３５−２２は、通信センタ１−４の参加者２４を撮影
し、マイクロホン３６−２２は、その参加者の発言を取
り込み、その参加者２４の画像と発言が、通信センタ１
−２に供給される。さらに、ディスプレイ装置２３に設
置されているビデオカメラ３５−２３は、通信センタ１
−４の参加者２４を撮影し、マイクロホン３６−２３
は、その参加者の発言を取り込み、その参加者２４の画
像と発言が、通信センタ１−３に供給される。

【００２２】そして、図３に示すように、ディスプレイ
装置２１乃至２３は、参加者２４が各ディスプレイ装置
２１乃至２３のディスプレイ部３７−２１乃至３７−２
３を見ることができるように、図２に示された所定の位
置に配置されている。

【００２３】図４は、参加者２４の顔の向きを計測する
のに必要な装置を示したブロック図である。正面ビデオ
カメラ３５−２１に入力された画像は、動き物体検出装
置４１−２１に出力される。動き物体検出装置４１−２
１では、入力された画像から、動いている物体（この例
では、参加者２４）を検出し、その他の画像をマスキン
グ処理し、メモリバッファ４２−２１に出力する。メモ
リバッファ４２−２１は、入力された画像を記憶する。
同様に、左側面ビデオカメラ３５−２２に入力された画
像は、動き物体検出装置４１−２２に出力され、人物以
外の画像がマスキング処理され、メモリバッファ４２−
２２に出力される。そして、メモリバッファ４２−２２
に入力された画像は、一旦記憶される。さらに、右側面
ビデオカメラ３５−２３に入力された画像は、動き物体
検出装置４１−２３に出力され、人物以外の画像がマス
キング処理され、メモリバッファ４２−２３に出力され
る。そして、メモリバッファ４２−２３に入力された画
像は、一旦記憶される。

【００２４】以上のようにメモリバッファ４２−２１乃
至４２−２３に記憶された画像は、制御装置４６の要請
により、制御装置４６に出力され、正面テンプレートメ
モリ４３と側面テンプレートメモリ４４に記憶されてい
る各テンプレートを用いて、参加者２４の顔の向きが測
定され、出力される。記憶部４５には、参加者２４の顔
の向きを計測する際に必要なデータが、適宜記憶され
る。

【００２５】なお、側面テンプレートメモリ４４は、左
側面用と右側面用の２つのテンプレートメモリを用意し
ても良い。しかしながら、観測者２４の顔の向きを計測
する場合、人の顔がほぼ左右対称であることを利用する
と、左側面用と右側面用の２つのテンプレートを用いる
必要はない。従って、ここでは１つの側面テンプレート
メモリ４４を用いて顔の向きの計測を行う場合を説明す
る。この側面テンプレートメモリ４４に記憶されるテン
プレートは、左側面ビデオカメラ３５−２２または右側
面ビデオカメラ３５−２３により撮影された画像であ
る。また同様に、正面テンプレートメモリ４３に記憶さ
れるテンプレートは、正面ビデオカメラ３５−２１によ
り撮影された画像である。

【００２６】次に、正面ビデオカメラ３５−２１、左側
面ビデオカメラ３５−２２、および右側面ビデオカメラ
３５−２３の配置について、図５を参照して説明する。
この例では、左側面ビデオカメラ３５−２２には、動き
物体検出装置４１−２２とメモリバッファ４２−２２が
内蔵されている。また、右側面ビデオカメラ３５−２３
には、動き物体検出装置４１−２３とメモリバッファ４
２−２３が内蔵されている。そして、正面ビデオカメラ
３５−２１には、動き物体検出装置４１−２１、メモリ
バッファ４２−２１、正面テンプレートメモリ４３、側
面テンプレートメモリ４４、記憶部４５、および制御装
置４６が内蔵されている。また、各ビデオカメラは図示
されていないケーブルなどにより、データのやりとりを
行うことが可能なようになされている。

【００２７】角度ｄＩ₁，ｄＩ₂，ｄＩ₃は、それぞれ正
面ビデオカメラ３５−２１、左側面ビデオカメラ３５−
２２、右側面ビデオカメラ３５−２３の角度を表してい
る。ここでは、正面ビデオカメラ３５−２１の角度ｄＩ
₁を０度とする。そして、左側面ビデオカメラ３５−２
２と、正面ビデオカメラ３５−２１との角度ｄＩ₂をマ
イナス４５度とし、ビデオカメラ３５−２３と、正面ビ
デオカメラ３５−２１との角度ｄＩ₃を４５度とする。
そして、参加者２４の角度ｄＩ₁に対しての角度を角度
ｄ（−４５度乃至４５度）とする。

【００２８】次に、上述した３台のビデオカメラを用い
て参加者２４の顔の向きを計測する場合に付いて、図６
のフロチャートを参照し、説明する。ここでは、側面テ
ンプレートメモリ４４に記憶されるテンプレートとして
は、左側面ビデオカメラ３５−２２で撮影された画像と
する。

【００２９】ステップＳ１において、正面ビデオカメラ
３５−２１の制御装置４６は正面テンプレートメモリ４
３（Ｆ₁）と側面テンプレートメモリ４４（Ｆ₂）の初期
化を行うか否かを判断する。初期化は、システムの起動
時に行われる。このシステムが起動される時は、４つの
通信センタのそれぞれに参加する参加者の中の１人が、
一番最初に通信センタのテレビ会議システムの会議室の
照明を点灯させたとき、システムが起動される。つま
り、例えば、通信センタ１−４の参加者２４が、他の通
信センタに比べて一番早く自分自身の通信センタ１−４
の会議室の照明を点灯させたとき、その点灯に同期して
通信センタ１−４の制御装置（不図示）が各通信センタ
に対して起動命令を送信する。そして、他の通信センタ
１−１乃至１−３の制御装置が、この起動命令に対応し
て起動処理を行うことにより、各通信センタ内の装置の
起動が完了される。

【００３０】なお、上述の説明では、会議室の照明の点
灯に同期して、起動命令を送信するようにしたが、例え
ば、最初の参加者が会議室のドアを開けたときに同期す
るようにしたり、最初の参加者が座席に座ったときに同
期するようにしたり、最初の参加者がシステムの電源を
入れたときに同期するようにしてもよい。また、その他
の方法によって、起動命令を送信してもよい。

【００３１】ステップＳ１において、テンプレートメモ
リを初期化すると判断された場合、換言すれば、システ
ムが起動された場合、ステップＳ４に進み、テンプレー
トメモリが初期化される。参加者２４の正面に設置され
ているビデオカメラ３５−２１により撮影された画像
は、正面テンプレートメモリ４３に記憶される。また、
左側面ビデオカメラ３５−２２により撮影された画像
は、側面テンプレートメモリ４４に記憶される。正面テ
ンプレートメモリ４３に記憶された画像をＦ₁とし、側
面テンプレートメモリ４４に記憶された画像をＦ₂とす
る。なお、ここで各テンプレートメモリに記憶される画
像は、動き物体検出装置４１−２１（４１−２２）によ
りマスキング処理され、メモリバッファ４２−２１（４
２−２２）に一旦記憶され、出力された画像である。

【００３２】ステップＳ４において、テンプレートメモ
リの初期化が終了されると、ステップＳ２に進む。ま
た、ステップＳ１において、テンプレートメモリの初期
化を行わないと判断された場合も、ステップＳ２に進
む。ステップＳ２においては、メモリバッファ４２−２
２に記憶されている画像データＩ₂とメモリバッファ４
２−２３に記憶されている画像データＩ₃との相関の度
合いＲ₀を計算する。相関の度合いの計算の仕方として
は、パターンマッチングなどに用いられる最小２乗誤差
を用いる。誤差が少なければ、Ｉ₂とＩ₃の相関が強いこ
とを示しており、相関の度合いＲ₀は大きな値を示すこ
とになる。また、Ｉ₂とＩ₃の相関が強いということは、
左側面ビデオカメラ３５−２２により撮影された画像
と、右側面ビデオカメラ３５−２３により撮影された画
像が、近似であることを示しているので、人間の顔がほ
ぼ左右対称であることから、この場合、参加者２４は、
正面（正面ビデオカメラ３５−２１の方）を向いている
ことになる。

【００３３】ステップＳ２において相関の度合いＲ₀が
計算し終わると、ステップＳ３に進み、しきい値Ｔｈ₀
と、相関の度合いＲ₀の大小関係が判断される。このし
きい値Ｔｈ₀は、画像の解像度や階調により異なり、予
め設定されている値とする。ユーザが任意の値を設定、
変更するようにしても良い。このしきい値Ｔｈ₀が、相
関の度合いＲ₀よりも小さい場合、ステップＳ４に進
み、テンプレートメモリの更新が行われる。換言する
と、参加者２４が正面を向いている場合、相関の度合い
Ｒ₀が大きくなるので、しきい値Ｔｈ₀よりも大きくな
り、ステップＳ４に進みテンプレートメモリが更新され
る。このようにすることで、テンプレートメモリに記憶
される画像は、参加者２４が正面を向いている時の画像
になる。

【００３４】一方、ステップＳ３において、しきい値Ｔ
ｈ₀が相関の度合いＲ₀よりも大きいと判断された場合、
ステップＳ５に進む。この場合、正面テンプレートメモ
リ４３に記憶されている画像は、正面から撮影された参
加者２４の画像であり、側面テンプレートメモリ４４に
記憶されている画像は、左斜め４５度の角度から撮影さ
れた参加者２４の画像である。

【００３５】ステップＳ５において、正面テンプレート
メモリ４３に記憶されているテンプレートＦ₁と、メモ
リバッファ４２−２１に記憶されている画像Ｉ₁との相
関の度合い、メモリバッファ４２−２１に記憶されてい
る画像Ｉ₂との相関の度合い、およびメモリバッファ４
２−２１に記憶されている画像Ｉ₃との相関の度合い
を、それぞれ、ステップＳ２と同様に最小２乗誤差によ
り求める。その求められた相関の度合いが強い順に
Ｎ₁，Ｎ₂，Ｎ₃とする。制御装置４６は、このうちＮ₁と
Ｎ₂を、記憶部４５に記憶させる。このＮ₁乃至Ｎ₃は、
メモリバッファ４２−２１乃至４２−２３のいずれかを
表す番号である。

【００３６】ステップＳ５において、Ｎ₁とＮ₂が記憶部
４５に記憶されると、ステップＳ６に進む。ステップＳ
６において、Ｎ₁＝Ｉ₂かつＮ₂＝Ｉ₃、または、Ｎ₁＝Ｉ₃
かつＮ₂＝Ｉ₂、であるか否かが判断される。Ｎ₁＝Ｉ₂か
つＮ₂＝Ｉ₃であるということは、参加者２４が正面を向
いている時の画像（正面テンプレートメモリ４３に記憶
されているテンプレート）と１番近い画像が、Ｉ₂（Ｉ₂
は、参加者２４の左側に設置されている左側面ビデオカ
メラ３５−２２により撮影された画像である）であり、
かつ、次に参加者２４が正面を向いている時の画像と近
い画像であるのが、Ｉ₃（Ｉ₃は、参加者２４の右側に設
置されている右側面ビデオカメラ３５−２３により撮影
された画像データである）であるということを示してい
る。

【００３７】正面テンプレートＦ₁と相関の度合いが１
番強いのと次に強いのは、必ず隣り合うビデオカメラに
より撮影された画像である。従って、上述したような状
態は存在しないので、正常な状態でないと判断され、ス
テップＳ７に進む。Ｎ₁＝Ｉ₃かつＮ₂＝Ｉ₂である場合
も、同様の理由が成り立ち、これらの関係が成り立つと
判断された場合、ステップＳ７に進む。

【００３８】ステップＳ７において、異常な状態と判断
されたのは、３回目か否かが判断される。３回目ではな
いと判断された場合、ステップＳ５に戻り、相関の順番
が計算し直される。換言すれば、ステップＳ６におい
て、異常な状態であると判断されるのは、ステップＳ５
における計算に間違いがあったと判断し、もう１度計算
し直す。

【００３９】一方、ステップＳ７において、異常な状態
であると判断されたのは３回目であると判断された場
合、ステップＳ４に進みテンプレートの更新が行われ
る。換言すれば、ステップＳ６において、異常な状態で
あると判断されるのは、正面テンプレートメモリ４３に
記憶されていたテンプレート（Ｆ₁）がおかしいと判断
し、もう１度テンプレートの更新を行う。

【００４０】なお、上述した説明では、異常な状態と判
断されたのは３回目か否かを判断したが、３回目でなく
他の回数に設定しても良い。

【００４１】一方ステップＳ６において、正常な状態で
あると判断された場合、ステップＳ８に進む。ステップ
Ｓ８において、ステップＳ２と同様に、最小２乗誤差を
用いて、正面テンプレートメモリ４３に記憶されている
正面テンプレートＦ₁とＮ₁との相関の度合いＲ₁、側面
テンプレートメモリ４４に記憶されている側面テンプレ
ートＦ₂とＮ₂との相関の度合いＲ₂、がそれぞれ計算さ
れる。なお、Ｎ₁とＮ₂は、上述したように、メモリバッ
ファ４２−２１乃至４２−２３を示す番号であり、実際
に計算に用いられるのは、これらのメモリバッファに記
憶されているＩ₁乃至Ｉ₃のデータである。従って、Ｆ₁
とＮ₁の相関の度合いＲ₁とは、換言すれば、Ｆ₁とＮ₁が
示すＩ₁乃至Ｉ₃のいずれかデータとの相関の度合いＲ₁
ということになる。よって、相関の度合いＲ₁は、ステ
ップＳ５において既に計算されている値を用いることが
でき、その値を記憶部４１に記憶させておくことによ
り、ステップＳ７において、相関の度合いＲ₁を計算す
る必要はなくなる。

【００４２】ステップＳ７において、相関の度合い
Ｒ₁，Ｒ₂が計算し終わると、ステップＳ８に進み、参加
者２４の顔の角度ｄが次式に従って、計算される。ｄ＝ｄＮ₁＋（ｄＮ₂−ｄＮ₁）×Ｒ₂／（Ｒ₁＋Ｒ₂）・・・（１）ここで、ｄＮ₁は、Ｎ₁と判断されたメモリバッファが内
蔵されているビデオカメラの角度ｄＩ₁乃至ｄＩ₃であ
る。また、同様にｄＮ₂は、Ｎ₂と判断されたメモリバッ
ファが内蔵されているビデオカメラの角度ｄＩ₁乃至ｄ
Ｉ₃である。

【００４３】図５の場合を例にあげて説明すると、この
例では、参加者２４は、右側面ビデオカメラ３５−２３
の方に、正面ビデオカメラ３５−２１（角度ｄＩ₁）に
対して角度ｄだけ向いている。正面テンプレートメモリ
４３に記憶されている正面テンプレートＦ₁と最も相関
の強い画像を出力するのは、右側面ビデオカメラ３５−
２３である。従って、この場合、ｄＮ₁＝ｄＩ₃＝４５度
になる。また、次に正面テンプレートメモリ３６に記憶
されているテンプレートＦ₁と相関の強い画像を出力す
るのは、正面ビデオカメラ３５−２１である。従って、
この場合、ｄＮ₂＝ｄＩ₁＝０度になる。

【００４４】上述した値を式（１）に代入すると、以下
のようになる。ｄ＝４５＋（０−４５）×Ｒ₂／（Ｒ₁＋Ｒ₂）＝４５＋（−４５）×Ｒ₂／（Ｒ₁＋Ｒ₂）・・・（２）となる。

【００４５】このように求められた参加者の顔の向きを
利用し、例えば、特定の参加者に対して発言を行う場
合、その参加者が表示されているディスプレイ装置の方
に向かって発言することにより、その参加者のみにその
発言を伝送させることも可能となる。

【００４６】上述した説明においては、人の顔が左右対
称であることを利用し、１つの側面テンプレートメモリ
４４を用いて参加者２４の顔の向きの計測を行ったが、
左側面用と右側面用の、ぞれぞれのテンプレートメモリ
を用意し、これらを用いて上述した顔の計測を行うこと
も可能である。また、側面テンプレートメモリ４４に記
憶させる画像として、左側面ビデオカメラ３５−２２と
右側面ビデオカメラ３５−２３により撮影された顔の画
像の平均を取り、その平均を取られた画像を記憶するよ
うにしても良い。

【００４７】上述した説明では、４つの通信センタのす
べてに参加者がいる状態でのテレビ会議の実行方法につ
いて説明したが、例えば、通信センタ１−１に参加者が
いない場合、その参加者がいない状態での画像が各通信
センタの対応するディスプレイ装置のディスプレイ部に
表示されることになる。

【００４８】なお、上述した説明において、通信センタ
が４つである場合について説明したが、本発明はこれに
限らず、通信センタをさらに多くしてもよいし、少なく
してもよい。また、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考えうる。従って、本
発明の要旨は、実施例に限定されるものではない。

【００４９】

【発明の効果】請求項１に記載の画像処理装置によれ
ば、被写体正面の画像を記憶し、被写体側面の画像を記
憶し、複数のビデオカメラにより撮影された各画像のう
ち、記憶されている被写体正面の画像に１番近い画像
と、２番目に近い画像とを検索し、１番近い画像と、記
憶されている正面画像との相関度を計算し、２番目に近
い画像と、記憶されている側面画像との相関度を計算
し、これら計算された計算値と、ビデオカメラの所定の
角度から、被写体の角度を決定するようにしたので、簡
易な被写体の向きの計測が可能となる。

【図面の簡単な説明】

【図１】本発明の画像処理装置を適用したテレビ会議シ
ステムの構成例を示す図である。

【図２】本発明のテレビ会議システムにおける各通信セ
ンタの会議室の状態を示す図である。

【図３】図１における通信センタにおけるディスプレイ
装置の配置状態を示す図である。

【図４】図３における各ビデオカメラで撮影された画像
の流れを説明する図である。

【図５】図３におけるビデオカメラの配置状態を示す図
である。

【図６】参加者の顔の向きの計測を説明するフローチャ
ートである。

【図７】従来のテレビ会議システムにおける各通信セン
タにおけるディスプレイ装置の一例の配置状態のを示す
図である。

【符号の説明】

１−１乃至１−６通信センタ，２ネットワーク，
２１−２３ディスプレイ装置，３５−２１正面
ビデオカメラ，３５−２２左側面ビデオカメラ，
３５−２３右側面ビデオカメラ，３６−２１乃至３
６−２３マイクロホン，３７−２１乃至３７−２３
ディスプレイ部，３８−２１乃至３８−２３スピ
ーカ部，４１−２１乃至４１−２３動き物体検出装
置，４２−２１乃至４２−２３メモリバッファ，
４３正面テンプレートメモリ，４４側面テンプレー
トメモリ，４５記憶部，４６制御装置

Claims

【特許請求の範囲】

【請求項１】それぞれ隣り合うビデオカメラと所定の
角度を有して設置されている複数のビデオカメラを用い
る画像処理装置において、被写体正面の画像を記憶する正面記憶手段と、前記被写体側面の画像を記憶する側面記憶手段と、前記複数のビデオカメラにより撮影された各画像のう
ち、前記正面記憶手段に記憶されている画像に１番近い
画像と、２番目に近い画像とを検索する検索手段と、前記１番近い画像と、前記正面記憶手段に記憶されてい
る画像との相関度を計算する第１の計算手段と、前記２番目に近い画像と、前記側面記憶手段に記憶され
ている画像との相関度を計算する第２の計算手段と、前記ビデオカメラの所定の角度、前記第１の計算手段に
より計算された値、および前記第２の計算手段により計
算された値から、前記被写体の角度を決定する決定手段
とを備えることを特徴とする画像処理装置。
【請求項２】前記正面記憶手段と前記側面記憶手段に
記憶される画像は、前記複数のビデオカメラのうち、所
定のビデオカメラに対して前記被写体が正面を向いてい
る時に撮影された画像であることを特徴とする請求項１
に記載の画像処理装置。
【請求項３】前記側面記憶手段に記憶される画像は、
前記複数のビデオカメラにより人の左側から撮影された
顔、または、右側から撮影された顔であることを特徴と
する請求項２に記載の画像処理装置。
【請求項４】前記側面記憶手段に記憶される画像は、
前記複数のビデオカメラにより人の左側から撮影された
顔と右側から撮影された顔との平均を取った顔の画像を
記憶することを特徴とする請求項２に記載の画像処理装
置。