WO2005124735A1

WO2005124735A1 - 画像表示システム、画像表示方法および画像表示プログラム

Info

Publication number: WO2005124735A1
Application number: PCT/JP2005/010463
Authority: WO
Inventors: Rui Ishiyama
Original assignee: Nec Corporation
Priority date: 2004-06-18
Filing date: 2005-06-08
Publication date: 2005-12-29
Also published as: US7839423B2; EP1768097A1; KR100911066B1; JP4952995B2; CN1969313A; US20080036790A1; KR20080024545A; JPWO2005124735A1

Description

明細書

画像表示システム、画像表示方法および画像表示プログラム

技術分野

[0001] 本発明は、画像表示システム、画像表示方法および画像表示プログラムに関し、特に監視に用いる画像表示システム、画像表示方法および画像表示プログラムに関する。

背景技術

[0002] 人間の視界は有限であり、一人の人が短時間で全方位を視覚的に捉えることは不可能である。人の視界を超える範囲（以下、広範囲と呼ぶ）を視覚的に捉えることがその人に要求される場合、特殊な監視システムが必要になる。この特殊なシステムに用レ、られる技術としては、広範囲撮影用の撮影装置 (以下、広範囲撮影装置と呼ぶ）を使用して監視対象の画像を撮影し、その撮影された画像を視界内に収まるようにカロェした画像（以下、広範囲画像と呼ぶ）によって広範囲の観察を可能にする技術が知られている。

[0003] 広範囲撮影装置には、パノラマカメラなどの単一の装置で広範囲の撮影が可能な撮影装置が存在する。また、複数の撮影装置で撮影された画像を組み合わせて広範囲画像にする広範囲撮影装置なども存在する。観察者は、表示装置に表示されてレ、る広範囲画像を見ることで、その視界を越える範囲を視覚的に捉えることが可能になる。

[0004] 広範囲画像を十分な画像サイズや解像度で表示させる場合、画像表示に必要な表示装置の画面サイズが大きくなつてしまう。そのため、広範囲画像を用いて監視対象を監視するには、その広範囲画像の表示が可能な大型の表示装置が要求される

[0005] 大型の表示装置を設置することが困難な場合には、上述の広範囲画像の画像サイズを縮小して (解像度を低くして)小型の表示装置に表示させる技術が存在する。縮小画像を使用して監視を実行することで、より小規模なシステムであっても広範囲の観察を可能にする技術が知られている。この技術により、システムの構築に力かるコストを低減することができる。カロえて、限られた空間で広範囲を監視するシステムの構築が可能である。

[0006] 広範囲画像を縮小して表示する場合、その縮小された画像（以下、縮小表示画像と呼ぶ）からは、監視に必要な情報を得ることが困難になる場合がある。このような場合に、縮小表示画像の特定の領域 (以下、特定領域と呼ぶ）の解像度を高くしたり、拡大表示したりすることで、所望の情報量を得ることを可能にする技術が知られている。

[0007] そのような技術として、例えば、特開平 5— 139209号公報に視覚情報提供装置が開示されている。この視覚情報提供装置は、第 1生成手段と、第 1表示手段と、第 2 生成手段と、第 2表示手段と、提示手段と、切り替え信号発生手段と、画像制御装置とを具備する。第 1生成手段は、第 1の視覚情報を生成する。第 1表示手段は、前記第 1の視覚情報を第 1の画像として表示する。第 2生成手段は、右目用の情報と左目用の情報とからなる第 2の視覚情報を生成する。第 2表示手段は、前記第 2の視覚情報を 3次元の第 2の画像として表示する。提示手段は、前記第 1および第 2の画像を単独にまたは重ねて提示可能である。切り替え信号発生手段は、該提示手段において提示する画像の選択切り替え信号を出力する。画像制御装置は、前記切り替え信号に基づレ、て前記提示手段を制御する。

[0008] その拡大表示を実行するためには上述の特定領域を選択する必要がある。従来、その選択動作は、表示装置外部に備えられた切替スィッチを操作して行われていた。外部に切替スィッチを備えていないシステムでは、観察者が見ている画面上の特定部分 (以下、視点と呼ぶ）を検出して、その視点に対応する領域を特定領域としている。特開平 5— 139209号公報では、上述のように、高解像度の表示装置と低解像度の表示装置の二つを重ねて用いている。観察者の視線の方向を検出して、視線方向の領域の画像を高解像表示装置で、その周辺の領域を低解像表示装置で表示している。

[0009] 上述の視線方向を検出するシステムでは、視線方向を特定するために、観察者の視線を検出する眼球方向（視線)検出センサが必要である。視線検出センサは、例えば、観察者の頭部に装着され、その動きに応答して頭部の傾きを検出し、その傾きから視点を特定する。他の例としては、眼鏡をかけるように観察者に装着され、その眼球の動きに応答して視点を特定する。後者を用いている技術として、例えば、特開平

9— 305156号公報力 Sある。

[0010] 特開平 9一 305156号公報は、映像表示方法及び装置を開示している。この映像表示方法は、精細な映像を高速で生成して表示する映像表示方法である。表示すべき映像全体にわたって通常の精度で映像の生成を行レ、、眼球方向検出手段を用いて視線を連続的に検出し、各瞬間の視野の中心が前記映像上のどの位置に相当するかを計算し、その計算の結果に基づいて当該視野の中心付近の映像を、表示画素数を多くする高解像度と表示色の数や階調を多くする高再現性のうち少なくとも 1つを用いて生成することを特徴とする。

[0011] 特開平 5— 139209号公報に記載の技術では、画像表示の高速化のため、眼球方向検出により求めた視線方向の領域のみ高解像度の画像を生成するようにしている。特開平 5— 139209号公報及び特開平 9— 305156号公報に記載の技術は、観察者の視線方向を眼球運動推定手段により自動的に検出し、その視線方向の領域を高解像で表示する。それにより、スィッチ操作などを行わずとも自動的にその観察者の必要とする部分を高解像度で表示してレ、る。

[0012] 観察者の視野に入りきらない広範囲の画像や多視点の画像を、観察者の視野内に適切に提示する技術が望まれている。さらに、眼球の動きを検知するための特殊な装置を観察者に装着させること無ぐ観察者の視野に入りきらない広範囲の画像や多視点の画像を観察者の視野内に適切に提示する技術が望まれている。

[0013] 関連する技術として特開 2000— 59665号公報に撮像装置が開示されている。この撮像装置は、 1つの撮像部の左右両側に 2つの撮像部が配置される 3つの撮像部力、らなる。この撮像装置は、中央の撮像部の光軸に対して、左側の撮像部と右側の撮像部の光軸が交差する角度が同一角度で、光軸の交差点が同一点となるような光軸の関係である。上記光軸の交差点位置より被写体側に近づく方向で、上記光軸の交差点から各撮像部の前側主点までの距離が同一距離となるような位置に 3つの撮像部が位置する。

[0014] 特開平 8—116556号公報に画像処理方法および装置が開示されている。この画像処理方法は、複数の異なる直線上に配置された複数の視点位置から得られた画像を入力する多視点画像入力ステップと、上記画像を見ている観察者の目の位置および見ている方向を検出する視点検出ステップと、上記視点検出ステップにより検出された視点位置から見える画像を多視点画像データから再構成する画像再構成ステップと、上記再構成された画像を画像出力装置を介して出力する画像出力ステップとを備えたことを特徴とする。

発明の開示

[0015] 本発明の目的は、人の視界に入りきらない広範囲の画像や、多視点から撮影された画像から、必要な情報量を適切に表示装置に提示する画像表示システム及び画像表示方法を提供することにある。

[0016] さらに、本発明の目的は、眼球運動や頭部の傾斜を検知するための特殊な装置を人に装着させること無ぐその人の視界に入りきらない広範囲の画像や多視点から撮影された画像をその人の視界内に適切に提示させ、その画像から必要な情報量を適切に抽出できる画像表示システム及び画像表示方法を提供することにある。

[0017] さらに、本発明の目的は、人間は意識的に注視している部分以外の領域も間欠的に見るために無意識に視点を移動させているが、この無意識な視点移動に惑わされず、人間が意識的に必要としている領域を安定して表示できる画像表示システム及び画像表示方法を提供することにある。

[0018] 上記課題を解決するために本発明の画像表示システムは、画像表示装置と、画像生成装置と、顔画像撮影装置と、顔正面点検出装置とを備える。画像生成装置は、画像表示装置で表示される表示画像の表示画像データを生成する。表示画像は複数の領域を有する。顔画像撮影装置は、表示画像を見るヒトの顔画像を撮影する。顔正面点検出装置は、顔画像から顔画像データを生成し、顔画像データに基づいて表示画像上におけるヒトの顔の正面に位置する点としての顔正面点を検出する。画像生成装置は、複数の領域から顔正面点に対応する特定領域を特定して、特定領域に対応する画像が提供する情報量を増加させて表示画像データを生成する。

[0019] 上記の画像表示システムにおいて、顔正面点検出装置は、新たな顔正面点を検出することが好ましい。画像生成装置は、新たな顔正面点が特定領域力遷移した場合、新たな領域を特定し、新たな領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成することが好ましレ、。

[0020] 上記の画像表示システムにおいて、画像生成装置は、画像が提供する情報量の増加を、画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行うことが好ましい。

[0021] 上記の画像表示システムにおいて、画像生成装置は、画像が提供する情報量の増加を、画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行うことが好ましい。

[0022] 上記の画像表示システムにおいて、画像生成装置は、ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を表示画像に構成することが好ましい。画像表示装置は、広範囲画像で構成された表示画像データを、複数の領域に対応させヒトの視界の範囲内に入るように表示することが好ましレ、。

[0023] 上記の画像表示システムにおいて、画像生成装置は、広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、表示画像に合成することが好ましい。画像表示装置は、ヒトの視界の範囲内に入るように、複数の領域に対応して表示画像データを表示することが好ましい。

[0024] 上記の画像表示システムにおいて、画像生成装置は、情報記憶部を有することが好ましい。情報記憶部は、画像表示装置の情報を示す表示装置データと、顔画像撮影装置の情報を示す顔画像撮影装置データを記憶する。顔正面点検出装置は、顔画像に基づレ、て 3次元画像処理を実行して顔画像データを生成し、顔画像データと表示装置データおよび顔画像撮影装置データに基づいて顔正面点を検出することが好ましい。

[0025] 上記課題を解決するために本発明の画像表示方法は、（a)画像表示装置で表示される表示画像の表示画像データを生成するステップと、表示画像は複数の領域を有し、（b)表示画像を見るヒトの顔画像を撮影するステップと、（c)顔画像から顔画像データを生成し、顔画像データに基づいて表示画像上におけるヒトの顔の正面に位置する点をヒトの顔正面点として検出するステップと、（d)複数の領域から顔正面点に対応する特定領域を特定して、特定領域に対応する画像が提供する情報量を増加させて表示画像データを生成するステップと、 (e)表示画像データを画像表示装置で表示するステップとを具備する。

[0026] 上記の画像表示方法において、（f)新たな顔正面点を検出するステップと、（g)新たな顔正面点が特定領域から遷移した場合、新たな特定領域を特定し、新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップとをさらに具備することが好ましい。

[0027] 上記の画像表示方法において、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行うことが好ましい

[0028] 上記の画像表示方法において、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行うことが好ましい。

[0029] 上記の画像表示方法において、（a)ステップは、（al)ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を表示画像に構成するステップを備えることが好ましい。（e)ステップは、（el)広範囲画像で構成された表示画像データを、複数の領域に対応させヒトの視界の範囲内に入るように表示するステップを備えることが好ましレ、。

[0030] 上記の画像表示方法において、（al)ステップは、（al l)広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、表示画像に合成するステップを備えることが好ましい。複数の領域の各々は、複数の画像の各々に対応する。（el)ステツプは、（el l)ヒトの視界の範囲内に入るように、複数の領域に対応して表示画像データを表示するステップを備えることが好ましレ、。

[0031] 上記の画像表示方法において、（c)ステップは、（cl)画像表示装置の情報を示す表示装置データと、顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、（c2)顔画像に基づいて 3次元画像処理を実行して顔画像データを生成し、顔画像データと表示装置データおよび顔画像撮影装置データに基づいて顔正面点を検出するステップとを備えることが好ましい。

[0032] 上記課題を解決するために本発明のプログラムは、（h)画像表示装置で表示される表示画像の表示画像データを生成するステップと、表示画像は複数の領域を有し、（i)表示画像を見るヒトの顔画像から顔画像データを生成し、顔画像データに基づいて表示画像上におけるヒトの顔の正面に位置する点をヒトの顔正面点として検出するステップと、（j)複数の領域力顔正面点に対応する特定領域を特定して、特定領域に対応する画像が提供する情報量を増加させて表示画像データを生成するステツプと、 (k)表示画像データを画像表示装置へ出力するステップとを具備する方法をコンピュータで実行可能である。

[0033] 上記のプログラムにおいて、（1)新たな顔正面点を検出するステップと、（m)新たな顔正面点が特定領域力遷移した場合、新たな特定領域を特定し、新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップとをさらに具備することが好ましい。

[0034] 上記のプログラムにおいて、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行うことが好ましい。

[0035] 上記のプログラムにおいて、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行うことが好ましい。

[0036] 上記のプログラムにおいて、（h)ステップは、（hi)ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を表示画像に構成するステツプを備えることが好ましい。（k)ステップは、（kl)広範囲画像で構成された表示画像データが、複数の領域に対応させヒトの視界の範囲内に入るように表示されるように、表示画像データを画像表示装置へ出力するステップを備えることが好ましい。

[0037] 上記のプログラムにおいて、（hi)ステップは、（hi 1)広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、表示画像に合成するステップを備えることが好ましい。複数の領域の各々は、複数の画像の各々に対応する。（kl)ステップは、（kl l)ヒトの視界の範囲内に入り、複数の領域に対応して表示画像データを表示されるように、表示画像データを画像表示装置へ出力するステップを備えることが好ましい。

[0038] 上記のプログラムにおいて、（i)ステップは、（il)画像表示装置の情報を示す表示装置データと、顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、（i2)顔画像に基づいて 3次元画像処理を実行して顔画像データを生成し、顔画像データと表示装置データおよび顔画像撮影装置データに基づいて顔正面点を検出するステップとを備えることが好ましい。

[0039] 本発明によると、人の視界に入りきらない広範囲の画像や、多視点から撮影された画像から、必要な情報量を適切に表示装置に提示する画像表示システムを提供することが可能になる。

[0040] さらに、本発明によると、眼球運動や頭部の傾斜を検知するための特殊な装置を人に装着させること無ぐその人の視界に入りきらない広範囲の画像や多視点から撮影された画像をその人の視野内に適切に提示させ、その画像から必要な情報量を適切に抽出することが可能になる。

図面の簡単な説明

[0041] [図 1]図 1は、本発明の画像表示システムの実施の形態の構成を示す概念図である。

[図 2]図 2は、本発明の画像表示システム実施の形態の動作を示す概念図である。

[図 3]図 3は、本発明の画像表示システムの実施の形態の詳細な構成を示すブロック図である。

[図 4]図 4は、本発明の画像表示システムの実施の形態の動作を示すフローチャートである。

[図 5]図 5は、画像表示システムを車両の運行に適用した場合の構成を示す図である

[図 6]図 6は、第 1画像撮影装置〜第 3画像撮影装置で撮影された外部画像データを例示する図である。

[図 7]図 7は、第 1画像データ〜第 3画像データから表示画像データを生成する動作を示した図である。

[図 8]図 8は、本実施の形態を広域監視に適用した場合の構成を示す概念図である。

[図 9]図 9は、広域監視システムに本発明を適用した場合の動作を示す概念図である発明を実施するための最良の形態

[0042] 以下に、本発明の画像表示システムの実施の形態について図面を参照して説明する。図 1は、本発明の画像表示システムの実施の形態の構成を示す概念図である。本実施の形態における画像表示システム 1は、監視対象画像撮影装置 2と、顔画像撮影装置 3と、画像表示装置 4と、コンピュータ 5を備えている。監視対象画像撮影装置 2とコンピュータ 5とは互いに電気的に接続されている。コンピュータ 5は、監視対象画像撮影装置 2から出力されるデータを受信している。顔画像撮影装置 3とコンビュータ 5とは互いに電気的に接続されている。コンピュータ 5は、顔画像撮影装置 3から出力されるデータを受信している。画像表示装置 4はコンピュータ 5に電気的に接続されている。コンピュータ 5から送信される表示画像データを受信して画像を表示している。監視対象画像撮影装置 2、顔画像撮影装置 3、画像表示装置 4、及びコンビュータ 5の接続は、所定のネットワークを介して行われていても良い。

[0043] 観察者 10は、画像表示装置 4に表示されている画像を観察する。図 1に示されてレ、る顔正面点 Pは、観察者 10が画像表示装置 4に表示されている画像を見ているとき、その顔の正面に位置する画像表示装置 4の画面上の部分を示している。本発明において、観察者 10に対する制限は存在しない。つまり、本発明によれば、観察者 1 0は、画像表示システム 1の技術に関する詳しい知識を有することなぐ画像表示システム 1を利用することが可能である。

[0044] 監視対象画像撮影装置 2は、人の視界の範囲を超える範囲（以下、広範囲と呼ぶ。

)の画像を撮影する。光学カメラや CCDカメラに例示される。監視対象画像撮影装置 2は、複数の撮影装置によって構成されている。それにより、複数の地点から特定の地点を観察する多視点監視を実行することも可能になる。監視対象画像撮影装置 2 で撮影された観察対象の画像は、観察画像データに変換されコンピュータ 5に送信される。本発明の監視対象画像撮影装置 2は、この構成に限定されない。例えば、特定の地点から広範囲の観察を行う場合、パノラマカメラのような広範囲の撮影が可能な単一の撮影装置によって構成されていても良い。

[0045] 顔画像撮影装置 3は、観察者 10の顔画像を撮影する。光学カメラや CCDカメラに例示される。顔画像撮影装置 3は、撮影した顔画像を顔画像データにしてコンビユータ 5に送信する。顔画像撮影装置 3は、観察者 10の顔の位置に対して、相対的な位置が特定できる場所に設置されていることが望ましい。または、画像表示装置 4の所定の位置を原点として、顔画像撮影装置 3の座標を特定することで顔画像撮影装置 3の設置位置を特定しても良レ、。

[0046] コンピュータ 5は、監視対象画像撮影装置 2と顔画像撮影装置 3とから送信される画像データ (観察画像データ/顔画像データ）に基づいてデータ処理を実行する。ヮークステーションやパーソナルコンピュータに例示される。コンピュータ 5は、受信した画像データ (観察画像データ Z顔画像データ）に応答して所定のプログラムを実行して画像処理を行う。コンピュータ 5は、画像処理により生成された表示画像データを画像表示装置 4へ出力する。画像表示装置 4は、コンピュータ 5から送信される表示画像データを表示する。 CRTや液晶ディスプレイに例示される。

[0047] 図 2は、本発明の画像表示システム実施の形態の動作を示す概念図である。ここでは、監視対象画像撮影装置 2は第 1〜第 3の 3台の撮影装置を使用して観察対象を撮影しているものとする。例えば、各撮影装置が概ね水平挟角 90度の視野角を有している場合、上述の 3台の撮影装置によって水平角 270度の観察が可能になる。

[0048] 監視対象画像撮影装置 2は、 3台の撮影装置を使用して観察対象を撮影する。そして、複数の画像データを取得する。複数の画像データとしての第 1画像データ Gl、第 2画像データ G2および第 3画像データ G3の各々は、その第 1〜第 3の撮影装置で撮影されたそれぞれの画像を示している。監視対象画像撮影装置 2は、撮影された複数の画像データをコンピュータ 5へ送信する。

[0049] コンピュータ 5は、送信された複数の画像データに基づいて、一つの基準画像データ GOを生成する。また、顔画像撮影装置 3は観察者 10の顔画像を撮影してその顔画像データをコンピュータ 5に送信する。コンピュータ 5は、受信した顔画像データに応答して所定の演算を実行し、顔正面点 Pを算出する。

[0050] コンピュータ 5は、基準画像データ GOと顔正面点 Pとに基づいて、表示画像データを生成して画像表示装置 4に送信する。図 2の例では、コンピュータ 5は、基準画像データ GOと顔正面点 Pとから、観察者 10が第 1画像データ G1に注目していると判断する。コンピュータ 5は、第 1画像データ G1を高解像度や表示領域を大きくして表示できるような表示画像データを生成する。このとき、第 2画像データ G2および第 3画像データ G3は低解像度や狭い表示領域となる。コンピュータ 5は、生成された表示画像データを画像表示装置 4に送信する。画像表示装置 4は、受信した表示画像データに基づいて、第 1画像データ G1が拡大表示（高解像度表示）されている表示画像 40を表示画面に表示する。観察者 10は、表示された表示画像 40によって、観察者 10個人の視野の範囲を超える範囲に存在する観察対象の観察を実行することが可能になる。

[0051] 以下に、本発明の画像表示システムの実施の形態について、より詳細に説明する。

図 3は、本発明の画像表示システムの実施の形態の詳細な構成を示すブロック図である。図 1の説明で述べたように、本実施の形態の画像表示システム 1は、監視対象画像撮影装置 2、顔画像撮影装置 3、画像表示装置 4、およびコンピュータ 5を備えている。以下の説明では、前述の図 1の構成と同様な部分に関しては詳細な説明を省略する。監視対象画像撮影装置 2は、複数の撮影装置 (2— :!〜 2— n)で構成されている。監視対象画像撮影装置 2は、複数の撮影装置 (2— :!〜 2— n)をそれぞれ任意の位置に設置することで、広範囲の監視や多視点からの監視を実行することが可肯になる。

[0052] コンピュータ 5は、 CPU6とメモリ 7と記憶装置 8とを備えている。コンピュータ 5は、ネットワーク（図示されず）に接続されていても良い。 CPU6、メモリ 7、及び記憶装置 8 は、バス 9を介して互いに接続されている。 CPU6は、コンピュータ 5に少なくとも一つ備えられている演算処理装置である。 CPU6は、コンピュータ 5に内蔵または外付けされている装置の制御を行うための命令や、入力されたデータに対する演算処理を実行して、その演算処理結果を出力する。

[0053] メモリ 7は、コンピュータ 5に備えられている情報記憶装置である。メモリ 7は、 RAM のような半導体記憶装置に例示される。 CPU6からの命令に応答して所定のデータを記憶する。記憶装置 8は、コンピュータ 5に備えられている大容量記憶装置である。記憶装置 8は、 HDDに例示され、不揮発性の記憶領域を有する。本実施の形態に用いられる電子データ（11〜14)やコンピュータプログラム（21〜24)を格納している

[0054] 記憶装置 8に格納された電子データは、表示装置データ 11、顔画像撮影装置データ 12、顔姿勢初期データ 13およびレイアウトデータ 14を含む。表示装置データ 1 1、顔画像撮影装置データ 12、顔姿勢初期データ 13およびレイアウトデータ 14の各々は、画像表示システム 1の動作を実行するために使用される。

[0055] 表示装置データ 11は、画像表示装置 4に関する情報を示すデータである。そのデータは、画像を表示画面に表示するために必要な、画像表示装置 4の表示画面サイズゃ表示可能解像度などの情報に例示される。

[0056] 顔画像撮影装置データ 12は、顔画像撮影装置 3の設置位置を示すデータである。

そのデータは、顔画像撮影装置 3で撮影された画像データから顔姿勢データ (観察者 10の視線方向を特定するためのデータ）を算出するために必要な、顔画像撮影装置 3の設置位置に関する情報に例示される。

[0057] 顔姿勢初期データ 13は、顔姿勢データを算出するために使用される初期データである。そのデータは、観察者 10が画像表示装置 4の表示画面の左隅を注視している顔画像データを顔姿勢初期データ 13に例示される。予め顔姿勢初期データ 13を格納しておくことで、顔正面点 Pの算出に要する情報処理量を低減することが可能になる。観察者 10と画像表示装置 4の特定点との相対的な距離を顔姿勢初期データ 13 として格納しても良い。

[0058] レイアウトデータ 14は、監視対象画像を画像表示装置 4に表示する場合の表示レィアウトに関するデータである。監視対象の画像 (広範囲画像または多視点画像）は、監視対象画像撮影装置 2で撮影された画像をコンピュータ 5で画像処理を実行することで生成される。コンピュータ 5は、生成された監視対象画像を画像表示装置 4に表示する場合、顔正面点 Pに対応する領域を特定する。コンピュータ 5は、その特定された領域を高解像で表示可能なように表示データを生成する。したがって、レイァゥトデータ 14に設定を変更することで、画像表示装置 4での表示形態を任意に変更することが可能になる。

[0059] 記憶装置 8に格納されたコンピュータプログラムは、基準画像データ生成プログラム 21、顔姿勢データ生成プログラム 22、顔正面点検出プログラム 23および表示画像データ生成プログラム 24を含む。基準画像データ生成プログラム 21、顔姿勢データ生成プログラム 22、顔正面点検出プログラム 23および表示画像データ生成プロダラム 24の各々は、画像表示システム 1の動作を実行するために使用される。

[0060] 基準画像データ生成プログラム 21は、監視対象画像撮影装置 2から送信された監視対象の画像データ（例示：図 2の G1〜G3)に基づいて、表示画像データ生成のための基準となる基準画像データ（例示：図 2の GO)を生成する。例えば、基準画像データ生成プログラム 21は、複数の撮影装置（2—：!〜 2— n)で撮影された画像にォーバーラップが存在しているとき、オーバーラップのないシームレスな画像に対応する基準画像データを生成する。

[0061] 顔姿勢データ生成プログラム 22は、顔画像撮影装置 3から送信された顔画像データと顔姿勢初期データ 13と表示装置データ 11とに基づいて、観察者 10に関する現在の顔姿勢データ (観察者 10の視線方向を特定するためのデータ）を生成する。

[0062] 顔正面点検出プログラム 23は、顔姿勢データ生成プログラム 22で生成された顔姿勢データと表示装置データ 11と顔画像撮影装置データ 12とに基づいて、画像表示装置 4の表示画面上の顔正面点 Pを算出する。

[0063] 表示画像データ生成プログラム 24は、基準画像データ生成プログラム 21で生成された基準画像データと顔正面点検出プログラム 23で算出された顔正面点 Pとレイァゥトデータ 14とに基づいて、表示画像データを生成する。

[0064] なお、本発明の作用効果を得るために、必ずしも上述の各データや各プログラムが全て要求されることは無い。例えば、より高性能なコンピュータ 5を使用している場合などでは、顔姿勢データ生成プログラム 22がレイアウトデータ 14を使用せずに表示画像データを生成する構成であってもよい。その場合でも、本発明の作用効果に影響はない。

[0065] 次に、本発明の画像表示システムの実施の形態の動作について説明する。図 4は、本発明の画像表示システムの実施の形態の動作を示すフローチャートである。以下の動作において、必要とされるデータは記憶装置 8に予め格納されているとして説明する。

[0066] 画像表示システム 1が起動され、画像表示装置 4が監視対象画像を表示する。表示されている画像は、監視対象画像撮影装置 2によって所定の時間間隔で連続的に撮影され、コンピュータ 5で所定の画像処理が実行された基準画像データである。基準画像データは、連続的に更新されている。観察者 10は、その表示されている画像を肉眼で見る。 [0067] ステップ S101において、顔画像撮影装置 3は、観察者 10の顔画像を撮影する。この撮影が実行される時間間隔は、観察者 10の顔正面点移動を十分に検出できる程度に短い間隔で行われる。顔画像撮影装置 3は、撮影された顔画像を顔画像データとしてデータ処理可能な形式に形式変換して、ネットワークを介してコンピュータ 5に送信する。

[0068] ステップ S102において、コンピュータ 5は、顔画像撮影装置 3から送信される顔画像データに応答して、顔姿勢データ生成プログラム 22を起動する。コンピュータ 5の CPU6は、顔姿勢データ生成プログラム 22の起動に応答して、顔姿勢初期データ 1 3と表示装置データ 11とを読み込む。そして、顔姿勢初期データ 13と顔画像データと表示装置データ 11とに基づいて、観察者 10の現在の顔姿勢データを算出する。この処理を行う技術の一例として、「『3Dァピアランスモデルを用いた高速 '高精度な顔姿勢推定』（2004年電子情報通信学会総合大会論文集 D— 12— 99)」に記載の顔姿勢推定技術を利用可能である。この顔姿勢推定技術を顔姿勢データ生成プログラム 22に含ませることにより、顔画像撮影装置 3に対する観察者 10の顔姿勢を算出できる。したがって、顔画像撮影装置 3と画像表示装置 4と間の位置関係を予め求めておくことにより、画像表示装置 4に対する観察者 10の顔姿勢データを演算で求めることができる。コンピュータ 5は顔姿勢データの算出完了に応答してステップ S 103の処理に進む。

[0069] ステップ S103において、コンピュータ 5は顔正面点検出プログラム 23を起動する。

コンピュータ 5の CPU6は、顔正面点検出プログラム 23の起動に応答して、更に、顔画像撮影装置データ 12を読み込む。そして、顔姿勢データと表示装置データ 11と顔画像撮影装置データ 12とに基づいて、顔正面点 Pを特定する。コンピュータ 5は顔正面点 Pの特定完了に応答してステップ S103の処理に進む。

[0070] ステップ S104において、コンピュータ 5は、表示画像データ生成プログラム 24を起動する。コンピュータ 5の CPU6は、表示画像データ生成プログラム 24の起動に応答して、監視対象画像撮影装置 2が撮影しコンピュータ 5で画像処理された基準画像データと顔正面点 Pとレイアウトデータ 14とに基づいて表示画像データを生成する。表示画像データは、顔正面点 Pに対応する表示領域（高解像度表示領域）に高解像度画像が表示されるように生成されている。コンピュータ 5は、表示画像データの生成完了に応答してステップ S105の処理に進む。

[0071] ステップ S105において、ステップ 104の実行の間に顔正面点 Pが移動したかどうかの判断が実行される。例えば、ステップ S103のようなプロセスを再実行し、前回特定した顔正面点と今回特定した顔正面点とが同じであれば、移動していないと判定する。その判断の結果、顔正面点の移動が検出されなかった場合 (ステップ S105 : N〇）、コンピュータ 5は、ステップ S104で生成された表示画像データを、ネットワークを介して画像表示装置 4へ送信する。表示画像データ生成後に、顔正面点移動を検出した場合（ステップ S 105 : YES)、処理はステップ S 106に進む。

[0072] ステップ S106において、コンピュータ 5は、検出された移動後の顔正面点 P (ステツプ S105で算出したもの）に関するデータ（以下、顔正面点データという）の読み込みを実行する。顔正面点データとしては、画像表示装置 4の画面内の座標に例示される。

[0073] ステップ S107において、コンピュータ 5は、顔正面点データの読み込み完了に応答して、表示画像データ（ステップ S104で生成されたもの）の読み込みを実行する。顔正面点データと表示画像データの各々の読み込み完了に応答して、処理はステツプ S108に進む。

[0074] ステップ S108において、コンピュータ 5は顔正面点 P力読込んだ表示画像データの高解像度表示領域に対応してレ、るかどうかの判断を実行する。その判断の結果、現在の表示画像データに対応させた場合、高解像度で画像が表示される領域（高解像度表示領域）と顔正面点 Pとが対応していなかった場合 (ステップ S108 : YES)、処理はステップ S 101に戻り、新たな表示画像データの生成が行われる。ステップ S1 08で顔正面点 Pは移動していたけれども、高解像度で画像が表示される領域から外れていなかった場合（ステップ S108 : N〇）、コンピュータ 5は、ステップ S104で生成された表示画像データをネットワークを介して画像表示装置 4に送信し、処理はステップ S 109に進む。

[0075] ステップ S109において、画像表示装置 4は、コンピュータ 5から送信された表示画像データを受信し、その表示画像データに対応する画像を表示画面に表示する。この動作を繰り返すことで、画像表示システム 1は、観察者 10の顔正面点移動に追従して観察者 10が注目している箇所に対応する領域を自動的に高解像度で表示すること力 Sできる。

[0076] なお、上記動作において、ステップ S105〜ステップ S108を省略することも可能である。その場合、画像表示の実行、更新がより迅速になる。

[0077] 次に、本発明の画像表示システムの具体的な利用について説明する。図 5は、画像表示システム 1を車両の運行に適用した場合の構成を示す図である。車両 30は、画像表示システム 1を備えている移動体である。図 5は、その車両 30が交差点 Pに侵入する様子を示している。図 5を参照すると、車両 30の左前近傍に二輪車 B1が走行し、車両 30の進行方向に対して右前方の道路に自動車 C1が存在している。車両 30 には、監視対象画像撮影装置 2 (2— :!〜 2— 3)と顔画像撮影装置 3と画像表示装置 4とコンピュータ 5とが備えられている。また、観察者 10 (車両 30の運転者）は、画像表示装置 4の表示されている画像を見ながら車両の運行を行っている。第 1画像撮影装置 2— 1は視野 R1に対応する範囲の外部画像を撮影している。第 2画像撮影装置 2— 2は視野 R2に対応する範囲の外部画像を撮影している。第 3画像撮影装置 2— 3は視野 R3に対応する範囲の外部画像を撮影している。顔画像撮影装置 3は、車両 30内部に設置され、観察者 10の顔画像を常時撮影している。

[0078] 第 1画像撮影装置 2— 1〜第 3画像撮影装置 2— 3は、撮影した外部画像を電子データ化する。そして、コンピュータ 5で情報処理が可能な形式に形式変換して、車両 3 0内部のネットワーク（図示されず）を介してコンピュータ 5に送信する。同様に、顔画像撮影装置 3は、撮影した顔画像を電子データ化する。そして、コンピュータ 5で情報処理が可能な形式に形式変換して、ネットワークを介してコンピュータ 5に送信する。コンピュータ 5は受信した外部画像データと顔画像データとに基づいて画像処理を実行し、表示画像データを生成する。生成された表示画像データは、上述のネットヮークを介して画像表示装置 4に送信される。

[0079] 図 6は、第 1画像撮影装置 2— 1〜第 3画像撮影装置 2— 3で撮影された外部画像データを例示する図である。第 1画像データ G1は第 1画像撮影装置 2— 1で撮影された画像データを示している。同様に第 2画像 G2データは第 2画像撮影装置 2_ 2で撮影された画像データを示し、第 3画像データ G3は、第 3画像撮影装置 2— 3で撮影された画像データを示してレ、る。

[0080] 図 7は、上述の第 1画像データ G1〜第 3画像データ G3から表示画像データ 40 (40 a、 40b)を生成する動作を示した図である。基準外部画像データ GOは、第 1画像データ G1〜第 3画像データ G3に基づいて生成された基準画像データである。図 7に示されている基準画像データ GOは、各画像データ（G1〜G3)を結合させて生成され、各々の画像データ（第 1画像データ G1〜第 3画像データ G3)の相対位置を特定している。なお、基準画像データ GOの情報量を低減するために、各画像 (G1〜G3) の横方向サイズを所定の比率で縮小した基準画像データ GOを生成しても良い。生成された基準画像データ GOは、顔正面点 Pが検出されていない場合に画像表示装置 4で表示される。システムが動作し、顔正面点 Pの検出が実行されると、顔正面点データ 50が生成される。顔正面点データ 50は、本発明の理解を容易にするために、基準画像データ GOに対応して顔正面点 Pを示しているが、実際の顔正面点データは画面上の座標を示す数値データであっても良い。

[0081] ここで、観察者 10の顔正面点 Pが、図 7に示されているように座標（50、 50)で示される位置である場合、コンピュータ 5はその座標で示される点に対応する領域を算出する。そしてコンピュータ 5は、算出された領域と顔正面点データ 50とに基づいて、上述の第 1画像データ G1に対応する画像 Glaが高解像度で表示可能なように表示画像データを生成する。生成された表示画像データはネットワークを介して画像表示装置 4に出力される。画像表示装置 4は、コンピュータ 5から供給された表示画像データに基づレ、て表示画像 40aを画面に表示する。

[0082] 観察者 10が視線を移動させたことにより、顔正面点 Pの位置が表示画像 Glaの領域に存在しないと判断される場合を考える。コンピュータ 5は、顔画像撮影装置 3から送信される顔画像データに基づいて、観察者 10の顔正面点移動を監視している。図 7に示されているように、観察者 10が視線を移動したことで顔正面点データ 50の顔正面点 Pの座標が、顔正面点 P (5、 25)を示した場合 (以下、その顔正面点 Pを"新たな顔正面点 P"と呼ぶ。）、コンピュータ 5は、その新たな顔正面点 Pが表示画像 Gla の領域に存在してレ、ないと判断する。 [0083] コンピュータ 5は、その判断結果に対応して、上記の新たな顔正面点 Pの座標 (顔正面点 P (5、 25) )と画像表示装置 4に出力している表示画像データとから、上述の第 2画像データ G2に対応する画像 G2aが高解像度で表示可能なように、新たな表示画像データを生成する。生成された新たな表示画像データはネットワークを介して画像表示装置 4に出力される。画像表示装置 4は、コンピュータ 5から供給された新たな表示画像データに基づいて新たな表示画像 40bを画面に表示する。

[0084] したがって、観察者 10が顔を少し動かすだけで注目部分の画像が指定され、観察者 10は、指定された領域の画像を高解像度で見ることができる。本発明を車両運行に用いることにより、観察者 10 (車両の運転者）の前方および左右の映像を死角を低減させることが可能になる。例えば、観察者 10が、車両 30を左折させる場合、左側に併走する二輪車 B1の巻き込みを確認しなければならない。通常では観察者 10は左の二輪車 B1を目視するために顔を回転しなければならなレ、。走行中に左の目視を実行することにより、前方不注意になる場合あり、また、左の目視を忘れて事故原因となることも多レ、。また、左側の二輪車 B1に気をとられていると右側から来る自動車 C1 を見落とす可能性がある。

[0085] しかし、本発明によれば、正面向きの状態でも全体を目視可能な範囲に画像を表示する画像表示装置 4に、左の二輪車 B1から右の自動車 C1までを含む広視野の画像が表示されている。したがって観察者 10は、交差点周囲の状況を迅速に、かつ、容易に判断することができる。状況判断を正確行い、二輪車 B1までの相対距離や二輪車 B1大きさを確認するためには、第 2画像データ G2が高解像度で表示される必要がある。表示画像 Glaを見ている観察者 10が、表示画像 Glaに表示されている二輪車 B1存在に気がつレ、た場合、顔を 20〜30度（あるいはそれ以下の角度）動かすだけで、走行中に左の目視を実行した場合と同様の画像を見ることができる。また、右側の自動車 C1も低解像度ながら常に表示されているため見落とす可能性が少なぐ二輪車 B1確認中もその存在に気づくことができる。

[0086] なお、上記の説明では、本発明の画像表示システムを道路を走行する自動車に適用した場合について述べている力 S、これは、本発明の画像表示システムを適用する移動体を地上を走行する車両に限定するものではなレ、。例えば、上記の画像表示システムと同様の構成を水上を航行する船舶などに備えることも可能である。

[0087] 本発明は、広域監視システム (複数の異なる場所に設置された監視カメラの画像を監視員が監視するシステム）に適用する場合においても、その効果を発揮する。図 8 は、本実施の形態を広域監視に適用した場合の構成を示す概念図である。図 8に示されているように、この広域監視システムは、異なる地点を撮影する複数の撮影装置 (2— :!〜 2— 6)と、顔画像撮影装置 3と、画像表示装置 4と、コンピュータ 5で構成されている。以下の説明において、前述した装置と同じ符号が付されている各装置は、前述のものと同様の構成を有しているものとし、その詳細な説明は省略する。

[0088] 図 8に示されているように、複数の撮影装置（2_：!〜 2_ 6)の各々は、一例として 6 箇所の異なる場所を撮影する 6台の監視カメラで構成されている。各々の撮影装置は、ネットワーク（図示されず）を介してコンピュータ 5に接続されている。複数の撮影装置（2— :!〜 2— 6)は、それぞれの地点の様子を撮影した所定の画素の画像データを生成し、ネットワークを介してコンピュータ 5出力する。また、顔画像撮影装置 3および画像表示装置 4も、そのネットワークを介してコンピュータ 5に接続されている。観察者 10は、画像表示装置 4に表示されている画像を観察する人物である。

[0089] 顔画像撮影装置 3は、観察者 10の顔を撮影する顔画像撮影装置である。顔画像撮影装置 3は、上述のネットワークを介して、コンピュータ 5と、画像表示装置 4とに接続されている。顔画像撮影装置 3によって撮影された観察者 10の顔画像は、顔画像データに変換されてコンピュータ 5に入力される。コンピュータ 5は顔画像撮影装置 3 力供給された該顔画像データに基づいて観察者 10の顔正面点 Pを検出して顔正面点データを生成する。

[0090] 図 9は、広域監視システムに本発明を適用した場合の動作を示す概念図である。

各撮影地点に設置された撮影装置 (2— :!〜 2— 6)は、その撮影画像を電子データに変換してコンピュータ 5に送信する。コンピュータ 5は送信された画像データをネットワークを介して受信し、その受信に応答して基準画像データ生成プログラム 21を起動する。コンピュータ ₅は、起動した基準画像データ生成プログラム 21を実行することで基準画像データを生成する。その基準画像データは、第 1画像撮影装置 2— :!〜 2 一 6から送信される画像を低解像度化して並べ、画像表示装置 4で表示可能な 1枚の画像に統合することによって生成される。

[0091] また、コンピュータ 5は、顔画像撮影装置 3から送信された顔画像データに基づいて顔姿勢データを生成する。生成される顔画像データは、顔姿勢データ生成プロダラム 22を実行することによって生成される。コンピュータ 5は、顔姿勢データ生成プログラム 22によって検出された顔姿勢データと、表示装置データ 11の画面の位置情報を用いて、顔正面点 P (顔の正面に位置する画面上の点）の位置を決定し、顔正面点 P として出力する。さらに、顔正面点 Pを含む領域に表示される監視カメラ画像の解像度を高くし、その他の監視カメラ画像の解像度を下げることによって表示画像データを生成する。

[0092] 上記の動作を具体的に説明する。広域監視システムを構成している第 1画像撮影装置 2— 1〜第 6画像撮影装置 2— 6は、異なる地点の画像データ G1〜画像データ G6を撮影する。撮影された各々の画像データ（G1〜G6)は、ネットワークを介してコンピュータ 5に送信される。ここで、送信される各々の画像データの画素が 360 X 24 0画素であるとし、画像表示装置 4の表示可能画素サイズが 360 X 240画素であるとする。

[0093] コンピュータ 5は、基準画像データ生成プログラム 21を実行し、第 1画像撮影装置 2

1〜第 6画像撮影装置 2— 6で撮影された画像を、図 9の表示画像 40cに示されているように、 120 X 80画素の領域 5つ（領域 42〜領域 46)と、約その 2倍の解像度となる 240 X 160画素の領域 (領域 41)ひとつに分割する。システムが動作を開始した時点（初期状態）では、コンピュータ 5は、表示画像 40cのように領域 41を 240 X 160 画素、領域 42〜領域 46を 120 X 80画素の領域に割り当てて画像表示装置 4に表示させている。

[0094] システムが動作している場合、コンピュータ 5は、顔画像撮影装置 3を用いて観察者 10の顔画像を撮影し続ける。コンピュータ 5は顔姿勢データ生成プログラム 22を実行し、顔画像撮影装置 3から送信される顔画像データに基づいて、観察者 10の顔の 3次元的な位置および向きを検出する。さらにコンピュータ 5は、顔姿勢データ生成プログラム 22を実行することによって算出される顔姿勢データと表示装置データ 11と顔画像撮影装置データ 12を用いて、顔正面点 P (顔の位置力も顔の向きに伸ばした直線と画像表示装置 4の画面の交わる点）を顔正面点 Pとして決定する。

[0095] ここでコンピュータ 5は、その顔正面点 Pが領域 41〜領域 46のどの領域に含まれているかを判定し、顔正面点 Pが含まれる領域を 240 X 160画素の領域となるように新たな表示画像データを生成する。システム起動時点以外は、前回表示を行った時点での表示画像データに基づき、顔正面点 Pがどの領域にあるかを判別する。例えば、顔正面点 Pが領域 46の領域内である場合、コンピュータ 5は、表示画像 40dに示されているように、領域 46を左下の 240 X 160画素の領域として表示画像データを生成する。その表示画像データにおいて、領域 41〜領域 45を 120 X 80画素の領域とする。つまり、画像表示装置 4で表示される監視対象画像は、画像データ G1〜画像データ G6をそれぞれ領域領域 41〜領域 46の解像度に変更して表示画像データが表示される。

[0096] 上述の例では、解像度の拡大量を 2倍で一定であるとした力 S、これはレイアウトデータ 14の設定を変更することで任意に変更可能である。特に、顔の位置がディスプレイに近くなつた場合に大きくし、遠くなつた場合に小さくする、などの処理を行うことにより、視聴者が解像度の変化量を必要に応じて変えることも可能である。

[0097] このように広域監視システムに本発明を適用することによって、監視員は一度に複数地点を常時監視することができ、かつ、異常が発生した疑いがある地点を表示している画像を、視線に追従するように拡大表示させることができる。本発明により、観察者 10は、スィッチ操作などを行わなくても顔をすこし動かすだけで、対象領域を高解像で表示させて確認することができるため、以上発生時に迅速に対応することができる。また、本発明により、観察者 10は、特別な装置を装着することなく広域監視を実行すること力 Sできる。

Claims

請求の範囲

[1] 画像表示装置と、

前記画像表示装置で表示される表示画像の表示画像データを生成する画像生成装置と、前記表示画像は複数の領域を有し、

前記表示画像を見るヒトの顔画像を撮影する顔画像撮影装置と、

前記顔画像から顔画像データを生成し、前記顔画像データに基づレ、て前記表示画像上における前記ヒトの顔の正面に位置する点としての顔正面点を検出する顔正面点検出装置と

を備え、

前記画像生成装置は、前記複数の領域から前記顔正面点に対応する特定領域を特定して、前記特定領域に対応する画像が提供する情報量を増加させて前記表示画像データを生成する

画像表示システム。

[2] 請求項 1に記載の画像表示システムにおいて、

前記顔正面点検出装置は、新たな顔正面点を検出し、

前記画像生成装置は、前記新たな顔正面点が前記特定領域から遷移した場合、新たな領域を特定し、前記新たな領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成する

画像表示システム。

[3] 請求項 1または 2に記載の画像表示システムにおいて、

前記画像生成装置は、画像が提供する情報量の増加を、前記画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行う

画像表示システム。

[4] 請求項 1から 3の何れ力 4項に記載の画像表示システムにおいて、

前記画像生成装置は、画像が提供する情報量の増加を、前記画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行う

画像表示システム。

[5] 請求項 1から 4の何れ力 1項に記載の画像表示システムにおいて、前記画像生成装置は、前記ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を前記表示画像に構成し、

前記画像表示装置は、前記広範囲画像で構成された前記表示画像データを、前記複数の領域に対応させ前記ヒトの視界の範囲内に入るように表示する

画像表示システム。

[6] 請求項 5に記載の画像表示システムにおいて、

前記画像生成装置は、前記広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、前記表示画像に合成し、

前記画像表示装置は、前記ヒトの視界の範囲内に入るように、前記複数の領域に対応して前記表示画像データを表示する

画像表示システム。

[7] 請求項 1から 6の何れ力 4項に記載の画像表示システムにおいて、

前記画像生成装置は、情報記憶部を有し、

前記情報記憶部は、前記画像表示装置の情報を示す表示装置データと、前記顔画像撮影装置の情報を示す顔画像撮影装置データを記憶し、

前記顔正面点検出装置は、前記顔画像に基づいて 3次元画像処理を実行して前記顔画像データを生成し、前記顔画像データと前記表示装置データおよび前記顔画像撮影装置データに基づいて前記顔正面点を検出する

画像表示システム。

[8] (a)画像表示装置で表示される表示画像の表示画像データを生成するステップと、前記表示画像は複数の領域を有し、

(b)前記表示画像を見るヒトの顔画像を撮影するステップと、

(c)前記顔画像から顔画像データを生成し、前記顔画像データに基づいて前記表示画像上における前記ヒトの顔の正面に位置する点を前記ヒトの顔正面点として検出するステップと、

(d)前記複数の領域から前記顔正面点に対応する特定領域を特定して、前記特定領域に対応する画像が提供する情報量を増加させて前記表示画像データを生成するステップと、 (e)前記表示画像データを前記画像表示装置で表示するステップと

を具備する

画像表示方法。

請求項 8に記載の画像表示方法において、

(f )新たな顔正面点を検出するステップと、

(g)前記新たな顔正面点が前記特定領域から遷移した場合、新たな特定領域を特定し、前記新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップと

をさらに具備する

画像表示方法。

請求項 8または 9に記載の画像表示方法において、

画像が提供する情報量の増加は、前記画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行う

画像表示方法。

請求項 8から 10の何れ力 1項に記載の画像表示方法において、

画像が提供する情報量の増加は、前記画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行う

画像表示方法。

請求項 8から 11の何れ力 1項に記載の画像表示方法において、

前記（a)ステップは、

(al)前記ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を前記表示画像に構成するステップを備え、

前記（e)ステップは、

(el)前記広範囲画像で構成された前記表示画像データを、前記複数の領域に対応させ前記ヒトの視界の範囲内に入るように表示するステップを備える

画像表示方法。

請求項 12に記載の画像表示方法において、 (al l)前記広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、前記表示画像に合成するステップを備え、

前記複数の領域の各々は、前記複数の画像の各々に対応し、

前記（el)ステップは、

(el l )前記ヒトの視界の範囲内に入るように、前記複数の領域に対応して前記表示画像データを表示するステップを備える

画像表示方法。

[14] 請求項 8から 13の何れ力 4項に記載の画像表示方法において、

前記（c)ステップは、

(cl)前記画像表示装置の情報を示す表示装置データと、前記顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、

(c2)前記顔画像に基づいて 3次元画像処理を実行して前記顔画像データを生成し、前記顔画像データと前記表示装置データおよび前記顔画像撮影装置データに基づいて前記顔正面点を検出するステップと

を備える

画像表示方法。

[15] (h)画像表示装置で表示される表示画像の表示画像データを生成するステップと、前記表示画像は複数の領域を有し、

(i)前記表示画像を見るヒトの顔画像から顔画像データを生成し、前記顔画像データに基づいて前記表示画像上における前記ヒトの顔の正面に位置する点を前記ヒトの顔正面点として検出するステップと、

0)前記複数の領域から前記顔正面点に対応する特定領域を特定して、前記特定領域に対応する画像が提供する情報量を増加させて前記表示画像データを生成するステップと、

(k)前記表示画像データを前記画像表示装置へ出力するステップと

を具備する法をコンピュータで実行可能なプログラム。

[16] 請求項 15に記載のプログラムにおいて、

(1)新たな顔正面点を検出するステップと、 (m)前記新たな顔正面点が前記特定領域から遷移した場合、新たな特定領域を特定し、前記新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップと

をさらに具備するプログラム。

[17] 請求項 15または 16に記載のプログラムにおいて、

プログラム。

[18] 請求項 15から 17の何れ力 4項に記載のプログラムにおいて、

プログラム。

[19] 請求項 15から 18の何れ力 1項に記載のプログラムにおいて、

前記 (h)ステップは、

(hi)前記ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を前記表示画像に構成するステップを備え、

前記（k)ステップは、

(kl)前記広範囲画像で構成された前記表示画像データが、前記複数の領域に対応させ前記ヒトの視界の範囲内に入るように表示されるように、前記表示画像データを前記画像表示装置へ出力するステップを備える

プログラム。

[20] 請求項 19に記載のプログラムにおいて、

前記 (hi)ステップは、

(hi 1)前記広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、前記表示画像に合成するステップを備え、

前記（kl)ステップは、

(kl l)前記ヒトの視界の範囲内に入り、前記複数の領域に対応して前記表示画像データを表示されるように、前記表示画像データを前記画像表示装置へ出力するステツプを備える

プログラム。

[21] 請求項 15から 20の何れ力 4項に記載のプログラムにおいて、

前記 (i)ステップは、

(11)前記画像表示装置の情報を示す表示装置データと、前記顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、

(12)前記顔画像に基づいて 3次元画像処理を実行して前記顔画像データを生成し、前記顔画像データと前記表示装置データおよび前記顔画像撮影装置データに基づいて前記顔正面点を検出するステップと

を備える

プログラム。