JPWO2005124735A1 - 画像表示システム、画像表示方法および画像表示プログラム - Google Patents

Abstract

画像表示装置と、前記画像表示装置で表示される表示画像の表示画像データを生成する画像生成装置と、前記表示画像を見るヒトの顔画像を撮影する顔画像撮影装置と、前記顔画像から顔画像データを生成し、前記顔画像データに基づいて前記表示画像に対応する前記ヒトの顔正面点を検出する顔正面点検出装置とを備える画像表示システムを構成する。ここで、上述の表示画像データは表示画像が複数の領域を有するようなデータである。そして、前記画像生成装置は、前記複数の領域から前記顔正面点に対応する特定領域を特定して、前記特定領域に対応する画像が提供する情報量を増加させて前記表示画像データを生成する。

Description

本発明は、画像表示システム、画像表示方法および画像表示プログラムに関し、特に監視に用いる画像表示システム、画像表示方法および画像表示プログラムに関する。

人間の視界は有限であり、一人の人が短時間で全方位を視覚的に捉えることは不可能である。人の視界を超える範囲（以下、広範囲と呼ぶ）を視覚的に捉えることがその人に要求される場合、特殊な監視システムが必要になる。この特殊なシステムに用いられる技術としては、広範囲撮影用の撮影装置（以下、広範囲撮影装置と呼ぶ）を使用して監視対象の画像を撮影し、その撮影された画像を視界内に収まるように加工した画像（以下、広範囲画像と呼ぶ）によって広範囲の観察を可能にする技術が知られている。

広範囲撮影装置には、パノラマカメラなどの単一の装置で広範囲の撮影が可能な撮影装置が存在する。また、複数の撮影装置で撮影された画像を組み合わせて広範囲画像にする広範囲撮影装置なども存在する。観察者は、表示装置に表示されている広範囲画像を見ることで、その視界を越える範囲を視覚的に捉えることが可能になる。

広範囲画像を十分な画像サイズや解像度で表示させる場合、画像表示に必要な表示装置の画面サイズが大きくなってしまう。そのため、広範囲画像を用いて監視対象を監視するには、その広範囲画像の表示が可能な大型の表示装置が要求される。

大型の表示装置を設置することが困難な場合には、上述の広範囲画像の画像サイズを縮小して（解像度を低くして）小型の表示装置に表示させる技術が存在する。縮小画像を使用して監視を実行することで、より小規模なシステムであっても広範囲の観察を可能にする技術が知られている。この技術により、システムの構築にかかるコストを低減することができる。加えて、限られた空間で広範囲を監視するシステムの構築が可能である。

広範囲画像を縮小して表示する場合、その縮小された画像（以下、縮小表示画像と呼ぶ）からは、監視に必要な情報を得ることが困難になる場合がある。このような場合に、縮小表示画像の特定の領域（以下、特定領域と呼ぶ）の解像度を高くしたり、拡大表示したりすることで、所望の情報量を得ることを可能にする技術が知られている。

そのような技術として、例えば、特開平５−１３９２０９号公報に視覚情報提供装置が開示されている。この視覚情報提供装置は、第１生成手段と、第１表示手段と、第２生成手段と、第２表示手段と、提示手段と、切り替え信号発生手段と、画像制御装置とを具備する。第１生成手段は、第１の視覚情報を生成する。第１表示手段は、前記第１の視覚情報を第１の画像として表示する。第２生成手段は、右目用の情報と左目用の情報とからなる第２の視覚情報を生成する。第２表示手段は、前記第２の視覚情報を３次元の第２の画像として表示する。提示手段は、前記第１および第２の画像を単独にまたは重ねて提示可能である。切り替え信号発生手段は、該提示手段において提示する画像の選択切り替え信号を出力する。画像制御装置は、前記切り替え信号に基づいて前記提示手段を制御する。

その拡大表示を実行するためには上述の特定領域を選択する必要がある。従来、その選択動作は、表示装置外部に備えられた切替スイッチを操作して行われていた。外部に切替スイッチを備えていないシステムでは、観察者が見ている画面上の特定部分（以下、視点と呼ぶ）を検出して、その視点に対応する領域を特定領域としている。特開平５−１３９２０９号公報では、上述のように、高解像度の表示装置と低解像度の表示装置の二つを重ねて用いている。観察者の視線の方向を検出して、視線方向の領域の画像を高解像表示装置で、その周辺の領域を低解像表示装置で表示している。

上述の視線方向を検出するシステムでは、視線方向を特定するために、観察者の視線を検出する眼球方向（視線）検出センサが必要である。視線検出センサは、例えば、観察者の頭部に装着され、その動きに応答して頭部の傾きを検出し、その傾きから視点を特定する。他の例としては、眼鏡をかけるように観察者に装着され、その眼球の動きに応答して視点を特定する。後者を用いている技術として、例えば、特開平９−３０５１５６号公報がある。

特開平９−３０５１５６号公報は、映像表示方法及び装置を開示している。この映像表示方法は、精細な映像を高速で生成して表示する映像表示方法である。表示すべき映像全体にわたって通常の精度で映像の生成を行い、眼球方向検出手段を用いて視線を連続的に検出し、各瞬間の視野の中心が前記映像上のどの位置に相当するかを計算し、その計算の結果に基づいて当該視野の中心付近の映像を、表示画素数を多くする高解像度と表示色の数や階調を多くする高再現性のうち少なくとも１つを用いて生成することを特徴とする。

特開平５−１３９２０９号公報に記載の技術では、画像表示の高速化のため、眼球方向検出により求めた視線方向の領域のみ高解像度の画像を生成するようにしている。特開平５−１３９２０９号公報及び特開平９−３０５１５６号公報に記載の技術は、観察者の視線方向を眼球運動推定手段により自動的に検出し、その視線方向の領域を高解像で表示する。それにより、スイッチ操作などを行わずとも自動的にその観察者の必要とする部分を高解像度で表示している。

観察者の視野に入りきらない広範囲の画像や多視点の画像を、観察者の視野内に適切に提示する技術が望まれている。さらに、眼球の動きを検知するための特殊な装置を観察者に装着させること無く、観察者の視野に入りきらない広範囲の画像や多視点の画像を観察者の視野内に適切に提示する技術が望まれている。

関連する技術として特開２０００−５９６６５号公報に撮像装置が開示されている。この撮像装置は、１つの撮像部の左右両側に２つの撮像部が配置される３つの撮像部からなる。この撮像装置は、中央の撮像部の光軸に対して、左側の撮像部と右側の撮像部の光軸が交差する角度が同一角度で、光軸の交差点が同一点となるような光軸の関係である。上記光軸の交差点位置より被写体側に近づく方向で、上記光軸の交差点から各撮像部の前側主点までの距離が同一距離となるような位置に３つの撮像部が位置する。

特開平８−１１６５５６号公報に画像処理方法および装置が開示されている。この画像処理方法は、複数の異なる直線上に配置された複数の視点位置から得られた画像を入力する多視点画像入力ステップと、上記画像を見ている観察者の目の位置および見ている方向を検出する視点検出ステップと、上記視点検出ステップにより検出された視点位置から見える画像を多視点画像データから再構成する画像再構成ステップと、上記再構成された画像を画像出力装置を介して出力する画像出力ステップとを備えたことを特徴とする。

本発明の目的は、人の視界に入りきらない広範囲の画像や、多視点から撮影された画像から、必要な情報量を適切に表示装置に提示する画像表示システム及び画像表示方法を提供することにある。

さらに、本発明の目的は、眼球運動や頭部の傾斜を検知するための特殊な装置を人に装着させること無く、その人の視界に入りきらない広範囲の画像や多視点から撮影された画像をその人の視界内に適切に提示させ、その画像から必要な情報量を適切に抽出できる画像表示システム及び画像表示方法を提供することにある。

さらに、本発明の目的は、人間は意識的に注視している部分以外の領域も間欠的に見るために無意識に視点を移動させているが、この無意識な視点移動に惑わされず、人間が意識的に必要としている領域を安定して表示できる画像表示システム及び画像表示方法を提供することにある。

上記課題を解決するために本発明の画像表示システムは、画像表示装置と、画像生成装置と、顔画像撮影装置と、顔正面点検出装置とを備える。画像生成装置は、画像表示装置で表示される表示画像の表示画像データを生成する。表示画像は複数の領域を有する。顔画像撮影装置は、表示画像を見るヒトの顔画像を撮影する。顔正面点検出装置は、顔画像から顔画像データを生成し、顔画像データに基づいて表示画像上におけるヒトの顔の正面に位置する点としての顔正面点を検出する。画像生成装置は、複数の領域から顔正面点に対応する特定領域を特定して、特定領域に対応する画像が提供する情報量を増加させて表示画像データを生成する。

上記の画像表示システムにおいて、顔正面点検出装置は、新たな顔正面点を検出することが好ましい。画像生成装置は、新たな顔正面点が特定領域から遷移した場合、新たな領域を特定し、新たな領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成することが好ましい。

上記の画像表示システムにおいて、画像生成装置は、画像が提供する情報量の増加を、画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行うことが好ましい。

上記の画像表示システムにおいて、画像生成装置は、画像が提供する情報量の増加を、画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行うことが好ましい。

上記の画像表示システムにおいて、画像生成装置は、ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を表示画像に構成することが好ましい。画像表示装置は、広範囲画像で構成された表示画像データを、複数の領域に対応させヒトの視界の範囲内に入るように表示することが好ましい。

上記の画像表示システムにおいて、画像生成装置は、広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、表示画像に合成することが好ましい。画像表示装置は、ヒトの視界の範囲内に入るように、複数の領域に対応して表示画像データを表示することが好ましい。

上記の画像表示システムにおいて、画像生成装置は、情報記憶部を有することが好ましい。情報記憶部は、画像表示装置の情報を示す表示装置データと、顔画像撮影装置の情報を示す顔画像撮影装置データを記憶する。顔正面点検出装置は、顔画像に基づいて３次元画像処理を実行して顔画像データを生成し、顔画像データと表示装置データおよび顔画像撮影装置データに基づいて顔正面点を検出することが好ましい。

上記課題を解決するために本発明の画像表示方法は、（ａ）画像表示装置で表示される表示画像の表示画像データを生成するステップと、表示画像は複数の領域を有し、（ｂ）表示画像を見るヒトの顔画像を撮影するステップと、（ｃ）顔画像から顔画像データを生成し、顔画像データに基づいて表示画像上におけるヒトの顔の正面に位置する点をヒトの顔正面点として検出するステップと、（ｄ）複数の領域から顔正面点に対応する特定領域を特定して、特定領域に対応する画像が提供する情報量を増加させて表示画像データを生成するステップと、（ｅ）表示画像データを画像表示装置で表示するステップとを具備する。

上記の画像表示方法において、（ｆ）新たな顔正面点を検出するステップと、（ｇ）新たな顔正面点が特定領域から遷移した場合、新たな特定領域を特定し、新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップとをさらに具備することが好ましい。

上記の画像表示方法において、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行うことが好ましい。

上記の画像表示方法において、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行うことが好ましい。

上記の画像表示方法において、（ａ）ステップは、（ａ１）ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を表示画像に構成するステップを備えることが好ましい。（ｅ）ステップは、（ｅ１）広範囲画像で構成された表示画像データを、複数の領域に対応させヒトの視界の範囲内に入るように表示するステップを備えることが好ましい。

上記の画像表示方法において、（ａ１）ステップは、（ａ１１）広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、表示画像に合成するステップを備えることが好ましい。複数の領域の各々は、複数の画像の各々に対応する。（ｅ１）ステップは、（ｅ１１）ヒトの視界の範囲内に入るように、複数の領域に対応して表示画像データを表示するステップを備えることが好ましい。

上記の画像表示方法において、（ｃ）ステップは、（ｃ１）画像表示装置の情報を示す表示装置データと、顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、（ｃ２）顔画像に基づいて３次元画像処理を実行して顔画像データを生成し、顔画像データと表示装置データおよび顔画像撮影装置データに基づいて顔正面点を検出するステップとを備えることが好ましい。

上記課題を解決するために本発明のプログラムは、（ｈ）画像表示装置で表示される表示画像の表示画像データを生成するステップと、表示画像は複数の領域を有し、（ｉ）表示画像を見るヒトの顔画像から顔画像データを生成し、顔画像データに基づいて表示画像上におけるヒトの顔の正面に位置する点をヒトの顔正面点として検出するステップと、（ｊ）複数の領域から顔正面点に対応する特定領域を特定して、特定領域に対応する画像が提供する情報量を増加させて表示画像データを生成するステップと、（ｋ）表示画像データを画像表示装置へ出力するステップとを具備する方法をコンピュータで実行可能である。

上記のプログラムにおいて、（ｌ）新たな顔正面点を検出するステップと、（ｍ）新たな顔正面点が特定領域から遷移した場合、新たな特定領域を特定し、新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップとをさらに具備することが好ましい。

上記のプログラムにおいて、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行うことが好ましい。

上記のプログラムにおいて、画像が提供する情報量の増加は、画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行うことが好ましい。

上記のプログラムにおいて、（ｈ）ステップは、（ｈ１）ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を表示画像に構成するステップを備えることが好ましい。（ｋ）ステップは、（ｋ１）広範囲画像で構成された表示画像データが、複数の領域に対応させヒトの視界の範囲内に入るように表示されるように、表示画像データを画像表示装置へ出力するステップを備えることが好ましい。

上記のプログラムにおいて、（ｈ１）ステップは、（ｈ１１）広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、表示画像に合成するステップを備えることが好ましい。複数の領域の各々は、複数の画像の各々に対応する。（ｋ１）ステップは、（ｋ１１）ヒトの視界の範囲内に入り、複数の領域に対応して表示画像データを表示されるように、表示画像データを画像表示装置へ出力するステップを備えることが好ましい。

上記のプログラムにおいて、（ｉ）ステップは、（ｉ１）画像表示装置の情報を示す表示装置データと、顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、（ｉ２）顔画像に基づいて３次元画像処理を実行して顔画像データを生成し、顔画像データと表示装置データおよび顔画像撮影装置データに基づいて顔正面点を検出するステップとを備えることが好ましい。

本発明によると、人の視界に入りきらない広範囲の画像や、多視点から撮影された画像から、必要な情報量を適切に表示装置に提示する画像表示システムを提供することが可能になる。

さらに、本発明によると、眼球運動や頭部の傾斜を検知するための特殊な装置を人に装着させること無く、その人の視界に入りきらない広範囲の画像や多視点から撮影された画像をその人の視野内に適切に提示させ、その画像から必要な情報量を適切に抽出することが可能になる。

図１は、本発明の画像表示システムの実施の形態の構成を示す概念図である。 図２は、本発明の画像表示システム実施の形態の動作を示す概念図である。 図３は、本発明の画像表示システムの実施の形態の詳細な構成を示すブロック図である。 図４は、本発明の画像表示システムの実施の形態の動作を示すフローチャートである。 図５は、画像表示システムを車両の運行に適用した場合の構成を示す図である。 図６は、第1画像撮影装置〜第３画像撮影装置で撮影された外部画像データを例示する図である。 図７は、第1画像データ〜第３画像データから表示画像データを生成する動作を示した図である。 図８は、本実施の形態を広域監視に適用した場合の構成を示す概念図である。 図９は、広域監視システムに本発明を適用した場合の動作を示す概念図である。

以下に、本発明の画像表示システムの実施の形態について図面を参照して説明する。図１は、本発明の画像表示システムの実施の形態の構成を示す概念図である。本実施の形態における画像表示システム１は、監視対象画像撮影装置２と、顔画像撮影装置３と、画像表示装置４と、コンピュータ５を備えている。監視対象画像撮影装置２とコンピュータ５とは互いに電気的に接続されている。コンピュータ５は、監視対象画像撮影装置２から出力されるデータを受信している。顔画像撮影装置３とコンピュータ５とは互いに電気的に接続されている。コンピュータ５は、顔画像撮影装置３から出力されるデータを受信している。画像表示装置４はコンピュータ５に電気的に接続されている。コンピュータ５から送信される表示画像データを受信して画像を表示している。監視対象画像撮影装置２、顔画像撮影装置３、画像表示装置４、及びコンピュータ５の接続は、所定のネットワークを介して行われていても良い。

観察者１０は、画像表示装置４に表示されている画像を観察する。図１に示されている顔正面点Ｐは、観察者１０が画像表示装置４に表示されている画像を見ているとき、その顔の正面に位置する画像表示装置４の画面上の部分を示している。本発明において、観察者１０に対する制限は存在しない。つまり、本発明によれば、観察者１０は、画像表示システム１の技術に関する詳しい知識を有することなく、画像表示システム１を利用することが可能である。

監視対象画像撮影装置２は、人の視界の範囲を超える範囲（以下、広範囲と呼ぶ。）の画像を撮影する。光学カメラやＣＣＤカメラに例示される。監視対象画像撮影装置２は、複数の撮影装置によって構成されている。それにより、複数の地点から特定の地点を観察する多視点監視を実行することも可能になる。監視対象画像撮影装置２で撮影された観察対象の画像は、観察画像データに変換されコンピュータ５に送信される。本発明の監視対象画像撮影装置２は、この構成に限定されない。例えば、特定の地点から広範囲の観察を行う場合、パノラマカメラのような広範囲の撮影が可能な単一の撮影装置によって構成されていても良い。

顔画像撮影装置３は、観察者１０の顔画像を撮影する。光学カメラやＣＣＤカメラに例示される。顔画像撮影装置３は、撮影した顔画像を顔画像データにしてコンピュータ５に送信する。顔画像撮影装置３は、観察者１０の顔の位置に対して、相対的な位置が特定できる場所に設置されていることが望ましい。または、画像表示装置４の所定の位置を原点として、顔画像撮影装置３の座標を特定することで顔画像撮影装置３の設置位置を特定しても良い。

コンピュータ５は、監視対象画像撮影装置２と顔画像撮影装置３とから送信される画像データ（観察画像データ／顔画像データ）に基づいてデータ処理を実行する。ワークステーションやパーソナルコンピュータに例示される。コンピュータ５は、受信した画像データ（観察画像データ／顔画像データ）に応答して所定のプログラムを実行して画像処理を行う。コンピュータ５は、画像処理により生成された表示画像データを画像表示装置４へ出力する。画像表示装置４は、コンピュータ５から送信される表示画像データを表示する。ＣＲＴや液晶ディスプレイに例示される。

図２は、本発明の画像表示システム実施の形態の動作を示す概念図である。ここでは、監視対象画像撮影装置２は第１〜第３の３台の撮影装置を使用して観察対象を撮影しているものとする。例えば、各撮影装置が概ね水平挟角９０度の視野角を有している場合、上述の３台の撮影装置によって水平角２７０度の観察が可能になる。

監視対象画像撮影装置２は、３台の撮影装置を使用して観察対象を撮影する。そして、複数の画像データを取得する。複数の画像データとしての第1画像データＧ１、第２画像データＧ２および第３画像データＧ３の各々は、その第１〜第３の撮影装置で撮影されたそれぞれの画像を示している。監視対象画像撮影装置２は、撮影された複数の画像データをコンピュータ５へ送信する。

コンピュータ５は、送信された複数の画像データに基づいて、一つの基準画像データＧ０を生成する。また、顔画像撮影装置３は観察者１０の顔画像を撮影してその顔画像データをコンピュータ５に送信する。コンピュータ５は、受信した顔画像データに応答して所定の演算を実行し、顔正面点Ｐを算出する。

コンピュータ５は、基準画像データＧ０と顔正面点Ｐとに基づいて、表示画像データを生成して画像表示装置４に送信する。図２の例では、コンピュータ５は、基準画像データＧ０と顔正面点Ｐとから、観察者１０が第1画像データＧ１に注目していると判断する。コンピュータ５は、第1画像データＧ１を高解像度や表示領域を大きくして表示できるような表示画像データを生成する。このとき、第２画像データＧ２および第３画像データＧ３は低解像度や狭い表示領域となる。コンピュータ５は、生成された表示画像データを画像表示装置４に送信する。画像表示装置４は、受信した表示画像データに基づいて、第1画像データＧ１が拡大表示（高解像度表示）されている表示画像４０を表示画面に表示する。観察者１０は、表示された表示画像４０によって、観察者１０個人の視野の範囲を超える範囲に存在する観察対象の観察を実行することが可能になる。

以下に、本発明の画像表示システムの実施の形態について、より詳細に説明する。図３は、本発明の画像表示システムの実施の形態の詳細な構成を示すブロック図である。図１の説明で述べたように、本実施の形態の画像表示システム１は、監視対象画像撮影装置２、顔画像撮影装置３、画像表示装置４、およびコンピュータ５を備えている。以下の説明では、前述の図１の構成と同様な部分に関しては詳細な説明を省略する。監視対象画像撮影装置２は、複数の撮影装置（２−１〜２−ｎ）で構成されている。監視対象画像撮影装置２は、複数の撮影装置（２−１〜２−ｎ）をそれぞれ任意の位置に設置することで、広範囲の監視や多視点からの監視を実行することが可能になる。

コンピュータ５は、ＣＰＵ６とメモリ７と記憶装置８とを備えている。コンピュータ５は、ネットワーク（図示されず）に接続されていても良い。ＣＰＵ６、メモリ７、及び記憶装置８は、バス９を介して互いに接続されている。ＣＰＵ６は、コンピュータ５に少なくとも一つ備えられている演算処理装置である。ＣＰＵ６は、コンピュータ５に内蔵または外付けされている装置の制御を行うための命令や、入力されたデータに対する演算処理を実行して、その演算処理結果を出力する。

メモリ７は、コンピュータ５に備えられている情報記憶装置である。メモリ７は、ＲＡＭのような半導体記憶装置に例示される。ＣＰＵ６からの命令に応答して所定のデータを記憶する。記憶装置８は、コンピュータ５に備えられている大容量記憶装置である。記憶装置８は、ＨＤＤに例示され、不揮発性の記憶領域を有する。本実施の形態に用いられる電子データ（１１〜１４）やコンピュータプログラム（２１〜２４）を格納している。

記憶装置８に格納された電子データは、表示装置データ１１、顔画像撮影装置データ１２、顔姿勢初期データ１３およびレイアウトデータ１４を含む。表示装置データ１１、顔画像撮影装置データ１２、顔姿勢初期データ１３およびレイアウトデータ１４の各々は、画像表示システム１の動作を実行するために使用される。

表示装置データ１１は、画像表示装置４に関する情報を示すデータである。そのデータは、画像を表示画面に表示するために必要な、画像表示装置４の表示画面サイズや表示可能解像度などの情報に例示される。

顔画像撮影装置データ１２は、顔画像撮影装置３の設置位置を示すデータである。そのデータは、顔画像撮影装置３で撮影された画像データから顔姿勢データ（観察者１０の視線方向を特定するためのデータ）を算出するために必要な、顔画像撮影装置３の設置位置に関する情報に例示される。

顔姿勢初期データ１３は、顔姿勢データを算出するために使用される初期データである。そのデータは、観察者１０が画像表示装置４の表示画面の左隅を注視している顔画像データを顔姿勢初期データ１３に例示される。予め顔姿勢初期データ１３を格納しておくことで、顔正面点Ｐの算出に要する情報処理量を低減することが可能になる。観察者１０と画像表示装置４の特定点との相対的な距離を顔姿勢初期データ１３として格納しても良い。

レイアウトデータ１４は、監視対象画像を画像表示装置４に表示する場合の表示レイアウトに関するデータである。監視対象の画像（広範囲画像または多視点画像）は、監視対象画像撮影装置２で撮影された画像をコンピュータ５で画像処理を実行することで生成される。コンピュータ５は、生成された監視対象画像を画像表示装置４に表示する場合、顔正面点Ｐに対応する領域を特定する。コンピュータ５は、その特定された領域を高解像で表示可能なように表示データを生成する。したがって、レイアウトデータ１４に設定を変更することで、画像表示装置４での表示形態を任意に変更することが可能になる。

記憶装置８に格納されたコンピュータプログラムは、基準画像データ生成プログラム２１、顔姿勢データ生成プログラム２２、顔正面点検出プログラム２３および表示画像データ生成プログラム２４を含む。基準画像データ生成プログラム２１、顔姿勢データ生成プログラム２２、顔正面点検出プログラム２３および表示画像データ生成プログラム２４の各々は、画像表示システム１の動作を実行するために使用される。

基準画像データ生成プログラム２１は、監視対象画像撮影装置２から送信された監視対象の画像データ（例示：図２のＧ１〜Ｇ３）に基づいて、表示画像データ生成のための基準となる基準画像データ（例示：図２のＧ０）を生成する。例えば、基準画像データ生成プログラム２１は、複数の撮影装置（２−１〜２−ｎ）で撮影された画像にオーバーラップが存在しているとき、オーバーラップのないシームレスな画像に対応する基準画像データを生成する。

顔姿勢データ生成プログラム２２は、顔画像撮影装置３から送信された顔画像データと顔姿勢初期データ１３と表示装置データ１１とに基づいて、観察者１０に関する現在の顔姿勢データ（観察者１０の視線方向を特定するためのデータ）を生成する。

顔正面点検出プログラム２３は、顔姿勢データ生成プログラム２２で生成された顔姿勢データと表示装置データ１１と顔画像撮影装置データ１２とに基づいて、画像表示装置４の表示画面上の顔正面点Ｐを算出する。

表示画像データ生成プログラム２４は、基準画像データ生成プログラム２１で生成された基準画像データと顔正面点検出プログラム２３で算出された顔正面点Ｐとレイアウトデータ１４とに基づいて、表示画像データを生成する。

なお、本発明の作用効果を得るために、必ずしも上述の各データや各プログラムが全て要求されることは無い。例えば、より高性能なコンピュータ５を使用している場合などでは、顔姿勢データ生成プログラム２２がレイアウトデータ１４を使用せずに表示画像データを生成する構成であってもよい。その場合でも、本発明の作用効果に影響はない。

次に、本発明の画像表示システムの実施の形態の動作について説明する。図４は、本発明の画像表示システムの実施の形態の動作を示すフローチャートである。以下の動作において、必要とされるデータは記憶装置８に予め格納されているとして説明する。

画像表示システム１が起動され、画像表示装置４が監視対象画像を表示する。表示されている画像は、監視対象画像撮影装置２によって所定の時間間隔で連続的に撮影され、コンピュータ５で所定の画像処理が実行された基準画像データである。基準画像データは、連続的に更新されている。観察者１０は、その表示されている画像を肉眼で見る。

ステップＳ１０１において、顔画像撮影装置３は、観察者１０の顔画像を撮影する。この撮影が実行される時間間隔は、観察者１０の顔正面点移動を十分に検出できる程度に短い間隔で行われる。顔画像撮影装置３は、撮影された顔画像を顔画像データとしてデータ処理可能な形式に形式変換して、ネットワークを介してコンピュータ５に送信する。

ステップＳ１０２において、コンピュータ５は、顔画像撮影装置３から送信される顔画像データに応答して、顔姿勢データ生成プログラム２２を起動する。コンピュータ５のＣＰＵ６は、顔姿勢データ生成プログラム２２の起動に応答して、顔姿勢初期データ１３と表示装置データ１１とを読み込む。そして、顔姿勢初期データ１３と顔画像データと表示装置データ１１とに基づいて、観察者１０の現在の顔姿勢データを算出する。この処理を行う技術の一例として、「『３Ｄアピアランスモデルを用いた高速・高精度な顔姿勢推定』（２００４年 電子情報通信学会総合大会論文集 Ｄ−１２−９９）」に記載の顔姿勢推定技術を利用可能である。この顔姿勢推定技術を顔姿勢データ生成プログラム２２に含ませることにより、顔画像撮影装置３に対する観察者１０の顔姿勢を算出できる。したがって、顔画像撮影装置３と画像表示装置４と間の位置関係を予め求めておくことにより、画像表示装置４に対する観察者１０の顔姿勢データを演算で求めることができる。コンピュータ５は顔姿勢データの算出完了に応答してステップＳ１０３の処理に進む。

ステップＳ１０３において、コンピュータ５は顔正面点検出プログラム２３を起動する。コンピュータ５のＣＰＵ６は、顔正面点検出プログラム２３の起動に応答して、更に、顔画像撮影装置データ１２を読み込む。そして、顔姿勢データと表示装置データ１１と顔画像撮影装置データ１２とに基づいて、顔正面点Ｐを特定する。コンピュータ５は顔正面点Ｐの特定完了に応答してステップＳ１０３の処理に進む。

ステップＳ１０４において、コンピュータ５は、表示画像データ生成プログラム２４を起動する。コンピュータ５のＣＰＵ６は、表示画像データ生成プログラム２４の起動に応答して、監視対象画像撮影装置２が撮影しコンピュータ５で画像処理された基準画像データと顔正面点Ｐとレイアウトデータ１４とに基づいて表示画像データを生成する。表示画像データは、顔正面点Ｐに対応する表示領域（高解像度表示領域）に高解像度画像が表示されるように生成されている。コンピュータ５は、表示画像データの生成完了に応答してステップＳ１０５の処理に進む。

ステップＳ１０５において、ステップ１０４の実行の間に顔正面点Ｐが移動したかどうかの判断が実行される。例えば、ステップＳ１０３のようなプロセスを再実行し、前回特定した顔正面点と今回特定した顔正面点とが同じであれば、移動していないと判定する。その判断の結果、顔正面点の移動が検出されなかった場合（ステップＳ１０５：ＮＯ）、コンピュータ５は、ステップＳ１０４で生成された表示画像データを、ネットワークを介して画像表示装置４へ送信する。表示画像データ生成後に、顔正面点移動を検出した場合（ステップＳ１０５：ＹＥＳ）、処理はステップＳ１０６に進む。

ステップＳ１０６において、コンピュータ５は、検出された移動後の顔正面点Ｐ（ステップＳ１０５で算出したもの）に関するデータ（以下、顔正面点データという）の読み込みを実行する。顔正面点データとしては、画像表示装置４の画面内の座標に例示される。

ステップＳ１０７において、コンピュータ５は、顔正面点データの読み込み完了に応答して、表示画像データ（ステップＳ１０４で生成されたもの）の読み込みを実行する。顔正面点データと表示画像データの各々の読み込み完了に応答して、処理はステップＳ１０８に進む。

ステップＳ１０８において、コンピュータ５は顔正面点Ｐが、読込んだ表示画像データの高解像度表示領域に対応しているかどうかの判断を実行する。その判断の結果、現在の表示画像データに対応させた場合、高解像度で画像が表示される領域（高解像度表示領域）と顔正面点Ｐとが対応していなかった場合（ステップＳ１０８：ＹＥＳ）、処理はステップＳ１０１に戻り、新たな表示画像データの生成が行われる。ステップＳ１０８で顔正面点Ｐは移動していたけれども、高解像度で画像が表示される領域から外れていなかった場合（ステップＳ１０８：ＮＯ）、コンピュータ５は、ステップＳ１０４で生成された表示画像データをネットワークを介して画像表示装置４に送信し、処理はステップＳ１０９に進む。

ステップＳ１０９において、画像表示装置４は、コンピュータ５から送信された表示画像データを受信し、その表示画像データに対応する画像を表示画面に表示する。この動作を繰り返すことで、画像表示システム１は、観察者１０の顔正面点移動に追従して観察者１０が注目している箇所に対応する領域を自動的に高解像度で表示することができる。

なお、上記動作において、ステップＳ１０５〜ステップＳ１０８を省略することも可能である。その場合、画像表示の実行、更新がより迅速になる。

次に、本発明の画像表示システムの具体的な利用について説明する。図５は、画像表示システム１を車両の運行に適用した場合の構成を示す図である。車両３０は、画像表示システム１を備えている移動体である。図５は、その車両３０が交差点Ｐに侵入する様子を示している。図５を参照すると、車両３０の左前近傍に二輪車Ｂ１が走行し、車両３０の進行方向に対して右前方の道路に自動車Ｃ１が存在している。車両３０には、監視対象画像撮影装置２（２−１〜２−３）と顔画像撮影装置３と画像表示装置４とコンピュータ５とが備えられている。また、観察者１０（車両３０の運転者）は、画像表示装置４の表示されている画像を見ながら車両の運行を行っている。第1画像撮影装置２−１は視野Ｒ１に対応する範囲の外部画像を撮影している。第２画像撮影装置２−２は視野Ｒ２に対応する範囲の外部画像を撮影している。第３画像撮影装置２−３は視野Ｒ３に対応する範囲の外部画像を撮影している。顔画像撮影装置３は、車両３０内部に設置され、観察者１０の顔画像を常時撮影している。

第1画像撮影装置２−１〜第３画像撮影装置２−３は、撮影した外部画像を電子データ化する。そして、コンピュータ５で情報処理が可能な形式に形式変換して、車両３０内部のネットワーク（図示されず）を介してコンピュータ５に送信する。同様に、顔画像撮影装置３は、撮影した顔画像を電子データ化する。そして、コンピュータ５で情報処理が可能な形式に形式変換して、ネットワークを介してコンピュータ５に送信する。コンピュータ５は受信した外部画像データと顔画像データとに基づいて画像処理を実行し、表示画像データを生成する。生成された表示画像データは、上述のネットワークを介して画像表示装置４に送信される。

図６は、第1画像撮影装置２−１〜第３画像撮影装置２−３で撮影された外部画像データを例示する図である。第1画像データＧ１は第1画像撮影装置２−１で撮影された画像データを示している。同様に第２画像Ｇ２データは第２画像撮影装置２−２で撮影された画像データを示し、第３画像データＧ３は、第３画像撮影装置２−３で撮影された画像データを示している。

図７は、上述の第1画像データＧ１〜第３画像データＧ３から表示画像データ４０（４０ａ、４０ｂ）を生成する動作を示した図である。基準外部画像データＧ０は、第1画像データＧ１〜第３画像データＧ３に基づいて生成された基準画像データである。図７に示されている基準画像データＧ０は、各画像データ（Ｇ１〜Ｇ３）を結合させて生成され、各々の画像データ（第1画像データＧ１〜第３画像データＧ３）の相対位置を特定している。なお、基準画像データＧ０の情報量を低減するために、各画像（Ｇ１〜Ｇ３）の横方向サイズを所定の比率で縮小した基準画像データＧ０を生成しても良い。生成された基準画像データＧ０は、顔正面点Ｐが検出されていない場合に画像表示装置４で表示される。システムが動作し、顔正面点Ｐの検出が実行されると、顔正面点データ５０が生成される。顔正面点データ５０は、本発明の理解を容易にするために、基準画像データＧ０に対応して顔正面点Ｐを示しているが、実際の顔正面点データは画面上の座標を示す数値データであっても良い。

ここで、観察者１０の顔正面点Ｐが、図７に示されているように座標（５０、５０）で示される位置である場合、コンピュータ５はその座標で示される点に対応する領域を算出する。そしてコンピュータ５は、算出された領域と顔正面点データ５０とに基づいて、上述の第1画像データＧ１に対応する画像Ｇ１ａが高解像度で表示可能なように表示画像データを生成する。生成された表示画像データはネットワークを介して画像表示装置４に出力される。画像表示装置４は、コンピュータ５から供給された表示画像データに基づいて表示画像４０ａを画面に表示する。

観察者１０が視線を移動させたことにより、顔正面点Ｐの位置が表示画像Ｇ１ａの領域に存在しないと判断される場合を考える。コンピュータ５は、顔画像撮影装置３から送信される顔画像データに基づいて、観察者１０の顔正面点移動を監視している。図７に示されているように、観察者１０が視線を移動したことで顔正面点データ５０の顔正面点Ｐの座標が、顔正面点Ｐ（５、２５）を示した場合（以下、その顔正面点Ｐを“新たな顔正面点Ｐ”と呼ぶ。）、コンピュータ５は、その新たな顔正面点Ｐが表示画像Ｇ１ａの領域に存在していないと判断する。

コンピュータ５は、その判断結果に対応して、上記の新たな顔正面点Ｐの座標（顔正面点Ｐ（５、２５））と画像表示装置４に出力している表示画像データとから、上述の第２画像データＧ２に対応する画像Ｇ２ａが高解像度で表示可能なように、新たな表示画像データを生成する。生成された新たな表示画像データはネットワークを介して画像表示装置４に出力される。画像表示装置４は、コンピュータ５から供給された新たな表示画像データに基づいて新たな表示画像４０ｂを画面に表示する。

したがって、観察者１０が顔を少し動かすだけで注目部分の画像が指定され、観察者１０は、指定された領域の画像を高解像度で見ることができる。本発明を車両運行に用いることにより、観察者１０（車両の運転者）の前方および左右の映像を死角を低減させることが可能になる。例えば、観察者１０が、車両３０を左折させる場合、左側に併走する二輪車Ｂ１の巻き込みを確認しなければならない。通常では観察者１０は左の二輪車Ｂ１を目視するために顔を回転しなければならない。走行中に左の目視を実行することにより、前方不注意になる場合あり、また、左の目視を忘れて事故原因となることも多い。また、左側の二輪車Ｂ１に気をとられていると右側から来る自動車Ｃ１を見落とす可能性がある。

しかし、本発明によれば、正面向きの状態でも全体を目視可能な範囲に画像を表示する画像表示装置４に、左の二輪車Ｂ１から右の自動車Ｃ１までを含む広視野の画像が表示されている。したがって観察者１０は、交差点周囲の状況を迅速に、かつ、容易に判断することができる。状況判断を正確行い、二輪車Ｂ１までの相対距離や二輪車Ｂ１大きさを確認するためには、第２画像データＧ２が高解像度で表示される必要がある。表示画像Ｇ１ａを見ている観察者１０が、表示画像Ｇ１ａに表示されている二輪車Ｂ１存在に気がついた場合、顔を２０〜３０度（あるいはそれ以下の角度）動かすだけで、走行中に左の目視を実行した場合と同様の画像を見ることができる。また、右側の自動車Ｃ１も低解像度ながら常に表示されているため見落とす可能性が少なく、二輪車Ｂ１確認中もその存在に気づくことができる。

なお、上記の説明では、本発明の画像表示システムを道路を走行する自動車に適用した場合について述べているが、これは、本発明の画像表示システムを適用する移動体を地上を走行する車両に限定するものではない。例えば、上記の画像表示システムと同様の構成を水上を航行する船舶などに備えることも可能である。

本発明は、広域監視システム（複数の異なる場所に設置された監視カメラの画像を監視員が監視するシステム）に適用する場合においても、その効果を発揮する。図８は、本実施の形態を広域監視に適用した場合の構成を示す概念図である。図８に示されているように、この広域監視システムは、異なる地点を撮影する複数の撮影装置（２−１〜２−６）と、顔画像撮影装置３と、画像表示装置４と、コンピュータ５で構成されている。以下の説明において、前述した装置と同じ符号が付されている各装置は、前述のものと同様の構成を有しているものとし、その詳細な説明は省略する。

図８に示されているように、複数の撮影装置（２−１〜２−６）の各々は、一例として６箇所の異なる場所を撮影する６台の監視カメラで構成されている。各々の撮影装置は、ネットワーク（図示されず）を介してコンピュータ５に接続されている。複数の撮影装置（２−１〜２−６）は、それぞれの地点の様子を撮影した所定の画素の画像データを生成し、ネットワークを介してコンピュータ５出力する。また、顔画像撮影装置３および画像表示装置４も、そのネットワークを介してコンピュータ５に接続されている。観察者１０は、画像表示装置４に表示されている画像を観察する人物である。

顔画像撮影装置３は、観察者１０の顔を撮影する顔画像撮影装置である。顔画像撮影装置３は、上述のネットワークを介して、コンピュータ５と、画像表示装置４とに接続されている。顔画像撮影装置３によって撮影された観察者１０の顔画像は、顔画像データに変換されてコンピュータ５に入力される。コンピュータ５は顔画像撮影装置３から供給された該顔画像データに基づいて観察者１０の顔正面点Ｐを検出して顔正面点データを生成する。

図９は、広域監視システムに本発明を適用した場合の動作を示す概念図である。各撮影地点に設置された撮影装置（２−１〜２−６）は、その撮影画像を電子データに変換してコンピュータ５に送信する。コンピュータ５は送信された画像データをネットワークを介して受信し、その受信に応答して基準画像データ生成プログラム２１を起動する。コンピュータ５は、起動した基準画像データ生成プログラム２１を実行することで基準画像データを生成する。その基準画像データは、第1画像撮影装置２−１〜２−６から送信される画像を低解像度化して並べ、画像表示装置４で表示可能な１枚の画像に統合することによって生成される。

また、コンピュータ５は、顔画像撮影装置３から送信された顔画像データに基づいて顔姿勢データを生成する。生成される顔画像データは、顔姿勢データ生成プログラム２２を実行することによって生成される。コンピュータ５は、顔姿勢データ生成プログラム２２によって検出された顔姿勢データと、表示装置データ１１の画面の位置情報を用いて、顔正面点Ｐ（顔の正面に位置する画面上の点）の位置を決定し、顔正面点Ｐとして出力する。さらに、顔正面点Ｐを含む領域に表示される監視カメラ画像の解像度を高くし、その他の監視カメラ画像の解像度を下げることによって表示画像データを生成する。

上記の動作を具体的に説明する。広域監視システムを構成している第1画像撮影装置２−１〜第６画像撮影装置２−６は、異なる地点の画像データＧ１〜画像データＧ６を撮影する。撮影された各々の画像データ（Ｇ１〜Ｇ６）は、ネットワークを介してコンピュータ５に送信される。ここで、送信される各々の画像データの画素が３６０×２４０画素であるとし、画像表示装置４の表示可能画素サイズが３６０×２４０画素であるとする。

コンピュータ５は、基準画像データ生成プログラム２１を実行し、第1画像撮影装置２−１〜第６画像撮影装置２−６で撮影された画像を、図９の表示画像４０ｃに示されているように、１２０×８０画素の領域５つ（領域４２〜領域４６）と、約その２倍の解像度となる２４０×１６０画素の領域（領域４１）ひとつに分割する。システムが動作を開始した時点（初期状態）では、コンピュータ５は、表示画像４０ｃのように領域４１を２４０×１６０画素、領域４２〜領域４６を１２０×８０画素の領域に割り当てて画像表示装置４に表示させている。

システムが動作している場合、コンピュータ５は、顔画像撮影装置３を用いて観察者１０の顔画像を撮影し続ける。コンピュータ５は顔姿勢データ生成プログラム２２を実行し、顔画像撮影装置３から送信される顔画像データに基づいて、観察者１０の顔の３次元的な位置および向きを検出する。さらにコンピュータ５は、顔姿勢データ生成プログラム２２を実行することによって算出される顔姿勢データと表示装置データ１１と顔画像撮影装置データ１２を用いて、顔正面点Ｐ（顔の位置から顔の向きに伸ばした直線と画像表示装置４の画面の交わる点）を顔正面点Ｐとして決定する。

ここでコンピュータ５は、その顔正面点Ｐが領域４１〜領域４６のどの領域に含まれているかを判定し、顔正面点Ｐが含まれる領域を２４０×１６０画素の領域となるように新たな表示画像データを生成する。システム起動時点以外は、前回表示を行った時点での表示画像データに基づき、顔正面点Ｐがどの領域にあるかを判別する。例えば、顔正面点Ｐが領域４６の領域内である場合、コンピュータ５は、表示画像４０ｄに示されているように、領域４６を左下の２４０×１６０画素の領域として表示画像データを生成する。その表示画像データにおいて、領域４１〜領域４５を１２０×８０画素の領域とする。つまり、画像表示装置４で表示される監視対象画像は、画像データＧ１〜画像データＧ６をそれぞれ領域領域４１〜領域４６の解像度に変更して表示画像データが表示される。

上述の例では、解像度の拡大量を２倍で一定であるとしたが、これはレイアウトデータ１４の設定を変更することで任意に変更可能である。特に、顔の位置がディスプレイに近くなった場合に大きくし、遠くなった場合に小さくする、などの処理を行うことにより、視聴者が解像度の変化量を必要に応じて変えることも可能である。

このように広域監視システムに本発明を適用することによって、監視員は一度に複数地点を常時監視することができ、かつ、異常が発生した疑いがある地点を表示している画像を、視線に追従するように拡大表示させることができる。本発明により、観察者１０は、スイッチ操作などを行わなくても顔をすこし動かすだけで、対象領域を高解像で表示させて確認することができるため、以上発生時に迅速に対応することができる。また、本発明により、観察者１０は、特別な装置を装着することなく広域監視を実行することができる。

Claims (21)

1. 画像表示装置と、
   前記画像表示装置で表示される表示画像の表示画像データを生成する画像生成装置と、前記表示画像は複数の領域を有し、
   前記表示画像を見るヒトの顔画像を撮影する顔画像撮影装置と、
   前記顔画像から顔画像データを生成し、前記顔画像データに基づいて前記表示画像上における前記ヒトの顔の正面に位置する点としての顔正面点を検出する顔正面点検出装置と
   を備え、
   前記画像生成装置は、前記複数の領域から前記顔正面点に対応する特定領域を特定して、前記特定領域に対応する画像が提供する情報量を増加させて前記表示画像データを生成する
   画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記顔正面点検出装置は、新たな顔正面点を検出し、
   前記画像生成装置は、前記新たな顔正面点が前記特定領域から遷移した場合、新たな領域を特定し、前記新たな領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成する
   画像表示システム。
3. 請求項１または２に記載の画像表示システムにおいて、
   前記画像生成装置は、画像が提供する情報量の増加を、前記画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行う
   画像表示システム。
4. 請求項１から３の何れか1項に記載の画像表示システムにおいて、
   前記画像生成装置は、画像が提供する情報量の増加を、前記画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行う
   画像表示システム。
5. 請求項１から４の何れか1項に記載の画像表示システムにおいて、
   前記画像生成装置は、前記ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を前記表示画像に構成し、
   前記画像表示装置は、前記広範囲画像で構成された前記表示画像データを、前記複数の領域に対応させ前記ヒトの視界の範囲内に入るように表示する
   画像表示システム。
6. 請求項５に記載の画像表示システムにおいて、
   前記画像生成装置は、前記広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、前記表示画像に合成し、
   前記画像表示装置は、前記ヒトの視界の範囲内に入るように、前記複数の領域に対応して前記表示画像データを表示する
   画像表示システム。
7. 請求項１から６の何れか1項に記載の画像表示システムにおいて、
   前記画像生成装置は、情報記憶部を有し、
   前記情報記憶部は、前記画像表示装置の情報を示す表示装置データと、前記顔画像撮影装置の情報を示す顔画像撮影装置データを記憶し、
   前記顔正面点検出装置は、前記顔画像に基づいて３次元画像処理を実行して前記顔画像データを生成し、前記顔画像データと前記表示装置データおよび前記顔画像撮影装置データに基づいて前記顔正面点を検出する
   画像表示システム。
8. （ａ）画像表示装置で表示される表示画像の表示画像データを生成するステップと、前記表示画像は複数の領域を有し、
   （ｂ）前記表示画像を見るヒトの顔画像を撮影するステップと、
   （ｃ）前記顔画像から顔画像データを生成し、前記顔画像データに基づいて前記表示画像上における前記ヒトの顔の正面に位置する点を前記ヒトの顔正面点として検出するステップと、
   （ｄ）前記複数の領域から前記顔正面点に対応する特定領域を特定して、前記特定領域に対応する画像が提供する情報量を増加させて前記表示画像データを生成するステップと、
   （ｅ）前記表示画像データを前記画像表示装置で表示するステップと
   を具備する
   画像表示方法。
9. 請求項８に記載の画像表示方法において、
   （ｆ）新たな顔正面点を検出するステップと、
   （ｇ）前記新たな顔正面点が前記特定領域から遷移した場合、新たな特定領域を特定し、前記新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップと
   をさらに具備する
   画像表示方法。
10. 請求項８または９に記載の画像表示方法において、
    画像が提供する情報量の増加は、前記画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行う
    画像表示方法。
11. 請求項８から１０の何れか1項に記載の画像表示方法において、
    画像が提供する情報量の増加は、前記画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行う
    画像表示方法。
12. 請求項８から１１の何れか1項に記載の画像表示方法において、
    前記（ａ）ステップは、
    （ａ１）前記ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を前記表示画像に構成するステップを備え、
    前記（ｅ）ステップは、
    （ｅ１）前記広範囲画像で構成された前記表示画像データを、前記複数の領域に対応させ前記ヒトの視界の範囲内に入るように表示するステップを備える
    画像表示方法。
13. 請求項１２に記載の画像表示方法において、
    前記（ａ１）ステップは、
    （ａ１１）前記広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、前記表示画像に合成するステップを備え、
    前記複数の領域の各々は、前記複数の画像の各々に対応し、
    前記（ｅ１）ステップは、
    （ｅ１１）前記ヒトの視界の範囲内に入るように、前記複数の領域に対応して前記表示画像データを表示するステップを備える
    画像表示方法。
14. 請求項８から１３の何れか1項に記載の画像表示方法において、
    前記（ｃ）ステップは、
    （ｃ１）前記画像表示装置の情報を示す表示装置データと、前記顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、
    （ｃ２）前記顔画像に基づいて３次元画像処理を実行して前記顔画像データを生成し、前記顔画像データと前記表示装置データおよび前記顔画像撮影装置データに基づいて前記顔正面点を検出するステップと
    を備える
    画像表示方法。
15. （ｈ）画像表示装置で表示される表示画像の表示画像データを生成するステップと、前記表示画像は複数の領域を有し、
    （ｉ）前記表示画像を見るヒトの顔画像から顔画像データを生成し、前記顔画像データに基づいて前記表示画像上における前記ヒトの顔の正面に位置する点を前記ヒトの顔正面点として検出するステップと、
    （ｊ）前記複数の領域から前記顔正面点に対応する特定領域を特定して、前記特定領域に対応する画像が提供する情報量を増加させて前記表示画像データを生成するステップと、
    （ｋ）前記表示画像データを前記画像表示装置へ出力するステップと
    を具備する法をコンピュータで実行可能なプログラム。
16. 請求項１５に記載のプログラムにおいて、
    （ｌ）新たな顔正面点を検出するステップと、
    （ｍ）前記新たな顔正面点が前記特定領域から遷移した場合、新たな特定領域を特定し、前記新たな特定領域に対応する画像が提供する情報量を増加させて新たな表示画像データを生成するステップと
    をさらに具備するプログラム。
17. 請求項１５または１６に記載のプログラムにおいて、
    画像が提供する情報量の増加は、前記画像表示装置で表示されるときの画像の表示サイズを相対的に大きくすることで行う
    プログラム。
18. 請求項１５から１７の何れか1項に記載のプログラムにおいて、
    画像が提供する情報量の増加は、前記画像表示装置で表示されるときの画像の解像度を、相対的に高くすることで行う
    プログラム。
19. 請求項１５から１８の何れか1項に記載のプログラムにおいて、
    前記（ｈ）ステップは、
    （ｈ１）前記ヒトの視界の範囲を超える範囲の画像を撮影する広範囲撮影装置で撮影された広範囲画像を前記表示画像に構成するステップを備え、
    前記（ｋ）ステップは、
    （ｋ１）前記広範囲画像で構成された前記表示画像データが、前記複数の領域に対応させ前記ヒトの視界の範囲内に入るように表示されるように、前記表示画像データを前記画像表示装置へ出力するステップを備える
    プログラム。
20. 請求項１９に記載のプログラムにおいて、
    前記（ｈ１）ステップは、
    （ｈ１１）前記広範囲撮影装置としての複数の撮影装置で撮影された複数の画像を、前記表示画像に合成するステップを備え、
    前記複数の領域の各々は、前記複数の画像の各々に対応し、
    前記（ｋ１）ステップは、
    （ｋ１１）前記ヒトの視界の範囲内に入り、前記複数の領域に対応して前記表示画像データを表示されるように、前記表示画像データを前記画像表示装置へ出力するステップを備える
    プログラム。
21. 請求項１５から２０の何れか1項に記載のプログラムにおいて、
    前記（ｉ）ステップは、
    （ｉ１）前記画像表示装置の情報を示す表示装置データと、前記顔画像を撮影する顔画像撮影装置の情報を示す顔画像撮影装置データを読み出すステップと、
    （ｉ２）前記顔画像に基づいて３次元画像処理を実行して前記顔画像データを生成し、前記顔画像データと前記表示装置データおよび前記顔画像撮影装置データに基づいて前記顔正面点を検出するステップと
    を備える
    プログラム。

Images