JP5017382B2 - 画像表示装置、画像加工方法、および、プログラム - Google Patents

Description

本発明は、表示部を透過したかのように見える画像を、観察者の位置に応じて適切に表示することのできる画像表示装置、画像加工方法、および、プログラムに関する。

近年、ノート型のパソコン（パーソナルコンピュータ）等において、カメラ（ＣＣＤ等の撮像ユニット）を備えた製品が販売されている。このカメラは、例えば、表示部（液晶等のディスプレイ）を支える枠の上部や下部に組み込まれており、ユーザの顔等を撮影可能となっている。
このようなカメラは、例えば、ビデオチャット等を行う際に使用される。つまり、所定のネットワークを介して接続された各パソコンにおいて、カメラで撮影される自身の顔画像が相互に送られるため、各ユーザは相手の顔（表情）を見ながら、チャットを行うことができるようになっている。

最近では、携帯型のゲーム装置等にも、このようなカメラが組み込まれている製品が販売されている。また、最初からカメラが組み込まれていなくとも、周辺機器のカメラをプレイヤが取り付けて使用できるゲーム装置も知られている。

このようなカメラを用いたゲーム装置において、プレイヤの運動（動き）を撮影し、この運動に基づいてゲームキャラクタを動作させることのできる技術も開示されている（例えば、特許文献１参照）。

特開平７−１８５１３１号公報 （第３−７頁、第１図）

上述したようなゲーム装置では、長時間に渡る連続プレイを防止するために、例えば、プレイ時間が一定時間を超えると一旦ゲームを中断し、ゲームとは異なる画像を表示部に表示するなどして、プレイヤに休憩を促すといった試みもなされている。その際に、ゲーム装置の存在を薄れさせるような画像を表示部に表示できたならば、より効果的に休憩を促すことが期待される。
例えば、カメラにより撮影した前方の風景画像等を表示部に表示することで、その表示部を透明なガラスのように思わせて、ゲーム装置の存在を薄れさせる等である。具体的には、図１５（ａ）の側面図にて示すように、ゲーム装置Ｇの外側に向けたカメラＣから前方（表示部Ｄを基準とした背面方向）を撮影する。この場合、図１５（ｂ）に示すような風景画像ＦＧが撮影される。そして、ゲーム装置Ｇは、この風景画像ＦＧを表示部Ｄに適宜表示する。これにより、プレイヤ（観察者）には、図１５（ｃ）に示すように、風景画像ＦＧが、周囲の風景と連続し、あたかも透明なガラス等によって、表示部Ｄを透過したかのように見える。このような風景画像ＦＧを表示することにより、ゲーム装置Ｇの存在が薄れ、プレイヤは、気持ちを切り換えて、休憩をとりやすくなる。

しかしながら、図１５（ｃ）に示すような表示部Ｄを透過したかのように見える風景画像ＦＧは、プレイヤが予め定められた固定位置から表示部Ｄを眺めた場合を想定している。具体的には、プレイヤが表示部Ｄの真正面から一定距離を隔てた固定位置にいて、そこから表示部Ｄを眺めた場合に限り、風景画像ＦＧが表示部Ｄを透過したかのように見える。
そのため、実際のプレイヤの位置がそのような固定位置と異なっていると、そのプレイヤには、表示される風景画像ＦＧが単に風景を映した画像としか見えないことになる。つまり、プレイヤが、表示部Ｄの真正面にいない場合や、真正面にいたとしても、固定位置よりも近すぎたり又は遠すぎたりする場合には、風景画像ＦＧとその周囲の風景との連続性が極端に低下してしまい、その風景画像ＦＧが表示部Ｄを透過したかのようには見えなくなってしまうという問題があった。

このようなことから、固定位置に限らず、より広範囲に渡って、プレイヤの自由な位置から表示部を透過したかのように見える風景画像等を適切に表示できるゲーム装置（画像表示装置）の開発が求められていた。

本発明は、上記実状に鑑みてなされたもので、表示部を透過したかのように見える画像を、観察者（プレイヤ等）の位置に応じて適切に表示することのできる画像表示装置、画像加工方法、および、プログラムを提供することを目的とする。

本発明の第１の観点に係る画像表示装置は、画像を表示するための表示部と、当該表示部を基準として一定方向を撮影するための撮影部とを有する画像表示装置であって、画像取得部、検出部、画像加工部、及び、表示制御部を備えて構成される。

まず、画像取得部は、例えば、表示部を基準とした背面方向を撮影する撮影部により撮影された画像（例えば、風景画像）を取得する。また、検出部は、表示部を観察する観察者（プレイヤ等）の位置（例えば、表示部を基準とした相対位置）を検出する。画像加工部は、検出された当該観察者の位置と撮影部による撮影方向との関係に基づいて、当該画像を加工する。例えば、画像加工部は、観察者の位置から表示部を結ぶ視線方向と撮影部の撮影方向（光軸方向）との関係から、撮影された画像を観察者の座標系に変換するなどの加工を行う。そして、表示制御部は、加工された当該画像を表示部に表示する。

すなわち、本願発明では、観察者の位置から表示部への方向（例えば、視線方向）に合わせるように、撮影した画像を観察者の座標系に変換する加工を行う。そして、加工した画像を表示部に表示する。このため、観察者からは、表示される画像が、周囲の風景と連続しており、あたかも表示部を透過したかのように見える。
この結果、表示部を透過したかのように見える画像を、観察者の位置に応じて適切に表示することができる。

本発明の第２の観点に係る画像表示装置は、画像を表示するための表示部と、第１の方向（例えば、当該表示部を基準とした背面方向）を撮影するための第１の撮影部と、当該第１の方向と異なる第２の方向（例えば、当該表示部を基準とした前面方向）を撮影するための第２の撮影部とを有する画像表示装置であって、画像取得部、検出部、算定部、画像加工部、及び、表示制御部を備えて構成される。

まず、画像取得部は、第１の撮影部により撮影された第１の画像（例えば、風景画像）及び、第２の撮影部により撮影された第２の画像（例えば、検出用画像）をそれぞれ取得する。また、検出部は、取得された当該第２の画像に基づいて、表示部を観察する観察者の存在を検出する。例えば、検出部は、検出用画像から、人の顔面部を認識して観察者の存在を検出する。
また、算定部は、検出された当該観察者の顔面の特徴部位に基づいて、当該観察者の視線方向と、当該観察者までの距離とを算定する。例えば、算定部は、両眼の位置関係や口を含めた領域の形状や大きさに基づいて、観察者の視線方向と、観察者までの距離を算定する。
更に、画像加工部は、算定された当該視線方向と第１の撮影部における光軸方向との関係、及び、算定された当該距離に基づいて、当該第１の画像を加工する。例えば、画像加工部は、観察者の視線方向と第１の撮影部の光軸方向との関係から、撮影された第１の画像を観察者の座標系に変換し、更に、表示部から観察者までの距離に基づいて、第１の画像を拡縮する。
そして、表示制御部は、このように加工された当該第１の画像を表示部に表示する。

すなわち、本願発明では、観察者の視線方向に合わせるように、撮影された第１の画像を観察者の座標系に変換するなどの加工を行う。そして、加工した第１の画像を表示部に表示する。このため、観察者からは、表示される第１の画像が、周囲の風景と連続しており、あたかも表示部を透過したかのように見える。
この結果、表示部を透過したかのように見える画像を、観察者の位置に応じて適切に表示することができる。

検出部は、取得された当該第２の画像から人の顔面を認識できた場合に、観察者の存在を検出し、
算定部は、認識された当該顔面部における少なくとも両眼の位置関係に基づいて、当該観察者の視線方向と、当該観察者までの距離とを算定してもよい。
つまり、顔面が認識できた場合に、表示部を観察する観察者の存在が検出され、その顔面における、例えば、両眼の位置関係、若しくは、両眼と口とを結ぶ領域の形状や大きさに基づいて、観察者の視線方向と、表示部から観察者までの距離を算定する。
この場合、観察者の視線方向や距離を適切に算定することができる。

画像加工部は、算定された当該視線方向と第１の撮影部における光軸方向との関係に基づいて、取得された当該第１の画像の座標系を変換し、算定された当該距離に基づいて当該第１の画像を拡縮してもよい。例えば、画像加工部は、観察者の視線方向に合わせるように、撮影された第１の画像の座標系を、射影変換やアフィン変換等により加工する。そして、加工された第１の画像を、表示部から観察者までの距離に基づいて拡縮する。
この場合、観察者の位置に応じて、第１の画像を適切に加工することができる。

検出部は、取得された当該検出用画像から、周囲の明るさを更に検出し、
画像加工部は、検出された当該明るさに基づいて、当該第１の画像の少なくとも明度を更に増減させてもよい。例えば、画像加工部は、検出された周囲の明るさと、明るさの基準値とを比較して、その差分に応じて、第１の画像の明度や彩度を増減させる。
この場合、実際の周囲の明るさに応じて、第１の画像を適切に加工することができる。

算定部は、検出部により複数の観察者（例えば、プレイヤやそのまわりにいる人等）の存在が検出された場合に、当該各観察者について、当該視線方向及び当該距離をそれぞれ算定し、
画像加工部は、算定されたそれぞれの当該視線方向及び当該距離の関係に基づいて１人の観察者を選択し、選択した当該観察者の視線方向と第１の撮影部における光軸方向との関係、及び、表示部から選択した当該観察者までの距離に基づいて、当該第１の画像を加工してもよい。つまり、複数の観察者が検出された場合に、画像加工部は、例えば、表示部までの距離が最も近い、若しくは、視線方向が第１の撮影部の光軸方向に最も沿っているなど、観察条件の最も良い観察者を選択し、その観察者に合わせるように、撮影された第１の画像を加工する。
この場合、観察条件の最も良い観察者に向けて、表示部を透過したかのように見える画像を適切に加工することができる。

本発明の第３の観点に係る画像加工方法は、画像を表示するための表示部と、当該表示部を基準とした一定方向を撮影するための撮影部とを有する画像表示装置が実行する画像加工方法であって、画像取得ステップ、検出ステップ、画像加工ステップ、及び、表示制御ステップを備えて構成される。

まず、画像取得ステップでは、例えば、表示部を基準とした背面方向を撮影する撮影部により撮影された画像（例えば、風景画像）を取得する。また、検出ステップでは、表示部を観察する観察者（プレイヤ等）の位置（例えば、表示部を基準とした相対位置）を検出する。画像加工ステップでは、検出された当該観察者の位置と撮影部による撮影方向との関係に基づいて、当該画像を加工する。例えば、画像加工ステップでは、観察者の位置から表示部を結ぶ視線方向と撮影部の撮影方向（光軸方向）との関係から、撮影された画像を観察者の座標系に変換する加工を行う。そして、表示制御ステップでは、加工された当該画像を表示部に表示する。

すなわち、本願発明では、観察者の位置から表示部への方向（例えば、視線方向）に合わせるように、撮影した画像を観察者の座標系に変換する加工を行う。そして、加工した画像を表示部に表示する。このため、観察者からは、表示される画像が、周囲の風景と連続しており、あたかも表示部を透過したかのように見える。
この結果、表示部を透過したかのように見える画像を、観察者の位置に応じて適切に表示することができる。

本発明の第４の観点に係るプログラムは、画像を表示するための表示部と、当該表示部を基準として一定方向を撮影するための撮影部とを有するコンピュータ（電子機器を含む。）を、上記の画像表示装置として機能させるように構成する。

このプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。

上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。

本発明によれば、表示部を透過したかのように見える画像を、観察者の位置に応じて適切に表示することができる。

（ａ），（ｂ）共に、本発明の原理を説明するための模式図である。 （ａ），（ｂ）共に、本実施形態に係るゲーム装置の外観を示す模式図である。 （ａ），（ｂ）共に、各カメラの撮影方向を説明するための模式図である。 本実施形態に係るゲーム装置の概要構成を示すブロック図である。 本実施形態に係る画像表示装置の構成を説明するためのブロック図である。 （ａ）が外側カメラの撮影について説明するための模式図であり、（ｂ）が内側カメラの撮影について説明するための模式図である。 （ａ），（ｂ）共に、顔認識を説明するための模式図である。 （ａ）〜（ｄ）が、観察者の視線方向の算定手法を説明するための模式図であり、（ｅ），（ｆ）が、観察者までの距離の算定手法を説明するための模式図である。 観察者と第１の表示部との位置関係を示す模式図である。 （ａ）〜（ｃ）全て、射影変換を説明するための模式図である。 （ａ）〜（ｃ）全て、アフィン変換を説明するための模式図である。 （ａ），（ｂ）共に、拡大について説明するための模式図である。 （ａ）が加工された風景画像の一例を示す模式図であり、（ｂ）が加工された風景画像が表示されたゲーム装置の外観を示す模式図である。 本実施形態に係る画像加工処理を説明するためのフローチャートである。 （ａ）が画像表示装置の撮影方向を説明するための模式図であり、（ｂ）が撮影された風景画像の一例を示す模式図であり、（ｃ）が風景画像が表示されたゲーム装置の外観を示す模式図である。

以下に本発明の実施形態を説明する。具体的な実施形態の説明に先立って、まず、本発明の原理について図１を参照して説明する。なお、原理の説明を容易にするために、以下の図１（ａ），（ｂ）では、二次元の平面図として表している。

図１（ａ），（ｂ）は、画像表示装置Ｇ及び観察者Ｐ（プレイヤ等）の位置関係と、画像表示装置Ｇの表示部Ｄに表示すべき風景画像の範囲とを説明するための模式図である。この図１（ａ），（ｂ）では、ノート型の画像表示装置Ｇ及び観察者Ｐを上から見た平面図として示している。
この画像表示装置Ｇには、一例として、表示部Ｄの背面にカメラＣが組み込まれている。そして、このカメラＣから前方（表示部Ｄを基準とした背面方向）を撮影可能となっている。なお、カメラＣは、一例として、単焦点のレンズを備え、人間の視角θ（注視した際の視角）よりもある程度広い画角αの範囲を撮影できるものとする。
また、観察者Ｐの視線は、表示部Ｄに向けられているものとする。

図１（ａ）に示すように、観察者Ｐが表示部Ｄの真正面から距離Ｌ１を隔てて位置している場合、表示部Ｄに範囲Ａ１の風景画像を表示すると、観察者Ｐからは、あたかも表示部Ｄを透過したかのように見えることになる。つまり、観察者Ｐの視角θ内において、表示部Ｄによって隠れる範囲Ａ１が表示すべき風景画像の範囲となる。
そのため、画像表示装置Ｇは、カメラＣが撮影する画角α内の風景画像を、距離Ｌ１に応じて拡大したものを、表示部Ｄに表示する。つまり、観察者Ｐの視線方向ｇｌと、カメラＣの光軸方向ｆａとが一致しているため、カメラＣが撮影する風景画像を、そのまま光軸方向ｆａを中心に拡大することで、範囲Ａ１の風景画像を得ることができる。

一方、図１（ｂ）に示すように、観察者Ｐが表示部Ｄの斜め方向に距離Ｌ２を隔てて位置している場合、表示部Ｄに範囲Ａ２の風景画像を表示すると、観察者Ｐからは、表示部Ｄを透過したかのように見えることになる。なお、範囲Ａ２は、観察者Ｐの視線方向ｇｌを基準とした範囲である。
そのため、画像表示装置Ｇは、まず、カメラＣが撮影した画角α内の風景画像を、観察者Ｐの座標系に変換する必要がある。つまり、光軸方向ｆａの風景画像を、視線方向ｇｌの風景画像に変換する。そして、画像表示装置Ｇは、変換した風景画像を、距離Ｌ２に応じて拡大したものを、表示部Ｄに表示する。つまり、変換した風景画像を、視線方向ｇｌを中心に拡大することで、範囲Ａ２の風景画像を得ることができる。

この図１（ｂ）のように、表示すべき範囲Ａ２がカメラＣが撮影する画角α内に収まっている場合には、座標系の変換によって得ることができる。
それでも、観察者Ｐが表示部Ｄに対して、より急な斜め方向に位置している場合には、表示すべき範囲Ａ２の一部が、カメラＣの画角α内から外れてしまうことも起こり得る。なお、その場合には、表示部Ｄの視野角（表示角）の制限から、表示部Ｄに表示された画像の視認性が低下しており、画角αの範囲内で視線方向ｇｌに近づけた風景画像を表示することで、透過したかのように思わせることが期待できる。

以下、このような原理に沿った本発明の実施形態について、より具体的に説明する。以下では、理解を容易にするため、携帯型ゲーム機（ゲーム装置）に本発明が適用される実施形態を説明するが、各種のコンピュータ、ＰＤＡ、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

図２は、本発明の実施の形態に係る画像表示装置が実現される典型的なゲーム装置の外観を示す模式図である。このゲーム装置１は、一例として、携帯型のゲーム機器であり、図２（ａ）に示すように、上部シャーシＪｓと下部シャーシＫｓに各部位がそれぞれ組み込まれている。
例えば、上部シャーシＪｓには、第１の表示部１８及び、内側カメラ２２等が組み込まれている。一方、下部シャーシｋｓには、第２の表示部１９やタッチパネル２０等が組み込まれている。
また、図２（ｂ）に示すように、上部シャーシＪｓの裏面側には、外側カメラ２１が組み込まれている。

なお、上部シャーシＪｓと下部シャーシＫｓとは、接合部が軸支されており、通常のノート型のパソコン等のように、開閉可能となっている。
そのため、図３（ａ）の側面図にて示すように、上部シャーシＪｓを開いた状態で、外側カメラ２１及び内側カメラ２２がそれぞれの方向を撮影可能となっている。つまり、外側カメラ２１が、第１の表示部１８の背面方向（Ｌａ）を撮影し、また、内側カメラ２２が、第一の表示部１８の前面方向（Ｌｂ）をそれぞれ撮影する。すなわち、図３（ｂ）の平面図にて示すように、外側カメラ２１は、光軸Ｌａを中心とした上部シャーシＪｓの外側を撮影し、また、内側カメラ２２は、光軸Ｌｂを中心とした上部シャーシＪｓの内側を撮影する。なお、外側カメラ２１及び、内側カメラ２２は、一例として、単焦点のレンズを備え、人間の視角（注視した際の視角）よりもある程度広い画角αの範囲を撮影可能となっている。

図４は、このゲーム装置１の概要構成を示す模式図である。以下、本図を参照してゲーム装置１について説明する。

ゲーム装置１は、処理制御部１０と、コネクタ１１と、カートリッジ１２と、無線通信部１３と、通信コントローラ１４と、サウンドアンプ１５と、スピーカ１６と、操作キー１７と、第１の表示部１８と、第２の表示部１９と、タッチパネル２０と、外側カメラ２１と、内側カメラ２２とを備える。

処理制御部１０は、ＣＰＵ（Central Processing Unit）コア１０ａと、画像処理部１０ｂと、ＤＭＡ（Direct Memory Access）コントローラ１０ｃと、ＶＲＡＭ（Video Random Access Memory）１０ｄと、ＷＲＡＭ（Work RAM）１０ｅと、ＬＣＤ（Liquid Crystal Display）コントローラ１０ｆと、タッチパネルコントローラ１０ｇとを備える。

ＣＰＵコア１０ａは、ゲーム装置１全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。具体的には、カートリッジ１２がコネクタ１１に装着された状態で、カートリッジ１２内のＲＯＭ（Read Only Memory）１２ａに記憶されたプログラムやデータを読み出して、所定の処理を実行する。

画像処理部１０ｂは、カートリッジ１２内のＲＯＭ １２ａから読み出されたデータや、ＣＰＵコア１０ａにて処理されたデータを加工処理した後、これをＶＲＡＭ １０ｄに格納する。例えば、ＷＲＡＭ １０ｅに記憶された画像を加工して、ＶＲＡＭ １０ｄに格納する。

ＤＭＡコントローラ１０ｃは、外側カメラ２１及び内側カメラ２２にて撮影された画像（後述する風景画像や検出用画像）を、ＷＲＡＭ １０ｅ等に転送する。

ＶＲＡＭ １０ｄは、表示用の情報を記憶するメモリであり、画像処理部１０ｂ等により加工された画像情報を記憶する。
ＷＲＡＭ １０ｅは、ＣＰＵコア１０ａがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
また、ＷＲＡＭ １０ｅは、ＤＭＡコントローラ１０ｃから転送された画像を一時的に記憶する。

ＬＣＤコントローラ１０ｆは、第１の表示部１８および、第２の表示部１９を制御し、所定の表示用画像を表示させる。例えば、ＬＣＤコントローラ１０ｆは、ＶＲＡＭ １０ｄに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、第１の表示部１８に出力する。また、ＬＣＤコントローラ１０ｆは、同様に、第２の表示部１９に所定の表示用画像を表示する。

タッチパネルコントローラ１０ｇは、タッチペンやプレイヤの指によって、タッチパネル２０が押下されると、その座標（入力座標）を取得する。

コネクタ１１は、カートリッジ１２と脱着自在に接続可能な端子であり、カートリッジ１２が接続された際に、カートリッジ１２との間で所定のデータを送受信する。

カートリッジ１２は、ＲＯＭ １２ａと、ＲＡＭ（Random Access Memory）１２ｂとを備える。
ＲＯＭ １２ａには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データ等が記録される。
ＲＡＭ １２ｂには、ゲームの進行状況等を示す種々のデータが記憶される。

無線通信部１３は、他のゲーム装置１の無線通信部１３との間で、無線通信を行うユニットであり、図示せぬアンテナ（内蔵アンテナ等）を介して所定のデータを送受信する。
なお、無線通信部１３は、所定の無線アクセスポイントとの間で、無線通信を行うこともできる。また、無線通信部１３には、固有のＭＡＣ（Media Access Control）アドレスが採番されている。

通信コントローラ１４は、無線通信部１３を制御し、所定のプロトコルに沿って、処理制御部１０と他のゲーム装置１の処理制御部１０との間で行われる無線通信の仲立ちをする。
また、ゲーム装置１が、近傍の無線アクセスポイント等を介してインターネットに接続する際には、無線ＬＡＮに準拠したプロトコルに沿って、処理制御部１０と無線アクセスポイント等との間で行われる無線通信の仲立ちをする。

サウンドアンプ１５は、処理制御部１０にて生成された音声信号を増幅し、スピーカ１６に供給する。
スピーカ１６は、例えば、ステレオスピーカ等からなり、サウンドアンプ１５にて増幅された音声信号に従って、所定の楽曲音や効果音等を出力する。

操作キー１７は、ゲーム装置１に適宜配置された複数のキースイッチ等からなり、ユーザの操作に従って、所定の指示入力を受け付ける。

第１の表示部１８および、第２の表示部１９は、ＬＣＤ等からなり、ＬＣＤコントローラ１０ｆに制御され、ゲーム画像等を適宜表示する。

タッチパネル２０は、第２の表示部１９の前面に重畳して配置され、タッチペンやプレイヤの指による入力を検出する。
例えば、タッチパネル２０は、抵抗膜方式のタッチセンサパネル等からなり、タッチペン等による押圧（押下）を検知し、その座標に応じた情報（信号等）を出力する。

外側カメラ２１は、上述した図３（ａ），（ｂ）に示すように、上部シャーシＪｓ（外側）に組み込まれており、第１の表示部１８の背面方向（Ｌａ）を撮影する。例えば、外側カメラ２１は、第１の表示部１８に表示するための風景画像を撮影する。
また、内側カメラ２２は、同図３（ａ），（ｂ）に示すように、上部シャーシＪｓ（内側）に組み込まれており、第１の表示部１８の前面方向（Ｌｂ）を撮影する。例えば、内側カメラ２２は、プレイヤの位置等を検出するための検出用画像を撮影する。
なお、これらの外側カメラ２１及び、内側カメラ２２は、一例として、単焦点のレンズ及び、所定画素数の撮像素子（ＣＭＯＳやＣＣＤ等）を含んで構成され、所定の焦点距離（画角α）にて、それぞれの光軸方向（Ｌａ，Ｌｂ）を中心とした画像を撮影する。

以下、このような構成のゲーム装置１によって実現される本発明の実施の形態に係る画像表示装置について説明する。

（画像表示装置の概要）
図５は、本実施の形態に係る画像表示装置１００の概要構成を示すブロック図である。この画像表示装置１００は、一例として、ゲームの合間等に、プレイヤに対して休憩を促すための画像を適宜表示することを特徴とした装置である。より具体的には、表示部（上述した、第１の表示部１８）に、その表示部を透過したかのように見える風景画像等を適宜表示し、プレイヤの気持ちを切り換えて、休憩をとりやすくさせる装置である。以下、本図を参照して画像表示装置１００について説明する。

図５に示すように、画像表示装置１００は、画像取得部１１０と、検出部１２０と、算定部１３０と、画像加工部１４０と、表示制御部１５０とを備える。

まず、画像取得部１１０は、外側カメラ２１によって撮影された画像と、内側カメラ２２によって撮影された画像とをそれぞれ取得する。
具体的に画像取得部１１０は、図６（ａ）の平面図にて示すように、外側カメラ２１によって撮影された風景画像を取得する。つまり、外側カメラ２１の撮影方向に、みかんの山（ざるＺａに積まれた複数のみかんＭｉ）が置かれている場合に、このみかんの山を含む風景画像を取得する。
また、画像取得部１１０は、図６（ｂ）の平面図にて示すように、内側カメラ２２によって撮影された検出用画像を取得する。つまり、内側カメラ２２の撮影方向に、プレイヤＰがいる場合（プレイヤＰが内側カメラ２２側に顔を向けている場合）に、このプレイヤＰの顔面を含んだ検出用画像を取得する。
なお、外側カメラ２１と、内側カメラ２２とが同時に撮影することができない場合には、例えば、交互に撮影された風景画像及び検出用画像を、順次取得するようにしてもよい。
そして、上述した処理制御部１０のＤＭＡコントローラ１０ｃ等が、このような画像取得部１１０として機能しうる。

図５に戻って、検出部１２０は、取得された検出用画像に基づいて、第１の表示部１８を眺めるプレイヤ（つまり、観察者）の存在を検出する。
例えば、検出部１２０は、検出用画像について、所定の顔認識処理を施すにより、観察者の有無を検出する。具体的に検出部１２０は、図７（ａ）に示すような検出用画像ＫＧから、肌色の領域Ａ１〜Ａ４をサーチし、それらの領域内から人間の顔の特徴部位が抽出できるかどうかを判断する。この場合、図７（ｂ）に示すように、領域Ａ１内から、少なくとも、両眼、口を含む特徴部位が抽出でき、人間の顔面として認識できるため、検出部１２０は、観察者の存在を検出する。
なお、このような観察者（プレイヤ）の存在を検出する手法は、一例であり、他の手法を用いてもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａやＷＲＡＭ １０ｅ等が、このような検出部１２０として機能しうる。

算定部１３０は、検出された観察者の顔面における特徴部位に基づいて、観察者の視線方向と、観察者までの距離とを算定する。例えば、算定部１３０は、顔認識時に抽出した特徴部位の位置関係等から、観察者の視線方向及び、観察者までの距離を算定する。

まず、観察者の視線方向の算定手法について、具体的に説明する。
算定部１３０は、人間が正面を向いた場合における特徴部位の位置関係を示す形状を予め記憶しておく。具体的に算定部１３０は、図８（ａ）に示すように、一例として、子供（所定年齢における標準的な発育の子供）の顔面を、一定距離を離れて正面から撮影した画像における、両眼と口とを直線で結んだ平面（具体的には三角形）の基準形状ＳＦを予め記憶しておく。なお、この基準形状ＳＦは、実際のプレイヤを正面から一定距離を隔てて撮影した画像から得たものであってもよい。
この基準形状ＳＦを予め記憶した状態で、図８（ｂ）に示すように、検出用画像ＫＧにおける観察者の顔面における両眼と口とを直線で結んだ平面の形状Ｆを得ると、この形状Ｆと基準形状ＳＦとを比較することにより、算定部１３０は、観察者の視線方向を算定する。
例えば、図８（ｃ）のように、得られた形状Ｆ１が基準形状ＳＦと相似形である場合に、算定部１３０は、真正面となる視線方向ＧＬ１を算定する。一方、図８（ｄ）のように、得られた形状Ｆ２が、基準形状ＳＦと相似形でない場合に、算定部１３０は、形状Ｆ２における各点の位置関係や各辺の長さから、形状Ｆ２の歪み（基準形状ＳＦを基準とした歪み）を求める。そして、その歪みに基づいて、斜め方向となる視線方向ＧＬ２を算定する。

なお、このような観察者の視線方向を算定する手法は、一例であり、他の手法を用いてもよい。
例えば、算定部１３０は、よりシンプルに、両眼の位置関係に基づいて、観察者の視線方向を簡易に算定してもよい。
更に、このような両眼の位置関係等によって視線方向を算定する代わりに、観察者が無条件に第１の表示部１８へ視線を向けているものと仮定し、算定部１３０は、顔認識された観測者の位置を基準として、第１の表示部１８までの視線方向を算定してもよい。

次に、観察者までの距離の算定手法について、具体的に説明する。
算定部１３０は、得られた形状Ｆと、記憶している基準形状ＳＦとの大きさの違い（比率）を得て、観察者までの距離を算定する。
例えば、算定部１３０は、図８（ｅ）に示すように、基準形状ＳＦと、得られた形状Ｆとの大きさを比較して、観察者までの距離を算定する。つまり、算定部１３０は、距離が分かっている基準形状ＳＦと比べて、得られた形状Ｆが、どのくらいの比率であるかに従って、観測者までの距離を算定する。

なお、このような観察者までの距離を算定する手法は、一例であり、他の手法を用いてもよい。
例えば、算定部１３０は、基準形状ＳＦと、得られた形状Ｆとの大きさを比較する代わりに、図８（ｆ）に示すように、検出用画像ＫＧの全体幅Ｗと、観察者の頭部の幅ｄとの比率等から、観測者までの距離を算定してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａやＷＲＡＭ １０ｅ等が、このような算定部１３０として機能しうる。

図５に戻って、画像加工部１４０は、算定された視線方向と外側カメラ２１の撮影方向との関係、及び、算定された距離に基づいて、撮影された風景画像を加工する。
例えば、画像加工部１４０は、観察者の視線方向と外側カメラ２１の光軸方向との関係から、撮影された風景画像を観察者の座標系に変換し、更に、観察者までの距離に基づいて、変換した風景画像を拡大する。
具体的には、図９に示すように、観察者Ｐが第１の表示部１８の斜め方向に距離Ｌを隔てて位置している場合、第１の表示部１８に範囲Ａの風景画像を表示すると、観察者Ｐからは、第１の表示部１８を透過したかのように見えることになる。なお、範囲Ａは、観察者Ｐの視線方向ｇｌを基準とした範囲である。
そのため、まず、画像加工部１４０は、外側カメラ２１が撮影した画角α内の風景画像を、観察者Ｐの座標系に変換する必要がある。

具体的に画像加工部１４０は、射影変換により、図１０（ａ）に示すように、外側カメラ２１の座標系の風景画像ＦＧ１を、観察者Ｐの座標系の風景画像ＦＧ２に変換する。一例として、画像加工部１４０は、図１０（ｂ）に示すみかんの山（ざるＺａに積まれた複数のみかんＭｉ）の風景画像ＦＧ１を、観察者の視線方向に合わせる射影変換により、図１０（ｃ）に示すような風景画像ＦＧ２に変換する。つまり、ざるＺａやみかんＭｉが観察者Ｐの座標系に変換され、観察者Ｐから見た場合の風景画像ＦＧ２に加工される。
なお、このような射影変換によって、風景画像を加工する手法は、一例であり、他の手法を用いてもよい。

例えば、画像加工部１４０は、射影変換の代わりにアフィン変換によって風景画像を加工してもよい。
具体的に画像加工部１４０は、アフィン変換により、図１１（ａ）に示すように、外側カメラ２１によって撮影された風景画像ＦＧ１を、台形形状に歪ませた風景画像ＦＧ２に変換する。つまり、撮影された風景画像ＦＧ１を、観察者の視線方向に応じたアフィン変換により台形形状に歪ませることで、観察者Ｐの座標系に近似する風景画像ＦＧ２に変換する。なお、表示される際には、台形形状内の矩形の範囲だけが表示対象となる。一例として、画像加工部１４０は、図１１（ｂ）に示すみかんの山の風景画像ＦＧ１を、観察者の視線方向に応じたアフィン変換により、図１１（ｃ）に示すような風景画像ＦＧ２に変換する。つまり、ざるＺａやみかんＭｉが台形形状に歪まされた後に、矩形の表示範囲だけが表示されることで、観察者Ｐから見た場合の風景画像ＦＧ２に加工される。

そして、画像加工部１４０は、変換した風景画像を、距離Ｌに応じて拡大する。例えば、画像加工部１４０は、図１２（ａ）に示すみかんの山の風景画像Ｆ２を、視線方向を中心に、算定した観察者の距離に応じて拡大する。つまり、図１２（ｂ）に示すように、ざるＺａやみかんＭｉが拡大された風景画像ＦＧ３に加工される。
なお、上述した処理制御部１０の画像処理部１０ｂが、このような画像加工部１４０として機能しうる。

図５に戻って、表示制御部１５０は、画像加工部１４０によって加工された風景画像を第１の表示部１８に表示する。
具体的に表示制御部１５０は、図１３（ａ）に示すような加工された風景画像ＦＧ３を第１の表示部１８に表示する。これにより、例えば、観察者が斜め方向から第１の表示部１８を眺めた場合でも、図１３（ｂ）に示すように、第１の表示部１８に表示される風景画像が、周囲の風景と連続しており、あたかも第１の表示部１８を透過したかのように見える。
なお、上述したＬＣＤコントローラ１０ｆ等が、このような表示制御部１５０として機能しうる。

（画像表示装置の動作の概要）
以下、このような構成の画像表示装置１００の動作について図面を参照して説明する。一例として、ゲームのプレイ時間が一定時間を超えた際に、休憩を促すための画像を表示する処理動作を、図１４を参照して説明する。図１４は、画像表示装置１００にて実行される画像加工処理の流れを示すフローチャートである。

まず、画像表示装置１００は、風景画像及び、検出用画像を取得する（ステップＳ２０１）。
すなわち、画像取得部１１０は、外側カメラ２１によって撮影された風景画像と、内側カメラ２２によって撮影された検出用画像とをそれぞれ取得する。

画像表示装置１００は、観察者を検出したか否かを判別する（ステップＳ２０２）。
すなわち、検出部１２０は、取得された検出用画像に基づいて、第１の表示部１８を眺める観察者の存在を検出したかどうかを判別する。例えば、検出部１２０は、検出用画像について、上述した図７（ａ），（ｂ）に示すような顔認識処理を施すことにより、観察者の有無を検出する。
画像表示装置１００は、観察者を検出していないと判別すると（ステップＳ２０２；Ｎｏ）、上述したステップＳ２０１に処理を戻す。

一方、観察者を検出したと判別した場合（ステップＳ２０２；Ｙｅｓ）に、画像表示装置１００は、観察者の視線方向、及び、観察者までの距離を算定する（ステップＳ２０３）。
すなわち、算定部１３０は、検出された観察者の顔面における特徴部位に基づいて、観察者の視線方向と、観察者までの距離とを算定する。
つまり、算定部１３０は、観察者の視線方向を、例えば、上述した図８（ａ）に示すような基準形状ＳＦと、上述した図８（ｂ）に示すような観察者の形状Ｆとを比較することによって算定する。
また、算定部１３０は、観察者までの距離を、例えば、上述した図８（ｅ）に示すように、基準形状ＳＦと、観察者の形状Ｆとの大きさを比較することによって算定する。

画像表示装置１００は、撮影された風景画像を観察者の座標系に変換する（ステップＳ２０４）。
すなわち、画像加工部１４０は、観察者の視線方向と外側カメラ２１の光軸方向との関係から、撮影された風景画像を観察者の座標系に変換する。例えば、画像加工部１４０は、上述した図１０（ａ）に示すように、射影変換によって、外側カメラ２１の座標系の風景画像ＦＧ１を、観察者Ｐの座標系の風景画像ＦＧ２に変換する。
なお、観察者の視線方向と外側カメラ２１の光軸方向とが一致している場合には、座標系の変換を省略してもよい。

画像表示装置１００は、変換した風景画像を、距離に応じて拡大する（ステップＳ２０５）。
すなわち、画像加工部１４０は、変換した風景画像を、第１の表示部１８から観察者までの距離に応じて拡大する。例えば、画像加工部１４０は、上述した図１２（ａ）に示すような風景画像Ｆ２（観察者の座標系に変換したもの）を、算定した観察者までの距離に応じて拡大して、上述した図１２（ｂ）に示すような風景画像ＦＧ３に加工する。

画像表示装置１００は、加工した風景画像を第１の表示部１８に表示する（ステップＳ２０６）。
すなわち、表示制御部１５０は、画像加工部１４０によって加工された風景画像を第１の表示部１８に表示する。例えば、表示制御部１５０は、上述した図１３（ａ）に示すような加工された風景画像ＦＧ３を第１の表示部１８に表示する。これにより、上述した図１３（ｂ）に示すように、例えば、観察者が斜め方向から第１の表示部１８を眺めた場合でも、第１の表示部１８に表示される風景画像が、周囲の風景と連続しており、あたかも第１の表示部１８を透過したかのように見える。

そして、画像表示装置１００は、上述したステップＳ２０１に処理を戻す。

このような画像加工処理により、観察者の視線方向に合わせるように、撮影された風景画像を観察者の座標系に変換するなどの加工を行う。そして、加工した風景画像を表示部に表示する。このため、観察者からは、表示される風景画像が、周囲の風景と連続しており、あたかも表示部を透過したかのように見える。
この結果、表示部を透過したかのように見える風景画像を、観察者の位置に応じて適切に表示することができる。

（他の実施形態）
上記の実施形態では、画像加工部１４０が、座標系を変換した風景画像を、第１の表示部１８から観察者までの距離に応じて拡大する場合について説明したが、外側カメラ２１の撮像素子の画素数が充分に多く、そして、外側カメラ２１に望遠レンズが装着されている場合等においては、座標系を変換した風景画像を縮小するようにしてもよい。
例えば、画像加工部１４０は、望遠レンズの望遠率（拡大率）と第１の表示部１８から観察者までの距離との関係に応じて、風景画像を縮小する。この場合も、縮小した風景画像を第１の表示部１８に表示することで、周囲の風景と連続し、観察者からはあたかも第１の表示部１８を透過したかのように見える。

また、上記の実施形態では、画像加工部１４０が座標系の変換及び拡縮（拡大・縮小）だけを行う場合について説明したが、周囲の明るさに応じて、風景画像の明度等を増減させる加工を更に行うようにしてもよい。
例えば、まず検出部１２０が、取得された検出用画像から、周囲の明るさを検出する。なお、その際、取得された風景画像から、周囲の明るさを検出するようにしてもよく、また、検出用画像及び風景画像の両方から、周囲の明るさを検出するようにしてもよい。
そして、画像加工部１４０は、検出された周囲の明るさと、例えば、明るさの基準値とを比較して、その差分に応じて、風景画像の明度を増減させる。なお、画像加工部１４０は、更に風景画像の彩度を増減させてもよい。
この場合、実際の周囲の明るさに応じて、風景画像を適切に加工することができる。

また、上記の実施形態では、検出部１２０が、１人の観察者を検出する場合について説明したが、複数の観察者を検出する場合も起こり得る。例えば、リビング等で画像表示装置１００（ゲーム装置１）が使用されている場合には、プレイヤの周りに家族等が存在し、検出部１２０が、プレイヤを含めて複数の観察者を検出することが考えられる。
この場合、検出部１２０は、第１の表示部１８までの距離が最も近い、若しくは、視線方向が第１の撮影部の光軸方向に沿っているなど、観察条件の最も良い観察者を選択してもよい。
そして、算定部１３０は、選択された観察者の顔面における特徴部位に基づいて、その観察者の視線方向と、その観察者までの距離とを算定する。
すると、画像加工部１４０は、同様に、算定された視線方向と外側カメラ２１の撮影方向との関係、及び、算定された距離に基づいて、撮影された風景画像を加工するため、観察条件の最も良い観察者に対して、表示部を透過したかのように見える風景画像を、その観察者の位置に応じて適切に生成することができる。

上記の実施形態では、携帯型のゲーム装置１に、本願の画像表示装置１００が適用される場合について説明したが、このような携帯型のゲーム装置１に限られず、例えば、ノート型のパソコン等であってもよい。
また、観察者の位置（視線方向や距離）を検出するために、内側カメラ２２により撮影した検出用画像を用いる場合について説明したが、観察者の位置を検出する手法は、このような装置側から撮影した画像を用いる手法に限られず任意である。
例えば、位置検出可能なコントローラを、観察者（プレイヤ）が用いる場合では、このコントローラから得た観察者の位置に基づいて、算定部１３０が、観察者の視線方向（この場合観察者の位置から表示部までの方向）と、その観察者までの距離とを算定してもよい。

以上説明したように、本発明によれば、表示部を透過したかのように見える画像を、観察者の位置に応じて適切に表示することのできる画像表示装置、画像加工方法、および、プログラムを提供することができる。

１ ゲーム装置
１０ 処理制御部
１１ コネクタ
１２ カートリッジ
１３ 無線通信部
１４ 通信コントローラ
１５ サウンドアンプ
１６ スピーカ
１７ 操作キー
１８ 第１の表示部
１９ 第２の表示部
２０ タッチパネル
２１ 外側カメラ
２２ 内側カメラ
１００ 画像表示装置
１１０ 画像取得部
１２０ 検出部
１３０ 算定部
１４０ 画像加工部
１５０ 表示制御部

Claims (6)

1. 画像を表示するための表示部と、第１の方向を撮影するための第１の撮影部と、当該第１の方向と異なる第２の方向を撮影するための第２の撮影部とを有する画像表示装置であって、
   前記第１の撮影部により撮影された第１の画像及び、前記第２の撮影部により撮影された第２の画像をそれぞれ取得する画像取得部と、
   取得された当該第２の画像に基づいて、前記表示部を観察する観察者の存在を検出する検出部と、
   検出された当該観察者の顔面の特徴部位に基づいて、当該観察者の視線方向と、前記表示部から当該観察者までの距離とを算定する算定部と、
   算定された当該視線方向と前記第１の撮影部における光軸方向との関係、及び、算定された当該距離に基づいて、当該第１の画像を加工する画像加工部と、
   加工された当該第１の画像を前記表示部に表示する表示制御部と、を備え、
   前記検出部は、取得された当該検出用画像から、周囲の明るさを更に検出し、
   前記画像加工部は、検出された当該明るさに基づいて、当該第１の画像の少なくとも明度を増減させる、
   ことを特徴とする画像表示装置。
2. 請求項１に記載の画像表示装置であって、
   前記検出部は、取得された当該第２の画像から、人の顔面を認識できた場合に、観察者の存在を検出し、
   前記算定部は、認識された当該顔面における少なくとも両眼の位置関係に基づいて、当該観察者の視線方向と、前記表示部から当該観察者までの距離とを算定する、
   ことを特徴とする画像表示装置。
3. 請求項１又は２に記載の画像表示装置であって、
   前記画像加工部は、算定された当該視線方向と前記第１の撮影部における光軸方向との関係に基づいて、取得された当該第１の画像の座標系を変換し、算定された当該距離に基づいて当該第１の画像を拡縮する、
   ことを特徴とする画像表示装置。
4. 請求項１乃至３の何れか１項に記載の画像表示装置であって、
   前記算定部は、前記検出部により複数の観察者の存在が検出された場合に、当該各観察者について、当該視線方向及び当該距離をそれぞれ算定し、
   前記画像加工部は、算定されたそれぞれの当該視線方向及び当該距離の関係に基づいて１人の観察者を選択し、選択した当該観察者の視線方向と前記第１の撮影部における光軸方向との関係、及び、前記表示部から選択した当該観察者までの距離に基づいて、当該第１の画像を加工する、
   ことを特徴とする画像表示装置。
5. 画像を表示するための表示部と、第１の方向を撮影するための第１の撮影部と、当該第１の方向と異なる第２の方向を撮影するための第２の撮影部と、画像取得部と、検出部と、算定部と、画像加工部と、表示制御部とを有する画像表示装置における画像加工方法であって、
   前記画像取得部が、前記第１の撮影部により撮影された第１の画像及び、前記第２の撮影部により撮影された第２の画像をそれぞれ取得する画像取得ステップと、
   前記検出部が、取得された当該第２の画像に基づいて、前記表示部を観察する観察者の存在を検出する検出ステップと、
   前記算定部が、検出された当該観察者の顔面の特徴部位に基づいて、当該観察者の視線方向と、前記表示部から当該観察者までの距離とを算定する算定ステップと、
   前記画像加工部が、算定された当該視線方向と前記第１の撮影部における光軸方向との関係、及び、算定された当該距離に基づいて、当該第１の画像を加工する画像加工ステップと、
   表示制御部が、加工された当該第１の画像を前記表示部に表示する表示制御ステップと、を備え、
   前記検出ステップでは、取得された当該検出用画像から、周囲の明るさを更に検出し、
   前記画像加工ステップでは、検出された当該明るさに基づいて、当該第１の画像の少なくとも明度を増減させる、
   ことを特徴とする画像加工方法。
6. 画像を表示するための表示部と、第１の方向を撮影するための第１の撮影部と、当該第１の方向と異なる第２の方向を撮影するための第２の撮影部とを有するコンピュータを、
   前記第１の撮影部により撮影された第１の画像及び、前記第２の撮影部により撮影された第２の画像をそれぞれ取得する画像取得部、
   取得された当該第２の画像に基づいて、前記表示部を観察する観察者の存在を検出する検出部、
   検出された当該観察者の顔面の特徴部位に基づいて、当該観察者の視線方向と、前記表示部から当該観察者までの距離とを算定する算定部、
   算定された当該視線方向と前記第１の撮影部における光軸方向との関係、及び、算定された当該距離に基づいて、当該第１の画像を加工する画像加工部、
   加工された当該第１の画像を前記表示部に表示する表示制御部、として機能させ、
   前記検出部は、取得された当該検出用画像から、周囲の明るさを更に検出し、
   前記画像加工部は、検出された当該明るさに基づいて、当該第１の画像の少なくとも明度を増減させる、
   ように機能させることを特徴とするプログラム。

Images