JPWO2012147363A1 - 画像生成装置 - Google Patents

Abstract

画像生成装置１００は、観察者の観察位置を検出する検出部２１０と、基準位置からの、観察位置への変位量をｒ（ｒは１より大きな実数）倍した仮想観察位置を算出する位置算出部２２０と、仮想観察位置から観察される画像を生成する生成部２３０と、生成した画像を外部のディスプレイに出力する出力部２４０とを備える。

Description

本発明は、３次元物体が表わされた画像を生成する画像生成装置に関する。

従来、ＯｐｅｎＧＬ等のＡＰＩ（Application Programming Interface）群を用いて行う３次元コンピュータグラフィックス処理技術、多視点画像を用いた自由視点画像生成技術（例えば、特許文献１参照）等といった、指定された観察位置から観察される３次元物体を表わす画像を生成する技術が知られている。

また、３次元物体を表わす画像を表示する表示画面を観察する観察者の位置を検出し、その検出した位置から観察されるはずの、その３次元物体を表わす画像を生成して表示画面に表示する自由視点テレビが知られている。

従来の自由視点テレビによると、観察者は、表示画面に対して移動することによって、移動位置から見えるべき３次元物体を表示する画像を観察することができる。

特開２００８−２１２１０号公報

しかしながら、従来の自由視点テレビによると、観察者は、現在観察している画像に表わされている物体について、現在の観察角度とは大きく角度が異なる観察角度から観察しようとするためには、比較的大きく移動しなければならない。

そこで、本発明は係る問題に鑑みてなされたものであり、画像に表わされている物体の観察角度を変更しようとする場合に、観察者の移動量が、従来よりも少なくて済むように画像を生成する画像生成装置を提供することを目的とする。

上記課題を解決するために本発明の一態様に係る画像生成装置は、３次元物体が表わされた画像を外部の表示デバイスに出力する画像生成装置であって、前記表示デバイスにより表示される画像を観察する観察者の観察位置を検出する検出手段と、前記表示デバイスにより表示される画像の表示領域に向かい合う所定の基準位置からの、前記検出手段によって検出された観察位置への変位量をｒ（ｒは１より大きな実数）倍した仮想視点を算出する位置算出手段と、前記３次元物体を表わす画像を生成するためのデータを取得して、前記位置算出手段によって算出された仮想視点から観察される、前記３次元物体を表わす画像を生成する生成手段と、前記生成手段によって生成された画像を、前記表示デバイスに出力する出力手段とを備えることを特徴とする。

上述の構成を備える本発明の一態様に係る画像生成装置によると、画像を観察する観察者が移動した場合に、生成する画像の観察位置となる仮想観察位置の移動量は、観察者の移動量のｒ（ｒは１よりも大きな実数）倍となる。このことにより、物体の観察角度を変更しようとする場合に、観察者の移動量が、従来よりも少なくて済む。

画像生成装置１００の構成図 画像生成装置１００を構成する主要な機能ブロックを示す機能ブロック図 実空間における座標系と、仮想空間における座標系との関係を示す図 表示面３１０と基準位置４３０との関係を模式的に示す模式図 （ａ）陰影処理を説明するための模式図その１（ｂ）陰影処理を説明するための模式図その２ 透視射影変換法を利用する画像の生成を説明するための模式図 右目原画像と左目原画像との関係を示す模式図 画像生成処理のフローチャート 画像生成装置１００が生成する画像を説明するための模式図 （ａ）仮想観察位置Ｋ９４０を視点位置とする画像を示す図（ｂ）仮想視点位置Ｊ９５０を視点位置とする画像を示す図 画像生成装置１１００を構成する主要な機能ブロックを示す機能ブロック図 画像生成装置１１００が生成する画像を説明するための模式図 第１変形画像生成処理のフローチャート （ａ）仮想観察位置Ｋ９４０を視点位置とする画像を示す図（ｂ）仮想視点位置Ｊ９５０を視点位置とする原画像を示す図 画像生成装置１５００を構成する主要な機能ブロックを示す機能ブロック図 画像生成装置１５００が生成する画像を説明するための模式図 （ａ）仮想観察位置Ｋ９４０を視点位置とする画像を示す図（ｂ）仮想視点位置Ｊ９５０を視点位置とする原画像を示す図 画像生成装置１８００を構成する主要な機能ブロックを示す機能ブロック図 表示面３１０と基準位置１９３０との関係を模式的に示す模式図 画像生成装置１８００が生成する画像を説明するための模式図 （ａ）仮想観察位置Ｋ２０４０を視点位置とする画像を示す図（ｂ）仮想視点位置Ｊ２０５０を視点位置する画像を示す図 センシングの一例を説明するための模式図その１ センシングの一例を説明するための模式図その２ ヘッドトラッキングの一例を説明するための模式図その１ ヘッドトラッキングの一例を説明するための模式図その２ 光源位置設定の一例を説明するための模式図その１ 光源位置設定の一例を説明するための模式図その２ 観測者とオブジェクトとの位置関係を模式的に示す模式図 側面スクリーンを設けた場合の一例を説明するための模式図 楕円の形をしている場合の一例を説明するための模式図 １プレーン＋オフセット方式を説明するための模式図 １プレーン＋オフセット方式を用いた一例を説明するための模式図 実物大スケーリング係数を説明するための模式図 ディスプレイが回転するタイプの画像生成装置を模式的に示す模式図 画像生成装置１００におけるアプリケーションの一例を説明するための模式図 ユーザがスクリーンに入り込む様子を模式的に示す模式図その１ ユーザがスクリーンに入り込む方法を模式的に示す模式図その２ 耳の不自由な障がい者と健常者とのコミュニケーションを円滑化するシステムを説明するための模式図その１ 耳の不自由な障がい者と健常者とのコミュニケーションを円滑化するシステムを説明するための模式図その２ 画像生成装置４０００の構成を示すブロック図

＜本発明の態様に係る実施形態を想到するに至った経緯＞
従来の自由視点テレビは、自由視点テレビの表示画面に表わされる物体を観察する観察者に、あたかも立体構造を持つ物体を実際に観察しているかのように感じさせることができる。

しかしながら、発明者は、現在観察している画像に表わされている物体について、現在の観察角度とは大きく角度が異なる観察角度から観察しようとする場合に、観察者が表示画面に対して比較的大きく移動する必要があるため、このような場合に、観察者が、大きく移動することに対して煩わしく感じてしまうことがあることに気付いた。

そこで、発明者は、画像に表わされている物体の観察角度を変更しようとする場合に、表示画面に対する観察者の移動量が、従来よりも少なくて済むように画像を生成する画像生成装置を開発することで、上記観察者の感じる煩わしさを低減できるのではないかと考えた。

そして、発明者は、この考えを実現すべく、観察者の観察位置を検出した場合に、所定の基準位置からの、観察位置への変位量をｒ（ｒは１より大きな実数）倍した仮想観察位置から見える画像を生成する画像生成装置を想到するに至った。
＜実施の形態１＞
＜概要＞
以下、本発明の態様に係る画像生成装置の一実施形態として、仮想空間に仮想的に存在する立体物についての３ＤＣＧ（Dimensional Computer Graphics）画像を生成して、外部のディスプレイに出力する画像生成装置１００について説明する。

図２は、画像生成装置１００を構成する主要な機能ブロックを示す機能ブロック図である。

同図に示されるように、画像生成装置１００は、観察者の観察位置を検出する検出部２１０と、基準位置からの、観察位置への変位量をｒ（ｒは１より大きな実数）倍した視点位置を算出する位置算出部２２０と、視点位置から観察される３ＤＣＧ画像を生成する生成部２３０と、生成した画像を外部のディスプレイに出力する出力部２４０とを備える。

まず、この画像生成装置１００のハードウエア構成について、図面を参照しながら説明する。

＜ハードウエア構成＞
図１は、画像生成装置１００の構成図である。

同図に示されるように、画像生成装置１００は、集積回路１１０とカメラ１３０とハードディスク装置１４０と光ディスク装置１５０と入力装置１６０とから構成され、外部のディスプレイ１９０に接続される。

集積回路１１０は、プロセッサ１１１とメモリ１１２と右目フレームバッファ１１３と左目フレームバッファ１１４とセレクタ１１５とバス１１６と第１インターフェース１２１と第２インターフェース１２２と第３インターフェース１２３と第４インターフェース１２４と第５インターフェース１２５と第６インターフェースとが集積されたＬＳＩ（Large Scale Integration）であって、カメラ１３０とハードディスク装置１４０と光ディスク装置１５０と入力装置１６０とディスプレイ１９０とに接続される。

メモリ１１２は、バス１１６に接続され、ＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とによって構成され、プロセッサ１１１の動作を規定するプログラムを記憶する。メモリ１１２の記憶領域のうちの一部の領域は、プロセッサ１１１によって主記憶領域として利用される。

右目フレームバッファ１１３は、バス１１６とセレクタ１１５とに接続されるＲＡＭであって、右目画像（後述）を記憶するために利用される。

左目フレームバッファ１１４は、バス１１６とセレクタ１１５とに接続されるＲＡＭであって、左目画像（後述）を記憶するために利用される。

セレクタ１１５は、バス１１６とプロセッサ１１１と右目フレームバッファ１１３と左目フレームバッファ１１４と第６インターフェース１２６とに接続され、プロセッサ１１１によって制御され、右目フレームバッファ１１３に記憶される右目画像と左目フレームバッファ１１４に記憶される左目画像とを、所定の周期（例えば、１／１２０秒周期）で交互に選択して第６インターフェース１２６に出力する機能を有する。

バス１１６は、プロセッサ１１１とメモリ１１２と右目フレームバッファ１１３と左目フレームバッファ１１４とセレクタ１１５と第１インターフェース１２１と第２インターフェース１２２と第３インターフェース１２３と第４インターフェース１２４と第５インターフェース１２５とに接続され、接続される回路間の信号を伝達する機能を有する。

第１インターフェース１２１と第２インターフェース１２２と第３インターフェース１２３と第４インターフェース１２４と第５インターフェース１２５とは、それぞれバス１１６に接続され、それぞれ、撮像装置１３２（後述）とバス１１６との間の信号のやり取りを仲介する機能、測距装置１３１とバス１１６との間の信号のやり取りを仲介する機能、バス１１６とハードディスク装置１４０との間の信号をやり取りする機能、バス１１６と光ディスク装置１５０との間の信号をやり取りする機能、入力装置１６０とバス１１６との間の信号をやり取りする機能を有する。第６インターフェース１２６は、セレクタ１１５に接続され、セレクタ１１５と外部のディスプレイ１９０との間の信号をやり取りする機能を有する。

プロセッサ１１１は、バス１１６に接続され、メモリ１１２に記憶されているプログラムを実行することで、セレクタ１１５と測距装置１３１と撮像装置１３２とハードディスク装置１４０と光ディスク装置１５０と入力装置１６０とを制御する機能を実現する。また、プロセッサ１１１は、メモリ１１２に記憶されているプログラムを実行することで、これらの装置を制御して、画像生成装置１００に画像生成処理を実行させる機能を有する。なお、この画像生成処理については、後程＜画像生成処理＞の項目において、フローチャートを用いて詳細に説明する。

カメラ１３０は、測距装置１３１と撮像装置１３２とから構成される。このカメラ１３０は、ディスプレイ１９０の表示面側上部に装着され、ディスプレイ１９０の表示面近傍の被写体を撮影する機能を有する。

撮像装置１３２は、第１インターフェース１２１に接続され、プロセッサ１１１によって制御され、固体撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）と、固体撮像素子に外部の光を集光するレンズ群とを備え、外部の被写体を所定のフレームレート（例えば３０ｆｐｓ）で撮影して、所定数（例えば、６４０×４８０）の画素からなる画像を生成して出力する機能を有する。

測距装置１３１は、第２インターフェース１２２に接続され、プロセッサ１１１によって制御され、画素単位で被写体までの距離を測定する機能を有する。この測距装置１３１による測距方法は、例えば、赤外線等のレーザ光を被写体に照射して、その被写体からの反射光が再び戻ってくるまでの時間を測定することで距離を算出するＴＯＦ（Time Of Flight）測距方式を利用して実現される。

ハードディスク装置１４０は、第３インターフェース１２３に接続され、プロセッサ１１１によって制御され、ハードディスクを内蔵し、内蔵するハードディスクにデータを書き込む機能と、内蔵するハードディスクからデータを読み出す機能とを有する。

光ディスク装置１５０は、第４インターフェース１２４に接続され、プロセッサ１１１によって制御され、データ記録媒体である光ディスク（例えば、Ｂｌｕ−ｒａｙ（登録商標）ディスク）を着脱可能に装着し、装着する光ディスクからデータを読み出す機能を有する。

入力装置１６０は、第５インターフェース１２５に接続され、プロセッサ１１１によって制御され、ユーザからの操作を受け付け、受け付けた操作を電気信号に変換してプロセッサ１１１に送る機能を有する。この入力装置１６０は、例えば、キーボードとマウスとによって実現される。

ディスプレイ１９０は、第６インターフェース１２６に接続され、画像生成装置１００から送られてくる信号に基づく画像を表示する機能を有する、例えば、水平方向が８９０ｍｍ、垂直方向が５００ｍｍからなる長方形の表示面を有する液晶ディスプレイである。

上記ハードウエア構成を備える画像生成装置１００について、以下、機能面から見た各構成要素について、図面を参照しながら説明する。

＜機能構成＞
図２に示されるように、画像生成装置１００は、検出部２１０と位置算出部２２０と生成部２３０と出力部２４０とから構成される。

検出部２１０は、位置算出部２２０に接続され、サンプル画像保持部２１１とヘッドトラッキング部２１２とから構成され、ディスプレイ１９０の画像表示面を観察している観察者の観察位置を検出する機能を有する。

ヘッドトラッキング部２１２は、サンプル画像保持部２１１と座標変換部２２２（後述）とに接続され、プログラムを実行するプロセッサ１１１が測距装置１３１と撮像装置１３２とを制御することで実現され、以下の４つの機能を有する。

撮影機能：所定のフレームレート（例えば３０ｆｐｓ）で、ディスプレイ１９０の表示面近傍に存在する被写体を撮影して、所定数（例えば、６４０×４８０）の画素からなる画像を生成する機能。

測距機能：所定のフレームレート（例えば３０ｆｐｓ）で、ディスプレイ１９０の表示面近傍に存在する被写体までの距離を測定する機能。

顔検出機能：サンプル画像保持部２１１に記憶されるサンプル画像を利用するマッチング処理を行うことで、撮影された被写体に含まれる顔の領域を検出する機能。

目位置算出機能：顔の領域を検出した場合に、さらに、サンプル画像保持部２１１に記憶されるサンプル画像を利用するマッチング処理を行うことで、右目の位置と左目の位置とを特定し、実空間における、右目座標と左目座標とを算出する機能。なお、以下では、右目の位置と左目の位置とを、左右の区別せずに表現する場合に、単に観察位置と表現することがある。

図３は、実空間における座標系（以下、「実座標系」と呼ぶ。）と、仮想空間における座標系（以下、「仮想座標系」と呼ぶ。）との関係を示す図である。

実座標系とは、ディスプレイ１９０が設置されている現実世界における座標系であって、仮想座標系とは、画像生成装置１００が３ＤＣＧ画像を生成するために仮想的に構築する仮想空間における座標系である。

同図に示されるように、実座標系と仮想座標系とは、共に、ディスプレイ１９０の表示面３１０における中央を原点として、水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸としている。また、ここでは、表示面３１０を観察する観察者３００から見て、右方向をＸ軸の正の方向、上方向をＹ軸の正の方向、表示面３１０の手前方向をＺ軸の正の方向としている。

実座標系で表わされる実座標から、仮想座標系で表わされる仮想座標への変換は、実座標に、座標変換係数であるRealToCG係数を乗ずることで算出される。

例えば、図３に示されるように、実空間における表示面３１０の高さが５００ｍｍで、仮想空間における、スクリーン領域の高さが１００．０である場合には、RealToCG係数は、１００．０／５００＝０．２０となる。

再び図２に戻って、画像生成装置１００の機能構成についての説明を続ける。

サンプル画像保持部２１１は、ヘッドトラッキング部２１２に接続され、メモリ１１２の記憶領域の一部として実現され、ヘッドトラッキング部２１２が行う、顔の領域を検出するためのマッチング処理に利用されるサンプル画像と、ヘッドトラッキング部２１２が行う、右目座標と左目座標とを算出するためのマッチング処理に利用されるサンプル画像とを記憶する機能を有する。

位置算出部２２０は、検出部２１０と生成部２３０とに接続され、パラメータ保持部２２１と座標変換部２２２とから構成され、基準位置からの、観察位置への変位量をｒ倍した視点位置を算出する機能を有する。

座標変換部２２２は、ヘッドトラッキング部２１２とパラメータ保持部２２１と視点変換部２３５（後述）とオブジェクトデータ保持部２３１（後述）とに接続され、プログラムを実行するプロセッサ１１１によって実現され、以下の３つの機能を有する。

基準位置算定機能：ヘッドトラッキング部２１２によって特定された、右目の位置と左目の位置とのそれぞれについて、目の位置を含む、ディスプレイ１９０の表示面に平行な基準平面を算出し、算出した基準平面における、ディスプレイ１９０の表示面中央に対向する位置を基準位置として算定する機能。ここで、基準平面における表示面中央に対向する位置とは、基準平面上の点のうち、表示面中央への距離が最短となる点の位置のことをいう。

図４は、Ｙ軸（図３参照）における正の方向から、ディスプレイ１９０を見下ろした場合における、ディスプレイ１９０の表示面３１０と基準位置４３０との関係を模式的に示す模式図である。ここでは、表示面３１０がＺ軸に垂直になっている。

同図において、位置Ｋ４４０は、ヘッドトラッキング部２１２によって特定された観察位置を示している。位置Ｊ４５０については後述する。

基準平面４２０は、位置Ｋ４４０を含む、表示面３１０に平行な平面である。

基準位置４３０は、基準平面４２０上の点のうち、表示面中央４１０への距離が最短となる点の位置である。

引き続き、座標変換部２２２が有する機能の説明を続ける。

視点位置算出機能：ヘッドトラッキング部２１２によって特定された右目の位置と左目の位置とのそれぞれについて、それぞれの基準平面における、それぞれの基準位置からの変位量をｒ倍した右目視点位置と左目視点位置とをそれぞれ算出する機能。ここで、基準平面における、変位量をｒ倍した視点位置を算出するとは、基準位置を始点として目の位置を終点とする基準平面上のベクトルに対して、ベクトルの向きを維持したまま、ベクトルの大きさをｒ倍して得られるベクトルの終点の位置を視点位置として算出することである。また、このｒの値は、画像生成装置１００を利用するユーザが、入力装置１６０を用いて自由に設定されるものであるとしてもよい。なお、以下では、右目視点位置と左目視点位置とを、左右の区別をせずに表現する場合に、単に視点位置と表現することがある。

図４において、位置Ｊ４５０は、ヘッドトラッキング部２１２によって特定された目の位置が位置Ｋ４４０である場合において、座標変換部２２２が算出する視点位置を示している。

位置Ｊ４５０は、基準平面４２０における、基準位置４３０からの位置Ｋ４４０への変位量をｒ倍した位置となっている
引き続き、座標変換部２２２が有する機能の説明を続ける。

座標変換機能：算出した、右目視点位置を示す座標（以下、「右目視点座標」と呼ぶ。）と、左目の視点位置を示す座標（以下、「左目視点座標」と呼ぶ。）とを、それぞれ、仮想座標系における仮想右視点座標と仮想左視点座標とに変換する機能。

実座標から仮想座標への変換係数であるRealToCG係数は、オブジェクトデータ保持部２３１（後述）からスクリーン領域の高さを読み出し、パラメータ保持部２２１（後述）から表示面３１０の高さを読み出して、読み出したスクリーン領域の高さを、読み出した表示面３１０の高さで除することで算出する。

例えば、図３に示されるように、実空間における表示面３１０の高さが５００ｍｍで、仮想空間における、スクリーン領域の高さが１００．０である場合において、観察者３００が、表示面３１０の中央からＺ軸上に１０００ｍｍ離れた位置に存在するときには、その観察者３００の仮想座標系でのＺ座標は、１０００×（１００．０／５００）＝２００となる。

なお、ここでは、仮想右視点座標で表わされる仮想空間上の位置を仮想右視点位置と呼び、仮想左視点座標で表わされる仮想空間上の位置を仮想左視点位置と呼ぶ。また、以下では、仮想右視点位置と仮想左視点位置とを、左右の区別せずに表現する場合に、単に仮想視点位置と表現することがある。

再び図２に戻って、画像生成装置１００の機能構成についての説明を続ける。

パラメータ保持部２２１は、座標変換部２２２に接続され、メモリ１１２の記憶領域の一部として実現され、座標変換部２２２によって、実空間における座標を算出するために利用される情報と、実空間における表示面３１０のサイズを示す情報とを記憶する機能を有する。

生成部２３０は、位置算出部２２０と出力部２４０とに接続され、オブジェクトデータ保持部２３１と３次元オブジェクト構築部２３２と光源設定部２３３と陰影処理部２３４と視点変換部２３５とラスタライズ部２３６とから構成され、視点位置から観察される３ＤＣＧ画像を生成する、いわゆる、グラフィックスパイプライン処理を実現する機能を有する。

オブジェクトデータ保持部２３１は、３次元オブジェクト構築部２３２と光源設定部２３３と視点変換部２３５と座標変換部２２２とに接続され、ハードディスク装置１４０に内蔵されるハードディスクにおける記憶領域、及び、光ディスク装置１５０に装着される光ディスクにおける記憶領域として実現され、仮想空間に仮想的に存在する立体物であるオブジェクトについての位置と形状とに係る情報と、仮想空間に仮想的に存在する光源についての位置と光源特性に係る情報と、スクリーン領域の位置と形状とに係る情報とを記憶する機能を有する。

３次元オブジェクト構築部２３２は、オブジェクトデータ保持部２３１と陰影処理部２３４とに接続され、プログラムを実行するプロセッサ１１１によって実現され、オブジェクトデータ保持部２３１から、仮想空間に仮想的に存在するオブジェクトについての位置と形状とに係る情報を読み出して、それらオブジェクトを仮想空間に展開する機能を有する。ここで、このオブジェクトの仮想空間への展開は、例えば、対象となるオブジェクトについて、そのオブジェクトの形状を示す情報に対して、回転、移動、拡大、縮小といった処理等を行うことで実現される。

光源設定部２３３は、オブジェクトデータ保持部２３１と陰影処理部２３４とに接続され、プログラムを実行するプロセッサ１１１によって実現され、オブジェクトデータ保持部２３１から、仮想空間に仮想的に存在する光源についての位置と光源特性とに係る情報を読み出して、その光源を仮想空間に設定する機能を有する。

陰影処理部２３４は、３次元オブジェクト構築部２３２と光源設定部２３３と視点変換部２３５とに接続され、プログラムを実行するプロセッサ１１１によって実現され、３次元オブジェクト構築部２３２によって展開されたオブジェクトのそれぞれに対して、光源設定部２３３によって設定された光源による陰影をつける陰影処理を行う機能を有する。

図５（ａ）、（ｂ）は、陰影処理部２３４が行う陰影処理を説明するための模式図である。

図５（ａ）は、球形のオブジェクトＡ５０２の上部に光源Ａ５０１が設定される場合の例を示す模式図である。この場合には、オブジェクトＡ５０２において上部は反射が大きく、下部は反射が少なくなるように陰影をつける。そして、オブジェクトＡ５０２によって生成される、オブジェクトＸ５０３上への影領域を計算して、その計算した影領域に影をつける。

図５（ｂ）は、球形のオブジェクトＢ５１２の左上部に光源Ｂ５１１が設定される場合の例を示す模式図である。この場合には、オブジェクトＢ５１２において左上部は反射が大きく、右下部は反射が少なくなるように陰影をつける。そして、オブジェクトＢ５１２によって生成される、オブジェクトＹ５１３上への影領域を計算して、その計算した影領域に影をつける。

視点変換部２３５は、座標変換部２２２とオブジェクトデータ保持部２３１と陰影処理部２３４とに接続され、プログラムを実行するプロセッサ１１１によって実現され、透視射影変換法を利用して、陰影処理部２３４によって陰影処理がなされたオブジェクトについての、座標変換部２２２によって算出された仮想右目視点位置から見た、スクリーン領域への射影画像（以下、「右目原画像」と呼ぶ。）と、座標変換部２２２によって算出された仮想左目視点位置から見た、スクリーン領域への射影画像（以下、「左目原画像」と呼ぶ。）とを生成する機能を有する。ここで、この透視射影変換法を利用する画像の生成は、視点位置と前クリッピング領域と後ろクリッピング領域とスクリーン領域とが指定されることで行われる。

図６は、視点変換部２３５が利用する透視射影変換法を利用する画像の生成を説明するための模式図である。

同図において、視錐台領域６１０は、指定される前クリッピング領域６０２の端点と指定される後クリッピング領域の端点とをそれぞれ結ぶ線分（図６中の太線）に囲まれた領域である。

この透視射影変換法を利用する画像の生成は、指定された視点位置６０１から見る、視錐台領域６１０に含まれるオブジェクトについての、遠近法に従った２次元射影画像を、スクリーン領域６０４に生成するという画像生成方法である。この透視射影変換法によると、視点位置と、前クリッピング領域の端点のそれぞれと、後クリッピング領域の端点のそれぞれとを結ぶ直線上に、スクリーン領域の端点のそれぞれが配置されるようになるため、生成された画像を表示するディスプレイの表示面を観察する観察者にとって、あたかも、その表示面を経由してオブジェクトを覗きこんでいるような画像を生成することができる。

図７は、視点変換部２３５が生成する右目原画像と左目原画像との関係を示す模式図である。

同図に示されるように、観察者が立った姿勢でディスプレイ１９０の表示面３１０を観察する場合には、右目の位置と左目の位置とが、Ｘ軸（図３参照）方向において互いに異なる座標となるため、右目原画像と左目原画像との関係が、互いにＸ軸方向において視差が生じる画像の関係となる。また、観察者が横になった姿勢でディスプレイ１９０の表示面３１０を観察する場合には、右目の位置と左目の位置とが、Ｙ軸方向において互いに異なる座標となるため、右目原画像と左目原画像との関係が、互いにＹ軸方向において視差が生じる画像の関係となる。このように、視点変換部２３５は、右目原画像と左目原画像とを、互いに、観察者の姿勢の向きに応じた方向において視差が生じるように生成する。

再び図２に戻って、画像生成装置１００の機能構成についての説明を続ける。

ラスタライズ部２３６は、視点変換部２３５と左目フレームバッファ部２４１（後述）と右目フレームバッファ部２４２（後述）とに接続され、プログラムを実行するプロセッサ１１１によって実現され、以下の２つの機能を有する。

テクスチャ貼り付け機能：視点変換部２３５によって生成された右目原画像と左目原画像とに、テクスチャの貼り付けを行う機能。

ラスタライズ処理機能：テクスチャが貼り付けられた右目原画像と左目原画像とから、それぞれ、ラスタ形式の右目画像とラスタ形式の左目画像とを生成する機能。ここで生成するラスタ形式の画像は、例えば、ビットマップ形式の画像である。また、このラスタライズ処理において、生成される画像を構成する画素の画素値が決定される。

出力部２４０は、生成部２３０に接続され、右目フレームバッファ部２４２と左目フレームバッファ部２４１と選択部２４３とから構成され、生成部２３０によって生成された画像をディスプレイ１９０へ出力する機能を有する。

右目フレームバッファ部２４２は、ラスタライズ部２３６と選択部２４３とに接続され、プログラムを実行するプロセッサ１１１と右目フレームバッファ１１３とによって実現され、ラスタライズ部２３６によって右目画像が生成された場合に、生成された右目画像を、自部を構成する右目フレームバッファ１１３に記憶する機能を有する。

左目フレームバッファ部２４１は、ラスタライズ部２３６と選択部２４３とに接続され、プログラムを実行するプロセッサ１１１と左目フレームバッファ１１４とによって実現され、ラスタライズ部２３６によって左目画像が生成された場合に、生成された左目画像を、自部を構成する左目フレームバッファ１１４に記憶する機能を有する。

選択部２４３は、右目フレームバッファ部２４２と左目フレームバッファ部２４１とに接続され、プログラムを実行するプロセッサ１１１がセレクタ１１５を制御することで実現され、右目フレームバッファ部２４２に記憶される右目画像と左目フレームバッファ部２４１に記憶される左目画像とを、所定の周期（例えば、１／１２０秒周期）で交互に選択してディスプレイ１９０へ出力する機能を有する。なお、ディスプレイ１９０を観察する観察者は、この所定周期に同期して動作するアクディブシャッタメガネを着用することで、奥行き感のある立体画像を観察することができる。

以下、図面を参照しながら、上記構成の画像生成装置１００が行う動作について説明する。

＜動作＞
ここでは、画像生成装置１００が行う動作のうち、特徴的な動作である、画像生成処理について説明する。

＜画像生成処理＞
画像生成処理は、画像生成装置１００が、ディスプレイ１９０の表示面３１０を観察する観察者の観察位置に応じた、その表示面３１０に表示する画像を生成する処理である。

この画像生成処理において、画像生成装置１００は、ヘッドトラッキング部２１２が行う撮影のフレームレートに同期して、右目画像と左目画像との２つの画像の生成を繰り返す。

図８は、画像生成処理のフローチャートである。

画像生成処理は、画像生成装置を利用するユーザによって入力装置１６０が操作されて、画像生成装置１００に、画像生成処理を開始する旨のコマンドが入力されることによって開始される。

画像生成処理が開始されると、ヘッドトラッキング部２１２は、ディスプレイ１９０の表示面３１０近傍に存在する被写体を撮影し、撮影した被写体に含まれる顔の領域の検出を試みる（ステップＳ８００）。そして、顔の領域の検出に成功した場合に（ステップＳ８１０：Ｙｅｓ）、ヘッドトラッキング部２１２は、右目位置と左目位置とを特定し（ステップＳ８２０）、右目位置の右目座標と左目位置の左目座標とを算出する。

右目座標と左目座標とが算出されると、座標変換部２２２は、算出された右目座標と左目座標とから、それぞれ、右視点座標と左視点座標とを算出する（ステップＳ８３０）。

ステップＳ８１０の処理において、顔の領域の検出に失敗した場合に（ステップＳ８１０：Ｎｏ）、座標変換部２２２は、右視点座標と左視点座標とのそれぞれに、予め設定された所定値のそれぞれを代入する（ステップＳ８４０）。

ステップＳ８３０の処理が終了した場合、又は、ステップＳ８４０の処理が終了した場合に、座標変換部２２２は、右視点座標と左視点座標とを、それぞれ、仮想右視点座標と仮想左視点座標とに変換する（ステップＳ８５０）。

右視点座標と左視点座標とが、それぞれ、仮想右視点座標と仮想左視点座標とに変換されると、視点変換部２３５は、その仮想右視点座標から見た右目原画像と、その仮想左視点座標から見た左目原画像とを生成する（ステップＳ８６０）。

右目原画像と左目原画像とが生成されると、ラスタライズ部２３６は、それら右目原画像と左目原画像とのそれぞれに対して、テクスチャの貼り付け処理とラスタライズ処理とを行い、右目画像と左目画像とのそれぞれを生成する。そして、生成された右目画像が右目フレームバッファ部２４２に記憶され、生成された左目画像が左目フレームバッファ部２４１に記憶される（ステップＳ８７０）。

右目画像と左目画像とが記憶されると、画像生成装置１００は、ヘッドトラッキング部２１２が次に被写体を撮影するまでの所定時間待機した後、再びステップＳ８００以下の処理を繰り返す（ステップＳ８８０）。

＜考察＞
以下、上記構成を備える画像生成装置１００が生成する画像が、その画像を観察する観察者によってどのように観察されることになるのかについて考察する。

図９は、画像生成装置１００が生成する画像を説明するための模式図であって、仮想空間における、オブジェクトとスクリーン領域と仮想視点位置との位置関係を示す。

同図において、スクリーン領域６０４はＺ軸に垂直となっており、同図は、仮想空間内のＹ軸（図３参照）における正の方向から、スクリーン領域６０４を見下ろした図となっている。

仮想観察位置Ｋ９４０は、図４における位置Ｋ４４０に対応する仮想空間上の位置である。すなわち、ヘッドトラッキング部２１２によって特定された観察位置に対応する、仮想空間上の位置である。

仮想視点位置Ｊ９５０は、図４における位置Ｊ４５０に対応する仮想空間上の位置である。すなわち、座標変換部２２２によって算出された仮想視点位置である。

仮想基準平面９２０は、図４における基準平面４２０に対応する仮想空間上の平面である。

仮想基準位置９３０は、図４における基準位置４３０に対応する仮想空間上の位置である。

図１０（ａ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４とする場合における、仮想観察位置Ｋ９４０を視点位置とした、オブジェクト９００を含む画像であって、図１０（ｂ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４とする場合における、仮想視点位置Ｊ９５０を視点位置とした、オブジェクト９００を含む画像である。

図９に示されるように、仮想視点位置Ｊ９５０についての、仮想基準位置９３０からの変位量は、仮想観察位置Ｋ９４０についての、仮想基準位置９３０からの変位量に対してｒ倍されたものとなっている。このことにより、図１０（ａ）、（ｂ）に示されるように、仮想視点位置Ｊ９５０からオブジェクト９００を見る場合には、仮想観察位置Ｋ９４０からオブジェクト９００を見る場合に比べて、よりオブジェクト９００の側面側から見ることとなる。

このように、図４中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者は、あたかも、基準位置４３０からの変位量がｒ倍された、位置Ｊ４５０からディスプレイ１９０を観察しているかのような角度からの画像を観察することとなる。

なお、図９に示されるように、仮想視点位置Ｊ９５０におけるスクリーン領域６０４の視角は、仮想観察位置Ｋ９４０におけるスクリーン領域６０４の視角よりも小さくなっている。
＜変形例１＞
以下、本発明の態様に係る画像生成装置の一実施形態として、実施の形態１に係る画像生成装置１００の一部を変形した画像生成装置１１００について説明する。

＜概要＞
画像生成装置１１００は、そのハードウエア構成が実施の形態１に係る画像生成装置１００と同一のものであるが、実行されるプログラムの一部が実施の形態１に係る画像生成装置１００と異なっている。

実施の形態１に係る画像生成装置１００は、ディスプレイ１９０の表示面３１０を観察する観察者の観察位置を検出した場合に、基準位置からの、観察位置への変位量をｒ倍した視点位置から見た画像を生成する構成の例である。そして、この場合には、観察位置における表示面３１０の視角に対して、視点位置における表示面３１０の視角が小さくなっている。

これに対して、変形例１に係る画像生成装置１１００は、実施の形態１に係る画像生成装置１００と同様に、観察者の観察位置を検出した場合に、基準位置からの、観察位置への変位量をｒ倍した視点位置から見た画像を生成する構成の例ではあるが、生成する画像を、観察位置における表示面３１０の視角と等しくなる視角の画像にした構成の例となっている。

以下、本変形例１に係る画像生成装置１１００の構成について、図面を参照しながら、実施の形態１に係る画像生成装置１００との相違点を中心に説明する。

＜構成＞
＜ハードウエア構成＞
画像生成装置１１００のハードウエア構成は、実施の形態１に係る画像生成装置１００の構成と同一のものである。よって、説明を省略する。

＜機能構成＞
図１１は、画像生成装置１１００を構成する主要な機能ブロックを示す機能ブロック図である。

同図に示されるように、画像生成装置１１００は、実施の形態１に係る画像生成装置１００から、座標変換部２２２が座標変換部１１２２に変形され、視点変換部２３５が視点変換部１１３５に変形されたものとなっている。そしてこれらの変形に伴って、位置算出部２２０が位置算出部１１２０に変形され、生成部２３０が生成部１１３０に変形されている。

座標変換部１１２２は、実施の形態１に係る座標変換部２２２から、その機能の一部が変形されたものであって、ヘッドトラッキング部２１２とパラメータ保持部２２１と視点変換部１１３５とオブジェクトデータ保持部２３１とに接続され、プログラムを実行するプロセッサ１１１によって実現され、実施の形態１に係る座標変換部２２２の有する、基準位置算定機能、視点位置算出機能、座標変換機能に加えて、さらに、以下の追加座標変換機能を有する。

追加座標変換機能：ヘッドトラッキング部２１２によって算出された右目座標と左目座標とを、それぞれ、仮想座標系における仮想右観察座標と仮想左観察座標とに変換する機能。

視点変換部１１３５は、実施の形態１に係る視点変換部２３５から、その機能の一部が変形されたものであって、座標変換部１１２２とオブジェクトデータ保持部２３１と陰影処理部２３４とラスタライズ部２３６とに接続され、プログラムを実行するプロセッサ１１１によって実現され、以下の４つの機能を有する。

視角算出機能：視点変換部１１３５によって算出された仮想右観察座標で示される仮想右観察位置から見た、スクリーン領域の視角（以下、「右観察位置視角」と呼ぶ。）と、視点変換部１１３５によって算出された仮想左観察座標で示される仮想左観察位置から見た、スクリーン領域の視角（以下、「左観察位置視角」と呼ぶ。）とを算出する機能。なお、以下では、左観察位置視角と右観察位置視角とを、左右の区別せずに表現する場合に、単に観察位置視角と表現することがある。

拡大スクリーン領域算出機能：スクリーン領域を含む平面における、仮想右目視点位置から見た、右観察位置視角を有する領域を右拡大スクリーン領域として算出し、スクリーン領域を含む平面における、仮想左目視点位置から見た、左観察位置視角を有する領域を左拡大スクリーン領域として算出する機能。ここで、視点変換部１１３５は、算出する右拡大スクリーン領域を、右拡大スクリーン領域の中央とスクリーン領域の中央とが一致するように算出し、算出する左拡大スクリーン領域を、左拡大スクリーン領域の中央とスクリーン領域の中央とが一致するように算出する。

図１２は、仮想空間における、オブジェクトとスクリーン領域と拡大スクリーン領域と仮想観察位置と仮想視点位置との関係を示す模式図である。

同図において、視角Ｋ１２６０は、仮想観察位置Ｋ９４０から見た、スクリーン領域６０４の視角である。

視角Ｊ１２７０は、視角Ｋ１２６０と等しい角度となる角である。

拡大スクリーン領域１２１０は、スクリーン領域６０４を含む平面における、仮想視点位置Ｊ９５０から見た、視角Ｊ１２７０を有する領域である。そして、拡大スクリーン領域１２１０の中央は、スクリーン領域中央９１０と一致する位置となっている。

引き続いて、視点変換部１１３５が有する機能の説明を続ける。

拡大原画像生成機能：透視射影変換法を利用して、陰影処理部２３４によって陰影処理がなされたオブジェクトについての、座標変換部１１２２によって算出された仮想右目視点位置から見た、拡大スクリーン領域への射影画像（以下、「右目拡大原画像」と呼ぶ。）と、座標変換部２２２によって算出された仮想左目視点位置から見た、拡大スクリーン領域への射影画像（以下、「左目拡大原画像」と呼ぶ。）とを生成する機能。なお、以下では、右目拡大原画像と右目拡大原画像とを、左右の区別せずに表現する場合に、単に拡大原画像と表現することがある。

画像縮小機能：右目拡大原画像のサイズがスクリーン領域のサイズと等しくなるように、右目拡大原画像を縮小補正して右目原画像を生成し、左目拡大原画像のサイズがスクリーン領域のサイズと等しくなるように、左目拡大原画像を縮小補正して左目原画像を生成する機能。

以下、図面を参照しながら、上記構成の画像生成装置１１００が行う動作について説明する。

＜動作＞
ここでは、画像生成装置１１００が行う動作のうち、特徴的な動作である、第１変形画像生成処理について説明する。

＜第１変形画像生成処理＞
第１変形画像生成処理は、画像生成装置１１００が、ディスプレイ１９０の表示面３１０を観察する観察者の観察位置に応じた、その表示面３１０に表示する画像を生成する処理であって、実施の形態１における画像生成処理（図８参照）からその処理の一部が変形されたものである。

図１３は、第１変形画像生成処理のフローチャートである。

同図に示されるように、第１変形画像生成処理は、実施の形態１における画像生成処理（図８参照）に対して、ステップＳ８５０の処理とステップＳ８６０の処理との間に、ステップＳ１３５４の処理とステップＳ１３５８の処理とが追加され、ステップＳ８６０の処理とステップＳ８７０の処理との間にステップＳ１３６５の処理が追加され、さらに、ステップＳ８４０の処理がステップＳ１３４０の処理に変形され、ステップＳ８６０の処理がステップＳ１３６０の処理に変形された処理である。

従って、ここでは、ステップＳ１３４０の処理とステップＳ１３５４の処理とステップＳ１３５８の処理とステップＳ１３６０の処理とステップＳ１３６５の処理とについて説明する。

ステップＳ８１０の処理において、顔の領域の検出に失敗した場合に（ステップＳ８１０：Ｎｏ）、座標変換部２２２は、右目座標と左目座標と右視点座標と左視点座標とのそれぞれに、予め設定された所定値のそれぞれを代入する（ステップＳ１３４０）。

ステップＳ８５０の処理において、右視点座標と左視点座標とが、それぞれ、仮想右視点座標と仮想左視点座標とに変換されると、座標変換部１１２２は、右目座標と左目座標とを、それぞれ、仮想座標系における仮想右観察座標と仮想左観察座標とに変換する（ステップＳ１３５４）。

右目座標と左目座標とが、それぞれ、仮想座標系における仮想右観察座標と仮想左観察座標とに変換されると、視点変換部１１３５は、視点変換部１１３５によって算出された仮想右観察座標で示される仮想右観察位置から見た、スクリーン領域の視角である右観察位置視角と、視点変換部１１３５によって算出された仮想左観察座標で示される仮想左観察位置から見た、スクリーン領域の視角である左観察位置視角とを算出する（ステップＳ１３５８）。

右観察位置視角と左観察位置視角とが算出されると、視点変換部１１３５は、右観察位置視角を有する右拡大原画像と、左観察位置視角を有する左拡大原画像とを生成する（ステップＳ１３６０）。

右拡大原画像と左拡大原画像とが生成されると、生成された右拡大原画像と左拡大原画像とから、それぞれ、右目原画像と左目原画像とを生成する（ステップＳ１３６５）。

＜考察＞
以下、上記構成を備える画像生成装置１１００が生成する画像が、その画像を観察する観察者によってどのように観察されることになるかについて考察する。

図１４（ａ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４（図１２参照）とする場合における、仮想観察位置Ｋ９４０を視点位置とした、オブジェクト９００を含む画像であって、図１４（ｂ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４とする場合における、仮想視点位置Ｊ９５０を視点位置とした、オブジェクト９００を含む画像を縮小補正することで得られる画像（以下、「縮小補正画像」と呼ぶ。）、すなわち原画像である。

図１２に示されるように、仮想視点位置Ｊ９５０についての、仮想基準位置９３０からの変位量は、仮想観察位置Ｋ９４０についての、仮想基準位置９３０からの変位量に対してｒ倍されたものとなっている。このことにより、図１４（ａ）、（ｂ）に示されるように、仮想視点位置Ｊ９５０からオブジェクト９００を見る場合には、仮想観察位置Ｋ９４０からオブジェクト９００を見る場合に比べて、よりオブジェクト９００の側面側から見ることとなる。さらに、ディスプレイ１９０の表示面３１０に表示されることとなる画像は、仮想視点位置Ｊ９５０から見た、スクリーン領域６０４の視角を有する領域についての画像となっている。このため、変形例１において、図４中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者の観察する画像（図１４（ｂ）参照）は、実施の形態１において、図４中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者の観察する画像（図１０（ｂ）参照）に比べて、より違和感の少ない画像となる。
＜変形例２＞
以下、本発明の態様における画像生成装置の一実施形態として、変形例１に係る画像生成装置１１００の一部をさらに変形した画像生成装置１５００について説明する。

＜概要＞
画像生成装置１５００は、そのハードウエア構成が変形例１に係る画像生成装置１１００と同一のものであるが、実行されるプログラムの一部が変形例１に係る画像生成装置１１００と異なっている。

変形例１に係る画像生成装置１１００は、拡大スクリーン領域の中央とスクリーン領域の中央とが一致するように拡大スクリーン領域の算出を行う構成の例である。これに対して、変形例２に係る画像生成装置１５００は、拡大スクリーン領域における変位方向側の辺とスクリーン領域の変位方向側の辺とが互いに一致するように拡大スクリーン領域の算出行う構成の例となっている。

以下、本変形例２に係る画像生成装置１５００の構成について、図面を参照しながら、変形例１に係る画像生成装置１１００との相違点を中心に説明する。

＜構成＞
＜ハードウエア構成＞
画像生成装置１５００のハードウエア構成は、変形例１に係る画像生成装置１１００の構成と同一のものである。よって、説明を省略する。

＜機能構成＞
図１５は、画像生成装置１５００を構成する主要な機能ブロックを示す機能ブロック図である。

同図に示されるように、画像生成装置１５００は、変形例１に係る画像生成装置１１００から、視点変換部１１３５が視点変換部１５３５に変形されたものとなっている。そして、この変形に伴って、生成部１１３０が生成部１５３０に変形されている。

視点変換部１５３５は、変形例１に係る視点変換部１１３５から、その機能の一部が変形されたものであって、座標変換部１１２２とオブジェクトデータ保持部２３１と陰影処理部２３４とラスタライズ部２３６とに接続され、プログラムを実行するプロセッサ１１１によって実現され、変形例１に係る視点変換部１１３５が有する、視角算出機能、拡大原画像生成機能、画像縮小機能に加えて、変形拡大スクリーン領域算出機能を有する。

変形拡大スクリーン領域算出機能：スクリーン領域を含む平面における、仮想右目視点位置から見た、右観察位置視角を有する領域を右拡大スクリーン領域として算出し、スクリーン領域を含む平面における、仮想左目視点位置から見た、左観察位置視角を有する領域を左拡大スクリーン領域として算出する機能。ここで、視点変換部１５３５は、算出する右拡大スクリーン領域を、右拡大スクリーン領域における変位方向側の辺とスクリーン領域の変位方向側の辺とが一致するように算出し、算出する左拡大スクリーン領域を、左拡大スクリーン領域における変位方向側の辺とスクリーン領域の変位方向側の辺とが一致するように算出する。

図１６は、仮想空間における、オブジェクトとスクリーン領域と拡大スクリーン領域と仮想観察位置と仮想視点位置との関係を示す模式図である。

同図において、視角Ｊ１６７０は、視角Ｋ１２６０と等しい角度となる角である。

拡大スクリーン領域１６１０は、スクリーン領域６０４を含む平面における、仮想視点位置Ｊ９５０から見た、視角Ｊ１６７０を有する領域である。そして、拡大スクリーン領域における変位方向側の辺とスクリーン領域の変位方向側の辺とが一致している。

＜考察＞
以下、上記構成を備える画像生成装置１５００が生成する画像が、その画像を観察する観察者によってどのように観察されることになるかについて考察する。

図１７（ａ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４（図１２参照）とする場合における、仮想観察位置Ｋ９４０を視点位置とした、オブジェクト９００を含む画像であって、図１７（ｂ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４とする場合における、仮想視点位置Ｊ９５０を視点位置とした、オブジェクト９００を含む画像を縮小補正することで得られる縮小補正画像、すなわち原画像である。

図１７（ｂ）に示されるように、変形例２において図４中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者の画像は、変形例１において図４中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者の画像（図１４（ｂ）参照）に比べて、オブジェクト９００の位置が左側（変位方向側）にシフトされたものとなる。
＜変形例３＞
以下、本発明の態様に係る画像生成装置の一実施形態として、実施の形態１に係る画像生成装置１００の一部を変形した画像生成装置１８００について説明する。

＜概要＞
画像生成装置１８００は、そのハードウエア構成が実施の形態１に係る画像生成装置１００と同一のものであるが、実行されるプログラムの一部が実施の形態１に係る画像生成装置１００と異なっている。

実施の形態１に係る画像生成装置１００は、視点位置の算出を、ディスプレイ１９０の表示面３１０に平行な平面である基準平面上において算出する構成の例である。これに対して、変形例３に係る画像生成装置１８００は、視点位置の算出を、ディスプレイ１９０の表示面３１０についての視角が一定となる曲面である基準曲面上において算出する構成の例となっている。

以下、本変形例３に係る画像生成装置１８００の構成について、図面を参照しながら、実施の形態１に係る画像生成装置１００との相違点を中心に説明する。

＜構成＞
＜ハードウエア構成＞
画像生成装置１８００のハードウエア構成は、変形例１に係る画像生成装置１１００の構成と同一のものである。よって、説明を省略する。

＜機能構成＞
図１８は、画像生成装置１８００を構成する主要な機能ブロックを示す機能ブロック図である。

同図に示されるように、画像生成装置１８００は、実施の形態１に係る画像生成装置１００から、座標変換部２２２が座標変換部１８２２に変形されたものとなっている。そしてこの変形に伴って、位置算出部２２０が位置算出部１８２０に変形されている。

座標変換部１８２２は、実施の形態１に係る座標変換部２２２から、その機能の一部が変形されたものであって、ヘッドトラッキング部２１２とパラメータ保持部２２１と視点変換部２３５とオブジェクトデータ保持部２３１とに接続され、プログラムを実行するプロセッサ１１１によって実現され、実施の形態１に係る座標変換部２２２の有する座標変換機能に加えて、以下の変形基準位置算定機能と変形視点位置算出機能とを有する。

変形基準位置算定機能：ヘッドトラッキング部２１２によって特定された、右目の位置と左目の位置とのそれぞれについて、目の位置における、ディスプレイ１９０の表示面３１０についての視角を算出し、表示面３１０についての視角が、算出した視角に等しくなる位置の集合からなる基準曲面を算出し、算出した基準曲面における、表示面３１０中央に対向する位置を基準位置として算定する機能。ここで、基準曲面における表示面中央に対向する位置とは、表示面中央を通る表示面の垂線と、基準曲面との交点の位置である。

図１９は、Ｙ軸（図３参照）における正の方向から、ディスプレイ１９０を見下ろした場合における、ディスプレイ１９０の表示面３１０と基準位置４３０との関係を模式的に示す模式図である。ここでは、表示面がＺ軸に垂直になっている。

同図において、位置Ｋ４４０は、ヘッドトラッキング部２１２によって特定された観察位置を示している（図４参照）。位置Ｊ１９５０については後述する。

視角Ｋ１９６０は、位置Ｋ４４０から見た、表示面３１０の視角である。

基準曲面１９２０は、表示面３１０についての視角が、視角Ｋ１９６０に等しくなる位置の集合からなる曲面である。

基準位置１９３０は、基準曲面１９２０上の点のうち、表示面中央４１０を通る表示面３１０の垂線と、基準曲面１９２０との交点の位置である。

引き続き、座標変換部１８２２が有する機能の説明を続ける。

変形視点位置算出機能：ヘッドトラッキング部２１２によって特定された右目の位置と左目の位置とのそれぞれについて、それぞれの基準曲面における、それぞれの基準位置からの変位量をｒ倍した右目視点位置と左目視点位置とをそれぞれ算出する機能。ここで、基準曲面における、変位量をｒ倍した視点位置を算出するとは、基準位置を始点として目の位置を終点とする基準曲面上のベクトルに対して、ベクトルの向きを維持したまま、ベクトルの大きさをｒ倍して得られるベクトルの終点の位置を視点位置として算出することである。ここで、算出する視点位置が、ディスプレイ１９０の表示面３１０の背後に回り込んでしまわないように、算出する視点位置を、表示面３１０の表面側に制限するとしてもよい。なお、以下では、右目視点位置と左目視点位置とを、左右の区別せずに表現する場合に、単に視点位置と表現することがある。

図１９において、位置Ｊ１９５０は、ヘッドトラッキング部２１２によって特定された目の位置が位置Ｋ４４０である場合において、座標変換部１８２２が算出する視点位置を示している。

＜考察＞
以下、上記構成を備える画像生成装置１８００が生成する画像が、その画像を観察する観察者によってどのように観察されることになるのかについて考察する。

図２０は、画像生成装置１８００が生成する画像を説明するための模式図であって、仮想空間における、オブジェクトとスクリーン領域と仮想視点位置との位置関係を示す。

同図において、スクリーン領域６０４はＺ軸に垂直となっており、同図は、仮想空間内のＹ軸（図３参照）における正の方向から、スクリーン領域６０４を見下ろした図となっている。

仮想観察位置Ｋ２０４０は、図１９における位置Ｋ４４０に対応する仮想空間上の位置である。すなわち、ヘッドトラッキング部２１２によって特定された観察位置に対応する、仮想空間上の位置である。

仮想視点位置Ｊ２０５０は、図１９における位置Ｊ１９５０に対応する仮想空間上の位置である。すなわち、座標変換部１８２２によって算出された仮想視点位置である。

仮想基準曲面２０２０は、図１９における基準曲面１９２０に対応する仮想空間上の曲面である。

仮想基準位置２０３０は、図１９における基準位置１９３０に対応する仮想空間上の位置である。

図２１（ａ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４とする場合における、仮想観察位置Ｋ２０４０を視点位置とした、オブジェクト９００を含む画像であって、図２１（ｂ）は、透視射影変換法におけるスクリーン領域をスクリーン領域６０４とする場合における、仮想視点位置Ｊ２０５０を視点位置とした、オブジェクト９００を含む画像である。

図２０に示されるように、仮想視点位置Ｊ２０５０についての、仮想基準位置２０３０からの変位量は、仮想観察位置Ｋ２０４０についての、仮想基準位置２０３０からの変位量に対してｒ倍されたものとなっている。このことにより、図２１（ａ）、（ｂ）に示されるように、仮想視点位置Ｊ２０５０からオブジェクト９００を見る場合には、仮想観察位置Ｋ２０４０からオブジェクト９００を見る場合に比べて、よりオブジェクト９００の側面側から見ることとなる。

このように、図１９中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者は、あたかも、基準位置１９３０からの変位量がｒ倍された、位置Ｊ１９５０からディスプレイ１９０を観察しているかのような角度からの画像を観察することとなる。さらに、ディスプレイ１９０の表示面３１０に表示されることとなる画像は、仮想観察位置Ｋ２０４０から見たスクリーン領域６０４の視角と、仮想視点位置Ｊ２０５０から見たスクリーン領域６０４の視角とが互いに等しくなっている。このため、変形例３において、図４（又は図１９）中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者の観察する画像（図２１（ｂ）参照）は、実施の形態１において、図４中の位置Ｋ４４０の位置からディスプレイ１９０を観察する観察者の観察する画像（図１０（ｂ）参照）に比べて、より違和感の少ない画像となる。
＜他の変形例＞
ヘッドトラッキング部２１２は、測距装置１３１の精度によっては、フレーム毎に観察位置に少量の誤差が発生することがある。この場合には、ローパスフィルタを使って、複数の前の観察位置から測定誤差をなまらすように構成してもよい。

カメラ１３０の設置方法として、ディスプレイ１９０の上部にカメラ１３０を配置する方法が考えられるが、この場合、図２２上段に示すように、ディスプレイ１９０との至近距離の領域等が、測距装置１３１や撮像装置１３２の画角に入らず、死角となり、センシングできないという課題がある。そこでディスプレイ１９０と至近距離にある観察者をセンシングするために、カメラ１３０を、図２２下段に示すように、観察者の後方に配置して取得するようにしてもよい。この場合には、取得したＸ値、Ｙ値は反転させ、Ｚ値は、ディスプレイ１９０とカメラ１３０との距離を計測しておき、ディスプレイ１９０とカメラ１３０との距離からＺ値を引いて値を求める。ディスプレイ１９０とカメラ１３０との距離関係を取得するために、ディスプレイ１９０側に目印となるマーカ画像を用意しておくと、ヘッドトラッキング部２１２は、そのマーカとパターンマッチングすることで、ディスプレイ１９０との距離を容易に計測することができる。このようにすることで、ディスプレイ１９０と至近距離の観察者をセンシングできる。

なお、ディスプレイ１９０と至近距離にある観察者をセンシングするために、カメラ１３０を、図２３に示すように、ディスプレイ１９０上部に配置し、至近距離の観察者がセンシングできるように、斜めに傾けて配置するようにしてもよい。この場合には、カメラ１３０とディスプレイ１９０の傾き角αの情報を使って、座標を補正する。傾き角αを取得するために、カメラ１３０にジャイロセンサを搭載してもよい。このようにすることで、ディスプレイ１９０と至近距離の観察者をセンシングできる。

なお、ディスプレイ１９０と至近距離にある観察者をセンシングするために、カメラ１３０を、ディスプレイ１９０上部に配置し、観察者を追尾するように、回転するような構成にしてもよい。顔を認識される観察者が、カメラ１３０の画像に入るように、カメラ１３０を回転させるようにして構成する。

なお、カメラ１３０を、後からディスプレイ１９０に取り付けるような方式の場合には、カメラ１３０とディスプレイ１９０の位置関係が把握できないため、観察者位置を正しくトラッキングできないという課題がある。図２４上段の例では、観察者はＸ，Ｙ軸で中心位置にいるが、後から取り付けられたカメラ１３０は、ディスプレイ１９０との位置関係が把握できないため、カメラ１３０とディスプレイ１９０の中心との差分を補正できず、図２４上段の例では、観察者位置をＸ＝−２００ｍｍ、Ｙ＝−３００ｍｍと誤検出してしまう。そこで、図２４下段左の例のように、ユーザの頭の中心が、ディスプレイ１９０の中心にあうように、立つように促して、その位置を基準に、カメラ１３０とディスプレイ１９０の位置関係を把握するようにしてもよい。例えば、図２４上段の例では、観察者がディスプレイ１９０の中心に頭が来るように立つと、カメラ１３０は、ユーザ頭部をＸ＝−２００ｍｍ、Ｙ＝−３００ｍｍと取得するが、以降のヘッドトラキングでは、この地点を中心（Ｘ＝０ｍｍ、Ｙ＝０ｍｍ）となるように補正して処理する。

なお、図２５上段のように、ディスプレイ１９０上に奥行きのある仮想ボックスを用意して、観察者に各かど（左上、右上、右下、左下）の地点に立ってもらい、その地点において、スクリーン平面のかどと仮想ボックスのかどをつなぐ直線が、観察者の視線上に存在するように、ボックスの座標をＧＵＩなどで調整するようにしてキャリブレーションしてもよい。このようにすると観察者は直感的にキャリブレーションできると共に、複数の地点情報を使ってより精度の高いキャリブレーションができる。

なお、キャリブレーション方法として、図２５下段左に示すように、画像生成装置１００が物理サイズのわかっているものをセンシングさせて行うようにしてもよい。例えば、画像生成装置１００にディスプレイ１９０を操作するリモコンの形状情報を持たせておいて、図２５下段左のようにリモコンをかざすことで、座標の補正を行うようにしてもよい。画像生成装置１００はリモコンの形状を知っているので、容易に認識をすることができ、また大きさを知っているので、カメラ１３０上のサイズと実サイズの関係からリモコン位置の奥行きを計算することが可能となる。リモコンだけでなく、ペットボトルやスマートフォンなどさまざまな身近のあるものを使ってもよい。

なお、図２５下段右に示すように、ディスプレイ１９０に中心からの距離がわかるようにグリッドを表示して、観察者に中心からカメラ１３０までの距離を入力させるような構成にしてもよい。このようにすることで、カメラ１３０とディスプレイ１９０との位置関係を把握できるため補正が可能となる。

なお、ディスプレイ１９０の大きさの情報は、ＨＤＭＩ（High-Definition Multimedia Interface）の情報から設定してもよいし、ユーザがＧＵＩ等を通じて設定できるようにしてもよい。

なお、複数人がディスプレイ１９０の前にいる場合に、どの人物の頭部検出を行うかの選択は、「手を上げる」などの決められたジェスチャで決定できるようにすると、簡易に人物を選択できる。その場合には、ヘッドトラッキング部２１２に、「手を上げる」のジェスチャをパターンマッチングなどで認識する機能を持たせておいて、そのジェスチャを認識するようにして、そのジェスチャを実行した人物の顔を覚えておき、ヘッドトラッキングするように構成する。なお、複数人がテレビの前にいる場合の選択を、ジェスチャではなく、複数の人物を撮影した映像を画面上に移して、ＧＵＩ等でトラッキングを行う人物を選択できるようにしてもよい。

なお、光源位置の設定は図２６に示すように、実世界の光源（例えば、照明）の位置とあわせるように構成すると、臨場感が増す。図２６上段では、実世界の照明の位置は観察者の上辺りに位置するのに対して、ＣＧ上の光源位置は、３次元モデルよりも後方（観察者の位置とは反対方向）に位置するため、陰影や影はユーザにとって違和感のあるものとなる。一方、図２６下段のように、実世界の照明位置とＣＧ空間の照明位置が一致すると、陰影や影に違和感がなくなり、臨場感が増すことになる。よって、実世界の照明の位置情報や強度を取得することが求められる。実世界の照明の位置情報及び強度を取得するためには、図２７に示すように、照度センサを利用する構成にしてもよい。照度センサは光の量を測定するセンサであり、人間が暗いと感じる所で光源を点灯したり，逆に明るいと感じるならば消灯したりする用途に利用される。複数の照度センサを図２７のように配置すれば、各照度センサの大きさから、光の方向を特定することが可能となる。例えば、図２７のＡ、Ｂの光量が大きく、Ｃ、Ｄの光量が小さければ、右上から光が来ていることがわかる。なお、このようにセンサを使って光源位置を特定するためには、ディスプレイ１９０のパネルの明るさを落として、光の干渉を抑えるようにしてもよい。なお、実世界の照明の位置情報を知るためには、ユーザがＧＵＩ等で、設定できるようにしてもよい。その場合には、例えば、画像生成装置１００は、観察者に照明の直下に移動してもらうように指示し、また、観察者の頭部から照明までの距離を入力してもらうように指示する。このようにすると、画像生成装置１００は、観察者の頭部位置をヘッドトラッキング部２１２で取得して位置情報を特定して、その位置情報のＹ値に、実世界の照明と頭部までの距離を加算することで、照明の位置情報を特定することが可能である。なお、実世界の照明の位置を特定するために、カメラ１３０で撮影した映像の輝度情報から特定してもよい。

なお、右目の位置と左目の位置との特定を、サンプル画像を利用するマッチング処理を行うことで特定するとしたが、検出された顔の領域から顔の中心位置を算出して、その顔の中心位置から各目の位置を算出するとしてもよい。例えば、顔の中心位置の座標が（Ｘ１、Ｙ１、Ｚ１）であれば、左目の位置の座標が（Ｘ１−３ｃｍ、Ｙ１、Ｚ１）、右目の位置の座標が（Ｘ１＋３ｃｍ、Ｙ１、Ｚ１）とする。さらには、仮想右視点位置と仮想左視点位置との算出を、顔の中心位置に対応する仮想視点位置を算出した後に、その仮想視点位置から、仮想右視点位置と仮想左視点位置とを算出するとしてもよい。例えば、顔の中心位置に対応する仮想視点位置が（Ｘ１、Ｙ１、Ｚ１）であれば、仮想左視点位置の座標が｛Ｘ１−（３ｃｍ＊RealToCG係数）、Ｙ１、Ｚ１｝、仮想右視点位置の座標が｛Ｘ１＋（３ｃｍ＊RealToCG係数）、Ｙ１、Ｚ１｝とする。

なお、オブジェクトの快適な表示のために、視錘台の空間において、スクリーン領域より観察者側にある空間においては、オブジェクトの座標が含まれるように構成してもよい。図２８の左図は、観察者とオブジェクトの、ＣＧ上の座標の関係を、示す図である。この場合には、オブジェクト１とオブジェクト２は、すべて視錘台の範囲に含まれるが、視点移動を行った右図においては、オブジェクト１とオブジェクト２が視錘台を出てしまう。ここで、オブジェクト１においては、スクリーン領域では見えない領域に入ったため違和感がないが、オブジェクト２においては、本来見えるべき箇所が欠けるため、違和感が大きい。そこで、ＣＧモデルの座標の奥行き位置が、スクリーン領域のＣＧ上奥行き座標より観察者側にある場合に、視錘台の空間のスクリーン領域より観察者側にある空間（領域Ａ）をはみ出さないように制限するようにする。このようにすることで、観察者は手前にあるオブジェクトにおいても違和感のない画像を視聴することができる。オブジェクトが領域Ａをはみ出さないためには、オブジェクトを覆うキューブを仮想的にモデル化して、そのキューブと領域Ａとの包含関係を計算する。領域Ａをはみ出る場合には、領域Ａをはみ出さないように、横や後（ユーザとは反対側）に移動する。また、その場合にオブジェクトのスケールを小さくしてもよい。なお、常にオブジェクトを領域Ｂ（視錘台の空間において、スクリーン領域より奥側（観察者位置とは反対側））に配置してもよい。なお、図２９右のように観音開きのように側面にスクリーンを設けることで、観察者の視野角が増えるため、図２９左のように手前にあるオブジェクトの視聴可能領域が増える。この場合には、視点変換部２３５は、中心のディスプレイ用の変換だけでなく、観察位置から側面ディスプレイに対する透視斜影変換を行い、側面ディスプレイに映像を表示するように構成する。なお、図３０に示すように、楕円の形のディスプレイであれば、複数の矩形領域に区切って、それぞれに対して、透視斜影変換を行い、画像を表示すればよい。

また、アクティブシャッタ方式や偏光方式のメガネを使う３Ｄテレビであれば、メガネの形状をパターンマッチングで特定することで、右目の位置と左目の位置との特定を行ってもよい。

なお、３Ｄ映像を生成する手段として、図３１に示す１プレーン＋オフセット方式がある。１プレーン＋オフセット方式は、Ｂｌｕ−ｒａｙ（登録商標） ３Ｄなどの３Ｄ映像フォーマットにおいて、字幕やメニューといった簡易な３Ｄグラフィックス表示に利用される。１プレーン＋オフセット方式は、２Ｄのグラフィックスが描画されたプレーンに対して、指定されたオフセット分だけ、プレーンを左右にシフトして、左目用イメージと右目用イメージを生成する。そのイメージを、映像などのプレーンに合成することで、図３１に示すように左目と右目用に視差画像を作り出すことができるため、平面のイメージに対して深度をつけることが可能となる。観察者にとっては平面イメージがディスプレイから浮かび上がったような表現が可能である。画像生成装置１００の生成部２３０は、３次元コンピュータグラフィックスの描画を使って説明したが、１プレーン＋オフセット方式によって３Ｄ映像を生成する場合には、右目の位置と左目の位置との傾きを求めて、プレーンシフトするような構成にしてもよい。つまり、図３２上段に示すように、観察者が横になる姿勢で、左目が下側に来る場合には、上下にオフセットをかけて、左右の映像を生成する。これはつまり図３２下段に示すように、観察者の目の位置の角度に応じて、大きさが１のベクトル値で、オフセットをかけるように構成する。このようにすることで、自由視点映像において、観察者の目の位置に応じて最適な形で１プレーン＋オフセットの３Ｄ映像を生成できる。

なお、より臨場感を増すためには、描画されるオブジェクトは、実物大で表示されることが求められる。例えば、人物のモデルをスクリーン上に表示するためには、実際の人のサイズで表示することが求められる。図３３を参照して、その方法を説明する。図３３のように、オブジェクトには、座標データの他に、「実物大スケーリング係数」情報が含まれている。この情報は、オブジェクトの座標データを、実世界のサイズに変換するための情報である。ここでは、実物大スケーリング係数は、座標データの数値をｍｍに変換する係数であるとする。この係数があることによって、例えば、実物大スケーリング係数が１０．０の場合で、オブジェクトのサイズが４０．０であれば、実世界サイズは４０．０×１０．０＝４００（ｍｍ）と変換することが可能となる。ここで、生成部２３０が、オブジェクトをリアルサイズで表示するための、該当オブジェクトを、ＣＧ上の座標情報に変換する方法を説明する。生成部２３０が、該当オブジェクトを、ＣＧ上の座標情報に変換するには、該当オブジェクトを、実物大スケーリング係数を使って、実世界のサイズにスケーリングした後、RealToCG係数を乗算して求める。例えば、図３３では、ディスプレイ物理サイズが１０００ｍｍのディスプレイと、ディスプレイ物理サイズが５００ｍｍのディスプレイに表示するケースを説明している。ディスプレイ物理サイズが１０００ｍｍのディスプレイの場合には、図３３の例のモデルの場合には、ＣＧ上の座標は、RealToCG係数０．０５であるため、この係数を、ＣＧモデルの実世界サイズ４００ｍｍに乗算することで、ＣＧ上の座標２０．０を求めることが可能となる。また、ディスプレイ物理サイズが１０００ｍｍのディスプレイの場合には、図３３の例のモデルの場合には、ＣＧ上の座標は、RealToCG係数０．１であるため、この係数を４００ｍｍに乗算することで、ＣＧ上の座標４０．０を求めることが可能となる。このように、実物大スケーリング係数を、モデルの情報に含めることによって実世界空間のサイズで、オブジェクトを描画することが可能となる。

なお、図３４に示すように、ディスプレイ中心と観察者を結ぶ線を軸に、観察者の動きに合わせて、ディスプレイを回転させるような構成にしてもよい。この場合には、カメラ１３０が常に観察者が真正面に捕らえるように、ディスプレイを回転させる。このような構成にすることによって、観察者はＣＧ上の物体を３６０度から眺めることが可能となる。

なお、ｒの値は、ディスプレイの物理サイズ（インチ数）によって調整するようにしてもよい。ディスプレイのサイズが大きい場合には、移動量が大きくなければ物体を回り込めないのでｒの値を大きくし、ディスプレイのサイズが小さければ、ｒの値を小さくする。このようにすれば、ユーザが調整しなくても快適な倍率を設定できる。

また、ｒの値は、人物の身長などの体のサイズによって調整するようにしてもよい。子供よりも大人の方が、体を動かしたときの幅が大きいため、子供場合のｒの値は、大人の場合のｒの値よりも大きくなるように構成してもよい。このようにすれば、ユーザが調整しなくても快適な倍率を設定できる。

図３５は、画像生成装置１００における応用例（アプリケーション）を示す。これは、ユーザがＣＧ空間上のＣＧキャラクタとコミュニケーションを取り、ゲームなどを行うアプリである。例えば、ＣＧキャラクタを育成するゲームやＣＧキャラクタと友達になったり、恋愛するゲームなども考えられる。また、ＣＧキャラクタはユーザのエージェントとして、仕事を行うなどをしてもよい。例えば、ユーザが「ハワイに行きたい」といえば、ＣＧキャラクタは、インターネット上からハワイの旅行プランを検索して、その結果をユーザに通知する。コミュニケーションは、自由視点３Ｄ映像の臨場感によって、容易でわかりやすいものとなり、ユーザはＣＧキャラクタに対して愛着がわく。

このような応用例における課題と対策を述べる。

ユーザとＣＧキャラクタとが同じ空間にいる臨場感をより増すために、「温度センサ」を画像生成装置１００に搭載してもよい。「温度センサ」から室内の温度を取得することにより、その温度に応じて、ＣＧキャラクタの服装を変えるようにしてもよい。例えば、室温が低ければ、ＣＧキャラクタはたくさん服を着るようにして、室温が高ければ、ＣＧキャラクタは薄着をするようにする。このようにすることで、ユーザとの一体感を増すことが可能となる。

近年、インターネットを通じて、アイドルなどの有名人がつぶやきやブログなどで、自身の考えを伝えるケースが急激に増えてきている。こうした文字情報を、臨場感をもって表現する方法を提供する。ＣＧキャラクタはアイドルなどの有名人がモデリングされており、そのＣＧキャラクタには、モデル化された有名人のつぶやきやブログのＵＲＬやアクセスＡＰＩ情報が組み込まれており、つぶやきやブログが更新されると、再生装置はつぶやきやブログの文字情報をそのＵＲＬやアクセスＡＰＩを経由して取得し、ＣＧキャラクタの口部分のＣＧの頂点座標をしゃべるように動かし、同時に、文字情報を該当有名人の音声特性に即して、発生させる。このようにすることで、ユーザはあたかも有名人がそのつぶやきやブログの内容を実際にコメントしているように感じるため、文字情報をただ読むよりも臨場感を感じることができる。なお、より臨場感を増すために、つぶやきやブログサイトから、該当有名人のつぶやきやブログの音声ストリーム、該当音声ストリームにおける口の動きのモーションキャプチャ情報を取得できるようにしてもよい。この場合、再生装置は、音声ストリームを再生しながら、口の動きのモーションキャプチャ情報に基づき、頂点座標を動かすことにより、より自然に、有名人のしゃべりを再現できる。

図３６のようにユーザ自身がスクリーン内に入り込むことができれば、ユーザとＣＧキャラクタがより円滑にコミュニケーションをとることができる。そこで、ユーザがＣＧキャラクタと同一スクリーンに入り込むための構成について、図３７を用いて説明する。まず、図３７左のような構成で、テレビ（例えば、ディスプレイ１９０）にヘッドトラッキングデバイス（例えば、カメラ１３０）が配置されている場合には、ヘッドトラッキング部２１２は、ユーザをヘッドトラッキングで認識すると共に、画面全体の奥行き情報のデプスマップから、ユーザの体部分を抽出する。例えば、右上のように、デプスマップがあれば、背景とユーザの区別がつく。カメラで撮影した画像から、特定されたユーザの領域を切り抜く。これをＣＧ世界上のテクスチャとして利用する。人間のモデルに対して、この画像をテクスチャとして貼り付け、ユーザ位置（Ｘ，Ｙ座標値、Ｚ値は反転するなど）にあうように、ＣＧ世界上に登場させ、レンダリングを行う。この場合には、図３７中下のように、表示されることとなる。しかし、この場合には、前からのカメラ映像であるため、左右が反対となり、ユーザにとって違和感となる。よって、ユーザのテクスチャはＹ軸を軸に左右反転させて、図３７右下のように表示する。このように実世界のユーザとスクリーン上のユーザは、鏡面の関係にすることが望ましい。このようにすることで、ユーザは違和感なく、スクリーン上に入り込むことが可能となる。

なお、図３７右下のように、ユーザの顔がスクリーンに出るのではなく、ユーザの背中をスクリーン側に表示するようにするためには、ヘッドトラッキングデバイスをユーザの後方に持ってくるように構成してもよい。また、前からのデプスマップ情報からＣＧモデルを生成し、後方からはカメラで写真や映像を取ってテクスチャとしてモデルに貼り付けて表示するようにしてもよい。

なお、ユーザとＣＧキャラクタが同じスクリーン空間に入り込む場合の応用例として、好きなロケーション風景での散歩が考えられる。その場合には、背景に好きなロケーション映像を再生しながら、ＣＧモデルとユーザを合成することで臨場感のある散歩が楽しめる。ロケーション映像はＢＤ−ＲＯＭなどの光ディスクで頒布してもよい。

耳の不自由な障がい者と健常者とのコミュニケーションにおいての課題は、健常者が手話を使いこなせない、という問題がある。この問題を解決する画像生成装置を提供する。図３８と図３９が本システム構成の概要である。ユーザＡは、耳の不自由な障がい者であり、ユーザＢは健常者である。ユーザＡのテレビ（例えば、ディスプレイ１９０）には、ユーザＢのモデルが表示され、ユーザＢのテレビには、ユーザＡのモデルが表示される。本システムでの処理ステップを説明する。まず、図３８で耳の不自由な障がい者ユーザＡの情報発信における処理ステップを説明する。ＳＴＥＰ１．ユーザＡは手話を行う。ＳＴＥＰ２．画像生成装置のヘッドトラッキング部（例えば、ヘッドトラッキング部２１２）は、ユーザの頭部位置だけでなく、手話ジェスチャを認識して、解釈する。ＳＴＥＰ３．画像生成装置は、手話情報を文字情報に変換して、文字情報をユーザＢの画像生成装置に、インターネットなどのネットワークを経由して伝送する。ＳＴＥＰ４．ユーザＢの画像生成装置は、データを受け取ると、文字情報を音声に変換して、ユーザＢに出力する。次に、図３９で健常者ユーザＢの情報発信における処理ステップを説明する。ＳＴＥＰ１．健常者ユーザＡが声を使って話す。ＳＴＥＰ２．画像生成装置は、マイクで音声を取得すると共に、口の動きを認識する。ＳＴＥＰ３．画像生成装置は、音声、音声認識した結果の文字情報、口の動き情報を、ユーザＡの画像生成装置に、インターネットなどのネットワークを経由して伝送する。ＳＴＥＰ４．ユーザＡの画像生成装置は、文字情報を画面上に表示しながら、口の動きをモデルで再現しながら表示する。もしくは文字情報を手話ジェスチャに変換して、ユーザＡのモデルの動きに反映させてもよい。このようにすることで、手話を知らない健常者においても、耳の不自由な障がい者と自然なコミュニケーションを行うことが可能である。
＜補足＞
以上、本発明に係る画像生成装置の一実施形態として、実施の形態１、変形例１、変形例２、変形例３、他の変形例を用いて、複数の画像生成装置の例について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態等で示した通りの画像生成装置に限られないことはもちろんである。

（１）実施の形態１において、画像生成装置１００は、生成する画像を、仮想空間上にモデリングされたＣＧ画像として生成する構成の例である。しかしながら、指定された位置から見た画像を生成することができれば、必ずしも仮想空間上にモデリングされたＣＧ画像として生成する構成に限られない。一例として、複数の位置から実際に撮影された画像間の補完によって画像を生成する技術（例えば、特許文献１記載の自由視点画像生成技術）を利用して画像を生成する構成の例等が考えられる。

（２）実施の形態１において、画像生成装置１００は、観察者の右目の位置と左目の位置とを検出し、検出した右目の位置と左目の位置とのそれぞれに基づく、右目画像と左目画像とをそれぞれ生成する構成の例である。しかしながら、少なくとも、観察者の位置を検出し、検出した観察者の位置に基づく画像を生成することができれば、必ずしも観察者の右目の位置と左目の位置とを検出して、右目画像と左目画像とを生成する必要はない。一例として、ヘッドトラッキング部２１２が、観察者の顔の中心の位置を特定して観察位置とし、座標変換部２２２がその観察位置に基づいて仮想視点位置を算出し、視点変換部２３５がその仮想視点位置から見た原画像を生成し、ラスタライズ部２３６がその原画像から画像を生成する構成の例等が考えられる。

（３）実施の形態１において、画像生成装置１００は、視点位置の算出を、基準平面における、基準位置からの、観察位置への変位量のＸ軸成分とＹ軸成分とを共にｒ倍して算出する構成の例である。しかしながら、別の一例として、視点位置の算出を、基準平面における、基準位置からの、観察位置への変位量のＸ軸成分をｒ１（ｒ１は１より大きな実数）倍し、Ｙ軸成分をｒ２（ｒ２は、ｒ１とは異なる、１より大きな実数）倍して算出する構成の例等が考えられる。

（４）実施の形態１において、ディスプレイ１９０は、液晶ディスプレイであるとして説明した。しかしながら、表示領域に画像を表示する機能を有していれば、必ずしも液晶ディスプレイである構成に限られない。一例として、壁面等を表示領域として利用して画像を表示するプロジェクタである構成の例等が考えられる。

（５）実施の形態１において、画像生成装置１００は、描画の対象となるオブジェクト自身の形状や位置が時間的に変動するものであっても構わないし、時間的に変動しないものであっても構わない。

（６）実施の形態２において、画像生成装置１１００は、視角Ｊ１２７０（図１２参照）が視角Ｋ１２６０と等しい角度である構成の例である。しかしながら、視角Ｊ１２７０の方が、仮想視点位置Ｊ９５０から見たスクリーン領域６０４の視角よりも大きな角度であって、視角Ｊ１２７０内にスクリーン領域６０４が納まっている構成であれば、必ずしも、視角Ｊ１２７０が視角Ｋ１２６０と等しい角度である構成に限られない。

（７）以下、さらに本発明の一態様に係る画像生成装置の構成及びその変形例と各効果について説明する。

（ａ）本発明の一態様に係る画像生成装置は、３次元物体が表わされた画像を外部の表示デバイスに出力する画像生成装置であって、前記表示デバイスにより表示される画像を観察する観察者の観察位置を検出する検出手段と、前記表示デバイスにより表示される画像の表示領域に向かい合う所定の基準位置からの、前記検出手段によって検出された観察位置への変位量をｒ（ｒは１より大きな実数）倍した仮想視点を算出する位置算出手段と、前記３次元物体を表わす画像を生成するためのデータを取得して、前記位置算出手段によって算出された仮想視点から観察される、前記３次元物体を表わす画像を生成する生成手段と、前記生成手段によって生成された画像を、前記表示デバイスに出力する出力手段とを備えることを特徴とする。

上述の構成を備える本発明の一態様に係る画像生成装置によると、画像を観察する観察者が移動した場合に、生成する画像の観察位置となる仮想観察位置の移動量は、観察者の移動量のｒ（ｒは１よりも大きな実数）倍となる。このことにより、物体の観察角度を変更しようとする場合に、表示画面に対する観察者の移動量が、従来よりも少なくて済む。

図４０は、上記変形例における画像生成装置４０００の構成を示すブロック図である。

同図に示されるように、画像生成装置４０００は、検出手段４０１０と位置算出手段４０２０と生成手段４０３０と出力手段４０４０とから構成される。

検出手段４０１０は、位置算出手段４０２０に接続され、外部の表示デバイスにより表示される画像を観察する観察者の観察位置を検出する機能を有する。検出手段４０１０は、一例として、検出部２１０（図２参照）として実現される。

位置算出手段４０２０は、検出手段４０１０と生成手段４０３０とに接続され、外部の表示デバイスにより表示される画像の表示領域に向かい合う所定の基準位置からの、検出手段４０２０によって検出された観察位置への変位量をｒ（ｒは１より大きな実数）倍した仮想視点を算出する機能を有する。位置算出手段４０２０は、一例として、位置算出部２２０として実現される。

生成手段４０３０は、位置算出手段４０２０と出力手段４０４０とに接続され、３次元物体を表す画像を生成するための３次元の座標データを取得して、位置算出手段４０２０によって算出された仮想視点から観察される、その３次元物体を表す画像を生成する機能を有する。生成手段４０３０は、一例として、生成部２３０として実現される。

出力手段４０４０は、生成手段４０３０によって生成された画像を、外部の表示デバイスに出力する機能を有する。出力手段４０４０は、一例として、出力部２４０として実現される。

（ｂ）また、前記表示領域は平面状の領域であり、前記基準位置は、前記検出手段によって検出された観察位置を含む、前記表示領域に平行な基準平面における、前記表示領域の中央に向かい合う位置であり、前記位置算出手段は、算出する仮想視点が、前記基準平面において、前記変位量をｒ倍した位置になるように、前記仮想視点の算出を行うとしてもよい。

このような構成にすることによって、仮想視点を、観察位置を含む、表示領域に平行となる平面上の点とすることができる。

できるようになる。

（ｃ）また、前記表示領域は長方形であり、前記生成手段は、生成する画像が、前記位置算出手段によって算出された仮想視点における視角であって、前記観察位置を含む水平面における前記表示領域の幅がなす視角以上の画角となるように、前記画像の生成を行うとしてもよい。

このような構成にすることによって、生成する画像が、仮想視点における表示領域の幅がなす視角以上の画角を有する画像となる。このことによって、生成する画像を、その画像を観察する観察者にとって比較的違和感の少ないものとすることができる。

（ｄ）また、前記観察位置における視角であって、前記観察位置を含む水平面における前記表示領域の幅がなす視角を算出する視角算出手段を備え、前記生成手段は、生成する画像が、前記視角算出手段によって算出された視角に等しい画角を有する画像となるように、前記画像の生成を行うとしてもよい。

このような構成にすることによって、生成する画像が、観察位置における表示領域の幅がなす視角と等しい画角を有する画像となる。このことによって、生成する画像を、その画像を観察する観察者にとってさらに違和感の少ないものとすることができる。

（ｅ）また、前記生成手段は、生成する画像が、前記位置算出手段によって算出された仮想視点を視点とする画像になるように、生成する画像のサイズを、前記表示領域のサイズに縮小補正することで前記画像の生成を行うとしてもよい。

このような構成にすることによって、生成する画像のサイズを、表示領域に表示できるサイズに収めることができるようになる。

（ｆ）また、前記生成手段は、前記画像の生成を、前記縮小補正がなされる前の画像における中央が前記表示領域の中央に一致するように行うとしてもよい。

このような構成にすることによって、画像における中央の位置に表示される表示物の位置が移動しないように縮小補正された画像を生成することができるようになる。

（ｇ）また、前記生成手段は、前記画像の生成を、前記縮小補正がなされる前の画像におけるいずれかの一辺が、前記表示領域のいずれかの一辺を含む辺となるように行うとしてもよい。

このような構成にすることによって、画像におけるいずれかの一辺の位置に表示される表示物の位置が移動しないように縮小補正された画像を生成することができるようになる。

できるようになる。

（ｈ）また、前記表示領域は長方形であり、前記観察位置における視角であって、前記観察位置を含む水平面における前記表示領域の幅がなす視角を算出する視角算出手段を備え、前記基準位置は、前記幅がなす視角が、前記視角算出手段によって算出された視角に等しくなる位置の集合からなる基準曲面における、前記表示領域の中央に向かい合う位置であり、前記位置算出手段は、算出する仮想視点が、前記基準曲面において、前記変位量をｒ倍した位置となるように、前記仮想視点の算出を行うとしてもよい。

このような構成にすることによって、仮想視点における表示領域の幅がなす視角が、観察位置における表示領域の幅がなす視角に等しくなる。このことによって、生成する画像を、その画像を観察する観察者にとって比較的違和感の少ないものとすることができる。

できるようになる。

（ｉ）また、前記表示デバイスに出力する画像を生成するためのデータを記憶するための記憶手段を備え、前記生成手段は、前記画像の生成を、前記表示デバイスに出力する画像を生成するためのデータを前記記憶手段から取得することで行うとしてもよい。

このような構成にすることによって、表示デバイスに出力する画像を生成するためのデータを自装置内に記憶して利用することができるようになる。

（ｊ）また、前記検出手段は、前記観察位置の検出を、前記観察者における右目の右目観察位置と、前記観察者における左目の左目観察位置とが前記観察位置として算出されるように行い、前記位置算出手段は、前記仮想視点の算出を、前記基準位置からの、前記検出手段によって検出された右目観察位置への変位量をｒ倍した右目仮想視点と、前記基準位置からの、前記検出手段によって検出された左目観察位置への変位量をｒ倍した左目仮想視点とが前記仮想視点として算出されるように行い、前記生成手段は、前記画像の生成を、前記位置算出手段によって算出された右目仮想視点から観察された右目画像と、前記位置算出手段によって算出された左目仮想視点から観察された左目画像とが前記画像として生成されるように行い、前記出力手段は、前記生成手段によって生成された右目画像と、前記生成手段によって生成された左目画像とが交互に出力されるように、前記出力を行うとしてもよい。

このような構成にすることによって、例えば、右目画像を右目に見せて、左目画像を左目に見せる機能を有する３Ｄメガネを着用する観察者は、奥行き感のある３Ｄ画像を楽しむことができるようになる。

（ｋ）また、前記３次元物体は、仮想空間における仮想物体であり、前記位置算出手段によって算出された仮想視点を示す座標を、前記仮想空間における座標系によって示される仮想座標系仮想視点座標に変換する座標変換手段を備え、前記生成手段は、前記画像の生成を、前記座標変換手段によって変換された仮想座標系仮想視点座標を利用して行うとしてもよい。

このような構成にすることによって、仮想空間において仮想的に存在する仮想物体を画像に表わすことができるようになる。

本発明は、画像を生成する機能を有する装置に広く利用することができる。

２１０ 検出部
２１１ サンプル画像保持部
２１２ ヘッドトラッキング部
２２０ 位置算出部
２２１ パラメータ保持部
２２２ 座標変換部
２３０ 生成部
２３１ オブジェクトデータ保持部
２３２ ３次元オブジェクト構築部
２３３ 光源設定部
２３４ 陰影処理部
２３５ 視点変換部
２３６ ラスタライズ部
２４０ 出力部
２４１ 左目フレームバッファ部
２４２ 右目フレームバッファ部
２４３ 選択部

Claims (11)

1. ３次元物体が表わされた画像を外部の表示デバイスに出力する画像生成装置であって、
   前記表示デバイスにより表示される画像を観察する観察者の観察位置を検出する検出手段と、
   前記表示デバイスにより表示される画像の表示領域に向かい合う所定の基準位置からの、前記検出手段によって検出された観察位置への変位量をｒ（ｒは１より大きな実数）倍した仮想視点を算出する位置算出手段と、
   前記３次元物体を表わす画像を生成するためのデータを取得して、前記位置算出手段によって算出された仮想視点から観察される、前記３次元物体を表わす画像を生成する生成手段と、
   前記生成手段によって生成された画像を、前記表示デバイスに出力する出力手段とを備える
   ことを特徴とする画像生成装置。
2. 前記表示領域は平面状の領域であり、
   前記基準位置は、前記検出手段によって検出された観察位置を含む、前記表示領域に平行な基準平面における、前記表示領域の中央に向かい合う位置であり、
   前記位置算出手段は、算出する仮想視点が、前記基準平面において、前記変位量をｒ倍した位置になるように、前記仮想視点の算出を行う
   ことを特徴とする請求項１記載の画像生成装置。
3. 前記表示領域は長方形であり、
   前記生成手段は、生成する画像が、前記位置算出手段によって算出された仮想視点における視角であって、前記観察位置を含む水平面における前記表示領域の幅がなす視角以上の画角となるように、前記画像の生成を行う
   ことを特徴とする請求項２記載の画像生成装置。
4. 前記観察位置における視角であって、前記観察位置を含む水平面における前記表示領域の幅がなす視角を算出する視角算出手段を備え、
   前記生成手段は、生成する画像が、前記視角算出手段によって算出された視角に等しい画角を有する画像となるように、前記画像の生成を行う
   ことを特徴とする請求項３記載の画像生成装置。
5. 前記生成手段は、生成する画像が、前記位置算出手段によって算出された仮想視点を視点とする画像になるように、生成する画像のサイズを、前記表示領域のサイズに縮小補正することで前記画像の生成を行う
   ことを特徴とする請求項４記載の画像生成装置。
6. 前記生成手段は、前記画像の生成を、前記縮小補正がなされる前の画像における中央が前記表示領域の中央に一致するように行う
   ことを特徴とする請求項５記載の画像生成装置。
7. 前記生成手段は、前記画像の生成を、前記縮小補正がなされる前の画像におけるいずれかの一辺が、前記表示領域のいずれかの一辺を含む辺となるように行う
   ことを特徴とする請求項５記載の画像生成装置。
8. 前記表示領域は長方形であり、
   前記観察位置における視角であって、前記観察位置を含む水平面における前記表示領域の幅がなす視角を算出する視角算出手段を備え、
   前記基準位置は、前記幅がなす視角が、前記視角算出手段によって算出された視角に等しくなる位置の集合からなる基準曲面における、前記表示領域の中央に向かい合う位置であり、
   前記位置算出手段は、算出する仮想視点が、前記基準曲面において、前記変位量をｒ倍した位置となるように、前記仮想視点の算出を行う
   ことを特徴とする請求項１記載の画像生成装置。
9. 前記表示デバイスに出力する画像を生成するためのデータを記憶するための記憶手段を備え、
   前記生成手段は、前記画像の生成を、前記表示デバイスに出力する画像を生成するためのデータを前記記憶手段から取得することで行う
   ことを特徴とする請求項１記載の画像生成装置。
10. 前記検出手段は、前記観察位置の検出を、前記観察者における右目の右目観察位置と、前記観察者における左目の左目観察位置とが前記観察位置として算出されるように行い、
    前記位置算出手段は、前記仮想視点の算出を、前記基準位置からの、前記検出手段によって検出された右目観察位置への変位量をｒ倍した右目仮想視点と、前記基準位置からの、前記検出手段によって検出された左目観察位置への変位量をｒ倍した左目仮想視点とが前記仮想視点として算出されるように行い、
    前記生成手段は、前記画像の生成を、前記位置算出手段によって算出された右目仮想視点から観察された右目画像と、前記位置算出手段によって算出された左目仮想視点から観察された左目画像とが前記画像として生成されるように行い、
    前記出力手段は、前記生成手段によって生成された右目画像と、前記生成手段によって生成された左目画像とが交互に出力されるように、前記出力を行う
    ことを特徴とする請求項１記載の画像生成装置。
11. 前記３次元物体は、仮想空間における仮想物体であり、
    前記位置算出手段によって算出された仮想視点を示す座標を、前記仮想空間における座標系によって示される仮想座標系仮想視点座標に変換する座標変換手段を備え、
    前記生成手段は、前記画像の生成を、前記座標変換手段によって変換された仮想座標系仮想視点座標を利用して行う
    ことを特徴とする請求項１記載の画像生成装置。

Images