JPWO2015156128A1 - 表示制御装置、表示制御方法、及び、プログラム - Google Patents

Abstract

本技術は、ユーザが、画像の中で、見たい領域を、直感的に選択することができるUIを実現することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。表示装置が画像を表示する表示面の位置を検出し、位置が検出された表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを表示面上に射影した射影画像を、表示面に表示する。本技術は、例えば、スマートフォンや、タブレット端末等の画像を表示する機能を有する装置等に適用することができる。

Description

本技術は、表示制御装置、表示制御方法、及び、プログラムに関し、特に、例えば、ユーザが、画像の中で、見たい領域を、直感的に選択することができるUI(User Interface)を実現することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。

例えば、タブレット等の画像を表示する機能を有する画像表示装置において、カメラで撮影された静止画等の画像を、タッチパネルに表示する場合には、例えば、静止画が表示されたタッチパネルを操作することにより、タッチパネルの表示面に表示された静止画を拡大することや、縮小することができる。

なお、特許文献１には、ユーザＡとＢとがコミュニケーションを図る映像コミュニケーションシステムにおいて、ユーザＢの２次元画像、及び、ディスプレイ面とユーザＢとの距離に基づいて、ユーザＢの２次元画像を、奥行き情報を有する３次元画像情報に変換する一方で、ユーザＡの視点位置と、ユーザＢの３次元画像情報とから、ユーザＢの２次元画像を生成し、ユーザＡのディスプレイ面に表示することで、ユーザに対話相手との距離感、現実感を与える技術が提案されている。

特開2011-077710号公報

ところで、例えば、上述のようなタブレットでの静止画等の画像の表示では、その静止画を見るユーザ（タブレットを持っているユーザ）の位置や、表示面の位置は考慮されない。

したがって、タブレットでの静止画の表示は、静止画が、表示面に、いわば貼り付いた貼り付き表示になる。そのため、ユーザや表示面が（平行）移動しても、タブレットの表示面に表示される静止画は、ユーザや表示面の移動に応じて変化しない。

以上のような貼り付き表示では、ユーザが、例えば、タブレットを動かして、表示面を移動させると、その表示面に表示された静止画は、表示面の移動に追従して、その表示面に貼り付いて移動するが、静止画の内容（表示面に表示されている静止画の各画素の画素値）は、変化しない。

したがって、貼り付き表示では、例えば、ユーザが、タブレットの表示面を窓として、その窓の向こう側にある画像を、窓からのぞき見るような感覚を享受することができるUI(User Interface)、ひいては、ユーザが、（窓の向こう側にある）画像の中で、見たい領域を、直感的に選択することができるUIを実現することは、困難である。

本技術は、このような状況に鑑みてなされたものであり、ユーザが、画像の中で、見たい領域を、直感的に選択することができるUIを実現することができるようにするものである。

本技術の表示制御装置、又は、プログラムは、表示装置が画像を表示する表示面の位置を検出する検出部と、前記検出部により位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部とを備える表示制御装置、又は、そのような表示制御装置として、コンピュータを機能させるためのプログラムである。

本技術の表示制御方法は、表示装置が画像を表示する表示面の位置を検出し、位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御するステップを含む表示制御方法である。

以上のような本技術の表示制御装置、表示制御方法、及び、プログラムにおいては、表示装置が画像を表示する表示面の位置が検出され、位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像が、前記表示面に表示される。

なお、表示制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術によれば、ユーザが、画像の中で、見たい領域を、直感的に選択することができるUIを実現することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像表示装置の一実施の形態の構成例を示す斜視図である。 画像表示装置の機能的な構成例を示すブロック図である。 制御部２４の構成例を示すブロック図である。 制御部２４の処理の例を説明するフローチャートである。 画像生成部３８による射影画像の生成の原理を説明する図である。 画像モデルの第１の例を示す図である。 画像モデルの第２の例を示す図である。 画像モデルの第３の例を示す図である。 表示面１１が水平方向に移動する場合の射影画像の生成の例を説明する図である。 表示面１１が水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 表示面１１が垂直方向に移動する場合の射影画像の生成の例を説明する図である。 表示面１１が垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 表示面１１が奥行き方向に移動する場合の射影画像の生成の例を説明する図である。 表示面１１が奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 表示面１１がピッチ方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。 表示面１１がピッチ方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 ピッチ方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。 表示面１１がヨー方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。 表示面１１がヨー方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 ヨー方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。 表示面１１がロール方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。 表示面１１がロール方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。 表示面１１がロール方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 ロール方向に傾けられた表示面１１を、同様にロール方向に傾いて見た場合の、表示面１１に表示された射影画像の例を示す図である。 ユーザが水平方向に移動する場合の射影画像の生成の例を説明する図である。 ユーザが水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 ユーザが垂直方向に移動する場合の射影画像の生成の例を説明する図である。 ユーザが垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 ユーザが奥行き方向に移動する場合の射影画像の生成の例を説明する図である。 ユーザが奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。 ボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。 3D画像の画像モデルを用いる場合の射影画像の生成を説明する図である。 ユーザが水平方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。 ユーザが垂直方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。 ユーザが奥行き方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。 手ぶれによって、表示面１１が動く場合に、その表示面１１の動きに基づいて、射影画像に与える運動視差を説明する図である。 表示面１１の動きに基づいて、運動視差がある射影画像を生成する方法の例を説明する図である。 運動視差の差異の拡大を説明する図である。 表示面１１の他の構成例を説明する図である。 表示面１１が湾曲面である場合の射影画像の生成の例を説明する図である。 表示面１１の、さらに他の構成例を説明する図である。 左眼用の射影画像、及び、右眼用の射影画像の生成の例を説明する図である。 本技術を適用した画像表示装置の第２実施の形態の構成例を示す斜視図である。 本技術を適用した画像表示装置の第３実施の形態の構成例を示す斜視図である。 虫眼鏡モードを説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜本技術を適用した画像表示装置の第１実施の形態＞

図１は、本技術を適用した画像表示装置の一実施の形態の構成例を示す斜視図である。

図１において、画像表示装置は、例えば、スマートフォン（又はタブレット）であり、正面側に、画像を表示する長方形状の表示面１１と、画像を撮影するカメラ１２とが設けられている。

なお、表示面１１は、例えば、画像を表示するとともに、ユーザの入力（接触や近接）を受け付けるタッチパネルで構成される。

図２は、図１の画像表示装置としてのスマートフォンの機能的な構成例を示すブロック図である。

図２において、スマートフォンは、データ取得部２１、表示面検出部２２、ユーザ検出部２３、制御部２４、及び、表示部２５を有する。

データ取得部２１は、画像のコンテンツのデータを取得し、制御部２４に供給する。

すなわち、データ取得部２１は、例えば、記録（記憶）媒体を内蔵しており、その記録媒体に記録されているコンテンツのデータを読み出すことにより取得する。記録媒体には、例えば、コンピュータグラフィクスのデータや、アニメーションのデータ、ディジタル（スチル／ビデオ）カメラで撮影されたデータ等を記録しておくことができる。

また、データ取得部２１は、例えば、ネットワークインターフェースであり、インターネット等のネットワーク上のサーバから、コンテンツのデータをダウンロードすることにより取得する。

なお、データ取得部２１が取得するコンテンツのデータは、静止画のデータであっても良いし、動画のデータであっても良い。

また、データ取得部２１が取得するコンテンツのデータは、2D(Dimensional)画像のデータであっても良いし、3D画像のデータであっても良い。

さらに、データ取得部２１では、画像と、その画像に付随する音声（音響）とを含むコンテンツのデータを取得することができる。

また、データ取得部２１では、スマートフォンの背面側に設けられた図示せぬカメラや、スマートフォンとの間で通信が可能な図示せぬカメラ等で、リアルタイムで撮影されている画像のデータを、制御部２４に供給するコンテンツのデータとして取得することができる。

表示面検出部２２は、スマートフォンの表示部２５の表示面１１の位置や姿勢（傾き）を検出し、表示面情報として、制御部２４に供給する。表示面１１の位置や姿勢としては、例えば、スマートフォンの位置や姿勢を採用することができる。

表示面検出部２２としては、スマートフォンが内蔵する、例えば、加速度センサやジャイロ等の動きを検出するセンサ、磁界を検出する磁気センサ等を採用することができる。また、表示面検出部２２としては、例えば、GPS(Global Positioning System)を採用することができる。

ここで、表示面検出部２２が検出する表示面１１の位置は、例えば、GPSから得られる緯度と経度のような絶対的な位置であっても良いし、あるタイミングの表示面１１の位置を基準とする相対的な位置であっても良い。

さらに、表示面検出部２２が検出する表示面１１の姿勢としては、例えば、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を採用することができる。

また、表示面検出部２２では、表示面１１の位置及び姿勢の両方の他、表示面１１の位置だけを検出することができる。

さらに、表示面検出部２２では、表示面１１の位置として、3次元空間における表示面１１の水平方向、垂直方向、及び、奥行き方向のすべての位置を検出することもできるし、表示面１１の水平方向、垂直方向、及び、奥行き方向のうちの１つ又は２つの位置を検出することもできる。

同様に、表示面検出部２２では、表示面１１の姿勢として、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のすべての回転角度を検出することもできるし、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のうちの１つ又は２つの回転角度を検出することもできる。

また、表示面検出部２２での表示面１１の位置や姿勢の検出精度は、特に限定されるものではない。

但し、スマートフォンでは、表示面１１の位置や姿勢に基づいて、ユーザが、表示面１１を窓として、コンテンツのデータから生成される画像モデルを見た場合に見える景色を再現した画像が提供される。そのため、表示面１１の位置及び姿勢の両方を検出するか、又は、表示面１１の位置だけを検出するかというファクタは、スマートフォンが提供する画像の再現性（いわば、表示面１１の窓らしさ）に影響する。

表示面１１の位置として、表示面１１の水平方向、垂直方向、及び、奥行き方向のうちのいずれの位置を検出するかや、表示面１１の姿勢として、表示面１１のピッチ方向、ヨー方向、及び、ロール方向のうちのいずれの回転角度を検出するか、表示面１１の位置及び姿勢の検出精度といったファクタも、同様に、スマートフォンが提供する画像の再現性に影響する。

ユーザ検出部２３は、ユーザの位置を検出し、ユーザ位置情報として、制御部２４に供給する。

ユーザ位置検出部２３としては、例えば、スマートフォンの正面に設けられているカメラ１２（図１）を採用することができる。この場合、ユーザ位置検出部２３では、カメラ１２で撮影されるユーザの画像に基づき、スマートフォンの位置を基準とするユーザの位置を検出することができる。

制御部２４は、例えば、スマートフォンのCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)で構成される、画像の表示を制御する表示制御装置であり、データ取得部２１から供給される画像のコンテンツのデータから、画像モデルを生成する。

ここで、画像モデルは、ボクセルを構成要素として、そのボクセル（の集合）で構成される。ボクセルは、色と位置の情報を有し、ボクセルが有する位置に、そのボクセルが有する色を配置することで、画像のコンテンツが構成される。

制御部２４は、画像モデルを生成し、その画像モデル、表示面検出部２２から供給される表示面情報が表す表示面１１の位置や姿勢、及び、ユーザ検出部２３から供給されるユーザ位置情報が表すユーザの位置等に基づいて、表示部２５の表示面１１に表示する射影画像を生成し、その射影画像を表示するように、表示部２５を制御する。

すなわち、制御部２４は、所定の基準座標系における、表示面情報が表す位置（に対応する位置）に、表示面情報が表す姿勢で、表示面１１を（仮想的に）配置するとともに、基準座標系における、ユーザ位置情報が表す位置（に対応する位置）に、ユーザ（の視点）を（仮想的に）配置する。

さらに、制御部２４は、基準座標系における所定の位置（例えば、基準座標系におけるユーザから見て、表示面１１の奥側の位置や、ユーザ及び表示面１１を囲む位置等）に、画像モデルを配置する。

そして、制御部２４は、基準座標系における表示面１１の各画素と、ユーザの位置（視点）とを通る直線に沿って、画像モデルを表示面１１（の各画素）上に射影した射影画像を生成し、表示部２５に供給して、表示面１１に表示させる。

表示部２５は、例えば、スマートフォンのタッチパネル等の、画像を表示する表示装置であり、制御部２４の制御に従い、射影画像を表示する。

ここで、表示部２５において、射影画像が表示される面が、表示面１１である。表示部２５が、例えば、上述のように、タッチパネルである場合には、タッチパネルと表示面１１とは、一体的であるため、表示面検出部２２での、表示面１１の位置及び姿勢の検出は、表示部２５であるタッチパネル、ひいては、タッチパネルと一体的なスマートフォンの位置及び姿勢を検出することで行うことができる。

なお、制御部２４は、ユーザ位置検出部２３から供給されるユーザ位置情報を用いずに、射影画像を生成することができる。

ユーザ位置検出部２３から供給されるユーザ位置情報を用いずに、射影画像を生成する場合、制御部２４は、例えば、基準座標系において、表示面１１に対向する所定の位置（例えば、表示面１１の中心（重心）を通り、表示面１１に直交する直線上の、表示面の中心から所定の距離の位置等）に、ユーザを配置して、射影画像を生成することができる。

制御部２４において、ユーザ位置検出部２３から供給されるユーザ位置情報を用いずに、射影画像を生成する場合、スマートフォンは、ユーザ位置検出部２３を設けずに構成することができる。

また、表示面検出部２２において、表示面１１の位置だけ検出され、姿勢が検出されない場合には、制御部２４では、表示面１１の姿勢として、例えば、あらかじめ決められたデフォルトの姿勢を用いて、表示面１１を、基準座標系に配置することができる。

さらに、表示面検出部２２において、表示面１１の位置として、水平方向、垂直方向、及び、奥行き方向のうちの、１つ又は２つが検出されない場合には、制御部２４では、その検出されない方向の位置として、あらかじめ決められたデフォルトの位置を用いて、表示面１１を、基準座標系に配置することができる。

ユーザ位置検出部２３において、ユーザの位置として、水平方向、垂直方向、及び、奥行き方向のうちの、１つ又は２つが検出されない場合も、同様である。

＜制御部２４の構成例＞

図３は、図２の制御部２４の構成例を示すブロック図である。

図３において、制御部２４は、基準座標系生成部３１、表示面情報取得部３２、画像モデル生成部３３、ユーザ位置情報取得部３４、表示面配置部３５、画像モデル配置部３６、ユーザ配置部３７、及び、画像生成部３８を有する。

基準座標系生成部３１は、所定の3次元の座標系を、基準座標系として生成し、表示面配置部３５、画像モデル配置部３６、及び、ユーザ配置部３７に供給する。

基準座標系生成部３１は、例えば、ユーザによって、スマートフォンが、射影画像を表示するように操作されたとき等の所定のタイミング（以下、初期設定タイミングともいう）における表示面１１に対して、xy平面が平行になる3次元の座標系等を、基準座標系として生成する。

表示面情報取得部３２は、表示面検出部２２から、表示面情報を取得し、表示面配置部３５に供給する。ここで、表示面情報には、表示面１１の位置や姿勢の他、表示面１１の形状を、必要に応じて含めることができる。

画像モデル生成部３３には、データ取得部２１からコンテンツのデータが供給される。画像モデル生成部３３は、データ取得部２１からのコンテンツのデータを解析し、そのコンテンツのデータが、2D画像又は3D画像であること等を識別した上で、そのコンテンツのデータに対応する画像モデルを生成する。

そして、画像モデル生成部３３は、画像モデルを、画像モデル配置部３６に供給する。

ユーザ位置情報取得部３４は、ユーザ検出部２３から、ユーザ位置情報を取得し、ユーザ配置部３７に供給する。

表示面配置部３５は、表示面情報取得部３２からの表示面情報に基づき、基準座標系生成部３１からの基準座標系上に、表示面１１を（仮想的に）配置し、その配置結果を、画像生成部３８に供給する。

すなわち、表示面配置部３５は、基準座標系における、表示面情報が表す位置（に対応する位置）に、表示面情報が表す姿勢で、表示面１１を配置する。

なお、本実施の形態では、初期設定タイミングにおいて、表示面１１は、基準座標系のxy平面と平行になるように、基準座標系に配置される。

また、ここでは、説明を簡単にするため、表示面１１が、例えば、長方形状の面であり、初期設定タイミングにおいて、ユーザは、その長方形状の表示面１１の長辺、及び、短辺のうちの一方である、例えば、長辺を水平方向に向けて持っていることとする。そして、表示面１１は、例えば、その長辺がx軸と平行になり、他方である短編がy軸と平行になるように、基準座標系に配置されることとする。

画像モデル配置部３６は、初期設定タイミングにおいて、基準座標系生成部３１からの基準座標系上に、画像モデル生成部３３から供給される画像モデルを（仮想的に）配置し、その配置結果を、画像生成部３８に供給する。

すなわち、画像モデル配置部３６は、初期設定タイミングにおいて、例えば、基準座標系におけるユーザから見て、表示面１１の奥側の位置や、ユーザ及び表示面１１を囲む位置等の所定の位置に、画像モデルを配置する。

ユーザ配置部３７は、ユーザ位置情報取得部３４からのユーザ位置情報に基づき、基準座標系生成部３１からの基準座標系上に、ユーザ（の視点）を（仮想的に）配置し、その配置結果を、画像生成部３８に供給する。

すなわち、ユーザ配置部３７は、基準座標系における、ユーザ位置情報が表す位置（に対応する位置）に、ユーザを配置する。

画像生成部３８は、表示面配置部３５からの、表示面１１の基準座標系への配置結果、画像モデル配置部３６からの、画像モデルの基準座標系への配置結果、及び、ユーザ配置部３７からの、ユーザの基準座標系への配置結果に基づき、ユーザが、表示面１１を窓として、画像モデルを見た場合に見える景色を再現した画像を、表示面１１に表示する射影画像として生成し、表示部２５に供給する。

すなわち、画像生成部３８は、基準座標系における表示面１１の各画素と、ユーザの位置（視点）とを通る直線に沿って、画像モデルを表示面１１（の各画素）上に射影した射影画像を生成する。

より具体的には、いま、基準座標系における表示面１１のある画素を、注目する注目画素とすると、画像生成部３８は、基準座標系における注目画素とユーザとを通る直線と交差する画像モデルの位置のボクセルを、交差ボクセルとして検出する。

さらに、画像生成部３８は、交差ボクセルが有する色を、注目画素の画素値として採用し、以上の処理を、基準座標系における表示面１１のすべての画素を、注目画素として行うことで、基準座標系における画像モデルの一部又は全部を、表示面１１上に射影した射影画像を生成する。

図４は、図３の制御部２４の処理の例を説明するフローチャートである。

ステップＳ１１において、基準座標系生成部３１は、基準座標系を生成し、表示面配置部３５、画像モデル配置部３６、及び、ユーザ配置部３７に供給して、処理は、ステップＳ１２に進む。

ステップＳ１２では、画像モデル生成部３３は、データ取得部２１から供給されるコンテンツのデータから、そのコンテンツのデータに対応する画像モデルを生成し、画像モデル配置部３６に供給して、処理は、ステップＳ１３に進む。

ステップＳ１３では、表示面情報取得部３２が、表示面検出部２２から、表示面情報を取得し、表示面配置部３５に供給するとともに、ユーザ位置情報取得部３４が、ユーザ検出部２３から、ユーザ位置情報を取得し、ユーザ配置部３７に供給して、処理は、ステップＳ１４に進む。

ステップＳ１４では、表示面配置部３５が、表示面情報取得部３２からの表示面情報に基づき、基準座標系生成部３１からの基準座標系上に、表示面１１を配置し、その配置結果を、画像生成部３８に供給する。

さらに、ステップＳ１４では、ユーザ配置部３７が、ユーザ位置情報取得部３４からのユーザ位置情報に基づき、基準座標系生成部３１からの基準座標系上に、ユーザを配置し、その配置結果を、画像生成部３８に供給する。

また、ステップＳ１４では、画像モデル配置部３６が、例えば、基準座標系におけるユーザから見て、表示面１１の奥側の位置等の所定の位置に、画像モデルを配置し、処理は、ステップＳ１５に進む。

ステップＳ１５では、画像生成部３８が、表示面配置部３５からの、表示面１１の基準座標系への配置結果、画像モデル配置部３６からの、画像モデルの基準座標系への配置結果、及び、ユーザ配置部３７からの、ユーザの基準座標系への配置結果に基づき、基準座標系における表示面１１の各画素と、ユーザの位置（視点）とを通る直線に沿って、画像モデルを表示面１１の各画素上に射影した射影画像を生成し、処理は、ステップＳ１６に進む。

ステップＳ１６では、画像生成部３８は、射影画像を、表示部２５に供給することで、表示面１１に表示させ、処理は、ステップＳ１７に進む。

ステップＳ１７では、ステップＳ１３と同様に、表示面情報取得部３２が、表示面検出部２２から、表示面情報を取得し、表示面配置部３５に供給するとともに、ユーザ位置情報取得部３４が、ユーザ検出部２３から、ユーザ位置情報を取得し、ユーザ配置部３７に供給して、処理は、ステップＳ１８に進む。

ステップＳ１８では、表示面配置部３５が、表示面情報取得部３２からの表示面情報に基づき、基準座標系生成部３１からの基準座標系上に、表示面１１を配置し、その配置結果を、画像生成部３８に供給するとともに、ユーザ配置部３７が、ユーザ位置情報取得部３４からのユーザ位置情報に基づき、基準座標系生成部３１からの基準座標系上に、ユーザを配置し、その配置結果を、画像生成部３８に供給する。

そして、処理は、ステップＳ１５に戻り、以下、同様の処理が繰り返される。

＜射影画像の生成の原理＞

図５は、図３の画像生成部３８による射影画像の生成の原理を説明する図である。

図５では、表示面情報、及び、ユーザ位置情報に基づいて、基準座標系上に、ユーザ、表示面１１、及び、画像モデルが配置されている。

いま、基準座標系における表示面１１のある画素Pを、注目する注目画素Pとすると、画像生成部３８は、基準座標系における注目画素Pとユーザとを通る直線（図５において、点線の矢印で示す）と交差する画像モデルの位置のボクセルVを、交差ボクセルVとして検出する。

さらに、画像生成部３８は、交差ボクセルVが有する色を、注目画素Pの画素値として採用することで、交差ボクセルVを、注目画素Pに射影する。

そして、画像生成部３８は、同様の処理を、基準座標系における表示面１１のすべての画素を、注目画素として行うことで、表示面１１に表示される射影画像を生成する。

なお、注目画素Pとユーザとを通る直線と交差する交差ボクセルとして、複数のボクセルが存在する場合、その複数の交差ボクセルのうちの、（ユーザから見て）最も手前側の交差ボクセルの色が、注目画素Pの画素値として採用される。

但し、交差ボクセルとして、複数のボクセルが存在する場合であっても、最も手前側の交差ボクセルの色が、透明性を有する色であるときには、その透明性に応じて、最も手前側の交差ボクセルの色と、手前から2番目（奥側）の交差ボクセルの色とを重畳した色が、注目画素Pの画素値として採用される。手前から2番目以降の交差ボクセルの色が透明性を有する場合も同様である。

また、基準座標系における注目画素Pとユーザとを通る直線と交差する画像モデルの位置（以下、モデル交差位置ともいう）に、ボクセルがないこと、すなわち、モデル交差位置と、ボクセルの位置とがずれていることがある。

この場合、画像生成部３８は、例えば、モデル交差位置に最も近いボクセルを、交差ボクセルとして検出し、交差ボクセルが有する色を、注目画素Pの画素値として採用することができる。

又は、画像生成部３８は、例えば、モデル交差位置に近接又は隣接する、最も手前側の複数のボクセルを、交差ボクセルの候補となる候補ボクセルとして検出し、その複数の候補ボクセルを用いた補間（内挿又は外挿）によって、モデル交差位置に、交差ボクセルを生成することができる。この場合、交差ボクセルが有する色として、複数の候補ボクセルのそれぞれが有する色を、各候補ボクセルとモデル交差位置との距離に応じて合成した合成色が生成される。その結果、そのような合成色が、注目画素Pの画素値として採用される。

以上のように、表示面情報、及び、ユーザ位置情報に基づいて、基準座標系上に、ユーザ、表示面１１、及び、画像モデルを配置し、基準座標系における表示面１１の画素Pと、ユーザとを通る直線に沿って、画像モデルを、表示面１１の画素Pに射影することで、射影画像を生成することにより、ユーザが、表示面１１を窓として、画像モデルを見た場合に見える景色を再現した画像を、射影画像として得ることができる。

したがって、ユーザが、表示面１１に表示された射影画像を見た場合に、ユーザの網膜に射影される画像は、ユーザが、表示面１１を窓として、その窓を通して画像モデルを見た場合に、ユーザの網膜に射影される画像と同様（同一又は類似）の画像となり、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を通して、画像モデルを見ているかのような感覚を享受することができる。

ここで、上述のように、表示面１１に表示される射影画像は、ユーザが、表示面１１を窓として、画像モデルを見た場合に見える景色を再現した画像になるので、例えば、画像を撮影する撮影装置で撮影されたある場所Aの景色の画像（のコンテンツ）から得られる画像モデル（以下、場所Aの画像モデルともいう）を用いて、射影画像を生成することにより、ユーザは、実際に、場所Aに行かなくても、その場所Aにいるかのような感覚を享受することができる。

また、射影画像は、撮影装置による場所Aの撮影時の撮影装置の位置（絶対的な位置）及び姿勢にも基づいて生成することができる。

すなわち、場所Aの画像モデルを用いた射影画像は、スマートフォンを所持しているユーザが、実際に、場所Aにいるときに生成することができる。

そして、場所Aの画像モデルを用いた射影画像の生成は、場所Aの撮影時の撮影装置の位置及び姿勢に基づいて、場所Aの撮影時の景色を再現するように、場所Aの画像モデルを基準座標系に配置して行うことができる。

この場合、ユーザは、場所Aにおいて、窓としての表示面１１から、場所Aの過去の景色を見る、いわば、時間窓(window of time)、あるいは、タイムマシンを体験することができる。

すなわち、実際に、場所Aにいるユーザは、場所Aの現在の景色を見ることができる。

さらに、ユーザが場所Aにいる場合には、場所Aの画像モデルを用いた射影画像の生成が、場所Aの撮影時の過去の景色を再現するように、場所Aの画像モデルを基準座標系に配置して行われるので、例えば、ユーザが、場所Aにおいて、ある方向Bに、スマートフォンを向けると、スマートフォンの表示面１１には、撮影装置で場所Aを撮影したときの方向Bの過去の景色が、射影画像として表示される。

これにより、ユーザは、撮影装置での場所Aの撮影時に、その場所Aにいたならば見ることができた方向Bの過去の景色を、窓としての表示面１１に表示された射影画像として見ることができる。

したがって、ユーザは、実際の景色として、場所Aの方向Bの現在の景色を見ることができるとともに、表示面１１を窓として、その窓を通して、場所Aの方向Bの過去の景色を見ているかのような感覚を享受することができる。

＜画像モデルの例＞

図６は、画像モデルの第１の例を示す図である。

画像モデルは、位置と色の情報を有するボクセルで構成され、任意の形状の構造の画像を表現することができる。

図６は、2D画像の画像モデルの例を示している。2D画像の画像モデルは、例えば、長方形状の（平面の）構造を有する。2D画像の画像モデルのボクセルは、位置の情報として、水平方向、及び、垂直方向の位置の情報を有する。

図７は、画像モデルの第２の例を示す図である。

図７は、3D画像の画像モデルの例を示している。3D画像の画像モデルは、水平方向、垂直方向、及び、奥行き方向に広がる複雑な構造を有し、したがって、3D画像の画像モデルのボクセルは、位置の情報として、水平方向、垂直方向、及び、奥行き方向の位置の情報を有する。

図８は、画像モデルの第３の例を示す図である。

図８の画像モデルは、長方形を湾曲させた曲面の構造を有する。

画像モデルの構造としては、図６ないし図８に示した構造の他、例えば、球体等の任意の構造を採用することができる。

＜射影画像の具体例＞

以下、表示面１１が、水平方向、垂直方向、及び、奥行き方向のそれぞれに（平行）移動（並進）する場合、表示面１１が、ピッチ方向、ヨー方向、及び、ロール方向のそれぞれに回転する場合、並びに、ユーザが、水平方向、垂直方向、及び、奥行き方向のそれぞれに移動する場合のそれぞれにおいて生成される射影画像の具体例について説明する。

なお、ここでは、説明を分かりやすくするために、表示面１１が、水平方向、垂直方向、及び、奥行き方向のそれぞれに移動する場合、表示面１１が、ピッチ方向、ヨー方向、及び、ロール方向のそれぞれに回転する場合、並びに、ユーザが、水平方向、垂直方向、及び、奥行き方向のそれぞれに移動する場合のそれぞれに分けて、射影画像の生成の具体例について説明するが、射影画像は、これらの移動や回転の任意の組み合わせに対して生成することができる。

図９は、表示面１１が水平方向に移動する場合の射影画像の生成の例を説明する図である。

なお、以下では、表示面１１やユーザは、例えば、初期設定タイミングの状態から動くこととする。

また、基準座標系は、例えば、初期設定タイミングの表示面１１の長辺方向の左から右方向を、x軸と、表示面１１の短辺方向の下から上方向を、y軸と、表示面１１と直交する、表示面１１と対向する方向を、z軸とする3次元の座標系であることとする。

さらに、初期タイミングでは、基準座標系において、ユーザは、例えば、表示面１１の中心を通る直線上の、表示面１１と対向する側に配置されることとし、ユーザ及び表示面１１の水平方向、垂直方向、及び、奥行き方向は、それぞれ、基準座標系のx軸、y軸、及び、z軸と平行な方向になっていることとする。

また、画像モデルとしては、例えば、2D画像の静止画の画像モデルを採用することとする。

図９のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

表示面１１の水平方向の移動では、表示面１１は、ユーザによって、姿勢を変化させずに、初期設定タイミングにおける表示面１１を含む平面（xy平面に平行な平面）内を、図９のＡに実線の太い矢印で示すように、左方向に移動されるか、又は、図９のＡに点線の太い矢印で示すように、右方向に移動される。

図９のＢは、表示面１１が、左方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図９のＢにおいて、表示面１１の移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

そして、表示面１１が左方向に移動された後では、図５で説明した原理に従って、ユーザの正面の左側に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、表示面１１が左方向に移動されても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも左側の範囲に変わったような射影画像が生成される。

図９のＣは、表示面１１が、右方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。

表示面１１が右方向に移動される場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも右側の範囲に変わったような射影画像が生成される。

図１０は、表示面１１が水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。

図１０は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図１０では、時刻Tにおいて、ユーザの真正面に位置していた表示面１１が、時刻T+1において、ユーザの正面の左に移動されている。

なお、図１０では、表示面１１の移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。

画像モデルのあるボクセルV#1は、表示面１１の移動前の時刻Tでは、表示面１１の左側の画素P#1に射影されるが、表示面１１の左への移動後の時刻T+1では、表示面１１の右側の画素P#2に射影される。

図１１は、図１０のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、表示面１１の移動前の時刻Tでは、窓としての表示面１１の左に画素P#1として見え、表示面１１の左への移動後の時刻T+1では、窓としての表示面１１の右に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を左に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図１２は、表示面１１が垂直方向に移動する場合の射影画像の生成の例を説明する図である。

図１２のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

表示面１１の垂直方向の移動では、表示面１１は、ユーザによって、姿勢を変化させずに、初期設定タイミングにおける表示面１１を含む平面（xy平面に平行な平面）内を、図１２のＡに実線の太い矢印で示すように、下方向に移動されるか、又は、図１２のＡに点線の太い矢印で示すように、上方向に移動される。

図１２のＢは、表示面１１が、下方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図１２のＢにおいて、表示面１１の移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

そして、表示面１１が下方向に移動された後では、図５で説明した原理に従って、ユーザの正面の下側に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、表示面１１が下方向に移動されても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも下側の範囲に変わったような射影画像が生成される。

図１２のＣは、表示面１１が、上方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。

表示面１１が上方向に移動される場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも上側の範囲に変わったような射影画像が生成される。

図１３は、表示面１１が垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。

図１３は、基準座標系を、x軸の正方向から見た図であり、図に垂直な方向、右から左方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図１３では、時刻Tにおいて、ユーザの真正面に位置していた表示面１１が、時刻T+1において、ユーザの正面の下に移動されている。

なお、図１３では、表示面１１の移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。

画像モデルのあるボクセルV#1は、表示面１１の移動前の時刻Tでは、表示面１１の上下の中央付近の画素P#1に射影されるが、表示面１１の下への移動後の時刻T+1では、表示面１１の上側の画素P#2に射影される。

図１４は、図１３のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、表示面１１の移動前の時刻Tでは、窓としての表示面１１の上下の中央付近に画素P#1として見え、表示面１１の下への移動後の時刻T+1では、窓としての表示面１１の上に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を下に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図１５は、表示面１１が奥行き方向に移動する場合の射影画像の生成の例を説明する図である。

図１５のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

表示面１１の奥行き方向の移動では、表示面１１は、ユーザによって、姿勢を変化させずに、初期設定タイミングにおける表示面１１に直交する方向に（z軸の方向に）、図１５のＡに実線の太い矢印で示すように、手前方向（ユーザから見て手前側）に移動されるか、又は、図１５のＡに点線の太い矢印で示すように、奥方向（ユーザから見て奥側）に移動される。

図１５のＢは、表示面１１が、手前方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図１５のＢにおいて、表示面１１の移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

そして、表示面１１が手前方向に移動された後では、図５で説明した原理に従って、ユーザの真正面のより手前側に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、表示面１１が手前方向に移動されても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも広い範囲に変わったような射影画像が生成される。

図１５のＣは、表示面１１が、奥方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。

表示面１１が奥方向に移動される場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、窓が移動することによって、画像モデルの見える範囲が、移動前よりも狭い範囲に変わったような射影画像が生成される。

図１６は、表示面１１が奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。

図１６は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図１６では、時刻Tにおいて、ユーザの真正面のある位置にあった表示面１１が、時刻T+1において、ユーザの真正面のより手前に移動されている。

なお、図１６では、表示面１１の移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。

画像モデルのあるボクセルV#1は、表示面１１の移動前の時刻Tでは、表示面１１の中心から遠い左側の画素P#1に射影されるが、表示面１１の手前への移動後の時刻T+1では、表示面１１の中心から近い左側の画素P#2に射影される。

図１７は、図１６のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、表示面１１の移動前の時刻Tでは、窓としての表示面１１の中心から遠い左側に画素P#1として見え、表示面１１の手前への移動後の時刻T+1では、窓としての表示面１１の中心に近い左側に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓を手前に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図１８は、表示面１１がピッチ方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。

図１８のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

表示面１１のピッチ方向の回転（x軸回りの回転）では、表示面１１は、ユーザによって、位置を変化させずに、例えば、初期設定タイミングにおける表示面１１の中心を通るx軸に平行な直線を回転軸として、図１８のＡに実線の太い矢印で示すように、又は、その矢印の反対向きに回転されて傾けられる。

図１８のＢは、表示面１１が、図１８のＡに実線の太い矢印で示すように、ピッチ方向に回転されて傾けられる場合に、表示面１１が傾けられる前（初期設定タイミング）に生成される射影画像と、表示面１１が傾けられた後に生成される射影画像とを示している。

図１８のＢにおいて、表示面１１が傾けられる前では、図５で説明した原理に従って、ユーザの真正面に、ユーザに正対した状態の窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

そして、表示面１１が回転されてピッチ方向に傾けられた後では、図５で説明した原理に従って、ユーザの真正面に、ピッチ方向に傾いた状態の窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、表示面１１がピッチ方向に傾けられても、その傾いた窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓がピッチ方向に傾くことによって、画像モデルの見える範囲が、窓が傾く前よりも狭い範囲に変わったような射影画像が生成される。

図１９は、表示面１１がピッチ方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。

図１９は、基準座標系を、x軸の負方向から見た図であり、図に垂直な方向、下から上方向、及び、左から右方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図１９では、時刻Tにおいて、ユーザの真正面に正対する状態になっていた表示面１１が、時刻T+1において、ピッチ方向に傾けられている。

なお、図１９では、（2D画像の静止画の）画像モデルは、表示面１１が傾けられる前後のいずれにおいても、xy平面に平行になっている。

また、表示面１１は、ピッチ方向に傾けられる前の時刻Tにおいては、xy平面に平行になっているが、ピッチ方向に傾けられた後の時刻T+1においては、xy平面と平行にはなっていない。

画像モデルのあるボクセルV#1は、表示面１１がピッチ方向に傾けられる前の時刻Tでは、表示面１１の中心から近い上側の画素P#1に射影されるが、表示面１１が傾けられた後の時刻T+1では、表示面１１の中心から遠い上側の画素P#2に射影される。

図２０は、図１９のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、表示面１１が傾けられる前の時刻Tでは、窓としての表示面１１の中心から近い上側に画素P#1として見え、表示面１１が傾けられた後の時刻T+1では、窓としての表示面１１の中心から遠い上側（表示面１１によって擬製される窓の窓枠内の上側）に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓をピッチ方向に傾けることにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図２１は、図２０のピッチ方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。

ピッチ方向に傾けられた状態の表示面１１に表示される射影画像は、そのようにピッチ方向に傾けられた状態の表示面１１を見た場合に、その傾けられた表示面１１を窓として、その窓から画像モデルを見たときに見える景色の画像となるように、いわば、垂直方向に間延びした画像になっている。

図２２は、表示面１１がヨー方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。

図２２のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

表示面１１のヨー方向の回転（y軸回りの回転）では、表示面１１は、ユーザによって、位置を変化させずに、初期設定タイミングにおける表示面１１の中心を通るy軸に平行な直線を回転軸として、図２２のＡに実線の太い矢印で示すように、又は、その矢印の反対向きに回転されて傾けられる。

図２２のＢは、表示面１１が、図２２のＡに実線の太い矢印で示すように、ヨー方向に回転されて傾けられる場合に、表示面１１が傾けられる前（初期設定タイミング）に生成される射影画像と、表示面１１が傾けられた後に生成される射影画像とを示している。

図２２のＢにおいて、表示面１１が傾けられる前では、図５で説明した原理に従って、ユーザの真正面に、ユーザに正対した状態の窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

そして、表示面１１が回転されてヨー方向に傾けられた後では、図５で説明した原理に従って、ユーザの真正面に、ヨー方向に傾いた状態の窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、表示面１１がヨー方向に傾けられても、その傾いた窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓がヨー方向に傾くことによって、画像モデルの見える範囲が、窓が傾く前よりも狭い範囲に変わったような射影画像が生成される。

図２３は、表示面１１がヨー方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。

図２３は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図２３では、時刻Tにおいて、ユーザの真正面に正対する状態になっていた表示面１１が、時刻T+1において、ヨー方向に傾けられている。

なお、図２３では、（2D画像の静止画の）画像モデルは、表示面１１が傾けられる前後のいずれにおいても、xy平面に平行になっている。

また、表示面１１は、ヨー方向に傾けられる前の時刻Tにおいては、xy平面に平行になっているが、ヨー方向に傾けられた後の時刻T+1においては、xy平面と平行にはなっていない。

画像モデルのあるボクセルV#1は、表示面１１がヨー方向に傾けられる前の時刻Tでは、表示面１１の中心から近い左側の画素P#1に射影されるが、表示面１１が傾けられた後の時刻T+1では、表示面１１の中心から遠い左側の画素P#2に射影される。

図２４は、図２３のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、表示面１１が傾けられる前の時刻Tでは、窓としての表示面１１の中心から近い左側に画素P#1として見え、表示面１１が傾けられた後の時刻T+1では、窓としての表示面１１の中心から遠い左側（表示面１１によって擬製される窓の窓枠内の左側）に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓をヨー方向に傾けることにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図２５は、図２４のヨー方向に傾けられた表示面１１を、その表示面１１に直交する方向から見た場合の、表示面１１に表示された射影画像の例を示す図である。

ヨー方向に傾けられた状態の表示面１１に表示される射影画像は、そのようにヨー方向に傾けられた状態の表示面１１を見た場合に、その傾けられた表示面１１を窓として、その窓から画像モデルを見たときに見える景色の画像となるように、いわば、水平方向に間延びした画像になっている。

図２６は、表示面１１がロール方向に回転されて傾けられる場合の射影画像の生成の例を説明する図である。

図２６のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

表示面１１のロール方向の回転（z軸回りの回転）では、表示面１１は、ユーザによって、位置を変化させずに、初期設定タイミングにおける表示面１１の中心を通るz軸に平行な直線を回転軸として、図２６のＡに実線の太い矢印で示すように、又は、その矢印の反対向きに回転されて傾けられる。

図２６のＢは、表示面１１が、図２６のＡに実線の太い矢印で示すように、ロール方向に回転されて傾けられる場合に、表示面１１が傾けられる前（初期設定タイミング）に生成される射影画像と、表示面１１が傾けられた後に生成される射影画像とを示している。

図２６のＢにおいて、表示面１１が傾けられる前では、図５で説明した原理に従って、ユーザの真正面に、長辺及び短辺がユーザの左右方向及び上下方向をそれぞれ向いた状態の窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

そして、表示面１１が回転されてロール方向に傾けられた後では、図５で説明した原理に従って、ユーザの真正面に、ロール方向に傾いた状態の窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、表示面１１がロール方向に傾けられても、その傾いた窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、窓がロール方向に傾くことによって、画像モデルの見える範囲が、窓が傾く前とは異なる範囲に変わったような射影画像が生成される。

図２７及び図２８は、表示面１１がロール方向に傾けられる場合の射影画像の生成の例を、さらに説明する図である。

図２７は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図２８は、基準座標系を、z軸の正方向から見た図であり、左から右方向、下から上方向、及び、図に垂直な方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図２７及び図２８では、時刻Tにおいて、ユーザの真正面に正対する状態（ロール方向に傾いていない状態）になっていた表示面１１が、時刻T+1において、ロール方向に傾けられている。

なお、図２７及び図２８では、表示面１１、及び、（2D画像の静止画の）画像モデルは、表示面１１が傾けられる前後のいずれにおいても、xy平面に平行になっている。

画像モデルのあるボクセルV#1は、表示面１１がロール方向に傾けられる前の時刻Tでは、表示面１１の中心を通る、x軸に平行な直線上の画素P#1に射影されるが、表示面１１が傾けられた後の時刻T+1では、（ロール方向に傾けられていない状態の）表示面１１の中心から左下側の画素P#2に射影される。

図２９は、図２７及び図２８のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、表示面１１が傾けられる前の時刻Tでは、窓としての表示面１１の中心を通る、x軸に平行な直線上に画素P#1として見え、表示面１１が傾けられた後の時刻T+1では、窓としての表示面１１の中心から左下側（表示面１１によって擬製される窓枠内の左下側）に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、その窓をロール方向に傾けることにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図３０は、図２９のロール方向に傾けられた表示面１１を、同様にロール方向に傾いて見た場合の、表示面１１に表示された射影画像の例を示す図である。

ロール方向に傾けられた状態の表示面１１に表示される射影画像は、そのようにロール方向に傾けられた状態の表示面１１を見た場合に、その傾けられた表示面１１を窓として、その窓から画像モデルを見たときに見える景色の画像となるように、表示面１１を傾けたロール方向とは逆のロール方向に傾いた画像になっている。

図３１は、ユーザが水平方向に移動する場合の射影画像の生成の例を説明する図である。

図３１のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

ユーザの水平方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図３１のＡに実線の太い矢印で示すように、左方向に移動するか、又は、図３１のＡに点線の太い矢印で示すように、右方向に移動する。

図３１のＢは、ユーザが、左方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図３１のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

そして、ユーザが左方向に移動した後では、図５で説明した原理に従って、ユーザの正面の右側に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが左方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも右側の範囲に変わったような射影画像が生成される。

図３１のＣは、ユーザが、右方向に移動する場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。

ユーザが右方向に移動する場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも左側の範囲に変わったような射影画像が生成される。

図３２は、ユーザが水平方向に移動する場合の射影画像の生成の例を、さらに説明する図である。

図３２は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図３２では、時刻Tにおいて、表示面１１の真正面に位置していたユーザが、時刻T+1において、表示面１１の正面の左に移動している。

なお、図３２では、ユーザの移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。

画像モデルのあるボクセルV#1は、ユーザの移動前の時刻Tでは、表示面１１の中心の画素P#1に射影されるが、ユーザの左への移動後の時刻T+1では、表示面１１の左側の画素P#2に射影される。

図３３は、図３２のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、ユーザの移動前の時刻Tでは、窓としての表示面１１の中心に画素P#1として見え、ユーザの左への移動後の時刻T+1では、窓としての表示面１１の左に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、ユーザが左に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図３４は、ユーザが垂直方向に移動する場合の射影画像の生成の例を説明する図である。

図３４のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

ユーザの垂直方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図３４のＡに実線の太い矢印で示すように、上方向に移動するか、又は、図３４のＡに点線の太い矢印で示すように、下方向に移動する。

図３４のＢは、ユーザが、上方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図３４のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

そして、ユーザが上方向に移動した後では、図５で説明した原理に従って、ユーザの正面の下側に、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが上方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも下側の範囲に変わったような射影画像が生成される。

図３４のＣは、ユーザが、下方向に移動する場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。

ユーザが下方向に移動する場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも上側の範囲に変わったような射影画像が生成される。

図３５は、ユーザが垂直方向に移動する場合の射影画像の生成の例を、さらに説明する図である。

図３５は、基準座標系を、x軸の正方向から見た図であり、図に垂直な方向、右から左方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図３５では、時刻Tにおいて、表示面１１の真正面に位置していたユーザが、時刻T+1において、表示面１１の正面の上に移動している。

なお、図３５では、ユーザの移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。

画像モデルのあるボクセルV#1は、ユーザの移動前の時刻Tでは、表示面１１の中心の画素P#1に射影されるが、ユーザの上への移動後の時刻T+1では、表示面１１の上側の画素P#2に射影される。

図３６は、図３５のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、ユーザの移動前の時刻Tでは、窓としての表示面１１の中心に画素P#1として見え、ユーザの上への移動後の時刻T+1では、窓としての表示面１１の上に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、ユーザが上に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

図３７は、ユーザが奥行き方向に移動する場合の射影画像の生成の例を説明する図である。

図３７のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

ユーザの奥行き方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に直交する方向に移動する。すなわち、ユーザは、図３７のＡに実線の太い矢印で示すように、奥方向（ユーザから表示面１１に向かう方向）に移動するか、又は、図３７のＡに点線の太い矢印で示すように、手前方向（表示面１１からユーザに向かう方向）に移動する。

図３７のＢは、ユーザが、奥方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図３７のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが静止画の画像モデルを見ているかのような射影画像が生成される。

そして、ユーザが奥方向に移動した後では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、静止画の画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも広い範囲に変わったような射影画像が生成される。

図３７のＣは、ユーザが、手前方向に移動する場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。

ユーザが手前方向に移動する場合も、窓としての表示面１１の向こう側に存在する静止画の画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも狭い範囲に変わったような射影画像が生成される。

図３８は、ユーザが奥行き方向に移動する場合の射影画像の生成の例を、さらに説明する図である。

図３８は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

図３８では、時刻Tにおいて、表示面１１の真正面に位置していたユーザが、時刻T+1において、表示面１１の正面のより近い位置に移動している。

なお、図３８では、ユーザの移動前、及び、移動後のいずれにおいても、表示面１１、及び、（2D画像の静止画の）画像モデルは、xy平面に平行になっている。

画像モデルのあるボクセルV#1は、ユーザの移動前の時刻Tでは、表示面１１の中心から離れた左の画素P#1に射影されるが、ユーザの奥への移動後の時刻T+1では、表示面１１の中心に近い画素P#2に射影される。

ここで、ユーザが、奥方向に移動する場合には、ユーザと表示面１１とが近くなり、窓としての表示面１１から見える景色の視野角が大きくなる。

一方、図１５ないし図１７で説明した、表示面１１が、手前方向に移動される場合も、ユーザと表示面１１とが近くなるので、窓としての表示面１１から見える景色の視野角が大きくなる。

したがって、ユーザが、奥方向に移動する場合と、表示面１１が、手前方向に移動される場合とは、いずれも、窓としての表示面１１から見える景色の視野角が大きくなる点で共通する。

但し、ユーザが、奥方向に移動する場合には、ユーザと画像モデルとが近くなるので、窓としての表示面１１から見える景色を構成するオブジェクトのサイズは、ユーザの移動前よりも大きくなる。

一方、図１５ないし図１７で説明した、表示面１１が、手前方向に移動される場合には、ユーザと画像モデルとの距離は変化しないため、窓としての表示面１１から見える景色を構成するオブジェクトのサイズは、表示面１１の移動前後で変化しない。

図３９は、図３８のボクセルV#1が画素P#1に射影された時刻Tの射影画像の表示例と、ボクセルV#1が画素P#2に射影された時刻T+1の射影画像の表示例とを示す図である。

画像モデルのボクセルV#1は、ユーザの移動前の時刻Tでは、窓としての表示面１１の中心から離れた左に画素P#1として見え、ユーザの奥への移動後の時刻T+1では、窓としての表示面１１の中心に近い位置に画素P#2として見える。

その結果、ユーザは、あたかも、画像モデルがユーザの目の前に定位しており、表示面１１を窓として、ユーザが奥に移動することにより、窓を通して見える画像モデルの範囲が変化したかのような感覚を享受することができる。

＜3D画像の画像モデルを用いる場合の射影画像の生成＞

図４０は、3D画像の画像モデルを用いる場合の射影画像の生成を説明する図である。

すなわち、図４０は、ユーザ、表示面１１、及び、3D画像の画像モデルが配置された基準座標系の例を示している。

ここで、図４０において、3D画像の画像モデルは、奥行きの位置（デプス）が異なる4個のオブジェクトobj#1,obj#2,obj#3,obj#4から構成されている。

3D画像の画像モデルを用いる場合にも、図５で説明した原理に従って、射影画像が生成される。

ところで、2D画像の画像モデルを構成するボクセルは、位置の情報として、水平方向、及び、垂直方向の位置の情報を有し、奥行き方向の位置の情報を有していないか、又は、奥行き方向の位置の情報を有していても、その奥行き方向の位置の情報は、すべてのボクセルで、同一の情報になっている。

一方、3D画像の画像モデル（以下、3D画像モデルともいう）を構成するボクセルは、位置の情報として、水平方向、垂直方向、及び、奥行き方向の位置の情報を有し、奥行き方向の位置の情報は、同一の情報であるとは限らず、異なる情報であることがある。

そのため、ユーザが移動した場合には、窓としての表示面１１には、実世界で奥行きのある物を見ている場合と同様の運動視差が生じた射影画像が表示される。

図４１は、ユーザが水平方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。

図４１のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

ユーザの水平方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図４１のＡに実線の太い矢印で示すように、左方向に移動するか、又は、図４１のＡに点線の太い矢印で示すように、右方向に移動する。

図４１のＢは、ユーザが、水平方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図４１のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。

ユーザの移動前においては、例えば、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。

そして、ユーザが、水平方向のうちの左方向に移動した後では、図５で説明した原理に従って、ユーザの正面の右側に、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが左方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも右側の範囲に変わったような射影画像が生成される。

さらに、ユーザが左方向に移動した場合には、実世界で奥行きのある物を見ながら、左に移動した場合と同様の運動視差が生じた射影画像が生成される。

そのため、ユーザが左方向に移動した後は、図４１のＢに示すように、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2が、オブジェクトobj#1の左側から見える射影画像が生成される。

同様に、ユーザが、水平方向のうちの右方向に移動する場合も、窓としての表示面１１の向こう側に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも左側の範囲に変わったような射影画像が生成される。

さらに、ユーザが右方向に移動した場合には、実世界で奥行きのある物を見ながら、右に移動した場合と同様の運動視差が生じた射影画像が生成される。

そのため、ユーザが右方向に移動した後は、図４１のＢに示すように、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2が、オブジェクトobj#1の右側から見える射影画像が生成される。

図４２は、ユーザが垂直方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。

図４２のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

ユーザの垂直方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に平行な平面（xy平面に平行な平面）内を、図４２のＡに実線の太い矢印で示すように、上方向に移動するか、又は、図４２のＡに点線の太い矢印で示すように、下方向に移動する。

図４２のＢは、ユーザが、垂直方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図４２のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。

ユーザの移動前においては、例えば、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。

そして、ユーザが、垂直方向のうちの上方向に移動した後では、図５で説明した原理に従って、ユーザの正面の下側に、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが上方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも下側の範囲に変わったような射影画像が生成される。

さらに、ユーザが上方向に移動した場合には、実世界で奥行きのある物を見ながら、上に移動した場合と同様の運動視差が生じた射影画像が生成される。

そのため、ユーザが上方向に移動した後は、図４２のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2との高さの差が、移動前よりも小さくなったように見える射影画像が生成される。

同様に、ユーザが、垂直方向のうちの下方向に移動する場合も、窓としての表示面１１の向こう側に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、画像モデルの見える範囲が、移動前よりも上側の範囲に変わったような射影画像が生成される。

さらに、ユーザが下方向に移動した場合には、実世界で奥行きのある物を見ながら、下に移動した場合と同様の運動視差が生じた射影画像が生成される。

そのため、ユーザが下方向に移動した後は、図４２のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2との高さの差が、移動前よりも大きくなったように見える射影画像が生成される。

図４３は、ユーザが奥行き方向に移動する場合の、3D画像モデルを用いた射影画像の生成の例を説明する図である。

図４３のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

ユーザの奥行き方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に直交する方向に移動する。すなわち、ユーザは、図４３のＡに実線の太い矢印で示すように、奥方向（ユーザから表示面１１に向かう方向）に移動するか、又は、図４３のＡに点線の太い矢印で示すように、手前方向（表示面１１からユーザに向かう方向）に移動する。

図４３のＢは、ユーザが、奥行き方向に移動する場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図４３のＢにおいて、ユーザの移動前では、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。

ユーザの移動前においては、例えば、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。

そして、ユーザが、奥行き方向のうちの奥方向に移動した後では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも大きくなったような射影画像が生成される。

さらに、ユーザが奥方向に移動した場合には、実世界で奥行きのある物を見ながら、奥に移動した場合と同様の運動視差が生じた射影画像が生成される。

そのため、ユーザが奥方向に移動した後は、図４３のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2とのサイズの差が、移動前よりも大きくなったように見える射影画像が生成される。

同様に、ユーザが、奥行き方向のうちの手前方向に移動する場合も、窓としての表示面１１の向こう側に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも小さくなったような射影画像が生成される。

さらに、ユーザが手前方向に移動した場合には、実世界で奥行きのある物を見ながら、手前に移動した場合と同様の運動視差が生じた射影画像が生成される。

そのため、ユーザが手前方向に移動した後は、図４３のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2とのサイズの差が、移動前よりも小さくなったように見える射影画像が生成される。

以上のように、3D画像モデルを用いる場合には、ユーザの移動によって生じる運動視差がある射影画像が生成される。

運動視差は、3D画像モデルを構成するオブジェクトの奥行きの位置（デプス）によって異なるが、このような運動視差は、ユーザが移動する場合の他、表示面１１が動く場合にも与えることができる。

すなわち、ユーザが、スマートフォンを持って、射影画像を見る場合には、手ぶれによって、表示面１１が動く（振動する）が、運動視差は、そのような表示面１１の動きに基づいて、射影画像に与えることができる。

図４４は、手ぶれによって、表示面１１が動く場合に、その表示面１１の動きに基づいて、射影画像に与える運動視差を説明する図である。

図４４のＡは、例えば、スマートフォンが、テーブル等の上に置かれており、表示面１１が動いていない場合の射影画像の例を示している。

表示面１１が動いていない場合には、運動視差がない射影画像が生成される。

図４４のＢは、例えば、ユーザが、スマートフォンを手に持っており、手ぶれによって、表示面１１が動く場合の射影画像の例を示している。

表示面１１が、手ぶれによって、振動するような動きをしている場合、その動きに基づいて、運動視差がある射影画像が生成される。

図４４のＢでは、ユーザ（の視点）が左右に振動しているかのような運動視差がある射影画像が生成されている。

以上のように、表示面１１が、手ぶれによって、振動するような動きをしている場合に、その表示面１１の動きに基づいて、運動視差がある射影画像を生成することで、表示面１１に表示される射影画像の立体感を強調することができる。

図４５は、表示面１１の動きに基づいて、運動視差がある射影画像を生成する方法の例を説明する図である。

すなわち、図４５は、ユーザ、表示面１１、及び、3D画像モデルが配置された基準座標系を示している。

例えば、ユーザが、表示面１１の真正面から、水平方向に、表示面１１の動きに対応する大きさで振動するようなわずかな移動、すなわち、図４５において太い矢印で示すような、左方向への移動と右方向への移動とを繰り返す移動を行っていると仮定して、図３１ないし図３３で説明したように、射影画像を生成することで、表示面１１の動きに基づく運動視差がある射影画像を生成することができる。

＜運動視差の差異の拡大＞

図４６は、運動視差の差異の拡大を説明する図である。

上述したように、3D画像モデルを用いる場合には、ユーザが移動すると、運動視差がある射影画像が生成される。

運動視差は、3D画像モデルを構成するオブジェクトの奥行き方向の位置によって異なり、手前にあるオブジェクトほど、運動視差は大きい。

ユーザが移動する場合に、運動視差がある射影画像を生成するにあたっては、例えば、3D画像モデルを構成するオブジェクトごとに、運動視差を調整することができる。

図４６は、ユーザが奥行き方向に移動する場合の、3D画像モデルを用いた射影画像の運動視差の調整の例を説明する図である。

図４６のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

ユーザの奥行き方向の移動では、ユーザは、初期設定タイミングにおける表示面１１に直交する方向に移動する。すなわち、ユーザは、図４６のＡに実線の太い矢印で示すように、奥方向（ユーザから表示面１１に向かう方向）に移動するか、又は、図４６のＡに点線の太い矢印で示すように、手前方向（表示面１１からユーザに向かう方向）に移動する。

図４６のＢは、ユーザが、奥方向に移動する場合に、運動視差の調整なしで、移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

運動視差の調整なしの場合には、図４３で説明した射影画像が生成される。

すなわち、ユーザの移動前の時刻Tでは、図５で説明した原理に従って、ユーザの真正面に、窓としての表示面１１があり、その窓から、ユーザが3D画像モデルを見ているかのような射影画像が生成される。

図４６では、ユーザの移動前については、オブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2のほぼ全体が、オブジェクトobj#1の後ろに隠れている射影画像が生成されている。

そして、ユーザが、奥方向に移動した後の時刻T+1では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも大きくなったような射影画像が生成される。

さらに、ユーザが奥方向に移動した場合には、実世界で奥行きのある物を見ながら、奥に移動した場合と同様の運動視差が生じた射影画像が生成される。

そのため、ユーザが奥方向に移動した後は、図４６のＢに示すように、オブジェクトobj#1と、そのオブジェクトobj#1のほぼ真後ろにあるオブジェクトobj#2とのサイズの差が、移動前よりも大きくなったように見える射影画像が生成される。

図４６のＣは、ユーザが、奥方向に移動する場合に、運動視差の調整ありで、移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

ユーザの移動前の時刻Tでは、図５で説明した原理に従って、図４６のＢと同一の射影画像が生成される。

そして、ユーザが、奥方向に移動した後の時刻T+1では、図５で説明した原理に従って、ユーザの正面の近くに、窓としての表示面１１があり、その窓から、3D画像モデルを見ているかのような射影画像が生成される。

すなわち、ユーザが奥方向に移動しても、窓としての表示面１１の向こう側（奥側）に存在する3D画像モデルが、その場に留まっており、ユーザが移動することによって、窓から見える画像モデルが、移動前よりも大きくなったような射影画像が生成される。

但し、運動視差の調整ありの場合には、3D画像モデルを構成するオブジェクトのうちの、より手前にあるオブジェクトほど、運動視差の調整なしの場合よりも大きくなった射影画像が生成される。

なお、運動視差の調整ありの場合には、処理の簡素化のために、3D画像モデルを構成するオブジェクトobj#1ないしobj#4のうちの、例えば、最も手前にあるオブジェクトobj#1等の一部のオブジェクトだけ、運動視差の調整なしの場合よりも大きくした射影画像を生成することができる。

以上のように、運動視差の調整ありの場合には、3D画像モデルを構成するオブジェクトのうちの、手前にあるオブジェクトほど、運動視差の調整なしの場合よりも大きくなった射影画像が生成されるため、射影画像において、手前にあるオブジェクトと、奥側にあるオブジェクトとの運動視差の差が拡大する。

その結果、射影画像を見るユーザは、手前にあるオブジェクトと、奥側にあるオブジェクトとの奥行き方向の位置が大きく異なるように感じるので、射影画像の立体感を強調することができる。

＜表示面１１のバリエーション＞

図４７は、表示面１１の他の構成例を説明する図である。

上述の場合には、表示面１１が長方形状の面であることとしたが、表示面１１としては、長方形状の面以外の所定の形状の面を採用することができる。

図４７では、表示面１１として、長方形を湾曲させた形状の面（以下、湾曲面ともいう）が採用され、ユーザ、及び、画像モデルとともに、基準座標系に配置されている。

本技術を、例えば、湾曲したタッチパネル等のディスプレイを有するタブレットやスマートフォン等に適用した場合に、表示面１１は、図４７に示したような湾曲面になる。

表示面１１が湾曲面である場合も、図５で説明した原理に従って、射影画像が生成される。

図４８は、表示面１１が湾曲面である場合の射影画像の生成の例を説明する図である。

図４８は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

湾曲面である表示面１１に表示される射影画像は、ユーザと、湾曲面である表示面１１の画素P#1とを通る直線と交差する画像モデルの位置のボクセルV#1が有する色を、画素P#1の画素値として、ボクセルV#1を、画素P#1に射影することで生成される。

なお、表示面１１としては、固定の形状の面の他、可変の形状の面を採用することができる。

表示面１１が可変の形状の面である場合も、図５で説明した原理に従って、射影画像を生成することができる。

可変の形状の表示面１１を有する表示部２５（図３）としては、例えば、ある程度歪曲させることができる薄膜の有機EL(Electro Luminescence)ディスプレイ等がある。

なお、表示面１１が可変の形状である場合に、図５で説明した原理に従って、射影画像を生成するには、表示面１１の形状が必要となるが、表示面１１の形状は、例えば、表示面検出部２２（図２）で検出することができる。

図４９は、表示面１１の、さらに他の構成例を説明する図である。

上述の場合には、表示面１１として、１つの面を採用することとしたが、表示面１１としては、複数の面を採用することができる。表示面１１として、複数の面を採用する場合、その複数の面と同一の複数の数の射影画像が生成される。

図４９では、表示面１１として、水平方向に並んだ２つの表示面１１Ｌ及び１１Ｒが採用されている。

図４９は、ユーザ、２つの表示面１１Ｌ及び１１Ｒ、及び、画像モデルが配置された基準座標系を示している。

表示面１１として、２つの表示面１１Ｌ及び１１Ｒを採用する場合には、例えば、ユーザの左眼で観察される左眼用の射影画像と、ユーザの右眼で観察される右眼用の射影画像とを生成し、２つの表示面１１Ｌ及び１１Ｒのうちの左側の表示面１１Ｌに、左眼用の射影画像を表示するとともに、右側の表示面１１Ｒに、右眼用の射影画像を表示することができる。

この場合、ユーザは、表示面１１Ｌに表示される左眼用の射影画像を、左眼で観察し、表示面１１Ｒに表示される右眼用の射影画像を、右眼で観察する。

左眼用の射影画像は、ユーザが、表示面１１Ｌに表示された左眼用の射影画像を見た場合にユーザの左眼の網膜に射影される画像が、表示面１１Ｌを窓として、その窓を通して画像モデルを見た場合にユーザの左眼の網膜に射影される画像と同様の画像となるように、図５で説明した原理に従って生成される。

右眼用の射影画像も、ユーザが、表示面１１Ｒに表示された右眼用の射影画像を見た場合にユーザの右眼の網膜に射影される画像が、表示面１１Ｒを窓として、その窓を通して画像モデルを見た場合にユーザの右眼の網膜に射影される画像と同様の画像となるように、図５で説明した原理に従って生成される。

図５０は、左眼用の射影画像、及び、右眼用の射影画像の生成の例を説明する図である。

図５０は、基準座標系を、y軸の正方向から見た図であり、左から右方向、図に垂直な方向、及び、上から下方向が、それぞれ、基準座標系のx軸、y軸、及び、z軸になっている。

あるボクセルV#1について、左眼用の射影画像は、ユーザの左眼とボクセルV#1とを通る直線と交差する表示面１１の画素PL#1に射影することで生成され、右眼用の射影画像は、ユーザの右眼とボクセルV#1とを通る直線と交差する表示面１１Ｒの画素PR#1に射影することで生成される。

なお、左眼用の射影画像、及び、右眼用の射影画像は、上述のように、２つの表示面１１Ｌ及び１１Ｒにそれぞれ表示する他、１つの表示面１１に表示することができる。

すなわち、左眼用の射影画像、及び、右眼用の射影画像は、例えば、１つの表示面１１の左側の領域、及び、右側の領域に、それぞれ表示することができる。

また、左眼用の射影画像、及び、右眼用の射影画像は、例えば、3Dディスプレイと同様の原理で、１つの表示面１１に表示することができる。

＜本技術を適用した画像表示装置の第２実施の形態＞

図５１は、本技術を適用した画像表示装置の第２実施の形態の構成例を示す斜視図である。

図５１において、画像表示装置は、双眼鏡として構成されており、双眼鏡内において、上述した第１実施の形態と同様の射影画像を表示する。

したがって、双眼鏡として構成される画像表示装置によれば、双眼鏡を覗くユーザに、双眼鏡で、画像モデルを、実際に観察しているかのような感覚を享受させることができる。

＜本技術を適用した画像表示装置の第３実施の形態＞

図５２は、本技術を適用した画像表示装置の第３実施の形態の構成例を示す斜視図である。

図５２において、画像表示装置は、プロジェクタとスクリーンとを有するプロジェクタシステムとして構成されており、スクリーンに、プロジェクタが発する射影画像の光に応じて、対応する画像を表示する。

プロジェクタシステムとして構成される画像表示装置では、表示面１１は、スクリーン（スクリーンとして機能する壁等を含む）であり、表示面１１であるスクリーンにおいて、プロジェクタが発する光に応じて表示される画像は、プロジェクタとスクリーンとの位置関係によって異なる。

すなわち、プロジェクタと、表示面１１であるスクリーンとは、それぞれ独立して配置することができるため、プロジェクタとスクリーンとの位置関係は、プロジェクタとスクリーンとを、どのように配置するかによって変化する。そして、プロジェクタとスクリーンとの位置関係が変化する場合には、スクリーンにおいて、プロジェクタが発する射影画像の光に応じて表示される画像も変化する。

例えば、単純には、プロジェクタが、ある射影画像の光を発している場合に、プロジェクタとスクリーンとの距離を離すと、スクリーンに表示される画像のサイズは大になる。

したがって、ユーザが、表示面１１であるスクリーンに表示された画像を見た場合に、スクリーンを窓として、その窓を通して画像モデルを見ているかのような感覚をユーザに享受させるには、プロジェクタシステムにおいて、プロジェクタとスクリーンとの位置関係を考慮して、射影画像を生成する必要がある。

そこで、プロジェクタシステムでは、表示面情報、及び、ユーザ位置情報の他、（スクリーンに）画像を表示する表示装置であるプロジェクタの位置を検出し、表示面情報、及び、ユーザ位置情報の他、プロジェクタの位置に基づき、プロジェクタとスクリーンとの位置関係をも考慮して、射影画像を生成する。

なお、プロジェクタシステムにおいて、プロジェクタの位置は、例えば、表示面検出部２２（図２）に検出させることができる。

＜虫眼鏡モード＞

図５３は、虫眼鏡モードを説明する図である。

ここで、例えば、第１実施の形態のスマートフォンには、動作モードとして、窓モードと虫眼鏡モードとを搭載することができる。

窓モードでは、上述したように、ユーザが、表示面１１を窓として、その窓を通して画像モデルを見た場合に見える景色を再現した画像が、射影画像として生成され、表示面１１に表示される。

一方、虫眼鏡モードでは、例えば、表示面１１を虫眼鏡（のレンズ）として、その虫眼鏡を通して画像モデルを見た場合に見える虚像を再現した画像が、射影画像として生成され、表示面１１に表示される。

図５３は、動作モードが虫眼鏡モードである場合の射影画像の生成の例を示している。

図５３のＡは、初期設定タイミングにおける基準座標系上のユーザと表示面１１の配置の例を示している。

虫眼鏡モードでは、ユーザは、例えば、表示面１１（を有するスマートフォン）を、その姿勢を変化させずに、初期設定タイミングにおける表示面１１と直交する方向に（z軸の方向に）、図５３のＡに実線の太い矢印で示すように、手前方向（ユーザから見て手前側）に移動するか、又は、図５３のＡに点線の太い矢印で示すように、奥方向（ユーザから見て奥側）に移動する。

図５３のＢは、表示面１１が、手前方向に移動される場合に、その移動前（初期設定タイミング）に生成される射影画像と、移動後に生成される射影画像とを示している。

図５３のＢにおいて、表示面１１の移動前では、ユーザの真正面に、虫眼鏡としての表示面１１があり、その虫眼鏡を通して、虫眼鏡で観察する対象の画像モデルを見ているかのような射影画像が生成される。

そして、表示面１１が手前方向に移動された後では、ユーザの真正面の手前側に、虫眼鏡としての表示面１１があり、その虫眼鏡を通して、ユーザが画像モデルを見ているかのような射影画像が生成される。

すなわち、表示面１１が手前方向に移動されても、虫眼鏡としての表示面１１の向こう側（奥側）に存在する静止画の画像モデルが、その場に留まっており、虫眼鏡が移動することによって、画像モデルの見える範囲、つまり、視野角が、移動前よりも狭い範囲に変わって、結果として、移動前よりも画像モデルが拡大された射影画像が生成される。

図５３のＣは、表示面１１が、奥方向に移動される場合に、その移動前に生成される射影画像と、移動後に生成される射影画像とを示している。

表示面１１が奥方向に移動される場合も、虫眼鏡としての表示面１１の向こう側に存在する画像モデルが、その場に留まっており、虫眼鏡が移動することによって、画像モデルの見える範囲、つまり、視野角が、移動前よりも広い範囲に変わって、結果として、移動前よりも画像モデルが縮小した射影画像が生成される。

以上のように、虫眼鏡モードでは、表示面１１を奥行き方向に移動したときに表示面１１に表示される射影画像が、窓モードにおいて、表示面１１を奥行き方向に移動するときと逆になる。

すなわち、表示面１１を、手前方向に移動した場合、窓モードでは、窓としての表示面１１から見える画像モデルの範囲が広い範囲になるのに対して、虫眼鏡モードでは、虫眼鏡としての表示面１１から見える画像モデルの範囲が狭くなる。

また、表示面１１を、奥方向に移動した場合、窓モードでは、窓としての表示面１１から見える画像モデルの範囲が狭い範囲になるのに対して、虫眼鏡モードでは、虫眼鏡としての表示面１１から見える画像モデルの範囲が広くなる。

したがって、虫眼鏡モードでは、ユーザが表示面１１を手前方向に移動したときには、基準座標系の表示面１１を奥方向に移動し、ユーザが表示面１１が奥方向に移動したときには、基準座標系の表示面１１を手前方向に移動して、図５で説明した原理に従って、射影画像を生成することで、表示面１１が手前方向に移動されたときに虫眼鏡としての表示面１１から見える画像モデルの範囲が狭くなり、表示面１１が奥方向に移動されたときに虫眼鏡としての表示面１１から見える画像モデルの範囲が広くなった射影画像を生成することができる。

以上のように、本技術を適用した画像表示装置では、表示面１１の少なくとも位置を検出し、位置が検出された表示面１１の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを表示面１１上に射影した射影画像を生成して、表示面１１に表示するので、例えば、表示面１１を動かすことで、ユーザが、所定の画像の中で、見たい領域を、直感的に選択することができるUIを実現することができる。

すなわち、ユーザは、例えば、表示面１１を奥方向に移動することで、窓としての表示面１１の向こう側に定位しているかのような静止画や動画の画像モデルの中の見たい部分を、容易に選択して見ることができる。また、ユーザは、例えば、表示面１１を手前方向に移動することで、窓としての表示面１１の向こう側に定位しているかのような静止画や動画の画像モデルの全体を、容易に眺めることができる。

さらに、ユーザは、窓としての表示面１１の向こう側に、画像モデル（として表される構造）が留まって存在するかのような感覚や、窓としての表示面１１を通して、その向こう側にある画像モデルを見ているかのような感覚を享受することができ、その結果、窓から画像モデルを実際に見ているかのような臨場感を感じることができる。

また、本技術を適用した画像表示装置では、画像モデルが3D画像モデルである場合に、表示面１１の動きに基づいて、運動視差がある射影画像を生成することや、3D画像モデルの手前にあるオブジェクトと奥側にあるオブジェクトとの運動視差の差を拡大することができるので、表示面１１に表示される射影画像の立体感を強調することができる。

さらに、本技術を適用した画像表示装置では、例えば、その画像表示装置としてのスマートフォンを所持しているユーザが、実際に、場所Aにいるときに、場所Aの過去の撮影時の撮影装置の位置及び姿勢を考慮して、場所Aの画像モデルを用いた射影画像を生成して表示面１１に表示することができるので、ユーザは、表示面１１を窓として、その窓を通して、場所Aの過去の景色を見ているかのような感覚を享受することができる。

なお、場所Aの撮影時に、場所Aの景色の画像の撮影とともに、音声（音響）の録音が行われている場合には、画像表示装置では、場所Aの景色の画像から得られる画像モデルを用いた射影画像を表示面１１に表示するとともに、場所Aの撮影時に録音された音声を図示せぬスピーカから出力することができる。この場合、画像（射影画像）と音声との両方によって、場所Aの撮影時の状況を再現することができる。

＜本技術を適用したコンピュータの説明＞

次に、上述した制御部２４の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図５４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下のような構成をとることができる。

＜１＞
表示装置が画像を表示する表示面の位置を検出する検出部と、
前記検出部により位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と
を備える表示制御装置。
＜２＞
前記検出部は、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出する
＜１＞に記載の表示制御装置。
＜３＞
前記ユーザの位置を検出する他の検出部をさらに備え、
前記制御部は、前記検出部により位置が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
＜２＞に記載の表示制御装置。
＜４＞
前記他の検出部は、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出する
＜３＞に記載の表示制御装置。
＜５＞
前記検出部は、前記表示面の位置及び姿勢を検出し、
前記制御部は、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを、前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
＜３＞又は＜４＞に記載の表示制御装置。
＜６＞
前記検出部は、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出する
＜５＞に記載の表示制御装置。
＜７＞
前記制御部は、前記表示面の位置及び姿勢、並びに、前記ユーザの位置を用いて、前記射影画像を生成する
＜５＞又は＜６＞のいずれかに記載の表示制御装置。
＜８＞
前記制御部は、前記表示面の位置及び姿勢、並びに、前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像を、前記射影画像として生成する
＜７＞に記載の表示制御装置。
＜９＞
前記画像モデルは、2D(Dimensional)画像、又は、3D画像のモデルである
＜１＞ないし＜８＞のいずれかに記載の表示制御装置。
＜１０＞
前記画像モデルは、色と位置の情報を有するボクセルを構成要素として、前記ボクセルで構成される
＜１＞ないし＜９＞のいずれかに記載の表示制御装置。
＜１１＞
前記制御部は、前記表示面の画素と、前記ユーザの位置とを通る直線と交差する前記ボクセルの色を、前記表示面の画素の色として射影した前記射影画像を生成する
＜１０＞に記載の表示制御装置。
＜１２＞
前記ボクセルは、前記ボクセルの水平方向、垂直方向、及び、奥行き方向の位置を有する
＜１０＞又は＜１１＞に記載の表示制御装置。
＜１３＞
前記制御部は、前記射影画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１４＞
前記制御部は、前記表示面の動きに基づいて、運動視差を与えた前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１５＞
前記表示面は、所定の形状の面である
＜１＞ないし＜１４＞のいずれかに記載の表示制御装置。
＜１６＞
前記表示面は、固定の形状の面、又は、可変の形状の面である
＜１＞ないし＜１５＞のいずれかに記載の表示制御装置。
＜１７＞
前記検出部は、前記表示装置の位置を、さらに検出し、
前記表示装置と前記表示面との位置関係が変化する場合、前記制御部は、前記表示面の位置及び姿勢、前記ユーザの位置、及び、前記表示装置の位置を用いて、前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１８＞
前記制御部は、撮影装置において前記画像モデルとなるコンテンツを撮影したときの、前記撮影装置の位置及び姿勢に基づいて、前記画像モデルを配置して、前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜１９＞
前記制御部は、複数の前記射影画像を生成する
＜８＞に記載の表示制御装置。
＜２０＞
前記制御部は、左眼用の射影画像と、右眼用の射影画像とを生成する
＜１９＞に記載の表示制御装置。
＜２１＞
前記左眼用の射影画像と、前記右眼用の射影画像とは、１つの表示面に表示される
＜２０＞に記載の表示制御装置。
＜２２＞
双眼鏡として構成される
＜１＞ないし＜８＞のいずれかに記載の表示制御装置。
＜２３＞
表示装置が画像を表示する表示面の位置を検出し、
位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
ステップを含む表示制御方法。
＜２４＞
表示装置が画像を表示する表示面の位置を検出する検出部と、
前記検出部により位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と
して、コンピュータを機能させるためのプログラム。

１１ 表示面， １２ カメラ， ２１ データ取得部， ２２ 表示面検出部， ２３ ユーザ検出部， ２４ 制御部， ２５ 表示部， ３１ 基準座標系生成部， ３２ 表示面情報取得部， ３３ 画像モデル生成部， ３４ ユーザ位置情報取得部， ３５ 表示面配置部， ３６ 画像モデル配置部， ３７ ユーザ配置部， ３８ 画像生成部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (24)

1. 表示装置が画像を表示する表示面の位置を検出する検出部と、
   前記検出部により位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と
   を備える表示制御装置。
2. 前記検出部は、前記表示面の水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出する
   請求項１に記載の表示制御装置。
3. 前記ユーザの位置を検出する他の検出部をさらに備え、
   前記制御部は、前記検出部により位置が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
   請求項２に記載の表示制御装置。
4. 前記他の検出部は、前記ユーザの水平方向、垂直方向、及び、奥行き方向のうちの１以上の位置を検出する
   請求項３に記載の表示制御装置。
5. 前記検出部は、前記表示面の位置及び姿勢を検出し、
   前記制御部は、前記検出部により位置及び姿勢が検出された前記表示面の画素と、前記他の検出部により検出された前記ユーザの位置とを通る直線に沿って、前記画像モデルを、前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
   請求項４に記載の表示制御装置。
6. 前記検出部は、前記表示面のピッチ方向、ヨー方向、及び、ロール方向のうちの１以上の回転角度を、前記表示面の姿勢として検出する
   請求項５に記載の表示制御装置。
7. 前記制御部は、前記表示面の位置及び姿勢、並びに、前記ユーザの位置を用いて、前記射影画像を生成する
   請求項６に記載の表示制御装置。
8. 前記制御部は、前記表示面の位置及び姿勢、並びに、前記ユーザの位置を用いて、前記ユーザが、前記表示面を窓として、前記画像モデルを見た場合に見える景色を再現した画像を、前記射影画像として生成する
   請求項７に記載の表示制御装置。
9. 前記画像モデルは、2D(Dimensional)画像、又は、3D画像のモデルである
   請求項８に記載の表示制御装置。
10. 前記画像モデルは、色と位置の情報を有するボクセルを構成要素として、前記ボクセルで構成される
    請求項８に記載の表示制御装置。
11. 前記制御部は、前記表示面の画素と、前記ユーザの位置とを通る直線と交差する前記ボクセルの色を、前記表示面の画素の色として射影した前記射影画像を生成する
    請求項１０に記載の表示制御装置。
12. 前記ボクセルは、前記ボクセルの水平方向、垂直方向、及び、奥行き方向の位置を有する
    請求項１１に記載の表示制御装置。
13. 前記制御部は、前記射影画像内のオブジェクトのうちの、奥行き方向の位置が異なるオブジェクトの運動視差の差異を拡大した前記射影画像を生成する
    請求項８に記載の表示制御装置。
14. 前記制御部は、前記表示面の動きに基づいて、運動視差を与えた前記射影画像を生成する
    請求項８に記載の表示制御装置。
15. 前記表示面は、所定の形状の面である
    請求項８に記載の表示制御装置。
16. 前記表示面は、固定の形状の面、又は、可変の形状の面である
    請求項８に記載の表示制御装置。
17. 前記検出部は、前記表示装置の位置を、さらに検出し、
    前記表示装置と前記表示面との位置関係が変化する場合、前記制御部は、前記表示面の位置及び姿勢、前記ユーザの位置、及び、前記表示装置の位置を用いて、前記射影画像を生成する
    請求項８に記載の表示制御装置。
18. 前記制御部は、撮影装置において前記画像モデルとなるコンテンツを撮影したときの、前記撮影装置の位置及び姿勢に基づいて、前記画像モデルを配置して、前記射影画像を生成する
    請求項８に記載の表示制御装置。
19. 前記制御部は、複数の前記射影画像を生成する
    請求項８に記載の表示制御装置。
20. 前記制御部は、左眼用の射影画像と、右眼用の射影画像とを生成する
    請求項１９に記載の表示制御装置。
21. 前記左眼用の射影画像と、前記右眼用の射影画像とは、１つの表示面に表示される
    請求項２０に記載の表示制御装置。
22. 双眼鏡として構成される
    請求項８に記載の表示制御装置。
23. 表示装置が画像を表示する表示面の位置を検出し、
    位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する
    ステップを含む表示制御方法。
24. 表示装置が画像を表示する表示面の位置を検出する検出部と、
    前記検出部により位置が検出された前記表示面の画素と、ユーザの位置とを通る直線に沿って、所定の画像の画像モデルを前記表示面上に射影した射影画像を、前記表示面に表示するように、前記表示装置を制御する制御部と
    して、コンピュータを機能させるためのプログラム。

Images