JP5448739B2

JP5448739B2 - 画像再生装置、撮像装置、画像再生方法

Info

Publication number: JP5448739B2
Application number: JP2009263034A
Authority: JP
Inventors: 宏輔 ▲高▼橋
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-11-18
Filing date: 2009-11-18
Publication date: 2014-03-19
Anticipated expiration: 2029-11-18
Also published as: JP2011108028A

Description

本発明は、画像再生装置、撮像装置、画像再生方法に関する。

３６０度等の広範囲の被写体を撮影する場合に、デジタルカメラ等の撮像装置に魚眼レンズ、３６０°の範囲を撮影可能な全方位撮影レンズ等を装着して撮影することが行われる。このようにして撮影して得られる画像データは、二次元のパノラマ画像データとして記録される。このパノラマ画像データを再生する場合には、再生装置に設けられた操作部を操作して表示部に表示された画像をスクロールさせることで、パノラマ画像の全体を確認することができる。

しかし、このように画像をスクロールさせて全体像を確認する方法では、再生装置の位置と表示部に表示される画像とに相関性がないため、パノラマ画像を得るために撮影した現実空間における被写体をリアルに体感することができない。

特許文献１には、三次元の仮想空間のデータを、表示部を有する再生装置で再生するときに、その表示部の位置に応じて、表示すべき仮想空間内の範囲を決めることで、仮想空間をリアルに体感することを可能にした装置が開示されている。

この装置は、例えるなら、仮想空間内に窓を設け、この窓から見える仮想空間内の景色を表示部に表示するものであり、窓の位置と表示部の位置をリンクさせることで、あたかも仮想空間内を歩き回っているかのように体感できるようになっている。

しかし、現実空間では、窓の位置が固定であっても、観察者の位置によってその窓から見える景色は変化する。例えば、窓の近くにいるときには広い範囲を見渡せるが、窓から離れているときには狭い範囲しか見渡すことができない。上記装置では、観察者の位置を考慮した表示制御を行っていないため、リアリティに欠ける部分がある。また、表示する対象となる空間は現実空間とは関係のない仮想空間又は現実空間をポリゴン等で再現した仮想空間であるため、撮像装置で撮影した現実空間内を歩き回っているかのように体感することはできない。

特開平１０−３３６５０５号公報

本発明は、上記事情に鑑みてなされたものであり、撮像装置で撮像した現実空間をリアルに体感することのできる画像再生方法及び装置とこれを備える撮像装置を提供することを目的とする。

本発明の画像再生装置は、三次元データを再生する画像再生装置であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、表示部と、前記表示部の表示面側を撮像する撮像部と、前記画像再生装置の位置を検出する装置位置検出部と、前記撮像部で撮像して得られる画像データと前記装置位置検出部で検出される前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出部と、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出部で検出された顔の位置と前記装置位置検出部で検出された前記画像再生装置の位置とに基づいて切り出す切り出し部と、前記切り出し部で切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御部とを備え、前記切り出し部は、前記顔検出部によって検出された顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記表示部の隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す。

本発明の撮像装置は、前記画像再生装置と、前記撮像部と異なる別の撮像部と、前記別の撮像部で撮像して得られる撮像信号から前記撮像画像データを生成し、前記撮像画像データを、前記別の撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録する記録部とを備える。

本発明の画像再生方法は、三次元データを再生する画像再生方法であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、前記三次元データを再生する画像再生装置が、前記画像再生装置の位置を検出する装置位置検出ステップと、前記画像再生装置が、前記画像再生装置に搭載される表示部の表示面側を撮像する撮像ステップと、前記画像再生装置が、前記撮像ステップで撮像して得た画像データと前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出ステップと、前記画像再生装置が、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出ステップで検出した顔の位置と前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて切り出す切り出しステップと、前記画像再生装置が、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御ステップとを備え、前記切り出しステップでは、前記顔検出ステップで検出した顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記画像再生装置の表示部の隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す。

本発明によれば、撮像装置で撮像した現実空間をリアルに体感することのできる画像再生方法及び装置とこれを備える撮像装置を提供することができる。

本発明の一実施形態を説明するための画像再生装置の外観図図１に示した画像再生装置の内部構成を示すブロック図図１に示した画像再生装置のＣＰＵが実施する三次元データ生成処理を説明するための図図１に示した画像再生装置１００の画像再生動作を説明するためのフローチャート現実空間Ｒのイメージを示した図現実空間Ｒと擬似空間Ｖとの対応付けを実施した時点での擬似空間Ｖのイメージを示した図図１に示した画像再生装置のＣＰＵが実施する画像の切り出し処理を説明するための図図１に示した画像再生装置のＣＰＵが実施する画像の切り出し処理を説明するための図図１に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図図１に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための画像再生装置の外観図である。図１に示した画像再生装置１００は、箱状のハウジングＨと、このハウジングＨの幅広の面に設けられた撮像部６及び表示部８とを備える。

図２は、図１に示した画像再生装置の内部構成を示すブロック図である。画像再生装置１００は、角度センサ１と、顔検出部２と、ＣＰＵ（中央演算処理装置）３と、メモリ４と、ＸＹＺ加速度センサ５と、撮像部６と、画像処理部７と、表示部８と、記録制御部９とを備え、これらはバスで相互に接続されている。

表示部８は、この画像再生装置１００で再生する画像を表示する平面状のエリアであり、有機ＥＬ素子、液晶表示素子等によって構成されている。図１の例では、表示部８は矩形となっている。

撮像部６は、表示部８の表示面側にある被写体を撮像するものである。撮像部６は、撮影レンズ及び絞り等の光学系と撮像素子と信号処理部とを含み、光学系で捕らえた被写体像をこの撮像素子から撮像信号として出力し、この撮像信号を信号処理して画像データを生成する。

ＸＹＺ加速度センサ５は、画像再生装置１００の位置を検出するものであり、画像再生装置１００の位置を三次元座標データとして出力する。この装置では、ＸＹＺ加速度センサ５で検出した画像再生装置１００の位置を、表示部８の中心位置として扱うものとする。

顔検出部２は、撮像部６で撮像して得られる画像データと、ＸＹＺ加速度センサ５で検出された画像再生装置１００の位置とに基づいて、画像再生装置１００の表示部８を観察する観察者の顔の位置を検出する。顔検出部２は、撮像部６で観察者を撮像して得られた画像データから公知の顔検出処理により観察者の顔が存在する顔エリアを検出する。そして、顔エリアの中心点、顔エリアに含まれる両眼の中間点等を顔として検出する。

また、顔検出部２は、撮像部６で撮像して得られた画像データに付属する焦点距離の情報と、検出した顔の画面内における位置の情報とから、画像再生装置１００の位置に対する顔の位置の情報（表示部８の中心に対してどの方向にどのくらいの距離で顔があるかを示した情報）を求める。人物の顔に焦点を合わせて撮像を行うように撮像部６の設定を行っておくことで、焦点距離の情報により、画像再生装置１００の位置から顔までの距離を求めることができる。

画像再生装置１００の位置はＸＹＺ加速度センサ５によって検出することができるため、顔検出部２は、ＸＹＺ加速度センサ５の検出結果と、画像再生装置１００の位置に対する観察者の顔の位置の情報とから、観察者の顔の位置を示す三次元座標データを求めることができる。

角度センサ１は、画像再生装置１００が任意の位置にあるときの、その位置における画像再生装置１００の傾きを検出するセンサである。角度センサ１は、例えば、画像再生装置１００の表示部８の表示面が地面に対して垂直になっている状態を基準（傾き角θ＝０°）とし、その状態からの装置の傾き角θを検出する。

記録制御部９は、画像再生装置１００に着脱可能な記録媒体１０の制御を行うものであり、記録媒体１０からのデータ読み出し、記録媒体１０へのデータ書き込みを行う。

記録媒体１０には、デジタルカメラ等の撮像装置で被写体を撮像して得られた二次元の撮像画像データと、その撮像を行った撮像装置の撮像範囲の情報及び撮像時の焦点距離の情報とが対応付けて記録される。これらのデータは、魚眼レンズを搭載した撮像装置、３６０度全方位を１度に撮像可能な全方位レンズを搭載した撮像装置等、所定の立体角を撮像範囲として撮像可能な撮像装置によって得られたものである。

撮像装置の撮像範囲の情報とは、魚眼レンズや全方位レンズの特性で決まる画角の情報であり、焦点距離の情報とは、魚眼レンズや全方位レンズが焦点を合わせた距離のことをいう。レンズの画角に入る被写体のうちの焦点が合っている領域が、上述した立体角となる。

ＣＰＵ３は、画像再生装置１００全体を統括制御する。

ＣＰＵ３は、記録媒体１０に記録されている撮像画像データ、撮像範囲の情報、及び焦点距離の情報に基づいて、三次元データを生成する三次元データ生成処理を実施する。以下、三次元データ生成処理について詳しく説明する。

記録媒体１０に記録されている撮像画像データは、現実空間の所定領域（撮像装置の画角と焦点距離で決まる領域、以下撮像領域という）を撮像して得られたものである。このため、撮像画像データを構成する各画素データは、この撮像領域のいずれかの点に対応するデータとなっている。

この二次元の撮像画像データを、現実空間に対応する擬似空間上の上記撮像領域に対応する領域にマッピングして、撮像画像データの各画素データに三次元の位置座標を持たせる処理が三次元データ生成処理である。

図３は、図１に示した画像再生装置のＣＰＵが実施する三次元データ生成処理を説明するための図である。ここでは、画角約１８０°の魚眼レンズを搭載した撮像装置で撮像して得られた撮像画像データから三次元データを生成する例を説明する。

画角約１８０°の魚眼レンズを搭載した撮像装置によって撮像を行う場合、ＸＹＺ座標で規定される現実空間Ｒにおいて、画角１８０°の範囲に入りかつ所定の焦点距離にある帯状の領域３１が撮像領域となる。この撮像領域を撮像して得られた画像データが撮像画像データ３２である。

撮像画像データ３２の画素データ３２ａは、現実空間Ｒの帯状の領域３１の点３１ａを撮像して得られたものであり、撮像画像データ３２の画素データ３２ｂは、現実空間Ｒの帯状の領域３１の点３１ｂを撮像して得られたものである。このように、撮像画像データ３２の各画素データは、帯状の領域３１のいずれかの点に対応する。各画素データがどの点に対応するかは、撮像装置の画角及び焦点距離の情報、撮像画像データ３２の画素データの縦横の数等によって知ることができる。

まず、ＣＰＵ３は、記録媒体１０から撮像画像データ３２とそれに付属するデータを読み出してメモリ４に展開し、読み出したデータに含まれる焦点距離の情報から、現実空間Ｒに対応する擬似空間Ｖ（撮像画像データを得た撮像装置の位置を原点Ｏとした三次元空間）をメモリ４上に生成する。ＣＰＵ３は、例えば、撮像画像データ３２の撮像時の焦点距離を半径とする球体を擬似空間Ｖとして生成する。

次に、ＣＰＵ３は、読み出したデータに含まれる撮像装置の画角の情報から、擬似空間Ｖにおいて、帯状の領域３１に対応する帯状の領域３３を設定する。

画角の情報により、撮像画像データ３２が現実空間Ｒのどの範囲を撮像して得られたものかが分かるため、擬似空間Ｖにおいてこの範囲に対応する領域を決めることで、帯状の領域３３を設定することができる。

帯状の領域３３は、帯状の領域３１を擬似的に再現したものであるため、撮像画像データ３２は、この帯状の領域３３を撮像して得られたものとして扱うことができる。

撮像画像データ３２の画素データと帯状の領域３３の各点との対応関係は、撮像装置の画角及び焦点距離の情報、撮像画像データ３２の画素データの総数等によって既知であるため、ＣＰＵ３は、この帯状の領域３３の各点の位置を示す座標データと、この各点に対応する画像データ３２の画素データとを対応付けて記録媒体１０に記録する。

つまり、ＣＰＵ３によって生成される三次元データは、現実空間Ｒの領域３１を撮像して得られた撮像画像データ３２と、この撮像画像データ３２の各画素データに対応付けられた擬似空間Ｖ上の座標データとで構成されている。そして、この座標データは、撮像画像データ３２の各画素データに対応する現実空間Ｒの領域３１の点と対応する擬似空間Ｖ上の点の座標を示すデータとなっている。

ＣＰＵ３は、擬似空間Ｖに設定された撮像領域のうちの所定範囲を、顔検出部２で検出された顔の位置とＸＹＺ加速度センサ５で検出された画像再生装置１００の位置とに基づいて切り出す切り出し処理も行う。また、ＣＰＵ３は、切り出し処理で切り出した擬似空間Ｖの所定範囲にある各点の座標に対応する画素データに基づく画像を表示部８に表示させる表示制御も行う。

画像処理部７は、上記所定範囲にある各点の座標に対応する画素データに基づく画像を、角度センサ１で検出される画像再生装置１００の傾きに応じて調整する処理を行う。

以下、画像再生装置１００が記録媒体１０に記録されている三次元データの再生を行うときの動作について説明する。

図４は、図１に示した画像再生装置１００の再生動作を説明するためのフローチャートである。なお、以下の説明においては、図３に示した撮像画像データ３２から生成された三次元データを再生する例について説明する。三次元データの再生指示がなされた時点で、現実空間Ｒには、図５に示した位置関係で顔Ｆと画像再生装置１００が存在しているものとする。

記録媒体１０に記録されている三次元データの再生が指示されると、ＣＰＵ３は、三次元データに含まれる撮像画像データに付属する焦点距離の情報に基づいて、該焦点距離を半径とした球体の擬似空間Ｖをメモリ４上に生成する（ステップＳ１）。

次に、ＣＰＵ３は、三次元データに含まれる座標データを用いて、撮像画像データ３２の各画素データを擬似空間Ｖ上の座標位置にマッピングして、擬似空間Ｖに帯状の領域３３（撮像領域）を生成する（ステップＳ２）。

次に、ＣＰＵ３は、現実空間Ｒと擬似空間Ｖとの対応付けを実施する（ステップＳ３）。具体的には、ＣＰＵ３は、現実空間Ｒにおける画像再生装置１００の位置座標データをＸＹＺ加速度センサ５から取得し、現実空間Ｒにおける観察者の顔の位置座標データを顔検出部２から取得する。そして、現実空間Ｒにおける顔Ｆの位置が擬似空間Ｖの原点となるように、顔Ｆ及び画像再生装置１００の位置座標データを変換し、変換後の位置座標データを擬似空間Ｖにマッピングする。

図６は、現実空間Ｒと擬似空間Ｖとの対応付けを実施した状態の擬似空間Ｖのイメージを示した図である。図６に示した擬似空間Ｖの原点Ｏには、現実空間Ｒに存在する顔Ｆに対応する顔Ｆ’がマッピングされ、その近くには現実空間Ｒに存在する画像再生装置１００に対応する画像再生装置１００’がマッピングされている。擬似空間Ｖにおける顔Ｆ’と画像再生装置１００’との相対位置関係は、現実空間Ｒにおける顔Ｆと画像再生装置１００との相対位置関係と同じになっている。

ステップＳ３の終了後、ＣＰＵ３は、ＸＹＺ加速度センサ５を制御して、現実空間Ｒにおける画像再生装置１００の位置座標データを取得し、これを擬似空間Ｖ用に変換して画像再生装置１００’の位置座標データを更新する（ステップＳ４）。

次に、ＣＰＵ３は、更新した画像再生装置１００’の位置座標データに基づいて、画像再生装置１００’の位置が擬似空間Ｖ内にあるかどうかを判定する（ステップＳ５）。

ステップＳ５の判定がＮＯのとき、ＣＰＵ３は、三次元データの再生を行わずに、処理を終了する。ステップＳ５の判定がＹＥＳのとき、ＣＰＵ３はステップＳ６に処理を移行する。

ステップＳ６では、ＣＰＵ３が、顔検出部２を制御して、現実空間Ｒにおける顔Ｆの位置座標データを取得し、これを擬似空間Ｖ用に変換して顔Ｆ’の位置座標データを更新する。

次に、ＣＰＵ３は、擬似空間Ｖにおける画像再生装置１００’の位置座標データから、画像再生装置１００’の表示部８’の４隅の点の位置座標データを求める。そして、この４隅の点の各々と顔Ｆ’の中心を結ぶ４本の直線と帯状の領域３３とが交わる点を求め、この点で区画される帯状の領域３３の範囲を再生範囲として切り出す（ステップＳ７）。

擬似空間Ｖにおける画像再生装置１００’の位置座標データは、画像再生装置１００’の表示部８’の中心の位置を示しており、画像再生装置１００’の表示部８’の大きさは、画像再生装置１００の表示部８の大きさと同じである。このため、画像再生装置１００内に、表示部８の情報（縦横のサイズ、中心から４隅までの距離の情報等）を記憶しておくことで、表示部８’の４隅の点の位置座標データを求めることができる。

なお、ここでは、観察者の顔Ｆが表示部８の真正面にあると仮定して、表示部８’の４隅の位置座標データを求める。つまり、表示部８’の中心と顔Ｆ’の中心とを結ぶ直線と表示部８の表示面とのなす角度が９０度となるように、表示部８’の４隅の点の位置座標データを求める。

顔Ｆ’と画像再生装置１００’が擬似空間Ｖにおいて図６に示した位置に存在している場合には、図７に示すように、原点Ｏと表示部８’の４隅の点を結ぶ４本の直線が領域３３と交わる点で区画された範囲３３ａが再生範囲として切り出される。図８に示すように、顔Ｆ’及び画像再生装置１００’の位置が変化した場合には、領域３３の切り出し範囲（３３ｂ，３３ｃ）も変化する。

ステップＳ７の後、ＣＰＵ３は角度センサ１を制御して画像再生装置１００の傾きを検出する。そして、画像処理部７が、検出された傾き角θに応じて、ステップＳ７で切り出した再生範囲の画素データ（再生範囲にある各点の位置座標データが対応付けられている画素データ）に基づく画像を調整する処理を実施する（ステップＳ８）。

図９は、図１に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図である。図９に示すように、傾き角θが０°のとき、表示部８に表示される画像９１は、歪みの無い画像として観察することができる。一方、画像再生装置１００が顔に対して４５度の角度で傾いている場合、表示部８に表示される画像９１は画像９２のようになり、実際の画像９１よりも縮んで見えてしまう。

そこで、画像処理部７では、この縮みを解消するために、表示部８に表示させる画像を傾き角θに応じて引き伸ばす処理を行う。例えば、画像処理部７は、画像再生装置１００の傾き方向に合わせて画像９１を引き伸ばした画像９３を生成する。

これにより、傾き角θ＝４５°で観察している観察者からは、画像９３が画像９４のように見えることになり、歪みのない画像表示が可能となる。画像の歪みは、傾き角θに比例して大きくなるため、傾き角θが大きいほど、画像を大きく伸ばすことで、表示部８を見ていることを感じさせない、リアルな画像表示が可能になる。

図１０は、図１に示す画像再生装置の画像処理部が実施する画像調整処理を説明するための図である。図１０のＦＩＧ１０Ａは、観察者から見える表示部８の画像の輝度と傾き角θとの関係を示したグラフである。ＦＩＧ１０Ａに示すように、傾き角θが大きくなるほど、観察者から見える表示部８の画像の輝度は低下する。

そこで、画像処理部７は、この輝度低下を解消するために、表示部８に表示させる画像の輝度を傾き角θに応じて高くする処理を行う。例えば、観察者から見える表示部８の画像の輝度が傾き角によらず一定となるように、ＦＩＧ１０Ｂに示したように、傾き角θに応じて輝度レベルを持ち上げる処理を行う。ＦＩＧ１０Ｂにおいて、符号ａは輝度レベルの調整を行わないときの輝度特性を示し、符号ｂは輝度レベルの調整を行ったときの輝度特性を示している。

このように輝度レベルを調整することで、画像再生装置１００を傾けた場合でも表示部８に表示される画像の輝度変化がなくなり、表示部８を見ていることを感じさせない、リアルな画像表示が可能になる。

ステップＳ８で画像の調整が終了すると、ＣＰＵ３は、調整後の画像を表示部８に表示させる（ステップＳ９）。

ステップＳ９の後、画像再生を終了する指示がなされた場合（ステップＳ１０：ＹＥＳ）、ＣＰＵ３は処理を終了する。

ステップＳ９の後、画像再生を継続する場合（ステップＳ１０：ＮＯ）、ＣＰＵ３はステップＳ４に処理を戻し、顔Ｆ及び画像再生装置１００の位置に応じて再生範囲を更新する。

このように、この画像再生装置１００では、画像再生装置１００を観察している観察者の顔の位置と画像再生装置１００の位置とに基づいて、現実空間を撮像して得られた撮像画像データに基づく画像の一部を切り出して表示するようにしている。

このような構成により、例えるなら、擬似空間内に窓を設け、この窓から見える擬似空間内の景色を表示部８に表示した状態を作り出すことができる。また、窓の位置と表示部８の位置はリンクしているため、表示部８を動かすことで、あたかも擬似空間内を歩き回っているかのように体感することができる。また、窓の位置だけでなく、その窓を覗いている観察者の顔の位置も考慮して表示部８に表示する範囲を決めている。このため、顔を装置に近づけたときには広い範囲を見ることができるといったような現実に近い感覚を味わうことが可能となる。

また、画像再生装置１００によれば、表示部８に表示される画像やその輝度が、画像再生装置１００の傾きに応じて調整されるため、表示部８を見ていることを感じさせない現実に近い画像表示が可能となる。

なお、上述してきた画像再生装置１００の三次元データ生成機能及び三次元データの再生機能は、デジタルカメラ等の撮像装置に持たせておいてもよい。

例えば、画像再生装置１００に、表示部８の反対面側を撮像する別の撮像部を設け、この撮像部で撮像して得られる撮像信号から画像処理部７によって撮像画像データを生成する。そして、ＣＰＵ３が、この撮像画像データを、この撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録媒体１０に記録するようにすればよい。

これにより、撮像した被写体像を、その場ですぐに、擬似空間上でリアルに体感することができるようになり、付加価値の高い撮像装置を提供することができる。

以上説明したように、本明細書には以下の事項が開示されている。

開示された画像再生装置は、三次元データを再生する画像再生装置であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、表示部と、前記表示部の表示面側を撮像する撮像部と、前記画像再生装置の位置を検出する装置位置検出部と、前記撮像部で撮像して得られる画像データと前記装置位置検出部で検出される前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出部と、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出部で検出された顔の位置と前記装置位置検出部で検出された前記画像再生装置の位置とに基づいて切り出す切り出し部と、前記切り出し部で切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御部とを備える。

この構成により、顔の位置と装置の位置とに基づいて、現実空間を撮像して得られた撮像画像データをマッピングして得られた擬似空間の一部が画像として表示される。このため、撮像装置で撮像した現実空間をリアルに体感することが可能となる。

開示された画像再生装置は、前記切り出し部は、画像再生開始時点で、前記顔検出部によって検出された顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記装置の位置とに応じて、前記所定範囲を切り出す。

この構成により、顔と表示部の位置関係で表示部に表示される画像が変化するため、その画像をリアルなものにすることができる。

開示された画像再生装置は、前記表示部が矩形であり、前記切り出し部は、前記擬似空間における前記顔の位置と前記装置の表示部の４隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す。

開示された画像再生装置は、前記画像再生装置の傾きを検出する装置傾き検出部と、前記装置傾き検出部で検出された傾きに基づいて、前記切り出し部によって切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整部とを備え、前記表示制御部は、前記画像調整部で調整後の画像を前記表示部に表示させる。

この構成により、表示部に表示させる画像をよりリアルなものにすることができる。

開示された画像再生装置は、前記画像調整部が、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う。

開示された画像再生装置は、前記画像調整部が、前記装置の傾きに応じて前記画像の輝度を調整する。

開示された画像再生装置は、前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成部を備える。

開示された画像再生装置は、前記三次元データ生成部が、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する。

開示された撮像装置は、前記画像再生装置と、前記撮像部と異なる別の撮像部と、前記別の撮像部で撮像して得られる撮像信号から前記撮像画像データを生成し、前記撮像画像データを、前記別の撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録する記録部とを備える。

開示された画像再生方法は、三次元データを再生する画像再生方法であって、前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、前記三次元データを再生する画像再生装置の位置を検出する装置位置検出ステップと、前記画像再生装置に搭載される表示部の表示面側を撮像する撮像ステップと、前記撮像ステップで撮像して得た画像データと前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出ステップと、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出ステップで検出した顔の位置と前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて切り出す切り出しステップと、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御ステップとを備える。

開示された画像再生方法は、前記切り出しステップでは、画像再生開始時点で、前記顔検出ステップで検出した顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記装置の位置とに応じて、前記所定範囲を切り出す。

開示された画像再生方法は、前記表示部が矩形であり、前記切り出しステップでは、前記擬似空間における前記顔の位置と前記装置の表示部の４隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す。

開示された画像再生方法は、前記画像再生装置の傾きを検出する装置傾き検出ステップと、前記装置傾き検出ステップで検出した傾きに基づいて、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整ステップとを備え、前記表示制御ステップでは、前記画像調整ステップで調整後の画像を前記表示部に表示させる。

開示された画像再生方法は、前記画像調整ステップでは、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う。

開示された画像再生方法は、前記画像調整ステップでは、前記装置の傾きに応じて前記画像の輝度を調整する。

開示された画像再生方法は、前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成ステップを備える。

開示された画像再生方法は、前記三次元データ生成ステップでは、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する。

１００画像再生装置
２顔検出部
３ＣＰＵ
５ＸＹＺ加速度センサ
６撮像部
８表示部

Claims

三次元データを再生する画像再生装置であって、
前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、
表示部と、
前記表示部の表示面側を撮像する撮像部と、
前記画像再生装置の位置を検出する装置位置検出部と、
前記撮像部で撮像して得られる画像データと前記装置位置検出部で検出される前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出部と、
前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出部で検出された顔の位置と前記装置位置検出部で検出された前記画像再生装置の位置とに基づいて切り出す切り出し部と、
前記切り出し部で切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御部とを備え、
前記切り出し部は、前記顔検出部によって検出された顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記画像再生装置の表示部の隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す画像再生装置。
請求項１記載の画像再生装置であって、
前記表示部が矩形であり、
前記切り出し部は、前記擬似空間における前記顔の位置と前記表示部の４隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す画像再生装置。
請求項１または２に記載の画像再生装置であって、
前記画像再生装置の傾きを検出する装置傾き検出部と、
前記装置傾き検出部で検出された傾きに基づいて、前記切り出し部によって切り出された前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整部とを備え、
前記表示制御部は、前記画像調整部で調整後の画像を前記表示部に表示させる画像再生装置。
請求項３記載の画像再生装置であって、
前記画像調整部が、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う画像再生装置。
請求項３記載の画像再生装置であって、
前記画像調整部が、前記装置の傾きに応じて前記画像の輝度を調整する画像再生装置。
請求項１〜５のいずれか記載の画像再生装置であって、
前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成部を備える画像再生装置。
請求項６記載の画像再生装置であって、
前記三次元データ生成部が、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する画像再生装置。
請求項７記載の画像再生装置と、
前記撮像部と異なる別の撮像部と、
前記別の撮像部で撮像して得られる撮像信号から前記撮像画像データを生成し、前記撮像画像データを、前記別の撮像部の撮像範囲の情報及び撮像時における焦点距離の情報と対応付けて記録する記録部とを備える撮像装置。
三次元データを再生する画像再生方法であって、
前記三次元データは、現実空間の所定領域を撮像して得られた二次元の撮像画像データと、前記撮像画像データの各画素データに対応付けられた座標データとで構成されており、前記座標データは、前記現実空間に対応する球体からなる擬似空間における位置を示す座標であって、前記各画素データに対応する前記現実空間の前記所定領域上の点、に対応する前記擬似空間上の点の座標を示すデータであり、
前記三次元データを再生する画像再生装置が、前記画像再生装置の位置を検出する装置位置検出ステップと、
前記画像再生装置が、前記画像再生装置に搭載される表示部の表示面側を撮像する撮像ステップと、
前記画像再生装置が、前記撮像ステップで撮像して得た画像データと前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて、前記表示部を観察している観察者の顔の位置を検出する顔検出ステップと、
前記画像再生装置が、前記三次元データに基づく擬似空間の前記所定領域に対応する部分のうちの所定範囲を、前記顔検出ステップで検出した顔の位置と前記装置位置検出ステップで検出した前記画像再生装置の位置とに基づいて切り出す切り出しステップと、
前記画像再生装置が、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を前記表示部に表示させる表示制御ステップとを備え、
前記切り出しステップでは、前記顔検出ステップで検出した顔の位置を前記三次元データに基づく擬似空間の原点に設定した後、前記顔の位置と前記画像再生装置の位置を前記擬似空間の座標に変換し、前記擬似空間における前記顔の位置と前記擬似空間における前記画像再生装置の表示部の隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す画像再生方法。
請求項９記載の画像再生方法であって、
前記表示部が矩形であり、
前記切り出しステップでは、前記擬似空間における前記顔の位置と前記表示部の４隅とを結ぶ直線を設定し、前記擬似空間の前記所定領域に対応する部分と前記直線とが交わる点で区画される範囲を前記所定範囲として切り出す画像再生方法。
請求項９または１０に記載の画像再生方法であって、
前記画像再生装置が、前記画像再生装置の傾きを検出する装置傾き検出ステップと、
前記画像再生装置が、前記装置傾き検出ステップで検出した傾きに基づいて、前記切り出しステップで切り出した前記所定範囲の座標に対応する前記画素データに基づく画像を調整する画像調整ステップとを備え、
前記表示制御ステップでは、前記画像調整ステップで調整後の画像を前記表示部に表示させる画像再生方法。
請求項１１記載の画像再生方法であって、
前記画像調整ステップでは、前記装置の傾きに応じて前記画像を引き伸ばす処理を行う画像再生方法。
請求項１１記載の画像再生方法であって、
前記画像調整ステップでは、前記装置の傾きに応じて前記画像の輝度を調整する画像再生方法。
請求項９〜１３のいずれかに記載の画像再生方法であって、
前記画像再生装置が、前記撮像画像データの各画素データに前記座標データを対応付けて記録することで前記三次元データを生成する三次元データ生成ステップを備える画像再生方法。
請求項１４記載の画像再生方法であって、
前記三次元データ生成ステップでは、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の焦点距離の情報を用いて前記擬似空間をメモリ上に生成し、前記撮像画像データに対応付けて記録されている前記撮像画像データ取得のための撮像時の撮像範囲の情報を用いて、前記撮像範囲に対応する擬似撮像範囲を前記擬似空間に設定し、前記擬似撮像範囲の各点の位置を示す前記座標データを、前記各点に対応する前記撮像画像データの画素データに対応付けて記録することで、前記三次元データを生成する画像再生方法。