JPWO2012043003A1 - 立体画像表示装置および立体画像表示方法 - Google Patents

Abstract

所定の表示視差方向に視差を有する画像の組を立体表示可能な表示部と、単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶可能な記憶部と、前記記憶部の画像の組の中から所望の画像の組を選択する選択部と、前記表示視差方向と前記選択部の選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断する判断部と、前記判断部が前記表示視差方向と前記画像視差方向とは不一致であると判断したことに応じて、前記表示視差方向と前記画像視差方向とが一致する角度だけ前記選択画像組の各画像を回転して前記表示部に立体表示するよう制御する表示制御部と、を備える立体画像表示装置。

Description

本発明は立体画像表示装置および立体画像表示方法に係り、特に撮影レンズの４方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させることで得られた４つの視差画像に基づいて立体表示をする技術に関する。

特許文献１には、複数の撮像画像に１つのマイクロレンズを配置し、左右視差画像、上下視差画像の方法を生成する撮像装置が開示されている。

また、特許文献２には、左右視差画像、上下視差画像の両方を同時に発生させることのできるディスプレイ装置が開示されている。

特許文献３には、画像を３次元で表現する立体画像表示装置の画素を奇数列画素及び偶数列画素の対に区分して配列形成し、奇数列画素及び偶数列画素の前方に光線の水平及び垂直成分のいずれか一側方向だけをそれぞれ通過させる偏光手段を設けてある立体画像表示装置が開示されている。

特開2009-165115号公報 特開2006-285247号公報 特開平6-258733号公報

特許文献１のような、４つのフォトダイオードに対して、１つのマイクロレンズの構成を持つベイヤ配列型の撮像素子を用いて、上下左右方向の視差画像を取得することができる。

上下左右方向の視差画像を取得した場合は、閲覧者の視差の方向や表示機器の向きに合わせて適切な立体視となるように視差画像を回転して表示させることができる。例えば、表示視差（表示面上で両眼視差を生じる方向）を左右方向に有する立体表示装置が上下方向の視差画像を立体表示する場合、当該視差画像を＋９０°または−９０°回転すれば、瞳分割方向が表示視差方向と一致し、立体視できる。なお、立体表示の方式は、パララックスバリア方式、レンチキュラ方式、液晶シャッタ方式などがある。

しかし、上下方向の視差画像のみ、あるいは左右方向の視差画像を取得した場合は、画像やディスプレイを回転すると立体表示ができなくなる。例えば、表示機器のディスプレイが水平方向に置かれる（横置き）ことで両眼視差を生じる場合、左右方向の視差画像は、横置きで立体表示される。しかし、ディスプレイを９０°回転する（縦置き）と、左右方向の視差画像は立体表示として認識できない。また、上下方向の視差画像が取得されていないので、縦置きのディスプレイで上下方向の視差画像を立体表示することもできない。

左右方向の視差画像のみからなる画像セットと、上下方向の視差画像からなる画像セットが、同じ記録媒体に取得されて混在しているとする。表示機器がこれらを順次コマ送りで立体表示する場合、視差画像の視差方向が、観察者から見た表示機器の両眼視差方向と合致していないと、立体表示として認識されない。一方、視差画像の視差方向が、観察者から見た表示機器の両眼視差方向と合致していると、立体表示として認識される。観察者は、コマ送りの最中に、コマによって立体感を認識できたりできなかったりすると、違和感を覚え、観察者の目を疲れさせる。

本発明はこのような事情に鑑みてなされたもので、表示装置の視差方向に対応して視差画像を適切に表示可能にすることを目的とする。

本発明は、所定の表示視差方向に視差を有する画像の組を立体表示可能な表示部と、単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶可能な記憶部と、記憶部の画像の組の中から所望の画像の組を選択する選択部と、表示視差方向と選択部の選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断する判断部と、判断部が表示視差方向と画像視差方向とは不一致であると判断したことに応じて、表示視差方向と画像視差方向とが一致する角度だけ選択画像組の各画像を回転して表示部に立体表示するよう制御する表示制御部と、を備える立体画像表示装置を提供する。

表示制御部は、表示視差方向が水平方向でありかつ画像視差方向が垂直方向である場合、選択画像組の各画像を９０°回転して表示部に立体表示するよう制御する。

選択画像組を回転するか否かを設定する設定部を備え、表示制御部は、設定部が画像を回転する設定をした場合、表示視差方向と画像視差方向とが一致する角度だけ選択画像組の各画像を回転して表示部に立体表示するよう制御する。

表示制御部は、設定部が画像を回転しない設定をした場合、表示視差方向と画像視差方向とが一致するような画像の回転角度または表示部の回転方向を示す情報を表示部に表示するよう制御する。

本発明は、所定の表示視差方向に視差を有する画像の組を立体表示可能な表示部と、単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶可能な記憶部と、記憶部の画像の組の中から所望の画像の組を選択する選択部と、表示視差方向と選択部の選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断する判断部と、判断部が表示視差方向と画像視差方向とは不一致であると判断したことに応じて、表示視差方向と画像視差方向とが一致するような画像の回転角度または表示部の回転方向を示す情報を表示部に表示するよう制御する表示制御部と、を備える立体画像表示装置を提供する。

情報は、画像の回転角度または表示部の回転方向を示す図形および／または文字である。

表示視差方向は水平方向であり、単一の方向に視差を有する画像の組は水平方向または垂直方向に視差を有し、複数の方向に視差を有する画像の組は水平方向および垂直方向に視差を有する。

表示制御部は、選択画像組が水平および垂直方向に視差を有する場合、水平方向に視差を有する画像の組を表示部に立体表示するとともに、垂直方向に視差を有する画像の組を立体表示することが可能な旨を示す情報を表示部に表示するよう制御する。

表示制御部は、選択画像組が水平および垂直方向に視差を有する場合、水平方向に視差を有する画像の組を表示部に立体表示するとともに、垂直方向に視差を有する画像の組を表示視差方向と一致するように回転した状態を示す代表画像を表示部に表示するよう制御する。

表示制御部は、選択画像組が水平および垂直方向に視差を有する場合、垂直方向に視差を有する画像の組を表示視差方向と一致する角度だけ回転した回転画像の組と、水平方向に視差を有する画像の組を、順次または同時に表示部に立体表示するよう制御する。

垂直および水平方向への瞳分割により被写体からの光束を４つの光束に分割し、４つの光束を、それぞれ所定配列のカラーフィルタに対応する４つの光電変換素子群に結像して光電変換することで、各カラーフィルタに対応する色成分を有する４つの視点画像信号の組を出力する撮像部と、撮像部の出力した各カラーフィルタに対応する色成分を有する４つの視点画像信号の組のうち、垂直方向に隣接する光電変換素子から得られた２つの視点画像信号同士または水平方向に隣接する光電変換素子から得られた２つの視点画像信号同士を合成することで、水平方向に視差を有する画像の組または垂直方向に視差を有する画像の組を作成する合成部と、を備え、記憶部は、合成部の作成した水平方向に視差を有する画像の組または垂直方向に視差を有する画像の組を、単一の方向に視差を有する画像の組として記憶する。

合成部は、撮像部の出力した各カラーフィルタに対応する色成分を有する４つの視点画像信号の組のうち、垂直方向に隣接する光電変換素子から得られた２つの視点画像信号同士および水平方向に隣接する光電変換素子から得られた２つの視点画像信号同士を合成することで、水平方向に視差を有する画像の組および垂直方向に視差を有する画像の組を作成し、記憶部は、合成部の作成した水平方向に視差を有する画像の組および垂直方向に視差を有する画像の組を、複数の方向に視差を有する画像の組として記憶する。

表示制御部は、選択画像組が水平および垂直方向に視差を有する場合、撮像部の出力時における表示視差方向に一致する視差を有する画像の組を選択し、選択された画像の組を立体表示する。

撮像部の４つの視点画像信号の組の出力時の姿勢情報を検出する姿勢情報検出部を備え、合成部は、姿勢情報検出部の検出した姿勢情報に基づき、垂直方向に隣接する光電変換素子から得られた左の視点画像信号の組および右の視点画像信号の組を判別し、判別された左の視点画像信号の組を合成するとともに、判別された右の視点画像信号の組を合成することで、水平方向に視差を有する画像の組を作成する。

本発明は、所定の表示視差方向に視差を有する画像の組を立体表示可能な立体画像表示装置が、単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶するステップと、画像の組の中から所望の画像の組を選択するステップと、表示視差方向と選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断するステップと、表示視差方向と画像視差方向とは不一致であると判断したことに応じて、表示視差方向と画像視差方向とが一致する角度だけ選択画像組の各画像を回転して表示部に立体表示するよう制御するステップと、を実行する立体画像表示方法を提供する。

所定の表示視差方向に視差を有する画像の組を立体表示可能な立体画像表示装置が、単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶するステップと、画像の組の中から所望の画像の組を選択するステップと、表示視差方向と選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断するステップと、表示視差方向と画像視差方向とは不一致であると判断したことに応じて、表示視差方向と画像視差方向とが一致するような画像の回転角度または表示部の回転方向を示す情報を表示するよう制御するステップと、を実行する立体画像表示方法を提供する。

本発明では、そのままでは立体表示できない視差画像が選択された場合、選択された画像を適切な方向に回転して立体表示するため、ユーザに違和感を与えずに済む。また、本発明では、選択された視差画像が立体視可能となる方向を図形などの情報で表示する。ユーザは、この情報を認識して、画像を回転させれば立体表示されることが理解できる。

単眼立体撮像装置のブロック図 ０°の縦置きの場合のＣＣＤの受光面の構成例を示す図 ＋９０°の縦置きの場合のＣＣＤの受光面の構成例を示す図 −９０°の縦置きの場合のＣＣＤの受光面の構成例を示す図 合成処理のフローチャート 単眼立体撮像装置１が「通常の横置き」の様子を例示する図 単眼立体撮像装置の配置方向に対応して合成される視差画像を示す図 撮影日時に従い記録されたコマの例を示す図 水平・垂直方向に視差を有する４つの画像の組のコマの例を示す図 水平方向に視差を有する２つの画像の組のコマの例を示す図 垂直方向に視差を有する２つの画像の組のコマの例を示す図 回転処理のフローチャート 合成画像の回転例を示す図 通知処理のフローチャート 合成画像Ｒ・Ｌからなる視差画像の表示例を示す図 立体表示が可能となる回転方向を説明する情報の表示例を示す図 オンオフ選択可能な回転処理のフローチャート 第４実施形態の通知処理のフローチャート 立体視が可能な表示装置の向きを示す情報の表示例を示す図 立体表示可能な方向を示す情報の表示例を示す図 平面表示が可能であることを示す情報の表示例を示す図 第５実施形態の通知処理のフローチャート 上下方向の立体画像を表示できることを示すアイコンの表示例を示す図 上下方向の視差を有する画像のサムネイルの表示例を示す図 左右方向に視差を有する画像の組Image1-1と垂直方向に両眼視差を有する画像の組Image1-2を９０°回転した立体画像のそれぞれを順次表示する例を示す図 水平方向に両眼視差を有する画像の組Image1-1と垂直方向に両眼視差を有する画像の組を９０°回転した立体画像Image1-2のそれぞれを１画面に表示する例を示す図 立体表示装置のブロック図

＜第１実施形態＞
図１は単眼立体撮像装置１の実施の形態を示すブロック図である。

この単眼立体撮像装置１は、撮像した画像を記録メディア５７に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。また、装置の各ブロックの動作電源は電源部６０から供給される。

単眼立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の表示装置３０の表示制御、電源オン・オフなどを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、および動画を撮影する動画モードのいずれかを選択する選択手段である。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を表示装置３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、表示装置３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮像レンズ１２、マイクロレンズＬ、不図示の絞りを介して垂直・水平方向に瞳分割された視差画像を、上下左右の４種類の視点に対応する画素１６ａ〜１６ｄによって取得可能な位相差イメージセンサである固体撮像素子（以下、「ＣＣＤ」という）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるモータドライバ３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞りは、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される不図示の絞り駆動部によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、タイミングジェネレータ３７を介して、ＣＣＤ１６での電荷蓄積時間（シャッタスピード）やＣＣＤ１６からの画像信号の読み出し制御等を行う。

ＣＣＤ１６に蓄積された信号電荷は、タイミングジェネレータ３７から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６の画素１６ａ〜１６ｄから読み出された電圧信号からは、各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのち、それぞれＡ／Ｄ変換器２０ａ〜２０ｄに加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

画像信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

画像信号処理部２４で処理された上下左右の視点画像データ（３Ｄ画像データ）は、ＲＡＭ５０に入力する。ＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＲＡＭ５０から読み出された３Ｄ画像データは、３Ｄ画像信号処理部３４にて立体表示用の画像信号に変換された後、ビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の表示装置３０に出力され、これにより３Ｄの被写体像が表示装置３０の表示画面上に表示される。

この表示装置３０は、立体視画像（左視点画像および右視点画像）をパララックスバリアによりそれぞれ所定の方向、ここでは水平方向への指向性をもった指向性画像として表示できる立体表示手段である。ただし、表示装置３０の採用する立体画像表示方式は、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで各視点画像を個別に見ることができるものでもよい。

操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作およびＡＥ動作を開始させ、モータドライバ３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ／ＡＷＢ検出回路４４に取り込まれる。

ＡＥ／ＡＷＢ検出回路４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出回路４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて適正露出が得られる絞りの絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部を介して絞りを制御するとともに、決定したシャッタスピードに基づいてタイミングジェネレータ３７を介してＣＣＤ１６での電荷蓄積時間を制御する。なお、被写体の明るさは外部の測光センサに基づいて算出されてもよい。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画素対応する上下左右の視点画像の画像データが画像入力コントローラ２２からＲＡＭ５０に入力し、一時的に記憶される。

ＲＡＭ５０に一時的に記憶された画像データは、画像信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びＲＡＭ５０に記憶される。続いて、ＹＣデータは、それぞれ画像信号処理部２４に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

ＲＡＭ５０に記憶された上下左右の視点画像のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア記録制御部５２により読み出され、記録メディア５７に記録される。

スピーカ５３は、音声入出力処理部５４の制御に従い、音声を発する。音声の内容はＲＯＭ５５に記憶されている。マイク５６は、画像の記録に連動して音声を取得してアナログ音声信号に変換する。このアナログ音声信号は音声入出力処理部５４を介して圧縮デジタル音声データに変換され、ＲＡＭ５０や記録メディア５７に記録される。

視差補正部６３は、各視点画像を被覆する小領域に対応する復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。詳細には、視差補正部６３は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。視差補正部６３は、求まったデフォーカスマップをＲＡＭ５０などに一時的に保存する。視差補正部６３は、各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。

ＲＯＭ５５には、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。視差補正部６３は、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。これにより、デフォーカス量（ボケ量）に応じた視差を画像に与えることができる。

３Ｄ画像信号処理部３４は、操作部３８から立体画像表示モードが選択された場合、ＲＡＭ５０に格納されている右目用画像および左目用画像を、表示装置３０が立体表示を行うための立体画像データに合成する。例えば、表示装置３０がパララックスバリア方式を採用する場合、３Ｄ画像信号処理部３４は、右目用画像および左目用画像を短冊状に分割し交互に短冊状の画像を並べた立体画像データを作成し、ビデオ・エンコーダ２８に出力する。画像選択部７１は、４視点画像の中から右目用画像および左目用画像に合成すべき視点画像を選択する。画像回転処理部７２は、画像選択部７１の選択した画像を、画像が立体表示される角度だけ回転する。視線表示制御部７３は、画像選択部７１の選択した画像が立体表示されるような表示装置の向きを示す情報を表示装置３０に表示する。

図２ＡはＣＣＤ１６の受光面の構成例を示す図である。図２Ａに示すように、ＣＣＤ１６の受光面には、赤、青または緑のカラーフィルタ、当該カラーフィルタに対応する画素Ａ，Ｂ，Ｃ，Ｄの４視点の画素群、およびその４画素群に対するマイクロレンズＭＬが配置されている。カラーフィルタ、４画素群、マイクロレンズからなる受光単位は、ベイヤ型に配列される。

ベイヤ配列は、ＣＣＤ１６の半導体基板表面部に正方格子状に形成された上記４画素群の上に、赤色（Ｒ，ｒ），緑色（Ｇ，ｇ），青色（Ｂ，ｂ）の三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。

なお、図２Ａ〜図２Ｃでは、ＸＹ平面がＣＣＤ１６の受光面であり、Ｘは行方向、Ｙ方向は列方向である。撮影者から見て、画素Ａ・Ｃは左側、画素Ｂ・Ｄは右側に位置する。Ｚはレンズ１２の光軸方向であり、被写体に向かう方向（この図では紙面表から裏に向かう方向）を正の方向とする。以下、Ｘが水平方向、Ｙが垂直方向と一致する場合、単眼立体撮像装置１は「横置き」であるとする。Ｘが垂直方向、Ｙが水平方向と一致する場合、単眼立体撮像装置１は「縦置き」であるとする。

図２Ａのように、単眼立体撮像装置１が横置きであり、Ｙの正方向（列Ｃから列Ａに向かう方向）が鉛直上方を向いている場合は、単眼立体撮像装置１は「通常の横置き」ないし「０°の横置き」であるとする。

また、単眼立体撮像装置１が横置きであるが、Ｙの正方向が鉛直下方を向いている場合は、単眼立体撮像装置１は「＋１８０°の横置き」であるとする。

また、図２Ｂのように、単眼立体撮像装置１が縦置きであるが、Ｘの正方向（画素Ａから画素Ｂに向かう方向）が鉛直上方を向いている場合、すなわち単眼立体撮像装置１が撮影者から見て反時計回りに９０°回転している場合、単眼立体撮像装置１は「＋９０°の縦置き」であるとする。

また、図２Ｃのように、単眼立体撮像装置１が縦置きであるが、Ｘの正方向が鉛直下方を向いている場合、すなわち単眼立体撮像装置１が撮影者から見て時計回りに９０°回転している場合、単眼立体撮像装置１は「−９０°の縦置き」であるとする。

Ｚ軸を中心としたＣＣＤ１６の回転方向および回転角を含む姿勢情報は、ジャイロスコープなどの姿勢センサ７０によって検知される。ＣＰＵ４０は、シャッタボタンの半押し時・全押し時などの撮像の開始するタイミングで、姿勢センサ７０に姿勢情報を検知するよう制御する。この制御の結果、姿勢センサ７０から得られた姿勢情報は、上下左右の視差画像と対応づけられて記録メディア５７に記録される。例えば、この姿勢情報は、上下左右の視差画像とを格納する画像ファイルのタグ情報（Exif回転タグなど）として記録される。この姿勢情報を参照することで、４視点画像の撮影時の単眼立体撮像装置１が、「通常の横置き」、「＋１８０°の横置き」、「−９０°の縦置き」、「＋９０°の縦置き」のいずれの状態であったかが判別できる。

画素群に入射する被写体光は、図示しない遮光部材やミラーなどの瞳分割手段により、水平方向（左右方向）および垂直方向（上下方向）に瞳分割されている。よって、４画素群を構成する各画素には、垂直（上下）方向および水平（左右）方向に視差を有する被写体像が結像する。

図３は単眼立体撮像装置１の実行する合成処理のフローチャートである。以下の処理を単眼立体撮像装置１に実行させるためのプログラムは、ＲＯＭ５５などのコンピュータ読み取り可能な記録媒体に記録されている。この処理は操作部３８からの立体表示モードの選択に応じて開始する。なお、この処理は、単眼立体撮像装置１以外の情報処理装置、例えば後述の立体表示装置１０やパソコンなどでも実行できる。

Ｓ１では、画像選択部７１は、ＲＡＭ５０や記録メディア５７から４つの視差画像の組とその視差画像の取得時の姿勢情報を読み出す。記録メディア５７では、４つの視差画像の組はＭＰファイルとして記録されている。画像選択部７１は、読み出した姿勢情報から、視差画像が「０°の横置き」で撮影されたかを判定する。Ｙｅｓの場合はＳ２、Ｎｏの場合はＳ３に進む。

Ｓ２では、画像選択部７１は、画素Ａからの画像信号および画素Ｃからの画像信号を合成画像Ｌの合成元の画像に選択し、画素Ｂからの画像信号および画素Ｄからの画像信号を合成画像Ｒの合成元の画像に選択する。３Ｄ画像信号処理部３４は、画像選択部７１の選択に従い、画素Ａからの画像信号および画素Ｃからの画像信号を合成した合成画像Ｌと、画素Ｂからの画像信号および画素Ｄからの画像信号の合成画像Ｒを作成する。

Ｓ３では、３Ｄ画像信号処理部３４は、読み出した姿勢情報から、視差画像が「＋９０°の縦置き」で撮影されたかまたは視差画像が「−９０°の縦置き」で撮影されたかを判定する。Ｙｅｓ（視差画像が「＋９０°の縦置き」で撮影された）の場合はＳ４、Ｎｏ（視差画像が「−９０°の縦置き」で撮影された）の場合はＳ５に進む。

Ｓ４では、画像選択部７１は、画素Ａからの画像信号および画素Ｂからの画像信号を合成画像Ｌの合成元の画像に選択し、画素Ｃからの画像信号および画素Ｄからの画像信号を合成画像Ｒの合成元の画像に選択する。３Ｄ画像信号処理部３４は、画像選択部７１の選択に従い、画素ＡおよびＢの合成画像Ｌと、画素ＣおよびＤの合成画像Ｒを作成する。

Ｓ５では、画像選択部７１は、画素Ｃからの画像信号および画素Ｄからの画像信号を合成画像Ｌの合成元の画像に選択し、画素Ａからの画像信号および画素Ｂからの画像信号を合成画像Ｒの合成元の画像に選択する。３Ｄ画像信号処理部３４は、画像選択部７１の選択に従い、画素ＣおよびＤの合成画像Ｌと、画素ＡおよびＢの合成画像Ｒを作成する。

Ｓ６では、３Ｄ画像信号処理部３４は、合成画像Ｌを左目表示用の画像とし、合成画像Ｒは右目表示用の画像として、表示装置３０に表示するようビデオ・エンコーダ２８を制御する。

図４Ｂは単眼立体撮像装置１の配置方向に対応して合成される視差画像を示す。図４Ａのように、観察者から見て、単眼立体撮像装置１が「通常の横置き」にある場合、図２Ａのような撮像面の向きとなる。この場合、Ｓ２で生成された画素ＡおよびＣの合成画像Ｌと、画素ＢおよびＤの合成画像Ｒとの間には左右方向の視差が存在している。このため、合成画像Ｌは左目表示用の画像となり、合成画像Ｒは右目表示用の画像となる。

単眼立体撮像装置１が「通常の横置き」から反時計回りに＋９０°回転された「＋９０°の縦置き」（図２Ｂ）となった場合、Ｓ４で生成された画素ＡおよびＢの合成画像Ｌと、画素ＣおよびＤの合成画像Ｒとの間には左右方向の視差が存在している。このため、合成画像Ｌは左目表示用の画像となり、合成画像Ｒは右目表示用の画像となる。

単眼立体撮像装置１が「通常の横置き」から反時計回りに−９０°回転された「−９０°の縦置き」（（図２Ｃ）となった場合、Ｓ５で生成された画素ＣおよびＤの合成画像Ｌと、画素ＡおよびＢの合成画像Ｒとの間には左右方向の視差が存在している。このため、合成画像Ｌは左目表示用の画像となり、合成画像Ｒは右目表示用の画像となる。

なお、図示は省略するが、図２のＸＹ平面がＺ軸を中心として＋１８０°回転され、単眼立体撮像装置１が横置きから＋１８０°回転された「＋１８０°の横置き」となった場合、画素ＢおよびＤの合成画像Ｌと、画素ＡおよびＣの合成画像Ｒとの間には左右方向の視差が存在している。このため、合成画像Ｌは左目表示用の画像となり、合成画像Ｒは右目表示用の画像となる。ただし、「＋１８０°の横置き」で撮像されることは通常想定されないため、説明は省略している。

このように、単眼立体撮像装置１の撮像時の向きに応じて合成画像Ｌ・Ｒを生成し、合成画像Ｌ・Ｒを立体画像として表示することができる。

上記の合成処理では、左目表示用・右目表示用の合成画像Ｌ・Ｒを作成して表示していた。単眼立体撮像装置１は、合成画像Ｌ・Ｒを表示する代わりに、合成画像Ｌ・Ｒの組を記録メディア５７に記録することもできる。このように、上下左右方向の視差画像を取得可能な単眼立体撮像装置１において、上下方向の視差画像のみ、あるいは左右方向の視差画像を合成して記録すれば、上下左右方向の視差画像を全て記録する場合に比べてデータ量が半分になる。

ただしこの場合、記録メディア５７には、合成画像Ｌ・Ｒからなるコマ（２視点画像）と、合成のされていない上下左右の視差画像からなるコマ（４視点画像）が混在しうる。また、単眼立体撮像装置１の撮像時の向きは、表示装置３０の立体表示時の向きと必ずしも一致しないため、合成画像Ｌ・Ｒからなるコマをそのまま表示しても立体表示にならない場合がある。

例えば、図５Ａのように、記録メディア５７には、撮影日時に従い、コマImage1〜Image6が記録されているものとする。ここで、図５Ｂのように、コマImage1〜Image3は水平・垂直方向に視差を有する４つの画像の組であるとする。また図５Ｃのように、コマImage4・5は水平方向に視差を有する２つの画像の組とする。また図５Ｄのように、Image6は垂直方向に視差を有する画像の組であるとする。Image4・5は上述の合成処理のＳ４で生成されたものであり、Image6は上述の合成処理のＳ５で生成されたものである。

Image1〜Image5については、水平方向の視差を有する画像の組をそのまま０°の横置きの表示装置３０に配置すれば立体画像として認識される。これは上述の合成処理のＳ２の通りである。

しかし、Image6については、撮影時の単眼立体撮像装置１の撮像時の向きは、−９０°の縦置きであり、画像の閲覧時の０°の横置きと一致しない。そのため、０°の横置きの単眼立体撮像装置１でそのままImage6を表示すると、−９０°回転した画像が表示される。加えて、Image6の視差方向は垂直方向であるため、Image6は立体表示とならない。

ユーザがコマImage1〜Image6を連続してコマ送りして閲覧するような場合、Image1〜Image5については立体表示されるが、Image6については立体表示されない。このため、ユーザに違和感を与え、目の疲労の原因ともなる。

そこで、そのまま立体画像として閲覧できない２視点画像のコマについては、次の回転処理を実施する。

図６は回転処理のフローチャートを示す。この処理は操作部３８からの立体表示モードの選択に応じて開始する。この処理の実行時、単眼立体撮像装置１は０°の横置きであるとする。説明済みの処理ステップと同じ処理ステップには同じ符号が付されている。

Ｓ１１では、３Ｄ画像信号処理部３４は、操作部３８へのコマ選択操作に従い、記録メディア５７から選択された視差画像のコマを読み出す。３Ｄ画像信号処理部３４は、読み出したコマが、上下左右方向に視差を有する４視点画像か、上下または左右方向に視差を有する２視点画像かを判断する。Ｙｅｓ（４視点画像）の場合は合成処理に進む。Ｎｏ（２視点画像）の場合はＳ１３に進む。

Ｓ１３では、３Ｄ画像信号処理部３４は、読み出したコマが、左右方向に視差を有する２視点画像か、上下方向に視差を有する２視点画像かを判断する。Ｙｅｓ（左右方向の視差）の場合はＳ１４に進む。Ｎｏ（上下方向の視差）の場合はＳ１５に進む。

Ｓ１４では、３Ｄ画像信号処理部３４は、読み出したコマの視差画像から立体表示を行うための立体画像データを合成する。表示装置３０は、当該立体画像データに基づいて立体表示を行う。

Ｓ１５では、画像回転処理部７２は、視差画像の取得時の姿勢情報から現在の姿勢情報からまでの角度差を算出し、この角度差を解消する方向に読み出したコマの視差画像を回転する。３Ｄ画像信号処理部３４は、回転後の視差画像から立体表示を行うための立体画像データを合成する。表示装置３０は、当該立体画像データに基づいて立体表示を行う。

以上の処理により、そのままでは立体表示できない２視点画像が適切な方向に回転されて立体表示でき、ユーザに違和感を与えずに済む。

例えば、単眼立体撮像装置１が「−９０°の縦置き」で撮像されたコマであるImage6が、「通常の横置き」で表示される場合、視差画像の視差方向と表示視差方向は一致しない。そこで、図７で示すように、Image6の合成画像Ｌ・Ｒを＋９０°回転させることで、Image6の合成画像Ｌ・Ｒの視差方向と閲覧時における単眼立体撮像装置１の表示視差方向が一致し、Image6も立体画像として閲覧できる。

＜第２実施形態＞
第１実施形態の回転処理は、立体表示が可能な方向へ自動的に２視点画像を回転したが、回転処理の代わりに、立体表示の可能な方向を示す情報をユーザに示す処理を実行してもよい。

図８は第２実施形態に係る通知処理のフローチャートを示す。この処理は操作部３８からの立体表示モードの選択に応じて開始する。以下、説明済みの処理ステップと同じ処理ステップには同じ符号が付される。

Ｓ１１〜Ｓ１３は回転処理と同様である。ただし、Ｓ１３にてＮｏと判定された場合、Ｓ２１に進む。

Ｓ２１では、３Ｄ画像信号処理部３４は、視差画像の視差方向が表示視差方向と異なる旨を通知する。例えば、図９Ａのような合成画像Ｒ・Ｌからなる視差画像Image6を表示するとする。合成画像Ｒ・Ｌは合成処理のＳ４で作成されたものである。この場合、図９Ｂのように、撮影時の姿勢情報（画像の撮影時の天地方向を図形で表したり、立体表示が可能となる回転方向を説明する文章なども合わせて表示する。ユーザは、この通知を認識して、画像を回転させれば立体表示されることが理解できる。この通知処理の後、ユーザからの指示に応じて、回転処理を実行してもよい。

＜第３実施形態＞
第１・２実施形態において、視点画像を回転する機能のオンまたはオフ指示に応じて回転処理または通知処理を実行してもよい。図１０はそのフローチャートを示す。

Ｓ３１では、視点画像を自動的に回転する機能のオンまたはオフが操作部３８から指示されたか否かを判断する。オンが指示された場合は第１実施形態の回転処理に進み、オフが指示された場合は第２実施形態の通知処理に進む。

以上の処理により、ユーザからの指示に応じて自動的な画像の回転か、視差画像の視差方向が表示視差方向と異なる旨の通知が行われる。

＜第４実施形態＞
表示装置３０が、水平方向だけでなく垂直方向の視差を立体表示可能である場合（例えば特許文献３）、第２・３実施形態の通知処理において、画像の回転方向を示す代わりに、立体視が可能となる表示装置３０の回転方向を示す情報を通知してもよい。

図１１は第４実施形態に係る通知処理のフローチャートを示す。

Ｓ１１〜Ｓ１３は上記と同様である。ただし、Ｓ１３でＮｏの場合はＳ６１に進む。

Ｓ６１では、視線表示制御部７３は、立体視が可能となる表示装置３０の回転方向を示す情報を表示する。

例えば、図５ＡのようなImage1〜Image6をコマ送りで選択して表示するとする。Image6は合成処理のＳ４で作成されたものであり、垂直方向の視差を有する。

この場合、Image6は、垂直方向に視差を有するため、表示装置３０を通常の横置きから９０°回転した９０°の縦置きにすれば、Image6の視差方向が左右の両眼視差方向と一致し、立体画像として認識される。そこで、図１２のように、立体視が可能な表示装置３０の向きを示す図形や文字などの情報Ｉを表示する。この処理は通知処理のＳ２２の代わりに行われる。

ユーザは、この情報Ｉに従って表示装置３０を＋９０°回転すれば、Image6の視差方向と表示装置３０の表示視差方向が一致するため、立体画像として視覚できる。上記の回転処理のように画像を自動回転してもよいが、ユーザ自身が表示装置３０を適切な方向に回転すれば立体表示が成立する場合は、ユーザにその適切な回転方向を示して、実際の回転はユーザに委ねられてもよい。

なお、３Ｄ画像信号処理部３４は、上下左右方向に視差を有する画像の組が選択された場合、立体表示可能な方向を図や文字などの情報を示してもよい（図１３）。立体表示の不可能な平面画像の組については、平面表示が可能であることを示す図形や文字などの情報を表示してもよい（図１４）。

＜第５実施形態＞
第１〜４実施形態において、上下左右方向の双方に視差を有する画像の組が選択された場合、上下方向の立体画像を表示できることを示す情報を示してもよい。

図１５は第５実施形態に係る通知処理のフローチャートである。

Ｓ１１〜Ｓ１５は上記と同様であるが、Ｓ１１でＹｅｓの場合、合成処理に進み、その後Ｓ４１に進む。

Ｓ４１では、視線表示制御部７３は、その選択されたコマに、上下方向の立体画像を表示できることを示すアイコンＭを表示する。図１６はその一例である。

上下左右方向の視差画像を取得した場合は、左右方向の視差画像のみからなる画像セットと、上下方向の視差画像からなる画像セットのいずれも立体表示できるが、一方の画像セットのみを立体表示していると、観察者は他方の画像セットの存在に気付かない可能性がある。しかし、ユーザは、アイコンＭを視覚することで、回転すれば立体画像を表示できる視差画像の存在を知ることができる。

また、上記の処理において、図１６のようなアイコンＭの代わりに、立体表示可能な上下方向の視差を有する画像の代表画像（平面画像やサムネイル画像など）を表示してもよい。

例えば、図１７のように、Image1の上下方向の視差を有する画像のサムネイルＪ１を、Image1とともに表示する。なお、このサムネイルは、図５Ｂの上下方向の視差を有するImage1-UまたはImage1-Dを縮小することで作成される。

＜第６実施形態＞
第５実施形態では、選択されたコマの上下方向の視差を有する画像の代表画像を表示していたが、その代わり、立体表示可能な各方向の全ての視差画像を表示してもよい。

例えば、図５ＡのようなImage1〜Image6のうち、上下左右方向の視差画像を有するコマImage1が選択されたとする。図５Ｂの通り、Image1は、Image1-1およびImage1-2を含む。また、Image1-1およびImage1-2は、それぞれ左右方向の視差、上下方向の視差を有する２つの視差画像の組である。この場合、図１８のように、左右方向に視差を有する画像の組Image1-1と垂直方向に両眼視差を有する画像の組Image1-2を９０°回転した立体画像のそれぞれを順次表示する。

これにより、ユーザは異なる視差方向の立体画像を順次見ることができ、自分の好みの立体画像を比較検討することができる。

あるいは、立体表示可能な各方向の全ての画像を１画面に表示してもよい。

例えば、図１９のように、水平方向に両眼視差を有する画像の組Image1-1と垂直方向に両眼視差を有する画像の組を９０°回転した立体画像Image1-2のそれぞれを１画面に表示する。

１回目のコマ表示の際は異なる視差方向の立体画像の双方を表示し、２回目のコマ表示の際は双方の立体画像の中から操作部３８で選択された方だけを表示してもよい。

これにより、ユーザは異なる視差方向の立体画像を同時に見ることができ、自分の好みの立体画像を比較検討することができる。

なお、上下左右方向に視差を有するコマImage2・Image3が選択された場合も、Image1と同様の立体表示を行う。水平方向の視差画像を有するコマImage4・Image5が選択された場合は、水平方向に両眼視差を有する画像の組をそのまま表示する。Image6については、上記実施形態の回転処理や通知処理を行う。

＜第７実施形態＞
第１〜６実施形態で説明した各種処理（合成処理、回転処理、通知処理）は、単眼立体撮像装置１と同等な表示に関するブロックを有する表示装置でも実行しうる。

図２０は立体表示装置１０のブロック図である。単眼立体撮像装置１と同等な立体画像の表示に関するブロックには単眼立体撮像装置１と同じ符号を付す。なお、記録メディア５７は、単眼立体撮像装置１で撮像された視差画像を記録する。操作部３８は主に画像の表示に関する操作を受け付け、撮像に関する操作を受け付ける必要はない。

以上の処理は、記録メディア５７から合成画像を表示できる視差画像の組（コマ）が選択される度に繰り返されることができる。

３０：表示装置、３４：３Ｄ画像信号処理部、７１：画像選択部、７２：画像回転処理部、７３：視線表示制御部

Claims (16)

1. 所定の表示視差方向に視差を有する画像の組を立体表示可能な表示部と、
   単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶可能な記憶部と、
   前記記憶部の画像の組の中から所望の画像の組を選択する選択部と、
   前記表示視差方向と前記選択部の選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断する判断部と、
   前記判断部が前記表示視差方向と前記画像視差方向とは不一致であると判断したことに応じて、前記表示視差方向と前記画像視差方向とが一致する角度だけ前記選択画像組の各画像を回転して前記表示部に立体表示するよう制御する表示制御部と、
   を備える立体画像表示装置。
2. 前記表示制御部は、前記表示視差方向が水平方向でありかつ前記画像視差方向が垂直方向である場合、前記選択画像組の各画像を９０°回転して前記表示部に立体表示するよう制御する請求項１に記載の立体画像表示装置。
3. 前記選択画像組を回転するか否かを設定する設定部を備え、
   前記表示制御部は、前記設定部が前記画像を回転する設定をした場合、前記表示視差方向と前記画像視差方向とが一致する角度だけ前記選択画像組の各画像を回転して前記表示部に立体表示するよう制御する請求項１または２に記載の立体画像表示装置。
4. 前記表示制御部は、前記設定部が前記画像を回転しない設定をした場合、前記表示視差方向と前記画像視差方向とが一致するような画像の回転角度または前記表示部の回転方向を示す情報を前記表示部に表示するよう制御する請求項３に記載の立体画像表示装置。
5. 所定の表示視差方向に視差を有する画像の組を立体表示可能な表示部と、
   単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶可能な記憶部と、
   前記記憶部の画像の組の中から所望の画像の組を選択する選択部と、
   前記表示視差方向と前記選択部の選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断する判断部と、
   前記判断部が前記表示視差方向と前記画像視差方向とは不一致であると判断したことに応じて、前記表示視差方向と前記画像視差方向とが一致するような画像の回転角度または前記表示部の回転方向を示す情報を前記表示部に表示するよう制御する表示制御部と、
   を備える立体画像表示装置。
6. 前記情報は、前記画像の回転角度または前記表示部の回転方向を示す図形および／または文字である請求項５に記載の立体画像表示装置。
7. 前記表示視差方向は水平方向であり、
   前記単一の方向に視差を有する画像の組は水平方向または垂直方向に視差を有し、
   前記複数の方向に視差を有する画像の組は水平方向および垂直方向に視差を有する請求項１〜６のいずれかに記載の立体画像表示装置。
8. 前記表示制御部は、前記選択画像組が水平および垂直方向に視差を有する場合、前記水平方向に視差を有する画像の組を前記表示部に立体表示するとともに、前記垂直方向に視差を有する画像の組を立体表示することが可能な旨を示す情報を前記表示部に表示するよう制御する請求項７に記載の立体画像表示装置。
9. 前記表示制御部は、前記選択画像組が水平および垂直方向に視差を有する場合、前記水平方向に視差を有する画像の組を前記表示部に立体表示するとともに、前記垂直方向に視差を有する画像の組を前記表示視差方向と一致するように回転した状態を示す代表画像を前記表示部に表示するよう制御する請求項７に記載の立体画像表示装置。
10. 前記表示制御部は、前記選択画像組が水平および垂直方向に視差を有する場合、前記垂直方向に視差を有する画像の組を前記表示視差方向と一致する角度だけ回転した回転画像の組と、前記水平方向に視差を有する画像の組を、順次または同時に前記表示部に立体表示するよう制御する請求項８に記載の立体画像表示装置。
11. 垂直および水平方向への瞳分割により被写体からの光束を４つの光束に分割し、前記４つの光束を、それぞれ所定配列のカラーフィルタに対応する４つの光電変換素子群に結像して光電変換することで、各カラーフィルタに対応する色成分を有する４つの視点画像信号の組を出力する撮像部と、
    前記撮像部の出力した各カラーフィルタに対応する色成分を有する４つの視点画像信号の組のうち、垂直方向に隣接する光電変換素子から得られた２つの視点画像信号同士または水平方向に隣接する光電変換素子から得られた２つの視点画像信号同士を合成することで、水平方向に視差を有する画像の組または垂直方向に視差を有する画像の組を作成する合成部と、
    を備え、
    前記記憶部は、前記合成部の作成した水平方向に視差を有する画像の組または垂直方向に視差を有する画像の組を、前記単一の方向に視差を有する画像の組として記憶する請求項７〜１０のいずれかに記載の立体画像表示装置。
12. 前記合成部は、前記撮像部の出力した各カラーフィルタに対応する色成分を有する４つの視点画像信号の組のうち、垂直方向に隣接する光電変換素子から得られた２つの視点画像信号同士および水平方向に隣接する光電変換素子から得られた２つの視点画像信号同士を合成することで、水平方向に視差を有する画像の組および垂直方向に視差を有する画像の組を作成し、
    前記記憶部は、前記合成部の作成した水平方向に視差を有する画像の組および垂直方向に視差を有する画像の組を、前記複数の方向に視差を有する画像の組として記憶する請求項１１に記載の立体画像表示装置。
13. 前記表示制御部は、前記選択画像組が水平および垂直方向に視差を有する場合、前記撮像部の出力時における表示視差方向に一致する視差を有する画像の組を選択し、前記選択された画像の組を立体表示する請求項１２に記載の立体画像表示装置。
14. 前記撮像部の４つの視点画像信号の組の出力時の姿勢情報を検出する姿勢情報検出部を備え、
    前記合成部は、前記姿勢情報検出部の検出した姿勢情報に基づき、前記垂直方向に隣接する光電変換素子から得られた左の視点画像信号の組および右の視点画像信号の組を判別し、前記判別された左の視点画像信号の組を合成するとともに、前記判別された右の視点画像信号の組を合成することで、前記水平方向に視差を有する画像の組を作成する請求項１１〜１３のいずれかに記載の立体画像表示装置。
15. 所定の表示視差方向に視差を有する画像の組を立体表示可能な立体画像表示装置が、
    単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶するステップと、
    前記画像の組の中から所望の画像の組を選択するステップと、
    前記表示視差方向と前記選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断するステップと、
    前記表示視差方向と前記画像視差方向とは不一致であると判断したことに応じて、前記表示視差方向と前記画像視差方向とが一致する角度だけ前記選択画像組の各画像を回転して立体表示するよう制御するステップと、
    を実行する立体画像表示方法。
16. 所定の表示視差方向に視差を有する画像の組を立体表示可能な立体画像表示装置が、
    単一の方向に視差を有する画像の組と複数の方向に視差を有する画像の組の双方を記憶するステップと、
    前記画像の組の中から所望の画像の組を選択するステップと、
    前記表示視差方向と前記選択した画像の組である選択画像組の有する単一の視差の方向である画像視差方向とが一致するか否かを判断するステップと、
    前記表示視差方向と前記画像視差方向とは不一致であると判断したことに応じて、前記表示視差方向と前記画像視差方向とが一致するような画像の回転角度または前記表示部の回転方向を示す情報を表示するよう制御するステップと、
    を実行する立体画像表示方法。

Images