以下、添付図面を参照して、本発明に係る3次元画像表示装置及び3次元画像表示方法について詳細に説明する。
図1は、本発明の一実施形態としての3次元画像表示装置を備えたデジタル立体カメラの電気的構成を示すブロック図である。図1に示すように、デジタル立体カメラ1は、複数の撮像部(左眼用及び右眼用)10−1、10−2を備えており、同一の被写体を複数の視点から撮影した視差画像を取得し、所定の形式の記録用画像データとして記録するものである。
本実施形態においては、このように、デジタル立体カメラ1は、左眼用及び右眼用の複数の撮像部10−1及び10−2を備えているが、本発明は、デジタル立体カメラが複数の撮影手段を有するものに限定されるものではなく、3D画像を生成するための左眼用画像及び右眼用画像をどのようにして取得するかは特に限定されない。
例えば、複数台の単眼カメラによって複数の視点から撮影した同一被写体の複数の撮影画像(動画)を用いてもよいし、あるいは一つの単眼カメラで同一被写体を異なる複数の視点から複数回撮影して得た撮影画像(動画)を合成することにより3D画像を生成するようにすることも可能である。
以下の実施形態では、デジタル立体カメラ1は、図1に示すように複数の撮像部(左眼用及び右眼用)10−1、10−2を備えたものとして説明する。
メインCPU12(以下単にCPU12とする)は、操作部14からの入力に基づき所定の制御プログラムに従ってデジタル立体カメラ1全体の動作を統括制御する制御手段として機能する。電源制御部16は、バッテリ18からの電力を制御して、デジタル立体カメラ1の各部に動作電力を供給する。
CPU12には、バス20を介してROM22、フラッシュROM24、SDRAM26及びVRAM28が接続されている。ROM22には、CPU12が実行する制御プログラム及び制御に必要な各種データ等が格納されている。フラッシュROM24には、ユーザ設定情報等のデジタル立体カメラ1の動作に関する各種設定情報等が格納される。
SDRAM26は、CPU12の演算作業用領域及び画像データの一時記憶領域(ワークメモリ)を含んでいる。VRAM28は、表示用の画像データ専用の一時記憶領域を含
んでいる。
また、バス20には、モニタ30が表示制御部32を介して接続されている。モニタ30は、例えば、カラー液晶パネルを備えた表示装置によって構成され、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にGUIとして使用される。また、モニタ30は、撮影モード時に画角を確認するための電子ファインダとして利用される。モニタ30の表面には、蒲鉾状のレンズ群を有した、いわゆるレンチキュラレンズが配置されており、3次元画像(3D画像)の表示時にはユーザは立体視が可能となる。表示制御部32は、撮像素子48(48−1、48−2)またはメモリカード70から読み出された画像データを表示用の画像信号(例えば、NTSC信号などのビデオ信号、あるいはモニタに適合したデジタル信号)に変換してモニタ30に出力するとともに、所定の文字、図形情報(例えば、オンスクリーン表示用のデータ(OSD))をモニタ30に出力する。また、表示制御部32は、所定のインターフェイス(例えば、USB、IEEE1394、LAN)を介して接続された外部表示装置に画像を出力することが可能となっている。
操作部14は、シャッタボタン、電源/モードスイッチ、モードダイアル、十字ボタン、ズームボタン、MENU/OKボタン、DISPボタン及びBACKボタン等の操作入力手段を含んでいる。なお、これら以外のキーについては後述する。
電源/モードスイッチは、デジタル立体カメラ1の電源のオン/オフの切り替え及びデジタル立体カメラ1の動作モード(再生モード及び撮影モード)の切り替え手段として機能する。
モードダイアルは、デジタル立体カメラ1の撮影モードを切り替えるための操作手段であり、モードダイアルの設定位置に応じて、2次元の静止画を撮影する2D静止画撮影モード、2次元の動画を撮影する2D動画撮影モード、3次元の静止画を撮影する3D静止画撮影モード及び3次元の動画を撮影する3D動画撮影モードの間で撮影モードが切り替えられる。
シャッタボタンは、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。静止画撮影モード時には、シャッタボタンが半押しされると、撮影準備処理(すなわち、AE(自動露出)、AF(自動焦点合わせ)、AWB(自動ホワイトバランス))が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。
また、動画撮影モード時には、シャッタボタンが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。また設定により、シャッタボタンが全押しされている間だけ動画の撮影が行われ、全押しが解除されると動画の撮影を終了するようにすることもできる。
十字ボタンは、上下左右4方向に押圧操作可能に設けられており、各方向のボタンにはデジタル立体カメラ1の動作モード等に応じた機能が割り当てられる。例えば、撮影モード時には、左ボタンにマクロ機能のオン/オフを切り替える機能が割り当てられ、右ボタンにはフラッシュモードを切り替える機能が割り当てられる。また、撮影モード時には、上ボタンにモニタ30の明るさを変える機能が割り当てられ、下ボタンにはセルフタイマのオン/オフを切り替える機能が割り当てられる。再生モード時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにはコマ戻しの機能が割り当てられる。また、再生モード時には、上ボタンにモニタ30の明るさを変える機能が割り当てられ、下ボタンには再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ30に表
示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。
ズームボタンは、撮像部10−1、10−2のズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。
MENU/OKボタンは、メニュー画面の呼び出し(MENU機能)に用いられるとともに、選択内容の確定、処理の実行指示等(OK機能)に用いられ、デジタル立体カメラ1の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、MENU/OKボタンは、例えば、露出値、色合い、撮影感度、記録画素数等の画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等、デジタル立体カメラ1が持つすべての調整項目の設定が行われる。デジタル立体カメラ1は、このメニュー画面で設定された条件に応じて動作する。
DISPボタンは、モニタ30の表示内容の切り替え指示等の入力に用いられ、BACKボタンは入力操作のキャンセル等の指示の入力に用いられる。
なお、操作部14は、これら以外にも動画再生や視差調整の指示等のカメラ制御に関するキー(ボタン)を有しているが、それについては後述する。
また、CPU12には、フラッシュ(フラッシュ発光部)36がフラッシュ制御部38を介して接続されている。フラッシュ36は、例えば、放電管(キセノン管)によって構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。フラッシュ制御部38は、フラッシュ36を発光させるための電流をフラッシュ36に供給するためのメインコンデンサを含んでおり、CPU12からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ36の放電(発光)のタイミング及び放電時間の制御等を行う。
次に、デジタル立体カメラ1の撮影機能について説明する。撮像部10は、左眼用撮像部10−1及び右眼用撮像部10−2から成り、それぞれ同じ構成を有しているため、以下一括した符号で説明するが、図1に示すように、左眼用撮像部10−1に属する構成要素には枝番−1、右眼用撮像部10−2に属する構成要素には枝番−2がそれぞれ付くものとする。例えば、撮像部10は、撮影レンズ40を備えているが、左眼用撮像部10−1は撮影レンズ40−1を備え、右眼用撮像部10−2は撮影レンズ40−2を備えている。撮像部10における説明においては以下このように解釈されるものとする。
撮像部10は、撮影レンズ40を備え、撮影レンズ40は、ズームレンズ42、フォーカスレンズ44、防振レンズ45及び絞り46を備えている。また撮像部10は、ズームレンズ制御部(Zレンズ制御部)42C、フォーカスレンズ制御部(Fレンズ制御部)44C、防振レンズ制御部(防振制御部)45C、絞り制御部46C、撮像素子48、タイミングジェネレータ(TG)50、アナログ信号処理部52、A/D変換器54、画像入力コントローラ56及びデジタル信号処理部58を備えている。
ズームレンズ42は、図示を省略したズームアクチュエータに駆動されて光軸に沿って前後に移動する。CPU12は、ズームレンズ制御部42Cを介してズームアクチュエータの駆動を制御することにより、ズームレンズ42の位置を制御してズーミングを行う。
フォーカスレンズ44は、図示を省略したフォーカスアクチュエータにより駆動されて光軸に沿って移動する。CPU12は、フォーカスレンズ制御部44Cを介して、フォーカスレンズ44の位置を制御してフォーカシングを行うとともに、撮影レンズ40−1と
撮影レンズ40−2との各光軸のなす角(輻輳角)を調整する。
絞り46は、例えば、アイリス絞りで構成されており、図示を省略した絞りアクチュエータに駆動されて動作する。CPU12は、絞り制御部46Cを介して絞りアクチュエータの駆動を制御することにより、絞り46の開口量(絞り値)を制御し、撮像素子48への入射光量を制御する。
CPU12は、各撮像部の撮影レンズ40−1、40−2を同期させて駆動する。すなわち、撮影レンズ40−1、40−2は、常に同じ焦点距離(ズーム倍率)に設定され、常に同じ被写体にピントが合うように焦点調節が行われる。また、常に同じ入射光量(絞り値)となるように絞りが調整される。
撮像素子48は、例えば、カラーCCD個体撮像素子により構成されている。撮像素子(CCD)48の受光面には、多数のフォトダイオードが2次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。撮影レンズ40によってCCDの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU12の指令に従ってTG50から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として撮像素子48から順次読み出される。撮像素子48は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間(シャッタ速度)が制御される。
なお、本実施形態では、撮像素子48としてCCDを用いているが、CMOSセンサ等の他の構成の撮像素子を用いることもできる。
アナログ信号処理部52は、撮像素子48から出力された画像信号に含まれるリセットノイズ(低周波)を除去するための相関二重サンプリング回路(CDS)、画像信号を増幅して一定レベルの大きさにコントロールするためのAGC回路を含み、撮像素子48から出力される画像信号を相関二重サンプリング処理するとともに増幅する。
A/D変換器54は、アナログ信号処理部52から出力されたアナログの画像信号をデジタルの画像信号に変換する。
画像入力コントローラ56は、A/D変換器54から出力された画像信号を取り込んで、SDRAM26に格納する。
デジタル信号処理部58は、同時化回路(単板CCDのカラーフィルタ配列に伴う各色信号の空間的なズレを補間して各色信号の位相を合わせる処理回路)、ホワイトバランス調整回路、階調変換処理回路(例えば、ガンマ補正回路)、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、SDRAM26に格納されたR、G、Bの画像信号に対して所定の信号処理を行う。すなわち、R、G、Bの画像信号は、デジタル信号処理部58において輝度信号(Y信号)及び色差信号(Cr、Cb信号)からなるYC信号に変換されるとともに、所定の信号処理が施される。デジタル信号処理部58により処理された画像データはVRAM28に格納される。
撮影画像をモニタ30に出力する場合、VRAM28から画像データが読み出され、バス20を介して表示制御部32に送られる。表示制御部32は、入力された画像データを表示用の所定方式のビデオ信号に変換してモニタ30に出力する。
また、CPU12には、これらの他に、バス20を介して、AF検出部60、AE/AWB検出部62、圧縮・伸張処理部64、3D画像生成部66、メディア制御部68、手ブレ補正制御部72が接続されている。なお、メディア制御部68にはメモリカード70が接続されている。さらに、CPU12には、視差調整部74、姿勢検出センサ76及び時計部78が接続されている。
AF検出部60は、画像入力コントローラ56−1、56−2のいずれか一つから取り込まれたR、G、Bの各色の画像信号を取り込み、AF制御に必要な焦点評価値を算出する。AF検出部60は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部及びフォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてCPU12に出力する。
CPU12は、AF制御時にはAF検出部60から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ44を移動させることにより、被写体(主要被写体)への焦点合わせを行う。すなわち、CPU12は、AF制御時には、まずフォーカスレンズ44を至近から無限遠まで移動させ、その移動過程でAF検出部60から焦点評価値を逐次取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ44を移動させる。これにより、フォーカスエリアに位置する被写体(主要被写体)にピントが合わせられる。
被写体の撮影において、撮影レンズ40−1、40−2におけるフォーカスレンズ44−1、44−2のフォーカス調整及び2つの撮影レンズ40−1、40−2における輻輳角の調整が行われる。このとき、遠くの物体を見る場合の輻輳角は小さく、近くの物体を見る場合の輻輳角は大きくなる。近距離の被写体を輻輳角が小さい状態で撮影を行うと、左右の画像内の被写体のずれが大きく、鮮明な立体視が困難になったり、あるいは見ている人の目が疲労する等の問題が発生する。
そこで、被写体距離に応じて輻輳角を調整し、近距離の被写体を撮影する場合には輻輳角を大きくし、遠距離の被写体を撮影する場合には輻輳角を小さくするように調整することが好ましい。この輻輳角の調整方法としては、撮影レンズ40−1、40−2の光軸が撮影距離上の被写体(主要被写体)で略交差するように調整する。
AE/AWB検出部62は、画像入力コントローラ56−1、56−2のいずれか一つから取り込まれたR、G、Bの各色の画像信号を取り込み、AE制御及びAWB制御に必要な積算値を算出する。すなわち、AE/AWB検出部62は、1画面を複数のエリア(例えば、8×8=64エリア)に分割し、分割されたエリアごとにR、G、B信号の積算値を算出する。
CPU12は、AE制御時にはAE/AWB検出部62において算出されたエリアごとのR、G、B信号の積算値を取得し、被写体の明るさ(測光値)を求めて、適正な露光量を得るための露出設定を行う。すなわち、撮影感度、絞り値、シャッタ速度、フラッシュ発光の要否を設定する。
また、CPU12は、AWB制御時にAE/AWB検出部62により算出されたエリアごとR、G、B信号の積算値をデジタル信号処理部58に入力する。デジタル信号処理部58は、AE/AWB検出部62により算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、デジタル信号処理部58は、AE/AWB検出部62により算出された積算値に基づいて光源種を検出する。
圧縮・伸張処理部64は、CPU12からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはJPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2やMPEG4、H.264規格に準拠した圧縮処理が施される。また、圧縮・伸張処理部64は、CPU12からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。
3D画像生成部66は、2つの撮影レンズ40−1、40−2によって撮影された左眼用画像及び右眼用画像から立体画像(3D画像)を生成するものである。
メディア制御部68は、CPU12からの指令に従い、メモリカード70に対するデータの読み/書きを制御する。
手ブレ補正制御部72は、姿勢検出センサ76が検出したカメラの位置から手振れを検出し、防振レンズ制御部45Cを制御して手振れの補正を行う。
また、視差調整部74は、画像撮影時あるいは画像再生時において、モニタ30に表示される立体画像が好適に立体視されるように左眼用画像及び右眼用画像の視差を調整するものである。具体的な視差制御については後述するが、視差調整は、左眼用画像及び右眼用画像の水平方向の相対位置を変更することによって行われる。
図2に、操作部14を拡大して、前述した各種ボタン(スイッチ)以外のキーを示す。
図2に示すように、操作部14には、前述したボタンの他に、再生キー80、立体表示キー82、一時停止キー84、早送りキー86、早戻しキー88、コマ送りキー90、コマ戻しキー92、視差調整キー94等の各種キーが設けられている。
再生キー80は2Dあるいは3D画像のモニタ30(表示手段)への再生を指示するものであり、立体表示キー82は、特に3D画像を立体視用の画像としてモニタ30に表示することを指示するものである。また、一時停止キー84は、動画の再生の一時停止を指示するものであり、早送りキー86、早戻しキー88、コマ送りキー90、コマ戻しキー92はそれぞれ早送り、早戻し、コマ送り、コマ戻しによる再生を指示するものである。また、視差調整キー94は、ユーザがモニタ30に再生中の画像を見ながら視差調整が必要な場合に視差調整を指示するものである。
以下、具体的な視差調整の制御について説明する。
まず、第1の例は、基本的な動画再生における視差調整の制御である。図3に、この基本となる動画再生時の視差調整の方法をフローチャートで示す。
図3のステップS10において、デジタル立体カメラ1のモニタ30が、3D動画再生待機画面である場合において、視差調整キー94の入力を受け付ける。すなわち、視差調整キー94が押下されたか否か判断する。
視差調整キー94が押下されていない場合には、ステップS20において、再生キー80が押下されたか否か判断する。そして、再生キー80が押下されていない場合には、ステップS10に戻る。
一方、ステップS10において、視差調整キー94が押下されたと判断した場合には、
ステップS30へ進み、画面表示を左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示に切り替える。すなわち、視差調整時においては、画面表示は左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示となる。
そして、ステップS40において、視差調整部74は視差を変更する。このとき視差調整部74はCPU12を介して、左眼用画像と右眼用画像の視差量が快適に立体視できるような視差量の範囲の値となるように、左眼用画像と右眼用画像の両方あるいはいずれか一方を水平方向に移動して視差を調整する。快適に立体視できる視差量の範囲は従来より研究されており、あまり視差量が小さくとも、逆にあまり視差量が大きくとも立体視ができない。
次に、ステップS50において、立体表示キー82が押下されたか否か判断する。ここで立体表示キー82が押下されている場合には、ステップS10に戻り、視差調整キー94が押下されたか否か判断する。一方、ステップS50において立体表示キー82が押下されていないとされた場合には、次のステップS60において、デジタル立体カメラ1の無操作状態が所定の時間(N秒)が経過したか否か判断する。そして、まだ無操作状態がN秒経過していない場合にはステップS30に戻り、無操作状態がN秒経過した場合にはステップS10に戻る。
このステップS30からステップS60までの図3中に破線で囲んだ部分の処理を本明細書においては「視差調整」と呼ぶこととする。従って、以下の視差調整制御の第2の例及び第3の例のフローチャートにおいて「視差調整」というブロックの処理はこの図3の破線で囲まれた部分の処理を指す。
そして、ステップS20において、再生キー80が押下されたと判断された場合には、ステップS70において、モニタ30に動画が再生される。このとき、ステップS10において視差調整キー94が押下されていた場合には、視差調整が行われており、その調整後の視差量で動画再生が行われる。すなわち、この動画再生は、視差調整された一つの一定の視差量で最初から最後まで再生が行われる。
最後に、ステップS80において動画終了と判定されると動画の再生が終了される。
この例によれば、動画ファイルに記録されている視差ではなく、動画の再生前(動画再生待機時)に視差調整キー94を押下することにより、何度でも視差調整が可能である。しかし、この例では、視差調整には動画の1コマ目しか利用できず、動画再生中や一時停止中において視差調整を行うことができない。以下、この点を改めて動画再生中においても視差調整を行うようにした例について説明する。
図4に、視差調整制御の第2の例のフローチャートを示す。
この例は、動画再生中においても、一時停止キーを押下することにより視差調整を行い変更された視差により動画再生を継続することができるようにしたものである。
図4の、ステップS100からステップS115までは、前述した図3のステップS10からステップS70までの処理と同じである。すなわち、図4のステップS100において、3D動画再生待機時に、視差調整キー94が押下されたか否か判断し、視差調整キー94が押下された場合には、ステップS105において視差調整を行う。前述したように、この視差調整制御は図3のステップS30〜ステップS60の処理と同様である。すなわち、画面表示を左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示に切り換えて、左眼用画像と右眼用画像の視差量が快適に立体視できるような視差量の範囲の値となるように視差を調整する。
また、図4のステップS100において、視差調整キー94が押下されていない場合には、ステップS110において、再生キー80が押下されたか否か判断する。
ステップS110において、再生キー80が押下されていない場合には、ステップS100に戻り、再生キー80が押下された場合には、ステップS115において動画の再生を実行する。このとき上で視差調整キー94が押下されていた場合には、視差調整により変更された視差量によって3D動画再生が行われる。
次に、ステップS120において、動画再生中に一時停止キー84が押下されたか否か判断する。
そして、一時停止キー84が押下された場合には、ステップS125において、動画再生を一時停止する。次に、ステップS130において、視差調整キー94が押下されたか否か判断する。ここで視差調整キー94が押下された場合には、ステップS135において視差調整を行う。この視差調整制御も、図3のステップS30〜ステップS60の処理と同様である。また、ステップS130において視差調整キー94が押下されていない場合には、ステップS140において再生キー80が押下されているか否か判断し、再生キー80が押下されている場合には、ステップS115に戻り動画再生を再開し、再生キー80が押下されていない場合には、ステップS125に戻り、動画一時停止状態を継続する。
次に、ステップS145において、動画終了か否か判断し、まだ終了でない場合には、ステップS115に戻り動画の再生を継続し、動画終了の場合には、動画の再生を終了する。
このように、この例においては、動画再生中においても視差調整が可能である。すなわち、動画再生中に一時停止キー84によって動画再生を一時停止し、ここで視差調整キー94を押下することによって視差調整を実行する。そして、視差調整終了後、再生キー80を押下することによって、一時停止され、左眼用画像と右眼用画像が多重表示された画面から再び、立体画像として動画の再生を開始する。
また、この例においては、動画再生中に被写体とカメラとの距離が変わることによって立体視し難くなった場合には、一時停止して、その時点のコマで視差調整を行うことができる。
図5に、視差調整制御の第3の例のフローチャートを示す。
この例は、上述した第2の例と略同様であるが、動画再生を一時停止して視差調整を行った後、再生キー押下により動画の1コマ目に切り替えるようにしたものである。
図5の、ステップS200において、3D動画再生待機時に、視差調整キー94が押下されたか否か判断し、視差調整キー94が押下された場合には、ステップS205において視差調整を行う。また、視差調整キー94が押下されていない場合には、ステップS210において、再生キー80が押下されたか否か判断する。
ステップS210において再生キー80が押下されていない場合には、ステップS200に戻り、再生キー80が押下された場合には、ステップS215において動画の再生を実行する。この動画の再生において、上で視差調整キー94が押下されていた場合には、上で視差調整により変更された視差量によって3D動画再生が行われる。
次に、ステップS220において、動画再生中に一時停止キー84が押下されたか否か判断する。
そして、一時停止キー84が押下された場合には、ステップS225において、動画再生を一時停止する。次に、ステップS230において、視差調整キー94が押下されたか否か判断する。ここで視差調整キー94が押下された場合には、ステップS235において視差調整を行う。ステップS230において視差調整キー94が押下されていない場合には、ステップS240において再生キー80が押下されているか否か判断し、再生キー80が押下されている場合には、ステップS245において、動画1コマ目に切り替えて、ステップS215に戻り動画再生を再開する。また、ステップS240において再生キー80が押下されていない場合には、ステップS225に戻り、動画一時停止状態を継続する。
次に、ステップS250において、動画終了か否か判断し、まだ終了でない場合には、ステップS215に戻り動画の再生を継続し、動画終了の場合には、動画の再生を終了する。
このように、この例においては、動画再生中に一時停止を行い、このとき視差調整が可能であり、視差を調整した後、動画の1コマ目、すなわち動画の最初に戻って再生を開始する。
本例においては、動画の再生中、被写体とカメラとの距離が変わることによって立体視がし難くなったとき、一時停止して、その時点のコマで視差調整を行うことができる。そして、視差調整した値を使って動画の最初から再生し、確認することができる。
図6に、視差調整制御の第4の例のフローチャートを示す。
この例は、今までの例と異なり、動画再生中に視差調整を行うときに一時停止キー84を押下することなく、視差調整キー94を押下することによって、自動的に動画再生を一時停止し、視差調整するようにしたものである。
図6のステップS300において、3D動画再生待機時に、視差調整キー94が押下されたか否か判断し、視差調整キー94が押下された場合には、ステップS305において視差調整を行う。この視差調整制御は、図3のステップS30〜ステップS60の処理と同様である。
また、視差調整キー94が押下されていない場合には、ステップS310において、再生キー80が押下されたか否か判断する。
ステップS310において再生キー80が押下されていない場合には、ステップS300に戻り、再生キー80が押下された場合には、ステップS315において動画の再生を実行する。この動画の再生において、上で視差調整キー94が押下されていた場合には、視差調整により変更された視差量によって3D動画再生が行われる。
次に、ステップS320において、動画再生中に視差調整キー94が押下されたか否か判断する。
そして、視差調整キー94が押下された場合には、ステップS325において、動画再生を一時停止する。そして、次のステップS330において視差調整を実行する。このように、本例においては、動画再生中に視差調整キー94が押下された場合には、一時停止キー84のキー操作なしに動画を一時停止して視差調整が行われる。
なお、ステップS330における視差調整制御は、一時停止された画面表示を左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示に切り換えて、左眼用画像と右眼用画像の視差量が快適に立体視できるような視差量の範囲の値となるように視差を調整する処理を行うものである。
次に、ステップS335において、立体表示キー82が押下されたか否か判断し、立体表示キー82が押下された場合には、ステップS315に戻り、多重表示を終了し、立体画像として動画再生を再開する。また、立体表示キー82が押下されていない場合には、次のステップS340において、再生キー80が押下されたか否か判断する。
ステップS340において、再生キー80が押下されたと判断した場合にはステップS315に戻り、多重表示を終了し、立体画像として動画再生を再開する。また、再生キー80が押下されていない場合には、次のステップS345において、デジタル立体カメラ1の無操作状態が所定のN秒経過したか否か判断する。
ここで、無操作状態がN秒継続した場合には、ステップS315に戻り、多重表示を終了し、立体画像として動画再生を再開する。また、無操作状態となってからまだN秒経過していない場合には、ステップS330に戻り視差調整を行う。
また、ステップS320において視差調整キー94が押下されていない場合には、次のステップS350において動画終了か否か判断し、まだ終了していない場合には、ステップS315に戻り動画再生を継続する。また、動画終了の場合には、動画の再生を終了する。
このように、本例においては、動画再生中に視差調整キー94を押下することによって、一時停止キー84のキー操作なしに動画再生を一時停止して視差調整が行われる。従って、上で説明した他の例と比べ、一時停止キー84を経由せずに、動画再生中にすぐに視差調整が可能となる。
図7に、視差調整制御の第5の例のフローチャートを示す。
この例は、上の第4の例のように、動画再生中に視差調整を行うときに一時停止キー84を押下することなく、視差調整キー94を押下することによって、自動的に動画再生を一時停止し、視差調整するようにしたものであるが、視差調整した後、動画の最初(1コマ目)に戻って画像再生を再開するものである。
図7のステップS400において、3D動画再生待機時に、視差調整キー94が押下されたか否か判断し、視差調整キー94が押下された場合には、ステップS405において視差調整を行う。この視差調整制御は、図3のステップS30〜ステップS60の処理と同様である。また、視差調整キー94が押下されていない場合には、ステップS410において、再生キー80が押下されたか否か判断する。
ステップS410において再生キー80が押下されていない場合には、ステップS400に戻り、再生キー80が押下された場合には、ステップS415において動画の再生を実行する。この動画の再生において、上で視差調整キー94が押下されていた場合には、視差調整により変更された視差量によって3D動画再生が行われる。
次に、ステップS420において、動画再生中に視差調整キー94が押下されたか否か判断する。
そして、視差調整キー94が押下された場合には、ステップS425において、動画再生を一時停止する。そして、次のステップS430において視差調整を実行する。このように、本例においては、前述した第4の例と同様に、動画再生中に視差調整キー94が押下された場合には、一時停止キー84のキー操作なしに動画を一時停止して視差調整が行われる。このステップS430における視差調整制御は、一時停止された画面表示を左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示に切り換えて、左眼用画像と右眼用画像の視差量が快適に立体視できるような視差量の範囲の値となるように視差を調整する処理を行うものである。
次に、ステップS435において、立体表示キー82が押下されたか否か判断し、立体表示キー82が押下された場合には、ステップS450において、動画1コマ目に切り替えてから、ステップS415に戻り、動画の最初から再び再生を行う。
ステップS435において立体表示キー82が押下されていない場合には、次のステップS440において再生キー80が押下されたか否か判断し、再生キー80が押下された場合には、ステップS450において、動画1コマ目に切り替えてから、ステップS415に戻り、動画の最初から再び再生を行う。
また、ステップS440において再生キー80が押下されていない場合には、次のステップS445において、デジタル立体カメラ1の無操作状態が所定のN秒経過したか否か判断する。
ここで、無操作状態がN秒継続した場合には、ステップS415に戻り動画再生を再開する。また、無操作状態となってからまだN秒経過していない場合には、ステップS430に戻り視差調整を行う。
また、ステップS420において視差調整キー94が押下されていない場合には、次のステップS455において動画終了か否か判断し、まだ終了していない場合には、ステップS415に戻り動画再生を継続する。また、動画終了の場合には、動画の再生を終了する。
このように、本例においては、動画再生中に視差調整キー94を押下することによって、一時停止キー84の操作なしに動画を一時停止し、視差調整をすることができ、さらにその後、動画1コマ目に切り替えるようにしたため、視差調整した値を使って動画の最初から確認することができる。
図8に、視差調整制御の第6の例のフローチャートを示す。
この例は、上記各例とは異なり、動画再生中に視差調整を行う場合に一時停止せずに動画再生を行いながら視差調整を実行するものである。
図8のステップ500において、3D動画再生待機時に、視差調整キー94が押下されたか否か判断し、視差調整キー94が押下された場合には、ステップS505において視差調整を行う。この視差調整制御は、図3のステップS30〜ステップS60の処理と同様である。また、視差調整キー94が押下されていない場合には、ステップS510において、再生キー80が押下されたか否か判断する。
ステップS510において再生キー80が押下されていない場合には、ステップS500に戻り、再生キー80が押下された場合には、ステップS515において動画の再生を実行する。この動画の再生において、上で視差調整キー94が押下されていた場合には、視差調整により変更された視差量によって3D動画再生が行われる。
次に、ステップS520において、動画再生中に視差調整キー94が押下されたか否か判断する。
そして、ステップS520において視差調整キー94が押下された場合には、ステップS525において視差調整を実行する。ステップS525の視差調整は、動画再生をしながら行われる。これは一時停止して静止画に対して行っていた調整のプロセスを動画再生の間に押し込んだ形で行われる。
立体画像として動画再生されている画面表示を、左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示に切り換えて、左眼用画像と右眼用画像の視差量が快適に立体視できるような視差量の範囲の値となるように視差を調整する処理を行う。
次にステップS530において、立体表示キー82が押下されたか否か判断し、立体表示キー82が押下された場合には、ステップS515に戻り多重表示から立体画像表示に切り換えて動画再生を再開する。また立体表示キー82が押下されていない場合には、次のステップS535において、再生キー80が押下されたか否か判断する。
そして再生キー80が押下された場合には、ステップS515に戻り多重表示から立体画像表示に切り換えて動画再生を再開する。また再生キー80が押下されていない場合には、次のステップS540において、デジタル立体カメラ1の無操作状態が所定のN秒経過したか否か判断する。
ここで、無操作状態がN秒継続した場合には、ステップS415に戻り動画再生を継続する。また、無操作状態となってからまだN秒経過していない場合には、ステップS525に戻り視差調整を行う。
また、ステップS520において視差調整キー94が押下されていない場合には、次のステップS545において動画終了か否か判断し、まだ終了していない場合には、ステップS515に戻り多重表示から立体画像表示に切り換えて動画再生を再開する。また、動画終了の場合には、動画の再生を終了する。
このように、本例においては、動画再生を行いながら視差調整を行うことが可能であり、動画を再生したまま、その動きを見ながら視差を調整することができる。
図9に、視差調整制御の第7の例のフローチャートを示す。
この例は、動画早送り再生中に視差調整を可能としたものである。
図9のステップS600において、3D動画再生待機時に、視差調整キー94が押下されたか否か判断し、視差調整キー94が押下された場合には、ステップS605において視差調整を行う。この視差調整制御は、図3のステップS30〜ステップS60の処理と同様である。また、視差調整キー94が押下されていない場合には、ステップS610において、再生キー80が押下されたか否か判断する。
ステップS610において再生キー80が押下されていない場合には、ステップS600に戻り、再生キー80が押下された場合には、ステップS615において動画の再生を実行する。この動画の再生において、上で視差調整キー94が押下されていた場合には、視差調整により変更された視差量によって3D動画再生が行われる。
次に、ステップS620において、早送りキー86が押下されたか否か判断する。ここで早送りキー86が押下されていた場合には、ステップS625において、現在再生されている動画の早送り再生を行う。また早送りキー86が押下されていない場合にはステップS660に進み、動画終了か否か判断する。
またステップS625で早送り再生中に、ステップS630において視差調整キー94が押下されたか否か判断し、ステップS635において視差調整を行う。このステップS635における視差調整制御は、早送り再生されている画面表示を左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示に切り換えて、左眼用画像と右眼用画像の視差量が快適に立体視できるような視差量の範囲の値となるように視差を調整する処理を行うものである。
そしてステップS640において立体表示キー82が押下されたか否か判断し、立体表示キー82が押下された場合にはステップS625に戻り早送り再生を行う。また、立体表示キー82が押下されていない場合には、次のステップS645においてデジタル立体カメラ1の無操作状態が所定のN秒経過したか否か判断する。そして、無操作がN秒経過している場合にはステップS625に戻り早送り再生を行う。
また、無操作状態がN秒経過していない場合には、次のステップS650において再生キー80が押下されたか否か判断し、再生キー80が押下されている場合にはステップS615に戻り多重表示から立体画像表示に切り換えて立体画像としての動画再生を再開する。また再生キー80が押下されていない場合には、ステップS635に戻り視差調整を行う。
また、ステップS630において視差調整キー94が押下されていない場合には、ステップS655において再生キー80が押下されたか否か判断する。ここで再生キー80が押下された場合には、ステップS615に戻り早送り再生を終了して動画再生を再開する。また、再生キー80が押下されていない場合には、ステップS625に戻り早送り再生を継続する。
また、ステップS620において、早送りキー86が押下されていない場合には、ステップS660において、動画終了か否か判断する。動画終了でなければステップS615に戻り動画再生を継続し、動画終了の場合には、動画の再生を終了する。
このように、本例においては、動画早送り再生を行いながら視差調整を行うことが可能である。なお、上では早送りについて説明したが、当然早戻しについてもこれと同様のフローチャートによって早戻り再生中における視差調整が可能である。
図10に、視差調整制御の第8の例のフローチャートを示す。
この例は、動画コマ送り再生中に視差調整を可能としたものである。
図10のステップ700において、3D動画再生待機時に、視差調整キー94が押下されたか否か判断し、視差調整キー94が押下された場合には、ステップS705において視差調整を行う。この視差調整制御は、図3のステップS30〜ステップS60の処理と
同様である。また、視差調整キー94が押下されていない場合には、ステップS710において、再生キー80が押下されたか否か判断する。
ステップS710において再生キー80が押下されていない場合には、ステップS700に戻り、再生キー80が押下された場合には、ステップS715において動画の再生を実行する。この動画の再生において、上で視差調整キー94が押下されていた場合には、視差調整により変更された視差量によって3D動画再生が行われる。
次に、ステップS720において、コマ送りキー90が押下されたか否か判断する。ここでコマ送りキー90が押下されていた場合には、ステップS725において、現在再生されている動画のコマ送り再生を行う。またコマ送りキー90が押下されていない場合にはステップS760に進み、動画終了か否か判断する。
またステップS725でコマ送り再生中に、ステップS730において視差調整キー94が押下されたか否か判断し、視差調整キー94が押下されている場合には、ステップS735において視差調整を行う。この視差調整制御は、コマ送り再生されている画面表示を左眼用画像と右眼用画像の2つの画像を同時に表示する多重表示に切り換えて、左眼用画像と右眼用画像の視差量が快適に立体視できるような視差量の範囲の値となるように視差を調整する処理を行うものである。
そしてステップS740において立体表示キー82が押下されたか否か判断し、立体表示キー82が押下された場合にはステップS725に戻りコマ送り再生を行う。また、立体表示キー82が押下されていない場合には、次のステップS745においてデジタル立体カメラ1の無操作状態が所定のN秒経過したか否か判断する。そして、無操作がN秒経過している場合にはステップS725に戻りコマ送り再生を行う。
また、無操作状態がN秒経過していない場合には、次のステップS750において再生キー80が押下されたか否か判断し、再生キー80が押下されている場合にはステップS715に戻り多重表示から立体画像表示に切り換えて立体画像としての動画再生を再開し、また再生キー80が押下されていない場合には、ステップS735に戻り視差調整を行う。
また、ステップS730において視差調整キー94が押下されていない場合には、ステップS755において再生キー80が押下されたか否か判断する。ここで再生キー80が押下された場合には、ステップS715に戻りコマ送り再生を終了して動画再生を再開する。また、再生キー80が押下されていない場合には、ステップS725に戻りコマ送り再生を継続する。
また、ステップS720において、コマ送りキー90が押下されていない場合には、ステップS760において、動画終了か否か判断する。動画終了でなければステップS715に戻り動画再生を継続し、動画終了の場合には、動画の再生を終了する。
このように、本例においては、動画コマ送り再生を行いながら視差調整を行うことが可能である。なお、上ではコマ送りについて説明したが、当然コマ戻しについてもこれと同様のフローチャートによってコマ戻り再生中における視差調整が可能である。
以上説明した各例の中で、第3の例及び第5の例においては、動画再生を一時停止して視差調整を行った後、動画の1コマ目に切り替えて、動画を最初から再生するようにしており、この2つ以外の例においては視差調整後、どの時点から動画を再生するのか特に限定はされていない。従って、これらの各例において、視差調整後、動画再生を再開する際、動画を一時停止した時点から動画再生を再開してもよいし、一時停止した時点よりも所定時間前の時点から動画再生するようにしてもよい。あるいはさらに、動画の最初から再生するようにしてもよい。また、視差調整した値は動画再生後に記録しなくても良いし、当該の動画ファイルにそのまま記録しておくようにしてもよい。あるいは別のファイルに保存するようにしてもよい。
以上説明したように、本実施形態においては、基本的に動画再生中に視差調整キーを押下するのみで、その他の操作を必要とせずに、動画再生を一時停止して視差調整を行った後、再度動画再生を行ったり、動画再生しながら視差調整を行うようにしており、動画再生中に何らかの原因で立体視がし難くなった場合に簡単に視差調整を行うことが可能となった。
以上、立体画像として動画を再生中に視差調整を行う例をいろいろ説明したが、動画再生の終了後に、その視差調整値を保存する場合、視差調整値を動画再生終了後自動的に保存する場合と、ユーザに確認してユーザの指示によって保存する場合が考えられるが、視差調整値を保存する方法として以下のものがある。
まず、第1に、別名ファイルを作成して、視差調整のタグ情報を書き換える方法。
3D動画データを格納する画像ファイルは、左眼用画像データを圧縮して格納するデータ領域と右眼用画像データを圧縮して格納するデータ領域の他に、これらの画像データの圧縮に関するヘッダー・データを格納するヘッダー領域を有して構成されており、このヘッダー領域にタグ情報として視差調整の情報が記録されている。
そこで、この画像ファイルと同一の画像ファイルを別名で作成し、そのヘッダー領域にタグ情報として記録されている視差調整の情報を書き換えるようにするものである。これによれば、オリジナルの視差調整の情報も同時に保存しておくことができる。
また、第2に、上記3D画像データを格納する画像ファイルのヘッダー領域に格納されている視差調整のタグ情報を上書きして更新する方法。
これによれば、新たな画像ファイルを別名で作成する必要がなく、別名ファイルを記録する領域を節約することができる。
このように、いずれの方法にせよ、動画再生中に視差調整した情報を再生終了後保存することにより、動画を見ながら合わせた視差調整の値を保存でき、次回以降に動画を再生する場合に、視差調整を省略することができる。
また、上述した実施形態においては、3次元画像表示装置としてのデジタル立体カメラ1は、動画を表示する表示装置としてのモニタ30と、画像を保存するメモリ(SDRAM26、VRAM28)や視差調整制御を行う視差調整部74等のコントロール装置が一体化されて構成されている。
しかし、必ずしもこれらを一体化して構成する必要はなく、3D動画を表示する表示装置と、動画を保存するメモリ(保存装置)や視差調整等の制御を行うコントロール装置(制御装置)を別体として構成するようにしてもよい。
例えば、TV等のディスプレイと、動画を保存している機器の間で通信を行い、ディスプレイで動画を表示するとともに、動画を保存している機器の方で視差調整等の制御を操作するようにしてもよい。
このように、表示装置とメモリ及びコントロール装置を分けることにより、視差調整機能を搭載していない3D表示装置に対しても本発明を適用することができる。
以上、本発明の3次元画像表示装置及び3次元画像表示方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。