JP5550791B2 - 画像処理装置、撮像装置及び視差量調整方法 - Google Patents

Description

本発明は、立体画像の視差量を定量的に把握しながら調整できるようにした画像処理装置、撮像装置及び立体画像の視差量調整方法に関するものである。

２つの撮像光学系を用いて同一の被写体を異なる方向から撮像し、こうして得られた２つの視点画像を利用して被写体を立体視することができる。裸眼による簡便な立体視の方法としては、横並びに配置された２枚の視点画像を左右の視線を平行にして観察する平行法、左右の視線を交差させて観察する交差法が知られている。また、赤と青に着色した２枚の視点画像を、左右色違いにした赤青メガネを通して観察するアナグリフ方式、偏光方向が異なる２つの視点画像を左右で偏光方向が異なる偏光メガネを通して観察する偏光メガネ方式なども立体視の手法として広く知られている。

さらに、パララックスバリア方式やレンチキュラー方式のように、２つの視点画像を垂直方向に細長い短冊状に切り離して交互に横方向に配列し、縦長のスリット状の開口を一定ピッチで並べた視差バリアを通して観察し、あるいはレンチキュラーレンズシートを通して観察することによって立体視することも可能である。また、２つの視点画像を交互にモニタ表示し、その切り替え周期で開閉するシャッタを左右に組み込んだメガネを通して観察する方式や、偏光による変調処理がなされた２つの視点画像を交互にモニタ表示し、偏光軸が互いに異なるフィルタを左右に組み込んだメガネを通して観察する方式なども実用化されている。

このように立体視を行う場合、ユーザに応じて好ましい立体感が異なる。立体感は、複数の視点画像間のずれ量（視差量）で変わるため、複数の視点画像から立体視画像を生成させる際に、ユーザが指定した視差量に応じて画像データを処理する手法が提案されている（特許文献１参照）。また、複数の視点画像による立体視用画像を観察しながら立体感が調整できるようにした手法も提案されている（特許文献２参照）。

特開２００４−１２９１８６号公報 特開平１０−９０８１４号公報

特許文献１，２に記載された方法は、立体画像を観察しながら視差量の調整を行うことが可能であるが、表示されている画像自体の立体感を感覚的に調整する方式であるため、視差量がどの程度変更されているのかを定量的に把握しにくい欠点がある。

本発明の目的は、立体視用画像の立体感を変更する際に、任意の被写体に対する視差量を定量的に確認しながら調整することが可能な画像処理装置、撮像装置及び視差量調整方法を提供することにある。

本発明の画像処理装置は、立体画像再生用の視差画像を取得する視差画像取得部と、視差画像中の被写体の視差量を取得する視差情報取得部と、再生された立体画像を表示する立体画像表示部と、被写体選択部、視差量調整部、視差関連情報取得部、視差量グラフ表示部を備えている。被写体選択部は、立体画像表示部に表示された被写体の中から選択操作に応じて特定の被写体を選択し、そして特定の被写体の表示位置に選択マークを表示させる。視差量調整部は、選択された特定の被写体の視差量を調整操作に応じて調整する。視差量グラフ表示部は、立体画像表示部の表示画面とは別のアシスト画面上に視差量軸と距離情報軸で表された二次元グラフ上で、視差量調整部での調整操作に応じ、選択された被写体に割り当てられた識別マークを視差量軸に沿って移動表示し、距離情報軸に関しては特定の被写体及び他の被写体を各々の視差量に対応して算出される奥行き方向の相対距離に応じて離間して表示する。

視差量グラフ表示部には、二次元グラフ上に視差量の適正範囲を併せて表示し、さらには被写体の調整後の視差量が適正範囲外であるときに、二次元グラフ上に視差量を小さくする調整方向を示す誘導表示を行う機能をもたせておくことが望ましい。また、被写体選択部には、選択操作が行われるまでの間は、視差情報取得部で取得された視差量が最も小さい被写体を自動選択する機能をもたせ、さらに視差量調整部には、被写体選択部で被写体が選択されてから視差量の調整操作が行われるまでの間は、選択された被写体の視差量を予め決められた所定量に自動調整する機能をもたせておくのがよい。

被写体選択部で新たな被写体がさらに選択されたときには、最新の被写体を特定の被写体として同様に処理する。新たに特定された被写体には選択マークが付与され、またアシスト画面上でも最新の被写体に対応づけられた識別マークの座標位置により、視差量と各被写体の奥行き方向における距離情報とが二次元グラフで表示される。被写体の選択が更新された時点で、二次元グラフ上では、新たに選択された被写体の識別マークを顕在化させるような表示を行うのが望ましい。

立体画像表示部の表示画面の一部を利用してアシスト画面の表示を行うことも可能である。なお、視差画像が左視点画像と右視点画像からなる場合、左視点画像と右視点画像との合成時における左右方向での相対位置を調整することによって、左右の視点画像相互間の視差量を調整することができる。

本発明の撮像装置は、上述した画像処理装置がもつ主要な構成を全て備える。特に、その中の視差画像取得部が、左視点画像と右視点画像とを撮像して視差画像として取得する撮像部を含む点で特徴的である。また、本発明の視差量調整方法は、視差画像取得ステップ、視差情報取得ステップ、立体画像表示ステップ、選択被写体表示ステップ、アシスト表示ステップ、表示更新ステップにて構成される。視差画像取得ステップでは立体画像再生用の視差画像が取得される。立体画像表示ステップでは、取得された視差画像に基づく立体画像の表示が行われる。選択被写体表示ステップでは、立体表示ステップで表示された被写体の中から、選択操作に応じて特定の被写体が選択されたとき、この特定の被写体には選択マークが付与される。アシスト表示ステップでは、取得された各被写体の視差量に基づき、選択された特定の被写体と他の被写体との奥行き方向における相対的な距離が算出され、各被写体の相互間隔がわかるように被写体ごとに対応させた識別マークが二次元グラフ上に表示される。表示更新ステップでは、前記特定の被写体の視差量を調整操作に応じて調整したときに、前記立体画像表示ステップにおける被写体の表示態様と、前記アシスト表示ステップにおける二次元グラフの表示態様とが視差量の調整に応じて更新される。

本発明によれば、立体画像表示部に表示された被写体の中から任意に特定の被写体を選択し、その被写体の視差量を調整することができる。視差量の調整操作が行われると、アシスト画面内の二次元グラフ上で特定の被写体を表す識別マークが調整量に応じて移動表示される。アシスト画面には、画面内の被写体各々の視差量に基づいて算出された奥行き方向における被写体相互間の距離情報も二次元表示され、被写体相互の距離感を認識しながら選択した被写体の視差量が定量的に変えられるので調整操作しやすい。

本発明による３Ｄカメラの外観を示す斜視図である。 ３Ｄカメラを裏面側から見た外観を示す斜視図である。 ３Ｄカメラの電気的構成を示すブロック図である。 視差画像の撮像例を示す説明図である。 左視点画像の例を示す説明図である。 右視点画像の例を示す説明図である。 ３Ｄ表示装置の表示画面の例を示す説明図である。 アシストウィンドウでの表示例を示す説明図である。 視差量の調整処理を示すフローチャートである。 視差量の調整中におけるアシストウィンドウの説明図である。 視差量の調整完了時のアシストウィンドウの説明図である。

図１に示すように、本発明による撮像装置（以下、３Ｄカメラと言う）１０は、略直方体形状のカメラ本体１１を有する。カメラ本体１１の前面に、左視点画像撮像用のレンズ１２と右視画像撮像用のレンズ１３、ストロボ発光部１４が設けられる。カメラ本体１１の上面には、シャッタボタン１５、電源ボタン１６が設けられている。カメラ本体１１の右手グリップ側の側面には、画像データが記憶されるメモリカード１７を着脱自在に装填するスロット（図示せず）が設けられ、撮像して得られた画像データはメモリカード１７に記録して保存される。

図２に示すように、カメラ本体１１の背面には、被写体画像を立体的に観察することができる３Ｄ表示装置１８が設けられている。この３Ｄ表示装置１８は、ライブビュー画像（スルー画像ともいう）やメモリカード１７から読み出した再生画像などを立体表示する立体画像表示部となる。立体画像の表示には、レンチキュラー方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式など様々な方式を用いることができるが、本実施形態では、レンチキュラー方式の３Ｄ表示装置１８が用いられている。

レンチキュラー方式では、例えばこの３Ｄカメラ１０で撮像した左右一対の視点画像データに基づいてデータ処理が行われる。このデータ処理により、左右一対の視点画像データから、さらに左右方向に少しずつ視点を異ならせた複数の仮想視点画像データが作成される。こうして得られた複数の視点画像データごとに縦長短冊状の視点画像が生成され、これらの視点画像は一定ピッチで３Ｄ表示装置１８の液晶パネルに表示される。これらの視点画像は、液晶パネルの前面に一体化されたレンチキュラーレンズシートを通して観察すると、立体画像として観察される。

カメラ本体１１の背面側には、さらに撮像モードと再生モードの選択を行う撮像再生モード選択ボタン２９、被写体選択部として機能する十字キー２０、視差量の自動調整・手動調整・オフを選択する視差調整モード設定ボタン２１、手動調整時に視差量を増減する「＋」ボタン２２、「−」ボタン２３が設けられている。

十字キー２０は、３Ｄ表示装置１８の表示画面１９にメニー表示が行われている際に適宜の項目選択を行うときに操作され、また表示画面１９に表示されている複数の被写体の中から視差量の調整対象となる被写体を選択する際に、被写体選択回路６７に入力操作を行う被写体選択部としても用いられる。また、「＋」ボタン２２、「−」ボタン２３のそれぞれも、様々な撮像条件や初期設定を行うときの増減ボタンとして用いられるほか、選択した被写体の視差量を増減するときの視差量調整部の入力部としても用いられる。

３Ｄカメラ１０の電気的構成を示す図３において、左視点画像の撮像用にレンズ１２とシャッタ４１とイメージセンサ４３とを備えた左視点カメラ３６と、右視点画像の撮像用にレンズ１３とシャッタ４２とイメージセンサ４４とを備えた右視点カメラ３７とが設けられている。イメージセンサ４３，４４にはＣＣＤ型イメージセンサ（以下、ＣＣＤ）が用いられているが、ＭＯＳ型センサなど他の固体撮像素子を用いてもよい。

ＣＣＤ４３，４４からの撮像信号は、ＣＤＳ回路４５，４６、アンプ４７，４８、ＡＤ変換器４９，５０を通してデータバス５１に入力される。なお、視差画像を新たに撮像する場合には、左・右視点カメラ３６，３７が視差画像取得部となるが、メモリカード１７に記録された視差画像データを読み込んでから立体画像の再生を行う際には、メディアコントローラ６０が視差画像取得部となる。

データバス５１には、メディアコントローラ６０、ＣＰＵ６１及び画像処理装置６２を構成する複数の回路等が接続される。また、画像信号処理回路５２、圧縮伸長処理回路５３、ＡＥ／ＡＦ処理回路５４、ＲＯＭ５５、ＲＡＭ５６、ＳＤＲＡＭ５７、３Ｄ画像生成回路５８、視差量調整回路４０、被写体選択回路６７、視差情報取得回路６８、アシストウィンドウ表示回路６９、３Ｄ表示装置１８の液晶パネルを制御するＬＣＤドライバ５９がデータバス５１に接続され、ＣＰＵ６１とともに画像処理装置６２を構成する。ＣＰＵ６１は、ＲＯＭ５５に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ５６に読み出して実行する。

左視点カメラ３６と右視点カメラ３７で視差画像を撮像する際の様子を示す図４Ａにおいて、各カメラの光軸３６ａ，３７ａは輻輳角θでカメラ本体１１から例えば５ｍの位置で交差している。このため、各々の光軸の交差位置付近の被写体は互いにほとんど視差がない状態で撮像される。なお、光軸３６ａ，３７ａは必ずしも一定距離で交差させる必要はなく、視差量の算出におけるデータ処理で対応すれば光軸３６ａ，３７ａは平行であっても構わない。

図示のような被写体配置で樹木被写体２７と人物被写体２８を左視点カメラ３６と右視点カメラ３７で撮像すると、図４Ｂに示す左視点画像３６Ｌと図４Ｃに示す右視点画像３７Ｒが得られる。符号Ｐはそれぞれの画面中心を示し、符号２５はＡＦ（オートフォーカス）エリアを示す。こうして撮像された左視点画像３６Ｌと右視点画像３７Ｒはそれぞれ画像データに変換され、画像信号処理回路５２によって階調変換、γ補正処理などの各種画像処理が施され、それぞれＳＤＲＡＭ５７に記録される。

これらの画像データをＳＤＲＡＭ５７から読み出し、視差情報取得回路６８でデータ処理することにより、各被写体２７，２８の視差量を算出することができる。左視点画像３６Ｌでは、樹木被写体２７と人物被写体２８とは画面中心Ｐに対してＬ１，Ｌ２の視差がある。また、右視点画像３７Ｒでは樹木被写体２７と人物被写体２８とは画面中心Ｐに対してＲ１，Ｒ２の視差がある。左視点画像３６Ｌでは、画面中心Ｐから左方に向かう視差の方向がマイナス視差、画面中心Ｐから右方に向かう視差がプラス視差である。右視点画像３７Ｒでは、画面中心Ｐから右方に向かう視差がマイナス視差、画面中心Ｐから左方に向かう視差がプラス視差である。左視点画像３６Ｌと右視点画像３７Ｒの視差画像に関してそれぞれの被写体２７，２８の視差量を比較すると、樹木被写体２７の視差量は「−Ｌ１＋Ｒ１」、人物被写体２８の視差量は「−Ｌ２＋Ｒ２」となり、樹木被写体２７は略「０」てあり、人物被写体２８はプラスの視差量をもつ。

また、３Ｄ画像生成回路５８は、ＳＤＲＡＭ５７に記録された左視点画像データと右視点画像データに基づいてさらに左右方向に細分された仮想の多視点画像データを生成する。多視点画像データは、観察時に視点位置をずらしたときに補間的に観察される視点画像となり、立体画像を滑らかに表示することができるようになる。このようなデータ処理に際しては、視差情報取得部となる視差情報取得回路６８が論理演算処理を実行し、左右の視点画像データに基づいて被写体ごとに左右の視差量が求められ、また被写体相互間の視差量の差分データなどの情報が求められる。

こうして作成された多視点画像データのそれぞれからは縦長の短冊状の視差画像が再生され、ＬＣＤドライバ５９からアナログ変換された表示信号として３Ｄ表示装置１８の液晶パネルに入力される。これにより、液晶パネルには縦長の短冊状をした多数の視差画像が一定ピッチで配列して表示される。これらの多視点画像を、極細の縦長シリンドリカルレンズを水平方向に一定ピッチで配列したレンチキュラーレンズシートを通して観察することによって、３Ｄ表示装置１８の表示画面１９に立体画像を見ることができる。

左視点カメラ３６及び右視点カメラ３７からは一定のフレームレートで順次に撮像信号が出力され、その都度、ＳＤＲＡＭ５７には上述した左視点画像データと右視点画像データとの書き換えが行われる。そして、左視点画像データと右視点画像データとが書き換えられるごとに、視差情報取得回路６８による各被写体の視差情報の取得、３Ｄ画像生成回路５８により多視点画像データの生成処理、そして多視点画像データによる新たな視差画像の表示が行われるから、３Ｄ表示装置１８にはライブビュー画像の立体表示が行われるようになる。

圧縮伸長処理回路５３は、３Ｄカメラ１０で撮像した視差画像の画像データを保存するときに作動する。シャッタボタン１５を押圧して視差画像の記録操作を行うと、圧縮伸長処理回路５３は、記録操作直後に左視点カメラ３６及び右視点カメラ３７から出力された撮像信号から得られる左視点画像データと右視点画像データに対し、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。こうしてデータ圧縮された左視点画像データ及び右視点画像データは、メディアコントローラ６０を経由して相互の関連情報とともにメモリカード１７に記録され保存される。

ＡＥ／ＡＦ処理回路５４は、左視点カメラ３６及び右視点カメラ３７のそれぞれから得られる画像データに基づいて露光量の調節とピント合わせを自動的に行う。ピント合わせは画面の中央部に設けられたＡＦエリア２５内の被写体を対象にしてピント合わせを行う。ピントが合っているか否かはＡＥ／ＡＦ処理回路５４によって行われ、ピントが合っていなければＣＰＵ６１からドライバ６３にピント合わせコマンドが送られ、レンズ１２，１３のピント合わせが行われる。

ＣＰＵ６１にはドライバ６３，６４が接続され、レンズ１２，１３のピント合わせやズーミング、そしてシャッタ４１，４２の開閉に用いられるステッピングモータ（図示省略）をＣＰＵ６１からのコマンドによって制御することができる。ＣＰＵ６１には、さらにストロボ回路６６が接続されストロホ発光部１４の発光制御を行うことができる。シャッタボタン１５、電源ボタン１６、十字キー２０及び視差量の調整を可能にする視差量調整モード設定ボタン２１、「＋」ボタン２２、「−」ボタン２３からの操作信号はそれぞれＣＰＵ６１に入力され、ＣＰＵ６１は各々の操作信号の入力に応答して対応する各部を作動させる。

撮影再生モード選択ボタン２９は、３Ｄカメラ１０を撮像装置として用いるか再生装置として用いるかを選択するためのものである。撮像装置が選択されたときには、上述のように左視点カメラ３６と右視点カメラ３７で撮像される左視点画像と右視点画像の画像データを記録することができる。記録はシャッタボタン１５を操作したときに行われ、シャッタボタン１５が操作されるまでは３Ｄ表示装置１８により３Ｄ表示のライブビュー画像を観察することができる。再生モード下では、３Ｄカメラ１０の内部メモリあるいはメモリカード１７から読み出した視差画像データに基づく立体画像の観察が可能である。

視差量調整モード選択ボタン２１は、３Ｄ表示装置１８の表示画内１９に表示されている被写体の中で、視差量の調整対象となる被写体が選択されたときに視差量も自動的に調整される自動調整モードと、視差量の調整対象となる被写体が選択された後に視差量を任意に調整できる手動調整モードとのいずれかを選択するときに操作される。なお、無操作時には視差量の調整オフ状態で、ピント合わせの対象となっているオートフォーカスエリア内の被写体を視差量ゼロの被写体として処理する。この視差量調整モード選択ボタン２１は、一回の押圧操作ごとに「自動調整・手動調整・オフ」の順に循環してモード設定される。

以下、上記構成による作用について説明する。通常のライブビュー画像が表示されているときには、図５に示す３Ｄ表示装置１８の表示画面１９上にアシスト画面２４は表示されておらず、例えば表示画面１９の全体が立体画像の表示に用いられている。図示のように、画面中心Ｐを含む画面中央部にはＡＦエリア２５が設定されているから、ピント合わせは樹木被写体２７に対して行われている。また、視差量の調整対象となる被写体を選択するときの選択マークとなるフレームマーク２６の初期位置がＡＦエリア２５と重なっていることから、図示の状態では樹木被写体２７が視差量「０」で撮像される。

このライブビュー画像では、人物被写体２８の立体画像は樹木被写体２７の手前側に位置しているように立体表示されている。このため、観察時の視点位置が左右にわずかに移動したとき、視差量ゼロの樹木被写体２７は奥行き方向に関して表示画面１９上であるのでほとんど移動しない。これに対し、人物被写体２８はその画像再生位置が表示画面１９の手前側に浮いて表示されているため視点が移動すると左右に大きく動きやすく、人物被写体２８が主要被写体である場合には非常に観察しにくい状態になっている。

そこで、人物被写体２８の視差量を小さくして観察しやすくするには、図７のフローチャートに示すように、視差量調整モード選択ボタン２１を操作して視差量調整モードに移行する。この移行操作と同時に、アシストウィンドウ表示回路６９が作動して表示画面１９の右下エリアには視差量グラフ表示部となるアシストウィンドウ２４が現れる。アシストウィンドウ２４の表示エリアに関しては、ライブビュー画像の立体画像表示用の視差画像ではなく、二次元グラフ表示用の単視点画像が表示されるため、３Ｄ表示装置１８のレンチキュラーレンズシート越しに二次元表示のグラフが観察される。

図６に示すように、アシストウィンドウ２４の二次元グラフ３０には、視差量「０」を表す横軸（距離情報軸）の上下を挟んで適正視差量範囲の上限と下限を表すライン表示３１，３２が表示される。また、有限の被写体距離範囲内の被写体として、樹木被写体２７と人物被写体２８が３Ｄカメラ１０によって識別され、これらの被写体を表す識別マーク３３，３４は、それぞれの被写体距離に応じて距離情報軸に沿う座標位置に離間して表示される。

ここで、樹木被写体２７を表す識別マーク３３は視差量「０」であるから横軸上に表示され、人物被写体２７を表す識別マーク３４はプラス方向の視差量をもつ位置に表示されている。なお、表示画面１９上での奥行き方向の表示位置に関しては、表示画面１９の表面が視差量「０」に相当し、プラス視差量をもつ被写体はプラスの度合に応じて表面よりも手前側に飛び出して観察され、マイナス視差量をもつ被写体はマイナスの度合に応じて表面よりも奥側に観察される。

図６に示すように、樹木被写体２７を表す識別マーク３３は視差量「０」の位置に表示されているのに対し、人物被写体２８を表す識別マーク３４はライン表示３１よりも上方に表示され、プラス方向の視差量が大き過ぎて立体画像の観察には不向きであることが示されている。このため、識別マーク３４の脇には下方修正すべきことを促す誘導マーク３５が表示される。

視差量調整モード選択ボタン２１の一回押圧では、自動調整モードが選択された状態となっている。自動調整モードに移行した後、十字キー２０を操作してフレームマーク２６をＡＦエリア２５から動かして所望の被写体の上に合わせて被写体選択を行う。図５に示す表示画面１９では、ＡＦエリア２５内の樹木被写体２７に対してピント合わせが行われ、視差量は表示画面１９内の被写体の中で最も小さい。

視差量調整モードに移行した時点から一定時間経過しても被写体の選択操作が行われないと、視差量が最小の被写体が視差量調整の対象となる被写体として自動選択され、識別マーク３３が点滅表示して他の識別マークに対して顕在化表示される。そして、樹木被写体２７が予め設定された視差量「０」に自動設定されるから、実際には視差量の調整は行われず、以前のライブビュー画像の表示が継続される。なお、自動設定される視差量としては、必ずしも「０」でなくてもよく、例えば表示画面１９の表面から、画面水平方向長さの０．５％程度飛び出したイメージになる視差量を標準的に設定しておいてもよい。

タイムアウト前にフレームマーク２６を人物被写体２８に合わせると、人物被写体２８が視差量の調整対象として選択され、識別マーク３４が目立つように点滅表示される。自動調整モードであれば、視差量調整回路６７によって人物被写体２８はプラス方向の視差量をもった状態から視差量「０」に自動的に調整される。同時に視差量調整回路６７は、元々は視差量「０」であった樹木被写体２７はマイナス方向の視差量に自動調整される。この結果、アシストウィンドウ２４は、図６に示す表示態様から図８に示す表示態様に変わり、識別マーク３４は視差量「０」の位置に移動し、識別マーク３３はマイナス視差量となる領域に移動表示される。

なお、人物被写体２８と樹木被写体２７とは同一の被写体距離ではないから、人物被写体２８の視差量の調整量と、樹木被写体２７の視差量の調整量とは通常では異なってくる。これらの被写体距離情報は、ライブビュー画像を撮像している間のデータ処理によって視差情報取得回路６８で取得される視差情報に基づいて求めることができる。したがって、両者間の相対視差量あるいは相対的な被写体距離の差分に応じ、視差量調整回路６７によって一方の視差量の調整時には他方の視差量も自動的に調整される。

そして３Ｄ画像生成回路５８は、調整後の視差量情報を取り込み、ＳＤＲＡＭ５７から読み出した左右の視点画像データに対して人物被写体２８を視差量「０」にするデータ処理を行ってから生成する。３Ｄ表示装置１８には調整後の多視点画像データによる視差画像が表示されるから、人物被写体２８が奥行き方向に関して表示面に位置するようにライブビュー画像が立体表示される。この結果、人物被写体２８は観察しやすくなるが、遠景となる樹木被写体２７がマイナス方向の視差量が大きくなって、両眼で立体観察することが困難になる。こうした場合、視差量の手動調整モードが効果的に用いられる。

図７に示すフローチャートにおいて、手動調整モードが設定されているときには、図６に示すアシストウィンドウ２４の中で識別マーク３４が点滅表示され、視差量の調整対象として選択されている人物被写体２８に対する視差量調整操作の入力待ちとなる。樹木被写体２７の識別マーク３３は視差量「０」の位置に表示されているが、人物被写体２８を表す識別マーク３４は視差量の適正範囲からプラス方向に外れているので、識別マーク３４の脇には視差量を減らす向きの誘導マーク３５も表示される。

誘導マーク３５の指示に従い、「−」ボタン２３を押圧操作するごとに識別マーク３４が下方に移動し、また識別マーク３３も下方へと移動する。同時に視差量調整回路６７は、「−」ボタン２３からの押圧操作に応じて視差量の調整を行う。樹木被写体２７の方が人物被写体２８よりも被写体距離が大きいので、識別マーク３３の移動量は識別マーク３４の移動量よりも一般に小さくなる。視差量の調整対象となっている識別マーク３４が、図９に示すようにライン表示３１と重なる位置まで移動してくると誘導マーク３５が消え、人物被写体２８の視差量が適正範囲になったことを報知する。

アシストウィンドウ２４に図９に示す二次元グラフ３０が表示された状態では、人物被写体２８とともに樹木被写体２７も視差量として適正な範囲に収まっている。３Ｄ表示装置１８の表示画面１９を観察すると、人物被写体２８は表示面よりもわずかに手前に飛び出した状態で観察され、また樹木被写体２７は表示面よりも奥側で観察されるように表示される。３Ｄ画像生成回路５８は、この視差量調整データを踏まえて多視点画像データを生成して３Ｄ表示装置１８に視差画像を表示するから、人物被写体２８と樹木被写体２７とが奥行き方向に適度な立体感をもって観察されるようになる。

樹木被写体２７について視差量を再調整する場合には、十字カーソル２０を操作してフレームマーク２６を再び樹木被写体２７に合わせる。これにより、図９に示すアシストウィンドウ２４で樹木被写体２７の識別マーク３３が点滅し、「＋」ボタン２２，「−」ボタン２３の操作に応じて視差量調整回路４０を作動させ、樹木被写体２７の視差量を調整することができる。なお、樹木被写体２７の視差量調整と同時に人物被写体２８の視差量も調整されるから、アシストウィンドウ２４では識別マーク３３と同じ移動量ではないが識別マーク３４も同方向に移動表示される。

視差画像の中に、樹木被写体２７，人物被写体２８以外の第３被写体が含まれている場合には、表示画面１９にも第３被写体が表示されているから、その第３被写体を視差量の調整対象として選択することも可能である。また、視差情報取得回路６８は第３被写体についての視差量情報や被写体距離情報も取得しているから、視差量調整モードに移行した時点で表示されるアシストウィンドウ２４にも第３被写体を表す別の識別マークがさらに追加表示される。以後は、同様の手順にしたがって視差量の調整が可能となる。

視差量の調整後にシャッタボタン１５を操作して視差画像の撮像を行った場合には、ＳＤＲＡＭ５７には未調整の左視点画像と右視点画像の画像データが格納されるが、これらの画像データとともに視差量の調整データもメタデータとして記録しておけば、再生時にも全く同様に立体画像が観察できる。外部のメモリカード１７に保存するときでも、これらの処理は共通に用いることができる。

以上の実施形態では、入力される左右の視点画像はそのまま保存して画像データ処理によって視差量調整した視差画像を得るようにしているが、左視点カメラ３６及び右視点カメラ３７の輻輳角θが調整できるようにしておき、視差量の調整に複数角θの調整で対応したり加味したりすることもできる。また、被写体を選択し、あるいは視差量の増減を行う際の入力装置としては、３Ｄ表示装置１８の表面にタッチパネルを積層し、指先やタッチペンによるタッチ操作やドラッグ操作、シフト操作などで行うようにしてもよい。

また、アシストウィンドウ２４は、３Ｄ表示装置１８の表示画面１９から離れた位置に独立した表示部として設けてもよい。そして、視差量の調整対象として選択した被写体をわかりやすく表示するためには、実施形態のように識別マークを点滅させる代わりに色を変えることで対応してもよい。さらに、視差量の調整度合は、識別マークの移動長によるアナログ表示であるが、実用的に適正とみなせる視差量範囲に「０」を基準にして±５段階程度のレベルを割り当てておけば、デジタル的な表示も可能となる。なお、二次元グラフにしても、少なくとも視差量軸と距離情報軸との２軸を用いたものであれば、図示した表示形態に限られない。

さらに、以上の実施形態のように左視点カメラ３６と右視点カメラ３７により左視点画像と右視点画像を得るものであれば、撮像時において視差量「０」に設定した被写体に優先的にピントを合わせることも可能である。また、顔画像の検出機能を備えた撮像装置にあっては、被写画面内から顔画像を自動検索して被写体距離が近い順にフレームマークを移動表示させ、その中から選択した顔画像を視差量の調整対象として自動設定するなどの態様も本発明を実施する上で効果的である。その他にも、選択した被写体が遠距離、あるいは被写界深度外であるような場合には、表示画面１９に警告表示を行ってもよい。

以上の実施形態では、左視点カメラ３６と右視点カメラ３７により左視点画像と右視点画像を得ているが、メモリカード１７に記録されたそれぞれの視点画像を読み込んで立体画像の表示を行う画像処理装置にも本発明は全く同様に適用することができる。また、本発明は、以上の実施形態中で効果的に用いられている視差量調整方法としても実施することができる。

Claims (10)

1. 立体画像再生用の視差画像を取得する視差画像取得部と、
   前記視差画像中の被写体の視差量を取得する視差情報取得部と、
   前記視差画像に基づいて表示画面に被写体の立体画像を表示する立体画像表示部と、
   前記表示画面に表示された被写体の中から選択操作に応じて特定の被写体を選択し、かつ前記特定の被写体に選択マークを付与する被写体選択部と、
   調整操作に応じて前記特定の被写体の視差量を増減する視差量調整部と、
   前記表示画面とは別のアシスト画面に表示され、視差量軸と距離情報軸で表された二次元グラフ上で、前記特定の被写体に対応させた識別マークを前記視差量調整部での調整操作に応じて視差量軸に沿って移動表示し、距離情報軸に関しては前記識別マーク及び他の被写体を表す識別マークを、各被写体の視差量に対応して算出された奥行き方向の相対距離に応じて離間して表示する視差量グラフ表示部と、
   を備えたことを特徴とする画像処理装置。
2. 前記視差量グラフ表示部は、前記二次元グラフ上に視差量の適正範囲を表示する請求の範囲第１項記載の画像処理装置。
3. 前記視差量グラフ表示部は、前記選択された被写体の調整後の視差量が前記適正範囲外であるときには、前記二次元グラフ上に前記適正範囲に近づける調整方向を示す誘導表示を行う請求の範囲第２項記載の画像処理装置。
4. 前記被写体選択部は、選択操作が行われるまでは、前記視差情報取得部で取得された視差量が最も小さい被写体を自動選択する請求の範囲第１項〜第３項のいずれか記載の画像処理装置。
5. 前記視差量調整部は、前記被写体選択部で被写体が選択されたことに応答し、選択された被写体の視差量を予め決められた所定量に自動調整する請求の範囲第４項記載の画像処理装置。
6. 前記被写体選択部で新たな被写体が選択されたときには、最新の被写体に選択マークが移行して表示され、かつ前記視差量グラフ表示部には、前記最新の被写体を表す識別マークが他の識別マークから弁別できるように表示される請求の範囲第１項〜第５項のいずれか記載の画像処理装置。
7. 前記視差量調整部は、左視点画像と右視点画像との合成時における左右方向の相対位置を変化させて視差画像がもつ視差量を調整する請求の範囲第１項〜第６項のいずれか記載の画像処理装置。
8. 前記立体画像表示部の表示画面内の一部が前記視差量グラフ表示部のアシスト画面に用いられた請求の範囲第１項〜第７項のいずれか記載の画像処理装置。
9. 左視点画像と右視点画像とを撮像して視差画像を取得する視差画像取得部と、
   前記視差画像中の被写体の視差量を取得する視差情報取得部と、
   前記視差画像に基づいて表示画面に被写体の立体画像を表示する立体画像表示部と、
   前記表示画面に表示された被写体の中から、選択操作に応じて特定の被写体を選択し、かつ前記特定の被写体に選択マークを付与する被写体選択部と、
   前記特定の被写体の視差量を調整操作に応じて増減する視差量調整部と、
   前記表示画面とは別のアシスト画面に表示され、視差量軸と距離情報軸で表された二次元グラフ上で、前記特定の被写体に対応させた識別マークを前記視差量調整部での調整量に応じて視差量軸に沿って移動表示し、距離情報軸に関しては前記識別マーク及び他の被写体を表す識別マークを、それぞれの被写体の視差量に対応して算出される奥行き方向の相対距離に応じて離間して表示する視差量グラフ表示部と、
   を備えたことを特徴とする撮像装置。
10. 立体画像再生用の視差画像を取得する視差画像取得ステップと、
    取得された前記視差画像に基づき、視差画像内の被写体の視差量を取得ずる視差情報取得ステップと、
    前記視差画像に基づいて表示画面に被写体の立体画像を表示する立体画像表示ステップと、
    前記立体画像表示ステップで表示された被写体の中から、選択操作に応じて特定の被写体が選択されたとき、この特定の被写体を他の被写体から識別できるように、その被写体に選択マークを付与する選択被写体表示ステップと、
    前記視差情報取得ステップで得られた各被写体の視差量に基づき、前記特定の被写体と他の被写体との奥行き方向における相対的な距離を算出し、各々の被写体を表す識別マークを、二次元グラフ上で各被写体相互間の距離を表す位置に表示するアシスト表示ステップと、
    選択された被写体の視差量を調整操作に応じて調整したときに、前記立体画像表示ステップにおける被写体の表示態様と、前記アシスト表示ステップにおける二次元グラフの表示態様とを視差量の調整に応じて更新する表示更新ステップと、
    で行われることを特徴とする視差量調整方法。
    

Images