JP5484577B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、複数の視点画像からなる立体画像の変倍を行なう画像処理装置、撮像装置及び画像処理方法に関する。

従来より、複数の視点画像からなる立体画像の変倍（ズーミング）が行なわれている。

特許文献１には、ズームに応じて左眼画像及び右眼画像の中心を合わせること、及び、ズームに応じて左眼画像及び右眼画像のシフト量を制御して、立体像の奥行き方向を可変とすることが記載されている。

特許文献２には、立体画像の電子ズームに応じて各視点画像（左眼画像及び右眼画像）の切り出し位置と画像水平位相（シフト量）を制御して、最大視差量及び大小視差量を設定範囲内とし、立体像の奥行き方向を（主に固定するように）調整する構成が記載されている。

特開２００３−５２０５８号公報 特開平８−３１７４２９号公報

従来、立体撮像を行なう際に、例えば、合焦した主被写体を各視点画像（左眼画像および右眼画像）の中心にし、且つ、その主被写体の視差量を最小とするように輻輳を設定して、撮影を行う。

しかし、この状態にて広角側から望遠側に向けてズーミングを行なうと、主被写体より手前の被写体はより近づき、遠方の被写体はより遠くに離れるような被写体移動が発生してしまい、視覚上極めて違和感があるので、疲労を増加させることになる。

更には、視差過大、視差開散等の立体融合不可能な画像となり、安全性への懸念が生じる。

特許文献１、２には、ズーミング中の画像処理について何も記載されていない。

本発明はこのような事情に鑑みてなされたもので、ズーミング期間中の視覚上の違和感を解消して、観察者に疲労を与えないようにすることができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。

前記目的を達成するために、本発明は、複数の視点画像からなる立体画像を取得する画像取得手段と、ズーム値を取得するズーム値取得手段と、複数の視点画像間で各画素の視差量を算出する視差量算出手段と、複数の視点画像に対し、視差量算出手段により算出された各画素の前記視差量と、ズーム値取得手段により取得されたズーム値とに応じて、ズーム値の単位あたりの変化量に対する画像取得手段により取得された前記立体視画像のうち少なくとも一部の画素の視差量の変化量を補正する視差量補正手段と、を備えたことを特徴とする画像処理装置を提供する。

即ち、複数の視点画像間で各画素の視差量を算出し、算出された各画素の視差量とズーム値に応じて、立体画像の各画素の視差量を補正するので、ズーミング中の被写体像の位置移動を自然な動きに補正することが可能になり、視覚上の違和感を解消して、観察者に疲労を与えないようにすることができる。

また、視差量補正手段は、補正前の立体視画像においてズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が減少する場合に、補正後の立体視画像においてズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が増加するか又は一定となるように視差量を補正することが好ましい。

即ち、ズーム値が広角側から望遠側に向けて変化すると同一被写体距離の視差量が増加するか又は一定になるので、ズーミングを強調する効果が得られる。

本発明の一実施形態にて、視差量補正手段は、補正前の視差量に係数を乗算し、且つ、乗算後の視差量をシフトすることで、視差量を補正することが好ましい。

本発明の一実施形態にて、視差量補正手段は、視差量のシフト量を望遠端から広角端にかけて大きくなるように視差量を補正することが好ましい。

本発明の一実施形態にて、視差量補正手段は、ズーム値が広角端から望遠端にかけて変化すると同一被写体距離の被写体の視差量が非線形に増加するように視差量を補正することが好ましい。

即ち、立体画像における被写体像の移動具合をズーミング操作に対してより加速的に見せることが可能になるので、ズーミングを更に強調することができる。

本発明の一実施形態にて、視差量補正手段は、視差量を特定の上限値ないし特定の下限値の範囲内になるように補正することが好ましい。

即ち、視差過大および視差開散を防止することができるとともに、ズーム値の変化量に対する視差量の変化量の傾きを大きくすることが可能となり、観察者の目の疲労を抑えつつ、ズーミングを強調することが可能になる。

本発明の一実施形態にて、視差量の補正に用いる視差補正値を決定するための設定情報の入力を受け付ける設定情報入力手段と、設定情報入力手段により入力された設定情報に基づいて視差量補正値を算出する視差量補正値算出手段と、を備えたことが好ましい。

即ち、設定情報の入力により、その設定情報に適合した視差量補正が可能になり、ズーミング効果を最大限に活用することができる。

本発明の一実施形態にて、設定情報は、立体画像の表示サイズであることが好ましい。

本発明の一実施形態にて、ズーム値を望遠端または広角端に設定し、合焦している画素の視差量に基づいて、視差量の補正値を算出する視差量補正値算出手段を備えたことが好ましい。

本発明の一実施形態にて、設定情報は、最至近被写体の被写体距離情報、及び、最遠被写体の被写体距離情報のうち少なくとも一方を含むことが好ましい。なお、ここでいう「最至近被写体の被写体距離」とは、画像取得手段を基点として、画像取得手段に対し最も近位にある被写体までの距離をいうものであり、「最遠被写体の被写体距離」とは、画像取得手段を基点として、画像取得手段に対し最も遠位にある被写体までの距離をいうものである。

本発明の一実施形態にて、ズーム値の単位あたりの変化量に対する視差量の変化量を決定するためのズーム効果設定情報の入力を受け付けるズーム効果設定情報入力手段と、ズーム効果設定情報入力手段により入力されたズーム効果設定情報に基づいて視差量の補正値を算出する視差補正値算出手段と、を備えたことが好ましい。

また、本発明は、画像処理装置を備えた撮像装置であって、画像取得手段は、ズームレンズを含む撮像レンズ、及び、撮像レンズにより結像された被写体像を撮像する撮像素子を含んで構成され、ズーム値取得手段は、ズームレンズのズーム値を取得することが好ましい撮像装置を提供する。

また、本発明は、複数の視点画像からなる立体画像を取得する画像取得手段と、ズーム値を取得するズーム値取得手段と、立体画像を出力する出力手段とを用いる画像処理方法において、複数の視点画像間で各画素の視差量を算出する視差量算出ステップと、複数の視点画像に対し、視差量算出ステップにより算出された各画素の前記視差量と、ズーム値取得手段により取得されたズーム値とに応じて、ズーム値の単位あたりの変化量に対する画像取得手段により取得された前記立体視画像のうち少なくとも一部の画素の視差量の変化量を補正する視差量補正ステップと、を備えたことを特徴とする画像処理方法を提供する。

本発明によれば、ズーミング期間中の視覚上の違和感を解消して、観察者に疲労を与えないようにすることができる。

本発明に係る撮像装置の構成例を示すブロック図 動画撮影時にリアルタイムで行なう場合の画像処理の一例の流れを示すフローチャート 動画撮影後に行なう場合の画像処理の一例の流れを示すフローチャート 静止画像の電子ズームの説明に用いる説明図 静止画像のフェード表示の説明に用いる説明図 視差補正前のズーム値と視差量との対応関係を示す図 視差補正後のズーム値と視差量との対応関係を示す図 視差補正前、視差圧縮後、シフト後、及び視差補正後の左眼画像及び右眼画像を示す図 ズーム値と補正前視差量と補正後視差量との対応関係を規定したテーブルデータの一例を示す図 視差補正後の画像による立体像表示の様子を示す模式図 非線形に視差補正した場合の画像のズーム値と視差量との対応関係を示す図 モニタの表示サイズとピクセルとの対応関係を示す図 第２実施形態における視差補正後の視点画像のズーム値と視差量との対応関係を示す図 第２実施形態における画像処理の一例の流れを示す要部フローチャート 第２実施形態における画像処理の他の例の流れを示す要部フローチャート ズーミング中の被写体の立体像の状態を模式的に示す模式図 第３実施形態における視差補正後の視点画像のズーム値と視差量との対応関係を示す図 ユーザ設定処理の一例の流れを示すフローチャート 動画撮影時にリアルタイムで行なう場合の画像処理の他の例の流れを示すフローチャート 動画撮影後に行なう場合の画像処理の他の例の流れを示すフローチャート 本発明を適用したコンピュータ装置のハードウェア構成を示すブロック図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜第１実施形態＞
図１は、本発明に係る撮像装置の構成例を示すブロック図である。

撮像装置１０は、撮像レンズ１１Ｌ、１１Ｒ、撮像センサ１２Ｌ、１２Ｒ、信号処理部１３、画像メモリ１５、操作部１６、電子ズーム処理部１７、視差量算出部１８、視差量補正値算出部１９、視差量補正部２０、モニタ２１、記録メディアインタフェース２２、記録メディア２３、外部出力デバイス２４、制御部２５、電源部２６、及びバッテリ２７を含んで構成されている。

撮像レンズ１１Ｌ、１１Ｒは、被写体像を撮像センサ１２Ｌ、１２Ｒの受光面に結像する光学系からなる。本例の撮像レンズ１１Ｌ、１１Ｒは、フォーカスレンズ、ズームレンズ及び絞り装置を含んで構成されている。

撮像センサ１２Ｌ、１２Ｒは、それぞれ、撮像レンズ１１Ｌ、１１Ｒにより結像された被写体像を撮像する。撮像センサ１２Ｌ、１２Ｒは、例えば、ＣＣＤ撮像センサ、ＣＭＯＳ撮像センサ等によって構成される。

信号処理部１３は、撮像センサ１２Ｌ、１２Ｒから出力された立体画像（左眼画像及び右眼画像）に対し、ＡＥ処理、ＡＦ処理等の各種の信号処理を施す。

本例の撮像装置１０では、撮像レンズ１１Ｌ、１１Ｒ、撮像センサ１２Ｌ、１２Ｒ及び信号処理部１３によって、複数の視点画像からなる立体画像を取得する撮像ユニット１４（画像取得手段）が構成されている。

画像メモリ１５は、信号処理部１３から出力された立体画像を１フレームごとに一時的に記憶するメモリ（例えばＲＡＭ）である。

操作部１６は、ユーザの入力操作を受け付ける入力デバイス（例えばキースイッチ）である。

本例の撮像装置１０では、操作部１６により、任意に変化するズーム値を取得するズーム値取得手段が構成されている。

電子ズーム処理部１７は、操作部１６により取得したズーム値に基づいて、立体画像（左眼画像及び右眼画像）を、画像処理により変倍する。

視差量算出部１８は、複数の視点画像（左眼画像及び右眼画像）間で各画素の視差量を算出する。

視差量補正値算出部１９は、視差量算出部１８により算出された視差量と、操作部１６により取得されたズーム値とに応じて、立体画像（左眼画像及び右眼画像）の各画素の視差量を補正するための視差量補正値を算出する。

視差量補正部２０は、視差量補正値算出部１９により算出された視差量補正値に基づいて、立体画像（左眼画像及び右眼画像）の各画素の視差量を補正する。即ち、視差量算出部１８により算出された視差量と、操作部１６により取得されたズーム値とに応じて、立体画像の各画素の視差量を補正する。この視差量の補正により、ズーム値の単位あたりの変化量に対する視差量の変化量が変更される。視差量補正部２０は、具体的には、補正前の立体画像においてズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が減少する場合に、補正後の立体画像においてズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が増加するか又は一定となるように視差量を補正する。なお、視差量補正は、立体画像の全領域にわたって行う場合には特に限定されず、立体画像のうち少なくとも一部を補正してもよい。

モニタ２１、記録メディアインタフェース２２および外部出力デバイス２４は、立体画像を出力する。

モニタ２１は、立体画像を立体視表示可能な表示デバイスである。

記録メディアインタフェース２２は、外部出力デバイス２４の一例であり、メモリカード等の記録メディア２３に立体画像を記録する。

外部出力デバイス２４は、例えば、立体画像を通信により出力（送信）する通信インタフェース等によって構成される。

制御部２５は、撮像装置１０の各部を制御する。本例の制御部２５は、操作部１６により取得されたズーム値が変化している間は、ズーム値の変化直前または直後の立体画像の１フレームを電子ズーム処理部１７により変倍して、変倍された１フレームの静止画像（立体静止画像）を外部出力デバイス２４により静止画像出力し、ズーム値が変化していない間は、立体画像を外部出力デバイス２４により動画出力する。

また、制御部２５は、変倍された静止画像の表示時間を、ズーム値の変動期間よりも長くする。

また、制御部２５は、ズーム値を段階的に増加させることで段階的に変倍した立体静止画像をモニタ２１などの出力手段により出力する。

また、制御部２５は、変倍された複数の静止画像の切り替えをフェードインおよびフェードアウトで行なう。

電源部２６は、バッテリ２７から撮像装置１０の各部に対して電源供給を行なう。

図２は、動画撮影時にリアルタイムで行なう場合の画像処理の一例の流れを示すフローチャートである。本処理は、制御部２５により、プログラムに従って、実行される。

操作部１６によるズーム操作の有無を判定し（ステップＳ２）、ズーム操作無しの場合には、撮像ユニット１４により１フレーム周期で立体画像（左眼画像及び右眼画像）を取得して画像メモリ１５に保存し（ステップＳ４）、操作部１６からズーム値を取得する（ステップＳ６）。ズーム値は、広角端から望遠端までの間で任意に変化する。以降の処理でも、１フレームごとに処理を行なう。

ズーム操作有りの場合には、ズーム操作時（ズーム値の変化前）の立体画像（左眼画像及び右眼画像）の１フレームを電子ズーム用のメモリに保存し（ステップＳ８）、操作部１６からズーム値を取得し（ステップＳ１０）、取得されたズーム値に応じて、画像メモリ１５に保存されている立体画像を電子ズーム処理部１７により変倍（拡大又は縮小）する（ステップＳ１２）。電子ズーム用のメモリは、電子ズーム処理部１７に内蔵されていてもよいし、画像メモリ１５をリアルタイムの立体画像のメモリと電子ズーム用のメモリとに分けて使用してもよい。

次に、視差量算出部１８により、左眼画像と右眼画像との間でステレオマッチングによる対応点検出を行なって、画素単位の視差量Ｐｘを算出する（ステップＳ１４）。

また、視差量補正値算出部１９により、視差量算出部１８で算出された立体画像の各画素の視差量と、操作部１６により取得されたズーム値とに応じて、立体画像の各画素の視差量を補正する補正値を算出する（ステップＳ１６）。

次に、視差量補正部２０により、補正値に基づいて、左眼画像及び右眼画像の再構成を行なう（ステップＳ１８）。ここで、視差量算出部１８により算出された各画素の視差量と、操作部１６により取得されたズーム値とに応じて、各画素の視差量を補正する。この視差量の補正により、ズーム値の単位あたりの変化量に対する立体画像の視差量の変化量を変更する。即ち、ズーム値の変化量と視差量の変化量との対応関係を変更する。具体的には、補正前の立体画像においてズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が減少する場合に、補正後の立体画像においてズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が増加するように（又は変化しないように）、視差量を補正する。

次に、記録メディアインタフェース２２により、再構成された立体画像を記録メディア２３に記録する。モニタ２１および外部出力デバイス２４により立体画像を出力してもよい。

次に、ズーム操作継続か否かを判定し（ステップＳ２２）、ズーム操作継続の場合には、ステップＳ１０に戻る。

また、撮影完了か撮影継続を判定し（ステップＳ２４）、撮影を継続する場合には、ステップＳ２に戻る。

本処理にて、取得されたズーム値が変化している間は、ズーム値の変化直前又は直後の１フレームの立体画像（立体静止画像）を電子ズーム処理部１７により変倍してモニタ２１に出力し、取得されたズーム値が変化していない間は、複数フレームの立体画像（立体動画像）をモニタ２１に出力する。

図３は、動画撮影後に画像処理を行なう場合の画像処理の一例の流れを示すフローチャートである。

ステップＳ３２、Ｓ３４は、それぞれ図２のステップＳ４、Ｓ６と同様である。

ステップＳ３６にて、記録メディアインタフェース２２により、左眼画像及び右眼画像からなる立体画像を、１フレームごとに記録メディア２３に記録する。ここで、記録メディアインタフェース２２は、１フレームごとに、立体画像にズーム値情報を付加して記録メディア２３に記録する。

ステップＳ３８にて、撮影完了か撮影継続を判定し、撮影を継続する場合には、ステップＳ３２及びＳ３４に戻る。

動画撮影完了後、ステップＳ４０にて、記録メディアインタフェース２２により、記録メディアから１フレームずつ立体画像（左眼画像及び右眼画像）及びズーム値情報を読み出す。

ステップＳ４０にて、記録メディアインタフェース２２により、記録メディア２３から１フレームの立体画像とズーム値情報とを読み出す。

ステップＳ４２にて、ズーム値の変化の有無を判定する。

ズーム値に変化が有った場合には、ステップＳ４４にて、画像メモリ１５内の立体画像を電子ズーム処理部１７により変倍（拡大又は縮小）する。

ズーム値に変化が無かった場合には、ステップＳ４６にて、記録メディア２３から次の１フレームの立体画像（左眼画像及び右眼画像）を読み出して画像メモリ１５に保存する。

ステップＳ４８、Ｓ５０、Ｓ５２、Ｓ５４は、それぞれ、図２のＳ１４、Ｓ１６、Ｓ１８と同様である。

ステップＳ５６にて、全てのフレーム処理を完了したか否かを判定し、全フレームを完了していない場合には、次フレームに注目してズーム値を画像メモリ１５から読出し（Ｓ５８）、ステップＳ４０に戻る。全フレームを完了した場合には、本処理を終了する。

図４に示すように、制御部２５は、ズーム値変化中の期間を複数の期間に分割するとともに、ズーム値の変化量を連続的な変化ではなく段階的な変化に切り替えることで、ズーム値変化中の期間に段階的に変倍した複数の静止画像を順に表示及び記録する制御を行う。

また、制御部２５は、変倍された複数の静止画像の合計の表示時間を、ズーム値の変動期間よりも長くする。

また、図５に示すように、制御部２５は、モニタ２１における複数の静止画像間の表示の切り替えを、フェードインおよびフェードアウトで行なう。即ち、一方の静止画像をフェードアウト表示しながら他方の静止画像をフェードイン表示させる制御を行う。

図６は、視差補正前の視点画像（左眼画像、右眼画像）におけるズーム値と視差量との対応関係（「視差分布」という）を示す。横軸がズーム値であり、縦軸が視差量である。即ち、ズーム値の変化に対する視差量の変化（視差分布）を表している。

図６にて、縦軸のセンターが輻輳点の視差（＝０）であり、本撮像装置では輻輳点の距離を２．０ｍに設定してある。この視差分布にて、縦軸のセンターよりも上側は、輻輳点よりも近い距離にある被写体の視差を示しており、縦軸のセンターよりも下側は、輻輳点よりも遠い距離にある被写体の視差を示している。視差分布の上辺は被写体距離が０．５ｍ（ＭＯＤ）である場合の視差変化を示し、下辺は無限遠距離の場合の視差変化を示している。

図６にて、最も視差が大きくなる条件は、被写体距離０．５ｍのズームＴ端であり、その条件の視差量をＰｍａｘとする。この条件では、立体像がモニタから最も飛び出した状態となり、立体視融合が困難な過大視差となる可能性が高い。一方で、最も視差が小さくなる条件は、無限遠距離のズームＷ端であり、その条件の視差量をＰｍｉｎとする。この条件では、立体像がモニタから最も奧まった状態となり、モニタ上での立体像のズレ量が人の両眼幅を超える（開散）可能性が高い。従って、視差補正により、視差量の上限及び下限を設定する必要がある。

図６にて、被写体距離が２ｍである被写体は、ズーム値の変化に依らず視差ゼロであり、視差量の変化がない。被写体距離が２ｍよりも大きい（遠い）被写体は、ズーム値をＷ側からＴ側に変化させると、視差量が小さくなる。即ち、被写体像が大きくなりつつ、モニタ面から奥まっていくという、極めて不自然な見え方となるので、立体視をしている観察者の目の疲労を増加させる。

図７は、視差量補正部２０による視差補正後の視点画像におけるズーム値と視差量との対応関係（視差分布）を示す。視差量補正部２０により、最大視差量を補正前のＰｍａｘからＰｔｎに補正し、最小視差量をＰｍｉｎからＰｗｆに補正し、各ズーム値に対する視差量をＰｔｎとＰｗｆとの間に入るように補正する。なお、Ｐｔｆ＝Ｐｗｆであってもよい。

図６に示した視差分布を図７に示した視差分布に変更（補正）するため、視差量補正値算出部１９は、視差量に乗じる係数ｋと視差量のシフト量Ｓを算出する。視差量補正部２０は、各画素の視差量に係数ｋを乗じることで、各ズーム値における視差分布幅をｋ倍に圧縮する。具体的には、補正前に視差量最大値Ｐｍａｘ＞Ｐｔｎである場合には、補正後にＰｍａｘ≦Ｐｔｎとなるようにｋを決定して０＜ｋ＜１とする。なお、補正前に視差量最大値Ｐｍａｘ≦Ｐｔｎである場合には、ｋ≧１としてもよい。

次に、視差量補正部２０は、最大視差量ＰｍａｘがＰｔｎとなるように、各画素の視差量をＳ１分減算してシフトさせる。このような係数乗算とシフトとを、ズーム値ごとに行なう。

また、視差量補正部２０は、自然なズーム効果を得るため、ズーム値がＴ端からＷ端に変化するほど視差量のシフト量を増加させ、その結果としてＰｔｆ≧Ｐｗｆ、Ｐｔｎ＞Ｐｗｎとなる。即ち、最小視差量をＰｗｆとする。

図８Ａは、視差補正前のＴ端の左眼画像９０Ｌおよび右眼画像９０Ｒを示し、図８Ｂは視差圧縮（係数乗算）後のＴ端の左眼画像における被写体像９０Ｌおよび右眼画像における被写体像９０Ｒを示す。図８Ｃはシフト後のＴ端の左眼画像における被写体像９０Ｌおよび右眼画像おける被写体像９０Ｒを示す。図８Ｄは視差補正後のＷ端の左眼画像における被写体像９０Ｌおよび右眼画像における被写体像９０Ｒを示す。なお、図８Ａ〜Ｄでは四角形の被写体像を図示したが、実際には、被写体像の形状は限定されない。

図８Ａでは過大視差および開散視差となるため、図８Ｂに示すような視差量に対する係数ｋ１の乗算による視差圧縮、及び、図８Ｃに示すような視差量シフトＳ１とを行なうことで、ズーム後の立体画像の視差量が視差限界内になる。

なお、乗算と減算の処理順序はどちらが先でもよい。また、予め図７のように補正することが決まっているのであれば、図９に示すように、ズーム値と補正前視差量と補正後視差量との対応関係を予めテーブルデータとして記憶しておき、視差補正時にそのテーブルデータを用いて視差補正を行うことで、処理時間を短縮化できる。即ち、図１の視差量補正値算出部１９を図８のテーブルデータに置き換えてもよい。

図１０は、視差補正した立体画像をモニタ２１に表示した場合の立体像を示す模式図である。

広角Ｗ側から望遠Ｔ側にズーム値を変化させた場合、視点位置が被写体に近づくように（あるいは被写体が視点位置に近づくように）、視差量が変化するので、ズームによる不自然さは改善される。

図１１は、Ｐｔｆ−Ｐｗｆ、Ｐｔｎ−Ｐｗｎのラインを非線形とした場合であり、Ｔ（望遠）端ほど、ズーム値の変化量に対する視差量の変化量を大きくしてある。即ち、Ｔ端ほど、被写体の奥行き方向における移動量が大きくなる。これにより、被写体の移動具合がより現実に近くなる。

視差量補正に用いる補正値を、ユーザ設定値に基づいて決定してもよい。例えば、立体画像を出力するモニタ２１（立体視表示デバイス）のサイズ（表示画面サイズ）の入力又は選択を、操作部１６により受け付ける。表示画面サイズにより視差開散の限界値が決まるためである。

図１２は、解像度１９２０×１０８０ドットのモニタにおける場合の表示サイズとピクセルとの対応関係を示す。

また、操作部１６により、ユーザ毎の両眼間隔の入力又は選択を受け付ける手段を設けるようにしてもよい。立体画像の観察者として子供を対象とすると両眼間隔は約５ｃｍであり、モニタサイズの５ｃｍ分のピクセル数を視差量下限値Ｐｗｆとする。

視差量上限値Ｐｔｎは、例えば、モニタの画面高さの３倍の距離での視聴を前提とする場合、約５７ピクセルを設定する。このＰｔｎは、立体視融合の許容範囲から決まるため、個人差がある。よって、ユーザ設定で変更できることが、好ましい。

本実施形態によれば、ズーム可変時における観察者の違和感を改善し、立体視の疲労を抑えることができる。広角端から望遠端までのズーム値の変化に対して視差量補正することで、過大視差及び開散状態を低減させることが、好ましい。

＜第２実施形態＞
次に第２実施形態について、説明する。第２実施形態では、ズーム値の変化量に対する視差量の変化量を大きくすることでズーミング効果を強調すると同時に、視差過大や視差開散を防止する。

図１３は、第２実施形態の視差量補正部２０による視差補正後の視点画像におけるズーム値と視差量との対応関係（視差分布）を示す。

ズーミングを強調するためには、Ｐｔｆ−Ｐｗｆ、Ｐｔｎ−Ｐｗｎの各ラインの傾きをより大きくすることで、ズーム値の変化量に対する視差量の変化量を大きくすることが、好ましい。即ち、ズーム値の変化量に対して、被写体の立体像の奥行き方向における移動量を大きくなり、ズーミングの効果を強調することが可能になる。

その場合、望遠（Ｔ）側や広角（Ｗ）側において、図１３中の点線２１，２２で示すように、補正後の視差量が、視差量上限値Ｐｔｎを超えたり視差量下限値Ｐｗｆ未満となる可能性が高くなる。

そこで、視差量補正部２０は、補正後の視差量が視差量上限値Ｐｔｎないし視差量下限値Ｐｗｆの範囲内になるように補正量を補正する。例えば、操作部１６により取得されたズーム値がＺ１よりも小さく且つ補正前の視差量がＰｔｎを越える場合には、補正後の視差量をＰｔｎに固定する。また、例えば、操作部１６により取得されたズーム値が特定のズーム値Ｚ８よりも大きく且つ補正前の視差量がＰｗｆ未満である場合には、補正後の視差量をＰｗｆに固定する。

図１４は、本実施形態における画像処理の流れの要部を示すフローチャートである。

なお、図２に示したように、第１実施形態と同様、ステップＳ２〜Ｓ１８を行なう。ステップＳ１８では、視差量補正部２０により補正値に基づいて視差量の算出（一次補正）を行なっているが、図２のステップＳ１８と同様な処理である。

ステップＳ１９ａにおいて、ズーム値がＺ１未満であるか否かを判定し、Ｚ１未満である場合には、ステップＳ１９ｂにて、視差量上限値Ｐｔｎを超える視差量の画素を検索して、その画素の視差量を全てＰｔｎに設定する。また、ステップＳ１９ｃにおいて、ズーム値がＺ８を超えるか否かを判定し、Ｚ８を超える場合には、ステップＳ１９ｄにて、視差量下限値Ｐｗｆ未満の視差量の画素を検索して、その画素の視差量を全てＰｗｆに設定する。即ち、ステップＳ１９ａ〜Ｓ１９ｄでは、ステップＳ１８の補正直後の視差マップ内の視差量のうち、ＰｔｎないしＰｗｆの範囲から外れる視差量をＰｔｎ又はＰｗｆに設定する。

ステップＳ１９ｅにて、視差量補正部２０により、二次補正値に基づいて、左眼画像及び右眼画像の再構成（二次補正）を行なう。

ステップＳ２０以降は、図２に示したステップＳ２０以降と同様である。

このような処理は、図１５のフローチャートに示すように、ズーム値に関係なく、全てのズーム域において行なってもよい。即ち、ステップＳ１８の後、図１４に示したステップＳ１９ｂ、Ｓ１９ｄ、Ｓ１９ｅの順に実行する。

図１６Ａ、Ｂ及びＣは、ズーム値を望遠方向にて変化させた際に、視差量がＰｔｎを越えた場合における被写体の立体像の状態を模式的に示す。図１６Ｃにおいて、視差量がＰｔｎを超えた場合には、被写体像が平面状に見えることを示している。また、図１６Ｂは、ズーム値が大きくなるにしたがって、被写体像が徐々に平面状になっていく（即ち被写体像の前端と後端との距離差が徐々に圧縮されていく）ことになる。

図１３に示したようなズーム値と視差量との対応関係を示すグラフにて、Ｐｔｎ−Ｐｗｎ、Ｐｔｆ−Ｐｗｆ等の同一被写体距離のラインの傾きは、ズーム感の強調レベルとして、ユーザの設定入力操作を受け付け、可変にしてもよい。

その場合、ユーザ設定された強調レベルに応じて、強調レベルが大きいほど、同一被写体距離のライン（Ｐｔｎ−Ｐｗｎ、Ｐｔｆ−Ｐｗｆ等）の傾きを大きくする。この傾きが大きくなるほど、符号付きのＰｔｆの値は大きくなり、符号付きのＰｗｎの値は小さくなる。なお、Ｐｔｆ≧Ｐｗｆ、Ｐｔｎ＞Ｐｗｎである。

本実施形態によれば、ズーミング効果を強調することができると同時に、視差過大や視差開散を防止することができる。

＜第３実施形態＞
実際の撮影では、被写体距離の範囲は狭い場合がある。例えば、室内の撮影では、無限遠の被写体はなく、またフェンスやネット等を越した撮影では至近距離もＭＯＤ（最短合焦距離）よりも遠い範囲となる。その場合、補正後の視差量の分布は、例えば図１７の点線３１と点線３２との間の範囲に収まることになる。このような場合、実際の視差分布における最大値Ｐａ及び最小値Ｐｂから限界値（Ｐｔｎ及びＰｗｆ）まで余裕があるため、その余裕分をズーミング効果の強調に割り当てることができる。

具体的には、最大値Ｐａが上限値Ｐｔｎに、最小値Ｐｂが下限値Ｐｗｆになるように、視差補正のシフト量Ｓ１、Ｓ２を調整すればよい。その結果、視差補正後、視差分布は、点線３１と点線３２との間の範囲から、実線３３と実線３４との間の範囲に変更されて、同一被写体距離におけるズーム値と視差量との対応関係を示すラインの傾きが大きくなる。

本実施形態では、操作部１６により、視差量の補正に用いる視差補正値を決定するための設定情報の入力を受け付ける。視差量補正値算出部１９は、入力された設定情報に基づいて視差量補正値を算出する。

設定情報は、例えば、モニタ２１の表示サイズ（モニタサイズ）である。

設定情報は、例えば、最至近被写体の被写体距離情報、及び、最遠被写体の被写体距離情報のうち少なくとも一方であってもよい。

また、制御部２５の制御により、ズーム値を望遠端または広角端に設定し、視差量補正値算出部１９により、合焦している画素の視差量に基づいて視差量補正値を算出するようにしてもよい。

また、操作部１６により、ズーム値の変化量に対する視差量の変化量を決定するためのズーム効果設定情報の入力を受け付け、視差量補正値算出部１９により、入力されたズーム効果設定情報に基づいて視差量補正値を算出するようにしてもよい。

図１８は、ユーザ設定処理の一例の流れを示すフローチャートである。

図１８にて、ユーザ設定モードになると、まず、撮像レンズ１１Ｌ，１１Ｒのズーム値（ズーム位置）をＴ端に移動（設定）し（ステップＳ７１）、ユーザに対し撮影対象の被写体のうちで最も近い被写体距離のものをＡＦエリア内に入れるようにモニタ２１により案内し、操作部１６により画像取り込み指示操作を受け付ける（ステップＳ７２）。画像取り込み指示を受け付けると、近距離範囲優先で至近距離側から合焦位置を見つける（ステップＳ７３）。即ち、撮影対象の被写体のうちで最も近い被写体に合焦することになる。次に、左眼画像及び右眼画像を取り込み（ステップＳ７４）、ＡＦエリア内でシャープネスが予め設定された閾値よりも高い画素を検出し（ステップＳ７５）、それらの画素の視差量を算出して、視差量最大値Ｐａを決定し、この視差量最大値ＰａからＰｔｎまでのシフト量（Ｐｔｎ−Ｐａ）を算出する（ステップＳ７６）。

次に、撮像レンズ１１Ｌ，１１Ｒのズーム値（ズーム位置）をＷ端に移動（設定）し（ステップＳ８１）、ユーザに対し撮影対象の被写体のうちで最も遠い被写体距離のものをＡＦエリア内に入れるようにモニタ２１により案内し、操作部１６により画像取り込み指示操作を受け付ける（ステップＳ８２）。画像取り込み指示を受け付けると、遠距離範囲優先で最遠距離から合焦位置を見つける（ステップＳ８３）。即ち、撮影対象の被写体のうちで最も遠い被写体に合焦することになる。次に、左眼画像及び右眼画像を取り込み（ステップＳ８４）、ＡＦエリア内でシャープネスが予め設定された閾値よりも高い画素を検出し（ステップＳ８５）、それらの画素の視差量を算出して、視差量最小値Ｐｂを決定し、この視差量最小値ＰｂからＰｗｆまでのシフト量（Ｐｂ−Ｐｗｆ）を算出する（ステップＳ８６）。

なお、視差量を求める際にステレオマッチングを行なうことから、先鋭度の高い画像の方がマッチング精度が向上して視差量の精度も向上する。

上記の設定方法では、望遠端および広角端の両方にて視差量のシフト量を算出したが、本発明はこのような場合には限定されず、望遠端および広角端のうち一方で視差量のシフト量を算出するようにしてもよい。

また、操作部１６により、ユーザから最至近被写体の被写体距離情報（最小被写体距離）、及び、最遠被写体の被写体距離情報（最大被写体距離）の直接入力操作（又は選択入力操作）を受け付けるようにしてもよい。

操作部１６により、ズーム値の変化量に対する視差量の変化量を決定するためのズーム効果設定情報の入力を受け付け、視差量補正値算出部１９により、入力されたズーム効果設定情報に基づいて視差量補正値を算出してもよい。

以上、ズーミング中に静止画表示を行なう場合を例に説明したが、本発明は、特にそのような場合には限定されない。ズーミング中に動画表示を行なう場合にも本発明を適用することが可能である。

図１９は、動画撮影時にリアルタイムで行なう場合の画像処理の一例の流れを示すフローチャートである。本処理は、制御部２５により、プログラムに従って、実行される。なお、図２に示したステップと同じステップには同じ符号を付してあり、ここでは異なる点のみ説明する。

本例では、操作部１６によりズーム値を変化させ指示操作を受け付けると、制御部２５は、撮像レンズ１１Ｌ、１１Ｒのズームレンズを、図示を省略したレンズ駆動部により駆動させるようになっている。図１９では、その制御を省略して示した。

図１９のステップＳ４、Ｓ６、Ｓ１４，Ｓ１６、Ｓ１８、Ｓ２０は、それぞれ図２の同じ符号のステップと同様の処理である。要するに、視差量算出部１８により、複数の視点画像間で各画素の視差量を算出し（ステップＳ１４）、視差量補正部２０により、各画素の視差量とズーム値とに応じて、立体画像の各画素の視差量を補正する（ステップＳ１８）。

図２０は、動画撮影後に行なう場合の画像処理の一例の流れを示すフローチャートである。本処理は、制御部２５により、プログラムに従って、実行される。なお、図３に示したステップと同じステップには同じ符号を付してあり、ここでは異なる点のみ説明する。

図２０のステップＳ３２〜Ｓ４０およびＳ４８〜Ｓ５８は、図３の同じ符号のステップと同様の処理である。要するに、視差量算出部１８により、複数の視点画像間で各画素の視差量を算出し（ステップＳ４８）、視差量補正部２０により、各画素の視差量とズーム値とに応じて、立体画像の各画素の視差量を補正する（ステップＳ５２）。

なお、本発明を撮像装置に適用した場合を例に説明したが、本発明はこのような場合に特に限定されない。例えば、図２１に示すコンピュータ装置１００に本発明を適用してもよい。図２１にて、図１に示した構成要素には同じ符号を付した。

図２１に示すパーソナルコンピュータ装置１００は、操作部１６、立体表示部２１（モニタ）、記録メディアインタフェース２２、メモリ１０２およびマイクロプロセッサ１０３を含んで構成されている。マイクロプロセッサ１０３は、図１の電子ズーム処理部１７、視差量算出部１８、視差量補正値算出部１９、視差量補正部２０および制御部２５の機能を有する。メモリ１０２は図１の画像メモリ１５の機能を有する。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１１Ｌ、１１Ｒ…撮像レンズ、１２Ｌ、１２Ｒ…撮像センサ、１３…信号処理部、１５…画像メモリ、１６…操作部、１７…電子ズーム処理部、１８…視差量算出部、１９…視差量補正値算出部、２０…視差量補正部、２１…モニタ（表示手段）、２２…記録メディアインタフェース、２３…記録メディア、２５…制御部

Claims (14)

1. 複数の視点画像からなる立体視画像を取得する画像取得手段と、
   ズーム値を取得するズーム値取得手段と、
   前記ズーム値取得手段により取得されたズーム値に基づいて、前記立体視画像を変倍する電子ズーム処理手段と、
   前記複数の視点画像間で各画素の視差量を算出する視差量算出手段と、
   前記複数の視点画像に対し、前記視差量算出手段により算出された各画素の前記視差量と、前記ズーム値取得手段により取得された前記ズーム値とに応じて、前記ズーム値の単位あたりの変化量に対する前記画像取得手段により取得された前記立体視画像のうち少なくとも一部の画素の視差量の変化量を補正する視差量補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記視差量補正手段は、補正前の前記立体視画像において前記ズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が減少する場合に、補正後の前記立体視画像において前記ズーム値が広角側から望遠側に向けて変化すると同一被写体距離の被写体の視差量が増加するか又は一定となるように前記視差量を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記視差量補正手段は、補正前の前記視差量に係数を乗算し、且つ、乗算後の前記視差量をシフトすることで、前記視差量を補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記視差量補正手段は、前記視差量のシフト量を望遠端から広角端にかけて大きくなるように前記視差量を補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記視差量補正手段は、前記ズーム値が広角端から望遠端にかけて変化すると同一被写体距離の被写体の視差量が非線形に増加するように前記視差量を補正することを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
6. 前記視差量補正手段は、前記視差量を特定の上限値ないし特定の下限値の範囲内になるように補正することを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
7. 前記視差量の補正に用いる視差量補正値を決定するための設定情報の入力を受け付ける設定情報入力手段と、
   前記設定情報入力手段により入力された前記設定情報に基づいて前記視差量補正値を算出する視差量補正値算出手段と、
   を備えたことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
8. 前記設定情報は、前記立体視画像の表示サイズであることを特徴とする請求項７に記載の画像処理装置。
9. 前記ズーム値を望遠端または広角端に設定し、合焦している画素の視差量に基づいて、前記視差量の補正値を算出する視差量補正値算出手段を備えたことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
10. 前記設定情報は、最至近被写体の被写体距離情報、及び、最遠被写体の被写体距離情報のうち少なくとも一方を含むことを特徴とする請求項７に記載の画像処理装置。
11. 前記ズーム値の単位あたりの変化量に対する前記視差量の変化量を決定するためのズーム効果設定情報の入力を受け付けるズーム効果設定情報入力手段と、
    前記ズーム効果設定情報入力手段により入力された前記ズーム効果設定情報に基づいて前記視差量の補正値を算出する視差量補正値算出手段と、
    を備えたことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像処理装置。
12. 前記ズーム値取得手段は、前記電子ズームのズーム値を取得することを特徴とする請求項１〜１１のうちいずれか１項に記載の画像処理装置。
13. 請求項１〜１２のうちいずれか１項に記載の画像処理装置を備えた撮像装置であって、前記画像取得手段は、ズームレンズを含む撮像レンズ、及び、前記撮像レンズにより結像された被写体像を撮像する撮像素子を含んで構成され、
    前記ズーム値取得手段は、前記ズームレンズのズーム値を取得することを特徴とする撮像装置。
14. 複数の視点画像からなる立体視画像を取得する画像取得手段と、ズーム値を取得するズーム値取得手段と、前記ズーム値取得手段により取得されたズーム値に基づいて、前記立体視画像を変倍する電子ズーム処理手段と、前記立体視画像を出力する出力手段とを用いる画像処理方法において、
    前記複数の視点画像間で各画素の視差量を算出する視差量算出ステップと、
    前記複数の視点画像に対し、前記視差量算出ステップにより算出された各画素の前記視差量と、前記ズーム値取得手段により取得された前記ズーム値とに応じて、前記ズーム値の単位あたりの変化量に対する前記画像取得手段により取得された前記立体視画像のうち少なくとも一部の画素の視差量の変化量を補正する視差量補正ステップと、
    を備えたことを特徴とする画像処理方法。
    

Images