JP5725161B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、立体映像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

近年、立体映像の技術に関して様々な研究、開発がなされている。立体映像を得るためには、１台のカメラに２つの光学系を設けた複眼カメラを用いて、左右の映像の撮影が行われる。このとき、左右の映像の視差量を調整することが行われるが、手動で調整を行うのが一般的であり、立体映像撮影のコストを増大させる要因となっていた。

そこで、自動で視差量の調節を行うために、測距ユニットを用いて取得した被写体距離の範囲が撮影可能範囲の中心にくるように視差量を調節する技術がある。また、左右の映像の相関をとり、この結果によって、輻輳点（視差が０となる位置）が中央付近の被写体に合うように視差量を調節する技術がある。

また、ズーム時において、ズームレンズを前後に動かし、入射瞳位置の変化によらず、輻輳点を固定する技術や、被写体位置を検出し、その被写体の視差を個人に依存した値に固定する技術がある。

特開２００１−１６６１９号公報 特開２００３−９２７７０号公報 特開２００７−２６４３９６号公報 特開２００２−２３２９１３号公報

ここで、ズームイン撮影を行うことを考える。ズームイン撮影では、被写体が前方に定位することが自然な立体映像であり、そのように視差量を調節することが適切であると考えられる。

図１は、ズームインと被写体との関係を示す図である。図１（Ａ）は、ズームイン前の被写体１１、１２とスクリーン１３との関係を示す。図１（Ａ）では、被写体１１がスクリーン１３面上に存在し、被写体１２は、スクリーン１３より奥に存在するとする。図１（Ａ）に示すＦＯ方向は、被写体が前に飛び出る方向であり、ＢＡ方向は、被写体が後ろに引き込まれる方向である。図１（Ａ）に示す立体映像に対し、ズームインを行う。

図１（Ｂ）は、立体映像に期待する結果を示す。図１（Ｂ）に示すように、被写体１１がスクリーン１３よりも前に移動して見えることが望ましい。この場合、測距ユニットを用いる装置では測定距離が近距離に制限され、被写体との距離によっては視差量を調節する機構が作用しない場合がある。また、測距ユニットを設けるため、従来の装置はコスト増であった。

また、図１（Ｃ）は、従来技術の結果を示す。図１（Ｃ）では、輻輳点が被写体に合うように調節されるため、中央付近の被写体１１が常にスクリーン１３面上に見えるように視差量が調節される。

この方式では、スクリーン１３面よりも後ろにある被写体１２がさらに後ろに移動して不自然に見えるだけでなく、ズームで増大した視差量によっては両目が外に開いてしまう危険な映像となる場合がある。

図２は、危険な映像を説明するための図である。図２（Ａ）は、ｔ−１フレームの映像例を示す。左目で左の被写体１２を見て、右目で右の被写体１２を見ているとする。これにより、被写体１２は、被写体１１よりも奥に見える。

図２（Ｂ）は、図２（Ａ）に示す状態から従来方式で映像をズームインしたときのｔフレームの映像例である。図２（Ｂ）に示すように、左目で見る左の被写体１２は左にシフトし、右目で見る右の被写体１２は、右にシフトする。なお、被写体１１の視差量が０に調節される。

これにより、従来方式の映像は、左目は左に移動し、右目は右に移動し、両目が開いてしまう危険な映像になる。危険な映像となる理由は、人間の目は寄る方向には動くが、開く方向には動かないからである。

前述したように危険な映像となることを、左カメラ３１と右カメラ３２とを略平行に並べる撮像系で説明する。左カメラ３１では、左目用の映像を撮影し、右カメラ３２では、右目用の映像を撮影する。

図２（Ｃ）は、ｔ−１フレーム時の視差の関係を示す。図２（Ｃ）では、輻輳点ｐ３４で被写体１１が仮想スクリーン３３に存在する。このとき、被写体１２の視差量をｄ３５とする。

図２（Ｄ）は、ｔフレーム時の視差の関係を示す。図２（Ｄ）では、被写体１１が仮想スクリーン３３面上に存在し続け、背景の被写体１２はズームインに伴い、後ろに移動する。このときの視差量をｄ３６とする。ここで、ｄ３５＜ｄ３６の関係が成り立つ。

この結果、従来方式の映像は、ズームイン時に視差量が増大し、両目が外に開く映像となる危険性がある。したがって、従来技術では、ズーム時に視差量を適切に調節できず、立体映像の品質が良くないという問題点があった。

そこで、開示の技術は、上記問題点に鑑みてなされたものであり、ズーム時に視差量を適切に調節し、自然な立体映像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

開示の一態様の画像処理装置は、立体映像を処理する画像処理装置であって、
拡大又は縮小された立体映像から拡縮率を検出する拡縮率検出部と、撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出する視差量算出部と、前記視差量算出部により算出された視差量を用いて前記立体映像の視差量を調節する視差量調節部とを備える。

開示の技術によれば、ズーム時に視差量を適切に調節し、自然な立体映像を生成することができる。

ズームインと被写体との関係を示す図。 危険な映像を説明するための図。 実施例１における画像処理装置の構成の一例を示すブロック図。 拡縮率αの算出例を説明するための図。 視差量算出部の構成の一例を示すブロック図。 拡縮率αと視差量ｄとカメラ間隔Ｄとの関係を示す図。 ズーム時の自然な映像を説明するための図。 視差量調節部の構成の一例を示すブロック図。 実施例１における画像処理の一例を示すフローチャート。 視差量調節部のシフト制限処理の一例を示すフローチャート。 無限遠点の視差量が変化しないことを説明するための図。 実施例２における画像処理装置の構成の一例を示すブロック図。 仮想スクリーン面と実際のスクリーン面との関係を示す図。 実際のスクリーンにおける視聴距離の一例を示す図。 視差量ｄ１の一例を示す図。 累積移動平均値及び平均値との比の一例を示す図。 明暗モジュールペア長、累積移動平均値、上限値、下限値の関係を示す図。 実施例２における画像処理の一例を示すフローチャート。 実施例３における画像処理装置の構成の一例を示すブロック図。 実施例３における画像処理の一例を示すフローチャート。 変形例における画像処理装置の構成の一例を示すブロック図。

１００、２００、３００ 画像処理装置
１０１、３０２ 拡縮率検出部
１０２、２０１、３０３ 視差量算出部
１０３、２０３、３０４ 視差量調節部
１２１ 乗算部
１２２ 記憶部
１３１ 記憶部
１３２ シフト制限部
１３３ シフト部
２０２ 視差量補正部
３０１ 光軸ズレ補正部

以下、図面に基づいて、実施例について説明する。

［実施例１］
＜構成＞
図３は、実施例１における画像処理装置１００の構成の一例を示すブロック図である。図３に示す画像処理装置１００は、拡縮率検出部１０１、視差量算出部１０２、視差量調節部１０３を備える。

画像処理装置１００は、左映像、右映像を入力し、拡縮率検出部１０１、視差量調節部１０３に左右の映像を入力する。左映像、右映像については、画像処理装置１００内部に記憶されていてもよいし、複数の撮像系からそれぞれ入力されてもよい。

拡縮率検出部１０１は、左右の映像が入力され、この左右の映像に基づいて、ズームイン（拡大）又はズームアウト（縮小）時の拡縮率を検出する。検出した拡縮率は、視差量算出部１０２に出力される。

拡縮率の検出方法は、公知の技術のいずれかを用いればよい。例えば、特開２００５−３３２１２０を参照されたい。特開２００５−３３２１２０号公報では、水平、垂直の両エッジピークコードの各ピークコードの位置間隔に対する時間変化比を拡縮率とする。

また、拡縮率検出部１０１は、例えば、次のように拡縮率を検出してもよい。図４は、拡縮率αの算出例を説明するための図である。図４に示す左カメラ３１と右カメラ３２とで被写体１１を撮影する。このとき、ズームインを行って被写体１１の位置が、カメラ３１，３２から輻輳点までの距離Ｌ１からカメラ方向にＬ２移動したとする。

このときの拡縮率αは、次の式により求められる。

ここで、Ｄはカメラ間隔であり、Ｌ１＞＞Ｄであることを考慮すると、ＸはＬ１で近似される。同様に、Ｌ１−Ｌ２＞＞Ｄであることを考慮すると、Ｘ’はＬ１−Ｌ２で近似される。

よって、拡縮率αは、次のように変形される。
α＝Ｘ／Ｘ’＝Ｌ１／（Ｌ１−Ｌ２） ・・・式（２）
図３に戻り、視差量算出部１０２は、カメラ間隔Ｄと拡縮率αとを用いて、ズーム時の適切な視差量ｄを算出する。視差量算出部１０２については、図５を用いて説明する。

図５は、視差量算出部１０２の構成の一例を示すブロック図である。図５に示す視差量算出部１０２は、乗算部１２１、記憶部１２２を備える。記憶部１２２は、左カメラと右カメラとの間隔Ｄを記憶する。記憶部１２２は、この間隔Ｄを予め記憶しておくか、画像処理時に画像処理装置１００に入力されて記憶しておく。

乗算部１２１は、視差量ｄを次の式により算出する。
ｄ＝（α−１）×Ｄ ・・・式（３）
式（３）に示すように、視差量ｄは、拡縮率αとカメラ間隔Ｄとで表される。式（３）で視差量が算出できる理由を以下に説明する。

図６は、拡縮率αと視差量ｄとカメラ間隔Ｄとの関係を示す図である。図６に示すように、被写体１１を仮想スクリーン３３上に投影したとすると、左右の映像で被写体１１には視差量ｄが発生する。このとき、図６に示すように、三角形３７と三角形３８とが相似の関係にあることを用いると次の関係が成り立つ。
Ｄ／２：ｄ／２＝Ｌ１−Ｌ２：Ｌ２ ・・・式（４）
この式（４）を変形すると、次の式（５）が成り立つ。
ｄ＝Ｌ２／（Ｌ１−Ｌ２）×Ｄ ・・・式（５）
さらに、式（５）を変形し、式（６）とする。
ｄ＝（（Ｌ１／（Ｌ１−Ｌ２））−１）×Ｄ ・・・式（６）
ここで、式（２）によりＬ１／（Ｌ１−Ｌ２）にαを代入すると、前述した式（３）が成り立つ。
ｄ＝（α―１）×Ｄ
よって、ズーム時の適切な視差量ｄは、拡縮率αとカメラ間隔Ｄとで算出することができる。求めた視差量ｄは、視差量調節部１０３に出力される。

図３に戻り、視差量調節部１０３は、視差量算出部１０２から視差量ｄを取得する。視差量調節部１０３は、視差量ｄを取得すると、左右の映像の視差量がｄとなるように調節する。視差量調節部１０３は、例えば、左の映像を左に視差量ｄの半分（ｄ／２）シフトし、右の映像を右に視差量ｄの半分（ｄ／２）シフトする。これにより、被写体は左右の映像で視差量ｄを有することになる。これにより、ズーム時に適切な視差量で左右の映像を調節することで、自然な立体映像を生成することができる。

図７は、ズーム時の自然な映像を説明するための図である。図７（Ａ）に示すように、被写体１１に対し、算出された視差量ｄ４０を有するよう立体映像をシフトさせる。これにより、図７（Ｂ）に示すように被写体１１が前に移動するとともに、従来技術の結果（図２）において後ろに移動していた背景の被写体１２も前に移動し、両目が開かない効果がある。

また、視差量調節部１０３は、ズームイン時に、スクリーン面からの被写体の飛び出し量を、輻輳角を用いて制限してもよい。図８は、視差量調節部１０３の構成の一例を示すブロック図である。

図８に示す視差量調節部１０３は、記憶部１３１、シフト制限部１３２、シフト部１３３を備える。記憶部１３１は、例えば、右カメラと左カメラとのカメラ間隔Ｄを記憶する。

シフト制限部１３２は、ズームイン時にスクリーン面からの被写体の飛び出し量を、輻輳角を用いて制限する。このとき、輻輳角θは、拡縮率αの変形式（７）により算出されるＬ２とカメラ間隔Ｄとを用いて、次の式（８）により算出される。
Ｌ２／Ｌ１＝（α―１）／α ・・・式（７）
θ＝２ｔａｎ^−１（Ｄ／（２×Ｌ２）） ・・・式（８）
なお、Ｌ１は、カメラの角度などのカメラパラメータにより事前に算出されておいてもよく、事前に設定されておいてもよい。

シフト制限部１３２は、算出した輻輳角θが一定の値以上になった場合、それ以上前に被写体を移動させないようにするため、左右の映像のシフトを行わない。よて、シフト制限部１３２は、輻輳角θが所定値未満のときに視差量ｄをシフト部１３３に出力し、輻輳角θが所定値以上の場合に視差量ｄをシフト部１３３に出力しない。所定値は、例えば、１度とする。この１度は、３Ｄコンソーシアムの３ＤＣ安全ガイドラインに基づく値である。

シフト部１３３は、シフト制限部１３２から取得した視差量ｄを用いて、左右の映像を水平方向にシフトする。シフトする量は、それぞれの映像に対してｄ／２である。

＜動作＞
次に、実施例１における画像処理装置１００の動作について説明する。図９は、実施例１における画像処理の一例を示すフローチャートである。

図９に示すステップＳ１０１で、拡縮率検出部１０１は、ズームイン（拡大）、ズームアウト（縮小）時の映像から拡縮率αを検出する。拡縮率αは、公知の求め方を用いればよい。

ステップＳ１０２で、視差量算出部１０２は、拡縮率α−１とカメラ間隔Ｄとを乗算することにより視差量ｄを算出する。

ステップＳ１０３で、視差量調節部１０３は、例えば、視差量ｄの半分ずつ、左右の映像を水平方向にシフトし、視差量を調節する。これにより、ズーム時に適切な視差量で映像をシフトすることができ、自然な立体映像を生成することができる。

図１０は、視差量調節部１０３のシフト制限処理の一例を示すフローチャートである。図１０に示す処理は、図９に示すステップＳ１０３で行われてもよい。

ステップＳ２０１で、シフト制限部１３２は、拡縮率αの式から算出されるＬ２とカメラ間隔Ｄとを用いて式（８）により、輻輳角θを算出する。

ステップＳ２０２で、シフト制限部１３２は、算出した輻輳角θが所定値以上であるか否かを判定する。輻輳角θが所定値以上であれば（ステップＳ１０２−ＹＥＳ）、この処理を終了し、輻輳角θが所定値未満であれば（ステップＳ１０２−ＮＯ）ステップＳ２０３に進む。

ステップＳ２０３で、シフト部１３３は、視差量分、左右の映像のいずれか、又は両方の映像を合計視差量分、水平方向にシフトして視差量を調節する。これにより、輻輳角が所定値以上の場合、ステップＳ２０３の処理を行わないことで、被写体が必要以上に飛び出すことを制限することができる。

以上、実施例１によれば、シフトする視差量を拡縮率から算出することで、例えば、ズームイン時に被写体が前方に定位する自然な立体映像の生成を可能とする。

（撮像系における無限遠点の視差量）
ここで、実施例１において撮像系における無限遠点の視差量が変化しないことを保証する。

図１１は、無限遠点の視差量が変化しないことを説明するための図である。図１１に示すように、無限遠点の視差量は、左カメラ３１と右カメラ３２のカメラ間隔Ｄと同じであり、α倍ズームインするとαＤとなる。

このままでは両目が開いてしまうことになるが、実施例１における処理を適用することで、α倍にズームインした時の視差量ｄは、（α―１）Ｄであるため、次の式が成り立つ。
αＤ−（α−１）Ｄ＝Ｄ ・・・式（９）
この式（９）は、ズームイン時において、無限遠点の視差量が変化しないことが保証できることを示している。よって、実施例１では、無限遠点でも視差量が変化せずに、自然な立体映像を生成することができる。

なお、ズームアウトした時の視差量の調節処理は、ズームインした時の視差量の調節処理と同様にして行えばよい。

［実施例２］
次に、実施例２における画像処理装置２００について説明する。実施例２では、実際のスクリーン幅に合わせて視差量を補正する。実際のスクリーン幅とは、映像が表示される画面の幅である。

＜構成＞
図１２は、実施例２における画像処理装置２００の構成の一例を示すブロック図である。図１２に示す画像処理装置２００は、拡縮率検出部１０１、視差量算出部２０１、視差量補正部２０２、視差量調節部２０３を備える。拡縮率検出部１０１は、実施例１と同様の機能を有するので、説明を省略する。

視差量算出部２０１は、実施例１同様にして算出した視差量ｄを視差量補正部２０２に出力する。

視差量補正部２０２は、取得した視差量ｄに対し、実際のスクリーン面の幅に合わせて視差量を補正する。このとき、補正後の視差量をｄ１とする。視差量補正部２０２は、仮想スクリーン面と実際のスクリーン面とが相似の関係にあることを用いて視差量ｄ１を求める。

図１３は、仮想スクリーン５１面と実際のスクリーン５２面との関係を示す図である。図１３に示すように、仮想スクリーン５１面と実際のスクリーン５２面とは相似の関係が成り立つ。

よって、仮想スクリーン５１の幅をＷ２、視差量をｄとし、実際のスクリーン５２の幅をＷ１、補正された視差量をｄ１とする。次の式（１０）が成り立つ。
ｄ：ｄ１＝Ｗ２：Ｗ１ ・・・式（１０）
式（１０）を変形すると、ｄ１は式（１１）により算出される。
ｄ１＝ｄ×（Ｗ１／Ｗ２） ・・・式（１１）
視差量補正部２０２は、式（１１）により補正された視差量ｄ１を算出する。算出した視差量ｄ１は、視差量調節部２０３に出力される。なお、仮想スクリーンの幅Ｗ２は、次の式（１２）により算出される。
Ｗ２＝２×ｔａｎ（θ１／２）×Ｌ１ ・・・式（１２）
θ１：撮像時のカメラにおける水平方向の画角
Ｌ１：撮影時のカメラから輻輳点までの距離
図１２に戻り、視差量調節部２０３は、視差量補正部２０２から取得した視差量ｄ１を用いて、実施例１と同様にして左右の映像の視差量を調節する。

（視聴距離）
次に、実際のスクリーンにおける視聴距離について説明する。図１４は、実際のスクリーンにおける視聴距離の一例を示す図である。図１４に示すように、距離Ｌ３を、実施のスクリーンから目までの距離とする。

このとき視聴距離Ｌ３は、以下の式（１３）により算出される。
Ｌ３＝（１／２）×Ｗ１／ｔａｎ（θ２／２） ・・・式（１３）
Ｗ１：実際のスクリーン面の幅
θ２：水平方向の基準画角
水平方向の基準画角は、目の視聴できる角度によって決まる。

（補正後の視差量）
次に、補正後の視差量ｄ１の一例を示す。図１５は、視差量ｄ１の一例を示す図である。図１５に示す例は、次のパラメータが設定されている。
θ１＝３９．６度（３５ｍｍフルサイズデジタル一眼レフカメラで、焦点距離は５０ｍｍ）
Ｗ１＝８１９ｍｍ（３７型ディスプレイ）
Ｌ１＝１００００ｍｍ（輻輳点をカメラから１０ｍの位置に設定）
Ｄ＝６５ｍｍ（一般的な人間の目の幅）
視差量補正部２０２は、式（３）、式（１１）、式（１２）を用いて拡縮率αを変動させると、図１５に示す補正後の視差量ｄ１を算出できる。例えば、拡縮率αが２のときは、補正後の視差量ｄ１は、７．３９ｍｍであり、拡縮率αが３のときは、補正後の視差量ｄ１は、１４．７８ｍｍである。視差量補正部２０２は、ズーム時の拡縮率αに応じて算出した補正後の視差量ｄ１を視差量調節部２０３に出力する。

（被写体の動き）
次に、図１５で説明したパラメータを用いて、スクリーン（ディスプレイ）の大きさの違いによる被写体の動きについて説明する。

図１６は、１００００ｍｍのディスプレイ、拡縮率２倍の被写体の動きを示す図である。図１６に示すように、拡縮率α＝２、Ｗ１＝１００００、水平の基準画角＝３９．６度とするとき、視聴距離は、式（１３）により、１３．９ｍが望ましい。

例えば、拡縮率αを２にしたとき、各被写体は、図１６に示す位置に見える。例えば、被写体１１は、実際のスクリーン面から飛び出す方向の１．８ｍの位置に見え、被写体１２は、実際のスクリーン面から奥行き方向の２．２ｍの位置に見える。

図１７は、１００ｍｍのディスプレイ、拡縮率２倍の被写体の動きを示す図である。図１７に示すように、拡縮率α＝２、Ｗ１＝１００、水平の基準画角＝３９．６度とするとき、視聴距離は、式（１３）により、１３９ｍｍが望ましい。

例えば、拡縮率αを２にしたとき、各被写体は、図１７に示す位置に見える。例えば、被写体１１は、実際のスクリーン面から飛び出す方向の１．８ｍｍの位置に見え、被写体１２は、実際のスクリーン面から奥行き方向の３２ｍｍの位置に見える。

これにより、実際のスクリーンの幅に合わせて視差量を調節することで、実際のスクリーン幅に応じて自然な立体映像を生成することができる。

＜動作＞
次に、実施例２における画像処理装置２００の動作について説明する。図１８は、実施例２における画像処理の一例を示すフローチャートである。

図１８に示すステップＳ３０１で、拡縮率検出部１０１は、ズームイン（拡大）、ズームアウト（縮小）時の映像から拡縮率αを検出する。拡縮率αは、公知の求め方を用いればよい。

ステップＳ３０２で、視差量算出部２０１は、拡縮率α−１とカメラ間隔Ｄとを乗算することにより視差量ｄを算出する。

ステップＳ３０３で、視差量補正部２０２は、視差量ｄを、実際のスクリーン幅に合わせて補正し、補正後の視差量ｄ１を算出する。補正後の視差量ｄ１は、式（１１）により算出される。

ステップＳ３０４で、視差量調節部２０３は、補正後の視差量ｄの半分ずつ、左右の映像を水平方向にシフトし、視差量を調節する。これにより、実際のスクリーンの幅に合わせた適切な視差量で映像をシフトすることができ、自然な立体映像を生成することができる。

（表示系の無限遠点の視差量）
ここで、実施例２において表示系における無限遠点の視差量が変化しないことを保証する。

図８で説明した通り、撮像系における無限遠点の視差量はDであることから、表示系における無限遠点の視差量ｄ２は、次の式（１４）により算出される。
ｄ２＝Ｄ×（Ｗ１／Ｗ２） ・・・式（１４）
Ｄ：カメラ間隔
Ｗ１：実際のスクリーン面の幅
Ｗ２：仮想スクリーン面の幅
また、視聴距離を考慮に入れた無限遠点の視差量ｄ３は、次の式（１５）により算出される。
ｄ３＝ｄ２×（Ｌ４／Ｌ３） ・・・式（１５）
Ｌ３：実際のスクリーンを見る際の視聴距離
Ｌ４：仮想スクリーンを見る際の視聴距離
Ｌ４＝（１／２）×Ｗ２／ｔａｎ（θ２／２） ・・・式（１６）
Ｌ３＝（１／２）×Ｗ１／ｔａｎ（θ２／２） ・・・式（１３）
ここで、式（１３）と式（１４）と式（１６）とを式（１５）に代入すると、ｄ３＝Ｄとなり、表示系における無限遠点の視差量が変化しないことが保証されたことを示す。

なお、撮影時のカメラ間隔Ｄが目の幅以上の場合、目が外に開く可能性がある。よって、この値Ｄを眼間距離Ｄ’に補正することが望ましい。例えば、表示系では、（−Ｄ＋Ｄ’）／β（β＝Ｌ４／Ｌ３（仮想スクリーンを見る際の視聴距離／実際のスクリーンを見る際の視聴距離））分、視差量調節部２０３が左右の映像をシフトすればよい。眼間距離Ｄ’は、例えば、一般的な人間の目の幅である６５ｍｍに設定しておけばよい。

以上、実施例２によれば、シフトする視差量を拡縮率及び実際のスクリーン幅に基づき算出することで、例えば、ズームイン時に被写体が前方に定位する自然な立体映像の生成を可能とする。

なお、ズームアウトした時の視差量の調節処理は、ズームインした時の視差量の調節処理と同様にして行えばよい。

［実施例３］
次に、実施例３における画像処理装置３００について説明する。実施例３では、光軸のずれを補正して、補正量をカメラ間隔に反映する。

＜構成＞
図１９は、実施例３における画像処理装置３００の構成の一例を示すブロック図である。図１９に示す画像処理装置３００は、光軸ズレ補正部３０１、拡縮率検出部３０２、視差量算出部３０３、視差量調節部３０４を備える。

図１９に示す光軸ズレ補正部３０１は、レンズと撮像素子との間の光軸のズレ量を計測し、このズレ量を用いて左右の映像を補正する。光軸ズレ補正については、公知の技術を用いればよい。光軸ズレ補正部３０１は、実際のスクリーン面における水平方向の補正量ｄ４を視差量算出部３０３に出力する。

視差量算出部３０３は、補正量ｄ４を用いてカメラ間隔Ｄを修正する。補正量算出部３０３は、例えば、次の式（１７）を用いてカメラ間隔Ｄを修正する。修正後のカメラ間隔をＤ１とする。
Ｄ１＝Ｄ＋ｄ４×（Ｗ２／Ｗ１） ・・・式（１７）
視差量算出部３０３は、修正後のカメラ間隔Ｄ１と拡縮率αとを用いて視差量ｄ５を式（１８）により算出する。
ｄ５＝（α−１）×Ｄ１ ・・・式（１８）
算出された視差量ｄ５は、視差量調節部３０４に出力される。

視差量調節部３０４は、視差量ｄ５を用いて、光軸ズレ補正後の左右の映像を補正する。補正処理は、実施例１で説明した処理と同様である。

＜動作＞
次に、実施例３における画像処理装置３００の動作について説明する。図２０は、実施例３における画像処理の一例を示すフローチャートである。

図２０に示すステップＳ４０１で、光軸ズレ補正部３０１は、公知の技術を用いて左右の映像の光軸のズレを補正する。水平方向の補正量を視差量算出部３０３に出力する。

ステップＳ４０２で、拡縮率検出部３０２は、ズームイン（拡大）、ズームアウト（縮小）時の光軸ズレ補正後の映像から拡縮率αを検出する。拡縮率αは、公知の求め方を用いればよい。

ステップＳ４０３で、視差量算出部３０３は、光軸ズレ補正部３０１により補正した水平方向のｄ４を用いてカメラ間隔Ｄを式（１７）により修正する。

ステップＳ４０４で、視差量算出部３０３は、拡縮率α−１と修正後のカメラ間隔Ｄ１とを乗算することにより視差量ｄ５を算出する。

ステップＳ４０５で、視差量調節部３０４は、例えば、視差量ｄ５の半分ずつ、左右の映像を水平方向にシフトし、視差量を調節する。これにより、光軸ズレを補正していても、ズーム時に適切な視差量で映像をシフトすることができ、自然な立体映像を生成することができる。なお、実施例３においても、実施例２における実際のスクリーン幅に合わせて視差量を補正するようにしてもよい。また、実施例３でも、実施例１における輻輳角によるシフト制限を行ってもよい。

以上、実施例３によれば、シフトする視差量を拡縮率及び光軸ズレ補正後のカメラ間隔に基づき算出することで、例えば、ズームイン時に被写体が前方に定位する自然な立体映像の生成を可能とする。

なお、ズームアウトした時の視差量の調節処理は、ズームインした時の視差量の調節処理と同様にして行えばよい。

［変形例］
図２１は、変形例における画像処理装置４００の構成の一例を示すブロック図である。図２１に示すように、画像処理装置４００は、制御部４０１、主記憶部４０２、補助記憶部４０３、ドライブ装置４０４、入力部４０６、表示部４０７、撮像部４０８、４０９を備える。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部４０１は、主記憶部４０２や補助記憶部４０３に記憶されたプログラムを実行する演算装置であり、入力部４０６や記憶装置からデータを受け取り、演算、加工した上で、表示部４０７や記憶装置などに出力する。

また、制御部４０１は、補助記憶部４０３などに記憶されている画像処理プログラムを実行し、実施例において説明した画像処理を行う。

主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４００にインストールされる。インストールされた所定のプログラムは、画像処理装置４００により実行可能となる。

入力部４０６は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０７の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部４０６は、ユーザが制御部４０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部４０７は、例えばＬＣＤ（Liquid Crystal Display）等であり、制御部４０１から入力される表示データに応じた表示が行われる。なお、表示部４０７は、外部に設けられてもよく、その場合は、画像処理装置４００は、表示制御部を有する。

撮像部４０８は、例えばＣＣＤ（Charge Coupled Device）を有し、例えば左目用の撮像画像を生成する。

撮像部４０９は、例えばＣＣＤ（Charge Coupled Device）を有し、例えば右目用の撮像画像を生成する。撮像部４０８、４０９により撮像された画像を含む映像は、制御部４０１により、各実施例で説明した処理で視差量を調節される。

画像処理装置４００は、例えば複数のカメラを有する撮影装置、携帯端末装置などである。また、画像処理装置４００は、撮像部４０８、４０９を別装置とし、別装置から左右の映像を取得したり、内部に記憶しておいた左右の映像を取得したりする場合は情報処理装置にも適用可能である。

前述した各実施例で説明した各部は、例えば、制御部４０１により実現されうる。また、各実施例における画像処理装置を１又は複数の半導体集積化回路として、携帯端末装置や撮影装置や情報処理装置などに実装することも可能である。

また、前述した実施例で説明した画像処理を実現するためのプログラムを記録媒体に記録することで、実施例での画像処理をコンピュータに実施させることができる。

また、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末装置に読み取らせて、前述した制御処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

Claims (5)

1. 立体映像を処理する画像処理装置であって、
   複数のカメラにより撮像された立体映像を入力として受け取り、前記立体映像中の被写体が拡大又は縮小される場合に、拡大または縮小前の前記被写体の第１位置から前記複数のカメラまでの距離と、拡大又は縮小後の前記被写体の第２位置から前記複数のカメラまでの距離とに基づいて前記被写体の拡縮率を検出する拡縮率検出部と、
   撮影時における前記複数のカメラの間隔をＤ、前記拡縮率をα、視差量をｄとしたときに、
   ｄ＝（α−１）×Ｄ
   により前記視差量を算出する視差量算出部と、
   前記視差量算出部により算出された視差量を用いて前記立体映像を形成する右画像と左画像を水平方向にシフトさせて視差を調節する視差量調節部と、
   を備える画像処理装置。
2. 前記視差量算出部により算出された視差量を、立体映像が表示されるスクリーンの幅に応じて補正する視差量補正部をさらに備え、
   前記視差量調節部は、
   補正された視差量を用いて前記立体映像の視差量を調節する請求項１記載の画像処理装置。
3. 前記視差量調節部は、
   前記視差量に基づく前記スクリーンからの被写体の飛び出し量を、輻輳角を用いて制限する制限部を備える請求項２記載の画像処理装置。
4. 立体映像を処理する画像処理装置に実行される画像処理方法であって、
   複数のカメラにより撮像された立体映像を入力として受け取り、
   前記立体映像中の被写体が拡大又は縮小される場合に、拡大または縮小前の前記被写体の第１位置から前記複数のカメラまでの距離と、拡大又は縮小後の前記被写体の第２位置から前記複数のカメラまでの距離とに基づいて前記被写体の拡縮率を検出し、
   撮影時における前記複数のカメラの間隔をＤ、前記拡縮率をα、視差量をｄとしたときに、ｄ＝（α−１）×Ｄにより前記視差量を算出し、
   算出された前記視差量を用いて前記立体映像を形成する右画像と左画像を水平方向にシフトさせて視差を調節する画像処理方法。
5. 複数のカメラにより撮像された立体映像を入力として受け取り、
   前記立体映像中の被写体が拡大又は縮小される場合に、拡大または縮小前の前記被写体の第１位置から前記複数のカメラまでの距離と、拡大又は縮小後の前記被写体の第２位置から前記複数のカメラまでの距離とに基づいて前記被写体の拡縮率を検出し、
   撮影時における前記複数のカメラの間隔をＤ、前記拡縮率をα、視差量をｄとしたときに、ｄ＝（α−１）×Ｄにより前記視差量を算出し、
   前記算出された視差量を用いて前記立体映像を形成する右画像と左画像を水平方向にシフトさせて視差を調節する、
   処理をコンピュータに実行させるための画像処理プログラム。

Images