JP3653790B2

JP3653790B2 - 3D electronic zoom device and 3D image quality control device

Info

Publication number: JP3653790B2
Application number: JP12339595A
Authority: JP
Inventors: 謙也魚森
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1995-05-23
Filing date: 1995-05-23
Publication date: 2005-06-02
Anticipated expiration: 2020-06-02
Also published as: JPH08317429A

Description

【０００１】
【産業上の利用分野】
本発明は，観察者が自然な立体視をすることが出来る様な立体電子ズーム装置と立体画質制御装置に関するものである。
【０００２】
【従来の技術】
従来の立体画像撮像装置は、例えば図９に示すようなものがある。これは、２台のカメラを平行に設置し、２眼式立体画像の左右画像を同時に撮影出来るものである。また、図１０(a)は従来の電子ズーム装置の構成図、図１０(b)は電子ズームの動作を示す図である。図１０(ａ)に示すように、撮像された画像は画像メモリ８を利用した電子ズーム処理により、図１０(ｂ)の入力画像の一部分を各画素値の内挿処理により出力画像の大きさまで拡大、または縮小する。通常図１０（ｂ）の斜線領域は画面中央に選ばれ、電子ズーム時に光軸がずれないように設定される。
【０００３】
このような従来例では図１１に示す様に、２台のカメラで構成される立体画像撮像においては、撮像された被写体の画像は、その水平位置がお互いにずれている。このずれ量を両眼視差と呼ぶが、両眼視差の存在により、立体画像観察者は被写体が立体的に見えるのである。ここで観察者が立体画像を立体的に観察できるには、この両眼視差の大きさはある値よりも小さくなければならない。これよりも大きな両眼視差を観察者が見るともはや立体ではなく、単なる２重の画像が見えるだけである。
【０００４】
また、従来の立体映像の画質制御回路としては、例えば特開平４−３５４９１号公報に開示されており、図１２に示す構成となっている。この構成では、奥行き感調整手段９により左右画像の位相差を変化させて、被写体を立体表示手段１１の表示面の前後で観察者の好みの位置に設定する。この際に、表示される被写体像と観察者の距離が変化するのに対し被写体の大きさが変化しない違和感を、奥行き感調整手段９に連動したズーミング調整手段１０を図の様に講じることにより観察者に近付く場合は被写体を大きく、遠ざかる場合には小さくなる様に変化させ、被写体の大きさの違和感を軽減するものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、図１１に示すように、２枚の立体画像を従来の電子ズームの手法で拡大すると、両眼視差も拡大され、両眼視差が観察者の許容限界を越えたズーム倍率に設定すると立体画像の観賞が不可能になる。そればかりでなく、２重に見える立体画像は非常に不快な画像となるのが問題であった。また、従来の立体映像の画質制御回路では、図１２のズーミング調整手段１０における画像の拡大縮小時に両眼視差が変化し、これによる被写体と観察者の距離の変化が生じてしまい、被写体の大きさ変化の違和感を完全に除去することが出来ない。また、観察者が感じる大きさの変化の違和感の大きさは、奥行き感調整手段９の制御量から幾何学的に推測される大きさとは異なるものであり、奥行き感調整手段９の制御量から直接ズーム倍率を求めると、観察者の大きさ変化の違和感を完全に除去できなかった。
【０００６】
本発明は上記課題を解決するもので、観察者の大きさ知覚特性と奥行き知覚特性を利用し、観察者の大きさ感覚・奥行き知覚を変化させることなく、両眼融合範囲内に被写体が観察者の両眼融合範囲に収まるように左右画像の切り出し・ズーム処理し、観察者の奥行き感・大きさ感覚を損なうこと無く両眼融合範囲内に立体画像を表示することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の立体電子ズーム装置は上記目的を達成するため、観察者の両眼融合範囲内に表示立体画像が収まるように左右画像の切り出し領域を決定する切り出し領域決定部と、前記切り出し領域決定部の出力を用いて立体画像を切り出す立体画像切り出し部と、前記立体画像切り出し部により指定された切り出し領域を画像処理により拡大もしくは縮小しズーム処理された立体画像を得るズーム部により構成される。
【０００８】
また、本発明の立体画質制御装置は、各画像の水平位相差を変化させる水平位相差制御部と、各画像の水平位相差を変化させる時に観察者が感じる表示被写体の大きさ変化を記憶する大きさ知覚変化量保持部と、前記大きさ知覚変化量保持部の出力と前記水平位相差を用いて水平位相差を変化させることによって生ずる被写体の大きさの違和感を補償するためのズーム倍率と立体画像の奥行き位置が変化しないようなズーム処理を行なう切り出し領域を計算する融合範囲確認部と、前記融合範囲確認部の出力に従って画像の切り出し・ズーム処理を行なうズーム部により構成される。
【０００９】
【作用】
本発明は、前記した構成により、観察者が常に両眼立体視可能な電子ズーム処理を行なった立体画像を得る。また、各画像の水平位相を変化させて被写体を観察者の両眼融合範囲内に設定する場合、観察者が知覚する被写体の大きさ変化の違和感の特性を用いて、かつ、表示される被写体の３次元位置が出来る限り変化しない様に、各画像の最適な領域を切り出してズーム処理することにより、観察者の奥行き感・大きさ感覚を損なうことの無い立体画像を得る。
【００１０】
【実施例】
図１は，本発明の第１の実施例における立体電子ズーム装置の構成を示すものである。図１において、１、２はレンズ、５、６はカメラ、１３は立体画像切り出し部、１４はズーム部、１５は切り出し領域決定部である。以上のように構成された本実施例の立体電子ズーム装置の動作を説明する。
【００１１】
まず、左右のカメラ５，６で撮像された右および左画像信号は立体画像切り出し部１３に入力される。立体画像切り出し部１３は、切り出し領域決定部１５が最も近い被写体までの距離（近点データ）とズーム倍率により決定した右および左画像の切り出し領域を切り出す。そしてズーム部１４により切り出し領域を所定のＴＶ規格の画面の大きさまで拡大することにより、電子ズーム処理されて拡大された左右画像を得る。このズーム処理を行なう時、切り出し領域の水平位置を制御することにより、画像の拡大に伴う両眼視差の増大を補償する動作を切り出し領域決定部１５で行なう。
【００１２】
以下、図２を用いて左右画像の切り出し・拡大動作について、更に詳しく説明する。図２において、被写体は英文字「Ａ」であり、右画像を実線、左画像を破線で示している。ここで、英文字「Ａ」の両眼視差はΔ１である。この場合、右画像の「Ａ」は画面の左側に、左画像の「Ａ」は画面の右側に撮像されており、この立体画像を観察者が見ると、画像表示面よりも手前側に飛び出して見える筈である。これらの画像の中で右画像は実線の領域を切り出し、左画像は破線の領域を切り出し、ズーム処理を行なってズーム処理後の画像を得る。ズーム処理後の画像においても、実線は右画像、破線は左画像を示している。この画像において、Δ２がズーム処理後の被写体「Ａ」の両眼視差となる。ここでズーム倍率をｍとすると、Δ１とΔ２の関係は
【００１３】
【数１】

【００１４】
となる。ここで、観察者が良好に両眼立体視できる両眼視差の最大値は決まっており、視角にして大体数度である。これをΔmaxとすると、ズーム処理後の両眼視差は
【００１５】
【数２】

【００１６】
を満足しなければならない。この条件を、ズーム処理前の切り出し領域（図２）で考慮すると、図２の切り出し領域の中心位置を、画像の中心位置から
【００１７】
【数３】

【００１８】
【数４】

【００１９】
を満たすΔＳL、ΔＳRだけお互いに反対方向に水平方向に移動した点にすれば、電子ズーム後の両眼視差Δ２を観察者の両眼視差許容範囲Δmax以下にすることができる。また、ΔＳL、ΔＳRを
【００２０】
【数５】

【００２１】
【数６】

【００２２】
を満足するように設定すれば、電子ズーム前後において被写体の両眼視差を一定に保つこともできる。切り出し領域決定部１５は、近点データΔ１（最も近い被写体の両眼視差）とズーム倍率ｍから上記の式を満たすΔＳL、ΔＳRを計算し結果を立体画像切り出し部１３に出力する。立体画像切り出し部１３は、切り出し領域の中心を左画像はΔＳL、右画像はΔＳRだけお互いに反対方向に水平方向に移動して各画像を切り出し、これをズーム部１４で拡大する。
【００２３】
また、画像処理による電子ズームについては、既存のビデオカメラに導入されている技術を用いれば簡単に実現できる。
【００２４】
以上の様に本実施例によれば、最も近い被写体の視差（近点データ）とズーム倍率を用いて、観察者の両眼融合範囲内に両眼視差を収めたズーム処理された立体画像を得ることが出来、両眼立体視に支障のない電子ズーム処理された立体画像を生成することが出来る。
【００２５】
図３は，本発明の第２の実施例における立体電子ズーム装置の構成を示すものである。図３において、１、２はレンズ、５、６はカメラ、１３は立体画像切り出し部、１４はズーム部、１５は切り出し領域決定部で、以上は第１の実施例と同じものである。第１の実施例と異なるのは、近点データを視差検出部１６により自動的に求めている点である。以上のように構成された本実施例の立体電子ズーム装置の動作を説明する。
【００２６】
基本的な動作は本発明の第１の実施例と同様である。即ち、左右のカメラで撮像された右および左画像信号は立体画像切り出し部１３に入力され、立体画像切り出し部１３は、切り出し領域決定部１５が最も近い被写体までの距離（近点データ）とズーム倍率により決定した右および左画像の切り出し領域を切り出す。そしてズーム部１４により切り出し領域を所定のＴＶ規格の画面の大きさまで拡大する。
【００２７】
ここで、第１の実施例では最も近い被写体の両眼視差Δ１を手動で入力していたが、本実施例ではこれを視差検出部１６により自動的に検出する。視差検出の手法は種々提案されているが、ここでは相関マッチング処理を用いた手法について説明する。
【００２８】
図４において，大きさＮ×Ｍの左右画像を考える。左画像でｎ×ｎ画素（図では３×３画素）のブロック窓を考える。このブロック窓と同じ画像を右画像で同じサイズの窓を用いて探し，この時の左右のブロック位置のずれを示すベクトル（Δｘ，Δｙ）の水平成分Δｘが，そのブロック窓の中心座標での左右画像の両眼視差となる。基準となる左画像のブロック窓の位置を全画面に渡って平行移動し，全ての場合において右画像の対応するブロックの位置（両眼視差）を求めれば，画面全体の視差地図（画面の各場所での奥行き距離を示したもの）が求められる。ここで画像の座標（ｘ，ｙ）における左右画像のずれ、すなわち両眼視差（Δｘ，Δｙ）は
【００２９】
【数７】

【００３０】
ここで，
【００３１】
【数８】

【００３２】
である。ただし（数８）のΣは、ｎ×ｎのブロック窓内について座標ｘk，ｙkを変化させて絶対値内の総和をとることを示す。両眼視差Δｘ，Δｙの内，奥行き位置を直接示すのはΔｘであり、両眼視差の値が正の時は，基準画像に対して右画像は右側に位置し，左画像は左側に位置し，両眼視差０の奥行き位置より奥側を示し，両眼視差の値が負の時は両眼視差０の奥行き位置より手前側に被写体が存在することを示す。近点データΔ１としては、計算されたΔｘのうち負の値で最も絶対値の大きいものを用いることにより、最も近い被写体の両眼視差Δ１が得られる。
【００３３】
以上の様にして得られた両眼視差Δ１と、使用者に設定されたズーム倍率ｍを用いて切り出し領域決定部１５は（数３）（数４）を満たすΔＳL、ΔＳRを算出し、これに従って立体画像切り出し部１３、ズーム部１４により所定の位置の画像をズーム処理し、観察者が良好に立体視可能な両眼視差の設定の立体画像を得る。
【００３４】
以上の様に本実施例によれば、最も近い被写体の視差（近点データ）とズーム倍率を用いて、観察者の両眼融合範囲内に両眼視差を収めたズーム処理された立体画像を得ることが出来、両眼立体視に支障のない電子ズーム処理された立体画像を生成することが出来る。
【００３５】
なお、本実施例においては各々のカメラが平行に設置されていたが、各々のカメラの光軸がある被写体に向けられる輻輳撮影、また、光学ズームにおいて輻輳角を変化する場合においても本手法は有効である。
【００３６】
また、本発明の第１及び第２の実施例において、最も近い被写体の視差（近点データ）とズーム倍率を用いて切り出し領域を決定したが、最も遠い被写体の視差（遠点データ）を用いても同様に、ズーム処理後の両眼視差を観察者の融合範囲内に収めた立体画像を得ることが出来る。この場合、Δmaxは観察者の遠点での両眼融合可能な最大両眼視差、Δ１は遠点の被写体の両眼視差となり、視差検出部１６は、最も遠い被写体の両眼視差Δ１を検出することになる。
【００３７】
図５は，本発明の第３の実施例における立体画質制御装置の構成図を示すものである。図５において、１３は立体画像切り出し部、１４はズーム部、１６は視差検出部、１７は水平位相差制御部、１８は注視点計算部、１９は大きさ知覚変化量保持部、２０は融合範囲確認部である。
【００３８】
以上のように構成された第３の本実施例の動作を説明する。本実施例では両眼視差を制御したときに生じる観察者などの人が知覚する被写体の大きさの歪みである違和感を、前記制御したときと同じ奥行き位置のまま補正するものである。まず、左右画像は視差検出部１６に入力され、左右画像の両眼視差が計算される。計算方法は第２の実施例（図４）と同じ構成で行なうことが出来る。これにより、画像中の任意の場所の両眼視差が計算される。検出された両眼視差のうち、最も近い位置を示す両眼視差を注視点計算部１８で計算し、これが観察者の両眼融合範囲に収まるように水平位相差制御部１７は左右画像をお互いに逆位相方向に水平方向に平行移動する。例えば、図６(ａ)に示す様に、右画像表示面２２、左画像表示面２３に、点画像ＡR、ＡLが表示され、点Ｐ１の位置に観察者２１が立体視している状態から、左右画像をＤだけ平行移動してずらし、図６(ｂ)に示すようにすると、Ｐ２の位置に被写体を立体視することが出来る。仮に、Ｐ１の位置が画像表示面２２、２３から離れ過ぎると観察者２１は立体視が非常に困難になるので、図６(ｂ)の様に左右画像の水平位相差を制御することにより、立体視し易い画像を得ることになる。
【００３９】
この場合、左右画像を平行移動したのみであるので、表示被写体の大きさは変化しない。通常の３次元世界では被写体が近づくと、被写体の視野角は大きくなる筈であるが、このような制御を行なうと大きさが変化しなくなるので非常に違和感がある。この違和感を取り除くために、立体画像切り出し部１３、ズーム部１４により、被写体の位置が近くなる場合には、拡大ズーム、遠くなる場合には縮小ズームを行なうことによりこの違和感を補償する。但し、図２で説明したように、ズーム処理を行なうと被写体の両眼視差が変化してしまう。
そこで実施例１，２の手法を適用する。また、観察者による被写体の大きさ変化の知覚は、被写体の表示位置から計算される幾何学的大きさの変化とは異なる特性を持っているので、それにより決められたズーム倍率を用いる。これらの２点を考慮して、大きさ知覚変化量保持部１９と融合範囲確認部２０は、左右画像の切り出し位置とズーム倍率を決定する。以下、この動作について更に詳しく説明する。
【００４０】
まず、注視点計算部１８により出力される左右画像のずらし量Ｄから、この制御を行なった場合に観察者が感じる大きさの変化量を大きさ知覚変化量保持部１９が出力する。
これら２つのデータから、融合範囲確認部２０は、大きさ変化を補正するのに必要なズーム倍率と、表示被写体の奥行き位置が変化しない様にズーム処理できる左右画像の切り出し領域を計算し、これをズーム部１４、立体画像切り出し部１３に出力する。この時のズーム倍率は、図８のように幾何学的計算から得られるずらし量Ｄと人の知覚する大きさ補正量（倍率）の関係を用いて決定する。
これにより、被写体の奥行き位置を変化させることなく、観察者が感じる被写体の大きさ変化を補償（即ち、図７（ａ）においてＤだけ水平移動した分の大きさの違和感を人間の知覚量として補償）した、立体画像の画質制御を行うことが出来る。
【００４１】
ここで、図７を用いて切り出し・ズーム処理について更に具体的に説明する。まず、切り出し手法について説明する。図７(ａ)は、左右画像２２、２３をＤだけ水平に位相制御し、観察者２１がＰ３の位置に被写体を認識している状態である。この場合、被写体Ｐ３は水平位相制御前と比較して手前側に移動しているので、被写体は大きくなるはずである。そこで、ズーム処理により左右画像を拡大し、これを補正するが、このまま画面の中央をｍ倍に拡大すると、Ｐ３の両眼視差ＤLRもｍ倍に拡大され、Ｐ３の奥行き位置も変化してしまう。例えば、ＡL,ＡRの水平座標をそれぞれx１,x２とすると、両眼視差x１−x２（＝ＤLR）が、ズーム処理後にはｍ（x１−x２）になるわけである（図７(ｂ)）。そこで、ズーム処理を行なう時、左画像は
【００４２】
【数９】

【００４３】
だけ、中心から右側に水平方向に平行移動した領域を、右画像も（数９）だけ、中心から左側に水平方向に平行移動した領域を立体画像切り出し部１３により切り出し、ズーム部１４によりｍ倍に拡大する。これにより、図７(ｃ)のように、ズーム処理後の被写体ＡR”、ＡL”の両眼視差をＤLRに保つことができる。これらの動作は、ズーム倍率ｍと被写体の視差ＤLRから融合範囲確認部２０が計算する。
【００４４】
ズーム倍率ｍは、注視点計算部１８によって得られる左右画像に施す位相差Ｄ（図６・図７）から、融合範囲確認部２０が算出する。この計算は、位相差Ｄから幾何計算で得られる特性ではなく、予め人間が感じる大きさの変化量を測定しておき、この特性を大きさ知覚変化量保持部１９が記憶しておき、これによりズーム倍率ｍを決定する。例えば、図８に示すように、ズーム倍率ｍは幾何学的な計算（破線）よりも小さな値になる。
【００４５】
以上の様に本実施例によれば，観察者の大きさ変化の違和感や、表示される被写体の３次元位置の変化を発生することなく、左右画像の水平位相を変化させて被写体を観察者の両眼融合範囲内に設定することができる。
【００４６】
また、第３の実施例においては、被写体が表示面の手前方向にある場合の例を示したが、被写体が表示面の奥側にある場合も同様に制御できる。この場合、画像の切り出し領域の水平移動は、第３の実施例と反対方向に設定される。
【００４７】
また、第３の実施例において、左右画像の水平位相を被写体が表示面の手前側に移動するように制御する時、拡大ズーム処理を行なう例を示したが、被写体が表示面の奥側に移動する様に左右画像の位相差を制御する場合も考えられれる。この場合、ズーム処理は画像を縮小する処理となる（図８の第２象限の特性を用いることになる）。更に（数９）の計算値の符号が変わり、左右画像の切り出し領域の水平移動は反対方向になる。
【００４８】
なお、本発明の第１〜３の実施例においては、カメラを用いた自然画像の場合を説明したが、同じ手法を用いてＣＧ（コンピュータグラフィックス）においても同じ動作を容易に実現できる。
【００４９】
【発明の効果】
以上のように本発明によれば，観察者が常に両眼立体視可能な電子ズーム処理を行なった立体画像を得ることが出来る。また、画像を観察者の特性に合わせてズーム処理・切り出し処理することにより各画像の水平位相を変化させて、観察者の大きさ変化の違和感と表示される被写体の３次元位置の変化を発生することなく立体画像を観察者の両眼融合範囲内に表示でき、その実用的効果は大きい。
【図面の簡単な説明】
【図１】本発明の第１の実施例における立体電子ズーム装置の構成を示すブロック図
【図２】本発明の第１の実施例における立体電子ズーム処理の動作を示す線図
【図３】本発明の第２の実施例における立体電子ズーム装置の構成を示すブロック図
【図４】本発明の第２の実施例の視差検出部の動作を示すブロック図
【図５】本発明の第３の実施例における立体画質制御装置の構成を示すブロック図
【図６】 (a),(b)は本発明における第３の実施例の水平位相差制御の動作を示す線図
【図７】同第３の実施例の水平位相差制御・ズーム処理の動作を示す線図
【図８】同本実施例のズーム倍率における補正量を示す特性図
【図９】従来の立体画像撮像装置の構成を示す線図
【図１０】 (a)は従来の電子ズーム処理の構成を示すブロック図
(b)は同動作を示す線図
【図１１】従来の立体電子ズーム処理の動作を示す線図
【図１２】従来の立体画質制御装置の構成を示すブロック図
【符号の説明】
１レンズ１
２レンズ２
３撮像素子
４撮像素子
５左画像用カメラ
６右画像用カメラ
１３立体画像切り出し部
１４ズーム部
１５切り出し領域決定部
１６視差検出部
１７水平位相差制御部
１８注視点計算部
１９大きさ知覚変化量保持部
２０融合範囲確認部
２１観察者
２２右画面
２３左画面[0001]
[Industrial application fields]
The present invention relates to a three-dimensional electronic zoom device and a three-dimensional image quality control device that enable an observer to perform natural three-dimensional viewing.
[0002]
[Prior art]
A conventional stereoscopic image pickup apparatus is, for example, as shown in FIG. In this case, two cameras are installed in parallel, and right and left images of a binocular stereoscopic image can be taken simultaneously. FIG. 10A is a configuration diagram of a conventional electronic zoom device, and FIG. 10B is a diagram illustrating the operation of the electronic zoom. As shown in FIG. 10 (a), the captured image is subjected to electronic zoom processing using the image memory 8, and a part of the input image in FIG. 10 (b) is processed up to the size of the output image by interpolation processing of each pixel value. Zoom in or out. Normally, the hatched area in FIG. 10B is selected at the center of the screen and is set so that the optical axis does not shift during electronic zoom.
[0003]
In such a conventional example, as shown in FIG. 11, in the three-dimensional image capturing composed of two cameras, the horizontal positions of the captured subject images are shifted from each other. This amount of deviation is called binocular parallax, but due to the presence of binocular parallax, the stereoscopic image observer can see the subject stereoscopically. Here, in order for the observer to observe a stereoscopic image stereoscopically, the magnitude of this binocular parallax must be smaller than a certain value. When the observer sees a larger binocular parallax, it is no longer a three-dimensional image, but only a double image.
[0004]
A conventional stereoscopic image quality control circuit is disclosed in, for example, Japanese Patent Laid-Open No. 4-35491 and has a configuration shown in FIG. In this configuration, the depth difference adjusting unit 9 changes the phase difference between the left and right images, and the subject is set at a position desired by the observer before and after the display surface of the stereoscopic display unit 11. At this time, by taking the zooming adjusting means 10 linked to the depth feeling adjusting means 9 as shown in the figure, the discomfort that the size of the subject does not change while the distance between the displayed subject image and the observer changes. The subject is changed so as to be larger when approaching the observer and smaller when moving away from the viewer, thereby reducing the uncomfortable size of the subject.
[0005]
[Problems to be solved by the invention]
However, as shown in FIG. 11, when two stereoscopic images are magnified by the conventional electronic zoom technique, binocular parallax is also magnified, and if binocular parallax is set to a zoom magnification that exceeds the allowable limit of the observer, the stereoscopic stereoscopic image Image viewing is impossible. Not only that, the problem is that a stereoscopic image that looks double becomes a very unpleasant image. Further, in the conventional stereoscopic image quality control circuit, the binocular parallax changes when the image is enlarged / reduced in the zooming adjusting means 10 in FIG. 12, resulting in a change in the distance between the subject and the observer, and the size of the subject. It is not possible to completely eliminate the uncomfortable feeling of change. Also, the magnitude of the uncomfortable feeling of change in the size felt by the observer is different from the magnitude geometrically estimated from the control amount of the depth feeling adjusting means 9, and from the control amount of the depth feeling adjusting means 9. When the zoom magnification was obtained directly, the discomfort of the size change of the observer could not be completely removed.
[0006]
The present invention solves the above-mentioned problems, and uses the size and depth perception characteristics of the observer to observe the subject within the binocular fusion range without changing the observer's size and depth perception. An object of the present invention is to cut out and zoom the left and right images so as to be within the binocular fusion range of the viewer and display a stereoscopic image within the binocular fusion range without impairing the viewer's sense of depth and size.
[0007]
[Means for Solving the Problems]
In order to achieve the above-described object, the stereoscopic electronic zoom device of the present invention determines a clipping region determination unit that determines a clipping region for left and right images so that a display stereoscopic image is within the binocular fusion range of an observer, and the clipping region determination unit. 3D, and a zoom unit that obtains a zoomed stereoscopic image by enlarging or reducing the clipping region specified by the stereoscopic image clipping unit by image processing.
[0008]
In addition, the stereoscopic image quality control apparatus of the present invention stores a horizontal phase difference control unit that changes the horizontal phase difference of each image, and a change in the size of the display subject that the observer feels when changing the horizontal phase difference of each image. A size perception change amount holding unit; and a zoom magnification for compensating for a sense of discomfort in the size of the subject caused by changing the horizontal phase difference using the output of the size perception change amount holding unit and the horizontal phase difference. A fusion range confirmation unit that calculates a cutout region that performs zoom processing so that the depth position of the stereoscopic image does not change, and a zoom unit that performs image cutout / zoom processing according to the output of the fusion range confirmation unit.
[0009]
[Action]
With the above-described configuration, the present invention obtains a stereoscopic image that has been subjected to electronic zoom processing that allows the observer to always perform binocular stereoscopic viewing. In addition, when the subject is set within the binocular fusion range of the observer by changing the horizontal phase of each image, the subject to be displayed is displayed using the characteristic of discomfort in the size change of the subject perceived by the observer. A three-dimensional image that does not impair the viewer's sense of depth and size is obtained by cutting out an optimal region of each image and performing zoom processing so that the three-dimensional position of the image does not change as much as possible.
[0010]
【Example】
FIG. 1 shows the configuration of a three-dimensional electronic zoom device according to the first embodiment of the present invention. In FIG. 1, 1 and 2 are lenses, 5 and 6 are cameras, 13 is a stereoscopic image cutout unit, 14 is a zoom unit, and 15 is a cutout region determination unit. The operation of the stereoscopic electronic zoom device of the present embodiment configured as described above will be described.
[0011]
First, the right and left image signals captured by the left and

right cameras

5 and 6 are input to the stereoscopic image cutout unit 13. The stereoscopic image cutout unit 13 cuts out the cutout regions of the right and left images determined by the cutout region determination unit 15 based on the distance (near point data) to the closest subject and the zoom magnification. Then, the zoom unit 14 enlarges the cut-out area to a predetermined TV standard screen size, thereby obtaining an enlarged left and right image by electronic zoom processing. When this zoom process is performed, the cutout area determination unit 15 performs an operation for compensating for the increase in binocular parallax accompanying the enlargement of the image by controlling the horizontal position of the cutout area.
[0012]
Hereinafter, the left / right image cutout / enlargement operation will be described in more detail with reference to FIG. In FIG. 2, the subject is the English letter “A”, the right image is indicated by a solid line, and the left image is indicated by a broken line. Here, the binocular parallax of the English letter “A” is Δ1. In this case, “A” in the right image is captured on the left side of the screen, and “A” in the left image is captured on the right side of the screen. When the observer sees this stereoscopic image, it pops out to the near side of the image display surface. It should be visible. Among these images, the right image cuts out a solid line area, the left image cuts out a broken line area, and performs zoom processing to obtain an image after zoom processing. Also in the image after zoom processing, the solid line indicates the right image and the broken line indicates the left image. In this image, Δ2 is the binocular parallax of the subject “A” after zoom processing. If the zoom magnification is m, the relationship between Δ1 and Δ2 is
[Expression 1]

[0014]
It becomes. Here, the maximum value of the binocular parallax that the observer can satisfactorily view in both eyes is determined, and the viewing angle is approximately several degrees. If this is Δmax, the binocular parallax after zoom processing is
[Expression 2]

[0016]
Must be satisfied. When this condition is considered in the cutout area before zoom processing (FIG. 2), the center position of the cutout area in FIG. 2 is determined from the center position of the image.
[Equation 3]

[0018]
[Expression 4]

[0019]
If the points are moved horizontally in the opposite directions by ΔSL and ΔSR that satisfy the conditions, the binocular parallax Δ2 after the electronic zoom can be set to be equal to or smaller than the binocular parallax allowable range Δmax of the observer. Also, ΔSL and ΔSR are set as follows:
[Equation 5]

[0021]
[Formula 6]

[0022]
Is set so as to satisfy the above, the binocular parallax of the subject can be kept constant before and after the electronic zoom. The cutout region determination unit 15 calculates ΔSL and ΔSR satisfying the above formula from the near point data Δ1 (binocular parallax of the closest subject) and the zoom magnification m, and outputs the result to the stereoscopic image cutout unit 13. The stereoscopic image cutout unit 13 moves the center of the cutout region in the horizontal direction in the opposite direction by ΔSL for the left image and ΔSR for the right image, cuts out each image, and enlarges this with the zoom unit 14.
[0023]
Also, the electronic zoom by image processing can be easily realized by using a technique introduced in an existing video camera.
[0024]
As described above, according to the present embodiment, a zoom-processed stereoscopic image that includes binocular parallax within the binocular fusion range of the observer using the parallax (nearest point data) of the closest subject and the zoom magnification is used. Therefore, it is possible to generate a stereoscopic image that has been subjected to an electronic zoom process that does not hinder binocular stereoscopic vision.
[0025]
FIG. 3 shows the configuration of a three-dimensional electronic zoom device according to the second embodiment of the present invention. In FIG. 3,

reference numerals

1 and 2 denote lenses,

reference numerals

5 and 6 denote cameras, reference numeral 13 denotes a stereoscopic image cutout unit, reference numeral 14 denotes a zoom unit, and reference numeral 15 denotes a cutout region determination unit. The above is the same as in the first embodiment. The difference from the first embodiment is that the near point data is automatically obtained by the parallax detection unit 16. The operation of the stereoscopic electronic zoom device of the present embodiment configured as described above will be described.
[0026]
The basic operation is the same as that of the first embodiment of the present invention. That is, the right and left image signals captured by the left and right cameras are input to the stereoscopic image clipping unit 13, and the stereoscopic image clipping unit 13 zooms in with the distance (near-point data) to the closest subject to the clipping region determination unit 15. The cut-out areas of the right and left images determined by the magnification are cut out. Then, the cutout area is expanded to the size of a predetermined TV standard screen by the zoom unit 14.
[0027]
Here, in the first embodiment, the binocular parallax Δ1 of the closest subject is manually input, but in the present embodiment, this is automatically detected by the parallax detection unit 16. Various methods for detecting parallax have been proposed. Here, a method using correlation matching processing will be described.
[0028]
In FIG. 4, consider a left and right image of size N × M. Consider a block window of n × n pixels (3 × 3 pixels in the figure) in the left image. The right image is searched for the same image as this block window using a window of the same size, and the horizontal component Δx of the vector (Δx, Δy) indicating the deviation of the left and right block positions at this time is represented by the center coordinate of the block window. The binocular parallax of the left and right images. If the position of the block window of the reference left image is translated across the entire screen, and the position of the corresponding block of the right image (binocular parallax) is obtained in all cases, the parallax map of the entire screen (each screen Which shows the depth distance at the place). Here, the shift between the left and right images at the image coordinates (x, y), that is, the binocular parallax (Δx, Δy) is expressed as follows.
[Expression 7]

[0030]
here,
[0031]
[Equation 8]

[0032]
It is. However, Σ in (Equation 8) indicates that the coordinates xk and yk are changed in the n × n block window and the sum in the absolute value is taken. Among the binocular parallaxes Δx and Δy, Δx directly indicates the depth position. When the binocular parallax value is positive, the right image is positioned on the right side and the left image is positioned on the left side with respect to the reference image. The depth side of binocular parallax 0 indicates the far side, and when the binocular parallax value is negative, it indicates that the subject is present on the front side of the binocular parallax 0 depth position. As the near point data Δ1, the binocular parallax Δ1 of the closest subject can be obtained by using the calculated Δx having a negative value and the largest absolute value.
[0033]
Using the binocular parallax Δ1 obtained as described above and the zoom magnification m set by the user, the cutout region determination unit 15 calculates ΔSL and ΔSR satisfying (Equation 3) and (Equation 4). Accordingly, the stereoscopic image cutout unit 13 and the zoom unit 14 zoom the image at a predetermined position to obtain a stereoscopic image with binocular parallax setting that allows the observer to stereoscopically view the image.
[0034]
As described above, according to the present embodiment, a zoom-processed stereoscopic image that includes binocular parallax within the binocular fusion range of the observer using the parallax (nearest point data) of the closest subject and the zoom magnification is used. Therefore, it is possible to generate a stereoscopic image that has been subjected to an electronic zoom process that does not hinder binocular stereoscopic vision.
[0035]
In the present embodiment, each camera is installed in parallel, but this technique is also used in the case of convergence shooting in which the optical axis of each camera is directed to a certain subject, or when the convergence angle is changed in optical zoom. It is valid.
[0036]
In the first and second embodiments of the present invention, the clipping region is determined using the parallax (near point data) of the closest subject and the zoom magnification, but the parallax (far point data) of the farthest subject is used. However, similarly, it is possible to obtain a stereoscopic image in which the binocular parallax after zoom processing is within the fusion range of the observer. In this case, Δmax is the maximum binocular parallax that allows binocular fusion at the far point of the observer, Δ1 is the binocular parallax of the subject at the far point, and the parallax detection unit 16 detects the binocular parallax Δ1 of the farthest subject. Will do.
[0037]
FIG. 5 shows a block diagram of a stereoscopic image quality control apparatus in the third embodiment of the present invention. In FIG. 5, 13 is a stereoscopic image cutout unit, 14 is a zoom unit, 16 is a parallax detection unit, 17 is a horizontal phase difference control unit, 18 is a gaze point calculation unit, 19 is a size perception change amount holding unit, and 20 is a fusion. It is a range confirmation part.
[0038]
The operation of the third embodiment configured as described above will be described. In this embodiment, the sense of incongruity, which is a distortion of the size of the subject perceived by a person such as an observer when binocular parallax is controlled, is corrected at the same depth position as when the control is performed. First, the left and right images are input to the parallax detection unit 16, and the binocular parallax of the left and right images is calculated. The calculation method can be performed with the same configuration as that of the second embodiment (FIG. 4). Thereby, the binocular parallax at an arbitrary place in the image is calculated. Among the detected binocular parallaxes, the binocular parallax indicating the closest position is calculated by the gazing point calculation unit 18, and the horizontal phase difference control unit 17 converts the left and right images to each other so that this is within the binocular fusion range of the observer. To the horizontal direction in the opposite phase direction. For example, as shown in FIG. 6A, the point images AR and AL are displayed on the right image display surface 22 and the left image display surface 23, and the observer 21 is stereoscopically viewed at the position of the point P1. If the left and right images are translated and shifted by D, as shown in FIG. 6B, the subject can be stereoscopically viewed at the position P2. If the position of P1 is too far from the image display surfaces 22 and 23, the observer 21 becomes very difficult to stereoscopically view, so by controlling the horizontal phase difference between the left and right images as shown in FIG. An image that can be easily viewed stereoscopically is obtained.
[0039]
In this case, since the left and right images are only translated, the size of the display subject does not change. In a normal three-dimensional world, when the subject approaches, the viewing angle of the subject should increase, but when such control is performed, the size does not change, which is very uncomfortable. In order to remove this uncomfortable feeling, the stereoscopic image clipping unit 13 and the zoom unit 14 compensate for this uncomfortable feeling by performing enlargement zoom when the subject position is close and reducing zoom when the subject is far away. However, as described in FIG. 2, when the zoom process is performed, the binocular parallax of the subject changes.
Therefore, the methods of the first and second embodiments are applied. Further, the perception of the size change of the object by the observer, than have different properties than the geometric magnitude of the change that is calculated from the display position of the object, using a zoom magnification which is determined by it. Considering these two points, the size perception change amount holding unit 19 and the fusion range confirmation unit 20 determine the cut-out position and zoom magnification of the left and right images. Hereinafter, this operation will be described in more detail.
[0040]
First, the magnitude perception change amount holding section 19 outputs the amount of change of the magnitude felt by the observer when this control is performed from the shift amount D of the left and right images output by the gazing point calculation section 18.
From these two data, the fusion range confirmation unit 20 calculates a zoom magnification necessary for correcting the size change and a left and right image cutout region that can be zoomed so that the depth position of the display subject does not change. Is output to the zoom unit 14 and the stereoscopic image cutout unit 13. The zoom magnification at this time is determined using the relationship between the shift amount D obtained from the geometric calculation and the size correction amount (magnification) perceived by the person as shown in FIG.
This compensates for the change in the size of the subject felt by the observer without changing the depth position of the subject (that is, the sense of discomfort as the amount of human perception is the sense of discomfort due to the horizontal movement of D in FIG. 7A). Compensated), it is possible to control the image quality of a stereoscopic image.
[0041]
Here, the cutout / zoom processing will be described more specifically with reference to FIG. First, the clipping method will be described. FIG. 7A shows a state in which the left and

right images

22 and 23 are horizontally phase-controlled by D, and the observer 21 recognizes the subject at the position P3. In this case, since the subject P3 has moved to the near side compared to before the horizontal phase control, the subject should be larger. Therefore, the left and right images are enlarged by zoom processing and corrected, but if the center of the screen is enlarged m times as it is, the binocular parallax DLR of P3 is also enlarged m times and the depth position of P3 also changes. . For example, if the horizontal coordinates of AL and AR are x1 and x2, respectively, the binocular parallax x1−x2 (= DLR) becomes m (x1−x2) after the zoom process (FIG. 7B). . Therefore, when zoom processing is performed, the left image is [0042].
[Equation 9]

[0043]
Only the region translated in the horizontal direction from the center to the right side is cut out by the stereoscopic image cutout unit 13 and the right image is also moved in the horizontal direction from the center to the left side by (Equation 9). Expand to. As a result, as shown in FIG. 7C, the binocular parallax of the subjects AR ″ and AL ″ after the zoom process can be kept at DLR. These operations are calculated by the fusion range confirmation unit 20 from the zoom magnification m and the parallax DLR of the subject.
[0044]
The zoom magnification m is calculated by the fusion range confirmation unit 20 from the phase difference D (FIGS. 6 and 7) applied to the left and right images obtained by the gazing point calculation unit 18. This calculation is not a characteristic obtained by geometric calculation from the phase difference D, but a change amount of a size felt by a human being is measured in advance, and this characteristic is stored in the size perception change amount holding unit 19, To determine the zoom magnification m. For example, as shown in FIG. 8, the zoom magnification m is smaller than the geometric calculation (broken line).
[0045]
As described above, according to the present embodiment, the subject is viewed by changing the horizontal phase of the left and right images without causing an uncomfortable change in the size of the viewer or a change in the three-dimensional position of the displayed subject. Can be set within the binocular fusion range.
[0046]
In the third embodiment, an example in which the subject is in front of the display surface has been described. However, the same control can be performed when the subject is on the far side of the display surface. In this case, the horizontal movement of the image clipping region is set in the opposite direction to that of the third embodiment.
[0047]
In the third embodiment, an example is shown in which the zoom process is performed when the horizontal phase of the left and right images is controlled so that the subject moves to the front side of the display surface. However, the subject is located on the far side of the display surface. A case where the phase difference between the left and right images is controlled so as to move is also conceivable. In this case, the zoom process is a process of reducing the image (the characteristic of the second quadrant in FIG. 8 is used). Further, the sign of the calculated value of (Equation 9) changes, and the horizontal movement of the cut-out area of the left and right images is in the opposite direction.
[0048]
In the first to third embodiments of the present invention, the case of a natural image using a camera has been described, but the same operation can be easily realized in CG (computer graphics) using the same technique.
[0049]
【The invention's effect】
As described above, according to the present invention, it is possible to obtain a stereoscopic image that has been subjected to electronic zoom processing that allows the observer to always perform binocular stereoscopic viewing. In addition, the horizontal phase of each image is changed by zooming / cutting out the images according to the characteristics of the observer, generating a sense of discomfort in the size change of the observer and a change in the three-dimensional position of the displayed subject. Therefore, the stereoscopic image can be displayed within the binocular fusion range of the observer, and the practical effect is great.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a three-dimensional electronic zoom device according to a first embodiment of the present invention. FIG. 2 is a diagram showing an operation of a three-dimensional electronic zoom process according to the first embodiment of the present invention. FIG. 4 is a block diagram illustrating a configuration of a stereoscopic electronic zoom device according to a second embodiment of the present invention. FIG. 4 is a block diagram illustrating an operation of a parallax detection unit according to the second embodiment of the present invention. FIG. 6 is a block diagram showing the configuration of a stereoscopic image quality control apparatus in the embodiment of the present invention. FIGS. 6A and 6B are diagrams showing the operation of the horizontal phase difference control in the third embodiment of the present invention. FIG. 8 is a characteristic diagram showing the correction amount at the zoom magnification according to the present embodiment. FIG. 9 is a diagram showing the configuration of a conventional stereoscopic image capturing apparatus. FIG. 10A is a block diagram illustrating a configuration of a conventional electronic zoom process.
FIG. 11B is a diagram showing the same operation. FIG. 11 is a diagram showing the operation of a conventional stereoscopic electronic zoom process. FIG. 12 is a block diagram showing the configuration of a conventional stereoscopic image quality control apparatus.
1 Lens 1
2 Lens 2
3 Image sensor 4 Image sensor 5 Left image camera 6 Right image camera 13 Stereo image cutout unit 14 Zoom unit 15 Cutout region determination unit 16 Parallax detection unit 17 Horizontal phase difference control unit 18 Gaze point calculation unit 19 Size perception change amount Holding unit 20 Fusion range confirmation unit 21 Observer 22 Right screen 23 Left screen

Claims

In a stereoscopic image characterized by obtaining a stereoscopic effect by using binocular parallax, the binocular parallax of the display image is within the binocular fusion range of the observer using the binocular parallax and zoom magnification of the display screen. Specified by a cutout region determining unit that determines a cutout region of the left and right images so that a display stereoscopic image can be accommodated, a stereoscopic image cutout unit that cuts out a stereoscopic image using the output of the cutout region determination unit, and the stereoscopic image cutout unit A three-dimensional electronic zoom device comprising a zoom unit that enlarges or reduces a cutout region by image processing to obtain a three-dimensional image that has been subjected to zoom processing.

In a stereoscopic image characterized by obtaining a stereoscopic effect by using binocular parallax, a horizontal phase difference control unit that changes the horizontal phase difference of each image, and a left and right image when changing the horizontal phase difference of each image A magnitude perception change amount holding unit that stores a magnitude change amount smaller than the geometric size of the display subject corresponding to the shift amount, and using the output of the magnitude perception change amount holding unit and the horizontal phase difference A fusion range confirmation unit that calculates a cutout region for performing zoom processing so that the zoom magnification and the depth position of the stereoscopic image do not change in order to compensate for a sense of discomfort in the size of the subject caused by changing the phase difference; and the fusion A three-dimensional image quality control apparatus comprising a zoom unit that performs image segmentation / zoom processing according to an output of a range confirmation unit.