JPWO2011108277A1 - 立体撮像装置および立体撮像方法 - Google Patents

立体撮像装置および立体撮像方法 Download PDF

Info

Publication number
JPWO2011108277A1
JPWO2011108277A1 JP2012503022A JP2012503022A JPWO2011108277A1 JP WO2011108277 A1 JPWO2011108277 A1 JP WO2011108277A1 JP 2012503022 A JP2012503022 A JP 2012503022A JP 2012503022 A JP2012503022 A JP 2012503022A JP WO2011108277 A1 JPWO2011108277 A1 JP WO2011108277A1
Authority
JP
Japan
Prior art keywords
stereoscopic
parallax
image
shooting
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012503022A
Other languages
English (en)
Other versions
JP5432365B2 (ja
Inventor
山下 春生
春生 山下
井東 武志
武志 井東
弘道 小野
弘道 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012503022A priority Critical patent/JP5432365B2/ja
Publication of JPWO2011108277A1 publication Critical patent/JPWO2011108277A1/ja
Application granted granted Critical
Publication of JP5432365B2 publication Critical patent/JP5432365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定する。立体撮像装置(2000)では、表示情報設定部(121)により、立体映像を視聴する環境に関するパラメータである表示パラメータを取得し、制御部(110)により、立体撮影時に、視聴環境を考慮して、立体撮影しようとしているシーンが立体視可能であるか否かを判定する。

Description

本発明は、3次元立体画像(3次元立体映像)を撮像する撮像装置に関し、特に、良好な立体画像(立体映像)表示が可能な左眼用および右眼用の2枚の視差画像(ステレオ画像)を撮像する撮像方法および撮像装置に関する。
立体画像(左眼用画像および右眼用画像)を、独立して左右の目に投影できる表示装置(以下、「立体表示装置」という。)に表示することにより、立体画像を再現させるために、両眼視差が存在する状態で立体画像(左眼用画像および右眼用画像)を撮像する立体撮像装置が知られている。
これらの立体撮像装置は、光学系の数やイメージセンサの数に関して多様な構成のものがあり、また、立体撮像装置は、撮像方式に関しても、並列方式や時分割方式(フレームシーケンシャル方式)など様々な撮像方式を採用している。一般的には、2つの光学系(右眼用の光学系および左眼用の光学系)を有する2眼式の構成の立体撮像装置(2眼式立体画像撮像装置)が用いられることが多い。このような2眼式立体撮像装置には、2つの光学系の光軸の交差角(以下、「輻輳角」という。)等に代表される立体撮像パラメータを可変できるものもある。
また、2つの光学系を用いず1つの光学系を通して左右の視差画像(左眼用画像および右眼用画像)を撮像する立体撮像装置も提案されている(例えば、特許文献3参照)。この立体撮像装置による撮影は、わずかな視差を持たせた2台のカメラによる撮影と等価であり、その撮影原理は、2台のカメラによる撮影(2つの光学系を用いる撮影)原理と同様である。
また、一台のカメラ(撮像装置)を用いて撮影位置を横(水平方向)にずらして2度撮影することにより立体画像(左眼用画像および右眼用画像)を撮像する技法(以下、「2回撮り技法」という。)もある。この2回撮り技法は、静止被写体の撮影に限られ、横(水平方向)へ移動して正しく撮影するためには経験を要するが、簡便であり広い撮影両眼距離(以下、「撮影SB」、「撮影ステレオベース」、「ステレオベース」あるいは「基線長」という。)による撮影が可能であるため、有効な撮影技法である。2回撮り技法による立体撮影を適切に実行させるために、特殊なリグなどを用いずにフリーハンドでの撮影を支援するための機能、例えば、カメラの液晶ディスプレイにガイドを表示するなどの撮影支援機能を有する撮像装置も提案されている。
≪平行法と交差法≫
上記撮像装置により立体撮影・表示を行う技術として、平行法および交差法と呼ばれる撮像手法が知られている。
平行法は、2台のカメラを左右に配置し、その2台のカメラの光軸が平行となる状態で、立体画像(立体映像)を撮影する技術である。平行法では、撮影の際、撮影SBを人の両眼間隔に相当する間隔(約6.5cm)に設定して撮影を行い、表示の際、撮像した立体画像(左眼用画像および右眼用画像)を撮影SB分だけ電気的にずらしてスクリーン上(表示装置の表示画面上)に表示させる。これにより、平行法では、撮影時にカメラの位置で直接見た画像と同じ画像をスクリーン上(表示装置の表示画面上)に表示させることができ、さらに、平行法による立体画像では、被写体までの距離・被写体の大きさなどがそのまま表示装置を用いて再現される。つまり、平行法による立体撮影を行うことで、いわゆる「無歪み撮影」を実現させることができる。
交差法は、2台のカメラ(撮像装置)の光軸に輻輳を付けて撮影する技術である。交差法では、2台のカメラ(撮像装置)の光軸の交差する点(輻輳点)に位置する被写体が表示装置のスクリーン面の位置に定位することを基本として撮影を行う。交差法による立体撮影では、輻輳角を変化させると被写体の定位位置を前後に変化させることが可能である。つまり、交差法による撮影では、所定の被写体を、所定の定位位置に設定しやすいので、交差法による撮影は、映画などの演出等において便利であり、映画界等で広く用いられている。
立体撮影・表示技術において、幾何学的条件に起因する問題点がある。
立体撮影・表示技術では、幾何学的条件により、立体撮影された画像(映像)を立体表示した場合、自然な奥行き感が得られないことがある。これは、幾何学的条件により、奥行き領域(仮想スクリーン(表示スクリーン)より奥の領域)が過剰に(不自然に)圧縮された状態で表示されたり、奥行き領域が過剰に(不自然に)広がった状態で表示されたり、後方発散し融像できない状態で表示されたりすることに起因する。
なお、「幾何学的条件」とは、立体画像撮影時の状態および/または立体画像表示時の状態における立体撮影・表示するための要素の位置関係から幾何学的に決定される条件のことをいう。例えば、幾何学的条件は、以下のものにより決定される。
(A)撮影時
(A1)輻輳角、(A2)レンズの画角(ズーム)、(A3)撮影SB、(A4)焦点距離などの撮影パラメータ。
(B)表示時
(B1)表示装置のサイズ(表示画面サイズ)、(B2)視聴距離。
このように、立体撮影・表示技術では、幾何学的条件により、適切でない視差画像(立体画像)が撮像・表示されるという問題点がある。
さらに、立体撮影・表示技術では、視覚的条件に起因する問題点もある。極端な近景や遠景などを立体撮影した場合、視差の絶対値が大きい状態での視差画像(立体画像)が撮像されることになり、その撮像した視差画像(立体画像)をディスプレイに表示すると、多くの人にとって、当該視差画像(立体画像)は、融像出来ない画像、すなわち、単なる二重像の画像(立体視のできない画像)として認識される。また、当該視差画像(立体画像)が立体視できるものであったとしても、極端に疲れる画像になることもある。このように、立体撮影・表示技術では、人間の視覚特性により、適切でない視差画像(立体画像)が撮像・表示されるという問題点がある。
これらの問題点を解決するために、左右画像(左眼用画像および右眼用画像)から視差を検出し、検出した視差に基づいて視差調整を行い、人間にとって見やすい立体画像を表示する技術が提案されている(例えば、特許文献1、特許文献2参照)。
特許第3157384号公報 特開2004−349736号公報 特公平8−27499号公報
しかしながら、従来技術には、以下のような課題がある。
第1に、立体撮像装置の精度不足(特に、光学的な精度不足)により、適切な立体撮影を行うことができない場合があるという課題がある。
立体撮像において、2つの光学系の間の精度(平行性、輻輳角などの精度)は、極めて重要であり、光学系の精度不足により、例えば、上下にずれたりする(2つの光学系に上下方向のずれが発生する)と前述の融像できる視差の範囲が狭くなり見づらくなる。精度を上げるためには、光学系の機構的な剛性を高める必要があり、大きさ、重量、コストなどの点で課題となる。さらに、立体撮像装置が輻輳角を可変させる構成やズームを備えた構成では、さらに精度確保が困難になる。また、要求される精度の内、上下のずれについては、二枚の画像のマッチングを調べ、ずれの内上下方向のずれ成分を補正するように画像を上下シフトすることにより補正することが原理的に可能である。しかし、左右方向のずれについては、それが、光学系等の精度不足によるずれなのか、それとも、立体撮影による本来の視差なのかを区別できないため、補正は困難である。
さらに、一台のカメラによる手持ちでの二回撮り技法においては、光軸の精度や輻輳角の精度は、許容範囲から遙かに逸脱することが多く、PC等を用いた画像処理による後工程が必須である。しかし、やはり左右方向のずれについては補正量が不明であるため、人間の判断が行える手作業においても決定が困難であり、試行錯誤で最適な画像に調整を行っているのが現状である。
また、左右方向の視差に大きな誤差が含まれると、被写体の定位位置が前後に変動し期待通りならないという課題がある。それにより、自然な奥行き感が損なわれる、あるいは、見やすい撮影が安定してできない等の課題もある。
第2に、撮影時に適切な処理がなされないために、表示時に適切な立体画像(立体映像)の表示ができない(警告しかなされない)という課題がある。
人間の視覚特性により、視差の絶対値が大きい画像をディスプレイに表示すると、融像出来ずに二重像になり立体視できない。仮に、立体視できたとしても極端に疲れる画像になる可能性が高い。
これに対して、左右画像から視差を検出し視差調整を行い見やすい立体画像を表示する表示装置の技術が提案されている(例えば、特許文献1、特許文献2参照)。
これらの技術は、立体画像(立体映像)の表示時に行う処理に関するものであり、表示された立体画像(立体映像)の視差と、それを観察する人間の視覚の融像条件とを用いて、許容される視差範囲に入れる、もしくは、警告するものである。
しかし、実際には、表示時に融像出来ないことが分かり警告されても対処の方法はなく手遅れであり。
本来は、撮影すべきシーンを撮影し、それをディスプレイに表示したときに、疲れずに立体視できるかどうかを、撮影するときに予め知ることができるのが望まれる。
しかし、実際のシーンが撮影されてからそれらがどのように表示され定位されるかは、撮影時の多数のパラメータ(SB、画角、ズーム倍率、輻輳角など)と、表示時のパラメータ(表示のサイズ、視聴距離など)とにより決定されるため、従来、撮影時に表示状態や定位位置を判定することは出来なかった。
第3に、撮影時に、立体撮影される画像(映像)(立体画像(映像))が、立体視ができ疲れないで見ることができるのかどうかを、実際に人間が見たときの感覚に近づけて判定することができないという課題がある。
従来技術では、撮影時に、撮影時のパラメータや表示時のパラメータから、表示状態や定位位置を判定できたとしても、撮影シーンによっては、検出した視差を用いて正しく判定できない場合がある。
これは、異なるシーンにおいて、最遠点と最近点とが、それぞれ、同じであっても、最遠点と最近点との画面上の位置関係によって見やすさが変わることに起因する。
例えば、最遠点と最近点とが画面上で近接する場合には、融像が困難になる。逆に言えば、最遠点と最近点とが画面上である程度離れている場合、融像できる。
さらには、実際の最遠点と最近点とは、画面上で離れていたため融像出来る判定されたにもかかわらず、最遠点ではない遠景と最近点でない近景とが、画面上で近接していたため、融像できない場合も存在する。すなわち、このような場合、従来技術では、融像の可否については、誤判定されることになる。
したがって、最遠点と最近点の距離や角度に従うだけでは、見やすさを正しく判断できないという課題がある。
また、最遠点と最近点で見やすさが決まるシーンであったとしても、最遠点および最近点のいずれかのみが融像できない場合には、従来の視差調節を用いて双方を融像可能にできる場合もあるが、一般に、両方が融像域外の場合や、一方を融像域内に入れると他方が融像域外になる場合が多く、従来技術では、これらのシーンは、立体視できる条件での撮影はできないと判定されることになる。
撮影SBを小さくする方法も存在するが、撮影SBを可変にするカメラの構成は複雑となり、また、撮影SBを小さくすると、撮像画像は、遠近感が乏しい画像になりがちである。
本発明は、上記課題を鑑みて、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得する立体撮像装置、立体撮像方法およびプログラムを提供することを目的とする。
また、本発明は、上記課題を鑑みて、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、立体撮像方法およびプログラムを提供することを目的とする。
第1の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、被写体像の光学像を形成する光学系と、撮像部と、撮像パラメータ取得部と、表示パラメータ取得部と、視差検出部と、記録映像生成部と、
前記形成した光学像に基づいて前記立体映像を生成する撮像部と、立体視可否判定部と、を備える。
撮像パラメータ取得部は、光学像を形成した際の光学系に関する撮像パラメータを取得する。
表示パラメータ取得部は、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。
視差検出部は、立体映像の視差を検出する。
記録映像生成部は、生成した立体映像から、記録用の立体映像を生成する。
立体視可否判定部は、撮像パラメータ、表示パラメータおよび検出した視差に基づいて、記録用の立体映像を生成する前に、生成した立体映像に対する立体視のし易さまたは立体視のしにくさを、所定の判定条件に基づいて判定する。
この立体撮像装置では、表示パラメータ取得部により、立体映像を視聴する環境に関するパラメータである表示パラメータを取得し、立体視可否判定部により、立体撮影時に、視聴環境を考慮して、立体撮影しようとしているシーンについての立体視のし易さまたは立体視のしにくさを判定することができる(例えば、立体視可能であるか否かを判定することができる)。
なお、「表示パラメータ」とは、例えば、立体映像を表示させる環境(視聴環境)における表示要素(左眼の位置、右眼の位置、表示スクリーン(のサイズ、位置、幅)、主被写体の定位位置等)に関するパラメータである。
第2の発明は、第1の発明であって、表示パラメータ取得部は、少なくとも視聴者から立体映像を表示するスクリーンまでの視聴距離に関する情報を含む表示パラメータを取得する。立体視可否判定部は、所定の判定条件を、視聴距離が短いほど生成した立体映像に対する立体視しにくくなる判定条件に変更し、変更後の判定条件に基づいて判定する。
第3の発明は、第1の発明であって、撮影パラメータ取得部は、少なくとも光学像を形成した際の光学系におけるズーム倍率に関する情報を含む撮影パラメータを取得する。立体視可否判定部は、所定の判定条件を、ズーム倍率が大きいほど生成した立体映像に対する立体視しにくくなる判定条件に変更し、変更後の判定条件に基づいて判定する。
第4の発明は、第3の発明であって、
(1)立体撮影時において、第1視点および第2視点を結ぶ線分SB1から仮想スクリーンまでの距離をL1とし、仮想スクリーンの幅をW1とし、線分SB1の中点を通る仮想スクリーン面への垂線の仮想スクリーンとの交点を輻輳点としたときの視差角をα1とし、撮影シーンに含まれる任意の被写体に輻輳点を合わせたときの視差角β1とし、ズーム倍率をzとし、
(2)立体表示時において、第1視点および第2視点を結ぶ線分SB2から表示スクリーンまでの距離をL2とし、表示スクリーンの幅をW2とし、
(3)立体表示時において、第1視点映像および/または第2視点映像に対して、画像シフトによる視差調整を行うことができる場合、立体表示時において、当該視差調整を行った場合の視差調整量に相当する視差調整角をΔαとし、
(4)立体視可能範囲を示す相対視差角をδとしたとき、
立体視可否判定部は、撮影シーン中の任意の被写体について、
|z・(W2/W1)・(L1/L2)・(α1−β1)−Δα|<δ
を満たすか否かを判定することにより、立体撮影しようとしているシーンが立体視可能であるか否かを判定する。
ここで、表示時における表示スクリーン上に輻輳点を設定したときの視差角(輻輳角)をα2とし、上式のβ1に対応する被写体の定位位置に輻輳点を設定したときの視差角(輻輳角)をβ2とすると、上式は、|α2−β2|<δと等価である。したがって、この立体撮像装置では、撮影時の撮影要素(被写体、仮想スクリーン、左右視点(撮像点)、ズーム倍率等)の状態および表示時の表示要素(被写体(定位位置)、表示スクリーン、左右視点等)の状態を考慮して、撮影時に、立体撮影しようとしているシーンが立体視可能であるか否かを適切に判定することができる。
なお、立体表示時において、当該視差調整を行った場合の視差調整量に相当する視差調整角Δαは、立体撮像装置において、表示パラメータの1つとして取得される。
第5の発明は、第4の発明であって、立体可否判定部は、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上で占める面積が小面積である程、立体視可能範囲を決定する条件を緩める。
この立体撮像装置では、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上で占める面積が小面積である程、立体視可能範囲を決定する条件を緩めることができるため、撮影時の立体視可否判定処理を、人間が見たときの感覚に近づけて行うことができる。つまり、この立体撮像装置では、人間があまり注視しない遠景や近景を除外して(重要度を下げて)、撮影時の立体視可否判定処理を行うことができる。
なお、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上で占める面積を、例えば、カメラスルー画像において、最遠点の被写体および/または最近点の被写体が占める面積を求めることで推定するようにしてもよい。
また、「立体視可能範囲を決定する条件を緩める」ために、例えば、立体視可能範囲を決定する相対視差角の範囲を大きくすればよい。例えば、上記に該当する場合、立体視可能範囲を決定する相対視差角の範囲δ(例えば、±0.5°)をδ1(例えば、±0.55°)
にすることで、「立体視可能範囲を決定する条件を緩める」ことができる。
第6の発明は、第4または第5の発明であって、立体可否判定部は、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上の位置が端に近い程、立体視可能範囲を決定する条件を緩める。
これにより、人間があまり注視しない遠景や近景を除外して(重要度を下げて)、撮影時の立体視可否判定処理を行うことができる。したがって、この立体撮像装置では、より適切に、撮影時の立体視可否判定処理を行うことができる。
第7の発明は、第2から第6のいずれかの発明であって、立体可否判定部は、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体のピントがはずれている程、立体視可能範囲を決定する条件を緩める。
これにより、人間があまり注視しない遠景や近景を除外して(重要度を下げて)、撮影時の立体視可否判定処理を行うことができる。したがって、この立体撮像装置では、より適切に、撮影時の立体視可否判定処理を行うことができる。
第8の発明は、第1から第7のいずれかの発明であって、最大視差検出部と、最小視差検出部と、撮影パラメータ調整部と、を備える。
最大視差検出部は、視差検出部が検出した視差から、最大視差maxを検出する。
最小視差検出部は、視差検出部が検出した視差から、最小視差minを検出する。
撮影パラメータ調整部は、立体撮影を行うための撮影パラメータの調整を行う。
立体視可否判定部は、最大視差maxに相当する撮影シーン中の最遠点および最小視差minに相当する撮影シーン中の最近点が立体視可能範囲内であるか否かを判定する。
そして、この立体撮像装置は、以下の(1)〜(4)の処理を行う。
(1)立体視可否判定部により、最遠点および最近点の両方が立体視可能範囲外であると判定された場合、撮影パラメータ調整部は、撮影パラメータを調整し、撮影パラメータの調整後に、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行う。
(2)最遠点が立体視可能範囲外であり、最近点が立体視可能範囲内であると判定された場合、視差調整部は、最遠点が立体視可能範囲内となるように、視差調整を行い、視差調整の後に、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行う。
(3)最遠点が立体視可能範囲内であり、最近点が立体視可能範囲外であると判定された場合、視差調整部は、最遠点が立体視可能範囲内の境界点となるように、視差調整を行い、視差調整の後に、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行う。
(4)立体視可否判定部により、最遠点および最近点の両方が立体視可能範囲内であると判定された場合、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能であるとの判定を行う。
この立体撮像装置では、遠景を重視して、撮影シーンを立体視可能な状態に調整することができる。つまり、この立体撮像装置では、まず、最遠点が立体視可能範囲内に入っていることをまず保証し、その状態で、最近点が立体視可能範囲外である場合、撮影パラメータの調整を行い、最近点を立体視可能範囲内に入るように調整を行う。そして、この立体撮像装置では、撮影パラメータの調整を行った後においても、依然として、最近点が立体視可能範囲外である場合、立体視不可と判定する。
これにより、この立体撮像装置では、多くの撮影シーンを立体視可能な状態にした後、立体撮影ができるとともに、撮影時において、適切に、立体視可否判定処理を実行することができる。
なお、「立体視可能範囲内の境界点」とは、立体視可能範囲内の境界点近傍(付近)を含む概念である。立体視可能範囲内の境界点近傍とは、例えば、立体視可能範囲を相対的な距離として0〜100(「0」が最近点で、「100」が最遠点)と表現したとき、例えば、90〜100の範囲が最遠点についての「立体視可能範囲内の境界点近傍」である。
また、「撮影パラメータの調整」は、例えば、立体撮像装置の画角調整(ズーム倍率の調整)や立体撮像装置のステレオベース(基線長)の調整により、実現される。
第9の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、撮像部と、視差検出部と、表示パラメータ取得部と、視差マップ画像生成部と、視差角取得部と、補正視差角算出部と、補正視差角最大値取得部と、立体視可否判定部と、を備える。
撮像部は、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出部は、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得部は、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成部は、画素ブロックに、視差検出部により検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差角取得部は、2次元視差マップ画像上の任意の2つのブロックの視差から、当該視差に相当する視差角α1およびα2を取得するとともに、2つのブロックの2次元視差マップ画像上の距離hを取得する。補正視差角算出部は、2つのブロックの視差角α1およびα2と、2つのブロックの2次元視差マップ画像上の距離hとに基づいて、補正視差角f(α1,α2,h)を算出する。補正視差角最大値取得部は、2次元視差マップ画像に含まれる任意の2つのブロックについて算出した補正視差角f(α1,α2,h)の最大値fmaxを取得する。立体視可否判定部は、最大値fmaxと立体視可能範囲を示す視差角δとを比較し、
(最大値fmax)<(立体視可能範囲を示す視差角δ)
である場合、撮影時において、撮影しようとしているシーンが立体視可能であると判定する。
この立体撮像装置では、2次元視差マップ画像に含まれる任意の2つのブロックの2次元画面上の距離を考慮して、立体視可否判定処理を行う。このため、この立体撮像装置では、撮影時の立体視可否判定処理を、人間が見たときの感覚に近づけて行うことができる。
第10の発明は、第9の発明であって、立体視可能範囲を示す視差角δは、2°以下の所定の角度である。
なお、この立体撮像装置において、より安全かつ適切な立体映像を取得するために、立体視可能範囲を示す視差角δを、1°以下の所定の角度とするようにしてもよい。
第11の発明は、第9または第10の発明であって、補正視差角f(α1,α2,h)は、
f(α1,α2,h)=g(h)×|α1−α2|
であり、g(h)は、hの絶対値が小さいほど、大きな値をとる単調減少関数である。
これにより、この立体撮像装置では、2次元視差マップ画像に含まれる任意の2つのブロックの2次元画面上の距離hが小さい程、g(h)が大きな値となるので、2次元画面上において近い距離にある近景と遠景に関しては、厳しい条件で立体視可否判定処理が実行され、一方、2次元画面上において遠い距離にある近景と遠景に関しては、緩い条件で立体視可否判定処理が実行される。つまり、この立体撮像装置では、人間の視覚特性に基づいた条件により、撮影時の立体視可否判定処理を行うので、より人間が見たときの感覚に近づけて、撮影時の立体視可否判定処理を行うことができる。
なお、「単調減少関数」とは、所定の範囲において、一定値をとるものであってもよい。また、「単調減少関数」とは、大局的に単調減少の傾向を示す関数を含む概念であり、所定の微小範囲において、微増する関数等を含む概念である。
第12の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、撮像部と、視差検出部と、表示パラメータ取得部と、視差マップ画像生成部と、視差ヒストグラム作成部と、立体視可否判定部と、を備える。
撮像部は、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出部は、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得部は、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成部は、画素ブロックに、視差検出部により検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差ヒストグラム作成部は、2次元視差マップ画像から、画素ブロックの視差の度数分布である視差ヒストグラムを作成する。立体視可否判定部は、視差ヒストグラムに基づいて、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
これにより、この立体撮像装置では、視差ヒストグラムを用いて、撮影時の立体視可否判定処理を、人間が見たときの感覚に近づけて行うことができる。
第13の発明は、第12の発明であって、立体可否判定部は、視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th1をはじめて超える視差をC1とし、近景から遠景に向かってトレースした場合において、近景側度数閾値Th2をはじめて超える視差をB2としたとき、視差範囲B2〜C2の領域を、立体視可否判定処理の対象領域AR1として、対象領域AR1を立体視可能範囲AR0と比較することで、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
これにより、この立体撮像装置では、視差ヒストグラムを用いて、人間があまり注視しないであろう遠景および近景を除外して、撮影時の立体視可否判定処理を行うことができる。
第14の発明は、第13の発明であって、遠景側度数しきい値Th1は、近景側度数しきい値Th2より大きい。
これにより、この立体撮像装置では、遠景を重視した撮影時の立体視可否判定処理を行うことができる。
第15の発明は、第13または第14の発明であって、立体可否判定部は、視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th1をはじめて超える視差C1を基準として、立体視可能範囲AR0を設定する。
これにより、この立体撮像装置では、遠景を重視した撮影時の立体視可否判定処理を行うことができる。
なお、「視差C1を基準として、立体視可能範囲AR0を設定する」とは、例えば、視差C1に相当する点を立体視可能範囲AR0の最遠点に設定して、立体視可能範囲(例えば、相対視差角が±0.5°となる範囲)を設定するということである。
第16の発明は、第12の発明であって、視差ヒストグラム作成部は、以下の処理を行う。すなわち、
(1)2次元視差マップ画像に対して、クラスタリング処理を行う。
(2)クラスタリング処理により取得したクラスタごとに、
Weight(x,y,z)=Cent(x)・Size(y)・Blur(z)。
による重み付けを行った後に、重み付け視差ヒストグラムを作成する。
そして、立体視可否判定部は、重み付け視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th3をはじめて超える視差をC4とし、近景から遠景に向かってトレースした場合において、近景側度数閾値Th4をはじめて超える視差をB4としたとき、視差範囲B4〜C4の領域を、立体視可否判定処理の対象領域AR1として、対象領域AR1を立体視可能範囲AR0と比較することで、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
これにより、この立体撮像装置では、人間があまり注視しない画像領域の重要度を下げて、視差ヒストグラム(重み付け視差ヒストグラム)を作成し、その視差ヒストグラム(重み付け視差ヒストグラム)に基づいて、撮影時の立体視可否判定処理を行う。したがって、この立体撮像装置では、より人間の視覚特性に合う撮影時の立体視可否判定処理を行うことができる。
第17の発明は、第16の発明であって、遠景側度数しきい値Th3は、近景側度数しきい値Th4より大きい。
これにより、この立体撮像装置では、より遠景を重視した撮影時の立体視可否判定処理を行うことができる。
第18の発明は、第16または第17の発明であって、立体可否判定部は、重み付け視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th3をはじめて超える視差C4を基準として、立体視可能範囲AR0を設定する。
これにより、この立体撮像装置では、より遠景を重視した撮影時の立体視可否判定処理を行うことができる。
第19の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、被写体像の光学像を形成する光学系を備える立体撮像装置に用いられる立体撮像方法である。立体撮像方法は、撮像ステップと、撮像パラメータ取得ステップと、表示パラメータ取得ステップと、視差検出ステップと、
形成した光学像に基づいて立体映像を生成する撮像ステップと、記録映像生成ステップと、立体視可否判定ステップと、立体視可否判定ステップと、を備える。
撮像パラメータ取得ステップでは、光学像を形成した際の光学系に関する撮像パラメータを取得する。
表示パラメータ取得ステップでは、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。
視差検出ステップでは、立体映像の視差を検出する。
記録映像生成ステップでは、生成した立体映像から、記録用の立体映像を生成する。
立体視可否判定ステップでは、撮像パラメータ、表示パラメータおよび検出した視差に基づいて、記録用の立体映像を生成する前に、生成した立体映像に対する立体視のし易さまたは立体視のしにくさを、所定の判定条件に基づいて判定する。
これにより、第1の発明と同様の効果を奏する立体撮像方法を実現することができる。
第20の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像方法であって、撮像ステップと、視差検出ステップと、表示パラメータ取得ステップと、視差マップ画像生成ステップと、視差角取得ステップと、補正視差角算出ステップと、補正視差角最大値取得ステップと、立体視可否判定ステップと、を備える。
撮像ステップでは、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出ステップでは、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得ステップでは、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成ステップでは、画素ブロックに、視差検出ステップにより検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差角取得ステップでは、2次元視差マップ画像上の任意の2つのブロックの視差から、当該視差に相当する視差角α1およびα2を取得するとともに、2つのブロックの2次元視差マップ画像上の距離hを取得する。補正視差角算出ステップでは、2つのブロックの視差角α1およびα2と、2つのブロックの2次元視差マップ画像上の距離hとに基づいて、補正視差角f(α1,α2,h)を算出する。補正視差角最大値取得ステップでは、2次元視差マップ画像に含まれる任意の2つのブロックについて算出した補正視差角f(α1,α2,h)の最大値fmaxを取得する。立体視可否判定ステップでは、最大値fmaxと立体視可能範囲を示す視差角δとを比較し、
(最大値fmax)<(立体視可能範囲を示す視差角δ)
である場合、撮影時において、撮影しようとしているシーンが立体視可能であると判定する。
これにより、第9の発明と同様の効果を奏する立体撮像方法を実現することができる。
第21の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像方法であって、撮像ステップと、視差検出ステップと、表示パラメータ取得ステップと、視差マップ画像生成ステップと、視差ヒストグラム作成ステップと、立体視可否判定ステップと、を備える。
撮像ステップでは、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出ステップでは、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得ステップでは、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成ステップでは、画素ブロックに、視差検出ステップにより検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差ヒストグラム作成ステップでは、2次元視差マップ画像から、画素ブロックの視差の度数分布である視差ヒストグラムを作成する。立体視可否判定ステップでは、視差ヒストグラムに基づいて、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
これにより、第12の発明と同様の効果を奏する立体撮像方法を実現することができる。
本発明によれば、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得する立体撮像装置、立体撮像方法およびプログラムを実現することができる。
また、本発明によれば、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、立体撮像方法およびプログラムを実現することができる。
第1実施形態における立体撮像装置のブロック図。 交差式(交差法)およびセンサシフト式による輻輳制御を説明するための図。 第1実施形態における視差検出部の詳細を説明する図。 第1実施形態における撮影と表示の幾何学関係を示す図。 第1実施形態における撮影と表示の幾何学関係を示す図。 第1実施形態における視差補正のフローチャート。 第1実施形態の第1変形例における撮影と表示の幾何学関係を示す図。 第1実施形態の第1変形例における視差補正のフローチャート。 第1実施形態の第3変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係(位置関係)を示した図。 第1実施形態の第3変形例に係る立体撮像装置で実行される立体画像取得方法(視差補正方法)の処理フローを示すフローチャート。 第1実施形態の第2変形例における立体撮像装置のブロック図。 第1実施形態の第2変形例における視差補正のフローチャート。 第2実施形態における立体撮像装置のブロック図。 第2実施形態における撮影と表示の幾何学関係を示す図。 撮影時の立体視可否判定処理のフローチャート。 立体撮影可否判定処理のフローチャート。 高精度立体視可否判定処理のフローチャート。 立体視における画面サイズと視聴距離との関係を説明するための図。 視差ヒストグラムの一例。 視差ヒストグラム(遠景THと近景THとが同じ場合)の一例。 視差ヒストグラム(遠景THと近景THとが異なる場合(その1))の一例。 視差ヒストグラム(遠景THと近景THとが異なる場合(その2))の一例。 クラスタリング処理、視差ヒストグラムを用いた立体視可否判定処理を説明するための図。 第3実施形態の原理を説明するための図。 第3実施形態の立体撮像装置のブロック図。
以下、本発明の実施形態に係る立体撮像方法および立体撮像装置について、図面を参照しながら説明する。
[第1実施形態]
本実施形態では、2眼方式の立体撮像装置を例に、以下、説明する。
<1.1:立体撮像装置の構成>
図1に、第1実施形態に係る立体撮像装置1000の概略構成図を示す。
立体撮像装置1000は、図1に示すように、第1撮像部100Rおよび第2撮像部100Lと、第1A/D変換部103Rおよび第2A/D変換部103Lと、第1視差付加部111Rおよび第2視差付加部111Lと、第1トリミング部112Rおよび第2トリミング部112Lと、を備える。
また、立体撮像装置1000は、図1に示すように、視差検出部104と、最小視差検出部105と、最大視差検出部106と、主被写体視差検出部107と、制御部110と、フォーカス制御部123と、輻輳制御部124と、表示情報設定部121と、定位情報設定部122と、を備える。
なお、説明便宜のため、第1撮像部100Rにより右眼用画像(映像)が撮像され、第2撮像部100Lにより左眼用画像(映像)が撮像されるものとして、以下、説明する。
第1撮像部100Rは、図1に示すように、第1光学系101Rと、第1撮像素子部102Rとを含む。第1撮像部100Rは、被写体からの光を第1光学系101Rにより集光し、集光した光を第1撮像素子部102Rにより第1画像信号(右眼用画像、R画像)として取得する。そして、第1撮像部100Rは、取得した第1画像信号を第1A/D変換部103Rに出力する。
また、第1撮像部100Rでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。また、第1撮像部100Rでは、輻輳制御部124からの指示に従い、輻輳制御が実行される。なお、第1撮像部100Rは、輻輳制御部124からの指示に従い、輻輳制御が実行されるように、輻輳角を調整することができる機能を有している。輻輳制御は、例えば、以下の(1)、(2)により実現することができる。
(1)輻輳角制御方式(交差式)
第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。図2(a)は、輻輳角制御方式(交差式)による調整方法を模式的に示した図である。例えば、図2(a)に示すように、第1撮像部100R(第1光学系101R)の光軸と、第2撮像部100L(第2光学系101L)の光軸とが仮想スクリーンVS上で交差するように輻輳角を調整することで、表示時に、輻輳点に位置する被写体を、表示スクリーン上に定位させることができる。
(2)センサシフト式
第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。図2(b)は、センサシフト式による調整方法を模式的に示した図である。例えば、図2(b)に示すように、第1撮像素子部102Rの画角中心軸(直線AA’)(A点は、第1撮像素子部102Rの撮像素子面の中心点)と、第2撮像素子部102Lの画角中心軸(直線BB’)(B点は、第2撮像素子部102Lの撮像素子面の中心点)とが仮想スクリーンVS上(C点)で交差するように輻輳角を調整することで、表示時に、輻輳点(C点)に位置する被写体を、表示スクリーン上に定位させることができる。
なお、立体撮像装置1000において、上記(1)、(2)を組み合わせて、輻輳制御を実行するようにしてもよい。
第1光学系101Rは、被写体からの光を集光し、第1撮像素子部102Rの撮像素子面に結像させる。第1光学系101Rは、1または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第1光学系101Rでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。
第1撮像素子部102Rは、第1光学系101Rにより集光された被写体からの光を光電変換により第1画像信号として取得(撮像)する。そして、第1撮像素子部102Rは、取得した第1画像信号を第1A/D変換部103Rに出力する。第1撮像素子部102Rは、例えば、CMOSイメージセンサやCCDイメージセンサにより実現される。
第2撮像部100Lは、図1に示すように、第2光学系101Lと、第2撮像素子部102Lとを含む。第2撮像部100Lは、被写体からの光を第2光学系101Lにより集光し、集光した光を第1撮像素子部102Rにより第2画像信号(左眼用画像、L画像)として取得する。そして、第2撮像部100Lは、取得した第2画像信号を第2A/D変換部103Lに出力する。
また、第2撮像部100Lでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。また、第2撮像部100Lでは、輻輳制御部124からの指示に従い、輻輳制御が実行される。なお、第2撮像部100Lは、第1撮像部100R同様、輻輳制御部124からの指示に従い、輻輳制御が実行されるように、輻輳角を調整することができる機能を有している。
第2光学系101Lは、被写体からの光を集光し、第2撮像素子部102Lの撮像素子面に結像させる。第2光学系101Lは、1または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第2光学系101Lでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。
第2撮像素子部102Lは、第2光学系101Lにより集光された被写体からの光を光電変換により第2画像信号として取得(撮像)する。そして、第2撮像素子部102Lは、取得した第2画像信号を第2A/D変換部103Lに出力する。第2撮像素子部102Lは、例えば、CMOSイメージセンサやCCDイメージセンサにより実現される。
第1A/D変換部103Rは、第1撮像部100Rにより取得された第1画像信号(R画像)を入力とし、入力された第1画像信号に対して、A/D変換を行う。そして、第1A/D変換部103Rは、デジタル信号に変換した第1画像信号を、視差検出部104および第1視差付加部111Rに出力する。
第2A/D変換部103Lは、第2撮像部100Lにより取得された第2画像信号(L画像)を入力とし、入力された第2画像信号に対して、A/D変換を行う。そして、第2A/D変換部103Lは、デジタル信号に変換した第2画像信号を、視差検出部104および第2視差付加部111Lに出力する。
視差検出部104は、第1A/D変換部103から出力される第1画像信号(R画像)および第2A/D変換部103Lから出力される第2画像信号(L画像)を入力とする。視差検出部104は、入力されたR画像およびL画像に対して、マッチング処理を実行し、両眼視差量を検出する。そして、視差検出部104は、検出した両眼視差量に関する情報を、最小視差検出部105、最大視差検出部106、および、主被写体視差検出部107に出力する。
最小視差検出部105は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の最近点の視差、すなわち、最小の視差(最小視差)を検出する。そして、最小視差検出部105は、検出した最小視差に関する情報を制御部110に出力する。
最大視差検出部106は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の最遠点の視差、すなわち、最大の視差(最大視差)を検出する。そして、最大視差検出部106は、検出した最大視差に関する情報を制御部110に出力する。
主被写体視差検出部107は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の主被写体の視差(主被写体視差)を検出する。そして、主被写体視差検出部107は、検出した主被写体視差に関する情報を制御部110に出力する。なお、主被写体視差検出部は、制御部110から、どの被写体に合焦しているかについての情報を取得し、当該情報に基づいて、主被写体を特定する。
制御部110は、立体撮像装置1000の全体および各機能部を制御する機能部である。制御部110は、フォーカス制御、輻輳制御、主被写体の検出処理、表示情報の取得処理、定位情報の取得処理等を実行する。また、制御部110は、最小視差検出部105により検出された最小視差と、最大視差検出部106により検出された最大視差と、主被写体視差検出部107により検出された被写体視差とに基づいて、補正視差を算出する。そして、制御部110は、算出した補正視差に関する情報を第1視差付加部111Rおよび第2視差付加部111Lに出力する。なお、制御部110は、例えば、CPU(マイクロプロセッサ)、ROM、RAM等により実現される。
フォーカス制御部123は、制御部110からの指令に基づき、第1光学系101Rおよび第2光学系101Lのピントを調節する(第1光学系101Rおよび第2光学系101Lに対してフォーカス制御を実行する)。
輻輳制御部124は、制御部110からの指令に基づき、第1撮像部100Rおよび第2撮像部100Lに対して、輻輳制御(例えば、輻輳角の制御)を実行する。
第1視差付加部111Rは、第1A/D変換部103Rから出力された第1画像信号(R画像)および制御部110により算出された補正視差に関する情報を入力とする。第1視差付加部111Rは、第1画像信号(R画像)に、制御部110により算出された補正視差を付加する。つまり、第1視差付加部111Rは、制御部110により算出された補正視差に相当する分だけR画像を横方向にシフトすることにより視差(補正視差)を付加する。そして、第1視差付加部111Rは、補正視差を付加した第1画像信号(R画像)を第1トリミング部112Rに出力する。
第2視差付加部111Lは、第2A/D変換部103Lから出力された第2画像信号(L画像)および制御部110により算出された補正視差に関する情報を入力とする。第2視差付加部111Lは、第2画像信号(L画像)に、制御部110により算出された補正視差を付加する。つまり、第2視差付加部111Lは、制御部110により算出された補正視差に相当する分だけL画像を横方向にシフトすることにより視差(補正視差)を付加する。そして、第2視差付加部111Lは、補正視差を付加した第2画像信号(L画像)を第2トリミング部112Lに出力する。
第1トリミング部112Rは、第1視差付加部111Rから出力された第1画像信号(R画像)を入力とし、入力されたR画像に対してトリミング処理を実行する。そして、第1トリミング部112Rは、トリミング処理を実行したR画像(第1画像信号)を出力する。
第2トリミング部112Lは、第2視差付加部111Lから出力された第2画像信号(L画像)を入力とし、入力されたL画像(第2画像信号)に対してトリミング処理を実行する。そして、第2トリミング部112Lは、トリミング処理を実行したL画像(第2画像信号)を出力する。
表示情報設定部121は、立体撮像装置1000で撮影された立体画像(立体映像)を視聴する表示装置(不図示)の表示条件を設定し、設定した表示条件(表示情報)を制御部110に出力する。
定位情報設定部122は、主被写体を、表示装置のスクリーン面(表示スクリーン面)を基準としてどの位置に定位させるかを設定する。つまり、定位情報設定部122は、主被写体を、表示スクリーン面の前後のどの位置に定位させるかを設定し、設定した情報(定位情報)を制御部110に出力する。
なお、本実施形態では、図1に示すように、立体撮像装置1000により、主被写体である人物900と、遠景である山901と、近景である草花902とを含むシーンを撮影する場合を例として、説明する。
また、「距離情報取得部」は、制御部110によりコントラスト検出方式による距離情報取得処理を実行することにより、その機能が実現される。
「理想視差取得部」は、制御部110により、理想視差(主被写体についての理想視差)を算出することにより、その機能が実現される。
「撮影条件設定部」は、制御部110の指令に従い、フォーカス制御部123、輻輳制御部124、および、撮像部(第1撮像部100Rおよび第2撮像部100L)が制御されることで、その機能が実現される。
「現実視差取得部」は、視差検出部104および主被写体視差検出部107により、実現される。
「補正視差算出部」は、制御部110により、補正視差が算出されることにより、その機能が実現される。
「視差補正部」は、第1視差付加部111Rおよび第2視差付加部111Lにより実現される。
<1.2:立体撮像装置の動作>
以上のように構成された立体撮像装置1000の動作について、以下、説明する。
撮影者は、撮影前に、表示情報設定部121および定位情報設定部122において、撮影画像を視聴する際の表示条件(表示情報)、および、主被写体900を表示スクリーンに対して前後どの位置に定位されるかという演出条件(定位情報)を入力(設定)する。
制御部110は、表示情報設定部121および定位情報設定部122に設定された表示情報および定位情報に基づいて、立体撮像装置1000の撮影時のパラメータ(撮影パラメータ)の調整等の各種制御を行う。
撮影者が立体撮像装置1000を被写体に向けると、制御部110は、主被写体900のコントラストが最大になるようにフォーカス制御部123を用いて第1光学系101Rおよび第2光学系101Lに含まれるフォーカスレンズ(不図示)を光軸方向に前後させ、主被写体900にピント(焦点)を合わせる。主被写体900に焦点があった状態(合焦状態)において、制御部110は、第1光学系101Rおよび/または第2光学系101Lの位置情報(焦点距離等)から主被写体900までの距離(被写体距離)Rcを検出する。つまり、制御部110は、コントラスト検出方式により、主被写体900までの距離Rcを検出する。
なお、図1では、立体撮像装置1000は、コントラスト値を評価するための画像(コントラスト評価用画像)として、R画像およびL画像の両方を制御部110に入力させる構成であるが、これに限定されることはなく、例えば、立体撮像装置1000は、片方の画像(R画像またはL画像)により、コントラスト値を評価する構成であってもよい。
また、「被写体距離」とは、撮像部の撮像素子(例えば、CCD型イメージセンサやCMOS型イメージセンサ)面上に焦点を結んでいる物体からカメラ(立体撮像装置1000)までの距離をいい、物点距離と、共役距離(物像間距離)を含む概念である。また、「被写体距離」は、立体撮像装置1000から被写体までの概略の距離を含む概念であり、例えば、(1)立体撮像装置1000の光学系のレンズ全体(第1光学系101Rおよび/または第2光学系101L)の重心位置から被写体までの距離、(2)撮像部(第1撮像部100Rおよび/または第2撮像部100L)の撮像素子(第1撮像素子部102Rおよび/または第2撮像素子部102L)の撮像素子面から被写体までの距離、(3)立体撮像装置1000の重心(あるいは中心)から被写体までの距離等を含む概念である。
次に、制御部110は、主被写体までの距離Rcと定位情報設定部122の設定値に応じて、適切な光学系の輻輳角を決定する。そして、決定した輻輳角に基づいて、制御部110は、輻輳制御部124を用いて、立体撮像装置1000の左右の光学系の輻輳角を制御する。例えば、制御部110は、以下の(1)、(2)により、輻輳角を制御する。
(1)輻輳角制御方式(交差式)
制御部110は、第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。
(2)センサシフト式
制御部110は、第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。
(3)制御部110は、上記(1)、(2)を組み合わせて、輻輳制御を実行する。
そして、上記輻輳制御を行った後(撮影準備が完了した状態で)、立体撮像装置1000により、立体画像(立体映像)(R画像(映像)およびL画像(映像))を撮像する。
そして、視差検出部104は、撮影シーンを複数のブロックに分割し、各々のブロック毎に、R画像およびL画像から、視差を検出する。
図3は、視差検出部104で実行される視差検出処理を説明するための図である。
視差検出部104は、図3に示すように、撮影シーンを複数のブロックに分割し、ブロック毎にL画像およびR画像のマッチングを取り、当該ブロックの視差を決定する。そして、視差検出部104は、ブロックごとに決定した視差をブロックに対応付けて格納・保持する。つまり、視差検出部104は、図3に示す視差マップメモリ181(撮影シーンの各ブロックの視差を格納することができるメモリ)に対応するブロックの視差値を格納する。ここでは、遠方は正の視差値、近景は負の視差値で表すものとする。なお、視差マップメモリ181は、例えば、立体撮像装置1000の各機能部がアクセスできるメモリ(例えば、RAM)を用いて実現される。
最小視差検出部105は、視差マップメモリ181に格納されている最も小さい視差値(多くの場合、この視差値は負値になる)を検出する。また、最大視差検出部106は、視差マップメモリ181に格納されている最も大きな視差値(通常、この視差値は、正の大きい値になる)を検出する。
主被写体視差検出部107は、フォーカスを合わせた被写体900を主被写体と判断する(主被写体視差検出部107が制御部110から取得したどの被写体に合焦しているかに関する情報から被写体900を主被写体と判断する)。そして、主被写体視差検出部107は、視差マップメモリ181から、主被写体(被写体900)の位置に対応するブロックの視差値(主被写体視差値)を検出する。
そして、制御部110は、主被写体視差検出部107により検出された主被写体視差値と、無歪み撮影(カメラ性能等に起因する誤差が全くない理想的な撮影)により主被写体が撮像された場合に取得される視差(理想視差)とに基づいて、補正視差を求める。
≪無歪み撮影(理想的な撮影)について≫
ここで、図4を用いて、最も自然な奥行き感が考えられる「無歪み撮影」を実現する条件について、説明する。
図4は、無歪み撮影について説明するための図である。
図4(a)は、理想的な精度を持つ立体撮像装置1000を用いた場合の撮影時における撮影要素(左眼用画像の撮像点(第2光学系に対応)、右眼用画像の撮像点(第1光学系101Rに対応)、仮想スクリーン、主被写体)の幾何学的関係(位置関係)を模式的に示す図である。図4(b)は、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)の幾何学関係(位置関係)を模式的に示す図である。
図4は、説明を簡単にするために、撮影時のSB(図4の距離S)が人間の眼間距離(約6.5cm)に等しく、かつ、ズームを用いず撮影される場合の撮影要素および表示要素の幾何学的関係を示している。
図4の例では、表示情報設定部121に表示側の条件として、(表示)スクリーンサイズW、視聴距離Lが設定されており、定位情報設定部122には、無歪み撮影を表すコードが設定されている。そして、立体撮像装置1000では、制御部110により、無歪み撮影を示すコードが設定されたことを検出した場合、無歪み撮影が実行される。
立体撮像装置1000において無歪み撮影が実行される場合、図4(a)に示すように、輻輳制御部124は、第1撮像部100R(第1光学系101R)の光軸と第2撮像部100L(第2光学系101L)の光軸(図4(a)中の点線)とが距離Lに仮想的に設けた仮想スクリーンVS上(P点)で交差するように輻輳を制御する。このように輻輳制御を行った後、立体撮像装置1000により撮像した場合、撮像された立体画像(R画像およびL画像)において、仮想スクリーンVS上に位置する被写体についての視差はなく、仮想スクリーンVS上に位置する被写体については、L画像およびR画像において同じ画像になる。仮想スクリーンVSより遠い被写体については、第2撮像部100L(左眼用画像取得用の撮像部)による撮影は、第1撮像部100R(右眼用画像取得用の撮像部)の撮影に対して、左にずれた状態で行われる。例えば、図4(a)の場合において、A点に存在する被写体(仮想スクリーンVSより遠い被写体)を撮影する場合、仮想スクリーンVS上において、左方向の視差x1が存在することになる。なお、以下では、この方向(図4の左方向)の視差を「正」とする。
逆に、仮想スクリーンVSよりも手前の被写体は、負の視差を持つ。
図4(a)の場合、仮想スクリーンVSより遠い距離Rの被写体を撮影し、x1(>0)の視差を得ている。
図4(a)の状態で、立体撮像装置1000により撮影した立体画像(R画像およびL画像)を、図4(b)の状態でディスプレイ(表示スクリーンDS)に表示させた場合、つまり、表示スクリーン上の視差xを撮影時の視差x1と一致させて表示させた場合、図4(a)で二つのカメラと被写体を結ぶ三角形(三角形ABC)と、図4(b)で両眼と被写体像を結ぶ三角形(三角形DEF)は、合同になる。このため、図4(b)の状態で表示させたときに感じる距離感Rxは、撮影時の距離Rと一致する。この関係は、全ての距離にある被写体に関して成立するため、近景から無限遠の遠景まで忠実な距離感で表示できる。すなわち、図4(a)の状態で撮影することで、立体撮像装置1000において、無歪み撮影を行うことができる。
したがって、理想的な精度を持つ立体撮像装置では、視差調整を行わなくても無歪み撮影が可能であり、その無歪み撮影(例えば、図4(a)の状態による撮影)により取得した立体画像を所定の視聴環境(例えば、図4(b)の状態による視聴環境)により表示させることで、実際の被写体距離(撮影時の被写体距離)と線形関係を保持する距離感を再現する立体画像を表示させることができる。
また、無歪み撮影では、主被写体の定位位置は、仮想スクリーンVSをどの位置に設定するかには無関係であり、無歪み撮影により取得した立体画像を所定の視聴環境により表示させることで、主被写体の定位位置までの距離(視点の中点から主被写体までの距離)を、実際の被写体までの距離(撮影時の被写体距離)に一致させることができる。
≪精度の悪い現実的な立体撮像装置での撮影について≫
次に、精度の悪い現実的な立体撮像装置での撮影した場合に発生する視差について、図5を用いて説明する。
図5は、少し誇張して描いているが、図5において、輻輳を図5中の点線で示している。図5の場合、立体撮像装置の光軸の精度が不十分であるため、直線BP2と、直線CP1とは、仮想スクリーンVS上で交差しない、つまり、仮想スクリーンVS上で、第1撮像部100R(第1光学系101R)の光軸と第2撮像部100L(第2光学系101L)の光軸とが交差しない。したがって、仮想スクリーンVS上に位置する被写体も視差を持ってしまう。
図5の例では、距離Rにある被写体の視差は、誤差を含めてx2となる。図5(a)の状態で、立体撮影した立体画像を、図5(b)に示す視聴環境で、表示スクリーンDS上に表示させた場合、すなわち、視差x=x2として、ディスプレイ(表示スクリーンDS)に表示させた場合、図5(b)に示すように、大きな距離感の誤差が発生した立体画像が表示されることになる。つまり、撮影時に、仮想スクリーンVSの後方のA点に存在した被写体が、表示時には、表示スクリーンDSの前方のG点に定位することになり、大きな距離感の誤差が発生した立体画像が表示されることになる。
図5の例のように、撮影時において、視差の誤差が負方向に発生した場合、表示時において、全ての距離の被写体が近づく方向に距離感が歪む。特に、無限遠は、大きく手前に圧縮される。すなわち、撮影時の無限遠に存在していた被写体は、表示時には、かなり手前に定位されることになる。
また、撮影時において、視差の誤差が正方向に発生した場合、表示において、全ての距離の被写体は遠ざかる方向に距離感が歪む。このとき、遠景は、無限遠を超えてしまい、後方発散になる可能性がある。そして、このような後方発散する領域の遠景の被写体は、表示時において、融像できない画像として表示されることになる。
本実施形態の立体撮像装置1000は、上記のように、立体撮像装置1000に現実の誤差に起因して発生する仮想スクリーンVS上の視差の誤差を検出し、補正することで、適切な視差調整を行う。
具体的には、立体撮像装置1000では、制御部110により、主被写体視差検出部107により検出された主被写体視差値(仮想スクリーンVS上の視差に相当)と、無歪み撮影(カメラ性能等に起因する誤差が全くない理想的な撮影)により主被写体が撮像された場合に取得される視差(理想視差)とに基づいて、補正視差が求められる。
そして、求められた補正視差が、第1視差付加部111Rおよび第2視差付加部111Lにより、R画像およびL画像に付加される。具体的には、第1視差付加部111Rおよび第2視差付加部111Lでは、補正視差分だけ、R画像およびL画像が水平方向にシフトされる。
補正視差が付加されたR画像およびL画像は、第1トリミング部112Rおよび第2トリミング部112Lにより、立体画像として採用できない部分を削除(立体画像を構成する上で無駄な部分を削除)することで、トリミング処理が実行される。
そして、トリミング処理が実行されたR画像(第1画像信号)およびL画像(第2画像信号)は、第1トリミング部112Rおよび第2トリミング部112Lから出力される。
なお、第1視差付加部111Rおよび第2視差付加部111Lにおいて、補正視差を付加する処理を行わず、例えば、補正視差に関する情報を、所定の画像フォーマット(映像フォーマット)のヘッダ部分に格納して、出力させるようにしてもよい。この場合、補正視差を付加する処理、トリミング処理を省略することができる。
≪視差補正方法の処理フロー≫
次に、本実施形態における視差補正方法について、図6のフローチャートを用いて説明する。
(ステップ401):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ402):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2を取得する。
なお、図3の場合のように、主被写体に相当するブロックが複数個検出された場合、例えば、以下のようにして、視差x2を決定する。
(1)検出されたブロックに対応する複数の視差の平均値(重付平均値(例えば、中心からの距離により重み付けした平均値)、2乗平均値等を含む)を視差x2とする。
(2)検出されたブロックに対応する複数の視差の中の任意の1ブロックの視差を視差x2とする。
(3)検出されたブロックに対応する複数の視差の中の中心位置の1ブロックの視差を視差x2とする。
(4)検出されたブロックに対応する複数の視差の中のメディアン値をとる視差を視差x2とする。
(ステップ403):
制御部110は、主被写体までの距離Rを用いて、図4(a)を例に説明したように、誤差がないカメラ(立体撮像装置)の場合に、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。具体的には、制御部110は、立体撮像装置1000の表示情報設定部121により設定された表示情報(視聴環境を決定する情報)から、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)を取得する。そして、制御部110は、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)、および、被写体距離Rから、主被写体の理想視差x1を推定(算出)する。
(ステップ404):
制御部110は、ステップ403により「推定した主被写体の視差x1(理想視差x1)」と、ステップ402により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Figure 2011108277
(ステップ405):
Δxは、立体撮像装置1000の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素に補正視差Δxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
立体撮像装置1000において、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
例えば、x1=4、x2=−10である場合、Δx=x1−x2=14となるので、補正後の視差x’=x2+Δx=−10+14=4となり、理想視差x1(=4)と一致する。
また、上記視差補正方法を実行することにより、例えば、仮想スクリーン上の被写体の視差は、視差検出部104が検出した視差が補正され視差ゼロになる。
このように、立体撮像装置1000により、上記視差補正方法を実行することで、図4(a)に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
以上のように、立体撮像装置1000では、予め設定された視聴環境(表示条件)と主被写体の被写体距離から主被写体の理想視差x1を推定(算出)するとともに、視差検出部104および主被写体視差検出部107により仮想スクリーン上に実際に生じる主被写体の視差(現実視差)x2を取得する。そして、立体撮像装置1000では、理想視差x1と現実視差x2とから補正視差Δxを求め、求めた補正視差Δxを立体画像に付加する(水平方向にシフトする)ことで、無歪み撮影と等価な立体撮影を実現することができる。
したがって、立体撮像装置1000により取得された立体画像は、適切な視差調整がなされた立体画像となる。すなわち、立体撮像装置1000では、カメラ固有の誤差(特に、光学系により発生する誤差)が存在する場合(例えば、精度の高い輻輳制御ができない場合)であっても、適切な視差調整を行うことができる。
≪第1変形例(主被写体の可変定位演出(自由定位撮影))≫
次に、本実施形態の第1変形例について説明する。
本変形例の立体撮像装置は、上記実施形態のように無歪み撮影を目的とするのではなく、表示時において、主被写体を表示スクリーンの前後に自由に定位させる演出的撮影(自由定位撮影)を行うことを目的としたものである。
図7(a)は、撮影時の状態を模式的に示す図である。図7(b)は、図7(a)の状態で立体撮影された立体画像を表示した時の状態を模式的に示す図である。
図7(a)は、立体撮像装置の光学系の光軸が大きく変動している状態を示している。これは、上記実施形態で説明した場合(図5(a)の場合)と同様である。なお、本変形例において、上記実施形態と同様の部分については、説明を省略する。
なお、本変形例の立体撮像装置の構成は、第1実施形態の立体撮像装置1000と同様である。
本変形例における視差補正方法について、図8のフローチャートを用いて説明する。
(ステップ411):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ412):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
(ステップ413):
制御部110は、演出として主被写体を定位させたい定位位置R3を定位情報設定部122から読み取り、図7(b)に示した幾何学的関係(位置関係)より、誤差がないカメラ(立体撮像装置)で撮影した場合であって、主被写体をR3の距離に定位させるための視差x3(理想視差x3)を次式により算出する。
Figure 2011108277
(ステップ414):
制御部110は、ステップ413により「所定の位置に主被写体を定位させるための視差x3(理想視差x3)」と、ステップ412により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Figure 2011108277
(ステップ415):
Δxは、本変形例の立体撮像装置の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
本変形例の立体撮像装置において、上記視差補正方法を実行することにより、主被写体を、立体撮像装置の光学系の精度に影響されず、所望の距離に定位させる立体画像を取得することが出来る。本変形例の立体撮像装置により取得される立体画像は、無歪み撮影により取得される立体画像に比べて、遠景の自然さは低下するが、本変形例の立体撮像装置では、主被写体を所望の位置に定位させる立体画像を取得することができるので、撮影者の意図による自由な演出が可能になる。
また、主被写体の距離Rより定位させる距離R3が小さい場合、即ち、実際の位置よりも主被写体を手前に定位させる場合、本変形例の立体撮像装置により取得される立体画像は、遠方が極端に手前に圧縮されるため、無歪み撮影により取得される立体画像に比べて、遠景の自然さが劣化する。しかし、本変形例の立体撮像装置により取得される立体画像は、遠近感が圧縮されるため、見やすい映像になる効果がある。
また、本変形例の立体撮像装置により取得される立体画像では、主被写体よりも手前の被写体は、大きく手前に近づくため、遠近感が強調され不自然な画像になりがちである。しかし、主被写体よりも前方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部104により作成される視差マップメモリ181中の最近点の視差(最小視差検出部105により取得される最小視差)に応じて、主被写体を前方に定位させる限度(範囲)を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度(範囲)内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を前方に定位させる演出を実現することができる。
また、本変形例の立体撮像装置は、最近点が不自然になる限度を超える場合、撮影者に対して、音や映像などによるアラートを表示して撮影者をアシストする機能を備えるものであってもよい。
また、主被写体の距離Rより定位させる距離R3が大きい場合、即ち、実際の位置よりも主被写体を後方に定位させる場合、本変形例の立体撮像装置により取得される立体画像において、主被写体より後方の被写体は、極端に遠方に遠ざけられ、遠近感が誇張されがちである。さらに、ある距離より遠い被写体は、後方発散(幾何学的には無限遠より遠ざかり、二重像になり立体視できなくなる現象)が起こる。しかし、主被写体よりも後方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部104により作成される視差マップメモリ181中の最遠点の視差(最大視差検出部106により取得される最大視差)に応じて、主被写体を後方に定位させる限度(範囲)を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度(範囲)内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を後方に定位させる演出を実現することができる。
また、本変形例の立体撮像装置は、最遠点が不自然になる限度を超える場合、撮影者に対して、音や映像などによるアラートを表示して撮影者をアシストする機能を備えるものであってもよい。
≪第2変形例(2回撮り)≫
次に、本実施形態の第2変形例について説明する。
本変形例の立体撮像装置は、静止画カメラの手持ちによる二回撮りで立体撮影を行うものである。
従来、このような撮影では、縦方向も横方向も極めて大きな誤差の発生が避けられないため、カメラ単独での立体画像作成は難しく、PC(パーソナルコンピュータ)を用いたレタッチソフトなどにより、取得した立体画像を手作業で調整する必要があった。
立体画像の縦方向のずれについては、ずれ量が目視でも容易に見積もれるため、比較的簡単に補正が可能である。
しかし、立体画像の左右方向のずれについては、本来の両眼視差と誤差とが区別できないため、手作業による調整であっても、左右方向のずれを修正することは困難である。たとえば、立体画像に、山や雲のように無限遠と見なせる遠景があれば、その遠景の被写体を無限遠の被写体であると判断し、その無限遠の被写体を基準にして、手作業で視差を調整することが可能である。しかし、無限遠の被写体が無いシーンでは、たとえ手作業によっても視差を正しく調整することは出来ず、何度も立体表示させながら良好な表示になるよう調整せざるを得ない。
本変形例の立体撮像装置は、主被写体が存在するシーンであればどんなシーンであっても、適切な視差補正を可能にするものである。
図8に本変形例の立体撮像装置1000Aの概略構成図を示す。
図1に示す第1実施形態の立体撮像装置1000は、2つの光学系を有しており、信号処理系も2系統備えた2眼式カメラであるが、本変形例の立体撮像装置1000Aは、単眼のカメラによる2回撮りにより立体画像を取得するものである。
立体撮像装置1000Aは、単眼式の静止画カメラの構成を有しており、二回撮りにより立体撮影を行う。二眼式カメラである第1実施形態の立体撮像装置1000との相違点について説明する。
立体撮像装置1000Aは、輻輳制御部124が無く、画像メモリ部125が追加された構成となっている。
また、立体撮像装置1000Aは、単眼式であるので、1つの撮像部100(光学系101および撮像素子部102)と、1つのA/D変換部103と、を備える。
また、ユーザは、図示しないユーザIF用表示部に表示される撮影手順に従い、立体撮像装置1000Aにより立体撮影を行う。
撮像部100は、第1撮像部R(または第2撮像部100L)と同様のものである。
A/D変換部103は、第1A/D変換部103R(または第2A/D変換部103L)と同様のものである。
画像メモリ部125は、撮像部100により取得され、A/D変換部103によりA/D変換されたR画像またはL画像を、記憶する。そして、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているR画像を視差検出部104および第1視差付加部111Rに出力する。また、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているL画像を視差検出部104および第2視差付加部111Lに出力する。
次に、立体撮像装置1000Aを用いた二回撮りによる立体撮影について、図12の処理フローを用いて、説明する。
(ステップ421):
ユーザは、ユーザIF用表示部からの指示に従い、シャッタを半押しし主被写体にフォーカスを合わせる。制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、ピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像上)の概略位置を検出する。
(ステップ422):
次に、ユーザは、そのままシャッタを押し(半押し状態から全押し状態にし)、左眼用画像(L画像)を撮影する。撮影された左眼用画像(L画像)は、画像メモリ部125に格納される。
(ステップ423):
ユーザは、ユーザIF用表示部から指示された距離だけ撮影位置を右に移動させ、立体撮像装置1000Aにより、右眼用画像(R画像)を撮影する。撮影された右眼用画像(R画像)は、画像メモリ部125に格納される。
(ステップ424):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
(ステップ425):
制御部110は、主被写体までの距離Rを用いて、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。
(ステップ426):
制御部110は、ステップ425により「推定した主被写体の視差x1(理想視差x1)」と、ステップ424により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Figure 2011108277
(ステップ427):
Δxは、立体撮像装置1000Aの光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
立体撮像装置1000Aにおいて、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
このように、立体撮像装置1000Aにより、上記視差補正方法を実行することで、図4(a)に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
さらに、立体撮像装置1000Aでは、主被写体を基準に理想視差x1を求めるので、撮像シーンに主被写体があれば、どんなシーンであっても、上記視差補正方法を実行することで、適切な視差補正を施した立体画像を取得することができる。
したがって、本変形例は、極めて有効な応用例を示すものである。上記では、無歪み撮影を例に説明したが、本変形例はこれに限定されることはなく、例えば、本変形例の立体撮像装置1000Aにより、第1変形例で説明した処理と同様の処理を行うことで、主被写体の演出的な定位を実現する立体撮影を行うことも可能である。
なお、本変形例の立体撮像装置1000Aによる立体撮影では、上下方向にも当然大きな誤差が存在する可能性が高いが、視差マッチングにより、上下方向の誤差(ずれ量)は、容易に検出し補正することができる。そのため、本変形例の立体撮像装置1000Aにより、高精度な立体画像を取得することができる。
≪第3変形例(単眼式立体カメラへの応用例)≫
次に、本実施形態の第3変形例について説明する。
単眼式立体カメラにより立体撮影を行う従来技術として、単眼レンズの左半分と右半分を実質的に隠して2枚の画像を撮影し、撮影した2枚の画像を立体画像(左眼用画像および右眼用画像)とすることで、比較的狭い基線長(撮影SB)での立体撮影を行う技術がある。
この従来の単眼式立体カメラにより撮像された立体画像では、ピントの合った主被写体については、左眼用画像(L画像)と右眼用画像(R画像)とが同一になるため、当該主被写体は仮想スクリーン上に定位し、当該主被写体の後方の被写体がぼけながら仮想スクリーン後方に定位し、当該主被写体の前方の被写体が同じくぼけながら仮想スクリーン前方に定位する。この単眼式立体カメラにより立体撮影を行う従来技術では、仮想スクリーン前後の被写体に対して大きなぼけを発生させる必要があるため、単眼式立体カメラに大きなレンズ口径のレンズを装着する必要があるが、簡単に立体撮影ができるというメリットがある。
しかし、この単眼式立体カメラにより立体撮影を行う従来技術では、フォーカスを合わせた主被写体が自動的に仮想スクリーン面上に配置されるという特性があり、立体撮影の経験の少ないカメラマンでも簡単に立体撮影ができるという特長をもつが、前述のような無歪み撮影や自由な演出(主被写体を所望の位置に定位させる演出)が出来ないという課題がある。
本変形例では、上記単眼式立体カメラにより取得される立体画像に所定の視差を付加することで、無歪み撮影により取得される立体画像または自由定位撮影により取得される立体画像を取得する方法について説明する。
なお、本変形例の立体撮像装置(上記単眼式立体カメラと同様の光学系および撮像部を有し、それ以外の部分については、立体撮像装置1000と同様の構成の立体撮像装置)の構成図は省略するが、構成要件とその番号は、図1に準ずるものとする。
以下、本変形例に係る立体画像取得方法について、図9、図10を用いて、説明する。
図9は、本変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係(位置関係)を示した図である。
図10は、本変形例に係る立体撮像装置で実行される立体画像取得方法(視差補正方法)の処理フローを示すフローチャートである。
以下では、図10のフローチャートに示した手順にしたがって、説明する。
(ステップ431):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離Rを求める。
(ステップ432):
本変形例の立体撮像装置では、主被写体の位置が仮想スクリーンVS上となり、かつ、輻輳点が主被写体の位置と一致する。したがって、フォーカスを合わせた主被写体の視差は、「0」になるので、現実視差x2は、x2=0になる。よって、制御部110は、x2=0に設定する。
(ステップ433):
定位情報設定部122により「無歪み撮影」が指示されているか否かを判定する。
(ステップ434):
定位情報設定部122により「無歪み撮影」が指示されている場合、制御部110は、主被写体の定位位置までの距離R4(左視点と右視点とを含む線分から主被写体の定位位置までの距離R4)をRに設定する、すなわち、R4=Rに設定する。
(ステップ435):
定位情報設定部122により「無歪み撮影」が指示されていない場合、制御部110は、演出として主被写体を定位させたい定位位置までの距離R3を定位情報設定部122から読み取り、R4をR3に設定、すなわち、R4=R3に設定する。
(ステップ436):
制御部110は、本変形例の立体撮像装置において、主被写体をR4の距離に定位させるための視差x4を次式で決定する。
Figure 2011108277
(無歪み撮影の場合:R4=R)
(自由定位撮影の場合:R4=R3)
(ステップ434):
制御部110は、次式により、補正視差Δxを算出する。
Figure 2011108277
なお、主被写体の視差x2は、「0」であるから、
Δx=x4−x2=x4
により、視差の補正量Δxは、「主被写体をR4の距離に定位させるための視差x4」と一致する。
(ステップ435):
Δxは、本変形例の立体撮像装置(単眼式立体カメラ)の原理的な定位との視差の差であるため、主被写体だけでなく全ての被写体に対して同じ視差補正が必要である。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、本変形例の立体撮像装置の撮像部により撮像した立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
これにより、本変形例の立体撮像装置では、R4=Rとすることで、無歪み撮影を行った場合と同様の立体画像を取得することができる。つまり、図9に示すように、R4=Rの場合、図9(a)の三角形ABCと図9(b)の三角形DEFとは合同となるので、本変形例の立体撮像装置により、仮想スクリーン位置と表示スクリーン位置とが一致しない場合であっても、無歪み撮影を行った場合と同様の立体画像を取得することができる。
さらに、本変形例の立体撮像装置では、R4=R3とすることで、自由定位撮影(主被写体位置を所望の位置に定位させる立体画像を取得する立体撮影)を行った場合と同様の立体画像を取得することができる。
以上のように、本変形例を、単眼式立体カメラに応用することで、無歪み撮影や主被写体の自由な定位などの演出が自由にできる。
なお、本実施形態および本実施形態の変形例では、輻輳制御部124を用いて物理的に光学系の輻輳角を変化させる動作について説明したが、これに限定されることはない。立体撮像装置において、輻輳角を変化させることと、電気的な視差を変化させること(例えば、立体画像上で視差を付加すること)とは近似的に等価である(「光学的シフト」と「電気的シフト」とは等価の関係である)。
したがって、本実施形態および本実施形態の変形例で説明した輻輳制御を、それと等価な電気的処理により実現してもよい。例えば、
(1)輻輳制御に相当する処理を、物理的な輻輳は付けずに電気的な視差を付加することで行う。
(2)輻輳制御に相当する処理を、固定の輻輳を用い(輻輳角を固定し)、輻輳制御部124が行う輻輳制御と等価な電気的処理(電気的に視差を付加する処理)に実現する。
なお、上記(1)、(2)の処理を実行する際、第1視差付加部111Rおよび第2視差付加部111Lにおいて、上記(1)、(2)の処理で発生する視差分も含めて付加させることにより、上記(1)、(2)の処理を実現するようにしてもよい。
また、第1視差付加部111Rおよび第2視差付加部111Lによる視差の付加は、左画像(L画像)および右画像(R画像)のどちらか一方に対してのみ行ってもよいし、左画像(L画像)および右画像(R画像)の両方に任意のバランスで視差を付加することで実現させてもよい。ただし、この場合、左画像(L画像)と右画像(R画像)とでは付加する視差の極性を反転させる必要がある。
なお、光学系の精度不足によるずれや2回撮り技法によるずれは、縦方向のずれ、横方向のずれ、回転方向のずれなどが含まれるが、縦方向のずれ、回転方向のずれなどは、マッチング技術により必要な精度で、ずれを検出し補正することが可能である。したがって、本発明の立体撮像装置においてもマッチング技術により、縦方向のずれ、回転方向のずれなどを検出・補正するようにしてもよい。なお、横方向のずれについては、本来視差としてのずれに重畳されたずれであるため、通常のマッチング処理では、視差なのか、横方向のずれなのかの判別が付かず、適切に横方向のずれを検出・補正することはできない。
回転方向のずれについては、撮像した立体画像の画面全体に対する平均的なマッチング結果により、実用的な補正ができるので、このような補正処理を行い、立体撮像装置において、回転方向のずれを補正するようにしてもよい。
また、本実施形態および本実施形態の変形例では、説明を簡単にするため、撮影SB(基線長)を人間の両眼間隔に一致している例について説明した。しかし、本発明は、それに限るものではない。図4を例に取ると、撮影ステレオベースが両眼より狭い場合には、同じ比率で仮想スクリーンを近づけるように輻輳を設定することにより、前述の三角形(例えば、図4(a)の三角形ABC)を相似形にすることができる。したがって、この状態で、本発明の立体撮像装置により立体撮影を行うことで、やはり無歪み撮影を実現させることができる。この場合、主被写体を上記比率(上記三角形の相似比に相当)の逆数で遠ざけた演出が可能である。すなわち、撮影SBが小さくなれば、仮想スクリーンが同じ比率(撮影SBの縮小比率)で近づき、撮影SBが大きくなれば、仮想スクリーンが同じ比率(撮影SBの拡大比率)で遠ざかることを考慮することで、本発明の立体撮像装置により、遠近演出(主被写体を遠ざけたり近づけたりする演出)を実現させることができる。
また、撮影SBを可変出来る立体撮像装置では、これらの撮影パラメータ(撮影SBを調整するための撮影パラメータ)も変更して、良好な立体画像を得ることが出来る。具体的には、主被写体が近景のマクロの場合、立体撮像装置において、撮影SBを狭めることにより自然で見やすい立体画像が撮影でき、また、屋上からビル街を撮影するような広範囲の遠景撮影では、立体撮像装置において、撮影SBを広げることにより、立体感のある良好な画像(立体画像)を撮影することができる。
また、ズーム倍率が可変出来る立体撮像装置を用いる場合、ズーム倍率を考慮して、無歪み撮影や演出(自由定位撮影)を行うことができる。
図4、図5、図7の説明では、説明を簡単にするため、撮影SBが両眼間隔に一致し、かつ、ズームも用いない場合について説明したが、これに限定されることはなく、撮影SBが両眼間隔に一致しない場合や、ズームを用いる場合においても、撮影SBおよび/またはズームに関する撮影パラメータを考慮することで、本発明の立体撮像装置による立体撮影を実行できることは言うまでもない。
また、主被写体に合わせたピントから距離を得る方法として、上記では、画像のコントラストを最大にする方法(コントラスト検出方式)による場合を例に説明したが、これに限定されることはなく例えば、位相差を用いて三角測量から距離を求める方法や、TOF(Time Of Flight)法のように光の到達時間から距離を求める方法や、超音波の反射到達時間から距離を求める方法を用いて主被写体までの距離を測定し、本発明を適用させるようにしてもよい。
[第2実施形態]
第2実施形態について、図面を参照しながら、説明する。
第2実施形態では、撮影時に、立体撮像装置により撮影するシーンが、人間が立体視可能にできるかどうかを判定し調整する装置、方法について、説明する。
図13に、第2実施形態の立体撮像装置2000の概略構成図を示す。
図13に示すように、本実施形態の立体撮像装置2000の基本構成は、第1実施形態の立体撮像装置1000と同様であり、本実施形態の立体撮像装置2000では、制御部110により実行される処理が、第1実施形態と異なる。
なお、本実施形態において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
なお、表示パラメータ取得部は、表示情報設定部121および制御部110により、その機能が実現される。
視差調整部は、制御部110により、その機能が実現される。
立体視可否判定部は、制御部110により、その機能が実現される。
撮影パラメータ調整部は、制御部110により、フォーカス制御部123、輻輳制御部124、および、撮像部(第1撮像部100R、第2撮像部100L)等が制御されることにより、その機能が実現される。
視差マップ画像生成部は、視差検出部104および制御部110により、その機能が実現される。
視差角取得部は、制御部110により、その機能が実現される。
補正視差角算出部は、制御部110により、その機能が実現される。
補正視差角最大値取得部は、制御部110により、その機能が実現される。
視差ヒストグラム作成部は、制御部110により、その機能が実現される。
(2.1:立体視可能条件(融像可能条件))
一般に、視差の絶対値が大きいときに融像しにくいことが知られている。このことは「パナムの融合域」と呼ばれており、「パナムの融合域」により、輻輳を合わせた距離(輻輳点までの距離)の前後の物体に対して、視差角を基準として融像出来る限界(範囲)を決めることができるとされている。視差角は、正の角度が手前側、負の角度が奥側であり、一般に、人間が立体画像(立体映像)を見たときに融像できる範囲は、視差角が、輻輳点の視差角(輻輳角)±1度程度となる領域(範囲)であると言われている。
このことから、撮影するシーンの被写体群が狭い奥行きの範囲(仮想スクリーン前後の狭い範囲)に存在する場合には、視差が少なく融像しやすい、即ち、見やすい立体画像が撮影されるのに対し、遠景と近景の差が大きい場合には、融像出来ない場合が生じることが分かる。
これについて、図18を用いて詳しく説明する。
図18は、前述の図3と同じシーンをディスプレイに表示したときの視差角について説明するための図である。
角度αsは、輻輳角であり、図18では、両眼の光軸が仮想スクリーンVS上で交差している状態を示している。このとき、仮想スクリーンVSと同じ距離にある物体(仮想スクリーンVS上に位置する物体)は、左右の視差が「0」になるため、このような物体(被写体)を撮像した立体画像を見たとき、当該物体(被写体)は、2重像にならず左右の画像が重なることになり(表示スクリーン上に定位することになり)、視聴時には、当該物体(被写体)は、表示スクリーン上にあるように見える。なお、図18において、最遠点である山は、視差角αf(αf<αs)であり、最近点である草花は、αn(αn>αs)であるとする。
前述したパナムの融合域による融像範囲をδとすると、|αf−αs|<δを満たすと遠景が融像でき、立体視できることになる。同様に|αn−αs|<δを満たすと、近景が融像できることになる。
このように、立体視出来るかどうかは、立体撮影した立体画像をディスプレイ(表示スクリーン)に表示したときにはじめて決定されるものである。表示時には、上記従来の手法を用いて立体視の可否を判定することができるが、これを撮影時に、正確に推定することは困難である。
図14は、図4のように、撮影時の撮影要素(被写体、仮想スクリーン、左右視点(撮像点))と表示時の表示要素(被写体、表示スクリーン、左右視点)との間に完全な幾何学的合同関係のある無歪み撮影の場合に限った条件ではなく、より一般的に、歪みを伴う場合を含んだ撮影時の撮影要素と表示時の表示要素との間の幾何学条件を説明するための図である。
図14(a)は、撮影時の状態を表している。図14(a)に示すように、撮像時には、基線(左眼用画像の撮像点および右眼用画像の撮像点を結ぶ線)からL1の距離に幅W1のスクリーン(仮想スクリーンVS)を置くことを想定し、輻輳角α1をその仮想スクリーンVS面上に設定する。このとき、基線から距離R1にある被写体の視差角をβ1とすると仮想スクリーンVS上では、x1の視差が発生する。
この視差x1は、
x1=L1・(α1−β1)
により求められる。
なお、上記は、近似解である。つまり、厳密には、
x1=2・L1・(tan(α1/2)−tan(β1/2))
であるが、α1およびβ1は、微小であるので、
tan(α1)=α1
tan(β1)=β1
と近似することができる。したがって、視差x1は、
x1=L1・(α1−β1)
と近似により求めることができる。
また、図14(b)は、表示時の状態を表している。図14(b)に示すように、表示時には、幅W2のディスプレイ(表示スクリーンDS)を基線(右眼視点および左目始点を結ぶ線)からL2の距離で見ることとすると、このときの視差x2は、
x2=L2・(α2−β2)
により算出される。
また、仮想スクリーンVSのサイズW1と表示スクリーンDSのサイズDSとが異なる場合、表示される視差も両スクリーンサイズの比率で変化する。すなわち、視差x2は、
x2=W2/W1・x1
となる。
以上より、表示時に融像出来るかどうかを定める相対視差角(α2−β2)は、
(α2−β2)=(W2/W1)・(L1/L2)・(α1−β1)
となる。
さらに、図示していないが、撮影時にズームを用いた場合、そのズーム倍率をzとすると、相対視差角(α2−β2)は、
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)
となる。
さらに、図示していないが、表示時に画像のシフトによる視差調整を行った場合、視差調整量を角度Δαで表すと、相対視差角(α2−β2)は、
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)−Δα
となる。
したがって、現実の撮影時の状態と表示時の状態との間には、多くの撮影パラメータ、表示パラメータ、調整パラメータが介在することが分かる。
上式の左辺が、融像出来るかどうかに直接影響する相対視差角を表しており、通常、この値が、±1度の範囲になければ、融像できずに二重像になり立体視できないことになる。また、この値が±0.5度の範囲にあれば、比較的楽に融像出来る見やすい立体像になると言われている。
この融像範囲(相対視差角が±0.5度の範囲、または、±1度の範囲)をδとすると、
|α2−β2|<δ
|z・(W2/W1)・(L1/L2)・(α1−β1)−Δα|<δ
したがって、
Figure 2011108277
により決定される範囲にある被写体(上式を満たす視差角β1を有する被写体)が融像出来るということがわかる。
(2.2:撮影時の立体視可否判定処理)
以上に基づいて、本実施形態の立体撮像装置2000により実行される撮影時の立体視可否判定処理について、説明する。
図15は、撮影時の立体視可否判定処理について説明するためのフローチャート図である。
まず、図15のフローチャートを用いて、立体撮像装置2000における撮影時の立体視可否判定処理の準備処理について、説明する。
(S101〜S104):
立体撮像装置2000において、第1実施形態と同様の処理により、補正視差Δxを算出する。
(S201):
最小視差検出部105は、視差検出部104により作成された視差マップメモリ181から最小視差x2_nearを検出する。なお、この最小視差x2_nearが最近点の視差に対応する。
また、最大視差検出部106は、視差検出部104により作成された視差マップメモリ181から最大視差x2_farを検出する。なお、この最大視差x2_farが最遠点の視差に対応する。
(S202):
制御部110は、S201で算出された最大視差x2_farおよび最小視差x2_neaから、最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearを下式により、算出する。
x3_far=x2_far+Δx
x3_near=x2_near+Δx
(S203):
制御部110は、S202で算出した最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearから、撮影時の最遠点の視差角β1_farおよび撮影時の最遠点の視差角β1_nearを算出する。
なお、制御部110は、図14に示したように、撮影時の撮影要素(被写体位置、仮想スクリーンのサイズおよび位置、SB、右眼画像用撮像点、左眼画像用撮像点)の位置関係から、幾何学的計算により、最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearから、撮影時の最遠点の視差角β1_farおよび撮影時の最遠点の視差角β1_nearを算出する。
(S204):
立体撮像装置2000において、立体撮影可否判定処理を実行する。
次に、図16のフローチャートを用いて、立体撮像装置2000における撮影時の立体視可否判定処理について、説明する。
(S205):
制御部110は、S203で算出した最遠点の視差角β1_farおよび最遠点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する。
(S206):
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たさない場合(ケース1の場合)、視差調整により、最遠点および最近点を、立体視可能範囲(範囲δ)に入れることはできないと判断し、立体撮像装置2000の画角調整等の撮影パラメータ調整処理を行い、例えば、ズーム倍率zや撮影SBを変更する。
(S207〜S209):
S206で画角調整(撮影パラメータ調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最遠点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S207)。
S207での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S208)。
一方、S207での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S209)。
(S210):
S205の判定の結果、最遠点については、上記(数式7)の条件を満たさないが、最近点については、上記(数式7)の条件を満たす場合(ケース2の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)に入れる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内となる視差調整量Δα1を算出する。
そして、その算出した視差調整量Δα1により、視差調整を行う(最遠点および最近点について、当該視差調整量Δα1分ずらす)。
(S211〜S215):
S210で算出したΔα1に相当する視差をずらした場合、最近点が依然として、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S211)。
そして、その判定の結果、最近点が依然として、立体視可能範囲(範囲δ)内である場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S214)。
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S212)。
そして、S212の撮影パラメータ調整処理を実行した後、S207と同様に、S212で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最遠点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S213)。
S213での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S214)。
一方、S213での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S215)。
(S216):
S205の判定の結果、最近点については、上記(数式7)の条件を満たさないが、最遠点については、上記(数式7)の条件を満たす場合(ケース3の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)内の限界(境界)点に移動させる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内の限界(境界)点となる視差調整量Δα1を算出する。
そして、その算出した視差調整量Δα1により、視差調整を行う(最遠点および最近点について、当該視差調整量Δα1分ずらす)。
(S217〜S221):
S216で算出したΔα1に相当する視差をずらした場合、最近点が、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S217)。
そして、その判定の結果、最近点が、立体視可能範囲(範囲δ)内である場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S220)。
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S218)。
そして、S218の撮影パラメータ調整処理を実行した後、S207と同様に、S218で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最近点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S219)。
S219での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S220)。
一方、S219での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S221)。
なお、ケース3の場合、立体撮像装置2000において、上記のように、まず、最遠点を融合域内の限界(境界)点となるように視差調整し、その後、最近点についての調整を行うのは、最遠点が融合域内となることを、優先的に、確保(保証)するためである。言い換えれば、立体撮像装置2000において、最遠点が融合域内となるようにした状態で、撮影パラメータを調整することにより、最近点も融合域内となるように処理を行うことは、比較的容易であるが、撮影パラメータの調整のみで、融合域外の最遠点を融合域内に入れるように調整することは難しい。したがって、立体撮像装置2000では、上記のように、処理を行う。
(S222):
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たす場合(ケース4の場合)、制御部110は、「撮影OK」の判定を行い、処理を終了する(S222)。
以上により、立体撮像装置2000では、上記(数式7)に基づいて、撮影時に、立体視可否判定処理を行うことができる。
なお、上記(数式7)から、立体撮像装置2000により撮像できる被写体の範囲は、以下の特性を有することが分かる。
(1)撮像できる被写体の範囲は、ズーム倍率に反比例する(拡大すると撮影できる範囲が狭くなる)。
(2)撮像できる被写体の範囲は、スクリーンサイズ比に反比例する(小さいスクリーンで見るときは広くなる)。なお、想定スクリーンサイズを大きく設定することと、小さなスクリーンで立体画像を見ることとは等価の関係にある。
(3)撮像できる被写体の範囲は、視聴距離に比例する(離れてみると広くなる)。なお、想定視聴距離を近くに設定することと、想定視聴距離より離れて立体画像をみることとは等価の関係にある。
(4)撮像できる被写体の範囲は、視差調整で正の視差をあたえると、遠景の範囲が広くなり、近景の範囲が狭くなる。
したがって、人間の視覚によって定まる融像域に対して、撮影時には、
(1)ズーム倍率、
(2)想定スクリーンと実スクリーンのサイズ、
(3)想定視聴距離と実視聴距離、
(4)視差調整量、
に応じて、融像出来る被写体の距離が変わるため、これらの関係を用いることにより、立体撮像装置2000において、撮影時に予め、見やすいシーンか見にくいシーンかの判定が可能になる。
このように、本実施形態の判定法(立体視可否判定処理)を用いることで、表示した時に被写体の遠景や近景が立体視できるかどうかを、撮影時に知ることができる。したがって、本実施形態の立体撮像装置2000により、撮影時に、立体視可否判定処理を行うことで、立体視できないような失敗撮影を事前に無くすことができる。
なお、撮影時において、最遠点が融像できない場合、正の視差(上記Δα1>0)を与え(付加し)、逆に、最近点が融像できない場合、負の視差(上記Δα1<0)を与える(付加する)ことにより、撮像しようとしているシーン全体が融像可能な状態となるように調整すればよいことは言うまでもない。
また、最遠点や最近点あるいは両方が融像出来ないときは、カメラのユーザーインタフェースを用いてアラートを出し、撮影者に撮影シーンの再検討を促すことにより、失敗撮影を回避することが可能である。
また、視差の方向として、いずれの方向を正と表現するかは、自由であり、上記実施形態において設定した正方向と逆の場合であっても、本発明を適用することができることは、言うまでもない。なお、視差の方向を、上記実施形態において設定した正方向と逆にする場合、上記実施形態(本明細書および図面)の表現(あるいは図示)について、正と負を逆にして読み替えればよい。
(2.3:第1変形例(高精度立体視可否判定))
次に、本実施形態に係る第1変形例について、説明する。
第1変形例に係る立体撮像装置では、より高精度な立体視可否判定(高精度立体視可否判定)処理を実行する。なお、第1変形例に係る立体撮像装置の構成は、第2実施形態の立体撮像装置2000の構成と同様である。
上記で説明した技術により、撮影時に立体視可能か否かを判定することが可能になった。しかし、本願発明者らは、さらに、撮影時の立体視可否判定の精度を上げることを目的として、多数のシーンによる立体撮影・表示を行い、多くの被験者による評価実験を行った結果、上記条件だけでは判断できないシーンを多々発見し、立体視の判定基準は、最遠点と最近点に対する視差だけで決まるのではないことを発見した。
つまり、本願発明者らは、立体視可否判定を行う場合、奥行きが前後に異なる被写体の2次元の画面上(仮想スクリーン上あるいは表示スクリーン上)での距離を考慮して立体視可否判定を行うことで、より高精度の立体視可否判定を行うことができることを見出した。
これに基づく、本変形例の立体撮像装置での処理について、以下、説明する。
(2.3.1:被写体の2次元画面上での距離を考慮した高精度立体視可否判定)
奥行きが前後に異なる被写体の2次元の画面(仮想スクリーンあるいは表示スクリーン)上での距離を考慮した撮影時の立体視可否判定についての条件は、以下の(1)、(2)の評価結果から見出した。
(1)遠景と近景が画面上で離れた位置にある場合には、遠景と近景の視差の差が比較的大きくても見やすい(立体視しやすい)ことが多い。
(2)逆に、遠景と中景、や中景と近景のように視差の差が比較的小さくても、それらが画面上で近い位置にある場合には、融像が難しくなる(立体視が困難になる)ことが多い。
したがって、撮影シーン中の最遠点F(最遠点の被写体距離をR(F)とする。)と最近点N(最近点Nの被写体距離をR(N)とする。)は、どちらも立体視可能である場合であっても、最遠点より近い遠景A(遠景Aの被写体距離R(A)とすると、R(A)<R(F))と最近点より遠い近景B(近景Bの被写体距離R(B)とすると、R(B)>R(N))とが画面上で隣接していると、その遠景Aと近景Bとが隣接している部分(領域)が融像出来ずに見づらい画像になるということが生じる。
そこで、本変形例の立体撮像装置では、2次元画面(仮想スクリーンあるいは表示スクリーン)上での2つの被写体の視差角α1、α2と、その2つの被写体の2次元画面中での距離hとを変数とする関数f(α1,α2,h)により、視覚に合わせた(人間の視覚特性を考慮した)補正視差角γを求め、その補正視差角γに基づいて、撮影シーンの被写体が融合域に入るかどうかを判定する。
ここで、補正視差角γを求める関数の例を示す。
f(α1,α2,h)=g(h)*|α1−α2|
g(h)は、hの絶対値が「0」に近いほど大きな値をとる単調減少関数である。
なお、関数g(h)は、所定の値th1から所定の値th2まで単調減少する関数であってもよい(つまり、th1>g(h)>th2)。また、関数g(h)は、表示画面サイズ(表示スクリーンサイズ)や視聴距離等により、変化するものであってもよい。
上記評価値(関数fの値)が、融像限界δに対して、
f(α1,α2,h)<δ
であれば、この2つの被写体(視差角α1の被写体と視差角α2の被写体)については、融像でき立体視できると判定することができる。
そして、上記条件が、撮影しようとしているシーン中の全ての被写体の間で成立すれば、シーン全体として見やすい(立体視可能)と判定できることになる。つまり、上記条件が、撮影しようとしているシーン中の全ての被写体について成立する場合、当該シーンを立体撮影することで取得される立体画像(立体映像)は、人間にとって見やすい(適切に融像できる)立体画像(立体映像)となる。
≪高精度立体視可否判定処理の処理フロー≫
次に、本変形例の立体撮像装置により実行される高精度立体視可否判定処理について、図17のフローチャートを用いて、説明する。この高精度立体視可否判定処理は、上記関数fを用いて、撮影時に、撮影シーンが融像可能(立体視可能)か否かを判定する処理である。
(S501):
制御部110は、視差マップメモリ181から、異なる2つのブロック(視差マップメモリ181の構成するブロック。図3のBK1やBK2がこれに相当。)を選択する。
(S502):
制御部110は、S501で選んだ2つのブロックの視差を、視差マップメモリ181から求め、所定の条件を用いて、当該2つのブロックの視差を、それぞれ、視差角α1,α2に変換する。なお、「所定の条件」とは、撮影時の撮影要素(被写体位置、仮想スクリーンのサイズおよび位置、SB、右眼画像用撮像点、左眼画像用撮像点)や、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)や、撮影パラメータ(画角、ズーム倍率、撮影SB等)により決定される条件である。そして、視差角α1、α2は、上記条件により視差補正された視差角であってもよい。
(S503):
選んだ2つのブロック間の2次元画面上の距離hを求める。なお、距離hは、視差マップメモリ181上のブロック間の距離により求め、例えば、隣接ブロックの場合は、h=1とする。
(S504):
選んだ2つのブロックに関する補正視差角f(α1,α2,h)を算出する。
(S505):
制御部110は、S504で算出した補正視差角f(α1,α2,h)の値(この値をf0とする)と、fの最大値として保持されているfmaxとを比較し、
f_max<f0であれば、fmax=f0とし、
f_max≧f0であれば、そのまま、fmaxを保持する。
なお、最初に、S505の処理が実行される場合、制御部110は、fmax=f0とする。
(S506):
制御部110は、全てのブロックの組み合わせについて、上記処理が終了したか否かを判定する。そして、判定の結果、全てのブロックの組み合わせについて終了していなければ、ステップS501に戻り、全てのブロックの組み合わせについて終了していれば、ステップS507に進む。
(S507):
制御部110は、fmaxとδを比較し、
fmax<δ
であれば、本変形例の立体撮像装置により立体撮影しようとしているシーンが、立体視可能であると判断する。
なお、高精度立体視可否判定処理では、必ずしも、上記のように、視差マップメモリ181を構成する全ブロック中の全ての2ブロックの組み合わせに対して、上記処理を実施せねばならないものではなく、例えば、視差の差が所定のレベル以上あるブロックについてのみ、上記処理を実施するようにしてもよい。
また、補正視差角を求める関数は、上記の関数に限られるものではなく、例えば、定性的に視差の差が大きいほど大きな値を出力し、および/または、2次元画面上の距離が大きいほど小さな値を出力する関数であれば、上記で示した関数以外の関数であってもよい。また、補正視差角を求める関数は、完全に単調関数でなくてもよく、所定の範囲において、一定値をとるものであってもよい。
(2.3.2:画面サイズと視聴距離を考慮した高精度立体視可否判定)
本願発明者らは、立体視する場合において、立体画像(立体映像)の見やすさに影響を与える要素として、上記以外に、ディスプレイのサイズと、視聴距離によるものがあることを見出した。
前述の説明では、眼球の輻輳(輻輳点)をスクリーン面に合わせることを前提として説明した。しかし、眼球の輻輳は、常にスクリーン面上から離れないかと言えば、そうではない。人間は、遠景が見にくければ、眼球の輻輳を変化させて遠景を見やすくするよう見方をすることを自然にしている。
これについて、図18を用いて、説明する。
例えば、図18の場合において、人間が、人物900を注視し輻輳(輻輳点)を人物900に合わせて見た(立体視した)場合について考える。この場合、山901の融像の条件は、|αf−αs|<δから|αf−αc|<δに変わるため、山901は見やすくなる(立体視しやすくなる)ことになる。
したがって、この場合、現実の融像範囲は、その分だけ広いと言える。
ところが、輻輳(輻輳点)を人物900に合わそうとして、人物900を注視するとピントも人物900に合わしてしまい、表示スクリーン上の立体画像(立体映像)を、くっきりと見ることが出来なくなる。うまく見るためには、ピントはスクリーン面に合わせ、かつ、輻輳(輻輳点)は人物900に合わせるという無理な見方が要求される(ピントと輻輳の不一致)。
人間は、眼球のレンズ(水晶体)の厚みを毛様体筋の収縮により変化させてピントを調節する。この際、ピント調節に要する収縮の変化幅は近距離の物体を見るときは大きく、遠距離の物体を見るときは小さいため、ピント調節による距離感を強く感じるのは、近距離の物体を見るときであり、遠距離の物体を見るとき、人間は、ピント調節によって距離を認識できない。
したがって、近距離で見る小サイズのディスプレイ(表示スクリーン)では、ピントによるスクリーンの距離感が強固であるため、輻輳(輻輳点)もスクリーン面に固定されがちになる。特に、2m以下では、その傾向が強い。
逆に、遠距離で見る大サイズのディスプレイでは、ピントによるスクリーンの距離感が希薄であるため、輻輳(輻輳点)は、スクリーン面に固定されず、前後に動きやすいことになる。
したがって、画面サイズが小さいディスプレイ(表示スクリーン)または近距離で見る視聴条件の場合は、相対的に融像条件を厳しく設定し、画面サイズが大きいディスプレイ(表示スクリーン)または遠距離で見る視聴条件の場合は、相対的に融像条件を広く(緩く)設定することが可能である。
これに基づいて、本変形例の立体撮像装置では、表示スクリーンのサイズを撮影時に把握しておき、表示スクリーンのサイズが小さい(小画面である)ほど、上記δ(融像範囲δ)を小さく設定し、表示スクリーンのサイズが大きい(画面サイズが大きい)ほど、δを大きく設定する。そして、本変形例の立体撮像装置では、このように設定したδを用いて、実際の処理(例えば、「2.2」で説明した撮影時の立体視可否判定処理や、「2.3.1」で説明した被写体の2次元画面上での距離を考慮した高精度立体視可否判定処理)を行う。これにより、本変形例の立体撮像装置では、撮影時において、より精度の高い立体視可否判定処理を実現することができる。
また、上記の他にも以下のような場合に、融像条件を緩める(広げる)ことが可能である。
(1)最遠点や最近点の被写体がスクリーン上で占める面積が小面積である場合。
(2)最遠点や最近点の被写体が画面(スクリーン)の端にある場合。
(3)最遠点や最近点の被写体のピントがはずれてぼけている場合。
上記何れの場合においても、最遠点や最近点の被写体がそのシーンにとって重要でない可能性が高いと判断でき、したがって、人間は、当該最遠点や最近点の被写体を注視することが少ない。つまり、注視されにくい当該最遠点や最近点の被写体の融像状態による影響は少ないので、上記の場合、融像条件を緩める(広げる)ことができる。
なお、融像範囲を調整するための方法として、例えば、以下のような方法がある。
(1)立体画像(立体映像)を構成する右眼用画像および/または左眼用画像を電気的にシフトさせることで視差を調整することで、融像範囲を調整する。
(2)立体撮像装置の撮影SBの調整(縮める調整)を行うことで、融像範囲の調整をする。
(3)2回撮りにより立体画像(立体映像)を取得する場合、2回撮りを実行する際の立体撮像装置の移動量を調整する。
(4)立体画像(映像)において、オブジェクト(被写体)のデプス(Depth、奥行き情報)を作成(算出あるいは推定)し、電気的に撮影SBの調整を行う。
これらの様々な要素を加味して融像域を変化させることにより、本変形例の立体撮像装置において、実際の見やすさに近い評価値を取得することができ、この取得した評価値に基づいて、撮影時に立体視可否判定処理を行うことで、本変形例の立体撮像装置において、より良い立体撮影を行うことができる。つまり、本変形例の立体撮像装置では、様々な要素を加味して融像域を変化させることにより、実際の見やすさに近い評価値を取得し、当該評価値に基づく立体視可否判定処理を行うことで、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することができる。
(2.3.3:視差ヒストグラムを用いた処理)
なお、立体視可否判定を行うために、上記のように融像範囲δの大きさを変化させる方法(融像条件を緩和させる方法)以外に、視差ヒストグラムを用いた方法を採用してもよい。視差ヒストグラムを用いた撮影時の立体視可否判定処理について、以下、説明する。
≪図19の場合≫
まず、図19に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図19に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、図19に示す所定の度数A以下の遠景および近景を除外し、立体視可否判定処理の対象領域AR1を近景B2から遠景C2の領域に設定する。
そして、制御部110は、設定した立体視可否判定処理の対象領域AR1(B2〜C2の領域)を、立体可能領域(例えば、図19に示す立体可能領域AR0)と比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR1が立体視可能領域AR0に含まれていれば、立体視可能と判定する。なお、図19の場合、立体可能領域AR0は、仮想スクリーン位置を中心とした対称領域(遠景側の領域の大きさと近景側の領域の大きさが等しい領域)である。
≪図20の場合(遠景THと近景THとが同じ場合)≫
次に、図20に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図20に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、図20に示す所定の度数TH以下の遠景および近景を除外し、立体視可否判定処理の対象領域AR2を近景B2から遠景C2の領域に設定する。
そして、制御部110は、図20に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域AR2の遠景側の限界点C2を基準とした領域AN1に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域AR0を、対象領域AR2の遠景側の限界点C2を基準とした領域AN1にシフトさせる。このようにして、制御部110は、立体視可否判定処理に使用する立体視可能領域AN1を設定する。
そして、制御部110は、立体視可否判定処理の対象領域AR2と、立体視可能領域AN1とを比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR2が遠景を重視して設定した立体視可能領域AN1に含まれていれば、立体視可能と判定する。
≪図21の場合(遠景THと近景THとが異なる場合(その1))≫
次に、図21に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図21に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、
(1)遠景側において、図21に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図21に示す所定の度数TH_near以下の近景を除外する。
そして、制御部110は、立体視可否判定処理の対象領域AR3を近景B2から遠景C2の領域に設定する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
制御部110は、図21に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域AR3の遠景側の限界点C2を基準とした領域AN2に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域AR0を、対象領域AR3の遠景側の限界点C2を基準とした領域AN2にシフトさせる。このようにして、制御部110は、立体視可否判定処理に使用する立体視可能領域AN2を設定する。
そして、制御部110は、立体視可否判定処理の対象領域AR3と、立体視可能領域AN2とを比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR3が遠景を重視して設定した立体視可能領域AN2に含まれていれば、立体視可能と判定する。
≪図22の場合(遠景THと近景THとが異なる場合(その2))≫
次に、図22に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図22に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、
(1)遠景側において、図22に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図21に示す所定の度数TH_near以下の近景を除外する。
そして、制御部110は、立体視可否判定処理の対象領域AR4を近景B2から遠景C2の領域に設定する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
また、制御部110は、立体視可否判定処理に用いる立体視可能領域を以下のようにして、求める。
(1)所定の度数TH0(>TH_far)を設定する。
(2)視差ヒストグラムにおいて、その度数が、遠景側から近景側へ向かってトレースしたときに最初に度数TH0を超える点(図22のC3点がこれに相当)を求める。
(3)(2)で求めたC3点を基準として、立体視可能領域AN3を設定する。なお、立体視可能領域AN3は、例えば、仮想スクリーンを中心として設定される立体視可能領域AR0を、C3点を基準としてシフトさせた領域である。
制御部110は、以上のようにして設定した立体視可能領域AN3と、立体視可否判定処理の対象領域AR4とを比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR4が遠景を重視して設定した立体視可能領域AN3に含まれていれば、立体視可能と判定する。
≪図23の場合(クラスタリング処理を行う場合)≫
次に、図23に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181を構成する各ブロック(このブロックは、例えば、8×8画素から構成されるブロックであるが、単独画素から構成されるものであってもよい。)に対して、クラスタリング処理を行う。これにより、例えば、図1.4(a)に示すようにクラスタリングされたとする。なお、図1.4(a)では、クラスタCL1〜CL6を模式的に示している。
そして、制御部110は、例えば、クラスタごとに代表値を設定して、視差ヒストグラムを生成する。具体的には、例えば、クラスタCL1が、視差がC4〜C5である視差マップメモリ181のブロックを含むものである場合、制御部110は、当該クラスタCL1の代表値を平均値(=(C4+C5)/2)として、視差ヒストグラムを生成する。
そして、制御部110は、上記で説明したのと同様の処理により立体視可否判定処理を行う。例えば、図23に示すように、制御部110は、視差ヒストグラムにおいて、遠景側から近景側にトレースしたときに、はじめてしきい値TH_farを超えるC4点を基準として立体視可能領域AN4を設定する。そして、制御部110は、立体視可能領域AN4と立体視可否判定の対象領域AR5とを比較し、立体視可否判定を行う。
なお、本変形例の立体撮像装置において、上記クラスタリング処理の後、重み付けを行い、立体視可否判定を行うようにしてもよい。これについて、説明する。
制御部110は、例えば、図23に示すように、各クラスタに対して、以下のような関数Weightによる重み付けを行う。
Weight(x,y,z)=Cent(x)・Size(y)・Blur(z)
Cent(x):クラスタの位置が、視差マップメモリ181上の中心位置(視差マップメモリ181の各ブロックにより構成される2次元画像(画面)の中心位置)から近い程、大きな値となる関数。なお、xは、例えば、クラスタの2次元画面上の位置を示す2次元ベクトルである。なお、Cent(x)=1として、クラスタ位置による重み付けをしないようにしてもよい。
Size(y):クラスタの、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上の面積が大きい程、大きな値となる関数。なお、yは、例えば、クラスタの、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上の面積である。また、Size(y)=1として、クラスタの面積による重み付けをしないようにしてもよい。
Blur(z):クラスタのボケ度合い(例えば、平均のボケ度合い)が大きい程、小さな値となる関数。なお、zは、例えば、クラスタのボケ度合い(例えば、平均のボケ度合い)を表す値である。また、Size(y)=1として、クラスタのボケ度合いによる重み付けをしないようにしてもよい。
制御部110は、上記のような重み付け関数Weight(x,y,z)を用いて、重み付け後の視差ヒストグラムを生成する。
例えば、図23(a)に示したクラスタCL1が遠景のクラスタであり、その視差の範囲が図23(b)のC4〜C5であり、その度数がH(CL1)であるとき、制御部110は、クラスタCL1について、重み付け関数Weight(x,y,z)の値を求める(これをWeight(CL1)とする)。そして、制御部110は、クラスタCL1の重み付け後の度数HA(CL1)を、
HA(CL1)=Weight(CL1)・H(CL1)
として求め、重み付け後の度数HA(CL1)により視差ヒストグラムを生成する。
そして、制御部110は、これを全てのクラスタについて行う。
このようにして、重み付けして生成された視差ヒストグラムの一例を、図23(c)に示す。
図23(b)に示す視差ヒストグラムでは、C4点を基準にして、立体視可能領域AN4および立体視可否判定処理の対象領域AR5が設定されている。
図23(a)に示すように、クラスタCL1は、遠景領域のクラスタであり、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上に占める面積は大きくないが、その位置が中心付近であるため、立体視可否判定処理において、重要である。したがって、クラスタCL1のWeight(CL1)の値は大きな値となり、
HA(CL1)=Weight(CL1)・H(CL1)
の値も大きな値となる。
つまり、図23(c)に示すように、図23(c)の視差C4〜C5の度数が多くなり、しきい値TH_farを超えるので、制御部110は、C5点を基準にして、図23(c)に示すように、立体視可能領域AN5および立体視可否判定処理の対象領域AR6を設定する。
これにより、本変形例の立体撮像装置では、CL1のような画面中心付近に存在する小さい面積の遠景部分の影響を考慮した立体視可否判定処理を行うことができる。
なお、上記は一例であり、上記に限定されないことは言うまでもない。
また、クラスタの占める面積、クラスタのボケ程度に関しても、上記と同様の処理を行うことで、本変形例の立体撮像装置において、クラスタの占める面積、クラスタのボケ程度を考慮した、より適切な立体視可否判定処理を行うことができる。
[第3実施形態]
次に、第3実施形態について、説明する。
第3実施形態では、撮影すべきシーンが、人間が立体視できないシーンに対しするカメラのアシスト機能に関する。
第2実施形態およびその変形例では、人間の視覚が感じる見やすさに近い判定基準で見やすさ(立体視のしやすさ)を判定できるようにする立体撮像装置および立体視可否判定方法について説明した。前述の実施形態の立体撮像装置を用いることで、遠景が見にくいときには視差調節あるいは輻輳の調節により遠景を近づけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる、また、近景が見にくいときには視差調節あるいは輻輳の調節により近景を遠ざけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる。
しかし、視差調節や輻輳の調節をむやみに行うと、奥行きのリニアリティーが低下し、取得される立体画像(立体映像)の画質が低下する。また、遠景と近景の融像が両立出来ない撮影条件は、視差調節や輻輳の調節では解決できないことも多い。
本実施形態では、遠景と近景が両方とも融像出来ない場合に、撮影条件を変更して見やすい撮影ができるように、撮影者に対してアシストする機能に関するものである。
図24は、本実施形態の原理を説明する図である。
図24(a)は、撮影シーンの位置関係(撮影時の撮影パラメータの位置関係)を表している。最遠点は、距離Rfにある山901であり、最近点は距離Rnにある草花902である。また、このシーンでの主被写体は、距離Rcにいる人物900である。図24(a)のカメラ(立体撮像装置)で撮影する際の視差角は、山901がαf、草花902がαn、人物900がαcとする。
ここで前述の実施形態の発明により、パナムの融合域による融像範囲δを撮影側に変換した融像範囲をδxとすると、
|αn−αf|<2δx
を満たしていれば、適切な視差調整により遠景と近景の両方を見やすい融像域に入れることが可能である。しかし、上記を満たしていなければ、如何に視差調整をしようとも双方(遠景および近景)を融像させることは困難である。
本実施形態の立体撮像装置では、このように遠景と近景の融像が両立しないことを撮影直前に前述の実施形態の技術により検出し、撮影者に対して、後方に下がって撮影するようにアシストする。
図25に、本実施形態の立体撮像装置3000の概略構成を示す。
図25に示すように、本実施形態の立体撮像装置3000は、第2実施形態の立体撮像装置2000に警告部126を追加した構成である。それ以外については、本実施形態の立体撮像装置3000は、第2実施形態の立体撮像装置2000と同様である。
なお、アシストの方法は、制御部110が警告部126を制御し、警告部126が撮影者に対して警告を出すことにより実現される。例えば、警告部126は、ディスプレイ表示を行う機能部や音声ガイドを行う機能部であり、警告部126により、ディスプレイ表示や音声ガイド等を行うことで、立体撮像装置3000において、アシスト機能を実行させる。このアシストの方法として、例えば、以下の方法がある。
(1)何処まで下がればよいかを伝える方法(現在の立体撮像装置の位置から、被写体から遠ざかる方向に立体撮像装置を移動させるべき距離(遠ざかるべき距離)を指示する方法)。
(2)撮影者がカメラ(立体撮像装置)を構え、仮撮影をしながら後方にさがり、立体撮像装置が、撮影画像から遠景と近景の融像が両立することを判断して、その判断結果を撮影者に伝えることで、カメラ位置(立体撮像装置の位置)を決める方法。
なお、立体撮像装置3000により上記アシスト機能が実現されている場合であって、立体撮像装置3000により、撮像しようとしているシーンが立体視可能であると判定されるまでは、立体撮像装置3000による立体撮影を禁止するようにしてもよい(例えば、立体撮像装置3000のシャッター(不図示)を撮影者が押すことができないように(全押しすることができないように)、シャッターをロックしてもよい)。
図24(b)は、カメラ位置(立体撮像装置の位置)をΔRだけ後方に下げた状況を図示している。この場合の視差角は、山901がαf‘、草花902がαn’、人物900がαc‘である。
ここで、遠景の視差角はほとんど変化しない、即ち、αf−αf‘≒0にかかわらず、近景の視差角は大きく減少する。
したがって、|αn‘−αf’|<|αn−αf|となるため、
|αn‘−αf’|<2δx
を満たせば、遠景と近景の融像が両立できることになる。
Figure 2011108277
上式を満たす、ΔRは事前に計算することが可能であり、ΔRを立体撮像装置により算出し、立体撮像装置が、撮影者に対して、ΔRだけ後方に下がって撮影するように指示することができる。
また、本実施形態では、後方に下がって撮影することにより遠景と近景がともに見やすくなる立体画像(立体映像)が取得できる代わりに、被写体に対するパースペクティブは、次のように変化する。すなわち、近景の草花902は小さくなり、中景の人物900は、少し小さくなり、遠景の山901は、ほとんど変化しない。
通常、この変化が問題になるのは、主被写体である人物900が望む大きさよりも小さく撮影される場合であり、近景や遠景の大きさ変化はあまり問題にならない。
そこで、本実施形態の立体撮像装置では、主被写体の大きさ変化を抑えるため、後方に下がるのと連動するズーム処理を行う。
主被写体の大きさは、後方に下がるとRc/(Rc+ΔR)の比率で小さくなる。
したがって、本実施形態の立体撮像装置では、後方に下がったことによる影響を補償するために、ズーム倍率を(Rc+ΔR)/Rc倍にする。つまり、本実施形態の立体撮像装置では、焦点距離を伸ばすことにより、主被写体の大きさが変化しないように制御する。
その結果、本実施形態の立体撮像装置で取得される立体画像(立体映像)において、遠景は大きい目、近景は小さい目になるが、主被写体が所望の大きさになれば多くのシーンでは良好な撮影(立体撮影)ができることになる。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
本変形例の立体撮像装置では、図24(a)の位置で撮影をしようとした場合、前述の関係式から得られる主被写体の焦点距離をズーム変化範囲の広角端に設定するものである。そうすると、ズームを最も広角にしても主被写体が大きすぎることになり、その結果、撮影者は自発的に後方に下がり図24(b)の位置から撮影することになる。したがって、本変形例の立体撮像装置では、撮影者に対して、ズーム可動域の広角端を制限することによるアシストを行う。
また、主被写体が人物であることをカメラ(立体撮像装置)が標準的に搭載する顔検出機能により認識し、主被写体が人物である場合、本変形例の立体撮像装置において、上記動作を行うと良い。
≪第2変形例≫
次に、本実施形態の第2変形例について説明する。
撮影すべきシーンの内、重要な被写体が、主被写体と遠景である場合についての変形例(第2変形例)を説明する。
遠景と近景の融像が両立しないが、その際、近景の被写体が画面上の端(スクリーンの枠の近く)に位置している場合、その被写体は撮影シーンの中で重要度が低い場合が多い。
したがって、前述のように撮影者が後方に下がるのではなく、撮影者が撮影位置を少し横に移動することにより、重要でない近景を撮影範囲外に追い出すことが可能である。
本変形例の立体撮像装置では、上記判断基準により近景の重要度が低いと判断した場合に、撮影者に対して、近景を撮影範囲から外すように横に移動して撮影するように、表示や音声でアシストする。
本変形例の技術では、遠景と主被写体の間の大きさの比率は維持されるため、当初のパースペクティブからの変化が少ない撮影(立体撮影)ができる。
[他の実施形態]
なお、上記実施形態で説明した立体撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blue−ray Disc)、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態では、2つの撮像部により、ステレオ画像(左眼用画像および右眼用画像)を取得(撮像)している場合について説明した。しかし、これに限定されることはなく、例えば、1つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、1つの撮像素子の撮像素子面を2分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本発明に係る立体撮像装置、立体撮像方法およびプログラムは、自然で見やすく安全な立体撮像と立体表示を可能にするものであり、映像機器関連産業分野において、有用であり、本発明は、当該分野において実施することができる。
1000、1000A、2000、3000 立体撮像装置
100R 第1撮像部
100L 第2撮像部
101R 第1光学系
101L 第2光学系
102R 第1撮像素子部
102L 第2撮像素子部
104 視差検出部
105 最小視差検出部
106 最大視差検出部
107 主被写体視差検出部
110 制御部
111R 第1視差付加部
111L 第2視差付加部
112R 第1トリミング部
112L 第2トリミング部
121 表示情報設定部
122 定位情報設定部
123 フォーカス制御部
124 輻輳制御部
181 視差マップメモリ
【書類名】明細書
【発明の名称】立体撮像装置および立体撮像方法
【技術分野】
【0001】
本発明は、3次元立体画像(3次元立体映像)を撮像する撮像装置に関し、特に、良好な立体画像(立体映像)表示が可能な左眼用および右眼用の2枚の視差画像(ステレオ画像)を撮像する撮像方法および撮像装置に関する。
【背景技術】
【0002】
立体画像(左眼用画像および右眼用画像)を、独立して左右の目に投影できる表示装置(以下、「立体表示装置」という。)に表示することにより、立体画像を再現させるために、両眼視差が存在する状態で立体画像(左眼用画像および右眼用画像)を撮像する立体撮像装置が知られている。
これらの立体撮像装置は、光学系の数やイメージセンサの数に関して多様な構成のものがあり、また、立体撮像装置は、撮像方式に関しても、並列方式や時分割方式(フレームシーケンシャル方式)など様々な撮像方式を採用している。一般的には、2つの光学系(右眼用の光学系および左眼用の光学系)を有する2眼式の構成の立体撮像装置(2眼式立体画像撮像装置)が用いられることが多い。このような2眼式立体撮像装置には、2つの光学系の光軸の交差角(以下、「輻輳角」という。)等に代表される立体撮像パラメータを可変できるものもある。
【0003】
また、2つの光学系を用いず1つの光学系を通して左右の視差画像(左眼用画像および右眼用画像)を撮像する立体撮像装置も提案されている(例えば、特許文献3参照)。この立体撮像装置による撮影は、わずかな視差を持たせた2台のカメラによる撮影と等価であり、その撮影原理は、2台のカメラによる撮影(2つの光学系を用いる撮影)原理と同様である。
【0004】
また、一台のカメラ(撮像装置)を用いて撮影位置を横(水平方向)にずらして2度撮影することにより立体画像(左眼用画像および右眼用画像)を撮像する技法(以下、「2回撮り技法」という。)もある。この2回撮り技法は、静止被写体の撮影に限られ、横(水平方向)へ移動して正しく撮影するためには経験を要するが、簡便であり広い撮影両眼距離(以下、「撮影SB」、「撮影ステレオベース」、「ステレオベース」あるいは「基線長」という。)による撮影が可能であるため、有効な撮影技法である。2回撮り技法による立体撮影を適切に実行させるために、特殊なリグなどを用いずにフリーハンドでの撮影を支援するための機能、例えば、カメラの液晶ディスプレイにガイドを表示するなどの撮影支援機能を有する撮像装置も提案されている。
【0005】
≪平行法と交差法≫
上記撮像装置により立体撮影・表示を行う技術として、平行法および交差法と呼ばれる撮像手法が知られている。
平行法は、2台のカメラを左右に配置し、その2台のカメラの光軸が平行となる状態で、立体画像(立体映像)を撮影する技術である。平行法では、撮影の際、撮影SBを人の両眼間隔に相当する間隔(約6.5cm)に設定して撮影を行い、表示の際、撮像した立体画像(左眼用画像および右眼用画像)を撮影SB分だけ電気的にずらしてスクリーン上(表示装置の表示画面上)に表示させる。これにより、平行法では、撮影時にカメラの位置で直接見た画像と同じ画像をスクリーン上(表示装置の表示画面上)に表示させることができ、さらに、平行法による立体画像では、被写体までの距離・被写体の大きさなどがそのまま表示装置を用いて再現される。つまり、平行法による立体撮影を行うことで、いわゆる「無歪み撮影」を実現させることができる。
【0006】
交差法は、2台のカメラ(撮像装置)の光軸に輻輳を付けて撮影する技術である。交差法では、2台のカメラ(撮像装置)の光軸の交差する点(輻輳点)に位置する被写体が表示装置のスクリーン面の位置に定位することを基本として撮影を行う。交差法による立体撮影では、輻輳角を変化させると被写体の定位位置を前後に変化させることが可能である。つまり、交差法による撮影では、所定の被写体を、所定の定位位置に設定しやすいので、交差法による撮影は、映画などの演出等において便利であり、映画界等で広く用いられている。
【0007】
立体撮影・表示技術において、幾何学的条件に起因する問題点がある。
立体撮影・表示技術では、幾何学的条件により、立体撮影された画像(映像)を立体表示した場合、自然な奥行き感が得られないことがある。これは、幾何学的条件により、奥行き領域(仮想スクリーン(表示スクリーン)より奥の領域)が過剰に(不自然に)圧縮された状態で表示されたり、奥行き領域が過剰に(不自然に)広がった状態で表示されたり、後方発散し融像できない状態で表示されたりすることに起因する。
【0008】
なお、「幾何学的条件」とは、立体画像撮影時の状態および/または立体画像表示時の状態における立体撮影・表示するための要素の位置関係から幾何学的に決定される条件のことをいう。例えば、幾何学的条件は、以下のものにより決定される。
(A)撮影時
(A1)輻輳角、(A2)レンズの画角(ズーム)、(A3)撮影SB、(A4)焦点距離などの撮影パラメータ。
(B)表示時
(B1)表示装置のサイズ(表示画面サイズ)、(B2)視聴距離。
【0009】
このように、立体撮影・表示技術では、幾何学的条件により、適切でない視差画像(立体画像)が撮像・表示されるという問題点がある。
さらに、立体撮影・表示技術では、視覚的条件に起因する問題点もある。極端な近景や遠景などを立体撮影した場合、視差の絶対値が大きい状態での視差画像(立体画像)が撮像されることになり、その撮像した視差画像(立体画像)をディスプレイに表示すると、多くの人にとって、当該視差画像(立体画像)は、融像出来ない画像、すなわち、単なる二重像の画像(立体視のできない画像)として認識される。また、当該視差画像(立体画像)が立体視できるものであったとしても、極端に疲れる画像になることもある。このように、立体撮影・表示技術では、人間の視覚特性により、適切でない視差画像(立体画像)が撮像・表示されるという問題点がある。
【0010】
これらの問題点を解決するために、左右画像(左眼用画像および右眼用画像)から視差を検出し、検出した視差に基づいて視差調整を行い、人間にとって見やすい立体画像を表示する技術が提案されている(例えば、特許文献1、特許文献2参照)。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特許第3157384号公報
【特許文献2】特開2004−349736号公報
【特許文献3】特公平8−27499号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、従来技術には、以下のような課題がある。
第1に、立体撮像装置の精度不足(特に、光学的な精度不足)により、適切な立体撮影を行うことができない場合があるという課題がある。
立体撮像において、2つの光学系の間の精度(平行性、輻輳角などの精度)は、極めて重要であり、光学系の精度不足により、例えば、上下にずれたりする(2つの光学系に上下方向のずれが発生する)と前述の融像できる視差の範囲が狭くなり見づらくなる。精度を上げるためには、光学系の機構的な剛性を高める必要があり、大きさ、重量、コストなどの点で課題となる。さらに、立体撮像装置が輻輳角を可変させる構成やズームを備えた構成では、さらに精度確保が困難になる。また、要求される精度の内、上下のずれについては、二枚の画像のマッチングを調べ、ずれの内上下方向のずれ成分を補正するように画像を上下シフトすることにより補正することが原理的に可能である。しかし、左右方向のずれについては、それが、光学系等の精度不足によるずれなのか、それとも、立体撮影による本来の視差なのかを区別できないため、補正は困難である。
【0013】
さらに、一台のカメラによる手持ちでの二回撮り技法においては、光軸の精度や輻輳角の精度は、許容範囲から遙かに逸脱することが多く、PC等を用いた画像処理による後工程が必須である。しかし、やはり左右方向のずれについては補正量が不明であるため、人間の判断が行える手作業においても決定が困難であり、試行錯誤で最適な画像に調整を行っているのが現状である。
また、左右方向の視差に大きな誤差が含まれると、被写体の定位位置が前後に変動し期待通りならないという課題がある。それにより、自然な奥行き感が損なわれる、あるいは、見やすい撮影が安定してできない等の課題もある。
【0014】
第2に、撮影時に適切な処理がなされないために、表示時に適切な立体画像(立体映像)の表示ができない(警告しかなされない)という課題がある。
人間の視覚特性により、視差の絶対値が大きい画像をディスプレイに表示すると、融像出来ずに二重像になり立体視できない。仮に、立体視できたとしても極端に疲れる画像になる可能性が高い。
これに対して、左右画像から視差を検出し視差調整を行い見やすい立体画像を表示する表示装置の技術が提案されている(例えば、特許文献1、特許文献2参照)。
【0015】
これらの技術は、立体画像(立体映像)の表示時に行う処理に関するものであり、表示された立体画像(立体映像)の視差と、それを観察する人間の視覚の融像条件とを用いて、許容される視差範囲に入れる、もしくは、警告するものである。
しかし、実際には、表示時に融像出来ないことが分かり警告されても対処の方法はなく手遅れであ
【0016】
本来は、撮影すべきシーンを撮影し、それをディスプレイに表示したときに、疲れずに立体視できるかどうかを、撮影するときに予め知ることができるのが望まれる。
しかし、実際のシーンが撮影されてからそれらがどのように表示され定位されるかは、撮影時の多数のパラメータ(SB、画角、ズーム倍率、輻輳角など)と、表示時のパラメータ(表示のサイズ、視聴距離など)とにより決定されるため、従来、撮影時に表示状態や定位位置を判定することは出来なかった。
【0017】
第3に、撮影時に、立体撮影される画像(映像)(立体画像(映像))が、立体視ができ疲れないで見ることができるのかどうかを、実際に人間が見たときの感覚に近づけて判定することができないという課題がある。
従来技術では、撮影時に、撮影時のパラメータや表示時のパラメータから、表示状態や定位位置を判定できたとしても、撮影シーンによっては、検出した視差を用いて正しく判定できない場合がある。
【0018】
これは、異なるシーンにおいて、最遠点と最近点とが、それぞれ、同じであっても、最遠点と最近点との画面上の位置関係によって見やすさが変わることに起因する。
例えば、最遠点と最近点とが画面上で近接する場合には、融像が困難になる。逆に言えば、最遠点と最近点とが画面上である程度離れている場合、融像できる。
さらには、実際の最遠点と最近点とは、画面上で離れていたため融像出来る判定されたにもかかわらず、最遠点ではない遠景と最近点でない近景とが、画面上で近接していたため、融像できない場合も存在する。すなわち、このような場合、従来技術では、融像の可否については、誤判定されることになる。
【0019】
したがって、最遠点と最近点の距離や角度に従うだけでは、見やすさを正しく判断できないという課題がある。
また、最遠点と最近点で見やすさが決まるシーンであったとしても、最遠点および最近点のいずれかのみが融像できない場合には、従来の視差調節を用いて双方を融像可能にできる場合もあるが、一般に、両方が融像域外の場合や、一方を融像域内に入れると他方が融像域外になる場合が多く、従来技術では、これらのシーンは、立体視できる条件での撮影はできないと判定されることになる。
【0020】
撮影SBを小さくする方法も存在するが、撮影SBを可変にするカメラの構成は複雑となり、また、撮影SBを小さくすると、撮像画像は、遠近感が乏しい画像になりがちである。
本発明は、上記課題を鑑みて、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得する立体撮像装置、および立体撮像方法提供することを目的とする。
【0021】
また、本発明は、上記課題を鑑みて、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、および立体撮像方法提供することを目的とする。
【課題を解決するための手段】
【0022】
第1の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、被写体像の光学像を形成する光学系と、撮像部と、撮像パラメータ取得部と、表示パラメータ取得部と、視差検出部と、記録映像生成部と、
前記形成した光学像に基づいて前記立体映像を生成する撮像部と、立体視可否判定部と、を備える。
【0023】
撮像パラメータ取得部は、光学像を形成した際の光学系に関する撮像パラメータを取得する。
表示パラメータ取得部は、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。
視差検出部は、立体映像の視差を検出する。
【0024】
記録映像生成部は、生成した立体映像から、記録用の立体映像を生成する。
立体視可否判定部は、撮像パラメータ、表示パラメータおよび検出した視差に基づいて、記録用の立体映像を生成する前に、生成した立体映像に対する立体視のし易さまたは立体視のしにくさを、所定の判定条件に基づいて判定する。
【0025】
この立体撮像装置では、表示パラメータ取得部により、立体映像を視聴する環境に関するパラメータである表示パラメータを取得し、立体視可否判定部により、立体撮影時に、視聴環境を考慮して、立体撮影しようとしているシーンについての立体視のし易さまたは立体視のしにくさを判定することができる(例えば、立体視可能であるか否かを判定することができる)。
なお、「表示パラメータ」とは、例えば、立体映像を表示させる環境(視聴環境)における表示要素(左眼の位置、右眼の位置、表示スクリーン(のサイズ、位置、幅)、主被写体の定位位置等)に関するパラメータである。
【0026】
第2の発明は、第1の発明であって、表示パラメータ取得部は、少なくとも視聴者から立体映像を表示するスクリーンまでの視聴距離に関する情報を含む表示パラメータを取得する。立体視可否判定部は、所定の判定条件を、視聴距離が短いほど生成した立体映像に対する立体視しにくくなる判定条件に変更し、変更後の判定条件に基づいて判定する。
【0027】
第3の発明は、第1の発明であって、撮影パラメータ取得部は、少なくとも光学像を形成した際の光学系におけるズーム倍率に関する情報を含む撮影パラメータを取得する。立体視可否判定部は、所定の判定条件を、ズーム倍率が大きいほど生成した立体映像に対する立体視しにくくなる判定条件に変更し、変更後の判定条件に基づいて判定する。
【0028】
第4の発明は、第3の発明であって、
(1)立体撮影時において、第1視点および第2視点を結ぶ線分SB1から仮想スクリーンまでの距離をL1とし、仮想スクリーンの幅をW1とし、線分SB1の中点を通る仮想スクリーン面への垂線の仮想スクリーンとの交点を輻輳点としたときの視差角をα1とし、撮影シーンに含まれる任意の被写体に輻輳点を合わせたときの視差角β1とし、ズーム倍率をzとし、
(2)立体表示時において、第1視点および第2視点を結ぶ線分SB2から表示スクリーンまでの距離をL2とし、表示スクリーンの幅をW2とし、
(3)立体表示時において、第1視点映像および/または第2視点映像に対して、画像シフトによる視差調整を行うことができる場合、立体表示時において、当該視差調整を行った場合の視差調整量に相当する視差調整角をΔαとし、
(4)立体視可能範囲を示す相対視差角をδとしたとき、
立体視可否判定部は、撮影シーン中の任意の被写体について、
|z・(W2/W1)・(L1/L2)・(α1−β1)−Δα|<δ
を満たすか否かを判定することにより、立体撮影しようとしているシーンが立体視可能であるか否かを判定する。
【0029】
ここで、表示時における表示スクリーン上に輻輳点を設定したときの視差角(輻輳角)をα2とし、上式のβ1に対応する被写体の定位位置に輻輳点を設定したときの視差角(輻輳角)をβ2とすると、上式は、|α2−β2|<δと等価である。したがって、この立体撮像装置では、撮影時の撮影要素(被写体、仮想スクリーン、左右視点(撮像点)、ズーム倍率等)の状態および表示時の表示要素(被写体(定位位置)、表示スクリーン、左右視点等)の状態を考慮して、撮影時に、立体撮影しようとしているシーンが立体視可能であるか否かを適切に判定することができる。
なお、立体表示時において、当該視差調整を行った場合の視差調整量に相当する視差調整角Δαは、立体撮像装置において、表示パラメータの1つとして取得される。
【0030】
第5の発明は、第4の発明であって、立体可否判定部は、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上で占める面積が小面積である程、立体視可能範囲を決定する条件を緩める。
【0031】
この立体撮像装置では、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上で占める面積が小面積である程、立体視可能範囲を決定する条件を緩めることができるため、撮影時の立体視可否判定処理を、人間が見たときの感覚に近づけて行うことができる。つまり、この立体撮像装置では、人間があまり注視しない遠景や近景を除外して(重要度を下げて)、撮影時の立体視可否判定処理を行うことができる。
【0032】
なお、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上で占める面積を、例えば、カメラスルー画像において、最遠点の被写体および/または最近点の被写体が占める面積を求めることで推定するようにしてもよい。
また、「立体視可能範囲を決定する条件を緩める」ために、例えば、立体視可能範囲を決定する相対視差角の範囲を大きくすればよい。例えば、上記に該当する場合、立体視可能範囲を決定する相対視差角の範囲δ(例えば、±0.5°)をδ1(例えば、±0.55°)にすることで、「立体視可能範囲を決定する条件を緩める」ことができる。
【0033】
第6の発明は、第4または第5の発明であって、立体可否判定部は、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上の位置が端に近い程、立体視可能範囲を決定する条件を緩める。
これにより、人間があまり注視しない遠景や近景を除外して(重要度を下げて)、撮影時の立体視可否判定処理を行うことができる。したがって、この立体撮像装置では、より適切に、撮影時の立体視可否判定処理を行うことができる。
【0034】
第7の発明は、第2から第6のいずれかの発明であって、立体可否判定部は、立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体のピントがはずれている程、立体視可能範囲を決定する条件を緩める。
これにより、人間があまり注視しない遠景や近景を除外して(重要度を下げて)、撮影時の立体視可否判定処理を行うことができる。したがって、この立体撮像装置では、より適切に、撮影時の立体視可否判定処理を行うことができる。
【0035】
第8の発明は、第1から第7のいずれかの発明であって、最大視差検出部と、最小視差検出部と、撮影パラメータ調整部と、を備える。
最大視差検出部は、視差検出部が検出した視差から、最大視差maxを検出する。
最小視差検出部は、視差検出部が検出した視差から、最小視差minを検出する。
撮影パラメータ調整部は、立体撮影を行うための撮影パラメータの調整を行う。
【0036】
立体視可否判定部は、最大視差maxに相当する撮影シーン中の最遠点および最小視差minに相当する撮影シーン中の最近点が立体視可能範囲内であるか否かを判定する。
そして、この立体撮像装置は、以下の(1)〜(4)の処理を行う。
(1)立体視可否判定部により、最遠点および最近点の両方が立体視可能範囲外であると判定された場合、撮影パラメータ調整部は、撮影パラメータを調整し、撮影パラメータの調整後に、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行う。
(2)最遠点が立体視可能範囲外であり、最近点が立体視可能範囲内であると判定された場合、視差調整部は、最遠点が立体視可能範囲内となるように、視差調整を行い、視差調整の後に、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行う。
(3)最遠点が立体視可能範囲内であり、最近点が立体視可能範囲外であると判定された場合、視差調整部は、最遠点が立体視可能範囲内の境界点となるように、視差調整を行い、視差調整の後に、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行う。
(4)立体視可否判定部により、最遠点および最近点の両方が立体視可能範囲内であると判定された場合、立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能であるとの判定を行う。
【0037】
この立体撮像装置では、遠景を重視して、撮影シーンを立体視可能な状態に調整することができる。つまり、この立体撮像装置では、まず、最遠点が立体視可能範囲内に入っていることをまず保証し、その状態で、最近点が立体視可能範囲外である場合、撮影パラメータの調整を行い、最近点を立体視可能範囲内に入るように調整を行う。そして、この立体撮像装置では、撮影パラメータの調整を行った後においても、依然として、最近点が立体視可能範囲外である場合、立体視不可と判定する。
【0038】
これにより、この立体撮像装置では、多くの撮影シーンを立体視可能な状態にした後、立体撮影ができるとともに、撮影時において、適切に、立体視可否判定処理を実行することができる。
なお、「立体視可能範囲内の境界点」とは、立体視可能範囲内の境界点近傍(付近)を含む概念である。立体視可能範囲内の境界点近傍とは、例えば、立体視可能範囲を相対的な距離として0〜100(「0」が最近点で、「100」が最遠点)と表現したとき、例えば、90〜100の範囲が最遠点についての「立体視可能範囲内の境界点近傍」である。
また、「撮影パラメータの調整」は、例えば、立体撮像装置の画角調整(ズーム倍率の調整)や立体撮像装置のステレオベース(基線長)の調整により、実現される。
【0039】
第9の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、撮像部と、視差検出部と、表示パラメータ取得部と、視差マップ画像生成部と、視差角取得部と、補正視差角算出部と、補正視差角最大値取得部と、立体視可否判定部と、を備える。
【0040】
撮像部は、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出部は、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得部は、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成部は、画素ブロックに、視差検出部により検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差角取得部は、2次元視差マップ画像上の任意の2つのブロックの視差から、当該視差に相当する視差角α1およびα2を取得するとともに、2つのブロックの2次元視差マップ画像上の距離hを取得する。補正視差角算出部は、2つのブロックの視差角α1およびα2と、2つのブロックの2次元視差マップ画像上の距離hとに基づいて、補正視差角f(α1,α2,h)を算出する。補正視差角最大値取得部は、2次元視差マップ画像に含まれる任意の2つのブロックについて算出した補正視差角f(α1,α2,h)の最大値fmaxを取得する。立体視可否判定部は、最大値fmaxと立体視可能範囲を示す視差角δとを比較し、
(最大値fmax)<(立体視可能範囲を示す視差角δ)
である場合、撮影時において、撮影しようとしているシーンが立体視可能であると判定する。
【0041】
この立体撮像装置では、2次元視差マップ画像に含まれる任意の2つのブロックの2次元画面上の距離を考慮して、立体視可否判定処理を行う。このため、この立体撮像装置では、撮影時の立体視可否判定処理を、人間が見たときの感覚に近づけて行うことができる。
【0042】
第10の発明は、第9の発明であって、立体視可能範囲を示す視差角δは、2°以下の所定の角度である。
なお、この立体撮像装置において、より安全かつ適切な立体映像を取得するために、立体視可能範囲を示す視差角δを、1°以下の所定の角度とするようにしてもよい。
【0041】
第11の発明は、第9または第10の発明であって、補正視差角f(α1,α2,h)は、
f(α1,α2,h)=g(h)×|α1−α2|
であり、g(h)は、hの絶対値が小さいほど、大きな値をとる単調減少関数である。
【0043】
これにより、この立体撮像装置では、2次元視差マップ画像に含まれる任意の2つのブロックの2次元画面上の距離hが小さい程、g(h)が大きな値となるので、2次元画面上において近い距離にある近景と遠景に関しては、厳しい条件で立体視可否判定処理が実行され、一方、2次元画面上において遠い距離にある近景と遠景に関しては、緩い条件で立体視可否判定処理が実行される。つまり、この立体撮像装置では、人間の視覚特性に基づいた条件により、撮影時の立体視可否判定処理を行うので、より人間が見たときの感覚に近づけて、撮影時の立体視可否判定処理を行うことができる。
なお、「単調減少関数」とは、所定の範囲において、一定値をとるものであってもよい。また、「単調減少関数」とは、大局的に単調減少の傾向を示す関数を含む概念であり、所定の微小範囲において、微増する関数等を含む概念である。
【0044】
第12の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、撮像部と、視差検出部と、表示パラメータ取得部と、視差マップ画像生成部と、視差ヒストグラム作成部と、立体視可否判定部と、を備える。
撮像部は、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出部は、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得部は、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成部は、画素ブロックに、視差検出部により検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差ヒストグラム作成部は、2次元視差マップ画像から、画素ブロックの視差の度数分布である視差ヒストグラムを作成する。立体視可否判定部は、視差ヒストグラムに基づいて、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
これにより、この立体撮像装置では、視差ヒストグラムを用いて、撮影時の立体視可否判定処理を、人間が見たときの感覚に近づけて行うことができる。
【0045】
第13の発明は、第12の発明であって、立体可否判定部は、視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th1をはじめて超える視差をC1とし、近景から遠景に向かってトレースした場合において、近景側度数閾値Th2をはじめて超える視差をB2としたとき、視差範囲B2〜C2の領域を、立体視可否判定処理の対象領域AR1として、対象領域AR1を立体視可能範囲AR0と比較することで、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
これにより、この立体撮像装置では、視差ヒストグラムを用いて、人間があまり注視しないであろう遠景および近景を除外して、撮影時の立体視可否判定処理を行うことができる。
【0046】
第14の発明は、第13の発明であって、遠景側度数しきい値Th1は、近景側度数しきい値Th2より大きい。
これにより、この立体撮像装置では、遠景を重視した撮影時の立体視可否判定処理を行うことができる。
【0047】
第15の発明は、第13または第14の発明であって、立体可否判定部は、視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th1をはじめて超える視差C1を基準として、立体視可能範囲AR0を設定する。
これにより、この立体撮像装置では、遠景を重視した撮影時の立体視可否判定処理を行うことができる。
なお、「視差C1を基準として、立体視可能範囲AR0を設定する」とは、例えば、視差C1に相当する点を立体視可能範囲AR0の最遠点に設定して、立体視可能範囲(例えば、相対視差角が±0.5°となる範囲)を設定するということである。
【0048】
第16の発明は、第12の発明であって、視差ヒストグラム作成部は、以下の処理を行う。すなわち、
(1)2次元視差マップ画像に対して、クラスタリング処理を行う。
(2)クラスタリング処理により取得したクラスタごとに、
Weight(x,y,z)=Cent(x)・Size(y)・Blur(z)。
による重み付けを行った後に、重み付け視差ヒストグラムを作成する。
【0049】
そして、立体視可否判定部は、重み付け視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th3をはじめて超える視差をC4とし、近景から遠景に向かってトレースした場合において、近景側度数閾値Th4をはじめて超える視差をB4としたとき、視差範囲B4〜C4の領域を、立体視可否判定処理の対象領域AR1として、対象領域AR1を立体視可能範囲AR0と比較することで、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
【0050】
これにより、この立体撮像装置では、人間があまり注視しない画像領域の重要度を下げて、視差ヒストグラム(重み付け視差ヒストグラム)を作成し、その視差ヒストグラム(重み付け視差ヒストグラム)に基づいて、撮影時の立体視可否判定処理を行う。したがって、この立体撮像装置では、より人間の視覚特性に合う撮影時の立体視可否判定処理を行うことができる。
【0051】
第17の発明は、第16の発明であって、遠景側度数しきい値Th3は、近景側度数しきい値Th4より大きい。
これにより、この立体撮像装置では、より遠景を重視した撮影時の立体視可否判定処理を行うことができる。
【0052】
第18の発明は、第16または第17の発明であって、立体可否判定部は、重み付け視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th3をはじめて超える視差C4を基準として、立体視可能範囲AR0を設定する。
これにより、この立体撮像装置では、より遠景を重視した撮影時の立体視可否判定処理を行うことができる。
【0053】
第19の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、被写体像の光学像を形成する光学系を備える立体撮像装置に用いられる立体撮像方法である。立体撮像方法は、撮像ステップと、撮像パラメータ取得ステップと、表示パラメータ取得ステップと、視差検出ステップと、
形成した光学像に基づいて立体映像を生成する撮像ステップと、記録映像生成ステップと、立体視可否判定ステップと、備える。
【0054】
撮像パラメータ取得ステップでは、光学像を形成した際の光学系に関する撮像パラメータを取得する。
表示パラメータ取得ステップでは、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。
視差検出ステップでは、立体映像の視差を検出する。
記録映像生成ステップでは、生成した立体映像から、記録用の立体映像を生成する。
立体視可否判定ステップでは、撮像パラメータ、表示パラメータおよび検出した視差に基づいて、記録用の立体映像を生成する前に、生成した立体映像に対する立体視のし易さまたは立体視のしにくさを、所定の判定条件に基づいて判定する。
これにより、第1の発明と同様の効果を奏する立体撮像方法を実現することができる。
【0056】
第20の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像方法であって、撮像ステップと、視差検出ステップと、表示パラメータ取得ステップと、視差マップ画像生成ステップと、視差角取得ステップと、補正視差角算出ステップと、補正視差角最大値取得ステップと、立体視可否判定ステップと、を備える。
【0057】
撮像ステップでは、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出ステップでは、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得ステップでは、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成ステップでは、画素ブロックに、視差検出ステップにより検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差角取得ステップでは、2次元視差マップ画像上の任意の2つのブロックの視差から、当該視差に相当する視差角α1およびα2を取得するとともに、2つのブロックの2次元視差マップ画像上の距離hを取得する。補正視差角算出ステップでは、2つのブロックの視差角α1およびα2と、2つのブロックの2次元視差マップ画像上の距離hとに基づいて、補正視差角f(α1,α2,h)を算出する。補正視差角最大値取得ステップでは、2次元視差マップ画像に含まれる任意の2つのブロックについて算出した補正視差角f(α1,α2,h)の最大値fmaxを取得する。立体視可否判定ステップでは、最大値fmaxと立体視可能範囲を示す視差角δとを比較し、
(最大値fmax)<(立体視可能範囲を示す視差角δ)
である場合、撮影時において、撮影しようとしているシーンが立体視可能であると判定する。
これにより、第9の発明と同様の効果を奏する立体撮像方法を実現することができる。
【0058】
第21の発明は、被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像方法であって、撮像ステップと、視差検出ステップと、表示パラメータ取得ステップと、視差マップ画像生成ステップと、視差ヒストグラム作成ステップと、立体視可否判定ステップと、を備える。
【0059】
撮像ステップでは、第1視点から見た被写体像を第1視点映像として撮像し、第1視点映像を形成する第1映像信号を生成するとともに、第1視点とは異なる第2視点から見た被写体像を第2視点映像として撮像し、第2視点映像を形成する第2映像信号を生成する。視差検出ステップでは、第1視点映像および第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する。表示パラメータ取得ステップでは、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。視差マップ画像生成ステップでは、画素ブロックに、視差検出ステップにより検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する。視差ヒストグラム作成ステップでは、2次元視差マップ画像から、画素ブロックの視差の度数分布である視差ヒストグラムを作成する。立体視可否判定ステップでは、視差ヒストグラムに基づいて、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する。
これにより、第12の発明と同様の効果を奏する立体撮像方法を実現することができる。
【発明の効果】
【0060】
本発明によれば、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得する立体撮像装置、および立体撮像方法実現することができる。
また、本発明によれば、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、および立体撮像方法実現することができる。
【図面の簡単な説明】
【0061】
【図1】第1実施形態における立体撮像装置のブロック図。
【図2】交差式(交差法)およびセンサシフト式による輻輳制御を説明するための図。
【図3】第1実施形態における視差検出部の詳細を説明する図。
【図4】第1実施形態における撮影と表示の幾何学関係を示す図。
【図5】第1実施形態における撮影と表示の幾何学関係を示す図。
【図6】第1実施形態における視差補正のフローチャート。
【図7】第1実施形態の第1変形例における撮影と表示の幾何学関係を示す図。
【図8】第1実施形態の第1変形例における視差補正のフローチャート。
【図9】第1実施形態の第3変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係(位置関係)を示した図。
【図10】第1実施形態の第3変形例に係る立体撮像装置で実行される立体画像取得方法(視差補正方法)の処理フローを示すフローチャート。
【図11】第1実施形態の第2変形例における立体撮像装置のブロック図。
【図12】第1実施形態の第2変形例における視差補正のフローチャート。
【図13】第2実施形態における立体撮像装置のブロック図。
【図14】第2実施形態における撮影と表示の幾何学関係を示す図。
【図15】撮影時の立体視可否判定処理のフローチャート。
【図16】立体撮影可否判定処理のフローチャート。
【図17】高精度立体視可否判定処理のフローチャート。
【図18】立体視における画面サイズと視聴距離との関係を説明するための図。
【図19】視差ヒストグラムの一例。
【図20】視差ヒストグラム(遠景THと近景THとが同じ場合)の一例。
【図21】視差ヒストグラム(遠景THと近景THとが異なる場合(その1))の一例。
【図22】視差ヒストグラム(遠景THと近景THとが異なる場合(その2))の一例。
【図23】クラスタリング処理、視差ヒストグラムを用いた立体視可否判定処理を説明するための図。
【図24】第3実施形態の原理を説明するための図。
【図25】第3実施形態の立体撮像装置のブロック図。
【発明を実施するための形態】
【0062】
以下、本発明の実施形態に係る立体撮像方法および立体撮像装置について、図面を参照しながら説明する。
[第1実施形態]
本実施形態では、2眼方式の立体撮像装置を例に、以下、説明する。
<1.1:立体撮像装置の構成>
図1に、第1実施形態に係る立体撮像装置1000の概略構成図を示す。
立体撮像装置1000は、図1に示すように、第1撮像部100Rおよび第2撮像部100Lと、第1A/D変換部103Rおよび第2A/D変換部103Lと、第1視差付加部111Rおよび第2視差付加部111Lと、第1トリミング部112Rおよび第2トリミング部112Lと、を備える。
【0063】
また、立体撮像装置1000は、図1に示すように、視差検出部104と、最小視差検出部105と、最大視差検出部106と、主被写体視差検出部107と、制御部110と、フォーカス制御部123と、輻輳制御部124と、表示情報設定部121と、定位情報設定部122と、を備える。
【0064】
なお、説明便宜のため、第1撮像部100Rにより右眼用画像(映像)が撮像され、第2撮像部100Lにより左眼用画像(映像)が撮像されるものとして、以下、説明する。
第1撮像部100Rは、図1に示すように、第1光学系101Rと、第1撮像素子部102Rとを含む。第1撮像部100Rは、被写体からの光を第1光学系101Rにより集光し、集光した光を第1撮像素子部102Rにより第1画像信号(右眼用画像、R画像)として取得する。そして、第1撮像部100Rは、取得した第1画像信号を第1A/D変換部103Rに出力する。
【0065】
また、第1撮像部100Rでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。また、第1撮像部100Rでは、輻輳制御部124からの指示に従い、輻輳制御が実行される。なお、第1撮像部100Rは、輻輳制御部124からの指示に従い、輻輳制御が実行されるように、輻輳角を調整することができる機能を有している。輻輳制御は、例えば、以下の(1)、(2)により実現することができる。
(1)輻輳角制御方式(交差式)
第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。図2(a)は、輻輳角制御方式(交差式)による調整方法を模式的に示した図である。例えば、図2(a)に示すように、第1撮像部100R(第1光学系101R)の光軸と、第2撮像部100L(第2光学系101L)の光軸とが仮想スクリーンVS上で交差するように輻輳角を調整することで、表示時に、輻輳点に位置する被写体を、表示スクリーン上に定位させることができる。
【0066】
(2)センサシフト式
第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。図2(b)は、センサシフト式による調整方法を模式的に示した図である。例えば、図2(b)に示すように、第1撮像素子部102Rの画角中心軸(直線AA’)(A点は、第1撮像素子部102Rの撮像素子面の中心点)と、第2撮像素子部102Lの画角中心軸(直線BB’)(B点は、第2撮像素子部102Lの撮像素子面の中心点)とが仮想スクリーンVS上(C点)で交差するように輻輳角を調整することで、表示時に、輻輳点(C点)に位置する被写体を、表示スクリーン上に定位させることができる。
【0067】
なお、立体撮像装置1000において、上記(1)、(2)を組み合わせて、輻輳制御を実行するようにしてもよい。
第1光学系101Rは、被写体からの光を集光し、第1撮像素子部102Rの撮像素子面に結像させる。第1光学系101Rは、1または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第1光学系101Rでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。
【0068】
第1撮像素子部102Rは、第1光学系101Rにより集光された被写体からの光を光電変換により第1画像信号として取得(撮像)する。そして、第1撮像素子部102Rは、取得した第1画像信号を第1A/D変換部103Rに出力する。第1撮像素子部102Rは、例えば、CMOSイメージセンサやCCDイメージセンサにより実現される。
第2撮像部100Lは、図1に示すように、第2光学系101Lと、第2撮像素子部102Lとを含む。第2撮像部100Lは、被写体からの光を第2光学系101Lにより集光し、集光した光を第撮像素子部102により第2画像信号(左眼用画像、L画像)として取得する。そして、第2撮像部100Lは、取得した第2画像信号を第2A/D変換部103Lに出力する。
【0069】
また、第2撮像部100Lでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。また、第2撮像部100Lでは、輻輳制御部124からの指示に従い、輻輳制御が実行される。なお、第2撮像部100Lは、第1撮像部100R同様、輻輳制御部124からの指示に従い、輻輳制御が実行されるように、輻輳角を調整することができる機能を有している。
【0070】
第2光学系101Lは、被写体からの光を集光し、第2撮像素子部102Lの撮像素子面に結像させる。第2光学系101Lは、1または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第2光学系101Lでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。
第2撮像素子部102Lは、第2光学系101Lにより集光された被写体からの光を光電変換により第2画像信号として取得(撮像)する。そして、第2撮像素子部102Lは、取得した第2画像信号を第2A/D変換部103Lに出力する。第2撮像素子部102Lは、例えば、CMOSイメージセンサやCCDイメージセンサにより実現される。
【0071】
第1A/D変換部103Rは、第1撮像部100Rにより取得された第1画像信号(R画像)を入力とし、入力された第1画像信号に対して、A/D変換を行う。そして、第1A/D変換部103Rは、デジタル信号に変換した第1画像信号を、視差検出部104および第1視差付加部111Rに出力する。
第2A/D変換部103Lは、第2撮像部100Lにより取得された第2画像信号(L画像)を入力とし、入力された第2画像信号に対して、A/D変換を行う。そして、第2A/D変換部103Lは、デジタル信号に変換した第2画像信号を、視差検出部104および第2視差付加部111Lに出力する。
【0072】
視差検出部104は、第1A/D変換部103から出力される第1画像信号(R画像)および第2A/D変換部103Lから出力される第2画像信号(L画像)を入力とする。視差検出部104は、入力されたR画像およびL画像に対して、マッチング処理を実行し、両眼視差量を検出する。そして、視差検出部104は、検出した両眼視差量に関する情報を、最小視差検出部105、最大視差検出部106、および、主被写体視差検出部107に出力する。
【0073】
最小視差検出部105は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の最近点の視差、すなわち、最小の視差(最小視差)を検出する。そして、最小視差検出部105は、検出した最小視差に関する情報を制御部110に出力する。
最大視差検出部106は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の最遠点の視差、すなわち、最大の視差(最大視差)を検出する。そして、最大視差検出部106は、検出した最大視差に関する情報を制御部110に出力する。
【0074】
主被写体視差検出部107は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の主被写体の視差(主被写体視差)を検出する。そして、主被写体視差検出部107は、検出した主被写体視差に関する情報を制御部110に出力する。なお、主被写体視差検出部は、制御部110から、どの被写体に合焦しているかについての情報を取得し、当該情報に基づいて、主被写体を特定する。
【0075】
制御部110は、立体撮像装置1000の全体および各機能部を制御する機能部である。制御部110は、フォーカス制御、輻輳制御、主被写体の検出処理、表示情報の取得処理、定位情報の取得処理等を実行する。また、制御部110は、最小視差検出部105により検出された最小視差と、最大視差検出部106により検出された最大視差と、主被写体視差検出部107により検出された被写体視差とに基づいて、補正視差を算出する。そして、制御部110は、算出した補正視差に関する情報を第1視差付加部111Rおよび第2視差付加部111Lに出力する。なお、制御部110は、例えば、CPU(マイクロプロセッサ)、ROM、RAM等により実現される。
【0076】
フォーカス制御部123は、制御部110からの指令に基づき、第1光学系101Rおよび第2光学系101Lのピントを調節する(第1光学系101Rおよび第2光学系101Lに対してフォーカス制御を実行する)。
輻輳制御部124は、制御部110からの指令に基づき、第1撮像部100Rおよび第2撮像部100Lに対して、輻輳制御(例えば、輻輳角の制御)を実行する。
【0077】
第1視差付加部111Rは、第1A/D変換部103Rから出力された第1画像信号(R画像)および制御部110により算出された補正視差に関する情報を入力とする。第1視差付加部111Rは、第1画像信号(R画像)に、制御部110により算出された補正視差を付加する。つまり、第1視差付加部111Rは、制御部110により算出された補正視差に相当する分だけR画像を横方向にシフトすることにより視差(補正視差)を付加する。そして、第1視差付加部111Rは、補正視差を付加した第1画像信号(R画像)を第1トリミング部112Rに出力する。
【0078】
第2視差付加部111Lは、第2A/D変換部103Lから出力された第2画像信号(L画像)および制御部110により算出された補正視差に関する情報を入力とする。第2視差付加部111Lは、第2画像信号(L画像)に、制御部110により算出された補正視差を付加する。つまり、第2視差付加部111Lは、制御部110により算出された補正視差に相当する分だけL画像を横方向にシフトすることにより視差(補正視差)を付加する。そして、第2視差付加部111Lは、補正視差を付加した第2画像信号(L画像)を第2トリミング部112Lに出力する。
【0079】
第1トリミング部112Rは、第1視差付加部111Rから出力された第1画像信号(R画像)を入力とし、入力されたR画像に対してトリミング処理を実行する。そして、第1トリミング部112Rは、トリミング処理を実行したR画像(第1画像信号)を出力する。
第2トリミング部112Lは、第2視差付加部111Lから出力された第2画像信号(L画像)を入力とし、入力されたL画像(第2画像信号)に対してトリミング処理を実行する。そして、第2トリミング部112Lは、トリミング処理を実行したL画像(第2画像信号)を出力する。
【0080】
表示情報設定部121は、立体撮像装置1000で撮影された立体画像(立体映像)を視聴する表示装置(不図示)の表示条件を設定し、設定した表示条件(表示情報)を制御部110に出力する。
定位情報設定部122は、主被写体を、表示装置のスクリーン面(表示スクリーン面)を基準としてどの位置に定位させるかを設定する。つまり、定位情報設定部122は、主被写体を、表示スクリーン面の前後のどの位置に定位させるかを設定し、設定した情報(定位情報)を制御部110に出力する。
【0081】
なお、本実施形態では、図1に示すように、立体撮像装置1000により、主被写体である人物900と、遠景である山901と、近景である草花902とを含むシーンを撮影する場合を例として、説明する。
また、「距離情報取得部」は、制御部110によりコントラスト検出方式による距離情報取得処理を実行することにより、その機能が実現される。
【0082】
「理想視差取得部」は、制御部110により、理想視差(主被写体についての理想視差)を算出することにより、その機能が実現される。
「撮影条件設定部」は、制御部110の指令に従い、フォーカス制御部123、輻輳制御部124、および、撮像部(第1撮像部100Rおよび第2撮像部100L)が制御されることで、その機能が実現される。
【0083】
「現実視差取得部」は、視差検出部104および主被写体視差検出部107により、実現される。
「補正視差算出部」は、制御部110により、補正視差が算出されることにより、その機能が実現される。
「視差補正部」は、第1視差付加部111Rおよび第2視差付加部111Lにより実現される。
【0084】
<1.2:立体撮像装置の動作>
以上のように構成された立体撮像装置1000の動作について、以下、説明する。
撮影者は、撮影前に、表示情報設定部121および定位情報設定部122において、撮影画像を視聴する際の表示条件(表示情報)、および、主被写体900を表示スクリーンに対して前後どの位置に定位されるかという演出条件(定位情報)を入力(設定)する。
【0085】
制御部110は、表示情報設定部121および定位情報設定部122に設定された表示情報および定位情報に基づいて、立体撮像装置1000の撮影時のパラメータ(撮影パラメータ)の調整等の各種制御を行う。
撮影者が立体撮像装置1000を被写体に向けると、制御部110は、主被写体900のコントラストが最大になるようにフォーカス制御部123を用いて第1光学系101Rおよび第2光学系101Lに含まれるフォーカスレンズ(不図示)を光軸方向に前後させ、主被写体900にピント(焦点)を合わせる。主被写体900に焦点があった状態(合焦状態)において、制御部110は、第1光学系101Rおよび/または第2光学系101Lの位置情報(焦点距離等)から主被写体900までの距離(被写体距離)Rcを検出する。つまり、制御部110は、コントラスト検出方式により、主被写体900までの距離Rcを検出する。
【0086】
なお、図1では、立体撮像装置1000は、コントラスト値を評価するための画像(コントラスト評価用画像)として、R画像およびL画像の両方を制御部110に入力させる構成であるが、これに限定されることはなく、例えば、立体撮像装置1000は、片方の画像(R画像またはL画像)により、コントラスト値を評価する構成であってもよい。
また、「被写体距離」とは、撮像部の撮像素子(例えば、CCD型イメージセンサやCMOS型イメージセンサ)面上に焦点を結んでいる物体からカメラ(立体撮像装置1000)までの距離をいい、物点距離と、共役距離(物像間距離)を含む概念である。また、「被写体距離」は、立体撮像装置1000から被写体までの概略の距離を含む概念であり、例えば、(1)立体撮像装置1000の光学系のレンズ全体(第1光学系101Rおよび/または第2光学系101L)の重心位置から被写体までの距離、(2)撮像部(第1撮像部100Rおよび/または第2撮像部100L)の撮像素子(第1撮像素子部102Rおよび/または第2撮像素子部102L)の撮像素子面から被写体までの距離、(3)立体撮像装置1000の重心(あるいは中心)から被写体までの距離等を含む概念である。
【0087】
次に、制御部110は、主被写体までの距離Rcと定位情報設定部122の設定値に応じて、適切な光学系の輻輳角を決定する。そして、決定した輻輳角に基づいて、制御部110は、輻輳制御部124を用いて、立体撮像装置1000の左右の光学系の輻輳角を制御する。例えば、制御部110は、以下の(1)、(2)により、輻輳角を制御する。
(1)輻輳角制御方式(交差式)
制御部110は、第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。
(2)センサシフト式
制御部110は、第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。
【0088】
(3)制御部110は、上記(1)、(2)を組み合わせて、輻輳制御を実行する。
そして、上記輻輳制御を行った後(撮影準備が完了した状態で)、立体撮像装置1000により、立体画像(立体映像)(R画像(映像)およびL画像(映像))を撮像する。
そして、視差検出部104は、撮影シーンを複数のブロックに分割し、各々のブロック毎に、R画像およびL画像から、視差を検出する。
図3は、視差検出部104で実行される視差検出処理を説明するための図である。
【0089】
視差検出部104は、図3に示すように、撮影シーンを複数のブロックに分割し、ブロック毎にL画像およびR画像のマッチングを取り、当該ブロックの視差を決定する。そして、視差検出部104は、ブロックごとに決定した視差をブロックに対応付けて格納・保持する。つまり、視差検出部104は、図3に示す視差マップメモリ181(撮影シーンの各ブロックの視差を格納することができるメモリ)に対応するブロックの視差値を格納する。ここでは、遠方は正の視差値、近景は負の視差値で表すものとする。なお、視差マップメモリ181は、例えば、立体撮像装置1000の各機能部がアクセスできるメモリ(例えば、RAM)を用いて実現される。
【0090】
最小視差検出部105は、視差マップメモリ181に格納されている最も小さい視差値(多くの場合、この視差値は負値になる)を検出する。また、最大視差検出部106は、視差マップメモリ181に格納されている最も大きな視差値(通常、この視差値は、正の大きい値になる)を検出する。
【0091】
主被写体視差検出部107は、フォーカスを合わせた被写体900を主被写体と判断する(主被写体視差検出部107が制御部110から取得したどの被写体に合焦しているかに関する情報から被写体900を主被写体と判断する)。そして、主被写体視差検出部107は、視差マップメモリ181から、主被写体(被写体900)の位置に対応するブロックの視差値(主被写体視差値)を検出する。
そして、制御部110は、主被写体視差検出部107により検出された主被写体視差値と、無歪み撮影(カメラ性能等に起因する誤差が全くない理想的な撮影)により主被写体が撮像された場合に取得される視差(理想視差)とに基づいて、補正視差を求める。
【0092】
≪無歪み撮影(理想的な撮影)について≫
ここで、図4を用いて、最も自然な奥行き感が考えられる「無歪み撮影」を実現する条件について、説明する。
図4は、無歪み撮影について説明するための図である。
図4(a)は、理想的な精度を持つ立体撮像装置1000を用いた場合の撮影時における撮影要素(左眼用画像の撮像点(第2光学系に対応)、右眼用画像の撮像点(第1光学系101Rに対応)、仮想スクリーン、主被写体)の幾何学的関係(位置関係)を模式的に示す図である。図4(b)は、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)の幾何学関係(位置関係)を模式的に示す図である。
【0093】
図4は、説明を簡単にするために、撮影時のSB(図4の距離S)が人間の眼間距離(約6.5cm)に等しく、かつ、ズームを用いず撮影される場合の撮影要素および表示要素の幾何学的関係を示している。
図4の例では、表示情報設定部121に表示側の条件として、(表示)スクリーンサイズW、視聴距離Lが設定されており、定位情報設定部122には、無歪み撮影を表すコードが設定されている。そして、立体撮像装置1000では、制御部110により、無歪み撮影を示すコードが設定されたことを検出した場合、無歪み撮影が実行される。
【0094】
立体撮像装置1000において無歪み撮影が実行される場合、図4(a)に示すように、輻輳制御部124は、第1撮像部100R(第1光学系101R)の光軸と第2撮像部100L(第2光学系101L)の光軸(図4(a)中の点線)とが距離Lに仮想的に設けた仮想スクリーンVS上(P点)で交差するように輻輳を制御する。このように輻輳制御を行った後、立体撮像装置1000により撮像した場合、撮像された立体画像(R画像およびL画像)において、仮想スクリーンVS上に位置する被写体についての視差はなく、仮想スクリーンVS上に位置する被写体については、L画像およびR画像において同じ画像になる。仮想スクリーンVSより遠い被写体については、第2撮像部100L(左眼用画像取得用の撮像部)による撮影は、第1撮像部100R(右眼用画像取得用の撮像部)の撮影に対して、左にずれた状態で行われる。例えば、図4(a)の場合において、A点に存在する被写体(仮想スクリーンVSより遠い被写体)を撮影する場合、仮想スクリーンVS上において、左方向の視差x1が存在することになる。なお、以下では、この方向(図4の左方向)の視差を「正」とする。
【0095】
逆に、仮想スクリーンVSよりも手前の被写体は、負の視差を持つ。
図4(a)の場合、仮想スクリーンVSより遠い距離Rの被写体を撮影し、x1(>0)の視差を得ている。
図4(a)の状態で、立体撮像装置1000により撮影した立体画像(R画像およびL画像)を、図4(b)の状態でディスプレイ(表示スクリーンDS)に表示させた場合、つまり、表示スクリーン上の視差xを撮影時の視差x1と一致させて表示させた場合、図4(a)で二つのカメラと被写体を結ぶ三角形(三角形ABC)と、図4(b)で両眼と被写体像を結ぶ三角形(三角形DEF)は、合同になる。このため、図4(b)の状態で表示させたときに感じる距離感Rxは、撮影時の距離Rと一致する。この関係は、全ての距離にある被写体に関して成立するため、近景から無限遠の遠景まで忠実な距離感で表示できる。すなわち、図4(a)の状態で撮影することで、立体撮像装置1000において、無歪み撮影を行うことができる。
【0096】
したがって、理想的な精度を持つ立体撮像装置では、視差調整を行わなくても無歪み撮影が可能であり、その無歪み撮影(例えば、図4(a)の状態による撮影)により取得した立体画像を所定の視聴環境(例えば、図4(b)の状態による視聴環境)により表示させることで、実際の被写体距離(撮影時の被写体距離)と線形関係を保持する距離感を再現する立体画像を表示させることができる。
【0097】
また、無歪み撮影では、主被写体の定位位置は、仮想スクリーンVSをどの位置に設定するかには無関係であり、無歪み撮影により取得した立体画像を所定の視聴環境により表示させることで、主被写体の定位位置までの距離(視点の中点から主被写体までの距離)を、実際の被写体までの距離(撮影時の被写体距離)に一致させることができる。
【0098】
≪精度の悪い現実的な立体撮像装置での撮影について≫
次に、精度の悪い現実的な立体撮像装置での撮影した場合に発生する視差について、図5を用いて説明する。
図5は、少し誇張して描いているが、図5において、輻輳を図5中の点線で示している。図5の場合、立体撮像装置の光軸の精度が不十分であるため、直線BP2と、直線CP1とは、仮想スクリーンVS上で交差しない、つまり、仮想スクリーンVS上で、第1撮像部100R(第1光学系101R)の光軸と第2撮像部100L(第2光学系101L)の光軸とが交差しない。したがって、仮想スクリーンVS上に位置する被写体も視差を持ってしまう。
【0099】
図5の例では、距離Rにある被写体の視差は、誤差を含めてx2となる。図5(a)の状態で、立体撮影した立体画像を、図5(b)に示す視聴環境で、表示スクリーンDS上に表示させた場合、すなわち、視差x=x2として、ディスプレイ(表示スクリーンDS)に表示させた場合、図5(b)に示すように、大きな距離感の誤差が発生した立体画像が表示されることになる。つまり、撮影時に、仮想スクリーンVSの後方のA点に存在した被写体が、表示時には、表示スクリーンDSの前方のG点に定位することになり、大きな距離感の誤差が発生した立体画像が表示されることになる。
【0100】
図5の例のように、撮影時において、視差の誤差が負方向に発生した場合、表示時において、全ての距離の被写体が近づく方向に距離感が歪む。特に、無限遠は、大きく手前に圧縮される。すなわち、撮影時の無限遠に存在していた被写体は、表示時には、かなり手前に定位されることになる。
また、撮影時において、視差の誤差が正方向に発生した場合、表示において、全ての距離の被写体は遠ざかる方向に距離感が歪む。このとき、遠景は、無限遠を超えてしまい、後方発散になる可能性がある。そして、このような後方発散する領域の遠景の被写体は、表示時において、融像できない画像として表示されることになる。
【0101】
本実施形態の立体撮像装置1000は、上記のように、立体撮像装置1000に現実の誤差に起因して発生する仮想スクリーンVS上の視差の誤差を検出し、補正することで、適切な視差調整を行う。
具体的には、立体撮像装置1000では、制御部110により、主被写体視差検出部107により検出された主被写体視差値(仮想スクリーンVS上の視差に相当)と、無歪み撮影(カメラ性能等に起因する誤差が全くない理想的な撮影)により主被写体が撮像された場合に取得される視差(理想視差)とに基づいて、補正視差が求められる。
【0102】
そして、求められた補正視差が、第1視差付加部111Rおよび第2視差付加部111Lにより、R画像およびL画像に付加される。具体的には、第1視差付加部111Rおよび第2視差付加部111Lでは、補正視差分だけ、R画像およびL画像が水平方向にシフトされる。
補正視差が付加されたR画像およびL画像は、第1トリミング部112Rおよび第2トリミング部112Lにより、立体画像として採用できない部分を削除(立体画像を構成する上で無駄な部分を削除)することで、トリミング処理が実行される。
【0103】
そして、トリミング処理が実行されたR画像(第1画像信号)およびL画像(第2画像信号)は、第1トリミング部112Rおよび第2トリミング部112Lから出力される。
なお、第1視差付加部111Rおよび第2視差付加部111Lにおいて、補正視差を付加する処理を行わず、例えば、補正視差に関する情報を、所定の画像フォーマット(映像フォーマット)のヘッダ部分に格納して、出力させるようにしてもよい。この場合、補正視差を付加する処理、トリミング処理を省略することができる。
【0104】
≪視差補正方法の処理フロー≫
次に、本実施形態における視差補正方法について、図6のフローチャートを用いて説明する。
(ステップ401):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ402):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2を取得する。
【0105】
なお、図3の場合のように、主被写体に相当するブロックが複数個検出された場合、例えば、以下のようにして、視差x2を決定する。
(1)検出されたブロックに対応する複数の視差の平均値(重付平均値(例えば、中心からの距離により重み付けした平均値)、2乗平均値等を含む)を視差x2とする。
(2)検出されたブロックに対応する複数の視差の中の任意の1ブロックの視差を視差x2とする。
(3)検出されたブロックに対応する複数の視差の中の中心位置の1ブロックの視差を視差x2とする。
(4)検出されたブロックに対応する複数の視差の中のメディアン値をとる視差を視差x2とする。
【0106】
(ステップ403):
制御部110は、主被写体までの距離Rを用いて、図4(a)を例に説明したように、誤差がないカメラ(立体撮像装置)の場合に、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。具体的には、制御部110は、立体撮像装置1000の表示情報設定部121により設定された表示情報(視聴環境を決定する情報)から、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)を取得する。そして、制御部110は、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)、および、被写体距離Rから、主被写体の理想視差x1を推定(算出)する。
(ステップ404):
制御部110は、ステップ403により「推定した主被写体の視差x1(理想視差x1)」と、ステップ402により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
【0107】
【数1】
Figure 2011108277
【0108】
(ステップ405):
Δxは、立体撮像装置1000の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素に補正視差Δxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
【0109】
立体撮像装置1000において、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
例えば、x1=4、x2=−10である場合、Δx=x1−x2=14となるので、補正後の視差x’=x2+Δx=−10+14=4となり、理想視差x1(=4)と一致する。
【0110】
また、上記視差補正方法を実行することにより、例えば、仮想スクリーン上の被写体の視差は、視差検出部104が検出した視差が補正され視差ゼロになる。
このように、立体撮像装置1000により、上記視差補正方法を実行することで、図4(a)に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
【0111】
以上のように、立体撮像装置1000では、予め設定された視聴環境(表示条件)と主被写体の被写体距離から主被写体の理想視差x1を推定(算出)するとともに、視差検出部104および主被写体視差検出部107により仮想スクリーン上に実際に生じる主被写体の視差(現実視差)x2を取得する。そして、立体撮像装置1000では、理想視差x1と現実視差x2とから補正視差Δxを求め、求めた補正視差Δxを立体画像に付加する(水平方向にシフトする)ことで、無歪み撮影と等価な立体撮影を実現することができる。
【0112】
したがって、立体撮像装置1000により取得された立体画像は、適切な視差調整がなされた立体画像となる。すなわち、立体撮像装置1000では、カメラ固有の誤差(特に、光学系により発生する誤差)が存在する場合(例えば、精度の高い輻輳制御ができない場合)であっても、適切な視差調整を行うことができる。
【0113】
≪第1変形例(主被写体の可変定位演出(自由定位撮影))≫
次に、本実施形態の第1変形例について説明する。
本変形例の立体撮像装置は、上記実施形態のように無歪み撮影を目的とするのではなく、表示時において、主被写体を表示スクリーンの前後に自由に定位させる演出的撮影(自由定位撮影)を行うことを目的としたものである。
図7(a)は、撮影時の状態を模式的に示す図である。図7(b)は、図7(a)の状態で立体撮影された立体画像を表示した時の状態を模式的に示す図である。
【0114】
図7(a)は、立体撮像装置の光学系の光軸が大きく変動している状態を示している。これは、上記実施形態で説明した場合(図5(a)の場合)と同様である。なお、本変形例において、上記実施形態と同様の部分については、説明を省略する。
なお、本変形例の立体撮像装置の構成は、第1実施形態の立体撮像装置1000と同様である。
【0115】
本変形例における視差補正方法について、図8のフローチャートを用いて説明する。
(ステップ411):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ412):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
(ステップ413):
制御部110は、演出として主被写体を定位させたい定位位置R3を定位情報設定部122から読み取り、図7(b)に示した幾何学的関係(位置関係)より、誤差がないカメラ(立体撮像装置)で撮影した場合であって、主被写体をR3の距離に定位させるための視差x3(理想視差x3)を次式により算出する。
【0116】
【数2】
Figure 2011108277
【0117】
(ステップ414):
制御部110は、ステップ413により「所定の位置に主被写体を定位させるための視差x3(理想視差x3)」と、ステップ412により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
【0118】
【数3】
Figure 2011108277
【0119】
(ステップ415):
Δxは、本変形例の立体撮像装置の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
【0120】
本変形例の立体撮像装置において、上記視差補正方法を実行することにより、主被写体を、立体撮像装置の光学系の精度に影響されず、所望の距離に定位させる立体画像を取得することが出来る。本変形例の立体撮像装置により取得される立体画像は、無歪み撮影により取得される立体画像に比べて、遠景の自然さは低下するが、本変形例の立体撮像装置では、主被写体を所望の位置に定位させる立体画像を取得することができるので、撮影者の意図による自由な演出が可能になる。
【0121】
また、主被写体の距離Rより定位させる距離R3が小さい場合、即ち、実際の位置よりも主被写体を手前に定位させる場合、本変形例の立体撮像装置により取得される立体画像は、遠方が極端に手前に圧縮されるため、無歪み撮影により取得される立体画像に比べて、遠景の自然さが劣化する。しかし、本変形例の立体撮像装置により取得される立体画像は、遠近感が圧縮されるため、見やすい映像になる効果がある。
【0122】
また、本変形例の立体撮像装置により取得される立体画像では、主被写体よりも手前の被写体は、大きく手前に近づくため、遠近感が強調され不自然な画像になりがちである。しかし、主被写体よりも前方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部104により作成される視差マップメモリ181中の最近点の視差(最小視差検出部105により取得される最小視差)に応じて、主被写体を前方に定位させる限度(範囲)を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度(範囲)内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を前方に定位させる演出を実現することができる。
【0123】
また、本変形例の立体撮像装置は、最近点が不自然になる限度を超える場合、撮影者に対して、音や映像などによるアラートを表示して撮影者をアシストする機能を備えるものであってもよい。
また、主被写体の距離Rより定位させる距離R3が大きい場合、即ち、実際の位置よりも主被写体を後方に定位させる場合、本変形例の立体撮像装置により取得される立体画像において、主被写体より後方の被写体は、極端に遠方に遠ざけられ、遠近感が誇張されがちである。さらに、ある距離より遠い被写体は、後方発散(幾何学的には無限遠より遠ざかり、二重像になり立体視できなくなる現象)が起こる。しかし、主被写体よりも後方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部104により作成される視差マップメモリ181中の最遠点の視差(最大視差検出部106により取得される最大視差)に応じて、主被写体を後方に定位させる限度(範囲)を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度(範囲)内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を後方に定位させる演出を実現することができる。
また、本変形例の立体撮像装置は、最遠点が不自然になる限度を超える場合、撮影者に対して、音や映像などによるアラートを表示して撮影者をアシストする機能を備えるものであってもよい。
【0124】
≪第2変形例(2回撮り)≫
次に、本実施形態の第2変形例について説明する。
本変形例の立体撮像装置は、静止画カメラの手持ちによる二回撮りで立体撮影を行うものである。
従来、このような撮影では、縦方向も横方向も極めて大きな誤差の発生が避けられないため、カメラ単独での立体画像作成は難しく、PC(パーソナルコンピュータ)を用いたレタッチソフトなどにより、取得した立体画像を手作業で調整する必要があった。
【0125】
立体画像の縦方向のずれについては、ずれ量が目視でも容易に見積もれるため、比較的簡単に補正が可能である。
しかし、立体画像の左右方向のずれについては、本来の両眼視差と誤差とが区別できないため、手作業による調整であっても、左右方向のずれを修正することは困難である。たとえば、立体画像に、山や雲のように無限遠と見なせる遠景があれば、その遠景の被写体を無限遠の被写体であると判断し、その無限遠の被写体を基準にして、手作業で視差を調整することが可能である。しかし、無限遠の被写体が無いシーンでは、たとえ手作業によっても視差を正しく調整することは出来ず、何度も立体表示させながら良好な表示になるよう調整せざるを得ない。
【0126】
本変形例の立体撮像装置は、主被写体が存在するシーンであればどんなシーンであっても、適切な視差補正を可能にするものである。
11に本変形例の立体撮像装置1000Aの概略構成図を示す。
図1に示す第1実施形態の立体撮像装置1000は、2つの光学系を有しており、信号処理系も2系統備えた2眼式カメラであるが、本変形例の立体撮像装置1000Aは、単眼のカメラによる2回撮りにより立体画像を取得するものである。
【0127】
立体撮像装置1000Aは、単眼式の静止画カメラの構成を有しており、二回撮りにより立体撮影を行う。二眼式カメラである第1実施形態の立体撮像装置1000との相違点について説明する。
立体撮像装置1000Aは、輻輳制御部124が無く、画像メモリ部125が追加された構成となっている。
【0128】
また、立体撮像装置1000Aは、単眼式であるので、1つの撮像部100(光学系101および撮像素子部102)と、1つのA/D変換部103と、を備える。
また、ユーザは、図示しないユーザIF用表示部に表示される撮影手順に従い、立体撮像装置1000Aにより立体撮影を行う。
撮像部100は、第1撮像部100R(または第2撮像部100L)と同様のものである。
【0129】
A/D変換部103は、第1A/D変換部103R(または第2A/D変換部103L)と同様のものである。
画像メモリ部125は、撮像部100により取得され、A/D変換部103によりA/D変換されたR画像またはL画像を、記憶する。そして、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているR画像を視差検出部104および第1視差付加部111Rに出力する。また、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているL画像を視差検出部104および第2視差付加部111Lに出力する。
【0130】
次に、立体撮像装置1000Aを用いた二回撮りによる立体撮影について、図12の処理フローを用いて、説明する。
(ステップ421):
ユーザは、ユーザIF用表示部からの指示に従い、シャッタを半押しし主被写体にフォーカスを合わせる。制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、ピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像上)の概略位置を検出する。
(ステップ422):
次に、ユーザは、そのままシャッタを押し(半押し状態から全押し状態にし)、左眼用画像(L画像)を撮影する。撮影された左眼用画像(L画像)は、画像メモリ部125に格納される。
【0131】
(ステップ423):
ユーザは、ユーザIF用表示部から指示された距離だけ撮影位置を右に移動させ、立体撮像装置1000Aにより、右眼用画像(R画像)を撮影する。撮影された右眼用画像(R画像)は、画像メモリ部125に格納される。
(ステップ424):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
【0132】
(ステップ425):
制御部110は、主被写体までの距離Rを用いて、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。
(ステップ426):
制御部110は、ステップ425により「推定した主被写体の視差x1(理想視差x1)」と、ステップ424により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
【0133】
【数4】
Figure 2011108277
【0134】
(ステップ427):
Δxは、立体撮像装置1000Aの光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
【0135】
立体撮像装置1000Aにおいて、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
このように、立体撮像装置1000Aにより、上記視差補正方法を実行することで、図4(a)に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
【0136】
さらに、立体撮像装置1000Aでは、主被写体を基準に理想視差x1を求めるので、撮像シーンに主被写体があれば、どんなシーンであっても、上記視差補正方法を実行することで、適切な視差補正を施した立体画像を取得することができる。
したがって、本変形例は、極めて有効な応用例を示すものである。上記では、無歪み撮影を例に説明したが、本変形例はこれに限定されることはなく、例えば、本変形例の立体撮像装置1000Aにより、第1変形例で説明した処理と同様の処理を行うことで、主被写体の演出的な定位を実現する立体撮影を行うことも可能である。
【0137】
なお、本変形例の立体撮像装置1000Aによる立体撮影では、上下方向にも当然大きな誤差が存在する可能性が高いが、視差マッチングにより、上下方向の誤差(ずれ量)は、容易に検出し補正することができる。そのため、本変形例の立体撮像装置1000Aにより、高精度な立体画像を取得することができる。
【0138】
≪第3変形例(単眼式立体カメラへの応用例)≫
次に、本実施形態の第3変形例について説明する。
単眼式立体カメラにより立体撮影を行う従来技術として、単眼レンズの左半分と右半分を実質的に隠して2枚の画像を撮影し、撮影した2枚の画像を立体画像(左眼用画像および右眼用画像)とすることで、比較的狭い基線長(撮影SB)での立体撮影を行う技術がある。
この従来の単眼式立体カメラにより撮像された立体画像では、ピントの合った主被写体については、左眼用画像(L画像)と右眼用画像(R画像)とが同一になるため、当該主被写体は仮想スクリーン上に定位し、当該主被写体の後方の被写体がぼけながら仮想スクリーン後方に定位し、当該主被写体の前方の被写体が同じくぼけながら仮想スクリーン前方に定位する。この単眼式立体カメラにより立体撮影を行う従来技術では、仮想スクリーン前後の被写体に対して大きなぼけを発生させる必要があるため、単眼式立体カメラに大きなレンズ口径のレンズを装着する必要があるが、簡単に立体撮影ができるというメリットがある。
【0139】
しかし、この単眼式立体カメラにより立体撮影を行う従来技術では、フォーカスを合わせた主被写体が自動的に仮想スクリーン面上に配置されるという特性があり、立体撮影の経験の少ないカメラマンでも簡単に立体撮影ができるという特長をもつが、前述のような無歪み撮影や自由な演出(主被写体を所望の位置に定位させる演出)が出来ないという課題がある。
【0140】
本変形例では、上記単眼式立体カメラにより取得される立体画像に所定の視差を付加することで、無歪み撮影により取得される立体画像または自由定位撮影により取得される立体画像を取得する方法について説明する。
なお、本変形例の立体撮像装置(上記単眼式立体カメラと同様の光学系および撮像部を有し、それ以外の部分については、立体撮像装置1000と同様の構成の立体撮像装置)の構成図は省略するが、構成要件とその番号は、図1に準ずるものとする。
【0141】
以下、本変形例に係る立体画像取得方法について、図9、図10を用いて、説明する。
図9は、本変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係(位置関係)を示した図である。
図10は、本変形例に係る立体撮像装置で実行される立体画像取得方法(視差補正方法)の処理フローを示すフローチャートである。
【0142】
以下では、図10のフローチャートに示した手順にしたがって、説明する。
(ステップ431):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離Rを求める。
(ステップ432):
本変形例の立体撮像装置では、主被写体の位置が仮想スクリーンVS上となり、かつ、輻輳点が主被写体の位置と一致する。したがって、フォーカスを合わせた主被写体の視差は、「0」になるので、現実視差x2は、x2=0になる。よって、制御部110は、x2=0に設定する。
【0143】
(ステップ433):
定位情報設定部122により「無歪み撮影」が指示されているか否かを判定する。
(ステップ434):
定位情報設定部122により「無歪み撮影」が指示されている場合、制御部110は、主被写体の定位位置までの距離R4(左視点と右視点とを含む線分から主被写体の定位位置までの距離R4)をRに設定する、すなわち、R4=Rに設定する。
(ステップ435):
定位情報設定部122により「無歪み撮影」が指示されていない場合、制御部110は、演出として主被写体を定位させたい定位位置までの距離R3を定位情報設定部122から読み取り、R4をR3に設定、すなわち、R4=R3に設定する。
(ステップ436):
制御部110は、本変形例の立体撮像装置において、主被写体をR4の距離に定位させるための視差x4を次式で決定する。
【0144】
【数5】
Figure 2011108277
【0145】
(無歪み撮影の場合:R4=R)
(自由定位撮影の場合:R4=R3)
(ステップ434):
制御部110は、次式により、補正視差Δxを算出する。
【0146】
【数6】
Figure 2011108277
【0147】
なお、主被写体の視差x2は、「0」であるから、
Δx=x4−x2=x4
により、視差の補正量Δxは、「主被写体をR4の距離に定位させるための視差x4」と一致する。
(ステップ435):
Δxは、本変形例の立体撮像装置(単眼式立体カメラ)の原理的な定位との視差の差であるため、主被写体だけでなく全ての被写体に対して同じ視差補正が必要である。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、本変形例の立体撮像装置の撮像部により撮像した立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
【0148】
これにより、本変形例の立体撮像装置では、R4=Rとすることで、無歪み撮影を行った場合と同様の立体画像を取得することができる。つまり、図9に示すように、R4=Rの場合、図9(a)の三角形ABCと図9(b)の三角形DEFとは合同となるので、本変形例の立体撮像装置により、仮想スクリーン位置と表示スクリーン位置とが一致しない場合であっても、無歪み撮影を行った場合と同様の立体画像を取得することができる。
【0149】
さらに、本変形例の立体撮像装置では、R4=R3とすることで、自由定位撮影(主被写体位置を所望の位置に定位させる立体画像を取得する立体撮影)を行った場合と同様の立体画像を取得することができる。
以上のように、本変形例を、単眼式立体カメラに応用することで、無歪み撮影や主被写体の自由な定位などの演出が自由にできる。
【0150】
なお、本実施形態および本実施形態の変形例では、輻輳制御部124を用いて物理的に光学系の輻輳角を変化させる動作について説明したが、これに限定されることはない。立体撮像装置において、輻輳角を変化させることと、電気的な視差を変化させること(例えば、立体画像上で視差を付加すること)とは近似的に等価である(「光学的シフト」と「電気的シフト」とは等価の関係である)。
【0151】
したがって、本実施形態および本実施形態の変形例で説明した輻輳制御を、それと等価な電気的処理により実現してもよい。例えば、
(1)輻輳制御に相当する処理を、物理的な輻輳は付けずに電気的な視差を付加することで行う。
(2)輻輳制御に相当する処理を、固定の輻輳を用い(輻輳角を固定し)、輻輳制御部124が行う輻輳制御と等価な電気的処理(電気的に視差を付加する処理)により実現する。
【0152】
なお、上記(1)、(2)の処理を実行する際、第1視差付加部111Rおよび第2視差付加部111Lにおいて、上記(1)、(2)の処理で発生する視差分も含めて付加させることにより、上記(1)、(2)の処理を実現するようにしてもよい。
また、第1視差付加部111Rおよび第2視差付加部111Lによる視差の付加は、左画像(L画像)および右画像(R画像)のどちらか一方に対してのみ行ってもよいし、左画像(L画像)および右画像(R画像)の両方に任意のバランスで視差を付加することで実現させてもよい。ただし、この場合、左画像(L画像)と右画像(R画像)とでは付加する視差の極性を反転させる必要がある。
【0153】
なお、光学系の精度不足によるずれや2回撮り技法によるずれは、縦方向のずれ、横方向のずれ、回転方向のずれなどが含まれるが、縦方向のずれ、回転方向のずれなどは、マッチング技術により必要な精度で、ずれを検出し補正することが可能である。したがって、本発明の立体撮像装置においてもマッチング技術により、縦方向のずれ、回転方向のずれなどを検出・補正するようにしてもよい。なお、横方向のずれについては、本来視差としてのずれに重畳されたずれであるため、通常のマッチング処理では、視差なのか、横方向のずれなのかの判別が付かず、適切に横方向のずれを検出・補正することはできない。
【0154】
回転方向のずれについては、撮像した立体画像の画面全体に対する平均的なマッチング結果により、実用的な補正ができるので、このような補正処理を行い、立体撮像装置において、回転方向のずれを補正するようにしてもよい。
また、本実施形態および本実施形態の変形例では、説明を簡単にするため、撮影SB(基線長)を人間の両眼間隔に一致している例について説明した。しかし、本発明は、それに限るものではない。図4を例に取ると、撮影ステレオベースが両眼より狭い場合には、同じ比率で仮想スクリーンを近づけるように輻輳を設定することにより、前述の三角形(例えば、図4(a)の三角形ABC)を相似形にすることができる。したがって、この状態で、本発明の立体撮像装置により立体撮影を行うことで、やはり無歪み撮影を実現させることができる。この場合、主被写体を上記比率(上記三角形の相似比に相当)の逆数で遠ざけた演出が可能である。すなわち、撮影SBが小さくなれば、仮想スクリーンが同じ比率(撮影SBの縮小比率)で近づき、撮影SBが大きくなれば、仮想スクリーンが同じ比率(撮影SBの拡大比率)で遠ざかることを考慮することで、本発明の立体撮像装置により、遠近演出(主被写体を遠ざけたり近づけたりする演出)を実現させることができる。
【0155】
また、撮影SBを可変出来る立体撮像装置では、これらの撮影パラメータ(撮影SBを調整するための撮影パラメータ)も変更して、良好な立体画像を得ることが出来る。具体的には、主被写体が近景のマクロの場合、立体撮像装置において、撮影SBを狭めることにより自然で見やすい立体画像が撮影でき、また、屋上からビル街を撮影するような広範囲の遠景撮影では、立体撮像装置において、撮影SBを広げることにより、立体感のある良好な画像(立体画像)を撮影することができる。
【0156】
また、ズーム倍率が可変出来る立体撮像装置を用いる場合、ズーム倍率を考慮して、無歪み撮影や演出(自由定位撮影)を行うことができる。
図4、図5、図7の説明では、説明を簡単にするため、撮影SBが両眼間隔に一致し、かつ、ズームも用いない場合について説明したが、これに限定されることはなく、撮影SBが両眼間隔に一致しない場合や、ズームを用いる場合においても、撮影SBおよび/またはズームに関する撮影パラメータを考慮することで、本発明の立体撮像装置による立体撮影を実行できることは言うまでもない。
【0157】
また、主被写体に合わせたピントから距離を得る方法として、上記では、画像のコントラストを最大にする方法(コントラスト検出方式)による場合を例に説明したが、これに限定されることはなく例えば、位相差を用いて三角測量から距離を求める方法や、TOF(Time Of Flight)法のように光の到達時間から距離を求める方法や、超音波の反射到達時間から距離を求める方法を用いて主被写体までの距離を測定し、本発明を適用させるようにしてもよい。
【0158】
[第2実施形態]
第2実施形態について、図面を参照しながら、説明する。
第2実施形態では、撮影時に、立体撮像装置により撮影するシーンが、人間が立体視可能にできるかどうかを判定し調整する装置、方法について、説明する。
図13に、第2実施形態の立体撮像装置2000の概略構成図を示す。
【0159】
図13に示すように、本実施形態の立体撮像装置2000の基本構成は、第1実施形態の立体撮像装置1000と同様であり、本実施形態の立体撮像装置2000では、制御部110により実行される処理が、第1実施形態と異なる。
なお、本実施形態において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【0160】
なお、表示パラメータ取得部は、表示情報設定部121および制御部110により、その機能が実現される。
視差調整部は、制御部110により、その機能が実現される。
立体視可否判定部は、制御部110により、その機能が実現される。
撮影パラメータ調整部は、制御部110により、フォーカス制御部123、輻輳制御部124、および、撮像部(第1撮像部100R、第2撮像部100L)等が制御されることにより、その機能が実現される。
【0161】
視差マップ画像生成部は、視差検出部104および制御部110により、その機能が実現される。
視差角取得部は、制御部110により、その機能が実現される。
補正視差角算出部は、制御部110により、その機能が実現される。
補正視差角最大値取得部は、制御部110により、その機能が実現される。
視差ヒストグラム作成部は、制御部110により、その機能が実現される。
【0162】
(2.1:立体視可能条件(融像可能条件))
一般に、視差の絶対値が大きいときに融像しにくいことが知られている。このことは「パナムの融合域」と呼ばれており、「パナムの融合域」により、輻輳を合わせた距離(輻輳点までの距離)の前後の物体に対して、視差角を基準として融像出来る限界(範囲)を決めることができるとされている。視差角は、正の角度が手前側、負の角度が奥側であり、一般に、人間が立体画像(立体映像)を見たときに融像できる範囲は、視差角が、輻輳点の視差角(輻輳角)±1度程度となる領域(範囲)であると言われている。
【0163】
このことから、撮影するシーンの被写体群が狭い奥行きの範囲(仮想スクリーン前後の狭い範囲)に存在する場合には、視差が少なく融像しやすい、即ち、見やすい立体画像が撮影されるのに対し、遠景と近景の差が大きい場合には、融像出来ない場合が生じることが分かる。
これについて、図18を用いて詳しく説明する。
【0164】
図18は、前述の図3と同じシーンをディスプレイに表示したときの視差角について説明するための図である。
角度αsは、輻輳角であり、図18では、両眼の光軸が仮想スクリーンVS上で交差している状態を示している。このとき、仮想スクリーンVSと同じ距離にある物体(仮想スクリーンVS上に位置する物体)は、左右の視差が「0」になるため、このような物体(被写体)を撮像した立体画像を見たとき、当該物体(被写体)は、2重像にならず左右の画像が重なることになり(表示スクリーン上に定位することになり)、視聴時には、当該物体(被写体)は、表示スクリーン上にあるように見える。なお、図18において、最遠点である山は、視差角αf(αf<αs)であり、最近点である草花は、αn(αn>αs)であるとする。
【0165】
前述したパナムの融合域による融像範囲をδとすると、|αf−αs|<δを満たすと遠景が融像でき、立体視できることになる。同様に|αn−αs|<δを満たすと、近景が融像できることになる。
このように、立体視出来るかどうかは、立体撮影した立体画像をディスプレイ(表示スクリーン)に表示したときにはじめて決定されるものである。表示時には、上記従来の手法を用いて立体視の可否を判定することができるが、これを撮影時に、正確に推定することは困難である。
【0166】
図14は、図4のように、撮影時の撮影要素(被写体、仮想スクリーン、左右視点(撮像点))と表示時の表示要素(被写体、表示スクリーン、左右視点)との間に完全な幾何学的合同関係のある無歪み撮影の場合に限った条件ではなく、より一般的に、歪みを伴う場合を含んだ撮影時の撮影要素と表示時の表示要素との間の幾何学条件を説明するための図である。
【0167】
図14(a)は、撮影時の状態を表している。図14(a)に示すように、撮像時には、基線(左眼用画像の撮像点および右眼用画像の撮像点を結ぶ線)からL1の距離に幅W1のスクリーン(仮想スクリーンVS)を置くことを想定し、輻輳角α1をその仮想スクリーンVS面上に設定する。このとき、基線から距離R1にある被写体の視差角をβ1とすると仮想スクリーンVS上では、x1の視差が発生する。
【0168】
この視差x1は、
x1=L1・(α1−β1)
により求められる。
なお、上記は、近似解である。つまり、厳密には、
x1=2・L1・(tan(α1/2)−tan(β1/2))
であるが、α1およびβ1は、微小であるので、
tan(α1)=α1
tan(β1)=β1
と近似することができる。したがって、視差x1は、
x1=L1・(α1−β1)
と近似により求めることができる。
【0169】
また、図14(b)は、表示時の状態を表している。図14(b)に示すように、表示時には、幅W2のディスプレイ(表示スクリーンDS)を基線(右眼視点および左目始点を結ぶ線)からL2の距離で見ることとすると、このときの視差x2は、
x2=L2・(α2−β2)
により算出される。
【0170】
また、仮想スクリーンVSのサイズW1と表示スクリーンDSのサイズW2とが異なる場合、表示される視差も両スクリーンサイズの比率で変化する。すなわち、視差x2は、
x2=W2/W1・x1
となる。
以上より、表示時に融像出来るかどうかを定める相対視差角(α2−β2)は、
(α2−β2)=(W2/W1)・(L1/L2)・(α1−β1)
となる。
【0171】
さらに、図示していないが、撮影時にズームを用いた場合、そのズーム倍率をzとすると、相対視差角(α2−β2)は、
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)
となる。
さらに、図示していないが、表示時に画像のシフトによる視差調整を行った場合、視差調整量を角度Δαで表すと、相対視差角(α2−β2)は、
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)−Δα
となる。
【0172】
したがって、現実の撮影時の状態と表示時の状態との間には、多くの撮影パラメータ、表示パラメータ、調整パラメータが介在することが分かる。
上式の左辺が、融像出来るかどうかに直接影響する相対視差角を表しており、通常、この値が、±1度の範囲になければ、融像できずに二重像になり立体視できないことになる。また、この値が±0.5度の範囲にあれば、比較的楽に融像出来る見やすい立体像になると言われている。
【0173】
この融像範囲(相対視差角が±0.5度の範囲、または、±1度の範囲)をδとすると、
|α2−β2|<δ
|z・(W2/W1)・(L1/L2)・(α1−β1)−Δα|<δ
したがって、
【0174】
【数7】
Figure 2011108277
【0175】
により決定される範囲にある被写体(上式を満たす視差角β1を有する被写体)が融像出来るということがわかる。
【0176】
(2.2:撮影時の立体視可否判定処理)
以上に基づいて、本実施形態の立体撮像装置2000により実行される撮影時の立体視可否判定処理について、説明する。
図15は、撮影時の立体視可否判定処理について説明するためのフローチャート図である。
まず、図15のフローチャートを用いて、立体撮像装置2000における撮影時の立体視可否判定処理の準備処理について、説明する。
(S101〜S104):
立体撮像装置2000において、第1実施形態と同様の処理により、補正視差Δxを算出する。
【0177】
(S201):
最小視差検出部105は、視差検出部104により作成された視差マップメモリ181から最小視差x2_nearを検出する。なお、この最小視差x2_nearが最近点の視差に対応する。
また、最大視差検出部106は、視差検出部104により作成された視差マップメモリ181から最大視差x2_farを検出する。なお、この最大視差x2_farが最遠点の視差に対応する。
【0178】
(S202):
制御部110は、S201で算出された最大視差x2_farおよび最小視差x2_neaから、最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearを下式により、算出する。
x3_far=x2_far+Δx
x3_near=x2_near+Δx
(S203):
制御部110は、S202で算出した最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearから、撮影時の最遠点の視差角β1_farおよび撮影時の最点の視差角β1_nearを算出する。
【0179】
なお、制御部110は、図14に示したように、撮影時の撮影要素(被写体位置、仮想スクリーンのサイズおよび位置、SB、右眼画像用撮像点、左眼画像用撮像点)の位置関係から、幾何学的計算により、最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearから、撮影時の最遠点の視差角β1_farおよび撮影時の最点の視差角β1_nearを算出する。
【0180】
(S204):
立体撮像装置2000において、立体撮影可否判定処理を実行する。
次に、図16のフローチャートを用いて、立体撮像装置2000における撮影時の立体視可否判定処理について、説明する。
(S205):
制御部110は、S203で算出した最遠点の視差角β1_farおよび最点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する。
【0181】
(S206):
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たさない場合(ケース1の場合)、視差調整により、最遠点および最近点を、立体視可能範囲(範囲δ)に入れることはできないと判断し、立体撮像装置2000の画角調整等の撮影パラメータ調整処理を行い、例えば、ズーム倍率zや撮影SBを変更する。
【0182】
(S207〜S209):
S206で画角調整(撮影パラメータ調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S207)。
S207での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S208)。
一方、S207での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S209)。
【0183】
(S210):
S205の判定の結果、最遠点については、上記(数式7)の条件を満たさないが、最近点については、上記(数式7)の条件を満たす場合(ケース2の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)に入れる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内となる視差調整量Δα1を算出する。
そして、その算出した視差調整量Δα1により、視差調整を行う(最遠点および最近点について、当該視差調整量Δα1分ずらす)。
【0184】
(S211〜S215):
S210で算出したΔα1に相当する視差をずらした場合、最近点が依然として、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S211)。
そして、その判定の結果、最近点が依然として、立体視可能範囲(範囲δ)内である場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S214)。
【0185】
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S212)。
そして、S212の撮影パラメータ調整処理を実行した後、S207と同様に、S212で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S213)。
【0186】
S213での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S214)。
一方、S213での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S215)。
(S216):
S205の判定の結果、最近点については、上記(数式7)の条件を満たさないが、最遠点については、上記(数式7)の条件を満たす場合(ケース3の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)内の限界(境界)点に移動させる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内の限界(境界)点となる視差調整量Δα1を算出する。
そして、その算出した視差調整量Δα1により、視差調整を行う(最遠点および最近点について、当該視差調整量Δα1分ずらす)。
【0187】
(S217〜S221):
S216で算出したΔα1に相当する視差をずらした場合、最近点が、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S217)。
そして、その判定の結果、最近点が、立体視可能範囲(範囲δ)内である場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S220)。
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S218)。
そして、S218の撮影パラメータ調整処理を実行した後、S207と同様に、S218で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最近点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S219)。
【0188】
S219での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S220)。
一方、S219での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S221)。
なお、ケース3の場合、立体撮像装置2000において、上記のように、まず、最遠点を融合域内の限界(境界)点となるように視差調整し、その後、最近点についての調整を行うのは、最遠点が融合域内となることを、優先的に、確保(保証)するためである。言い換えれば、立体撮像装置2000において、最遠点が融合域内となるようにした状態で、撮影パラメータを調整することにより、最近点も融合域内となるように処理を行うことは、比較的容易であるが、撮影パラメータの調整のみで、融合域外の最遠点を融合域内に入れるように調整することは難しい。したがって、立体撮像装置2000では、上記のように、処理を行う。
【0189】
(S222):
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たす場合(ケース4の場合)、制御部110は、「撮影OK」の判定を行い、処理を終了する(S222)。
以上により、立体撮像装置2000では、上記(数式7)に基づいて、撮影時に、立体視可否判定処理を行うことができる。
【0190】
なお、上記(数式7)から、立体撮像装置2000により撮像できる被写体の範囲は、以下の特性を有することが分かる。
(1)撮像できる被写体の範囲は、ズーム倍率に反比例する(拡大すると撮影できる範囲が狭くなる)。
(2)撮像できる被写体の範囲は、スクリーンサイズ比に反比例する(小さいスクリーンで見るときは広くなる)。なお、想定スクリーンサイズを大きく設定することと、小さなスクリーンで立体画像を見ることとは等価の関係にある。
(3)撮像できる被写体の範囲は、視聴距離に比例する(離れてみると広くなる)。なお、想定視聴距離を近くに設定することと、想定視聴距離より離れて立体画像をみることとは等価の関係にある。
(4)撮像できる被写体の範囲は、視差調整で正の視差をあたえると、遠景の範囲が広くなり、近景の範囲が狭くなる。
【0191】
したがって、人間の視覚によって定まる融像域に対して、撮影時には、
(1)ズーム倍率、
(2)想定スクリーンと実スクリーンのサイズ、
(3)想定視聴距離と実視聴距離、
(4)視差調整量、
に応じて、融像出来る被写体の距離が変わるため、これらの関係を用いることにより、立体撮像装置2000において、撮影時に予め、見やすいシーンか見にくいシーンかの判定が可能になる。
【0192】
このように、本実施形態の判定法(立体視可否判定処理)を用いることで、表示した時に被写体の遠景や近景が立体視できるかどうかを、撮影時に知ることができる。したがって、本実施形態の立体撮像装置2000により、撮影時に、立体視可否判定処理を行うことで、立体視できないような失敗撮影を事前に無くすことができる。
なお、撮影時において、最遠点が融像できない場合、正の視差(上記Δα1>0)を与え(付加し)、逆に、最近点が融像できない場合、負の視差(上記Δα1<0)を与える(付加する)ことにより、撮像しようとしているシーン全体が融像可能な状態となるように調整すればよいことは言うまでもない。
【0193】
また、最遠点や最近点あるいは両方が融像出来ないときは、カメラのユーザーインタフェースを用いてアラートを出し、撮影者に撮影シーンの再検討を促すことにより、失敗撮影を回避することが可能である。
また、視差の方向として、いずれの方向を正と表現するかは、自由であり、上記実施形態において設定した正方向と逆の場合であっても、本発明を適用することができることは、言うまでもない。なお、視差の方向を、上記実施形態において設定した正方向と逆にする場合、上記実施形態(本明細書および図面)の表現(あるいは図示)について、正と負を逆にして読み替えればよい。
【0194】
(2.3:第1変形例(高精度立体視可否判定))
次に、本実施形態に係る第1変形例について、説明する。
第1変形例に係る立体撮像装置では、より高精度な立体視可否判定(高精度立体視可否判定)処理を実行する。なお、第1変形例に係る立体撮像装置の構成は、第2実施形態の立体撮像装置2000の構成と同様である。
【0195】
上記で説明した技術により、撮影時に立体視可能か否かを判定することが可能になった。しかし、本願発明者らは、さらに、撮影時の立体視可否判定の精度を上げることを目的として、多数のシーンによる立体撮影・表示を行い、多くの被験者による評価実験を行った結果、上記条件だけでは判断できないシーンを多々発見し、立体視の判定基準は、最遠点と最近点に対する視差だけで決まるのではないことを発見した。
【0196】
つまり、本願発明者らは、立体視可否判定を行う場合、奥行きが前後に異なる被写体の2次元の画面上(仮想スクリーン上あるいは表示スクリーン上)での距離を考慮して立体視可否判定を行うことで、より高精度の立体視可否判定を行うことができることを見出した。
これに基づく、本変形例の立体撮像装置での処理について、以下、説明する。
【0197】
(2.3.1:被写体の2次元画面上での距離を考慮した高精度立体視可否判定)
奥行きが前後に異なる被写体の2次元の画面(仮想スクリーンあるいは表示スクリーン)上での距離を考慮した撮影時の立体視可否判定についての条件は、以下の(1)、(2)の評価結果から見出した。
(1)遠景と近景が画面上で離れた位置にある場合には、遠景と近景の視差の差が比較的大きくても見やすい(立体視しやすい)ことが多い。
(2)逆に、遠景と中景、や中景と近景のように視差の差が比較的小さくても、それらが画面上で近い位置にある場合には、融像が難しくなる(立体視が困難になる)ことが多い。
【0198】
したがって、撮影シーン中の最遠点F(最遠点の被写体距離をR(F)とする。)と最近点N(最近点Nの被写体距離をR(N)とする。)は、どちらも立体視可能である場合であっても、最遠点より近い遠景A(遠景Aの被写体距離R(A)とすると、R(A)<R(F))と最近点より遠い近景B(近景Bの被写体距離R(B)とすると、R(B)>R(N))とが画面上で隣接していると、その遠景Aと近景Bとが隣接している部分(領域)が融像出来ずに見づらい画像になるということが生じる。
【0199】
そこで、本変形例の立体撮像装置では、2次元画面(仮想スクリーンあるいは表示スクリーン)上での2つの被写体の視差角α1、α2と、その2つの被写体の2次元画面中での距離hとを変数とする関数f(α1,α2,h)により、視覚に合わせた(人間の視覚特性を考慮した)補正視差角γを求め、その補正視差角γに基づいて、撮影シーンの被写体が融合域に入るかどうかを判定する。
【0200】
ここで、補正視差角γを求める関数の例を示す。
f(α1,α2,h)=g(h)*|α1−α2|
g(h)は、hの絶対値が「0」に近いほど大きな値をとる単調減少関数である。
なお、関数g(h)は、所定の値th1から所定の値th2まで単調減少する関数であってもよい(つまり、th1>g(h)>th2)。また、関数g(h)は、表示画面サイズ(表示スクリーンサイズ)や視聴距離等により、変化するものであってもよい。
【0201】
上記評価値(関数fの値)が、融像限界δに対して、
f(α1,α2,h)<δ
であれば、この2つの被写体(視差角α1の被写体と視差角α2の被写体)については、融像でき立体視できると判定することができる。
そして、上記条件が、撮影しようとしているシーン中の全ての被写体の間で成立すれば、シーン全体として見やすい(立体視可能)と判定できることになる。つまり、上記条件が、撮影しようとしているシーン中の全ての被写体について成立する場合、当該シーンを立体撮影することで取得される立体画像(立体映像)は、人間にとって見やすい(適切に融像できる)立体画像(立体映像)となる。
【0202】
≪高精度立体視可否判定処理の処理フロー≫
次に、本変形例の立体撮像装置により実行される高精度立体視可否判定処理について、図17のフローチャートを用いて、説明する。この高精度立体視可否判定処理は、上記関数fを用いて、撮影時に、撮影シーンが融像可能(立体視可能)か否かを判定する処理である。
(S501):
制御部110は、視差マップメモリ181から、異なる2つのブロック(視差マップメモリ181の構成するブロック。図3のBK1やBK2がこれに相当。)を選択する。
(S502):
制御部110は、S501で選んだ2つのブロックの視差を、視差マップメモリ181から求め、所定の条件を用いて、当該2つのブロックの視差を、それぞれ、視差角α1,α2に変換する。なお、「所定の条件」とは、撮影時の撮影要素(被写体位置、仮想スクリーンのサイズおよび位置、SB、右眼画像用撮像点、左眼画像用撮像点)や、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)や、撮影パラメータ(画角、ズーム倍率、撮影SB等)により決定される条件である。そして、視差角α1、α2は、上記条件により視差補正された視差角であってもよい。
【0203】
(S503):
選んだ2つのブロック間の2次元画面上の距離hを求める。なお、距離hは、視差マップメモリ181上のブロック間の距離により求め、例えば、隣接ブロックの場合は、h=1とする。
(S504):
選んだ2つのブロックに関する補正視差角f(α1,α2,h)を算出する。
(S505):
制御部110は、S504で算出した補正視差角f(α1,α2,h)の値(この値をf0とする)と、fの最大値として保持されているfmaxとを比較し、
f_max<f0であれば、fmax=f0とし、
f_max≧f0であれば、そのまま、fmaxを保持する。
【0204】
なお、最初に、S505の処理が実行される場合、制御部110は、fmax=f0とする。
(S506):
制御部110は、全てのブロックの組み合わせについて、上記処理が終了したか否かを判定する。そして、判定の結果、全てのブロックの組み合わせについて終了していなければ、ステップS501に戻り、全てのブロックの組み合わせについて終了していれば、ステップS507に進む。
(S507):
制御部110は、fmaxとδを比較し、
fmax<δ
であれば、本変形例の立体撮像装置により立体撮影しようとしているシーンが、立体視可能であると判断する。
【0205】
なお、高精度立体視可否判定処理では、必ずしも、上記のように、視差マップメモリ181を構成する全ブロック中の全ての2ブロックの組み合わせに対して、上記処理を実施せねばならないものではなく、例えば、視差の差が所定のレベル以上あるブロックについてのみ、上記処理を実施するようにしてもよい。
また、補正視差角を求める関数は、上記の関数に限られるものではなく、例えば、定性的に視差の差が大きいほど大きな値を出力し、および/または、2次元画面上の距離が大きいほど小さな値を出力する関数であれば、上記で示した関数以外の関数であってもよい。また、補正視差角を求める関数は、完全に単調関数でなくてもよく、所定の範囲において、一定値をとるものであってもよい。
【0206】
(2.3.2:画面サイズと視聴距離を考慮した高精度立体視可否判定)
本願発明者らは、立体視する場合において、立体画像(立体映像)の見やすさに影響を与える要素として、上記以外に、ディスプレイのサイズと、視聴距離によるものがあることを見出した。
前述の説明では、眼球の輻輳(輻輳点)をスクリーン面に合わせることを前提として説明した。しかし、眼球の輻輳は、常にスクリーン面上から離れないかと言えば、そうではない。人間は、遠景が見にくければ、眼球の輻輳を変化させて遠景を見やすくするよう見方をすることを自然にしている。
【0207】
これについて、図18を用いて、説明する。
例えば、図18の場合において、人間が、人物900を注視し輻輳(輻輳点)を人物900に合わせて見た(立体視した)場合について考える。この場合、山901の融像の条件は、|αf−αs|<δから|αf−αc|<δに変わるため、山901は見やすくなる(立体視しやすくなる)ことになる。
【0208】
したがって、この場合、現実の融像範囲は、その分だけ広いと言える。
ところが、輻輳(輻輳点)を人物900に合わそうとして、人物900を注視するとピントも人物900に合わしてしまい、表示スクリーン上の立体画像(立体映像)を、くっきりと見ることが出来なくなる。うまく見るためには、ピントはスクリーン面に合わせ、かつ、輻輳(輻輳点)は人物900に合わせるという無理な見方が要求される(ピントと輻輳の不一致)。
【0209】
人間は、眼球のレンズ(水晶体)の厚みを毛様体筋の収縮により変化させてピントを調節する。この際、ピント調節に要する収縮の変化幅は近距離の物体を見るときは大きく、遠距離の物体を見るときは小さいため、ピント調節による距離感を強く感じるのは、近距離の物体を見るときであり、遠距離の物体を見るとき、人間は、ピント調節によって距離を認識できない。
【0210】
したがって、近距離で見る小サイズのディスプレイ(表示スクリーン)では、ピントによるスクリーンの距離感が強固であるため、輻輳(輻輳点)もスクリーン面に固定されがちになる。特に、2m以下では、その傾向が強い。
逆に、遠距離で見る大サイズのディスプレイでは、ピントによるスクリーンの距離感が希薄であるため、輻輳(輻輳点)は、スクリーン面に固定されず、前後に動きやすいことになる。
【0211】
したがって、画面サイズが小さいディスプレイ(表示スクリーン)または近距離で見る視聴条件の場合は、相対的に融像条件を厳しく設定し、画面サイズが大きいディスプレイ(表示スクリーン)または遠距離で見る視聴条件の場合は、相対的に融像条件を広く(緩く)設定することが可能である。
これに基づいて、本変形例の立体撮像装置では、表示スクリーンのサイズを撮影時に把握しておき、表示スクリーンのサイズが小さい(小画面である)ほど、上記δ(融像範囲δ)を小さく設定し、表示スクリーンのサイズが大きい(画面サイズが大きい)ほど、δを大きく設定する。そして、本変形例の立体撮像装置では、このように設定したδを用いて、実際の処理(例えば、「2.2」で説明した撮影時の立体視可否判定処理や、「2.3.1」で説明した被写体の2次元画面上での距離を考慮した高精度立体視可否判定処理)を行う。これにより、本変形例の立体撮像装置では、撮影時において、より精度の高い立体視可否判定処理を実現することができる。
【0212】
また、上記の他にも以下のような場合に、融像条件を緩める(広げる)ことが可能である。
(1)最遠点や最近点の被写体がスクリーン上で占める面積が小面積である場合。
(2)最遠点や最近点の被写体が画面(スクリーン)の端にある場合。
(3)最遠点や最近点の被写体のピントがはずれてぼけている場合。
【0213】
上記何れの場合においても、最遠点や最近点の被写体がそのシーンにとって重要でない可能性が高いと判断でき、したがって、人間は、当該最遠点や最近点の被写体を注視することが少ない。つまり、注視されにくい当該最遠点や最近点の被写体の融像状態による影響は少ないので、上記の場合、融像条件を緩める(広げる)ことができる。
【0214】
なお、融像範囲を調整するための方法として、例えば、以下のような方法がある。
(1)立体画像(立体映像)を構成する右眼用画像および/または左眼用画像を電気的にシフトさせることで視差を調整することで、融像範囲を調整する。
(2)立体撮像装置の撮影SBの調整(縮める調整)を行うことで、融像範囲の調整をする。
(3)2回撮りにより立体画像(立体映像)を取得する場合、2回撮りを実行する際の立体撮像装置の移動量を調整する。
(4)立体画像(映像)において、オブジェクト(被写体)のデプス(Depth、奥行き情報)を作成(算出あるいは推定)し、電気的に撮影SBの調整を行う。
【0215】
これらの様々な要素を加味して融像域を変化させることにより、本変形例の立体撮像装置において、実際の見やすさに近い評価値を取得することができ、この取得した評価値に基づいて、撮影時に立体視可否判定処理を行うことで、本変形例の立体撮像装置において、より良い立体撮影を行うことができる。つまり、本変形例の立体撮像装置では、様々な要素を加味して融像域を変化させることにより、実際の見やすさに近い評価値を取得し、当該評価値に基づく立体視可否判定処理を行うことで、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することができる。
【0216】
(2.3.3:視差ヒストグラムを用いた処理)
なお、立体視可否判定を行うために、上記のように融像範囲δの大きさを変化させる方法(融像条件を緩和させる方法)以外に、視差ヒストグラムを用いた方法を採用してもよい。視差ヒストグラムを用いた撮影時の立体視可否判定処理について、以下、説明する。
≪図19の場合≫
まず、図19に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図19に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、図19に示す所定の度数A以下の遠景および近景を除外し、立体視可否判定処理の対象領域AR1を近景B2から遠景C2の領域に設定する。
【0217】
そして、制御部110は、設定した立体視可否判定処理の対象領域AR1(B2〜C2の領域)を、立体可能領域(例えば、図19に示す立体可能領域AR0)と比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR1が立体視可能領域AR0に含まれていれば、立体視可能と判定する。なお、図19の場合、立体可能領域AR0は、仮想スクリーン位置を中心とした対称領域(遠景側の領域の大きさと近景側の領域の大きさが等しい領域)である。
【0218】
≪図20の場合(遠景THと近景THとが同じ場合)≫
次に、図20に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図20に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、図20に示す所定の度数TH以下の遠景および近景を除外し、立体視可否判定処理の対象領域AR2を近景B2から遠景C2の領域に設定する。
【0219】
そして、制御部110は、図20に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域AR2の遠景側の限界点C2を基準とした領域AN1に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域AR0を、対象領域AR2の遠景側の限界点C2を基準とした領域AN1にシフトさせる。このようにして、制御部110は、立体視可否判定処理に使用する立体視可能領域AN1を設定する。
【0220】
そして、制御部110は、立体視可否判定処理の対象領域AR2と、立体視可能領域AN1とを比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR2が遠景を重視して設定した立体視可能領域AN1に含まれていれば、立体視可能と判定する。
【0221】
≪図21の場合(遠景THと近景THとが異なる場合(その1))≫
次に、図21に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図21に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、
(1)遠景側において、図21に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図2に示す所定の度数TH_near以下の近景を除外する。
【0222】
そして、制御部110は、立体視可否判定処理の対象領域AR3を近景B2から遠景C2の領域に設定する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
【0223】
制御部110は、図21に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域AR3の遠景側の限界点C2を基準とした領域AN2に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域AR0を、対象領域AR3の遠景側の限界点C2を基準とした領域AN2にシフトさせる。このようにして、制御部110は、立体視可否判定処理に使用する立体視可能領域AN2を設定する。
【0224】
そして、制御部110は、立体視可否判定処理の対象領域AR3と、立体視可能領域AN2とを比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR3が遠景を重視して設定した立体視可能領域AN2に含まれていれば、立体視可能と判定する。
【0225】
≪図22の場合(遠景THと近景THとが異なる場合(その2))≫
次に、図22に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図22に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、
(1)遠景側において、図22に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図21に示す所定の度数TH_near以下の近景を除外する。
【0226】
そして、制御部110は、立体視可否判定処理の対象領域AR4を近景B2から遠景C2の領域に設定する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
【0227】
また、制御部110は、立体視可否判定処理に用いる立体視可能領域を以下のようにして、求める。
(1)所定の度数TH0(>TH_far)を設定する。
(2)視差ヒストグラムにおいて、その度数が、遠景側から近景側へ向かってトレースしたときに最初に度数TH0を超える点(図22のC3点がこれに相当)を求める。
(3)(2)で求めたC3点を基準として、立体視可能領域AN3を設定する。なお、立体視可能領域AN3は、例えば、仮想スクリーンを中心として設定される立体視可能領域AR0を、C3点を基準としてシフトさせた領域である。
【0228】
制御部110は、以上のようにして設定した立体視可能領域AN3と、立体視可否判定処理の対象領域AR4とを比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR4が遠景を重視して設定した立体視可能領域AN3に含まれていれば、立体視可能と判定する。
【0229】
≪図23の場合(クラスタリング処理を行う場合)≫
次に、図23に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181を構成する各ブロック(このブロックは、例えば、8×8画素から構成されるブロックであるが、単独画素から構成されるものであってもよい。)に対して、クラスタリング処理を行う。これにより、例えば、図3(a)に示すようにクラスタリングされたとする。なお、図(a)では、クラスタCL1〜CL6を模式的に示している。
【0230】
そして、制御部110は、例えば、クラスタごとに代表値を設定して、視差ヒストグラムを生成する。具体的には、例えば、クラスタCL1が、視差がC4〜C5である視差マップメモリ181のブロックを含むものである場合、制御部110は、当該クラスタCL1の代表値を平均値(=(C4+C5)/2)として、視差ヒストグラムを生成する。
そして、制御部110は、上記で説明したのと同様の処理により立体視可否判定処理を行う。例えば、図23に示すように、制御部110は、視差ヒストグラムにおいて、遠景側から近景側にトレースしたときに、はじめてしきい値TH_farを超えるC4点を基準として立体視可能領域AN4を設定する。そして、制御部110は、立体視可能領域AN4と立体視可否判定の対象領域AR5とを比較し、立体視可否判定を行う。
【0231】
なお、本変形例の立体撮像装置において、上記クラスタリング処理の後、重み付けを行い、立体視可否判定を行うようにしてもよい。これについて、説明する。
制御部110は、例えば、図23に示すように、各クラスタに対して、以下のような関数Weightによる重み付けを行う。
Weight(x,y,z)=Cent(x)・Size(y)・Blur(z)
Cent(x):クラスタの位置が、視差マップメモリ181上の中心位置(視差マップメモリ181の各ブロックにより構成される2次元画像(画面)の中心位置)から近い程、大きな値となる関数。なお、xは、例えば、クラスタの2次元画面上の位置を示す2次元ベクトルである。なお、Cent(x)=1として、クラスタ位置による重み付けをしないようにしてもよい。
【0232】
Size(y):クラスタの、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上の面積が大きい程、大きな値となる関数。なお、yは、例えば、クラスタの、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上の面積である。また、Size(y)=1として、クラスタの面積による重み付けをしないようにしてもよい。
【0233】
Blur(z):クラスタのボケ度合い(例えば、平均のボケ度合い)が大きい程、小さな値となる関数。なお、zは、例えば、クラスタのボケ度合い(例えば、平均のボケ度合い)を表す値である。また、Size(y)=1として、クラスタのボケ度合いによる重み付けをしないようにしてもよい。
制御部110は、上記のような重み付け関数Weight(x,y,z)を用いて、重み付け後の視差ヒストグラムを生成する。
【0234】
例えば、図23(a)に示したクラスタCL1が遠景のクラスタであり、その視差の範囲が図23(b)のC4〜C5であり、その度数がH(CL1)であるとき、制御部110は、クラスタCL1について、重み付け関数Weight(x,y,z)の値を求める(これをWeight(CL1)とする)。そして、制御部110は、クラスタCL1の重み付け後の度数HA(CL1)を、
HA(CL1)=Weight(CL1)・H(CL1)
として求め、重み付け後の度数HA(CL1)により視差ヒストグラムを生成する。
【0235】
そして、制御部110は、これを全てのクラスタについて行う。
このようにして、重み付けして生成された視差ヒストグラムの一例を、図23(c)に示す。
図23(b)に示す視差ヒストグラムでは、C4点を基準にして、立体視可能領域AN4および立体視可否判定処理の対象領域AR5が設定されている。
【0236】
図23(a)に示すように、クラスタCL1は、遠景領域のクラスタであり、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上に占める面積は大きくないが、その位置が中心付近であるため、立体視可否判定処理において、重要である。したがって、クラスタCL1のWeight(CL1)の値は大きな値となり、
HA(CL1)=Weight(CL1)・H(CL1)
の値も大きな値となる。
【0237】
つまり、図23(c)に示すように、図23(c)の視差C4〜C5の度数が多くなり、しきい値TH_farを超えるので、制御部110は、C5点を基準にして、図23(c)に示すように、立体視可能領域AN5および立体視可否判定処理の対象領域AR6を設定する。
これにより、本変形例の立体撮像装置では、CL1のような画面中心付近に存在する小さい面積の遠景部分の影響を考慮した立体視可否判定処理を行うことができる。
【0238】
なお、上記は一例であり、上記に限定されないことは言うまでもない。
また、クラスタの占める面積、クラスタのボケ程度に関しても、上記と同様の処理を行うことで、本変形例の立体撮像装置において、クラスタの占める面積、クラスタのボケ程度を考慮した、より適切な立体視可否判定処理を行うことができる。
【0239】
[第3実施形態]
次に、第3実施形態について、説明する。
第3実施形態では、撮影すべきシーンが、人間が立体視できないシーンに対しするカメラのアシスト機能に関する。
第2実施形態およびその変形例では、人間の視覚が感じる見やすさに近い判定基準で見やすさ(立体視のしやすさ)を判定できるようにする立体撮像装置および立体視可否判定方法について説明した。前述の実施形態の立体撮像装置を用いることで、遠景が見にくいときには視差調節あるいは輻輳の調節により遠景を近づけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる、また、近景が見にくいときには視差調節あるいは輻輳の調節により近景を遠ざけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる。
【0240】
しかし、視差調節や輻輳の調節をむやみに行うと、奥行きのリニアリティーが低下し、取得される立体画像(立体映像)の画質が低下する。また、遠景と近景の融像が両立出来ない撮影条件は、視差調節や輻輳の調節では解決できないことも多い。
本実施形態では、遠景と近景が両方とも融像出来ない場合に、撮影条件を変更して見やすい撮影ができるように、撮影者に対してアシストする機能に関するものである。
【0241】
図24は、本実施形態の原理を説明する図である。
図24(a)は、撮影シーンの位置関係(撮影時の撮影パラメータの位置関係)を表している。最遠点は、距離Rfにある山901であり、最近点は距離Rnにある草花902である。また、このシーンでの主被写体は、距離Rcにいる人物900である。図24(a)のカメラ(立体撮像装置)で撮影する際の視差角は、山901がαf、草花902がαn、人物900がαcとする。
【0242】
ここで前述の実施形態の発明により、パナムの融合域による融像範囲δを撮影側に変換した融像範囲をδxとすると、
|αn−αf|<2δx
を満たしていれば、適切な視差調整により遠景と近景の両方を見やすい融像域に入れることが可能である。しかし、上記を満たしていなければ、如何に視差調整をしようとも双方(遠景および近景)を融像させることは困難である。
【0243】
本実施形態の立体撮像装置では、このように遠景と近景の融像が両立しないことを撮影直前に前述の実施形態の技術により検出し、撮影者に対して、後方に下がって撮影するようにアシストする。
図25に、本実施形態の立体撮像装置3000の概略構成を示す。
図25に示すように、本実施形態の立体撮像装置3000は、第2実施形態の立体撮像装置2000に警告部126を追加した構成である。それ以外については、本実施形態の立体撮像装置3000は、第2実施形態の立体撮像装置2000と同様である。
【0244】
なお、アシストの方法は、制御部110が警告部126を制御し、警告部126が撮影者に対して警告を出すことにより実現される。例えば、警告部126は、ディスプレイ表示を行う機能部や音声ガイドを行う機能部であり、警告部126により、ディスプレイ表示や音声ガイド等を行うことで、立体撮像装置3000において、アシスト機能を実行させる。このアシストの方法として、例えば、以下の方法がある。
(1)何処まで下がればよいかを伝える方法(現在の立体撮像装置の位置から、被写体から遠ざかる方向に立体撮像装置を移動させるべき距離(遠ざかるべき距離)を指示する方法)。
(2)撮影者がカメラ(立体撮像装置)を構え、仮撮影をしながら後方にさがり、立体撮像装置が、撮影画像から遠景と近景の融像が両立することを判断して、その判断結果を撮影者に伝えることで、カメラ位置(立体撮像装置の位置)を決める方法。
【0245】
なお、立体撮像装置3000により上記アシスト機能が実現されている場合であって、立体撮像装置3000により、撮像しようとしているシーンが立体視可能であると判定されるまでは、立体撮像装置3000による立体撮影を禁止するようにしてもよい(例えば、立体撮像装置3000のシャッター(不図示)を撮影者が押すことができないように(全押しすることができないように)、シャッターをロックしてもよい)。
【0246】
図24(b)は、カメラ位置(立体撮像装置の位置)をΔRだけ後方に下げた状況を図示している。この場合の視差角は、山901がαf‘、草花902がαn’、人物900がαc‘である。
ここで、遠景の視差角はほとんど変化しない、即ち、αf−αf‘≒0にかかわらず、近景の視差角は大きく減少する。
【0247】
したがって、|αn‘−αf’|<|αn−αf|となるため、
|αn‘−αf’|<2δx
を満たせば、遠景と近景の融像が両立できることになる。
【0248】
【数8】
Figure 2011108277
【0249】
上式を満たす、ΔRは事前に計算することが可能であり、ΔRを立体撮像装置により算出し、立体撮像装置が、撮影者に対して、ΔRだけ後方に下がって撮影するように指示することができる。
また、本実施形態では、後方に下がって撮影することにより遠景と近景がともに見やすくなる立体画像(立体映像)が取得できる代わりに、被写体に対するパースペクティブは、次のように変化する。すなわち、近景の草花902は小さくなり、中景の人物900は、少し小さくなり、遠景の山901は、ほとんど変化しない。
【0250】
通常、この変化が問題になるのは、主被写体である人物900が望む大きさよりも小さく撮影される場合であり、近景や遠景の大きさ変化はあまり問題にならない。
そこで、本実施形態の立体撮像装置では、主被写体の大きさ変化を抑えるため、後方に下がるのと連動するズーム処理を行う。
主被写体の大きさは、後方に下がるとRc/(Rc+ΔR)の比率で小さくなる。
【0251】
したがって、本実施形態の立体撮像装置では、後方に下がったことによる影響を補償するために、ズーム倍率を(Rc+ΔR)/Rc倍にする。つまり、本実施形態の立体撮像装置では、焦点距離を伸ばすことにより、主被写体の大きさが変化しないように制御する。
その結果、本実施形態の立体撮像装置で取得される立体画像(立体映像)において、遠景は大きい目、近景は小さい目になるが、主被写体が所望の大きさになれば多くのシーンでは良好な撮影(立体撮影)ができることになる。
【0252】
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
本変形例の立体撮像装置では、図24(a)の位置で撮影をしようとした場合、前述の関係式から得られる主被写体の焦点距離をズーム変化範囲の広角端に設定するものである。そうすると、ズームを最も広角にしても主被写体が大きすぎることになり、その結果、撮影者は自発的に後方に下がり図24(b)の位置から撮影することになる。したがって、本変形例の立体撮像装置では、撮影者に対して、ズーム可動域の広角端を制限することによるアシストを行う。
また、主被写体が人物であることをカメラ(立体撮像装置)が標準的に搭載する顔検出機能により認識し、主被写体が人物である場合、本変形例の立体撮像装置において、上記動作を行うと良い。
【0253】
≪第2変形例≫
次に、本実施形態の第2変形例について説明する。
撮影すべきシーンの内、重要な被写体が、主被写体と遠景である場合についての変形例(第2変形例)を説明する。
遠景と近景の融像が両立しないが、その際、近景の被写体が画面上の端(スクリーンの枠の近く)に位置している場合、その被写体は撮影シーンの中で重要度が低い場合が多い。
【0254】
したがって、前述のように撮影者が後方に下がるのではなく、撮影者が撮影位置を少し横に移動することにより、重要でない近景を撮影範囲外に追い出すことが可能である。
本変形例の立体撮像装置では、上記判断基準により近景の重要度が低いと判断した場合に、撮影者に対して、近景を撮影範囲から外すように横に移動して撮影するように、表示や音声でアシストする。
【0255】
本変形例の技術では、遠景と主被写体の間の大きさの比率は維持されるため、当初のパースペクティブからの変化が少ない撮影(立体撮影)ができる。
[他の実施形態]
なお、上記実施形態で説明した立体撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
【0256】
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0257】
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
【0258】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【0259】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blue−ray Disc)、半導体メモリを挙げることができる。
【0260】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態では、2つの撮像部により、ステレオ画像(左眼用画像および右眼用画像)を取得(撮像)している場合について説明した。しかし、これに限定されることはなく、例えば、1つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、1つの撮像素子の撮像素子面を2分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【0261】
本発明に係る立体撮像装置、立体撮像方法およびプログラムは、自然で見やすく安全な立体撮像と立体表示を可能にするものであり、映像機器関連産業分野において、有用であり、本発明は、当該分野において実施することができる。
【符号の説明】
【0262】
1000、1000A、2000、3000 立体撮像装置
100R 第1撮像部
100L 第2撮像部
101R 第1光学系
101L 第2光学系
102R 第1撮像素子部
102L 第2撮像素子部
104 視差検出部
105 最小視差検出部
106 最大視差検出部
107 主被写体視差検出部
110 制御部
111R 第1視差付加部
111L 第2視差付加部
112R 第1トリミング部
112L 第2トリミング部
121 表示情報設定部
122 定位情報設定部
123 フォーカス制御部
124 輻輳制御部
181 視差マップメモリ

Claims (21)

  1. 被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、
    前記被写体像の光学像を形成する光学系と、
    前記形成した光学像に基づいて前記立体映像を生成する撮像部と、
    前記光学像を形成した際の前記光学系に関する撮像パラメータを取得する撮像パラメータ取得部と、
    前記立体映像を視聴する環境に関するパラメータである表示パラメータを取得する表示パラメータ取得部と、
    前記立体映像の視差を検出する視差検出部と、
    前記生成した立体映像から、記録用の立体映像を生成する記録映像生成部と、
    前記撮像パラメータ、前記表示パラメータおよび前記検出した視差に基づいて、前記記録用の立体映像を生成する前に、前記生成した立体映像に対する立体視のし易さまたは立体視のしにくさを、所定の判定条件に基づいて判定する立体視可否判定部と、
    を備える立体撮像装置。
  2. 前記表示パラメータ取得部は、少なくとも視聴者から前記立体映像を表示するスクリーンまでの視聴距離に関する情報を含む表示パラメータを取得し、
    前記立体視可否判定部は、前記所定の判定条件を、前記視聴距離が短いほど前記生成した立体映像に対する立体視しにくくなる判定条件に変更し、変更後の判定条件に基づいて判定する、
    請求項1に記載の立体映像装置。
  3. 前記撮影パラメータ取得部は、少なくとも前記光学像を形成した際の前記光学系におけるズーム倍率に関する情報を含む撮影パラメータを取得し、
    前記立体視可否判定部は、前記所定の判定条件を、前記ズーム倍率が大きいほど前記生成した立体映像に対する立体視しにくくなる判定条件に変更し、変更後の判定条件に基づいて判定する、
    請求項1に記載の立体映像装置。
  4. 立体撮影時において、前記第1視点および前記第2視点を結ぶ線分SB1から仮想スクリーンまでの距離をL1とし、前記仮想スクリーンの幅をW1とし、前記線分SB1の中点を通る前記仮想スクリーン面への垂線の前記仮想スクリーンとの交点を輻輳点としたときの視差角をα1とし、撮影シーンに含まれる任意の被写体に輻輳点を合わせたときの視差角β1とし、ズーム倍率をzとし、
    立体表示時において、前記第1視点および前記第2視点を結ぶ線分SB2から表示スクリーンまでの距離をL2とし、前記表示スクリーンの幅をW2とし、
    立体表示時において、前記第1視点映像および/または前記第2視点映像に対して、画像シフトによる視差調整を行うことができる場合、立体表示時において、当該視差調整を行った場合の視差調整量に相当する視差調整角をΔαとし、
    立体視可能範囲を示す相対視差角をδとしたとき、
    前記立体視可否判定部は、
    撮影シーン中の任意の被写体について、
    |z・(W2/W1)・(L1/L2)・(α1−β1)−Δα|<δ
    を満たすか否かを判定することにより、立体撮影しようとしているシーンが立体視可能であるか否かを判定する、
    請求項1に記載の立体撮像装置。
  5. 前記立体可否判定部は、
    立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上で占める面積が小面積である程、前記立体視可能範囲を決定する条件を緩める、
    請求項4に記載の立体撮像装置。
  6. 前記立体可否判定部は、
    立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体が仮想スクリーン上の位置が端に近い程、前記立体視可能範囲を決定する条件を緩める、
    請求項4または5に記載の立体撮像装置。
  7. 前記立体可否判定部は、
    立体撮影しようとしているシーンの最遠点の被写体および/または最近点の被写体のピントがはずれている程、前記立体視可能範囲を決定する条件を緩める、
    請求項2から6のいずれかに記載の立体撮像装置。
  8. 前記視差検出部が検出した視差から、最大視差maxを検出する最大視差検出部と、
    前記視差検出部が検出した視差から、最小視差minを検出する最小視差検出部と、
    立体撮影を行うための撮影パラメータの調整を行う撮影パラメータ調整部と、
    をさらに備え、
    前記立体視可否判定部は、前記最大視差maxに相当する撮影シーン中の最遠点および前記最小視差minに相当する撮影シーン中の最近点が立体視可能範囲内であるか否かを判定し、
    (1)前記立体視可否判定部により、前記最遠点および前記最近点の両方が立体視可能範囲外であると判定された場合、
    前記撮影パラメータ調整部は、撮影パラメータを調整し、
    前記撮影パラメータの調整後に、前記立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行い、
    (2)前記最遠点が立体視可能範囲外であり、前記最近点が立体視可能範囲内であると判定された場合、
    前記視差調整部は、前記最遠点が立体視可能範囲内となるように、視差調整を行い、
    前記視差調整の後に、前記立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行い、
    (3)前記最遠点が立体視可能範囲内であり、前記最近点が立体視可能範囲外であると判定された場合、
    前記視差調整部は、前記最遠点が立体視可能範囲内の境界点となるように、視差調整を行い、
    前記視差調整の後に、前記立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能か否かの判定を行い、
    (4)前記立体視可否判定部により、前記最遠点および前記最近点の両方が立体視可能範囲内であると判定された場合、
    前記立体視可否判定部は、撮影シーンを立体撮影した場合に取得される立体映像が立体視可能であるとの判定を行う、
    請求項1から7のいずれかに記載の立体撮像装置。
  9. 被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、
    第1視点から見た被写体像を前記第1視点映像として撮像し、前記第1視点映像を形成する第1映像信号を生成するとともに、前記第1視点とは異なる第2視点から見た被写体像を前記第2視点映像として撮像し、前記第2視点映像を形成する第2映像信号を生成する撮像部と、
    前記第1視点映像および前記第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する視差検出部と、
    立体映像を視聴する環境に関するパラメータである表示パラメータを取得する表示パラメータ取得部と、
    前記画素ブロックに、前記視差検出部により検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する視差マップ画像生成部と、
    前記2次元視差マップ画像上の任意の2つのブロックの視差から、当該視差に相当する視差角α1およびα2を取得するとともに、前記2つのブロックの前記2次元視差マップ画像上の距離hを取得する視差角取得部と、
    前記2つのブロックの視差角α1およびα2と、前記2つのブロックの前記2次元視差マップ画像上の距離hとに基づいて、補正視差角f(α1,α2,h)を算出する補正視差角算出部と、
    前記2次元視差マップ画像に含まれる任意の2つのブロックについて算出した前記補正視差角f(α1,α2,h)の最大値fmaxを取得する補正視差角最大値取得部と、
    前記最大値fmaxと立体視可能範囲を示す視差角δとを比較し、
    (前記最大値fmax)<(前記立体視可能範囲を示す視差角δ)
    である場合、撮影時において、撮影しようとしているシーンが立体視可能であると判定する立体視可否判定部と、
    を備える立体撮像装置。
  10. 前記立体視可能範囲を示す視差角δは、2°以下の所定の角度である、
    請求項9に記載の立体撮像装置。
  11. 前記補正視差角f(α1,α2,h)は、
    f(α1,α2,h)=g(h)×|α1−α2|
    であり、
    g(h)は、hの絶対値が小さいほど、大きな値をとる単調減少関数である、
    請求項9または10に記載の立体撮像装置。
  12. 被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、
    第1視点から見た被写体像を前記第1視点映像として撮像し、前記第1視点映像を形成する第1映像信号を生成するとともに、前記第1視点とは異なる第2視点から見た被写体像を前記第2視点映像として撮像し、前記第2視点映像を形成する第2映像信号を生成する撮像部と、
    前記第1視点映像および前記第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する視差検出部と、
    立体映像を視聴する環境に関するパラメータである表示パラメータを取得する表示パラメータ取得部と、
    前記画素ブロックに、前記視差検出部により検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する視差マップ画像生成部と、
    前記2次元視差マップ画像から、前記画素ブロックの視差の度数分布である視差ヒストグラムを作成する視差ヒストグラム作成部と、
    前記視差ヒストグラムに基づいて、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する立体視可否判定部と、
    を備える立体撮像装置。
  13. 前記立体可否判定部は、
    前記視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th1をはじめて超える視差をC1とし、近景から遠景に向かってトレースした場合において、近景側度数閾値Th2をはじめて超える視差をB2としたとき、視差範囲B2〜C2の領域を、立体視可否判定処理の対象領域AR1として、前記対象領域AR1を立体視可能範囲AR0と比較することで、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する、
    請求項12に記載の立体撮像装置。
  14. 前記遠景側度数しきい値Th1は、前記近景側度数しきい値Th2より大きい、
    請求項13に記載の立体撮像装置。
  15. 前記立体可否判定部は、前記視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、前記遠景側度数しきい値Th1をはじめて超える視差C1を基準として、前記立体視可能範囲AR0を設定する、
    請求項13または14に記載の立体撮像装置。
  16. 視差ヒストグラム作成部は、
    前記2次元視差マップ画像に対して、クラスタリング処理を行い、
    前記クラスタリング処理により取得したクラスタごとに、
    Weight(x,y,z)=Cent(x)・Size(y)・Blur(z)
    (Cent(x):クラスタの位置が、前記2次元視差マップ画像上の中心位置から近い程、大きな値となる関数。xは、クラスタの前記2次元視差マップ画像上の位置を示す2次元ベクトル。
    Size(y):クラスタの、前記2次元視差マップ画像の各ブロックにより構成される2次元画像(画面)上の面積が大きい程、大きな値となる関数。yは、クラスタの、前記2次元視差マップ画像上の各ブロックにより構成される2次元画像(画面)上の面積。
    Blur(z):クラスタのボケ度合いが大きい程、小さな値となる関数。zは、クラスタのボケ度合いを表す値。)
    による重み付けを行った後に、重み付け視差ヒストグラムを作成し、
    前記立体視可否判定部は、
    前記重み付け視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、遠景側度数しきい値Th3をはじめて超える視差をC4とし、近景から遠景に向かってトレースした場合において、近景側度数閾値Th4をはじめて超える視差をB4としたとき、視差範囲B4〜C4の領域を、立体視可否判定処理の対象領域AR1として、前記対象領域AR1を立体視可能範囲AR0と比較することで、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する、
    請求項12に記載の立体撮像装置。
  17. 前記遠景側度数しきい値Th3は、前記近景側度数しきい値Th4より大きい、
    請求項16に記載の立体撮像装置。
  18. 前記立体可否判定部は、前記重み付け視差ヒストグラムにおいて、遠景から近景に向かってトレースした場合において、前記遠景側度数しきい値Th3をはじめて超える視差C4を基準として、前記立体視可能範囲AR0を設定する、
    請求項16または17に記載の立体撮像装置。
  19. 被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像装置であって、前記被写体像の光学像を形成する光学系を備える立体撮像装置に用いられる立体撮像方法であって、
    前記形成した光学像に基づいて前記立体映像を生成する撮像ステップと、
    前記光学像を形成した際の前記光学系に関する撮像パラメータを取得する撮像パラメータ取得ステップと、
    前記立体映像を視聴する環境に関するパラメータである表示パラメータを取得する表示パラメータ取得ステップと、
    前記立体映像の視差を検出する視差検出ステップと、
    前記生成した立体映像から、記録用の立体映像を生成する記録映像生成ステップと、
    前記撮像パラメータ、前記表示パラメータおよび前記検出した視差に基づいて、前記記録用の立体映像を生成する前に、前記生成した立体映像に対する立体視のし易さまたは立体視のしにくさを、所定の判定条件に基づいて判定する立体視可否判定ステップと、
    を備える立体撮像方法。
  20. 被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像方法であって、
    第1視点から見た被写体像を前記第1視点映像として撮像し、前記第1視点映像を形成する第1映像信号を生成するとともに、前記第1視点とは異なる第2視点から見た被写体像を前記第2視点映像として撮像し、前記第2視点映像を形成する第2映像信号を生成する撮像ステップと、
    前記第1視点映像および前記第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する視差検出ステップと、
    立体映像を視聴する環境に関するパラメータである表示パラメータを取得する表示パラメータ取得ステップと、
    前記画素ブロックに、前記視差検出ステップにより検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する視差マップ画像生成ステップと、
    前記2次元視差マップ画像上の任意の2つのブロックの視差から、当該視差に相当する視差角α1およびα2を取得するとともに、前記2つのブロックの前記2次元視差マップ画像上の距離hを取得する視差角取得ステップと、
    前記2つのブロックの視差角α1およびα2と、前記2つのブロックの前記2次元視差マップ画像上の距離hとに基づいて、補正視差角f(α1,α2,h)を算出する補正視差角算出ステップと、
    前記2次元視差マップ画像に含まれる任意の2つのブロックについて算出した前記補正視差角f(α1,α2,h)の最大値fmaxを取得する補正視差角最大値取得ステップと、
    前記最大値fmaxと立体視可能範囲を示す視差角δとを比較し、
    (前記最大値fmax)<(前記立体視可能範囲を示す視差角δ)
    である場合、撮影時において、撮影しようとしているシーンが立体視可能であると判定する立体視可否判定ステップと、
    を備える立体撮像方法。
  21. 被写体像を立体撮影し、第1視点映像及び第2視点映像により形成される立体映像を撮像する立体撮像方法であって、
    第1視点から見た被写体像を前記第1視点映像として撮像し、前記第1視点映像を形成する第1映像信号を生成するとともに、前記第1視点とは異なる第2視点から見た被写体像を前記第2視点映像として撮像し、前記第2視点映像を形成する第2映像信号を生成する撮像ステップと、
    前記第1視点映像および前記第2視点映像から、1または複数の画素から構成される画素ブロックごとに、視差を検出する視差検出ステップと、
    立体映像を視聴する環境に関するパラメータである表示パラメータを取得する表示パラメータ取得ステップと、
    前記画素ブロックに、前記視差検出ステップにより検出された当該画素ブロックの視差をマッピングすることで2次元視差マップ画像を生成する視差マップ画像生成ステップと、
    前記2次元視差マップ画像から、前記画素ブロックの視差の度数分布である視差ヒストグラムを作成する視差ヒストグラム作成ステップと、
    前記視差ヒストグラムに基づいて、撮影時に、撮影しようとしているシーンが立体視可能であるか否かを判定する立体視可否判定ステップと、
    を備える立体撮像方法。
JP2012503022A 2010-03-05 2011-03-03 立体撮像装置および立体撮像方法 Active JP5432365B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012503022A JP5432365B2 (ja) 2010-03-05 2011-03-03 立体撮像装置および立体撮像方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010049281 2010-03-05
JP2010049281 2010-03-05
JP2012503022A JP5432365B2 (ja) 2010-03-05 2011-03-03 立体撮像装置および立体撮像方法
PCT/JP2011/001269 WO2011108277A1 (ja) 2010-03-05 2011-03-03 立体撮像装置および立体撮像方法

Publications (2)

Publication Number Publication Date
JPWO2011108277A1 true JPWO2011108277A1 (ja) 2013-06-20
JP5432365B2 JP5432365B2 (ja) 2014-03-05

Family

ID=44541946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012503022A Active JP5432365B2 (ja) 2010-03-05 2011-03-03 立体撮像装置および立体撮像方法

Country Status (3)

Country Link
US (1) US9188849B2 (ja)
JP (1) JP5432365B2 (ja)
WO (1) WO2011108277A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124877B1 (en) * 2004-10-21 2015-09-01 Try Tech Llc Methods for acquiring stereoscopic images of a location
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
JP2012205148A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器
US10805625B2 (en) * 2011-07-05 2020-10-13 Texas Instruments Incorporated Method, system and computer program product for adjusting a stereoscopic image in response to decoded disparities between views of the stereoscopic image
KR101828805B1 (ko) * 2011-07-07 2018-03-29 삼성전자주식회사 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
JP5121081B1 (ja) * 2011-09-21 2013-01-16 シャープ株式会社 立体画像表示装置
WO2013047641A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 立体画像処理装置及び立体画像処理方法
US20130083170A1 (en) * 2011-10-03 2013-04-04 Canon Kabushiki Kaisha Stereoscopic image pickup apparatus
CN103792667B (zh) * 2012-10-30 2016-06-01 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法
JP2014107669A (ja) * 2012-11-27 2014-06-09 Canon Inc 立体撮影レンズシステムおよびそれを有する撮影システム
US9161020B2 (en) * 2013-04-26 2015-10-13 B12-Vision Co., Ltd. 3D video shooting control system, 3D video shooting control method and program
US9232210B2 (en) * 2013-07-08 2016-01-05 Nvidia Corporation Mapping sub-portions of three-dimensional (3D) video data to be rendered on a display unit within a comfortable range of perception of a user thereof
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
KR102130123B1 (ko) * 2013-10-31 2020-07-03 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
CN104869384B (zh) * 2014-02-25 2017-04-12 华晶科技股份有限公司 电子装置及其校正方法
JP6205069B2 (ja) * 2014-12-04 2017-09-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像化システム及び方法
WO2017145605A1 (ja) * 2016-02-22 2017-08-31 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10798364B2 (en) * 2016-10-20 2020-10-06 Nokia Of America Corporation 3D image reconstruction based on lensless compressive image acquisition
JP6793608B2 (ja) * 2017-08-07 2020-12-02 日立オートモティブシステムズ株式会社 ステレオ画像処理装置
TWI693829B (zh) * 2018-12-24 2020-05-11 緯創資通股份有限公司 電子裝置及其影像測距方法
EP3694208A1 (en) * 2019-02-05 2020-08-12 Jerry Nims A method and system for simulating a 3-dimensional image sequence
KR20220100741A (ko) * 2021-01-08 2022-07-18 삼성디스플레이 주식회사 표시 패널, 표시 장치 및 표시 장치 제어 방법
KR20220105194A (ko) * 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
KR20220107831A (ko) 2021-01-26 2022-08-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0827499B2 (ja) 1987-12-03 1996-03-21 松下電器産業株式会社 立体テレビジョン用撮像装置
JPH06105339A (ja) 1992-07-07 1994-04-15 Toshiba Corp 立体カメラ装置
DE69417824D1 (de) 1993-08-26 1999-05-20 Matsushita Electric Ind Co Ltd Stereoskopischer Abtastapparat
JP3157384B2 (ja) 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
JP3539788B2 (ja) 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
JPH08322004A (ja) 1995-05-24 1996-12-03 Olympus Optical Co Ltd 立体視ディスプレイ装置
JPH09224267A (ja) 1996-02-16 1997-08-26 Olympus Optical Co Ltd 立体映像作成装置及び立体映像表示装置並びにシステム
JPH10155104A (ja) 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP3441911B2 (ja) 1997-02-20 2003-09-02 キヤノン株式会社 情報処理装置及び方法
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
JP3976860B2 (ja) 1997-12-03 2007-09-19 キヤノン株式会社 立体映像撮像装置
JPH11187425A (ja) 1997-12-18 1999-07-09 Victor Co Of Japan Ltd 立体映像装置及び方法
US6704048B1 (en) 1998-08-27 2004-03-09 Polycom, Inc. Adaptive electronic zoom control
US7092003B1 (en) 1999-01-21 2006-08-15 Mel Siegel 3-D imaging arrangements
JP4208351B2 (ja) 1999-06-30 2009-01-14 キヤノン株式会社 撮像装置、輻輳距離決定方法および記憶媒体
US6864910B1 (en) 1999-06-30 2005-03-08 Canon Kabushiki Kaisha Optical apparatus
JP2001016619A (ja) 1999-06-30 2001-01-19 Canon Inc 撮像装置、その輻輳距離決定方法、記憶媒体および光学装置
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP2002084555A (ja) 2000-09-11 2002-03-22 Canon Inc 立体映像撮影装置
JP2002232913A (ja) 2001-01-31 2002-08-16 Canon Inc 複眼カメラ及び立体視画像観察システム
JP2003018619A (ja) 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
DE60238407D1 (de) 2001-07-04 2011-01-05 Koninkl Philips Electronics Nv Auswahl von referenzmarken zur schnellschätzung der position eines bildaufnahmegeräts
KR100424287B1 (ko) * 2001-09-10 2004-03-24 주식회사 제이앤에이치테크놀러지 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
JP3673217B2 (ja) 2001-12-20 2005-07-20 オリンパス株式会社 映像表示装置
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003284093A (ja) 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP4490074B2 (ja) 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP4259913B2 (ja) 2003-05-08 2009-04-30 シャープ株式会社 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2005073049A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP4652727B2 (ja) * 2004-06-14 2011-03-16 キヤノン株式会社 立体画像生成システムおよびその制御方法
JP4707368B2 (ja) 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
US20060017834A1 (en) 2004-07-23 2006-01-26 Konica Minolta Opto, Inc. Imaging optical system and imaging lens device
WO2006038570A1 (ja) 2004-10-01 2006-04-13 Sharp Kabushiki Kaisha 立体画像形成システム
DE102005040335B4 (de) 2005-03-10 2009-07-30 Inaba, Minoru, Oyama Digitale Stereokamera und Digitale Stereovideokamera
JP4695912B2 (ja) * 2005-04-11 2011-06-08 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
KR100667810B1 (ko) 2005-08-31 2007-01-11 삼성전자주식회사 3d 영상의 깊이감 조정 장치 및 방법
KR101244911B1 (ko) 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
JP5362189B2 (ja) 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法
US7854518B2 (en) 2006-06-16 2010-12-21 Hewlett-Packard Development Company, L.P. Mesh for rendering an image frame
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US20080123901A1 (en) * 2006-11-29 2008-05-29 D&S Consultants, Inc. Method and System for Comparing Images Using a Pictorial Edit Distance
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
JP4757812B2 (ja) * 2007-02-20 2011-08-24 富士フイルム株式会社 立体撮影装置および方法並びにプログラム
JP5296337B2 (ja) * 2007-07-09 2013-09-25 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システムおよび画像処理方法
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
CN102027752B (zh) 2008-05-12 2016-02-17 汤姆森特许公司 用于测量立体运动画面的潜在眼睛疲劳的系统和方法
JP2010045584A (ja) 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
US9336624B2 (en) 2008-10-07 2016-05-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for rendering 3D distance fields
US8330802B2 (en) 2008-12-09 2012-12-11 Microsoft Corp. Stereo movie editing
US7933512B2 (en) * 2009-03-24 2011-04-26 Patrick Campbell Stereo camera with controllable pivot point
US9275680B2 (en) 2009-06-16 2016-03-01 Microsoft Technology Licensing, Llc Viewer-centric user interface for stereoscopic cinema
US8624959B1 (en) 2009-09-11 2014-01-07 The Boeing Company Stereo video movies
US8798160B2 (en) 2009-11-06 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video
US8963998B2 (en) 2011-04-15 2015-02-24 Tektronix, Inc. Full reference system for predicting subjective quality of three-dimensional video

Also Published As

Publication number Publication date
WO2011108277A1 (ja) 2011-09-09
US20120327197A1 (en) 2012-12-27
JP5432365B2 (ja) 2014-03-05
US9188849B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
JP5432365B2 (ja) 立体撮像装置および立体撮像方法
JP5444452B2 (ja) 立体撮像装置および立体撮像方法
JP5491617B2 (ja) 立体撮像装置、および立体撮像方法
US10116922B2 (en) Method and system for automatic 3-D image creation
JP5414947B2 (ja) ステレオ撮影装置
US8736672B2 (en) Algorithmic interaxial reduction
US20110228051A1 (en) Stereoscopic Viewing Comfort Through Gaze Estimation
JP5320524B1 (ja) ステレオ撮影装置
JP5204349B2 (ja) 撮影装置、再生装置、および画像処理方法
JP5510238B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012068380A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5133472B2 (ja) 立体映像出力装置及び立体映像出力方法
KR101270025B1 (ko) 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
JPWO2011070774A1 (ja) 3d映像処理装置および3d映像処理方法
US20120236126A1 (en) Image pickup device, image pickup method, program, and integrated circuit
JP5889022B2 (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
JP5347987B2 (ja) 映像処理装置
JP2017525197A (ja) 立体視ビデオ生成
JP6490107B2 (ja) 立体視ビデオズーミング
JP6608852B2 (ja) 立体視深度調節及び焦点調節

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131205

R150 Certificate of patent or registration of utility model

Ref document number: 5432365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150