JPWO2011108276A1 - 立体撮像装置、および立体撮像方法 - Google Patents
立体撮像装置、および立体撮像方法 Download PDFInfo
- Publication number
- JPWO2011108276A1 JPWO2011108276A1 JP2012503021A JP2012503021A JPWO2011108276A1 JP WO2011108276 A1 JPWO2011108276 A1 JP WO2011108276A1 JP 2012503021 A JP2012503021 A JP 2012503021A JP 2012503021 A JP2012503021 A JP 2012503021A JP WO2011108276 A1 JPWO2011108276 A1 JP WO2011108276A1
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- stereoscopic
- image
- unit
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/54—Accessories
- G03B21/56—Projection screens
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/54—Accessories
- G03B21/56—Projection screens
- G03B21/58—Projection screens collapsible, e.g. foldable; of variable area
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/54—Accessories
- G03B21/56—Projection screens
- G03B21/60—Projection screens characterised by the nature of the surface
- G03B21/62—Translucent screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
これらの立体撮像装置は、光学系の数やイメージセンサの数に関して多様な構成のものがあり、また、立体撮像装置は、撮像方式に関しても、並列方式や時分割方式(フレームシーケンシャル方式)など様々な撮像方式を採用している。一般的には、2つの光学系(右眼用の光学系および左眼用の光学系)を有する2眼式の構成の立体撮像装置(2眼式立体画像撮像装置)が用いられることが多い。このような2眼式立体撮像装置には、2つの光学系の光軸の交差角(以下、「輻輳角」という。)等に代表される立体撮像パラメータを可変できるものもある。
また、一台のカメラ(撮像装置)を用いて撮影位置を横(水平方向)にずらして2度撮影することにより立体画像(左眼用画像および右眼用画像)を撮像する技法(以下、「2回撮り技法」という。)もある。この2回撮り技法は、静止被写体の撮影に限られ、横(水平方向)へ移動して正しく撮影するためには経験を要するが、簡便であり広い撮影両眼距離(以下、「撮影SB」、「撮影ステレオベース」、「ステレオベース」あるいは「基線長」という。)による撮影が可能であるため、有効な撮影技法である。2回撮り技法による立体撮影を適切に実行させるために、特殊なリグなどを用いずにフリーハンドでの撮影を支援するための機能、例えば、カメラの液晶ディスプレイにガイドを表示するなどの撮影支援機能を有する撮像装置も提案されている。
上記撮像装置により立体撮影・表示を行う技術として、平行法および交差法と呼ばれる撮像手法が知られている。
平行法は、2台のカメラを左右に配置し、その2台のカメラの光軸が平行となる状態で、立体画像(立体映像)を撮影する技術である。平行法では、撮影の際、撮影SBを人の両眼間隔に相当する間隔(約6.5cm)に設定して撮影を行い、表示の際、撮像した立体画像(左眼用画像および右眼用画像)を撮影SB分だけ電気的にずらしてスクリーン上(表示装置の表示画面上)に表示させる。これにより、平行法では、撮影時にカメラの位置で直接見た画像と同じ画像をスクリーン上(表示装置の表示画面上)に表示させることができ、さらに、平行法による立体画像では、被写体までの距離・被写体の大きさなどがそのまま表示装置を用いて再現される。つまり、平行法による立体撮影を行うことで、いわゆる「無歪み撮影」を実現させることができる。
立体撮影・表示技術において、幾何学的条件に起因する問題点がある。
立体撮影・表示技術では、幾何学的条件により、立体撮影された画像(映像)を立体表示した場合、自然な奥行き感が得られないことがある。これは、幾何学的条件により、奥行き領域(仮想スクリーン(表示スクリーン)より奥の領域)が過剰に(不自然に)圧縮された状態で表示されたり、奥行き領域が過剰に(不自然に)広がった状態で表示されたり、後方発散し融像できない状態で表示されたりすることに起因する。
(A)撮影時
(A1)輻輳角、(A2)レンズの画角(ズーム)、(A3)撮影SB、(A4)焦点距離などの撮影パラメータ。
(B)表示時
(B1)表示装置のサイズ(表示画面サイズ)、(B2)視聴距離。
このように、立体撮影・表示技術では、幾何学的条件により、適切でない視差画像(立体画像)が撮像・表示されるという問題点がある。
これらの問題点を解決するために、左右画像(左眼用画像および右眼用画像)から視差を検出し、検出した視差に基づいて視差調整を行い、人間にとって見やすい立体画像を表示する技術が提案されている(例えば、特許文献1、特許文献2参照)。
第1に、立体撮像装置の精度不足(特に、光学的な精度不足)により、適切な立体撮影を行うことができない場合があるという課題がある。
立体撮像において、2つの光学系の間の精度(平行性、輻輳角などの精度)は、極めて重要であり、光学系の精度不足により、例えば、上下にずれたりする(2つの光学系に上下方向のずれが発生する)と前述の融像できる視差の範囲が狭くなり見づらくなる。精度を上げるためには、光学系の機構的な剛性を高める必要があり、大きさ、重量、コストなどの点で課題となる。さらに、立体撮像装置が輻輳角を可変させる構成やズームを備えた構成では、さらに精度確保が困難になる。また、要求される精度の内、上下のずれについては、二枚の画像のマッチングを調べ、ずれの内上下方向のずれ成分を補正するように画像を上下シフトすることにより補正することが原理的に可能である。しかし、左右方向のずれについては、それが、光学系等の精度不足によるずれなのか、それとも、立体撮影による本来の視差なのかを区別できないため、補正は困難である。
また、左右方向の視差に大きな誤差が含まれると、被写体の定位位置が前後に変動し期待通りならないという課題がある。それにより、自然な奥行き感が損なわれる、あるいは、見やすい撮影が安定してできない等の課題もある。
第2に、撮影時に適切な処理がなされないために、表示時に適切な立体画像(立体映像)の表示ができない(警告しかなされない)という課題がある。
これに対して、左右画像から視差を検出し視差調整を行い見やすい立体画像を表示する表示装置の技術が提案されている(例えば、特許文献1、特許文献2参照)。
これらの技術は、立体画像(立体映像)の表示時に行う処理に関するものであり、表示された立体画像(立体映像)の視差と、それを観察する人間の視覚の融像条件とを用いて、許容される視差範囲に入れる、もしくは、警告するものである。
しかし、実際には、表示時に融像出来ないことが分かり警告されても対処の方法はなく手遅れであり。
しかし、実際のシーンが撮影されてからそれらがどのように表示され定位されるかは、撮影時の多数のパラメータ(SB、画角、ズーム倍率、輻輳角など)と、表示時のパラメータ(表示のサイズ、視聴距離など)とにより決定されるため、従来、撮影時に表示状態や定位位置を判定することは出来なかった。
第3に、撮影時に、立体撮影される画像(映像)(立体画像(映像))が、立体視ができ疲れないで見ることができるのかどうかを、実際に人間が見たときの感覚に近づけて判定することができないという課題がある。
従来技術では、撮影時に、撮影時のパラメータや表示時のパラメータから、表示状態や定位位置を判定できたとしても、撮影シーンによっては、検出した視差を用いて正しく判定できない場合がある。
例えば、最遠点と最近点とが画面上で近接する場合には、融像が困難になる。逆に言えば、最遠点と最近点とが画面上である程度離れている場合、融像できる。
さらには、実際の最遠点と最近点とは、画面上で離れていたため融像出来る判定されたにもかかわらず、最遠点ではない遠景と最近点でない近景とが、画面上で近接していたため、融像できない場合も存在する。すなわち、このような場合、従来技術では、融像の可否については、誤判定されることになる。
したがって、最遠点と最近点の距離や角度に従うだけでは、見やすさを正しく判断できないという課題がある。
撮影SBを小さくする方法も存在するが、撮影SBを可変にするカメラの構成は複雑となり、また、撮影SBを小さくすると、撮像画像は、遠近感が乏しい画像になりがちである。
本発明は、上記課題を鑑みて、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得する立体撮像装置、立体撮像方法およびプログラムを提供することを目的とする。
距離情報取得部は、自装置から被写体までの距離情報を取得する。定位情報設定部は、左眼用映像および右眼用映像を表示するスクリーンに対する被写体の定位位置を設定する。撮影条件設定部は、左眼用映像と右眼用映像との視差が理想視差となるように、撮影条件を設定する。撮像部は、撮影条件設定部により設定された撮影条件により、左眼用映像および右眼用映像を撮像する。現実視差取得部は、撮像部により撮像された左眼用映像および右眼用映像から、被写体の視差を現実視差として検出する。補正視差算出部は、理想視差と現実視差とに基づいて、補正視差を算出する。視差補正部は、補正視差により、撮像部により撮像された左眼用映像および右眼用映像の視差補正を行う。
撮像部は、立体映像を撮像する。
距離情報取得部は、自装置から被写体までの距離情報を取得する。
条件取得部は、立体映像を撮影した際の撮影条件および当該立体映像を表示する際の表示条件を取得する。
理想視差設定部は、取得した撮影条件および表示条件に基づいて、当該表示条件下における前記被写体の視差を理想視差として設定する。
現実視差取得部は、立体映像における被写体の視差を現実視差として検出する。
この立体撮像装置では、条件取得部により被写体(主被写体)までの距離である被写体距離を取得し、当該被写体(主被写体)の定位位置を設定する。そして、この立体撮像装置では、被写体(主被写体)の被写体距離および定位位置から理想視差を求めるとともに、立体撮像装置の撮影条件を設定する。そして、この立体撮像装置では、その設定した撮影条件で、実際に立体撮像して取得した立体映像から算出した現実視差と理想視差に基づいて、補正視差を算出し、算出した視差により、実際に立体撮像して取得した立体映像に対して視差補正を行う。したがって、この立体撮像装置では、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差を適切に補正することができる。その結果、この立体撮像装置では、精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得することができる。
第2の発明は、第1の発明であって、表示情報設定部をさらに備える。
表示情報設定部は、立体映像を表示する環境である視聴環境に関する表示パラメータとして、少なくとも、視聴環境における左眼視点および右眼視点を結ぶ直線である基線から立体映像を表示させる表示スクリーンまでの距離である視聴距離Lと、視聴環境における左眼視点と右眼視点との間の距離である基線長Sと、を設定する。
条件取得部は、被写体距離が視聴距離Lと一致する位置に仮想スクリーンを設定し、当該仮想スクリーン上に輻輳点が位置するように、撮影条件を設定する。
この立体撮像装置では、予め設定された視聴環境(表示条件)と主被写体の被写体距離から主被写体の理想視差を推定(算出)するとともに、仮想スクリーン上に実際に生じる被写体(主被写体)の視差(現実視差)を取得する。そして、この立体撮像装置では、理想視差と現実視差とから補正視差を求め、求めた補正視差を立体画像に付加する(水平方向にシフトする)ことで、適切な視差補正を行うことができる。その結果、この立体撮像装置では、精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得することができる。
第3の発明は、第2の発明であって、条件取得部により、「無歪み撮影」が指示された場合、視差補正部は、理想視差をx1とし、現実視差をx2としたとき、補正視差Δxを、
Δx=x1−x2。
により算出する。
この立体撮像装置では、予め設定された視聴環境(表示条件)と主被写体の被写体距離から主被写体の理想視差x1を推定(算出)するとともに、仮想スクリーン上に実際に生じる主被写体の視差(現実視差)x2を取得する。そして、この立体撮像装置では、理想視差x1と現実視差x2とから補正視差Δxを求め、求めた補正視差Δxを立体画像に付加する(水平方向にシフトする)ことで、無歪み撮影と等価な立体撮影を実現することができる。
したがって、この立体撮像装置により取得された立体画像は、適切な視差調整がなされた立体画像となる。すなわち、この立体撮像装置では、カメラ固有の誤差(特に、光学系により発生する誤差)が存在する場合(例えば、精度の高い輻輳制御ができない場合)であっても、適切な視差調整を行うことができる。
視差補正部は、理想視差をx3とし、現実視差をx2としたとき、補正視差Δxを、
Δx=x3−x2。
x3=S×(1−L/R3)。
S:基線長。
R3:基線(左眼視点および右眼視点を含む直線)から定位位置までの距離。
L:基線(左眼視点および右眼視点を含む直線)から表示スクリーンまでの距離。
により算出する。
この立体撮像装置では、表示時の視聴環境において、所望の位置に主被写体を定位させる場合における幾何学的位置関係から理想的な視差(理想視差)を算出し、算出した理想視差と現実視差とに基づいて、実際に取得した立体映像の視差補正を行う。したがって、この立体撮像装置により、主被写体を、立体撮像装置の光学系の精度に影響されず、所望の距離に定位させる立体映像を取得することができる。
第5の発明は、被写体像を立体撮影し、左眼用映像および右眼用映像からなる立体映像を撮像する立体撮像方法であって、撮像ステップと、距離情報取得ステップと、条件取得ステップと、理想視差設定ステップと、現実視差取得ステップと、視差補正ステップと、を備える。
距離情報取得ステップでは、撮影点から被写体までの距離情報を取得する。
条件取得ステップでは、立体映像を撮影した際の撮影条件および当該立体映像を表示する際の表示条件を取得する。
理想視差設定ステップでは、取得した撮影条件および表示条件に基づいて、当該表示条件下における被写体の視差を理想視差として設定する。
現実視差取得ステップでは、立体映像における被写体の視差を現実視差として検出する。
視差補正ステップでは、検出した現実視差が設定した理想視差に近づくように、立体映像の視差補正を行なう。
第6の発明は、被写体像を立体撮影し、左眼用映像および右眼用映像からなる立体映像を撮像する立体撮像方法をコンピュータに実行させるためのプログラムである。そして、立体撮像方法は、撮像ステップと、距離情報取得ステップと、条件取得ステップと、理想視差設定ステップと、現実視差取得ステップと、視差補正ステップと、を備える。
撮像ステップでは、立体映像を撮像する。
距離情報取得ステップでは、撮影点から被写体までの距離情報を取得する。
条件取得ステップでは、立体映像を撮影した際の撮影条件および当該立体映像を表示する際の表示条件を取得する。
理想視差設定ステップでは、取得した撮影条件および表示条件に基づいて、当該表示条件下における被写体の視差を理想視差として設定する。
視差補正ステップでは、検出した現実視差が設定した理想視差に近づくように、立体映像の視差補正を行なう。
これにより、第1の発明と同様の効果を奏する立体撮像方法をコンピュータに実行させるためのプログラムを実現することができる。
また、本発明によれば、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、立体撮像方法およびプログラムを実現することができる。
[第1実施形態]
本実施形態では、2眼方式の立体撮像装置を例に、以下、説明する。
<1.1:立体撮像装置の構成>
図1に、第1実施形態に係る立体撮像装置1000の概略構成図を示す。
立体撮像装置1000は、図1に示すように、第1撮像部100Rおよび第2撮像部100Lと、第1A/D変換部103Rおよび第2A/D変換部103Lと、第1視差付加部111Rおよび第2視差付加部111Lと、第1トリミング部112Rおよび第2トリミング部112Lと、を備える。
なお、説明便宜のため、第1撮像部100Rにより右眼用画像(映像)が撮像され、第2撮像部100Lにより左眼用画像(映像)が撮像されるものとして、以下、説明する。
第1撮像部100Rは、図1に示すように、第1光学系101Rと、第1撮像素子部102Rとを含む。第1撮像部100Rは、被写体からの光を第1光学系101Rにより集光し、集光した光を第1撮像素子部102Rにより第1画像信号(右眼用画像、R画像)として取得する。そして、第1撮像部100Rは、取得した第1画像信号を第1A/D変換部103Rに出力する。
(1)輻輳角制御方式(交差式)
第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。図2(a)は、輻輳角制御方式(交差式)による調整方法を模式的に示した図である。例えば、図2(a)に示すように、第1撮像部100R(第1光学系101R)の光軸と、第2撮像部100L(第2光学系101L)の光軸とが仮想スクリーンVS上で交差するように輻輳角を調整することで、表示時に、輻輳点に位置する被写体を、表示スクリーン上に定位させることができる。
(2)センサシフト式
第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。図2(b)は、センサシフト式による調整方法を模式的に示した図である。例えば、図2(b)に示すように、第1撮像素子部102Rの画角中心軸(直線AA’)(A点は、第1撮像素子部102Rの撮像素子面の中心点)と、第2撮像素子部102Lの画角中心軸(直線BB’)(B点は、第2撮像素子部102Lの撮像素子面の中心点)とが仮想スクリーンVS上(C点)で交差するように輻輳角を調整することで、表示時に、輻輳点(C点)に位置する被写体を、表示スクリーン上に定位させることができる。
第1光学系101Rは、被写体からの光を集光し、第1撮像素子部102Rの撮像素子面に結像させる。第1光学系101Rは、1または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第1光学系101Rでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。
第1撮像素子部102Rは、第1光学系101Rにより集光された被写体からの光を光電変換により第1画像信号として取得(撮像)する。そして、第1撮像素子部102Rは、取得した第1画像信号を第1A/D変換部103Rに出力する。第1撮像素子部102Rは、例えば、CMOSイメージセンサやCCDイメージセンサにより実現される。
また、第2撮像部100Lでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。また、第2撮像部100Lでは、輻輳制御部124からの指示に従い、輻輳制御が実行される。なお、第2撮像部100Lは、第1撮像部100R同様、輻輳制御部124からの指示に従い、輻輳制御が実行されるように、輻輳角を調整することができる機能を有している。
第2撮像素子部102Lは、第2光学系101Lにより集光された被写体からの光を光電変換により第2画像信号として取得(撮像)する。そして、第2撮像素子部102Lは、取得した第2画像信号を第2A/D変換部103Lに出力する。第2撮像素子部102Lは、例えば、CMOSイメージセンサやCCDイメージセンサにより実現される。
第1A/D変換部103Rは、第1撮像部100Rにより取得された第1画像信号(R画像)を入力とし、入力された第1画像信号に対して、A/D変換を行う。そして、第1A/D変換部103Rは、デジタル信号に変換した第1画像信号を、視差検出部104および第1視差付加部111Rに出力する。
視差検出部104は、第1A/D変換部103から出力される第1画像信号(R画像)および第2A/D変換部103Lから出力される第2画像信号(L画像)を入力とする。視差検出部104は、入力されたR画像およびL画像に対して、マッチング処理を実行し、両眼視差量を検出する。そして、視差検出部104は、検出した両眼視差量に関する情報を、最小視差検出部105、最大視差検出部106、および、主被写体視差検出部107に出力する。
最大視差検出部106は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の最遠点の視差、すなわち、最大の視差(最大視差)を検出する。そして、最大視差検出部106は、検出した最大視差に関する情報を制御部110に出力する。
主被写体視差検出部107は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の主被写体の視差(主被写体視差)を検出する。そして、主被写体視差検出部107は、検出した主被写体視差に関する情報を制御部110に出力する。なお、主被写体視差検出部は、制御部110から、どの被写体に合焦しているかについての情報を取得し、当該情報に基づいて、主被写体を特定する。
フォーカス制御部123は、制御部110からの指令に基づき、第1光学系101Rおよび第2光学系101Lのピントを調節する(第1光学系101Rおよび第2光学系101Lに対してフォーカス制御を実行する)。
第1視差付加部111Rは、第1A/D変換部103Rから出力された第1画像信号(R画像)および制御部110により算出された補正視差に関する情報を入力とする。第1視差付加部111Rは、第1画像信号(R画像)に、制御部110により算出された補正視差を付加する。つまり、第1視差付加部111Rは、制御部110により算出された補正視差に相当する分だけR画像を横方向にシフトすることにより視差(補正視差)を付加する。そして、第1視差付加部111Rは、補正視差を付加した第1画像信号(R画像)を第1トリミング部112Rに出力する。
第2視差付加部111Lは、第2A/D変換部103Lから出力された第2画像信号(L画像)および制御部110により算出された補正視差に関する情報を入力とする。第2視差付加部111Lは、第2画像信号(L画像)に、制御部110により算出された補正視差を付加する。つまり、第2視差付加部111Lは、制御部110により算出された補正視差に相当する分だけL画像を横方向にシフトすることにより視差(補正視差)を付加する。そして、第2視差付加部111Lは、補正視差を付加した第2画像信号(L画像)を第2トリミング部112Lに出力する。
第2トリミング部112Lは、第2視差付加部111Lから出力された第2画像信号(L画像)を入力とし、入力されたL画像(第2画像信号)に対してトリミング処理を実行する。そして、第2トリミング部112Lは、トリミング処理を実行したL画像(第2画像信号)を出力する。
表示情報設定部121は、立体撮像装置1000で撮影された立体画像(立体映像)を視聴する表示装置(不図示)の表示条件を設定し、設定した表示条件(表示情報)を制御部110に出力する。
なお、本実施形態では、図1に示すように、立体撮像装置1000により、主被写体である人物900と、遠景である山901と、近景である草花902とを含むシーンを撮影する場合を例として、説明する。
また、「距離情報取得部」は、制御部110によりコントラスト検出方式による距離情報取得処理を実行することにより、その機能が実現される。
「理想視差設定部」は、制御部110により、理想視差(主被写体についての理想視差)を算出し、設定することにより、その機能が実現される。
「現実視差取得部」は、視差検出部104および主被写体視差検出部107により、実現される。
「視差補正部」は、制御部110により、補正視差が算出されることにより、その機能が実現される。
また、「視差補正部」は、第1視差付加部111Rおよび第2視差付加部111Lにより実現される。
<1.2:立体撮像装置の動作>
以上のように構成された立体撮像装置1000の動作について、以下、説明する。
制御部110は、表示情報設定部121および定位情報設定部122に設定された表示情報および定位情報に基づいて、立体撮像装置1000の撮影時のパラメータ(撮影パラメータ)の調整等の各種制御を行う。
撮影者が立体撮像装置1000を被写体に向けると、制御部110は、主被写体900のコントラストが最大になるようにフォーカス制御部123を用いて第1光学系101Rおよび第2光学系101Lに含まれるフォーカスレンズ(不図示)を光軸方向に前後させ、主被写体900にピント(焦点)を合わせる。主被写体900に焦点があった状態(合焦状態)において、制御部110は、第1光学系101Rおよび/または第2光学系101Lの位置情報(焦点距離等)から主被写体900までの距離(被写体距離)Rcを検出する。つまり、制御部110は、コントラスト検出方式により、主被写体900までの距離Rcを検出する。
また、「被写体距離」とは、撮像部の撮像素子(例えば、CCD型イメージセンサやCMOS型イメージセンサ)面上に焦点を結んでいる物体からカメラ(立体撮像装置1000)までの距離をいい、物点距離と、共役距離(物像間距離)を含む概念である。また、「被写体距離」は、立体撮像装置1000から被写体までの概略の距離を含む概念であり、例えば、(1)立体撮像装置1000の光学系のレンズ全体(第1光学系101Rおよび/または第2光学系101L)の重心位置から被写体までの距離、(2)撮像部(第1撮像部100Rおよび/または第2撮像部100L)の撮像素子(第1撮像素子部102Rおよび/または第2撮像素子部102L)の撮像素子面から被写体までの距離、(3)立体撮像装置1000の重心(あるいは中心)から被写体までの距離等を含む概念である。
(1)輻輳角制御方式(交差式)
制御部110は、第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。
(2)センサシフト式
制御部110は、第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。
(3)制御部110は、上記(1)、(2)を組み合わせて、輻輳制御を実行する。
そして、視差検出部104は、撮影シーンを複数のブロックに分割し、各々のブロック毎に、R画像およびL画像から、視差を検出する。
図3は、視差検出部104で実行される視差検出処理を説明するための図である。
視差検出部104は、図3に示すように、撮影シーンを複数のブロックに分割し、ブロック毎にL画像およびR画像のマッチングを取り、当該ブロックの視差を決定する。そして、視差検出部104は、ブロックごとに決定した視差をブロックに対応付けて格納・保持する。つまり、視差検出部104は、図3に示す視差マップメモリ181(撮影シーンの各ブロックの視差を格納することができるメモリ)に対応するブロックの視差値を格納する。ここでは、遠方は正の視差値、近景は負の視差値で表すものとする。なお、視差マップメモリ181は、例えば、立体撮像装置1000の各機能部がアクセスできるメモリ(例えば、RAM)を用いて実現される。
主被写体視差検出部107は、フォーカスを合わせた被写体900を主被写体と判断する(主被写体視差検出部107が制御部110から取得したどの被写体に合焦しているかに関する情報から被写体900を主被写体と判断する)。そして、主被写体視差検出部107は、視差マップメモリ181から、主被写体(被写体900)の位置に対応するブロックの視差値(主被写体視差値)を検出する。
そして、制御部110は、主被写体視差検出部107により検出された主被写体視差値と、無歪み撮影(カメラ性能等に起因する誤差が全くない理想的な撮影)により主被写体が撮像された場合に取得される視差(理想視差)とに基づいて、補正視差を求める。
ここで、図4を用いて、最も自然な奥行き感が考えられる「無歪み撮影」を実現する条件について、説明する。
図4は、無歪み撮影について説明するための図である。
図4(a)は、理想的な精度を持つ立体撮像装置1000を用いた場合の撮影時における撮影要素(左眼用画像の撮像点(第2光学系に対応)、右眼用画像の撮像点(第1光学系101Rに対応)、仮想スクリーン、主被写体)の幾何学的関係(位置関係)を模式的に示す図である。図4(b)は、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)の幾何学関係(位置関係)を模式的に示す図である。
図4の例では、表示情報設定部121に表示側の条件として、(表示)スクリーンサイズW、視聴距離Lが設定されており、定位情報設定部122には、無歪み撮影を表すコードが設定されている。そして、立体撮像装置1000では、制御部110により、無歪み撮影を示すコードが設定されたことを検出した場合、無歪み撮影が実行される。
立体撮像装置1000において無歪み撮影が実行される場合、図4(a)に示すように、輻輳制御部124は、第1撮像部100R(第1光学系101R)の光軸と第2撮像部100L(第2光学系101L)の光軸(図4(a)中の点線)とが距離Lに仮想的に設けた仮想スクリーンVS上(P点)で交差するように輻輳を制御する。このように輻輳制御を行った後、立体撮像装置1000により撮像した場合、撮像された立体画像(R画像およびL画像)において、仮想スクリーンVS上に位置する被写体についての視差はなく、仮想スクリーンVS上に位置する被写体については、L画像およびR画像において同じ画像になる。仮想スクリーンVSより遠い被写体については、第2撮像部100L(左眼用画像取得用の撮像部)による撮影は、第1撮像部100R(右眼用画像取得用の撮像部)の撮影に対して、左にずれた状態で行われる。例えば、図4(a)の場合において、A点に存在する被写体(仮想スクリーンVSより遠い被写体)を撮影する場合、仮想スクリーンVS上において、左方向の視差x1が存在することになる。なお、以下では、この方向(図4の左方向)の視差を「正」とする。
図4(a)の場合、仮想スクリーンVSより遠い距離Rの被写体を撮影し、x1(>0)の視差を得ている。
図4(a)の状態で、立体撮像装置1000により撮影した立体画像(R画像およびL画像)を、図4(b)の状態でディスプレイ(表示スクリーンDS)に表示させた場合、つまり、表示スクリーン上の視差xを撮影時の視差x1と一致させて表示させた場合、図4(a)で二つのカメラと被写体を結ぶ三角形(三角形ABC)と、図4(b)で両眼と被写体像を結ぶ三角形(三角形DEF)は、合同になる。このため、図4(b)の状態で表示させたときに感じる距離感Rxは、撮影時の距離Rと一致する。この関係は、全ての距離にある被写体に関して成立するため、近景から無限遠の遠景まで忠実な距離感で表示できる。すなわち、図4(a)の状態で撮影することで、立体撮像装置1000において、無歪み撮影を行うことができる。
また、無歪み撮影では、主被写体の定位位置は、仮想スクリーンVSをどの位置に設定するかには無関係であり、無歪み撮影により取得した立体画像を所定の視聴環境により表示させることで、主被写体の定位位置までの距離(視点の中点から主被写体までの距離)を、実際の被写体までの距離(撮影時の被写体距離)に一致させることができる。
≪精度の悪い現実的な立体撮像装置での撮影について≫
次に、精度の悪い現実的な立体撮像装置での撮影した場合に発生する視差について、図5を用いて説明する。
図5の例では、距離Rにある被写体の視差は、誤差を含めてx2となる。図5(a)の状態で、立体撮影した立体画像を、図5(b)に示す視聴環境で、表示スクリーンDS上に表示させた場合、すなわち、視差x=x2として、ディスプレイ(表示スクリーンDS)に表示させた場合、図5(b)に示すように、大きな距離感の誤差が発生した立体画像が表示されることになる。つまり、撮影時に、仮想スクリーンVSの後方のA点に存在した被写体が、表示時には、表示スクリーンDSの前方のG点に定位することになり、大きな距離感の誤差が発生した立体画像が表示されることになる。
また、撮影時において、視差の誤差が正方向に発生した場合、表示において、全ての距離の被写体は遠ざかる方向に距離感が歪む。このとき、遠景は、無限遠を超えてしまい、後方発散になる可能性がある。そして、このような後方発散する領域の遠景の被写体は、表示時において、融像できない画像として表示されることになる。
本実施形態の立体撮像装置1000は、上記のように、立体撮像装置1000に現実の誤差に起因して発生する仮想スクリーンVS上の視差の誤差を検出し、補正することで、適切な視差調整を行う。
そして、求められた補正視差が、第1視差付加部111Rおよび第2視差付加部111Lにより、R画像およびL画像に付加される。具体的には、第1視差付加部111Rおよび第2視差付加部111Lでは、補正視差分だけ、R画像およびL画像が水平方向にシフトされる。
補正視差が付加されたR画像およびL画像は、第1トリミング部112Rおよび第2トリミング部112Lにより、立体画像として採用できない部分を削除(立体画像を構成する上で無駄な部分を削除)することで、トリミング処理が実行される。
なお、第1視差付加部111Rおよび第2視差付加部111Lにおいて、補正視差を付加する処理を行わず、例えば、補正視差に関する情報を、所定の画像フォーマット(映像フォーマット)のヘッダ部分に格納して、出力させるようにしてもよい。この場合、補正視差を付加する処理、トリミング処理を省略することができる。
≪視差補正方法の処理フロー≫
次に、本実施形態における視差補正方法について、図6のフローチャートを用いて説明する。
(ステップ401):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ402):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2を取得する。
(1)検出されたブロックに対応する複数の視差の平均値(重付平均値(例えば、中心からの距離により重み付けした平均値)、2乗平均値等を含む)を視差x2とする。
(2)検出されたブロックに対応する複数の視差の中の任意の1ブロックの視差を視差x2とする。
(3)検出されたブロックに対応する複数の視差の中の中心位置の1ブロックの視差を視差x2とする。
(4)検出されたブロックに対応する複数の視差の中のメディアン値をとる視差を視差x2とする。
(ステップ403):
制御部110は、主被写体までの距離Rを用いて、図4(a)を例に説明したように、誤差がないカメラ(立体撮像装置)の場合に、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。具体的には、制御部110は、立体撮像装置1000の表示情報設定部121により設定された表示情報(視聴環境を決定する情報)から、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)を取得する。そして、制御部110は、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)、および、被写体距離Rから、主被写体の理想視差x1を推定(算出)する。
(ステップ404):
制御部110は、ステップ403により「推定した主被写体の視差x1(理想視差x1)」と、ステップ402により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Δxは、立体撮像装置1000の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素に補正視差Δxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
立体撮像装置1000において、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
また、上記視差補正方法を実行することにより、例えば、仮想スクリーン上の被写体の視差は、視差検出部104が検出した視差が補正され視差ゼロになる。
このように、立体撮像装置1000により、上記視差補正方法を実行することで、図4(a)に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
以上のように、立体撮像装置1000では、予め設定された視聴環境(表示条件)と主被写体の被写体距離から主被写体の理想視差x1を推定(算出)するとともに、視差検出部104および主被写体視差検出部107により仮想スクリーン上に実際に生じる主被写体の視差(現実視差)x2を取得する。そして、立体撮像装置1000では、理想視差x1と現実視差x2とから補正視差Δxを求め、求めた補正視差Δxを立体画像に付加する(水平方向にシフトする)ことで、無歪み撮影と等価な立体撮影を実現することができる。
≪第1変形例(主被写体の可変定位演出(自由定位撮影))≫
次に、本実施形態の第1変形例について説明する。
本変形例の立体撮像装置は、上記実施形態のように無歪み撮影を目的とするのではなく、表示時において、主被写体を表示スクリーンの前後に自由に定位させる演出的撮影(自由定位撮影)を行うことを目的としたものである。
図7(a)は、撮影時の状態を模式的に示す図である。図7(b)は、図7(a)の状態で立体撮影された立体画像を表示した時の状態を模式的に示す図である。
なお、本変形例の立体撮像装置の構成は、第1実施形態の立体撮像装置1000と同様である。
本変形例における視差補正方法について、図8のフローチャートを用いて説明する。
(ステップ411):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ412):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
(ステップ413):
制御部110は、演出として主被写体を定位させたい定位位置R3を定位情報設定部122から読み取り、図7(b)に示した幾何学的関係(位置関係)より、誤差がないカメラ(立体撮像装置)で撮影した場合であって、主被写体をR3の距離に定位させるための視差x3(理想視差x3)を次式により算出する。
制御部110は、ステップ413により「所定の位置に主被写体を定位させるための視差x3(理想視差x3)」と、ステップ412により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Δxは、本変形例の立体撮像装置の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
本変形例の立体撮像装置において、上記視差補正方法を実行することにより、主被写体を、立体撮像装置の光学系の精度に影響されず、所望の距離に定位させる立体画像を取得することが出来る。本変形例の立体撮像装置により取得される立体画像は、無歪み撮影により取得される立体画像に比べて、遠景の自然さは低下するが、本変形例の立体撮像装置では、主被写体を所望の位置に定位させる立体画像を取得することができるので、撮影者の意図による自由な演出が可能になる。
また、本変形例の立体撮像装置により取得される立体画像では、主被写体よりも手前の被写体は、大きく手前に近づくため、遠近感が強調され不自然な画像になりがちである。しかし、主被写体よりも前方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部104により作成される視差マップメモリ181中の最近点の視差(最小視差検出部105により取得される最小視差)に応じて、主被写体を前方に定位させる限度(範囲)を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度(範囲)内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を前方に定位させる演出を実現することができる。
また、主被写体の距離Rより定位させる距離R3が大きい場合、即ち、実際の位置よりも主被写体を後方に定位させる場合、本変形例の立体撮像装置により取得される立体画像において、主被写体より後方の被写体は、極端に遠方に遠ざけられ、遠近感が誇張されがちである。さらに、ある距離より遠い被写体は、後方発散(幾何学的には無限遠より遠ざかり、二重像になり立体視できなくなる現象)が起こる。しかし、主被写体よりも後方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部104により作成される視差マップメモリ181中の最遠点の視差(最大視差検出部106により取得される最大視差)に応じて、主被写体を後方に定位させる限度(範囲)を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度(範囲)内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を後方に定位させる演出を実現することができる。
≪第2変形例(2回撮り)≫
次に、本実施形態の第2変形例について説明する。
本変形例の立体撮像装置は、静止画カメラの手持ちによる二回撮りで立体撮影を行うものである。
従来、このような撮影では、縦方向も横方向も極めて大きな誤差の発生が避けられないため、カメラ単独での立体画像作成は難しく、PC(パーソナルコンピュータ)を用いたレタッチソフトなどにより、取得した立体画像を手作業で調整する必要があった。
しかし、立体画像の左右方向のずれについては、本来の両眼視差と誤差とが区別できないため、手作業による調整であっても、左右方向のずれを修正することは困難である。たとえば、立体画像に、山や雲のように無限遠と見なせる遠景があれば、その遠景の被写体を無限遠の被写体であると判断し、その無限遠の被写体を基準にして、手作業で視差を調整することが可能である。しかし、無限遠の被写体が無いシーンでは、たとえ手作業によっても視差を正しく調整することは出来ず、何度も立体表示させながら良好な表示になるよう調整せざるを得ない。
本変形例の立体撮像装置は、主被写体が存在するシーンであればどんなシーンであっても、適切な視差補正を可能にするものである。
図1に示す第1実施形態の立体撮像装置1000は、2つの光学系を有しており、信号処理系も2系統備えた2眼式カメラであるが、本変形例の立体撮像装置1000Aは、単眼のカメラによる2回撮りにより立体画像を取得するものである。
立体撮像装置1000Aは、単眼式の静止画カメラの構成を有しており、二回撮りにより立体撮影を行う。二眼式カメラである第1実施形態の立体撮像装置1000との相違点について説明する。
立体撮像装置1000Aは、輻輳制御部124が無く、画像メモリ部125が追加された構成となっている。
また、立体撮像装置1000Aは、単眼式であるので、1つの撮像部100(光学系101および撮像素子部102)と、1つのA/D変換部103と、を備える。
撮像部100は、第1撮像部R(または第2撮像部100L)と同様のものである。
A/D変換部103は、第1A/D変換部103R(または第2A/D変換部103L)と同様のものである。
画像メモリ部125は、撮像部100により取得され、A/D変換部103によりA/D変換されたR画像またはL画像を、記憶する。そして、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているR画像を視差検出部104および第1視差付加部111Rに出力する。また、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているL画像を視差検出部104および第2視差付加部111Lに出力する。
(ステップ421):
ユーザは、ユーザIF用表示部からの指示に従い、シャッタを半押しし主被写体にフォーカスを合わせる。制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、ピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像上)の概略位置を検出する。
(ステップ422):
次に、ユーザは、そのままシャッタを押し(半押し状態から全押し状態にし)、左眼用画像(L画像)を撮影する。撮影された左眼用画像(L画像)は、画像メモリ部125に格納される。
(ステップ423):
ユーザは、ユーザIF用表示部から指示された距離だけ撮影位置を右に移動させ、立体撮像装置1000Aにより、右眼用画像(R画像)を撮影する。撮影された右眼用画像(R画像)は、画像メモリ部125に格納される。
(ステップ424):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
(ステップ425):
制御部110は、主被写体までの距離Rを用いて、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。
(ステップ426):
制御部110は、ステップ425により「推定した主被写体の視差x1(理想視差x1)」と、ステップ424により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Δxは、立体撮像装置1000Aの光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
立体撮像装置1000Aにおいて、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
さらに、立体撮像装置1000Aでは、主被写体を基準に理想視差x1を求めるので、撮像シーンに主被写体があれば、どんなシーンであっても、上記視差補正方法を実行することで、適切な視差補正を施した立体画像を取得することができる。
したがって、本変形例は、極めて有効な応用例を示すものである。上記では、無歪み撮影を例に説明したが、本変形例はこれに限定されることはなく、例えば、本変形例の立体撮像装置1000Aにより、第1変形例で説明した処理と同様の処理を行うことで、主被写体の演出的な定位を実現する立体撮影を行うことも可能である。
≪第3変形例(単眼式立体カメラへの応用例)≫
次に、本実施形態の第3変形例について説明する。
単眼式立体カメラにより立体撮影を行う従来技術として、単眼レンズの左半分と右半分を実質的に隠して2枚の画像を撮影し、撮影した2枚の画像を立体画像(左眼用画像および右眼用画像)とすることで、比較的狭い基線長(撮影SB)での立体撮影を行う技術がある。
しかし、この単眼式立体カメラにより立体撮影を行う従来技術では、フォーカスを合わせた主被写体が自動的に仮想スクリーン面上に配置されるという特性があり、立体撮影の経験の少ないカメラマンでも簡単に立体撮影ができるという特長をもつが、前述のような無歪み撮影や自由な演出(主被写体を所望の位置に定位させる演出)が出来ないという課題がある。
なお、本変形例の立体撮像装置(上記単眼式立体カメラと同様の光学系および撮像部を有し、それ以外の部分については、立体撮像装置1000と同様の構成の立体撮像装置)の構成図は省略するが、構成要件とその番号は、図1に準ずるものとする。
以下、本変形例に係る立体画像取得方法について、図9、図10を用いて、説明する。
図9は、本変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係(位置関係)を示した図である。
図10は、本変形例に係る立体撮像装置で実行される立体画像取得方法(視差補正方法)の処理フローを示すフローチャートである。
(ステップ431):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離Rを求める。
(ステップ432):
本変形例の立体撮像装置では、主被写体の位置が仮想スクリーンVS上となり、かつ、輻輳点が主被写体の位置と一致する。したがって、フォーカスを合わせた主被写体の視差は、「0」になるので、現実視差x2は、x2=0になる。よって、制御部110は、x2=0に設定する。
(ステップ433):
定位情報設定部122により「無歪み撮影」が指示されているか否かを判定する。
(ステップ434):
定位情報設定部122により「無歪み撮影」が指示されている場合、制御部110は、主被写体の定位位置までの距離R4(左視点と右視点とを含む線分から主被写体の定位位置までの距離R4)をRに設定する、すなわち、R4=Rに設定する。
(ステップ435):
定位情報設定部122により「無歪み撮影」が指示されていない場合、制御部110は、演出として主被写体を定位させたい定位位置までの距離R3を定位情報設定部122から読み取り、R4をR3に設定、すなわち、R4=R3に設定する。
(ステップ436):
制御部110は、本変形例の立体撮像装置において、主被写体をR4の距離に定位させるための視差x4を次式で決定する。
(自由定位撮影の場合:R4=R3)
(ステップ434):
制御部110は、次式により、補正視差Δxを算出する。
Δx=x4−x2=x4
により、視差の補正量Δxは、「主被写体をR4の距離に定位させるための視差x4」と一致する。
(ステップ435):
Δxは、本変形例の立体撮像装置(単眼式立体カメラ)の原理的な定位との視差の差であるため、主被写体だけでなく全ての被写体に対して同じ視差補正が必要である。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、本変形例の立体撮像装置の撮像部により撮像した立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
さらに、本変形例の立体撮像装置では、R4=R3とすることで、自由定位撮影(主被写体位置を所望の位置に定位させる立体画像を取得する立体撮影)を行った場合と同様の立体画像を取得することができる。
以上のように、本変形例を、単眼式立体カメラに応用することで、無歪み撮影や主被写体の自由な定位などの演出が自由にできる。
したがって、本実施形態および本実施形態の変形例で説明した輻輳制御を、それと等価な電気的処理により実現してもよい。例えば、
(1)輻輳制御に相当する処理を、物理的な輻輳は付けずに電気的な視差を付加することで行う。
(2)輻輳制御に相当する処理を、固定の輻輳を用い(輻輳角を固定し)、輻輳制御部124が行う輻輳制御と等価な電気的処理(電気的に視差を付加する処理)に実現する。
また、第1視差付加部111Rおよび第2視差付加部111Lによる視差の付加は、左画像(L画像)および右画像(R画像)のどちらか一方に対してのみ行ってもよいし、左画像(L画像)および右画像(R画像)の両方に任意のバランスで視差を付加することで実現させてもよい。ただし、この場合、左画像(L画像)と右画像(R画像)とでは付加する視差の極性を反転させる必要がある。
なお、光学系の精度不足によるずれや2回撮り技法によるずれは、縦方向のずれ、横方向のずれ、回転方向のずれなどが含まれるが、縦方向のずれ、回転方向のずれなどは、マッチング技術により必要な精度で、ずれを検出し補正することが可能である。したがって、本発明の立体撮像装置においてもマッチング技術により、縦方向のずれ、回転方向のずれなどを検出・補正するようにしてもよい。なお、横方向のずれについては、本来視差としてのずれに重畳されたずれであるため、通常のマッチング処理では、視差なのか、横方向のずれなのかの判別が付かず、適切に横方向のずれを検出・補正することはできない。
また、本実施形態および本実施形態の変形例では、説明を簡単にするため、撮影SB(基線長)を人間の両眼間隔に一致している例について説明した。しかし、本発明は、それに限るものではない。図4を例に取ると、撮影ステレオベースが両眼より狭い場合には、同じ比率で仮想スクリーンを近づけるように輻輳を設定することにより、前述の三角形(例えば、図4(a)の三角形ABC)を相似形にすることができる。したがって、この状態で、本発明の立体撮像装置により立体撮影を行うことで、やはり無歪み撮影を実現させることができる。この場合、主被写体を上記比率(上記三角形の相似比に相当)の逆数で遠ざけた演出が可能である。すなわち、撮影SBが小さくなれば、仮想スクリーンが同じ比率(撮影SBの縮小比率)で近づき、撮影SBが大きくなれば、仮想スクリーンが同じ比率(撮影SBの拡大比率)で遠ざかることを考慮することで、本発明の立体撮像装置により、遠近演出(主被写体を遠ざけたり近づけたりする演出)を実現させることができる。
また、ズーム倍率が可変出来る立体撮像装置を用いる場合、ズーム倍率を考慮して、無歪み撮影や演出(自由定位撮影)を行うことができる。
図4、図5、図7の説明では、説明を簡単にするため、撮影SBが両眼間隔に一致し、かつ、ズームも用いない場合について説明したが、これに限定されることはなく、撮影SBが両眼間隔に一致しない場合や、ズームを用いる場合においても、撮影SBおよび/またはズームに関する撮影パラメータを考慮することで、本発明の立体撮像装置による立体撮影を実行できることは言うまでもない。
[第2実施形態]
第2実施形態について、図面を参照しながら、説明する。
第2実施形態では、撮影時に、立体撮像装置により撮影するシーンが、人間が立体視可能にできるかどうかを判定し調整する装置、方法について、説明する。
図13に示すように、本実施形態の立体撮像装置2000の基本構成は、第1実施形態の立体撮像装置1000と同様であり、本実施形態の立体撮像装置2000では、制御部110により実行される処理が、第1実施形態と異なる。
なお、本実施形態において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
(2.1:立体視可能条件(融像可能条件))
一般に、視差の絶対値が大きいときに融像しにくいことが知られている。このことは「パナムの融合域」と呼ばれており、「パナムの融合域」により、輻輳を合わせた距離(輻輳点までの距離)の前後の物体に対して、視差角を基準として融像出来る限界(範囲)を決めることができるとされている。視差角は、正の角度が手前側、負の角度が奥側であり、一般に、人間が立体画像(立体映像)を見たときに融像できる範囲は、視差角が、輻輳点の視差角(輻輳角)±1度程度となる領域(範囲)であると言われている。
これについて、図18を用いて詳しく説明する。
図18は、前述の図3と同じシーンをディスプレイに表示したときの視差角について説明するための図である。
角度αsは、輻輳角であり、図18では、両眼の光軸が仮想スクリーンVS上で交差している状態を示している。このとき、仮想スクリーンVSと同じ距離にある物体(仮想スクリーンVS上に位置する物体)は、左右の視差が「0」になるため、このような物体(被写体)を撮像した立体画像を見たとき、当該物体(被写体)は、2重像にならず左右の画像が重なることになり(表示スクリーン上に定位することになり)、視聴時には、当該物体(被写体)は、表示スクリーン上にあるように見える。なお、図18において、最遠点である山は、視差角αf(αf<αs)であり、最近点である草花は、αn(αn>αs)であるとする。
このように、立体視出来るかどうかは、立体撮影した立体画像をディスプレイ(表示スクリーン)に表示したときにはじめて決定されるものである。表示時には、上記従来の手法を用いて立体視の可否を判定することができるが、これを撮影時に、正確に推定することは困難である。
図14は、図4のように、撮影時の撮影要素(被写体、仮想スクリーン、左右視点(撮像点))と表示時の表示要素(被写体、表示スクリーン、左右視点)との間に完全な幾何学的合同関係のある無歪み撮影の場合に限った条件ではなく、より一般的に、歪みを伴う場合を含んだ撮影時の撮影要素と表示時の表示要素との間の幾何学条件を説明するための図である。
この視差x1は、
x1=L1・(α1−β1)
により求められる。
なお、上記は、近似解である。つまり、厳密には、
x1=2・L1・(tan(α1/2)−tan(β1/2))
であるが、α1およびβ1は、微小であるので、
tan(α1)=α1
tan(β1)=β1
と近似することができる。したがって、視差x1は、
x1=L1・(α1−β1)
と近似により求めることができる。
x2=L2・(α2−β2)
により算出される。
また、仮想スクリーンVSのサイズW1と表示スクリーンDSのサイズDSとが異なる場合、表示される視差も両スクリーンサイズの比率で変化する。すなわち、視差x2は、
x2=W2/W1・x1
となる。
以上より、表示時に融像出来るかどうかを定める相対視差角(α2−β2)は、
(α2−β2)=(W2/W1)・(L1/L2)・(α1−β1)
となる。
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)
となる。
さらに、図示していないが、表示時に画像のシフトによる視差調整を行った場合、視差調整量を角度Δαで表すと、相対視差角(α2−β2)は、
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)−Δα
となる。
したがって、現実の撮影時の状態と表示時の状態との間には、多くの撮影パラメータ、表示パラメータ、調整パラメータが介在することが分かる。
この融像範囲(相対視差角が±0.5度の範囲、または、±1度の範囲)をδとすると、
|α2−β2|<δ
|z・(W2/W1)・(L1/L2)・(α1−β1)−Δα|<δ
したがって、
(2.2:撮影時の立体視可否判定処理)
以上に基づいて、本実施形態の立体撮像装置2000により実行される撮影時の立体視可否判定処理について、説明する。
図15は、撮影時の立体視可否判定処理について説明するためのフローチャート図である。
(S101〜S104):
立体撮像装置2000において、第1実施形態と同様の処理により、補正視差Δxを算出する。
(S201):
最小視差検出部105は、視差検出部104により作成された視差マップメモリ181から最小視差x2_nearを検出する。なお、この最小視差x2_nearが最近点の視差に対応する。
また、最大視差検出部106は、視差検出部104により作成された視差マップメモリ181から最大視差x2_farを検出する。なお、この最大視差x2_farが最遠点の視差に対応する。
制御部110は、S201で算出された最大視差x2_farおよび最小視差x2_neaから、最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearを下式により、算出する。
x3_far=x2_far+Δx
x3_near=x2_near+Δx
(S203):
制御部110は、S202で算出した最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearから、撮影時の最遠点の視差角β1_farおよび撮影時の最遠点の視差角β1_nearを算出する。
(S204):
立体撮像装置2000において、立体撮影可否判定処理を実行する。
次に、図16のフローチャートを用いて、立体撮像装置2000における撮影時の立体視可否判定処理について、説明する。
(S205):
制御部110は、S203で算出した最遠点の視差角β1_farおよび最遠点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する。
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たさない場合(ケース1の場合)、視差調整により、最遠点および最近点を、立体視可能範囲(範囲δ)に入れることはできないと判断し、立体撮像装置2000の画角調整等の撮影パラメータ調整処理を行い、例えば、ズーム倍率zや撮影SBを変更する。
(S207〜S209):
S206で画角調整(撮影パラメータ調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最遠点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S207)。
S207での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S208)。
(S210):
S205の判定の結果、最遠点については、上記(数式7)の条件を満たさないが、最近点については、上記(数式7)の条件を満たす場合(ケース2の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)に入れる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内となる視差調整量Δα1を算出する。
そして、その算出した視差調整量Δα1により、視差調整を行う(最遠点および最近点について、当該視差調整量Δα1分ずらす)。
(S211〜S215):
S210で算出したΔα1に相当する視差をずらした場合、最近点が依然として、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S211)。
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S212)。
そして、S212の撮影パラメータ調整処理を実行した後、S207と同様に、S212で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最遠点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S213)。
S213での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S214)。
(S216):
S205の判定の結果、最近点については、上記(数式7)の条件を満たさないが、最遠点については、上記(数式7)の条件を満たす場合(ケース3の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)内の限界(境界)点に移動させる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内の限界(境界)点となる視差調整量Δα1を算出する。
そして、その算出した視差調整量Δα1により、視差調整を行う(最遠点および最近点について、当該視差調整量Δα1分ずらす)。
S216で算出したΔα1に相当する視差をずらした場合、最近点が、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S217)。
そして、その判定の結果、最近点が、立体視可能範囲(範囲δ)内である場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S220)。
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S218)。
そして、S218の撮影パラメータ調整処理を実行した後、S207と同様に、S218で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最近点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S219)。
一方、S219での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S221)。
なお、ケース3の場合、立体撮像装置2000において、上記のように、まず、最遠点を融合域内の限界(境界)点となるように視差調整し、その後、最近点についての調整を行うのは、最遠点が融合域内となることを、優先的に、確保(保証)するためである。言い換えれば、立体撮像装置2000において、最遠点が融合域内となるようにした状態で、撮影パラメータを調整することにより、最近点も融合域内となるように処理を行うことは、比較的容易であるが、撮影パラメータの調整のみで、融合域外の最遠点を融合域内に入れるように調整することは難しい。したがって、立体撮像装置2000では、上記のように、処理を行う。
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たす場合(ケース4の場合)、制御部110は、「撮影OK」の判定を行い、処理を終了する(S222)。
以上により、立体撮像装置2000では、上記(数式7)に基づいて、撮影時に、立体視可否判定処理を行うことができる。
なお、上記(数式7)から、立体撮像装置2000により撮像できる被写体の範囲は、以下の特性を有することが分かる。
(1)撮像できる被写体の範囲は、ズーム倍率に反比例する(拡大すると撮影できる範囲が狭くなる)。
(2)撮像できる被写体の範囲は、スクリーンサイズ比に反比例する(小さいスクリーンで見るときは広くなる)。なお、想定スクリーンサイズを大きく設定することと、小さなスクリーンで立体画像を見ることとは等価の関係にある。
(3)撮像できる被写体の範囲は、視聴距離に比例する(離れてみると広くなる)。なお、想定視聴距離を近くに設定することと、想定視聴距離より離れて立体画像をみることとは等価の関係にある。
(4)撮像できる被写体の範囲は、視差調整で正の視差をあたえると、遠景の範囲が広くなり、近景の範囲が狭くなる。
(1)ズーム倍率、
(2)想定スクリーンと実スクリーンのサイズ、
(3)想定視聴距離と実視聴距離、
(4)視差調整量、
に応じて、融像出来る被写体の距離が変わるため、これらの関係を用いることにより、立体撮像装置2000において、撮影時に予め、見やすいシーンか見にくいシーンかの判定が可能になる。
このように、本実施形態の判定法(立体視可否判定処理)を用いることで、表示した時に被写体の遠景や近景が立体視できるかどうかを、撮影時に知ることができる。したがって、本実施形態の立体撮像装置2000により、撮影時に、立体視可否判定処理を行うことで、立体視できないような失敗撮影を事前に無くすことができる。
また、最遠点や最近点あるいは両方が融像出来ないときは、カメラのユーザーインタフェースを用いてアラートを出し、撮影者に撮影シーンの再検討を促すことにより、失敗撮影を回避することが可能である。
また、視差の方向として、いずれの方向を正と表現するかは、自由であり、上記実施形態において設定した正方向と逆の場合であっても、本発明を適用することができることは、言うまでもない。なお、視差の方向を、上記実施形態において設定した正方向と逆にする場合、上記実施形態(本明細書および図面)の表現(あるいは図示)について、正と負を逆にして読み替えればよい。
次に、本実施形態に係る第1変形例について、説明する。
第1変形例に係る立体撮像装置では、より高精度な立体視可否判定(高精度立体視可否判定)処理を実行する。なお、第1変形例に係る立体撮像装置の構成は、第2実施形態の立体撮像装置2000の構成と同様である。
上記で説明した技術により、撮影時に立体視可能か否かを判定することが可能になった。しかし、本願発明者らは、さらに、撮影時の立体視可否判定の精度を上げることを目的として、多数のシーンによる立体撮影・表示を行い、多くの被験者による評価実験を行った結果、上記条件だけでは判断できないシーンを多々発見し、立体視の判定基準は、最遠点と最近点に対する視差だけで決まるのではないことを発見した。
これに基づく、本変形例の立体撮像装置での処理について、以下、説明する。
(2.3.1:被写体の2次元画面上での距離を考慮した高精度立体視可否判定)
奥行きが前後に異なる被写体の2次元の画面(仮想スクリーンあるいは表示スクリーン)上での距離を考慮した撮影時の立体視可否判定についての条件は、以下の(1)、(2)の評価結果から見出した。
(1)遠景と近景が画面上で離れた位置にある場合には、遠景と近景の視差の差が比較的大きくても見やすい(立体視しやすい)ことが多い。
(2)逆に、遠景と中景、や中景と近景のように視差の差が比較的小さくても、それらが画面上で近い位置にある場合には、融像が難しくなる(立体視が困難になる)ことが多い。
そこで、本変形例の立体撮像装置では、2次元画面(仮想スクリーンあるいは表示スクリーン)上での2つの被写体の視差角α1、α2と、その2つの被写体の2次元画面中での距離hとを変数とする関数f(α1,α2,h)により、視覚に合わせた(人間の視覚特性を考慮した)補正視差角γを求め、その補正視差角γに基づいて、撮影シーンの被写体が融合域に入るかどうかを判定する。
f(α1,α2,h)=g(h)*|α1−α2|
g(h)は、hの絶対値が「0」に近いほど大きな値をとる単調減少関数である。
なお、関数g(h)は、所定の値th1から所定の値th2まで単調減少する関数であってもよい(つまり、th1>g(h)>th2)。また、関数g(h)は、表示画面サイズ(表示スクリーンサイズ)や視聴距離等により、変化するものであってもよい。
上記評価値(関数fの値)が、融像限界δに対して、
f(α1,α2,h)<δ
であれば、この2つの被写体(視差角α1の被写体と視差角α2の被写体)については、融像でき立体視できると判定することができる。
≪高精度立体視可否判定処理の処理フロー≫
次に、本変形例の立体撮像装置により実行される高精度立体視可否判定処理について、図17のフローチャートを用いて、説明する。この高精度立体視可否判定処理は、上記関数fを用いて、撮影時に、撮影シーンが融像可能(立体視可能)か否かを判定する処理である。
(S501):
制御部110は、視差マップメモリ181から、異なる2つのブロック(視差マップメモリ181の構成するブロック。図3のBK1やBK2がこれに相当。)を選択する。
(S502):
制御部110は、S501で選んだ2つのブロックの視差を、視差マップメモリ181から求め、所定の条件を用いて、当該2つのブロックの視差を、それぞれ、視差角α1,α2に変換する。なお、「所定の条件」とは、撮影時の撮影要素(被写体位置、仮想スクリーンのサイズおよび位置、SB、右眼画像用撮像点、左眼画像用撮像点)や、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)や、撮影パラメータ(画角、ズーム倍率、撮影SB等)により決定される条件である。そして、視差角α1、α2は、上記条件により視差補正された視差角であってもよい。
(S503):
選んだ2つのブロック間の2次元画面上の距離hを求める。なお、距離hは、視差マップメモリ181上のブロック間の距離により求め、例えば、隣接ブロックの場合は、h=1とする。
(S504):
選んだ2つのブロックに関する補正視差角f(α1,α2,h)を算出する。
(S505):
制御部110は、S504で算出した補正視差角f(α1,α2,h)の値(この値をf0とする)と、fの最大値として保持されているfmaxとを比較し、
f_max<f0であれば、fmax=f0とし、
f_max≧f0であれば、そのまま、fmaxを保持する。
(S506):
制御部110は、全てのブロックの組み合わせについて、上記処理が終了したか否かを判定する。そして、判定の結果、全てのブロックの組み合わせについて終了していなければ、ステップS501に戻り、全てのブロックの組み合わせについて終了していれば、ステップS507に進む。
(S507):
制御部110は、fmaxとδを比較し、
fmax<δ
であれば、本変形例の立体撮像装置により立体撮影しようとしているシーンが、立体視可能であると判断する。
また、補正視差角を求める関数は、上記の関数に限られるものではなく、例えば、定性的に視差の差が大きいほど大きな値を出力し、および/または、2次元画面上の距離が大きいほど小さな値を出力する関数であれば、上記で示した関数以外の関数であってもよい。また、補正視差角を求める関数は、完全に単調関数でなくてもよく、所定の範囲において、一定値をとるものであってもよい。
(2.3.2:画面サイズと視聴距離を考慮した高精度立体視可否判定)
本願発明者らは、立体視する場合において、立体画像(立体映像)の見やすさに影響を与える要素として、上記以外に、ディスプレイのサイズと、視聴距離によるものがあることを見出した。
これについて、図18を用いて、説明する。
例えば、図18の場合において、人間が、人物900を注視し輻輳(輻輳点)を人物900に合わせて見た(立体視した)場合について考える。この場合、山901の融像の条件は、|αf−αs|<δから|αf−αc|<δに変わるため、山901は見やすくなる(立体視しやすくなる)ことになる。
したがって、この場合、現実の融像範囲は、その分だけ広いと言える。
人間は、眼球のレンズ(水晶体)の厚みを毛様体筋の収縮により変化させてピントを調節する。この際、ピント調節に要する収縮の変化幅は近距離の物体を見るときは大きく、遠距離の物体を見るときは小さいため、ピント調節による距離感を強く感じるのは、近距離の物体を見るときであり、遠距離の物体を見るとき、人間は、ピント調節によって距離を認識できない。
逆に、遠距離で見る大サイズのディスプレイでは、ピントによるスクリーンの距離感が希薄であるため、輻輳(輻輳点)は、スクリーン面に固定されず、前後に動きやすいことになる。
したがって、画面サイズが小さいディスプレイ(表示スクリーン)または近距離で見る視聴条件の場合は、相対的に融像条件を厳しく設定し、画面サイズが大きいディスプレイ(表示スクリーン)または遠距離で見る視聴条件の場合は、相対的に融像条件を広く(緩く)設定することが可能である。
また、上記の他にも以下のような場合に、融像条件を緩める(広げる)ことが可能である。
(1)最遠点や最近点の被写体がスクリーン上で占める面積が小面積である場合。
(2)最遠点や最近点の被写体が画面(スクリーン)の端にある場合。
(3)最遠点や最近点の被写体のピントがはずれてぼけている場合。
なお、融像範囲を調整するための方法として、例えば、以下のような方法がある。
(1)立体画像(立体映像)を構成する右眼用画像および/または左眼用画像を電気的にシフトさせることで視差を調整することで、融像範囲を調整する。
(2)立体撮像装置の撮影SBの調整(縮める調整)を行うことで、融像範囲の調整をする。
(3)2回撮りにより立体画像(立体映像)を取得する場合、2回撮りを実行する際の立体撮像装置の移動量を調整する。
(4)立体画像(映像)において、オブジェクト(被写体)のデプス(Depth、奥行き情報)を作成(算出あるいは推定)し、電気的に撮影SBの調整を行う。
(2.3.3:視差ヒストグラムを用いた処理)
なお、立体視可否判定を行うために、上記のように融像範囲δの大きさを変化させる方法(融像条件を緩和させる方法)以外に、視差ヒストグラムを用いた方法を採用してもよい。視差ヒストグラムを用いた撮影時の立体視可否判定処理について、以下、説明する。
まず、図19に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図19に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、図19に示す所定の度数A以下の遠景および近景を除外し、立体視可否判定処理の対象領域AR1を近景B2から遠景C2の領域に設定する。
そして、制御部110は、設定した立体視可否判定処理の対象領域AR1(B2〜C2の領域)を、立体可能領域(例えば、図19に示す立体可能領域AR0)と比較し、撮影しようとしているシーンが、立体視可能か否かを判定する。つまり、対象領域AR1が立体視可能領域AR0に含まれていれば、立体視可能と判定する。なお、図19の場合、立体可能領域AR0は、仮想スクリーン位置を中心とした対称領域(遠景側の領域の大きさと近景側の領域の大きさが等しい領域)である。
次に、図20に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図20に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、図20に示す所定の度数TH以下の遠景および近景を除外し、立体視可否判定処理の対象領域AR2を近景B2から遠景C2の領域に設定する。
そして、制御部110は、図20に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域AR2の遠景側の限界点C2を基準とした領域AN1に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域AR0を、対象領域AR2の遠景側の限界点C2を基準とした領域AN1にシフトさせる。このようにして、制御部110は、立体視可否判定処理に使用する立体視可能領域AN1を設定する。
≪図21の場合(遠景THと近景THとが異なる場合(その1))≫
次に、図21に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図21に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、
(1)遠景側において、図21に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図21に示す所定の度数TH_near以下の近景を除外する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
制御部110は、図21に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域AR3の遠景側の限界点C2を基準とした領域AN2に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域AR0を、対象領域AR3の遠景側の限界点C2を基準とした領域AN2にシフトさせる。このようにして、制御部110は、立体視可否判定処理に使用する立体視可能領域AN2を設定する。
≪図22の場合(遠景THと近景THとが異なる場合(その2))≫
次に、図22に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図22に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、
(1)遠景側において、図22に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図21に示す所定の度数TH_near以下の近景を除外する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
また、制御部110は、立体視可否判定処理に用いる立体視可能領域を以下のようにして、求める。
(1)所定の度数TH0(>TH_far)を設定する。
(2)視差ヒストグラムにおいて、その度数が、遠景側から近景側へ向かってトレースしたときに最初に度数TH0を超える点(図22のC3点がこれに相当)を求める。
(3)(2)で求めたC3点を基準として、立体視可能領域AN3を設定する。なお、立体視可能領域AN3は、例えば、仮想スクリーンを中心として設定される立体視可能領域AR0を、C3点を基準としてシフトさせた領域である。
≪図23の場合(クラスタリング処理を行う場合)≫
次に、図23に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181を構成する各ブロック(このブロックは、例えば、8×8画素から構成されるブロックであるが、単独画素から構成されるものであってもよい。)に対して、クラスタリング処理を行う。これにより、例えば、図1.4(a)に示すようにクラスタリングされたとする。なお、図1.4(a)では、クラスタCL1〜CL6を模式的に示している。
そして、制御部110は、上記で説明したのと同様の処理により立体視可否判定処理を行う。例えば、図23に示すように、制御部110は、視差ヒストグラムにおいて、遠景側から近景側にトレースしたときに、はじめてしきい値TH_farを超えるC4点を基準として立体視可能領域AN4を設定する。そして、制御部110は、立体視可能領域AN4と立体視可否判定の対象領域AR5とを比較し、立体視可否判定を行う。
なお、本変形例の立体撮像装置において、上記クラスタリング処理の後、重み付けを行い、立体視可否判定を行うようにしてもよい。これについて、説明する。
Weight(x,y,z)=Cent(x)・Size(y)・Blur(z)
Cent(x):クラスタの位置が、視差マップメモリ181上の中心位置(視差マップメモリ181の各ブロックにより構成される2次元画像(画面)の中心位置)から近い程、大きな値となる関数。なお、xは、例えば、クラスタの2次元画面上の位置を示す2次元ベクトルである。なお、Cent(x)=1として、クラスタ位置による重み付けをしないようにしてもよい。
Size(y):クラスタの、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上の面積が大きい程、大きな値となる関数。なお、yは、例えば、クラスタの、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上の面積である。また、Size(y)=1として、クラスタの面積による重み付けをしないようにしてもよい。
制御部110は、上記のような重み付け関数Weight(x,y,z)を用いて、重み付け後の視差ヒストグラムを生成する。
例えば、図23(a)に示したクラスタCL1が遠景のクラスタであり、その視差の範囲が図23(b)のC4〜C5であり、その度数がH(CL1)であるとき、制御部110は、クラスタCL1について、重み付け関数Weight(x,y,z)の値を求める(これをWeight(CL1)とする)。そして、制御部110は、クラスタCL1の重み付け後の度数HA(CL1)を、
HA(CL1)=Weight(CL1)・H(CL1)
として求め、重み付け後の度数HA(CL1)により視差ヒストグラムを生成する。
このようにして、重み付けして生成された視差ヒストグラムの一例を、図23(c)に示す。
図23(b)に示す視差ヒストグラムでは、C4点を基準にして、立体視可能領域AN4および立体視可否判定処理の対象領域AR5が設定されている。
図23(a)に示すように、クラスタCL1は、遠景領域のクラスタであり、視差マップメモリ181の各ブロックにより構成される2次元画像(画面)上に占める面積は大きくないが、その位置が中心付近であるため、立体視可否判定処理において、重要である。したがって、クラスタCL1のWeight(CL1)の値は大きな値となり、
HA(CL1)=Weight(CL1)・H(CL1)
の値も大きな値となる。
これにより、本変形例の立体撮像装置では、CL1のような画面中心付近に存在する小さい面積の遠景部分の影響を考慮した立体視可否判定処理を行うことができる。
なお、上記は一例であり、上記に限定されないことは言うまでもない。
また、クラスタの占める面積、クラスタのボケ程度に関しても、上記と同様の処理を行うことで、本変形例の立体撮像装置において、クラスタの占める面積、クラスタのボケ程度を考慮した、より適切な立体視可否判定処理を行うことができる。
次に、第3実施形態について、説明する。
第3実施形態では、撮影すべきシーンが、人間が立体視できないシーンに対しするカメラのアシスト機能に関する。
第2実施形態およびその変形例では、人間の視覚が感じる見やすさに近い判定基準で見やすさ(立体視のしやすさ)を判定できるようにする立体撮像装置および立体視可否判定方法について説明した。前述の実施形態の立体撮像装置を用いることで、遠景が見にくいときには視差調節あるいは輻輳の調節により遠景を近づけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる、また、近景が見にくいときには視差調節あるいは輻輳の調節により近景を遠ざけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる。
本実施形態では、遠景と近景が両方とも融像出来ない場合に、撮影条件を変更して見やすい撮影ができるように、撮影者に対してアシストする機能に関するものである。
図24は、本実施形態の原理を説明する図である。
図24(a)は、撮影シーンの位置関係(撮影時の撮影パラメータの位置関係)を表している。最遠点は、距離Rfにある山901であり、最近点は距離Rnにある草花902である。また、このシーンでの主被写体は、距離Rcにいる人物900である。図24(a)のカメラ(立体撮像装置)で撮影する際の視差角は、山901がαf、草花902がαn、人物900がαcとする。
|αn−αf|<2δx
を満たしていれば、適切な視差調整により遠景と近景の両方を見やすい融像域に入れることが可能である。しかし、上記を満たしていなければ、如何に視差調整をしようとも双方(遠景および近景)を融像させることは困難である。
本実施形態の立体撮像装置では、このように遠景と近景の融像が両立しないことを撮影直前に前述の実施形態の技術により検出し、撮影者に対して、後方に下がって撮影するようにアシストする。
図25に、本実施形態の立体撮像装置3000の概略構成を示す。
なお、アシストの方法は、制御部110が警告部126を制御し、警告部126が撮影者に対して警告を出すことにより実現される。例えば、警告部126は、ディスプレイ表示を行う機能部や音声ガイドを行う機能部であり、警告部126により、ディスプレイ表示や音声ガイド等を行うことで、立体撮像装置3000において、アシスト機能を実行させる。このアシストの方法として、例えば、以下の方法がある。
(1)何処まで下がればよいかを伝える方法(現在の立体撮像装置の位置から、被写体から遠ざかる方向に立体撮像装置を移動させるべき距離(遠ざかるべき距離)を指示する方法)。
(2)撮影者がカメラ(立体撮像装置)を構え、仮撮影をしながら後方にさがり、立体撮像装置が、撮影画像から遠景と近景の融像が両立することを判断して、その判断結果を撮影者に伝えることで、カメラ位置(立体撮像装置の位置)を決める方法。
図24(b)は、カメラ位置(立体撮像装置の位置)をΔRだけ後方に下げた状況を図示している。この場合の視差角は、山901がαf‘、草花902がαn’、人物900がαc‘である。
ここで、遠景の視差角はほとんど変化しない、即ち、αf−αf‘≒0にかかわらず、近景の視差角は大きく減少する。
|αn‘−αf’|<2δx
を満たせば、遠景と近景の融像が両立できることになる。
また、本実施形態では、後方に下がって撮影することにより遠景と近景がともに見やすくなる立体画像(立体映像)が取得できる代わりに、被写体に対するパースペクティブは、次のように変化する。すなわち、近景の草花902は小さくなり、中景の人物900は、少し小さくなり、遠景の山901は、ほとんど変化しない。
通常、この変化が問題になるのは、主被写体である人物900が望む大きさよりも小さく撮影される場合であり、近景や遠景の大きさ変化はあまり問題にならない。
そこで、本実施形態の立体撮像装置では、主被写体の大きさ変化を抑えるため、後方に下がるのと連動するズーム処理を行う。
したがって、本実施形態の立体撮像装置では、後方に下がったことによる影響を補償するために、ズーム倍率を(Rc+ΔR)/Rc倍にする。つまり、本実施形態の立体撮像装置では、焦点距離を伸ばすことにより、主被写体の大きさが変化しないように制御する。
その結果、本実施形態の立体撮像装置で取得される立体画像(立体映像)において、遠景は大きい目、近景は小さい目になるが、主被写体が所望の大きさになれば多くのシーンでは良好な撮影(立体撮影)ができることになる。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
また、主被写体が人物であることをカメラ(立体撮像装置)が標準的に搭載する顔検出機能により認識し、主被写体が人物である場合、本変形例の立体撮像装置において、上記動作を行うと良い。
≪第2変形例≫
次に、本実施形態の第2変形例について説明する。
遠景と近景の融像が両立しないが、その際、近景の被写体が画面上の端(スクリーンの枠の近く)に位置している場合、その被写体は撮影シーンの中で重要度が低い場合が多い。
したがって、前述のように撮影者が後方に下がるのではなく、撮影者が撮影位置を少し横に移動することにより、重要でない近景を撮影範囲外に追い出すことが可能である。
本変形例の立体撮像装置では、上記判断基準により近景の重要度が低いと判断した場合に、撮影者に対して、近景を撮影範囲から外すように横に移動して撮影するように、表示や音声でアシストする。
[他の実施形態]
なお、上記実施形態で説明した立体撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blue−ray Disc)、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
100R 第1撮像部
100L 第2撮像部
101R 第1光学系
101L 第2光学系
102R 第1撮像素子部
102L 第2撮像素子部
104 視差検出部
105 最小視差検出部
106 最大視差検出部
107 主被写体視差検出部
110 制御部
111R 第1視差付加部
111L 第2視差付加部
112R 第1トリミング部
112L 第2トリミング部
121 表示情報設定部
122 定位情報設定部
123 フォーカス制御部
124 輻輳制御部
181 視差マップメモリ
これらの立体撮像装置は、光学系の数やイメージセンサの数に関して多様な構成のものがあり、また、立体撮像装置は、撮像方式に関しても、並列方式や時分割方式(フレームシーケンシャル方式)など様々な撮像方式を採用している。一般的には、2つの光学系(右眼用の光学系および左眼用の光学系)を有する2眼式の構成の立体撮像装置(2眼式立体画像撮像装置)が用いられることが多い。このような2眼式立体撮像装置には、2つの光学系の光軸の交差角(以下、「輻輳角」という。)等に代表される立体撮像パラメータを可変できるものもある。
上記撮像装置により立体撮影・表示を行う技術として、平行法および交差法と呼ばれる撮像手法が知られている。
平行法は、2台のカメラを左右に配置し、その2台のカメラの光軸が平行となる状態で、立体画像(立体映像)を撮影する技術である。平行法では、撮影の際、撮影SBを人の両眼間隔に相当する間隔(約6.5cm)に設定して撮影を行い、表示の際、撮像した立体画像(左眼用画像および右眼用画像)を撮影SB分だけ電気的にずらしてスクリーン上(表示装置の表示画面上)に表示させる。これにより、平行法では、撮影時にカメラの位置で直接見た画像と同じ画像をスクリーン上(表示装置の表示画面上)に表示させることができ、さらに、平行法による立体画像では、被写体までの距離・被写体の大きさなどがそのまま表示装置を用いて再現される。つまり、平行法による立体撮影を行うことで、いわゆる「無歪み撮影」を実現させることができる。
立体撮影・表示技術では、幾何学的条件により、立体撮影された画像(映像)を立体表示した場合、自然な奥行き感が得られないことがある。これは、幾何学的条件により、奥行き領域(仮想スクリーン(表示スクリーン)より奥の領域)が過剰に(不自然に)圧縮された状態で表示されたり、奥行き領域が過剰に(不自然に)広がった状態で表示されたり、後方発散し融像できない状態で表示されたりすることに起因する。
(A)撮影時
(A1)輻輳角、(A2)レンズの画角(ズーム)、(A3)撮影SB、(A4)焦点距離などの撮影パラメータ。
(B)表示時
(B1)表示装置のサイズ(表示画面サイズ)、(B2)視聴距離。
さらに、立体撮影・表示技術では、視覚的条件に起因する問題点もある。極端な近景や遠景などを立体撮影した場合、視差の絶対値が大きい状態での視差画像(立体画像)が撮像されることになり、その撮像した視差画像(立体画像)をディスプレイに表示すると、多くの人にとって、当該視差画像(立体画像)は、融像出来ない画像、すなわち、単なる二重像の画像(立体視のできない画像)として認識される。また、当該視差画像(立体画像)が立体視できるものであったとしても、極端に疲れる画像になることもある。このように、立体撮影・表示技術では、人間の視覚特性により、適切でない視差画像(立体画像)が撮像・表示されるという問題点がある。
第1に、立体撮像装置の精度不足(特に、光学的な精度不足)により、適切な立体撮影を行うことができない場合があるという課題がある。
立体撮像において、2つの光学系の間の精度(平行性、輻輳角などの精度)は、極めて重要であり、光学系の精度不足により、例えば、上下にずれたりする(2つの光学系に上下方向のずれが発生する)と前述の融像できる視差の範囲が狭くなり見づらくなる。精度を上げるためには、光学系の機構的な剛性を高める必要があり、大きさ、重量、コストなどの点で課題となる。さらに、立体撮像装置が輻輳角を可変させる構成やズームを備えた構成では、さらに精度確保が困難になる。また、要求される精度の内、上下のずれについては、二枚の画像のマッチングを調べ、ずれの内上下方向のずれ成分を補正するように画像を上下シフトすることにより補正することが原理的に可能である。しかし、左右方向のずれについては、それが、光学系等の精度不足によるずれなのか、それとも、立体撮影による本来の視差なのかを区別できないため、補正は困難である。
また、左右方向の視差に大きな誤差が含まれると、被写体の定位位置が前後に変動し期待通りならないという課題がある。それにより、自然な奥行き感が損なわれる、あるいは、見やすい撮影が安定してできない等の課題もある。
人間の視覚特性により、視差の絶対値が大きい画像をディスプレイに表示すると、融像出来ずに二重像になり立体視できない。仮に、立体視できたとしても極端に疲れる画像になる可能性が高い。
これに対して、左右画像から視差を検出し視差調整を行い見やすい立体画像を表示する表示装置の技術が提案されている(例えば、特許文献1、特許文献2参照)。
しかし、実際には、表示時に融像出来ないことが分かり警告されても対処の方法はなく手遅れである。
しかし、実際のシーンが撮影されてからそれらがどのように表示され定位されるかは、撮影時の多数のパラメータ(SB、画角、ズーム倍率、輻輳角など)と、表示時のパラメータ(表示のサイズ、視聴距離など)とにより決定されるため、従来、撮影時に表示状態や定位位置を判定することは出来なかった。
従来技術では、撮影時に、撮影時のパラメータや表示時のパラメータから、表示状態や定位位置を判定できたとしても、撮影シーンによっては、検出した視差を用いて正しく判定できない場合がある。
例えば、最遠点と最近点とが画面上で近接する場合には、融像が困難になる。逆に言えば、最遠点と最近点とが画面上である程度離れている場合、融像できる。
さらには、実際の最遠点と最近点とは、画面上で離れていたため融像出来る判定されたにもかかわらず、最遠点ではない遠景と最近点でない近景とが、画面上で近接していたため、融像できない場合も存在する。すなわち、このような場合、従来技術では、融像の可否については、誤判定されることになる。
また、最遠点と最近点で見やすさが決まるシーンであったとしても、最遠点および最近点のいずれかのみが融像できない場合には、従来の視差調節を用いて双方を融像可能にできる場合もあるが、一般に、両方が融像域外の場合や、一方を融像域内に入れると他方が融像域外になる場合が多く、従来技術では、これらのシーンは、立体視できる条件での撮影はできないと判定されることになる。
本発明は、上記課題を鑑みて、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得する立体撮像装置、および立体撮像方法を提供することを目的とする。
撮像部は、立体映像を撮像する。
距離情報取得部は、自装置から被写体までの距離情報を取得する。
理想視差設定部は、取得した撮影条件および表示条件に基づいて、当該表示条件下における前記被写体の視差を理想視差として設定する。
現実視差取得部は、立体映像における被写体の視差を現実視差として検出する。
この立体撮像装置では、条件取得部により被写体(主被写体)までの距離である被写体距離を取得し、当該被写体(主被写体)の定位位置を設定する。そして、この立体撮像装置では、被写体(主被写体)の被写体距離および定位位置から理想視差を求めるとともに、立体撮像装置の撮影条件を設定する。そして、この立体撮像装置では、その設定した撮影条件で、実際に立体撮像して取得した立体映像から算出した現実視差と理想視差に基づいて、補正視差を算出し、算出した視差により、実際に立体撮像して取得した立体映像に対して視差補正を行う。したがって、この立体撮像装置では、立体撮像装置の精度不足(特に、光学的な精度不足)に起因する左右方向の視差を適切に補正することができる。その結果、この立体撮像装置では、精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得することができる。
なお、「定位位置」とは、所定の被写体について立体映像を表示させたときに、当該被写体が3次元空間内で融像する点の位置である。
表示情報設定部は、立体映像を表示する環境である視聴環境に関する表示パラメータとして、少なくとも、視聴環境における左眼視点および右眼視点を結ぶ直線である基線から立体映像を表示させる表示スクリーンまでの距離である視聴距離Lと、視聴環境における左眼視点と右眼視点との間の距離である基線長Sと、を設定する。
この立体撮像装置では、予め設定された視聴環境(表示条件)と主被写体の被写体距離から主被写体の理想視差を推定(算出)するとともに、仮想スクリーン上に実際に生じる被写体(主被写体)の視差(現実視差)を取得する。そして、この立体撮像装置では、理想視差と現実視差とから補正視差を求め、求めた補正視差を立体画像に付加する(水平方向にシフトする)ことで、適切な視差補正を行うことができる。その結果、この立体撮像装置では、精度不足(特に、光学的な精度不足)に起因する左右方向の視差に影響されずに、適切な立体感および/または所望の定位を実現する立体画像(立体映像)を取得することができる。
Δx=x1−x2。
により算出する。
この立体撮像装置では、予め設定された視聴環境(表示条件)と主被写体の被写体距離から主被写体の理想視差x1を推定(算出)するとともに、仮想スクリーン上に実際に生じる主被写体の視差(現実視差)x2を取得する。そして、この立体撮像装置では、理想視差x1と現実視差x2とから補正視差Δxを求め、求めた補正視差Δxを立体画像に付加する(水平方向にシフトする)ことで、無歪み撮影と等価な立体撮影を実現することができる。
したがって、この立体撮像装置により取得された立体画像は、適切な視差調整がなされた立体画像となる。すなわち、この立体撮像装置では、カメラ固有の誤差(特に、光学系により発生する誤差)が存在する場合(例えば、精度の高い輻輳制御ができない場合)であっても、適切な視差調整を行うことができる。
視差補正部は、理想視差をx3とし、現実視差をx2としたとき、補正視差Δxを、
Δx=x3−x2。
S:基線長。
R3:基線(左眼視点および右眼視点を含む直線)から定位位置までの距離。
L:基線(左眼視点および右眼視点を含む直線)から表示スクリーンまでの距離。
により算出する。
この立体撮像装置では、表示時の視聴環境において、所望の位置に主被写体を定位させる場合における幾何学的位置関係から理想的な視差(理想視差)を算出し、算出した理想視差と現実視差とに基づいて、実際に取得した立体映像の視差補正を行う。したがって、この立体撮像装置により、主被写体を、立体撮像装置の光学系の精度に影響されず、所望の距離に定位させる立体映像を取得することができる。
撮像ステップでは、立体映像を撮像する。
条件取得ステップでは、立体映像を撮影した際の撮影条件および当該立体映像を表示する際の表示条件を取得する。
理想視差設定ステップでは、取得した撮影条件および表示条件に基づいて、当該表示条件下における被写体の視差を理想視差として設定する。
視差補正ステップでは、検出した現実視差が設定した理想視差に近づくように、立体映像の視差補正を行なう。
これにより、第1の発明と同様の効果を奏する立体撮像方法を実現することができる。
撮像ステップでは、立体映像を撮像する。
条件取得ステップでは、立体映像を撮影した際の撮影条件および当該立体映像を表示する際の表示条件を取得する。
理想視差設定ステップでは、取得した撮影条件および表示条件に基づいて、当該表示条件下における被写体の視差を理想視差として設定する。
視差補正ステップでは、検出した現実視差が設定した理想視差に近づくように、立体映像の視差補正を行なう。
これにより、第1の発明と同様の効果を奏する立体撮像方法をコンピュータに実行させるためのプログラムを実現することができる。
また、本発明によれば、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、および立体撮像方法を実現することができる。
[第1実施形態]
本実施形態では、2眼方式の立体撮像装置を例に、以下、説明する。
<1.1:立体撮像装置の構成>
図1に、第1実施形態に係る立体撮像装置1000の概略構成図を示す。
また、立体撮像装置1000は、図1に示すように、視差検出部104と、最小視差検出部105と、最大視差検出部106と、主被写体視差検出部107と、制御部110と、フォーカス制御部123と、輻輳制御部124と、表示情報設定部121と、定位情報設定部122と、を備える。
第1撮像部100Rは、図1に示すように、第1光学系101Rと、第1撮像素子部102Rとを含む。第1撮像部100Rは、被写体からの光を第1光学系101Rにより集光し、集光した光を第1撮像素子部102Rにより第1画像信号(右眼用画像、R画像)として取得する。そして、第1撮像部100Rは、取得した第1画像信号を第1A/D変換部103Rに出力する。
第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。図2(a)は、輻輳角制御方式(交差式)による調整方法を模式的に示した図である。例えば、図2(a)に示すように、第1撮像部100R(第1光学系101R)の光軸と、第2撮像部100L(第2光学系101L)の光軸とが仮想スクリーンVS上で交差するように輻輳角を調整することで、表示時に、輻輳点に位置する被写体を、表示スクリーン上に定位させることができる。
第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。図2(b)は、センサシフト式による調整方法を模式的に示した図である。例えば、図2(b)に示すように、第1撮像素子部102Rの画角中心軸(直線AA’)(A点は、第1撮像素子部102Rの撮像素子面の中心点)と、第2撮像素子部102Lの画角中心軸(直線BB’)(B点は、第2撮像素子部102Lの撮像素子面の中心点)とが仮想スクリーンVS上(C点)で交差するように輻輳角を調整することで、表示時に、輻輳点(C点)に位置する被写体を、表示スクリーン上に定位させることができる。
第1光学系101Rは、被写体からの光を集光し、第1撮像素子部102Rの撮像素子面に結像させる。第1光学系101Rは、1または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第1光学系101Rでは、フォーカス制御部123からの指示に従い、フォーカス制御が実行される。
第2撮像部100Lは、図1に示すように、第2光学系101Lと、第2撮像素子部102Lとを含む。第2撮像部100Lは、被写体からの光を第2光学系101Lにより集光し、集光した光を第2撮像素子部102Lにより第2画像信号(左眼用画像、L画像)として取得する。そして、第2撮像部100Lは、取得した第2画像信号を第2A/D変換部103Lに出力する。
第2撮像素子部102Lは、第2光学系101Lにより集光された被写体からの光を光電変換により第2画像信号として取得(撮像)する。そして、第2撮像素子部102Lは、取得した第2画像信号を第2A/D変換部103Lに出力する。第2撮像素子部102Lは、例えば、CMOSイメージセンサやCCDイメージセンサにより実現される。
第2A/D変換部103Lは、第2撮像部100Lにより取得された第2画像信号(L画像)を入力とし、入力された第2画像信号に対して、A/D変換を行う。そして、第2A/D変換部103Lは、デジタル信号に変換した第2画像信号を、視差検出部104および第2視差付加部111Lに出力する。
最大視差検出部106は、視差検出部104から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中(撮像画像中)の最遠点の視差、すなわち、最大の視差(最大視差)を検出する。そして、最大視差検出部106は、検出した最大視差に関する情報を制御部110に出力する。
輻輳制御部124は、制御部110からの指令に基づき、第1撮像部100Rおよび第2撮像部100Lに対して、輻輳制御(例えば、輻輳角の制御)を実行する。
第2トリミング部112Lは、第2視差付加部111Lから出力された第2画像信号(L画像)を入力とし、入力されたL画像(第2画像信号)に対してトリミング処理を実行する。そして、第2トリミング部112Lは、トリミング処理を実行したL画像(第2画像信号)を出力する。
定位情報設定部122は、主被写体を、表示装置のスクリーン面(表示スクリーン面)を基準としてどの位置に定位させるかを設定する。つまり、定位情報設定部122は、主被写体を、表示スクリーン面の前後のどの位置に定位させるかを設定し、設定した情報(定位情報)を制御部110に出力する。
また、「距離情報取得部」は、制御部110によりコントラスト検出方式による距離情報取得処理を実行することにより、その機能が実現される。
「条件取得部」は、制御部110の指令に従い、フォーカス制御部123、輻輳制御部124、および、撮像部(第1撮像部100Rおよび第2撮像部100L)が制御されることで、その機能が実現される。
「視差補正部」は、制御部110により、補正視差が算出されることにより、その機能が実現される。
また、「視差補正部」は、第1視差付加部111Rおよび第2視差付加部111Lにより実現される。
以上のように構成された立体撮像装置1000の動作について、以下、説明する。
撮影者は、撮影前に、表示情報設定部121および定位情報設定部122において、撮影画像を視聴する際の表示条件(表示情報)、および、主被写体900を表示スクリーンに対して前後どの位置に定位されるかという演出条件(定位情報)を入力(設定)する。
撮影者が立体撮像装置1000を被写体に向けると、制御部110は、主被写体900のコントラストが最大になるようにフォーカス制御部123を用いて第1光学系101Rおよび第2光学系101Lに含まれるフォーカスレンズ(不図示)を光軸方向に前後させ、主被写体900にピント(焦点)を合わせる。主被写体900に焦点があった状態(合焦状態)において、制御部110は、第1光学系101Rおよび/または第2光学系101Lの位置情報(焦点距離等)から主被写体900までの距離(被写体距離)Rcを検出する。つまり、制御部110は、コントラスト検出方式により、主被写体900までの距離Rcを検出する。
また、「被写体距離」とは、撮像部の撮像素子(例えば、CCD型イメージセンサやCMOS型イメージセンサ)面上に焦点を結んでいる物体からカメラ(立体撮像装置1000)までの距離をいい、物点距離と、共役距離(物像間距離)を含む概念である。また、「被写体距離」は、立体撮像装置1000から被写体までの概略の距離を含む概念であり、例えば、(1)立体撮像装置1000の光学系のレンズ全体(第1光学系101Rおよび/または第2光学系101L)の重心位置から被写体までの距離、(2)撮像部(第1撮像部100Rおよび/または第2撮像部100L)の撮像素子(第1撮像素子部102Rおよび/または第2撮像素子部102L)の撮像素子面から被写体までの距離、(3)立体撮像装置1000の重心(あるいは中心)から被写体までの距離等を含む概念である。
(1)輻輳角制御方式(交差式)
制御部110は、第1撮像部100Rおよび第2撮像部100Lの光軸を変更させる(例えば、第1撮像部100Rおよび第2撮像部100Lが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第1撮像部100Rおよび第2撮像部100Lの光軸の向きを変更させることで輻輳角を調整する)。
制御部110は、第1撮像部100Rの第1撮像素子部102Rの撮像素子面および第2撮像部100Lの第2撮像素子部102Lの撮像素子面を(平行)移動させることで画角中心軸の方向を調整する。
そして、上記輻輳制御を行った後(撮影準備が完了した状態で)、立体撮像装置1000により、立体画像(立体映像)(R画像(映像)およびL画像(映像))を撮像する。
そして、視差検出部104は、撮影シーンを複数のブロックに分割し、各々のブロック毎に、R画像およびL画像から、視差を検出する。
図3は、視差検出部104で実行される視差検出処理を説明するための図である。
主被写体視差検出部107は、フォーカスを合わせた被写体900を主被写体と判断する(主被写体視差検出部107が制御部110から取得したどの被写体に合焦しているかに関する情報から被写体900を主被写体と判断する)。そして、主被写体視差検出部107は、視差マップメモリ181から、主被写体(被写体900)の位置に対応するブロックの視差値(主被写体視差値)を検出する。
そして、制御部110は、主被写体視差検出部107により検出された主被写体視差値と、無歪み撮影(カメラ性能等に起因する誤差が全くない理想的な撮影)により主被写体が撮像された場合に取得される視差(理想視差)とに基づいて、補正視差を求める。
ここで、図4を用いて、最も自然な奥行き感が考えられる「無歪み撮影」を実現する条件について、説明する。
図4は、無歪み撮影について説明するための図である。
図4(a)は、理想的な精度を持つ立体撮像装置1000を用いた場合の撮影時における撮影要素(左眼用画像の撮像点(第2光学系に対応)、右眼用画像の撮像点(第1光学系101Rに対応)、仮想スクリーン、主被写体)の幾何学的関係(位置関係)を模式的に示す図である。図4(b)は、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)の幾何学関係(位置関係)を模式的に示す図である。
図4の例では、表示情報設定部121に表示側の条件として、(表示)スクリーンサイズW、視聴距離Lが設定されており、定位情報設定部122には、無歪み撮影を表すコードが設定されている。そして、立体撮像装置1000では、制御部110により、無歪み撮影を示すコードが設定されたことを検出した場合、無歪み撮影が実行される。
図4(a)の場合、仮想スクリーンVSより遠い距離Rの被写体を撮影し、x1(>0)の視差を得ている。
図4(a)の状態で、立体撮像装置1000により撮影した立体画像(R画像およびL画像)を、図4(b)の状態でディスプレイ(表示スクリーンDS)に表示させた場合、つまり、表示スクリーン上の視差xを撮影時の視差x1と一致させて表示させた場合、図4(a)で二つのカメラと被写体を結ぶ三角形(三角形ABC)と、図4(b)で両眼と被写体像を結ぶ三角形(三角形DEF)は、合同になる。このため、図4(b)の状態で表示させたときに感じる距離感Rxは、撮影時の距離Rと一致する。この関係は、全ての距離にある被写体に関して成立するため、近景から無限遠の遠景まで忠実な距離感で表示できる。すなわち、図4(a)の状態で撮影することで、立体撮像装置1000において、無歪み撮影を行うことができる。
次に、精度の悪い現実的な立体撮像装置での撮影した場合に発生する視差について、図5を用いて説明する。
図5は、少し誇張して描いているが、図5において、輻輳を図5中の点線で示している。図5の場合、立体撮像装置の光軸の精度が不十分であるため、直線BP2と、直線CP1とは、仮想スクリーンVS上で交差しない、つまり、仮想スクリーンVS上で、第1撮像部100R(第1光学系101R)の光軸と第2撮像部100L(第2光学系101L)の光軸とが交差しない。したがって、仮想スクリーンVS上に位置する被写体も視差を持ってしまう。
また、撮影時において、視差の誤差が正方向に発生した場合、表示において、全ての距離の被写体は遠ざかる方向に距離感が歪む。このとき、遠景は、無限遠を超えてしまい、後方発散になる可能性がある。そして、このような後方発散する領域の遠景の被写体は、表示時において、融像できない画像として表示されることになる。
具体的には、立体撮像装置1000では、制御部110により、主被写体視差検出部107により検出された主被写体視差値(仮想スクリーンVS上の視差に相当)と、無歪み撮影(カメラ性能等に起因する誤差が全くない理想的な撮影)により主被写体が撮像された場合に取得される視差(理想視差)とに基づいて、補正視差が求められる。
補正視差が付加されたR画像およびL画像は、第1トリミング部112Rおよび第2トリミング部112Lにより、立体画像として採用できない部分を削除(立体画像を構成する上で無駄な部分を削除)することで、トリミング処理が実行される。
なお、第1視差付加部111Rおよび第2視差付加部111Lにおいて、補正視差を付加する処理を行わず、例えば、補正視差に関する情報を、所定の画像フォーマット(映像フォーマット)のヘッダ部分に格納して、出力させるようにしてもよい。この場合、補正視差を付加する処理、トリミング処理を省略することができる。
次に、本実施形態における視差補正方法について、図6のフローチャートを用いて説明する。
(ステップ401):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ402):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2を取得する。
(1)検出されたブロックに対応する複数の視差の平均値(重付平均値(例えば、中心からの距離により重み付けした平均値)、2乗平均値等を含む)を視差x2とする。
(2)検出されたブロックに対応する複数の視差の中の任意の1ブロックの視差を視差x2とする。
(3)検出されたブロックに対応する複数の視差の中の中心位置の1ブロックの視差を視差x2とする。
(4)検出されたブロックに対応する複数の視差の中のメディアン値をとる視差を視差x2とする。
制御部110は、主被写体までの距離Rを用いて、図4(a)を例に説明したように、誤差がないカメラ(立体撮像装置)の場合に、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。具体的には、制御部110は、立体撮像装置1000の表示情報設定部121により設定された表示情報(視聴環境を決定する情報)から、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)を取得する。そして、制御部110は、仮想スクリーン(表示スクリーン)幅W、視聴距離L、ステレオベースS(基線長S)、および、被写体距離Rから、主被写体の理想視差x1を推定(算出)する。
制御部110は、ステップ403により「推定した主被写体の視差x1(理想視差x1)」と、ステップ402により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Δxは、立体撮像装置1000の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素に補正視差Δxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
例えば、x1=4、x2=−10である場合、Δx=x1−x2=14となるので、補正後の視差x’=x2+Δx=−10+14=4となり、理想視差x1(=4)と一致する。
このように、立体撮像装置1000により、上記視差補正方法を実行することで、図4(a)に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
次に、本実施形態の第1変形例について説明する。
本変形例の立体撮像装置は、上記実施形態のように無歪み撮影を目的とするのではなく、表示時において、主被写体を表示スクリーンの前後に自由に定位させる演出的撮影(自由定位撮影)を行うことを目的としたものである。
図7(a)は、撮影時の状態を模式的に示す図である。図7(b)は、図7(a)の状態で立体撮影された立体画像を表示した時の状態を模式的に示す図である。
なお、本変形例の立体撮像装置の構成は、第1実施形態の立体撮像装置1000と同様である。
(ステップ411):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、主被写体のピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像(カメラスルーR画像および/またはL画像)上)の概略位置を検出する。
(ステップ412):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
(ステップ413):
制御部110は、演出として主被写体を定位させたい定位位置R3を定位情報設定部122から読み取り、図7(b)に示した幾何学的関係(位置関係)より、誤差がないカメラ(立体撮像装置)で撮影した場合であって、主被写体をR3の距離に定位させるための視差x3(理想視差x3)を次式により算出する。
制御部110は、ステップ413により「所定の位置に主被写体を定位させるための視差x3(理想視差x3)」と、ステップ412により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Δxは、本変形例の立体撮像装置の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
また、主被写体の距離Rより定位させる距離R3が大きい場合、即ち、実際の位置よりも主被写体を後方に定位させる場合、本変形例の立体撮像装置により取得される立体画像において、主被写体より後方の被写体は、極端に遠方に遠ざけられ、遠近感が誇張されがちである。さらに、ある距離より遠い被写体は、後方発散(幾何学的には無限遠より遠ざかり、二重像になり立体視できなくなる現象)が起こる。しかし、主被写体よりも後方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部104により作成される視差マップメモリ181中の最遠点の視差(最大視差検出部106により取得される最大視差)に応じて、主被写体を後方に定位させる限度(範囲)を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度(範囲)内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を後方に定位させる演出を実現することができる。
また、本変形例の立体撮像装置は、最遠点が不自然になる限度を超える場合、撮影者に対して、音や映像などによるアラートを表示して撮影者をアシストする機能を備えるものであってもよい。
次に、本実施形態の第2変形例について説明する。
本変形例の立体撮像装置は、静止画カメラの手持ちによる二回撮りで立体撮影を行うものである。
従来、このような撮影では、縦方向も横方向も極めて大きな誤差の発生が避けられないため、カメラ単独での立体画像作成は難しく、PC(パーソナルコンピュータ)を用いたレタッチソフトなどにより、取得した立体画像を手作業で調整する必要があった。
しかし、立体画像の左右方向のずれについては、本来の両眼視差と誤差とが区別できないため、手作業による調整であっても、左右方向のずれを修正することは困難である。たとえば、立体画像に、山や雲のように無限遠と見なせる遠景があれば、その遠景の被写体を無限遠の被写体であると判断し、その無限遠の被写体を基準にして、手作業で視差を調整することが可能である。しかし、無限遠の被写体が無いシーンでは、たとえ手作業によっても視差を正しく調整することは出来ず、何度も立体表示させながら良好な表示になるよう調整せざるを得ない。
図11に本変形例の立体撮像装置1000Aの概略構成図を示す。
図1に示す第1実施形態の立体撮像装置1000は、2つの光学系を有しており、信号処理系も2系統備えた2眼式カメラであるが、本変形例の立体撮像装置1000Aは、単眼のカメラによる2回撮りにより立体画像を取得するものである。
立体撮像装置1000Aは、輻輳制御部124が無く、画像メモリ部125が追加された構成となっている。
また、ユーザは、図示しないユーザIF用表示部に表示される撮影手順に従い、立体撮像装置1000Aにより立体撮影を行う。
撮像部100は、第1撮像部100R(または第2撮像部100L)と同様のものである。
画像メモリ部125は、撮像部100により取得され、A/D変換部103によりA/D変換されたR画像またはL画像を、記憶する。そして、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているR画像を視差検出部104および第1視差付加部111Rに出力する。また、画像メモリ部125は、制御部の指示に従い、所定のタイミングで、記憶しているL画像を視差検出部104および第2視差付加部111Lに出力する。
(ステップ421):
ユーザは、ユーザIF用表示部からの指示に従い、シャッタを半押しし主被写体にフォーカスを合わせる。制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離R、および、ピントを合わせた状態における、当該主被写体の画面上(カメラスルー画像上)の概略位置を検出する。
(ステップ422):
次に、ユーザは、そのままシャッタを押し(半押し状態から全押し状態にし)、左眼用画像(L画像)を撮影する。撮影された左眼用画像(L画像)は、画像メモリ部125に格納される。
ユーザは、ユーザIF用表示部から指示された距離だけ撮影位置を右に移動させ、立体撮像装置1000Aにより、右眼用画像(R画像)を撮影する。撮影された右眼用画像(R画像)は、画像メモリ部125に格納される。
(ステップ424):
主被写体視差検出部107は、視差検出部104により生成された視差マップメモリ181(例えば、図3の視差マップメモリ181)を用いて、ピントを合わせた主被写体位置(例えば、図3中の太線で囲んだブロック)の視差x2(現実視差x2)を取得する。
制御部110は、主被写体までの距離Rを用いて、主被写体が取るべき視差x1(理想視差x1)を推定(算出)する。
(ステップ426):
制御部110は、ステップ425により「推定した主被写体の視差x1(理想視差x1)」と、ステップ424により取得した「実際に得られた主被写体の視差x2(現実視差x2)」とから視差の誤差Δxを次式により算出する。
Δxは、立体撮像装置1000Aの光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、視差誤差Δxを補正誤差として、立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
このように、立体撮像装置1000Aにより、上記視差補正方法を実行することで、図4(a)に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
したがって、本変形例は、極めて有効な応用例を示すものである。上記では、無歪み撮影を例に説明したが、本変形例はこれに限定されることはなく、例えば、本変形例の立体撮像装置1000Aにより、第1変形例で説明した処理と同様の処理を行うことで、主被写体の演出的な定位を実現する立体撮影を行うことも可能である。
次に、本実施形態の第3変形例について説明する。
単眼式立体カメラにより立体撮影を行う従来技術として、単眼レンズの左半分と右半分を実質的に隠して2枚の画像を撮影し、撮影した2枚の画像を立体画像(左眼用画像および右眼用画像)とすることで、比較的狭い基線長(撮影SB)での立体撮影を行う技術がある。
この従来の単眼式立体カメラにより撮像された立体画像では、ピントの合った主被写体については、左眼用画像(L画像)と右眼用画像(R画像)とが同一になるため、当該主被写体は仮想スクリーン上に定位し、当該主被写体の後方の被写体がぼけながら仮想スクリーン後方に定位し、当該主被写体の前方の被写体が同じくぼけながら仮想スクリーン前方に定位する。この単眼式立体カメラにより立体撮影を行う従来技術では、仮想スクリーン前後の被写体に対して大きなぼけを発生させる必要があるため、単眼式立体カメラに大きなレンズ口径のレンズを装着する必要があるが、簡単に立体撮影ができるというメリットがある。
なお、本変形例の立体撮像装置(上記単眼式立体カメラと同様の光学系および撮像部を有し、それ以外の部分については、立体撮像装置1000と同様の構成の立体撮像装置)の構成図は省略するが、構成要件とその番号は、図1に準ずるものとする。
図9は、本変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係(位置関係)を示した図である。
図10は、本変形例に係る立体撮像装置で実行される立体画像取得方法(視差補正方法)の処理フローを示すフローチャートである。
(ステップ431):
制御部110は、フォーカス制御部123の制御量からピントを合わせた主被写体の被写体距離Rを求める。
(ステップ432):
本変形例の立体撮像装置では、主被写体の位置が仮想スクリーンVS上となり、かつ、輻輳点が主被写体の位置と一致する。したがって、フォーカスを合わせた主被写体の視差は、「0」になるので、現実視差x2は、x2=0になる。よって、制御部110は、x2=0に設定する。
定位情報設定部122により「無歪み撮影」が指示されているか否かを判定する。
(ステップ434):
定位情報設定部122により「無歪み撮影」が指示されている場合、制御部110は、主被写体の定位位置までの距離R4(左視点と右視点とを含む線分から主被写体の定位位置までの距離R4)をRに設定する、すなわち、R4=Rに設定する。
(ステップ435):
定位情報設定部122により「無歪み撮影」が指示されていない場合、制御部110は、演出として主被写体を定位させたい定位位置までの距離R3を定位情報設定部122から読み取り、R4をR3に設定、すなわち、R4=R3に設定する。
(ステップ436):
制御部110は、本変形例の立体撮像装置において、主被写体をR4の距離に定位させるための視差x4を次式で決定する。
(自由定位撮影の場合:R4=R3)
(ステップ434):
制御部110は、次式により、補正視差Δxを算出する。
Δx=x4−x2=x4
により、視差の補正量Δxは、「主被写体をR4の距離に定位させるための視差x4」と一致する。
(ステップ435):
Δxは、本変形例の立体撮像装置(単眼式立体カメラ)の原理的な定位との視差の差であるため、主被写体だけでなく全ての被写体に対して同じ視差補正が必要である。したがって、第1視差付加部111Rおよび第2視差付加部111Lにより、本変形例の立体撮像装置の撮像部により撮像した立体画像の全画素にΔxを付加する(R画像およびL画像を補正視差Δx分だけ水平方向にシフトさせる)。
以上のように、本変形例を、単眼式立体カメラに応用することで、無歪み撮影や主被写体の自由な定位などの演出が自由にできる。
(1)輻輳制御に相当する処理を、物理的な輻輳は付けずに電気的な視差を付加することで行う。
(2)輻輳制御に相当する処理を、固定の輻輳を用い(輻輳角を固定し)、輻輳制御部124が行う輻輳制御と等価な電気的処理(電気的に視差を付加する処理)により実現する。
また、第1視差付加部111Rおよび第2視差付加部111Lによる視差の付加は、左画像(L画像)および右画像(R画像)のどちらか一方に対してのみ行ってもよいし、左画像(L画像)および右画像(R画像)の両方に任意のバランスで視差を付加することで実現させてもよい。ただし、この場合、左画像(L画像)と右画像(R画像)とでは付加する視差の極性を反転させる必要がある。
また、本実施形態および本実施形態の変形例では、説明を簡単にするため、撮影SB(基線長)を人間の両眼間隔に一致している例について説明した。しかし、本発明は、それに限るものではない。図4を例に取ると、撮影ステレオベースが両眼より狭い場合には、同じ比率で仮想スクリーンを近づけるように輻輳を設定することにより、前述の三角形(例えば、図4(a)の三角形ABC)を相似形にすることができる。したがって、この状態で、本発明の立体撮像装置により立体撮影を行うことで、やはり無歪み撮影を実現させることができる。この場合、主被写体を上記比率(上記三角形の相似比に相当)の逆数で遠ざけた演出が可能である。すなわち、撮影SBが小さくなれば、仮想スクリーンが同じ比率(撮影SBの縮小比率)で近づき、撮影SBが大きくなれば、仮想スクリーンが同じ比率(撮影SBの拡大比率)で遠ざかることを考慮することで、本発明の立体撮像装置により、遠近演出(主被写体を遠ざけたり近づけたりする演出)を実現させることができる。
図4、図5、図7の説明では、説明を簡単にするため、撮影SBが両眼間隔に一致し、かつ、ズームも用いない場合について説明したが、これに限定されることはなく、撮影SBが両眼間隔に一致しない場合や、ズームを用いる場合においても、撮影SBおよび/またはズームに関する撮影パラメータを考慮することで、本発明の立体撮像装置による立体撮影を実行できることは言うまでもない。
第2実施形態について、図面を参照しながら、説明する。
第2実施形態では、撮影時に、立体撮像装置により撮影するシーンが、人間が立体視可能にできるかどうかを判定し調整する装置、方法について、説明する。
図13に、第2実施形態の立体撮像装置2000の概略構成図を示す。
なお、本実施形態において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
一般に、視差の絶対値が大きいときに融像しにくいことが知られている。このことは「パナムの融合域」と呼ばれており、「パナムの融合域」により、輻輳を合わせた距離(輻輳点までの距離)の前後の物体に対して、視差角を基準として融像出来る限界(範囲)を決めることができるとされている。視差角は、正の角度が手前側、負の角度が奥側であり、一般に、人間が立体画像(立体映像)を見たときに融像できる範囲は、視差角が、輻輳点の視差角(輻輳角)±1度程度となる領域(範囲)であると言われている。
これについて、図18を用いて詳しく説明する。
角度αsは、輻輳角であり、図18では、両眼の光軸が仮想スクリーンVS上で交差している状態を示している。このとき、仮想スクリーンVSと同じ距離にある物体(仮想スクリーンVS上に位置する物体)は、左右の視差が「0」になるため、このような物体(被写体)を撮像した立体画像を見たとき、当該物体(被写体)は、2重像にならず左右の画像が重なることになり(表示スクリーン上に定位することになり)、視聴時には、当該物体(被写体)は、表示スクリーン上にあるように見える。なお、図18において、最遠点である山は、視差角αf(αf<αs)であり、最近点である草花は、αn(αn>αs)であるとする。
このように、立体視出来るかどうかは、立体撮影した立体画像をディスプレイ(表示スクリーン)に表示したときにはじめて決定されるものである。表示時には、上記従来の手法を用いて立体視の可否を判定することができるが、これを撮影時に、正確に推定することは困難である。
x1=L1・(α1−β1)
により求められる。
なお、上記は、近似解である。つまり、厳密には、
x1=2・L1・(tan(α1/2)−tan(β1/2))
であるが、α1およびβ1は、微小であるので、
tan(α1)=α1
tan(β1)=β1
と近似することができる。したがって、視差x1は、
x1=L1・(α1−β1)
と近似により求めることができる。
x2=L2・(α2−β2)
により算出される。
x2=W2/W1・x1
となる。
以上より、表示時に融像出来るかどうかを定める相対視差角(α2−β2)は、
(α2−β2)=(W2/W1)・(L1/L2)・(α1−β1)
となる。
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)
となる。
さらに、図示していないが、表示時に画像のシフトによる視差調整を行った場合、視差調整量を角度Δαで表すと、相対視差角(α2−β2)は、
(α2−β2)=z・(W2/W1)・(L1/L2)・(α1−β1)−Δα
となる。
上式の左辺が、融像出来るかどうかに直接影響する相対視差角を表しており、通常、この値が、±1度の範囲になければ、融像できずに二重像になり立体視できないことになる。また、この値が±0.5度の範囲にあれば、比較的楽に融像出来る見やすい立体像になると言われている。
|α2−β2|<δ
|z・(W2/W1)・(L1/L2)・(α1−β1)−Δα|<δ
したがって、
以上に基づいて、本実施形態の立体撮像装置2000により実行される撮影時の立体視可否判定処理について、説明する。
図15は、撮影時の立体視可否判定処理について説明するためのフローチャート図である。
まず、図15のフローチャートを用いて、立体撮像装置2000における撮影時の立体視可否判定処理の準備処理について、説明する。
(S101〜S104):
立体撮像装置2000において、第1実施形態と同様の処理により、補正視差Δxを算出する。
最小視差検出部105は、視差検出部104により作成された視差マップメモリ181から最小視差x2_nearを検出する。なお、この最小視差x2_nearが最近点の視差に対応する。
また、最大視差検出部106は、視差検出部104により作成された視差マップメモリ181から最大視差x2_farを検出する。なお、この最大視差x2_farが最遠点の視差に対応する。
制御部110は、S201で算出された最大視差x2_farおよび最小視差x2_nearから、最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearを下式により、算出する。
x3_far=x2_far+Δx
x3_near=x2_near+Δx
(S203):
制御部110は、S202で算出した最遠点の補正後の視差x3_farおよび最近点の補正後の視差x3_nearから、撮影時の最遠点の視差角β1_farおよび撮影時の最近点の視差角β1_nearを算出する。
立体撮像装置2000において、立体撮影可否判定処理を実行する。
次に、図16のフローチャートを用いて、立体撮像装置2000における撮影時の立体視可否判定処理について、説明する。
(S205):
制御部110は、S203で算出した最遠点の視差角β1_farおよび最近点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する。
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たさない場合(ケース1の場合)、視差調整により、最遠点および最近点を、立体視可能範囲(範囲δ)に入れることはできないと判断し、立体撮像装置2000の画角調整等の撮影パラメータ調整処理を行い、例えば、ズーム倍率zや撮影SBを変更する。
S206で画角調整(撮影パラメータ調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最近点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S207)。
S207での判定の結果、上記(数式7)の条件を満たす場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S208)。
一方、S207での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S209)。
S205の判定の結果、最遠点については、上記(数式7)の条件を満たさないが、最近点については、上記(数式7)の条件を満たす場合(ケース2の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)に入れる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内となる視差調整量Δα1を算出する。
(S211〜S215):
S210で算出したΔα1に相当する視差をずらした場合、最近点が依然として、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S211)。
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S212)。
そして、S212の撮影パラメータ調整処理を実行した後、S207と同様に、S212で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最近点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S213)。
一方、S213での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S215)。
(S216):
S205の判定の結果、最近点については、上記(数式7)の条件を満たさないが、最遠点については、上記(数式7)の条件を満たす場合(ケース3の場合)、制御部110は、視差調整により、最遠点を、立体視可能範囲(範囲δ)内の限界(境界)点に移動させる処理を行う。具体的には、制御部110は、最遠点が、範囲δ内の限界(境界)点となる視差調整量Δα1を算出する。
そして、その算出した視差調整量Δα1により、視差調整を行う(最遠点および最近点について、当該視差調整量Δα1分ずらす)。
S216で算出したΔα1に相当する視差をずらした場合、最近点が、立体視可能範囲(範囲δ)内であるか否かを、制御部110が判定する(S217)。
そして、その判定の結果、最近点が、立体視可能範囲(範囲δ)内である場合、制御部110は、「撮影OK」の判定を行い、処理を終了する(S220)。
一方、判定の結果、最近点が立体視可能範囲(範囲δ)内ではない場合、制御部110は、S206と同様の撮影パラメータ調整処理を行う(S218)。
そして、S218の撮影パラメータ調整処理を実行した後、S207と同様に、S218で画角調整(撮影パラメータの調整)を行った後の状態において、制御部110は、最遠点の視差角β1_farおよび最近点の視差角β1_nearが、上記(数式7)の条件を満たすか否かを判定する(S219)。
一方、S219での判定の結果、上記(数式7)の条件を満たさない場合、制御部110は、「撮影NG」の判定を行い、処理を終了する(S221)。
なお、ケース3の場合、立体撮像装置2000において、上記のように、まず、最遠点を融合域内の限界(境界)点となるように視差調整し、その後、最近点についての調整を行うのは、最遠点が融合域内となることを、優先的に、確保(保証)するためである。言い換えれば、立体撮像装置2000において、最遠点が融合域内となるようにした状態で、撮影パラメータを調整することにより、最近点も融合域内となるように処理を行うことは、比較的容易であるが、撮影パラメータの調整のみで、融合域外の最遠点を融合域内に入れるように調整することは難しい。したがって、立体撮像装置2000では、上記のように、処理を行う。
S205の判定の結果、最遠点および最近点が、両方とも、上記(数式7)の条件を満たす場合(ケース4の場合)、制御部110は、「撮影OK」の判定を行い、処理を終了する(S222)。
以上により、立体撮像装置2000では、上記(数式7)に基づいて、撮影時に、立体視可否判定処理を行うことができる。
(1)撮像できる被写体の範囲は、ズーム倍率に反比例する(拡大すると撮影できる範囲が狭くなる)。
(2)撮像できる被写体の範囲は、スクリーンサイズ比に反比例する(小さいスクリーンで見るときは広くなる)。なお、想定スクリーンサイズを大きく設定することと、小さなスクリーンで立体画像を見ることとは等価の関係にある。
(3)撮像できる被写体の範囲は、視聴距離に比例する(離れてみると広くなる)。なお、想定視聴距離を近くに設定することと、想定視聴距離より離れて立体画像をみることとは等価の関係にある。
(4)撮像できる被写体の範囲は、視差調整で正の視差をあたえると、遠景の範囲が広くなり、近景の範囲が狭くなる。
(1)ズーム倍率、
(2)想定スクリーンと実スクリーンのサイズ、
(3)想定視聴距離と実視聴距離、
(4)視差調整量、
に応じて、融像出来る被写体の距離が変わるため、これらの関係を用いることにより、立体撮像装置2000において、撮影時に予め、見やすいシーンか見にくいシーンかの判定が可能になる。
なお、撮影時において、最遠点が融像できない場合、正の視差(上記Δα1>0)を与え(付加し)、逆に、最近点が融像できない場合、負の視差(上記Δα1<0)を与える(付加する)ことにより、撮像しようとしているシーン全体が融像可能な状態となるように調整すればよいことは言うまでもない。
また、視差の方向として、いずれの方向を正と表現するかは、自由であり、上記実施形態において設定した正方向と逆の場合であっても、本発明を適用することができることは、言うまでもない。なお、視差の方向を、上記実施形態において設定した正方向と逆にする場合、上記実施形態(本明細書および図面)の表現(あるいは図示)について、正と負を逆にして読み替えればよい。
次に、本実施形態に係る第1変形例について、説明する。
第1変形例に係る立体撮像装置では、より高精度な立体視可否判定(高精度立体視可否判定)処理を実行する。なお、第1変形例に係る立体撮像装置の構成は、第2実施形態の立体撮像装置2000の構成と同様である。
これに基づく、本変形例の立体撮像装置での処理について、以下、説明する。
奥行きが前後に異なる被写体の2次元の画面(仮想スクリーンあるいは表示スクリーン)上での距離を考慮した撮影時の立体視可否判定についての条件は、以下の(1)、(2)の評価結果から見出した。
(1)遠景と近景が画面上で離れた位置にある場合には、遠景と近景の視差の差が比較的大きくても見やすい(立体視しやすい)ことが多い。
(2)逆に、遠景と中景、や中景と近景のように視差の差が比較的小さくても、それらが画面上で近い位置にある場合には、融像が難しくなる(立体視が困難になる)ことが多い。
f(α1,α2,h)=g(h)*|α1−α2|
g(h)は、hの絶対値が「0」に近いほど大きな値をとる単調減少関数である。
なお、関数g(h)は、所定の値th1から所定の値th2まで単調減少する関数であってもよい(つまり、th1>g(h)>th2)。また、関数g(h)は、表示画面サイズ(表示スクリーンサイズ)や視聴距離等により、変化するものであってもよい。
f(α1,α2,h)<δ
であれば、この2つの被写体(視差角α1の被写体と視差角α2の被写体)については、融像でき立体視できると判定することができる。
そして、上記条件が、撮影しようとしているシーン中の全ての被写体の間で成立すれば、シーン全体として見やすい(立体視可能)と判定できることになる。つまり、上記条件が、撮影しようとしているシーン中の全ての被写体について成立する場合、当該シーンを立体撮影することで取得される立体画像(立体映像)は、人間にとって見やすい(適切に融像できる)立体画像(立体映像)となる。
次に、本変形例の立体撮像装置により実行される高精度立体視可否判定処理について、図17のフローチャートを用いて、説明する。この高精度立体視可否判定処理は、上記関数fを用いて、撮影時に、撮影シーンが融像可能(立体視可能)か否かを判定する処理である。
(S501):
制御部110は、視差マップメモリ181から、異なる2つのブロック(視差マップメモリ181の構成するブロック。図3のBK1やBK2がこれに相当。)を選択する。
(S502):
制御部110は、S501で選んだ2つのブロックの視差を、視差マップメモリ181から求め、所定の条件を用いて、当該2つのブロックの視差を、それぞれ、視差角α1,α2に変換する。なお、「所定の条件」とは、撮影時の撮影要素(被写体位置、仮想スクリーンのサイズおよび位置、SB、右眼画像用撮像点、左眼画像用撮像点)や、表示時における表示要素(左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置)や、撮影パラメータ(画角、ズーム倍率、撮影SB等)により決定される条件である。そして、視差角α1、α2は、上記条件により視差補正された視差角であってもよい。
(S503):
選んだ2つのブロック間の2次元画面上の距離hを求める。なお、距離hは、視差マップメモリ181上のブロック間の距離により求め、例えば、隣接ブロックの場合は、h=1とする。
(S504):
選んだ2つのブロックに関する補正視差角f(α1,α2,h)を算出する。
(S505):
制御部110は、S504で算出した補正視差角f(α1,α2,h)の値(この値をf0とする)と、fの最大値として保持されているfmaxとを比較し、
f_max<f0であれば、fmax=f0とし、
f_max≧f0であれば、そのまま、fmaxを保持する。
なお、最初に、S505の処理が実行される場合、制御部110は、fmax=f0とする。
制御部110は、全てのブロックの組み合わせについて、上記処理が終了したか否かを判定する。そして、判定の結果、全てのブロックの組み合わせについて終了していなければ、ステップS501に戻り、全てのブロックの組み合わせについて終了していれば、ステップS507に進む。
(S507):
制御部110は、fmaxとδを比較し、
fmax<δ
であれば、本変形例の立体撮像装置により立体撮影しようとしているシーンが、立体視可能であると判断する。
また、補正視差角を求める関数は、上記の関数に限られるものではなく、例えば、定性的に視差の差が大きいほど大きな値を出力し、および/または、2次元画面上の距離が大きいほど小さな値を出力する関数であれば、上記で示した関数以外の関数であってもよい。また、補正視差角を求める関数は、完全に単調関数でなくてもよく、所定の範囲において、一定値をとるものであってもよい。
本願発明者らは、立体視する場合において、立体画像(立体映像)の見やすさに影響を与える要素として、上記以外に、ディスプレイのサイズと、視聴距離によるものがあることを見出した。
前述の説明では、眼球の輻輳(輻輳点)をスクリーン面に合わせることを前提として説明した。しかし、眼球の輻輳は、常にスクリーン面上から離れないかと言えば、そうではない。人間は、遠景が見にくければ、眼球の輻輳を変化させて遠景を見やすくするよう見方をすることを自然にしている。
例えば、図18の場合において、人間が、人物900を注視し輻輳(輻輳点)を人物900に合わせて見た(立体視した)場合について考える。この場合、山901の融像の条件は、|αf−αs|<δから|αf−αc|<δに変わるため、山901は見やすくなる(立体視しやすくなる)ことになる。
ところが、輻輳(輻輳点)を人物900に合わそうとして、人物900を注視するとピントも人物900に合わしてしまい、表示スクリーン上の立体画像(立体映像)を、くっきりと見ることが出来なくなる。うまく見るためには、ピントはスクリーン面に合わせ、かつ、輻輳(輻輳点)は人物900に合わせるという無理な見方が要求される(ピントと輻輳の不一致)。
逆に、遠距離で見る大サイズのディスプレイでは、ピントによるスクリーンの距離感が希薄であるため、輻輳(輻輳点)は、スクリーン面に固定されず、前後に動きやすいことになる。
これに基づいて、本変形例の立体撮像装置では、表示スクリーンのサイズを撮影時に把握しておき、表示スクリーンのサイズが小さい(小画面である)ほど、上記δ(融像範囲δ)を小さく設定し、表示スクリーンのサイズが大きい(画面サイズが大きい)ほど、δを大きく設定する。そして、本変形例の立体撮像装置では、このように設定したδを用いて、実際の処理(例えば、「2.2」で説明した撮影時の立体視可否判定処理や、「2.3.1」で説明した被写体の2次元画面上での距離を考慮した高精度立体視可否判定処理)を行う。これにより、本変形例の立体撮像装置では、撮影時において、より精度の高い立体視可否判定処理を実現することができる。
(1)最遠点や最近点の被写体がスクリーン上で占める面積が小面積である場合。
(2)最遠点や最近点の被写体が画面(スクリーン)の端にある場合。
(3)最遠点や最近点の被写体のピントがはずれてぼけている場合。
なお、融像範囲を調整するための方法として、例えば、以下のような方法がある。
(1)立体画像(立体映像)を構成する右眼用画像および/または左眼用画像を電気的にシフトさせることで視差を調整することで、融像範囲を調整する。
(2)立体撮像装置の撮影SBの調整(縮める調整)を行うことで、融像範囲の調整をする。
(3)2回撮りにより立体画像(立体映像)を取得する場合、2回撮りを実行する際の立体撮像装置の移動量を調整する。
(4)立体画像(映像)において、オブジェクト(被写体)のデプス(Depth、奥行き情報)を作成(算出あるいは推定)し、電気的に撮影SBの調整を行う。
なお、立体視可否判定を行うために、上記のように融像範囲δの大きさを変化させる方法(融像条件を緩和させる方法)以外に、視差ヒストグラムを用いた方法を採用してもよい。視差ヒストグラムを用いた撮影時の立体視可否判定処理について、以下、説明する。
≪図19の場合≫
まず、図19に示す場合について、説明する。
次に、図20に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図20に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、図20に示す所定の度数TH以下の遠景および近景を除外し、立体視可否判定処理の対象領域AR2を近景B2から遠景C2の領域に設定する。
次に、図21に示す場合について、説明する。
(1)遠景側において、図21に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図21に示す所定の度数TH_near以下の近景を除外する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
次に、図22に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181から、図22に示すような、視差のヒストグラム(視差ヒストグラム)を作成する。そして、制御部110は、作成した視差ヒストグラムにおいて、
(1)遠景側において、図22に示す所定の度数TH_far以下の遠景を除外し、
(2)近景側において、図22に示す所定の度数TH_near以下の近景を除外する。
なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部110は、遠景側を除外するための所定の度数TH_farと、近景側を除外するための所定の度数TH_nearとが、
TH_far<TH_near
の関係を満たすように、所定の度数TH_farおよびTH_nearを設定することが好ましい。
(1)所定の度数TH0(>TH_far)を設定する。
(2)視差ヒストグラムにおいて、その度数が、遠景側から近景側へ向かってトレースしたときに最初に度数TH0を超える点(図22のC3点がこれに相当)を求める。
(3)(2)で求めたC3点を基準として、立体視可能領域AN3を設定する。なお、立体視可能領域AN3は、例えば、仮想スクリーンを中心として設定される立体視可能領域AR0を、C3点を基準としてシフトさせた領域である。
次に、図23に示す場合について、説明する。
本変形例の立体撮像装置において、制御部110は、視差マップメモリ181を構成する各ブロック(このブロックは、例えば、8×8画素から構成されるブロックであるが、単独画素から構成されるものであってもよい。)に対して、クラスタリング処理を行う。これにより、例えば、図23(a)に示すようにクラスタリングされたとする。なお、図23(a)では、クラスタCL1〜CL6を模式的に示している。
そして、制御部110は、上記で説明したのと同様の処理により立体視可否判定処理を行う。例えば、図23に示すように、制御部110は、視差ヒストグラムにおいて、遠景側から近景側にトレースしたときに、はじめてしきい値TH_farを超えるC4点を基準として立体視可能領域AN4を設定する。そして、制御部110は、立体視可能領域AN4と立体視可否判定の対象領域AR5とを比較し、立体視可否判定を行う。
制御部110は、例えば、図23に示すように、各クラスタに対して、以下のような関数Weightによる重み付けを行う。
Weight(x,y,z)=Cent(x)・Size(y)・Blur(z)
Cent(x):クラスタの位置が、視差マップメモリ181上の中心位置(視差マップメモリ181の各ブロックにより構成される2次元画像(画面)の中心位置)から近い程、大きな値となる関数。なお、xは、例えば、クラスタの2次元画面上の位置を示す2次元ベクトルである。なお、Cent(x)=1として、クラスタ位置による重み付けをしないようにしてもよい。
制御部110は、上記のような重み付け関数Weight(x,y,z)を用いて、重み付け後の視差ヒストグラムを生成する。
HA(CL1)=Weight(CL1)・H(CL1)
として求め、重み付け後の度数HA(CL1)により視差ヒストグラムを生成する。
このようにして、重み付けして生成された視差ヒストグラムの一例を、図23(c)に示す。
図23(b)に示す視差ヒストグラムでは、C4点を基準にして、立体視可能領域AN4および立体視可否判定処理の対象領域AR5が設定されている。
HA(CL1)=Weight(CL1)・H(CL1)
の値も大きな値となる。
これにより、本変形例の立体撮像装置では、CL1のような画面中心付近に存在する小さい面積の遠景部分の影響を考慮した立体視可否判定処理を行うことができる。
また、クラスタの占める面積、クラスタのボケ程度に関しても、上記と同様の処理を行うことで、本変形例の立体撮像装置において、クラスタの占める面積、クラスタのボケ程度を考慮した、より適切な立体視可否判定処理を行うことができる。
次に、第3実施形態について、説明する。
第3実施形態では、撮影すべきシーンが、人間が立体視できないシーンに対しするカメラのアシスト機能に関する。
第2実施形態およびその変形例では、人間の視覚が感じる見やすさに近い判定基準で見やすさ(立体視のしやすさ)を判定できるようにする立体撮像装置および立体視可否判定方法について説明した。前述の実施形態の立体撮像装置を用いることで、遠景が見にくいときには視差調節あるいは輻輳の調節により遠景を近づけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる、また、近景が見にくいときには視差調節あるいは輻輳の調節により近景を遠ざけることにより立体視しやすい立体画像(立体映像)を取得(撮像)することができる。
本実施形態では、遠景と近景が両方とも融像出来ない場合に、撮影条件を変更して見やすい撮影ができるように、撮影者に対してアシストする機能に関するものである。
図24(a)は、撮影シーンの位置関係(撮影時の撮影パラメータの位置関係)を表している。最遠点は、距離Rfにある山901であり、最近点は距離Rnにある草花902である。また、このシーンでの主被写体は、距離Rcにいる人物900である。図24(a)のカメラ(立体撮像装置)で撮影する際の視差角は、山901がαf、草花902がαn、人物900がαcとする。
|αn−αf|<2δx
を満たしていれば、適切な視差調整により遠景と近景の両方を見やすい融像域に入れることが可能である。しかし、上記を満たしていなければ、如何に視差調整をしようとも双方(遠景および近景)を融像させることは困難である。
図25に、本実施形態の立体撮像装置3000の概略構成を示す。
図25に示すように、本実施形態の立体撮像装置3000は、第2実施形態の立体撮像装置2000に警告部126を追加した構成である。それ以外については、本実施形態の立体撮像装置3000は、第2実施形態の立体撮像装置2000と同様である。
(1)何処まで下がればよいかを伝える方法(現在の立体撮像装置の位置から、被写体から遠ざかる方向に立体撮像装置を移動させるべき距離(遠ざかるべき距離)を指示する方法)。
(2)撮影者がカメラ(立体撮像装置)を構え、仮撮影をしながら後方にさがり、立体撮像装置が、撮影画像から遠景と近景の融像が両立することを判断して、その判断結果を撮影者に伝えることで、カメラ位置(立体撮像装置の位置)を決める方法。
ここで、遠景の視差角はほとんど変化しない、即ち、αf−αf‘≒0にかかわらず、近景の視差角は大きく減少する。
|αn‘−αf’|<2δx
を満たせば、遠景と近景の融像が両立できることになる。
また、本実施形態では、後方に下がって撮影することにより遠景と近景がともに見やすくなる立体画像(立体映像)が取得できる代わりに、被写体に対するパースペクティブは、次のように変化する。すなわち、近景の草花902は小さくなり、中景の人物900は、少し小さくなり、遠景の山901は、ほとんど変化しない。
そこで、本実施形態の立体撮像装置では、主被写体の大きさ変化を抑えるため、後方に下がるのと連動するズーム処理を行う。
主被写体の大きさは、後方に下がるとRc/(Rc+ΔR)の比率で小さくなる。
その結果、本実施形態の立体撮像装置で取得される立体画像(立体映像)において、遠景は大きい目、近景は小さい目になるが、主被写体が所望の大きさになれば多くのシーンでは良好な撮影(立体撮影)ができることになる。
次に、本実施形態の第1変形例について説明する。
本変形例の立体撮像装置では、図24(a)の位置で撮影をしようとした場合、前述の関係式から得られる主被写体の焦点距離をズーム変化範囲の広角端に設定するものである。そうすると、ズームを最も広角にしても主被写体が大きすぎることになり、その結果、撮影者は自発的に後方に下がり図24(b)の位置から撮影することになる。したがって、本変形例の立体撮像装置では、撮影者に対して、ズーム可動域の広角端を制限することによるアシストを行う。
また、主被写体が人物であることをカメラ(立体撮像装置)が標準的に搭載する顔検出機能により認識し、主被写体が人物である場合、本変形例の立体撮像装置において、上記動作を行うと良い。
次に、本実施形態の第2変形例について説明する。
撮影すべきシーンの内、重要な被写体が、主被写体と遠景である場合についての変形例(第2変形例)を説明する。
遠景と近景の融像が両立しないが、その際、近景の被写体が画面上の端(スクリーンの枠の近く)に位置している場合、その被写体は撮影シーンの中で重要度が低い場合が多い。
本変形例の立体撮像装置では、上記判断基準により近景の重要度が低いと判断した場合に、撮影者に対して、近景を撮影範囲から外すように横に移動して撮影するように、表示や音声でアシストする。
本変形例の技術では、遠景と主被写体の間の大きさの比率は維持されるため、当初のパースペクティブからの変化が少ない撮影(立体撮影)ができる。
なお、上記実施形態で説明した立体撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blue−ray Disc)、半導体メモリを挙げることができる。
また、上記実施形態では、2つの撮像部により、ステレオ画像(左眼用画像および右眼用画像)を取得(撮像)している場合について説明した。しかし、これに限定されることはなく、例えば、1つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、1つの撮像素子の撮像素子面を2分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
100R 第1撮像部
100L 第2撮像部
101R 第1光学系
101L 第2光学系
102R 第1撮像素子部
102L 第2撮像素子部
104 視差検出部
105 最小視差検出部
106 最大視差検出部
107 主被写体視差検出部
110 制御部
111R 第1視差付加部
111L 第2視差付加部
112R 第1トリミング部
112L 第2トリミング部
121 表示情報設定部
122 定位情報設定部
123 フォーカス制御部
124 輻輳制御部
181 視差マップメモリ
Claims (5)
- 被写体像を立体撮影し、左眼用映像および右眼用映像からなる立体映像を撮像する立体撮像装置であって、
前記立体映像を撮像する撮像部と、
自装置から前記被写体までの距離情報を取得する距離情報取得部と、
前記立体映像を撮影した際の撮影条件および当該立体映像を表示する際の表示条件を取得する条件取得部と、
前記取得した撮影条件および表示条件に基づいて、当該表示条件下における前記被写体の視差を理想視差として設定する理想視差設定部と、
前記立体映像における前記被写体の視差を現実視差として検出する現実視差取得部と、
前記検出した現実視差が前記設定した理想視差に近づくように、前記立体映像の視差補正を行なう視差補正部と、
を備える立体撮像装置。 - 前記立体映像を表示する環境である視聴環境に関する表示パラメータとして、少なくとも、視聴環境における左眼視点および右眼視点を結ぶ直線である基線から立体映像を表示させる表示スクリーンまでの距離である視聴距離Lと、視聴環境における左眼視点と右眼視点との間の距離である基線長Sと、を設定する表示情報設定部をさらに備え、
前記条件取得部は、被写体距離が前記視聴距離Lと一致する位置に仮想スクリーンを設定し、当該仮想スクリーン上に輻輳点が位置するように、前記撮影条件を設定する、
請求項1に記載の立体撮像装置。 - 前記条件取得部により、「無歪み撮影」が指示された場合、
前記視差補正部は、前記理想視差をx1とし、前記現実視差をx2としたとき、前記補正視差Δxを、
Δx=x1−x2
により算出し、
前記視差補正部は、前記撮像部により撮像された前記左眼用映像および前記右眼用映像を、前記補正視差Δx分だけ水平方向にシフトさせることで、前記左眼用映像および前記右眼用映像の視差補正を行う、
請求項2に記載の立体撮像装置。 - 前記条件取得部により、「自由定位撮影」が指示された場合であって、
前記条件取得部により設定された前記被写体の定位位置が前記基線から距離R3の位置である場合、
前記視差補正部は、前記理想視差をx3とし、前記現実視差をx2としたとき、
前記補正視差Δxを、
Δx=x3−x2
x3=S×(1−L/R3)
S:基線長
R3:基線(左眼視点および右眼視点を含む直線)から定位位置までの距離
L:基線(左眼視点および右眼視点を含む直線)から表示スクリーンまでの距離
により算出し、
前記視差補正部は、前記撮像部により撮像された前記左眼用映像および前記右眼用映像を、前記補正視差Δx分だけ水平方向にシフトさせることで、前記左眼用映像および前記右眼用映像の視差補正を行う、
請求項2に記載の立体撮像装置。 - 被写体像を立体撮影し、左眼用映像および右眼用映像からなる立体映像を撮像する立体撮像方法であって、
前記立体映像を撮像する撮像ステップと、
撮影点から前記被写体までの距離情報を取得する距離情報取得ステップと、
前記立体映像を撮影した際の撮影条件および当該立体映像を表示する際の表示条件を取得する条件取得ステップと、
前記取得した撮影条件および表示条件に基づいて、当該表示条件下における前記被写体の視差を理想視差として設定する理想視差設定ステップと、
前記立体映像における前記被写体の視差を現実視差として検出する現実視差取得ステップと、
前記検出した現実視差が前記設定した理想視差に近づくように、前記立体映像の視差補正を行なう視差補正ステップと、
を備える立体撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012503021A JP5491617B2 (ja) | 2010-03-05 | 2011-03-03 | 立体撮像装置、および立体撮像方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010049280 | 2010-03-05 | ||
JP2010049280 | 2010-03-05 | ||
PCT/JP2011/001267 WO2011108276A1 (ja) | 2010-03-05 | 2011-03-03 | 立体撮像装置、および立体撮像方法 |
JP2012503021A JP5491617B2 (ja) | 2010-03-05 | 2011-03-03 | 立体撮像装置、および立体撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011108276A1 true JPWO2011108276A1 (ja) | 2013-06-20 |
JP5491617B2 JP5491617B2 (ja) | 2014-05-14 |
Family
ID=44541945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012503021A Active JP5491617B2 (ja) | 2010-03-05 | 2011-03-03 | 立体撮像装置、および立体撮像方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9128367B2 (ja) |
JP (1) | JP5491617B2 (ja) |
WO (1) | WO2011108276A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9237331B2 (en) * | 2011-01-18 | 2016-01-12 | Disney Enterprises, Inc. | Computational stereoscopic camera system |
US20140043447A1 (en) * | 2012-08-09 | 2014-02-13 | Sony Corporation | Calibration in the loop |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
WO2014064946A1 (ja) * | 2012-10-26 | 2014-05-01 | 株式会社ニコン | 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム |
US10178373B2 (en) * | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
JP6407824B2 (ja) * | 2015-09-01 | 2018-10-17 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
JP2020190438A (ja) * | 2019-05-20 | 2020-11-26 | 株式会社リコー | 計測装置および計測システム |
US20220239888A1 (en) * | 2019-06-07 | 2022-07-28 | Sony Group Corporation | Video distribution system, video distribution method, and display terminal |
KR20220107831A (ko) | 2021-01-26 | 2022-08-02 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0827499B2 (ja) | 1987-12-03 | 1996-03-21 | 松下電器産業株式会社 | 立体テレビジョン用撮像装置 |
JPH06105339A (ja) | 1992-07-07 | 1994-04-15 | Toshiba Corp | 立体カメラ装置 |
DE69417824D1 (de) * | 1993-08-26 | 1999-05-20 | Matsushita Electric Ind Co Ltd | Stereoskopischer Abtastapparat |
JP3157384B2 (ja) | 1994-06-20 | 2001-04-16 | 三洋電機株式会社 | 立体映像装置 |
JP3539788B2 (ja) | 1995-04-21 | 2004-07-07 | パナソニック モバイルコミュニケーションズ株式会社 | 画像間対応付け方法 |
JPH08322004A (ja) | 1995-05-24 | 1996-12-03 | Olympus Optical Co Ltd | 立体視ディスプレイ装置 |
JPH09224267A (ja) | 1996-02-16 | 1997-08-26 | Olympus Optical Co Ltd | 立体映像作成装置及び立体映像表示装置並びにシステム |
JPH10155104A (ja) | 1996-11-22 | 1998-06-09 | Canon Inc | 複眼撮像方法及び装置並びに記憶媒体 |
JP3441911B2 (ja) | 1997-02-20 | 2003-09-02 | キヤノン株式会社 | 情報処理装置及び方法 |
US6762794B1 (en) | 1997-12-03 | 2004-07-13 | Canon Kabushiki Kaisha | Image pick-up apparatus for stereoscope |
JP3976860B2 (ja) | 1997-12-03 | 2007-09-19 | キヤノン株式会社 | 立体映像撮像装置 |
JPH11187425A (ja) | 1997-12-18 | 1999-07-09 | Victor Co Of Japan Ltd | 立体映像装置及び方法 |
US6704048B1 (en) | 1998-08-27 | 2004-03-09 | Polycom, Inc. | Adaptive electronic zoom control |
US7092003B1 (en) * | 1999-01-21 | 2006-08-15 | Mel Siegel | 3-D imaging arrangements |
US6864910B1 (en) | 1999-06-30 | 2005-03-08 | Canon Kabushiki Kaisha | Optical apparatus |
JP2001016619A (ja) | 1999-06-30 | 2001-01-19 | Canon Inc | 撮像装置、その輻輳距離決定方法、記憶媒体および光学装置 |
JP4208351B2 (ja) * | 1999-06-30 | 2009-01-14 | キヤノン株式会社 | 撮像装置、輻輳距離決定方法および記憶媒体 |
JP3619063B2 (ja) | 1999-07-08 | 2005-02-09 | キヤノン株式会社 | 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 |
JP2002084555A (ja) | 2000-09-11 | 2002-03-22 | Canon Inc | 立体映像撮影装置 |
JP2002232913A (ja) * | 2001-01-31 | 2002-08-16 | Canon Inc | 複眼カメラ及び立体視画像観察システム |
JP2003018619A (ja) | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 立体映像評価装置およびそれを用いた表示装置 |
DE60238407D1 (de) | 2001-07-04 | 2011-01-05 | Koninkl Philips Electronics Nv | Auswahl von referenzmarken zur schnellschätzung der position eines bildaufnahmegeräts |
KR100424287B1 (ko) | 2001-09-10 | 2004-03-24 | 주식회사 제이앤에이치테크놀러지 | 비평행 광축 실시간 입체 영상 처리 시스템 및 방법 |
JP3673217B2 (ja) | 2001-12-20 | 2005-07-20 | オリンパス株式会社 | 映像表示装置 |
US8369607B2 (en) | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
JP2003284093A (ja) * | 2002-03-27 | 2003-10-03 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP4259913B2 (ja) | 2003-05-08 | 2009-04-30 | シャープ株式会社 | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP4490074B2 (ja) | 2003-04-17 | 2010-06-23 | ソニー株式会社 | 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム |
JP2005073049A (ja) | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP2005167310A (ja) | 2003-11-28 | 2005-06-23 | Sharp Corp | 撮影装置 |
JP4652727B2 (ja) | 2004-06-14 | 2011-03-16 | キヤノン株式会社 | 立体画像生成システムおよびその制御方法 |
JP4707368B2 (ja) * | 2004-06-25 | 2011-06-22 | 雅貴 ▲吉▼良 | 立体視画像作成方法および装置 |
US20060017834A1 (en) | 2004-07-23 | 2006-01-26 | Konica Minolta Opto, Inc. | Imaging optical system and imaging lens device |
WO2006038570A1 (ja) * | 2004-10-01 | 2006-04-13 | Sharp Kabushiki Kaisha | 立体画像形成システム |
DE102005040335B4 (de) * | 2005-03-10 | 2009-07-30 | Inaba, Minoru, Oyama | Digitale Stereokamera und Digitale Stereovideokamera |
JP4695912B2 (ja) | 2005-04-11 | 2011-06-08 | キヤノン株式会社 | ズームレンズ及びそれを有する撮像装置 |
KR100667810B1 (ko) * | 2005-08-31 | 2007-01-11 | 삼성전자주식회사 | 3d 영상의 깊이감 조정 장치 및 방법 |
KR101244911B1 (ko) * | 2005-10-11 | 2013-03-18 | 삼성전자주식회사 | 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체 |
JP5362189B2 (ja) * | 2006-05-10 | 2013-12-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
US7854518B2 (en) * | 2006-06-16 | 2010-12-21 | Hewlett-Packard Development Company, L.P. | Mesh for rendering an image frame |
KR101311896B1 (ko) * | 2006-11-14 | 2013-10-14 | 삼성전자주식회사 | 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치 |
US20080123901A1 (en) | 2006-11-29 | 2008-05-29 | D&S Consultants, Inc. | Method and System for Comparing Images Using a Pictorial Edit Distance |
KR20080076628A (ko) | 2007-02-16 | 2008-08-20 | 삼성전자주식회사 | 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법 |
JP4757812B2 (ja) | 2007-02-20 | 2011-08-24 | 富士フイルム株式会社 | 立体撮影装置および方法並びにプログラム |
JP5296337B2 (ja) | 2007-07-09 | 2013-09-25 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システムおよび画像処理方法 |
WO2009020277A1 (en) | 2007-08-06 | 2009-02-12 | Samsung Electronics Co., Ltd. | Method and apparatus for reproducing stereoscopic image using depth control |
US8390674B2 (en) | 2007-10-10 | 2013-03-05 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image |
CN102027752B (zh) * | 2008-05-12 | 2016-02-17 | 汤姆森特许公司 | 用于测量立体运动画面的潜在眼睛疲劳的系统和方法 |
JP2010045584A (ja) | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
US9336624B2 (en) * | 2008-10-07 | 2016-05-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for rendering 3D distance fields |
US8330802B2 (en) | 2008-12-09 | 2012-12-11 | Microsoft Corp. | Stereo movie editing |
US7933512B2 (en) | 2009-03-24 | 2011-04-26 | Patrick Campbell | Stereo camera with controllable pivot point |
US9275680B2 (en) * | 2009-06-16 | 2016-03-01 | Microsoft Technology Licensing, Llc | Viewer-centric user interface for stereoscopic cinema |
US8624959B1 (en) * | 2009-09-11 | 2014-01-07 | The Boeing Company | Stereo video movies |
US8798160B2 (en) * | 2009-11-06 | 2014-08-05 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting parallax in three-dimensional video |
US8963998B2 (en) * | 2011-04-15 | 2015-02-24 | Tektronix, Inc. | Full reference system for predicting subjective quality of three-dimensional video |
-
2011
- 2011-03-03 US US13/582,050 patent/US9128367B2/en not_active Expired - Fee Related
- 2011-03-03 WO PCT/JP2011/001267 patent/WO2011108276A1/ja active Application Filing
- 2011-03-03 JP JP2012503021A patent/JP5491617B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2011108276A1 (ja) | 2011-09-09 |
JP5491617B2 (ja) | 2014-05-14 |
US20120327191A1 (en) | 2012-12-27 |
US9128367B2 (en) | 2015-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5432365B2 (ja) | 立体撮像装置および立体撮像方法 | |
JP5444452B2 (ja) | 立体撮像装置および立体撮像方法 | |
JP5491617B2 (ja) | 立体撮像装置、および立体撮像方法 | |
US10116922B2 (en) | Method and system for automatic 3-D image creation | |
JP5414947B2 (ja) | ステレオ撮影装置 | |
US8736672B2 (en) | Algorithmic interaxial reduction | |
US20110228051A1 (en) | Stereoscopic Viewing Comfort Through Gaze Estimation | |
JP5204349B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
JP5510238B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
WO2012039307A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
KR101270025B1 (ko) | 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치 | |
JPWO2011070774A1 (ja) | 3d映像処理装置および3d映像処理方法 | |
US20110001798A1 (en) | 3-d auto-convergence camera | |
JP5889022B2 (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
JP5347987B2 (ja) | 映像処理装置 | |
KR20020037097A (ko) | 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템 | |
JP2017525197A (ja) | 立体視ビデオ生成 | |
JP6490107B2 (ja) | 立体視ビデオズーミング | |
JP6608852B2 (ja) | 立体視深度調節及び焦点調節 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5491617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |