JP5492300B2 - 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム - Google Patents

立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム Download PDF

Info

Publication number
JP5492300B2
JP5492300B2 JP2012522469A JP2012522469A JP5492300B2 JP 5492300 B2 JP5492300 B2 JP 5492300B2 JP 2012522469 A JP2012522469 A JP 2012522469A JP 2012522469 A JP2012522469 A JP 2012522469A JP 5492300 B2 JP5492300 B2 JP 5492300B2
Authority
JP
Japan
Prior art keywords
imaging
obstacle
area
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012522469A
Other languages
English (en)
Other versions
JPWO2012001975A1 (ja
Inventor
武弘 河口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012522469A priority Critical patent/JP5492300B2/ja
Publication of JPWO2012001975A1 publication Critical patent/JPWO2012001975A1/ja
Application granted granted Critical
Publication of JP5492300B2 publication Critical patent/JP5492300B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Description


本発明は、被写体の立体視表示を行うための複数の視差画像の撮像の際に、撮像手段の撮像範囲内に障害物が写り込んでいるかどうかを判定する技術に関するものである。

同一の被写体を異なる複数の視点から撮影することにより取得した複数の視差画像を用いて立体視表示を行うための撮影を行う、複数の撮影手段を有する複眼カメラが提案されている。

この複眼カメラについて、特許文献１では、複眼カメラの各々の撮像手段から得られた視差画像を用いて立体視表示した場合、ある撮像レンズに指がかかっていても、その撮像レンズ側で得られた視差画像中の指がかり部分は、指のかかっていない方の撮像レンズ側で得られた視差画像で補われるため、指がかかっていることが視認されづらいことがあるという課題が指摘されている。また、複眼カメラの各々の撮像手段から得られた視差画像のいずれかをスルー画像として複眼カメラのディスプレイに表示する場合、スルー画像として表示されていない視差画像の側の撮像レンズに指がかかっていると、撮像者はスルー画像を見るだけでは撮像レンズに対する指がかりを認識することができないという課題も指摘されている。

これに対して、特許文献１では、複眼カメラにおいて、各視差画像から指がかり領域の有無を判定し、指がかり領域が存在する場合は、特定された指がかり領域を強調表示等することが提案されている。

ここで、指がかり領域の具体的な判定方法としては、以下の３つの方法が挙げられている。第１の方法は、各視差画像に対して、測光素子の測光結果と撮像素子の測光結果を比較し、その差が所定値以上であった場合に、測光部または撮像部のいずれかに指がかり領域が存在すると判定するというものである。第２の方法は、複数の視差画像に対して、個別の画像毎に、ＡＦ評価値やＡＥ評価値、ホワイトバランスの局所的な異常がある場合に、指がかり領域が存在すると判定するというものである。第３の方法は、ステレオマッチングの手法を用いたものであり、複数の視差画像の一方から特徴点を求め、他方の視差画像から特徴点に対応する対応点を求め、対応点のない領域を指がかり発生領域と判定するものである。

また、特許文献２には、単眼カメラにおける指がかり領域の判定方法が記載されている。具体的には、ライブビュー画像を時系列的に複数取得し、低輝度領域の位置の経時変化を捕捉し、非移動低輝度領域を指がかり領域と判定するものである（以下、第４の方法と呼ぶ）。また、フォーカスレンズの位置を移動させつつ時系列的に取得される複数のＡＦ用画像内の所定領域のコントラストの経時変化に基づいて、レンズ位置が近側端に近づく際に所定領域のコントラスト値が増加し続ける場合、その所定領域を指がかり領域と判定する方法（以下、第５の方法と呼ぶ）も記載されている。

特開２０１０−１１４７６０号公報 特開２００４−４０７１２号公報

しかしながら、上記第１の判定方法は、撮像素子とは別に測光素子を設けたカメラにしか採用することができない。また、上記第２、第４、第５の判定方法は、１つの視差画像のみから指がかり領域を判定する方法であり、例えば、撮像範囲の周縁部により近景の対象物があり、中心部により遠景の主要被写体がある場合のように、被写体等の撮像対象の状態によっては、指がかり領域を正しく判定できない可能性がある。さらに、上記第３の判定方法で用いられるステレオマッチング法は、演算量が多くなり、処理時間が増大してしまう。上記第４の判定方法においても、ライブビュー画像を時系列的に解析して指がかり領域を判定し続ける必要があるので、計算コストや消費電力が増大してしまう。

本発明は上記事情に鑑みてなされたものであり、複眼撮像装置において、より高い精度で、かつ、より少ない計算コストや消費電力で、撮像手段の撮像範囲内に指等の障害物が写り込んでいるかどうかを判定できるようにすることを目的とする。

本発明による複眼撮像装置は、被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置であって、該撮像手段における各撮像領域内の複数の小領域毎に所定の指標値を取得する指標値取得手段と、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定する障害物判定手段とを備えたことを特徴とするものである。

本発明による障害物判定方法は、被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置において、前記撮像手段の少なくとも１つにおける前記撮像領域内に障害物が含まれているかどうかを判定する障害物判定方法であって、該撮像手段における各撮像領域内の複数の小領域毎に所定の指標値を取得するステップと、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを有することを特徴とする。

本発明による障害物判定プログラムは、被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置に組込み可能な障害物判定プログラムであって、該複眼撮像装置に、該撮像手段における各撮像領域内の複数の小領域毎に所定の指標値を取得するステップと、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを実行させることを特徴とする。

さらに、本発明の障害物判定装置は、撮像手段を用いて異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の撮像画像、または、該撮像画像の付帯情報から、前記撮像画像の撮像の際の撮像領域内の複数の小領域毎に所定の指標値を取得する指標値取得手段と、前記撮像領域における位置が相対応する、異なる前記撮像画像の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像画像の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像画像の少なくとも１つにおける前記撮像領域内に、前記撮像手段の撮像光学系に近接する障害物が含まれていたと判定する判定手段とを設けたことを特徴とする。

ここで、本発明の障害物判定装置は、立体視表示・出力用の画像表示装置や写真印刷装置等に実装してもよい。

本発明において、「障害物」の具体例としては、撮像者の指、手の他、撮像者が撮像時に手に持っており、撮像部の画角内に入ってしまったもの（例えば携帯電話のストラップ）等、撮像者が意図しないで、撮像画像に含まれてしまうものが挙げられる。

「小領域」の大きさは、各撮像光学系間の距離等に基づいて、理論的および／または実験的および／または経験的に導出された大きさとすることが考えられる。

「所定の指標値」の具体的な取得方法としては、以下の方法が挙げられる。

(1)撮像手段の各々が、撮像領域内の複数の点または領域で測光を行い、測光によって得られた測光値を用いて撮像の際の露出を決定するように構成し、小領域毎の測光値を指標値として取得する。

(2)撮像画像の各々から小領域毎に輝度値を算出し、算出された輝度値を指標値として取得する。

(3)撮像手段の各々が、撮像領域内の複数の点または領域でのＡＦ評価値に基づいて各撮像手段の撮像光学系の合焦制御を行うように構成し、小領域毎のＡＦ評価値を指標値として取得する。

(4)撮像画像の各々から、空間周波数が所定の基準を満たす程度に高い成分を抽出し、小領域毎の高周波成分の量を指標値として取得する。

(5)前記撮像手段の各々が、前記撮像領域内の複数の点または領域での色情報に基づいて該各撮像手段のオートホワイトバランス制御を行うように構成し、小領域毎の色情報を指標値として取得する。

(6)撮像画像の各々から小領域毎に色情報を算出し、色情報を指標値として取得する。ここで、色情報としては様々な色空間を用いることができる。

上記(1)、(3)、または(5)において、各小領域内には、測光値、ＡＦ評価値、または色情報が取得される撮像領域内の点または領域が複数含まれるようにし、各小領域内の複数の前記点または領域での指標値に基づいて小領域毎の指標値を算出するようにしてもよい。具体的には、小領域内の前記点または領域の各々での指標値の平均値、中央値等の代表値を各小領域の指標値とすることが考えられる。

また、撮像手段が、本撮像による撮像画像の出力と、本撮像に先立って行われる、本撮像の撮像条件の決定のためのプレ撮像による撮像画像の出力とを行うように構成し、プレ撮像に応じて指標値を取得するようにしてもよい。例えば、上記(1)、(3)、または(5)の場合、撮像者によるプレ撮像のための操作に応じて、撮像手段が測光やＡＦ評価値や色情報の算出を行ってもよい。一方、上記(2)、(4)、(6)の場合、プレ撮像による撮像画像に基づいて指標値を取得するようにしてもよい。

「前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に、前記指標値を比較し」について、比較対象となる小領域は、異なる撮像手段の撮像領域に属するものであり、各撮像領域における位置が相対応するものである。ここで、「各撮像領域における位置が相対応する」とは、例えば、各撮像領域について、領域の左上端を原点とし、右方向をｘ軸の正の方向、下方向をｙ軸の正の方向とする座標系を設けた場合に、各小領域の位置座標が一致することを意味する。ここで、各撮像手段から出力された撮像画像中の主要被写体の視差が略０となるように視差調整を行った後（各撮像領域の位置の対応関係の調整を行った後）、上記のようにして、各小領域の、各撮像領域における位置の対応関係を求めるようにしてもよい。

「前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合」とは、異なる撮像手段の撮像領域間で、全体として、指標値に有意な差がある場合を意味する。すなわち、「所定の基準」とは、小領域毎の指標値の相違を撮像領域全体として総合的に判断するための基準を意味する。したがって、「前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合」の具体例としては、異なる撮像手段の撮像領域について、相対応する小領域間での指標値の差の絶対値や比が所定の閾値よりも大きい小領域の組が所定の閾値以上存在する場合が挙げられる。

また、本発明において、撮像領域の中心部は、上記の指標値の取得および／または障害物の判定の処理対象外としてもよい。

また、本発明において、複数種類の指標値を取得するようにしてもよい。この場合、複数種類の指標値毎に上記の比較を行い、少なくとも１つの指標値の相違が所定の基準を満たす程度に大きい場合に、撮像手段の少なくとも１つにおける撮像領域内に障害物が含まれていると判定するようにしてもよい。あるいは、複数の指標値において、その相違が所定の基準を満たす程度に大きい場合に、撮像手段の少なくとも１つにおける撮像領域内に障害物が含まれていると判定するようにしてもよい。

また、本発明において、撮像領域内に障害物が含まれていると判定された場合に、その旨を通知するようにしてもよい。

本発明によれば、複眼撮像装置の複数の撮像手段の各々における撮像領域内の複数の小領域毎に所定の指標値を取得し、撮像領域における位置が相対応する、異なる撮像手段の撮像領域内の小領域毎に、指標値を比較し、撮像領域間での指標値の相違が所定の基準を満たす程度に大きい場合に、撮像手段の少なくとも１つにおける撮像領域内に障害物が含まれていると判定することができる。

ここで、異なる撮像手段の撮像領域間での指標値の比較によって、障害物の有無の判定が行われるので、背景技術として挙げた上記第１の判定方法のように、撮像素子とは別に測光素子を設ける必要がなくなり、ハードウェア設計上の自由度が上がる。

また、障害物が含まれている領域の存在は、異なる撮像手段による撮像画像の差異としてより顕著に現れ、その差異は、各撮像手段の間での視差によって画像中に現れる誤差よりも大きい。したがって、本発明のように異なる撮像手段の撮像領域間での指標値の比較を行うことにより、上記第２、第４、第５の判定方法のように１つの撮像画像のみから障害物が含まれている領域を判定する場合よりも高い精度で、この判定を行うことができる。

さらに、本発明では、撮像領域における位置が相対応する小領域毎に指標値の比較を行うので、上記第３の判定方法のように画像の内容的特徴に基づく撮像画像間のマッチングを行う場合よりも、計算コストや消費電力を低減することができる。

以上のように、本発明によれば、複眼撮像装置において、より高い精度で、かつ、より少ない計算コストや消費電力で、撮像手段の撮像範囲内に指等の障害物が写り込んでいるかどうかを判定することが可能になる。なお、本発明の障害物判定装置においても、すなわち、本発明の障害物判定装置が実装された立体視用画像の出力装置においても、同様の効果が得られる。

また、指標値として、撮像手段で得られる測光値やＡＦ評価値や色情報を用いるようにした場合には、撮像手段での撮像動作の中で通常取得される数値を流用することになるので、新たな指標値を算出する処理を行う必要がなくなり、処理効率の点でより有利となる。

また、指標値として測光値や輝度値を用いるようにした場合には、撮像領域内の障害物とその背景が同様のテクスチャーの場合や同色の場合であっても、撮像領域内の障害物とその背景の明るさの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。

また、指標値としてＡＦ評価値や高周波成分の量を用いるようにした場合には、撮像領域内の障害物とその背景が同程度の明るさの場合や同色の場合であっても、撮像領域内の障害物とその背景のテクスチャーの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。

また、指標値として色情報を用いるようにした場合には、撮像領域内の障害物とその背景が同程度の明るさの場合や同様のテクスチャーの場合であっても、撮像領域内の障害物とその背景の色の違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。

また、複数の種類の指標値を用いるようにした場合には、各指標値の特性に基づく長所・短所を互いに補い合うことにより、撮像領域内の障害物とその背景が様々な状況にあっても、より高い精度で、かつ、より安定した精度で障害物が含まれていることを判定することが可能になる。

また、小領域の大きさをある程度大きくした場合、例えば、各小領域内に、撮像手段で測光値やＡＦ評価値が取得される点や領域が複数存在するようにし、小領域内の各点または領域での測光値やＡＦ評価値に基づいて小領域毎の指標値を算出するようにした場合、各撮像手段間での視差による誤差が小領域内に拡散されることになるので、より高い精度で障害物が含まれていることを判定することが可能になる。

一方、撮像手段の各々から出力された撮像画像中の主要被写体の視差が略０となるように、各撮像領域の位置の対応関係を調整した後、撮像領域における位置が相対応する、異なる撮像手段の撮像領域内の小領域毎に指標値を比較するようにした場合、各撮像画像間での視差による被写体の位置ずれが小さくなるので、各撮像画像間での指標値の相違が障害物の存在を表している可能性がより高くなり、より高い精度で障害物が含まれていることを判定することが可能になる。

また、撮像領域の中心部を指標値の取得や障害物の判定の処理対象外とした場合には、撮像手段の撮像光学系に近接する障害物は、少なくとも撮像領域の周辺部には必ず存在することから、障害物が含まれている可能性がより低い中心部を処理対象から除くことにより、判定精度が向上する。

また、本撮像に先立って行われる、該本撮像の撮像条件の決定のためのプレ撮像に応じて指標値を取得するようにした場合には、本撮像を行う前に、障害物が含まれていることを判定することが可能になるので、例えば、その旨を通知することにより、本撮像の失敗を事前に回避することができる。なお、本撮像に応じて指標値を取得するようにしたとしても、例えば、その旨を通知することにより、撮像者はすぐに本撮像の失敗に気づくことができ、迅速に再撮像を行うことが可能になる。

本発明の実施形態となる複眼カメラの正面側斜視図 複眼カメラの背面側斜視図 複眼カメラの内部構成を示す概略ブロック図 複眼カメラの各撮像部の構成を示す図 立体視用画像の画像ファイルのファイルフォーマットを示す図 モニタの構成を示す図 レンチキュラーシートの構成を示す図 ３次元処理を説明するための図 障害物が含まれる視差画像を示す図 障害物が含まれない視差画像を示す図 警告メッセージの表示例を示す図 本発明の第１、第３、第４、第６の実施形態となる障害物判定部の詳細を表すブロック図 障害物が含まれる撮像領域中の各エリアにおける測光値の一例を表す図 障害物が含まれない撮像領域中の各エリアにおける測光値の一例を表す図 相対応するエリアでの測光値の差分値の一例を表す図 相対応するエリアでの測光値の差分値の絶対値の一例を表す図 本発明の第１、第３、第４、第６の実施形態における撮像処理の流れを表すフローチャート 本発明の第２、第５の実施形態となる障害物判定部の詳細を表すブロック図 障害物が含まれる撮像領域中の各エリアにおける測光値を近接４エリアで平均した結果の一例を表す図 障害物が含まれない撮像領域中の各エリアにおける測光値を近接４エリアで平均した結果の一例を表す図 相対応する統合エリアでの平均測光値の差分値の一例を表す図 相対応する統合エリアでの平均測光値の差分値の絶対値の一例を表す図 本発明の第２、第５の実施形態における撮像処理の流れを表すフローチャート カウント対象外の中心部のエリアの一例を表す図 障害物が含まれる撮像領域中の各エリアにおけるＡＦ評価値の一例を表す図 障害物が含まれない撮像領域中の各エリアにおけるＡＦ評価値の一例を表す図 相対応するエリアでのＡＦ評価値の差分値の一例を表す図 相対応するエリアでのＡＦ評価値の差分値の絶対値の一例を表す図 障害物が含まれる撮像領域中の各エリアにおけるＡＦ評価値を近接４エリアで平均した結果の一例を表す図 障害物が含まれない撮像領域中の各エリアにおけるＡＦ評価値を近接４エリアで平均した結果の一例を表す図 相対応する統合エリアでの平均ＡＦ評価値の差分値の一例を表す図 相対応する統合エリアでの平均ＡＦ評価値の差分値の絶対値の一例を表す図 カウント対象外の中心部のエリアの他の一例を表す図 本発明の第７、第９の実施形態となる障害物判定部の詳細を表すブロック図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第１の色情報の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第１の色情報の例を表す図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第２の色情報の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第２の色情報の例を表す図 相対応するエリアでの色情報の距離の一例を表す図 本発明の第７、第９の実施形態における撮像処理の流れを表すフローチャート 本発明の第８の実施形態となる障害物判定部の詳細を表すブロック図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第１の色情報を近接４エリアで平均した結果の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第１の色情報を近接４エリアで平均した結果の例を表す図 撮像部の撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける第２の色情報を近接４エリアで平均した結果の例を表す図 障害物が含まれない撮像領域中の各エリアにおける第２の色情報を近接４エリアで平均した結果の例を表す図 相対応する統合エリアでの色情報の距離の一例を表す図 本発明の第８の実施形態における撮像処理の流れを表すフローチャート カウント対象外の中心部のエリアの他の一例を表す図 本発明の第１０、第１１の実施形態となる障害物判定部の詳細を表すブロック図 本発明の第１０の実施形態における撮像処理の流れを表すフローチャート（前半） 本発明の第１０の実施形態における撮像処理の流れを表すフローチャート（後半） 本発明の第１１の実施形態における撮像処理の流れを表すフローチャート（前半） 本発明の第１１の実施形態における撮像処理の流れを表すフローチャート（後半）

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態となる複眼カメラの正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼カメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。デジタルカメラ１の正面には、フラッシュ５および２つの撮像部２１Ａ，２１Ｂのレンズが配設されている。また、背面には、各種表示を行う液晶モニタ（以下単にモニタとする）７および各種操作ボタン８が配設されている。

図３は複眼カメラ１の内部構成を示す概略ブロック図である。図３に示すように、本発明の実施形態となる複眼カメラ１は、公知の複眼カメラと同様に、２つの撮像部２１Ａ，２１Ｂ、フレームメモリ２２、撮像制御部２３、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６、デジタル信号処理部２７、３次元処理部２８、表示制御部２９、圧縮／伸長処理部３０、メディア制御部３１、入力部３３、ＣＰＵ３４、内部メモリ３５、データバス３６を備えている。なお、撮像部２１Ａ，２１Ｂは、被写体を見込む輻輳角を持って、あらかじめ定められた基線長となるように配置されている。なお、輻輳角および基線長の情報は内部メモリ２７に記憶されている。

図４は、撮像部２１Ａ，２１Ｂの構成を示す図である。図４に示すように撮像部２１Ａ，２１Ｂは、公知の複眼カメラと同様に、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、撮像素子１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。

レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮像制御部２２が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。

絞り１１Ａ，１１Ｂは、撮像制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

撮像素子１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号が取得される。また、撮像素子１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１４Ａ，１４Ｂは、撮像素子１３Ａ，１３Ｂから出力されるアナログ撮像信号に対して、アナログ撮像信号のノイズを除去する処理、およびアナログ撮像信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮像信号をデジタル信号に変換する。なお、撮像部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮像部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

フレームメモリ２２は、撮像部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データが、画像入力コントローラ（図示なし）を介して取り込まれる作業用メモリであり、各種処理を行う際に使用される。

撮像制御部２３は、各部の処理のタイミングの制御を行う。具体的には、レリーズボタン２の全押し操作により、撮像部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮像の指示を行う。なお、レリーズボタン２が操作される前は、撮像制御部２３は、撮像範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮像部２１Ａ，２１Ｂに対して行う。

ＡＦ処理部２４は、レリーズボタン２の半押し操作により撮像部２１Ａ，２１Ｂが取得した各プレ画像の画像信号に基づいてＡＦ評価値を算出し、ＡＦ評価値に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮像部２１Ａ，２１Ｂに出力する。ここでは、ＡＦ処理による焦点位置の検出方式としては、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が採用されている。例えば、ＡＦ評価値は、所定のハイパスフィルタの出力値とすることができ、この場合、その値が大きいほどコントラストが高いことを意味する。

ＡＥ処理部２５は、ここでは多分割測光方式が採用されており、各プレ画像の画像信号を用いて、撮像領域を複数のエリアに分割して個別に測光し、各エリアの測光値に基づいて露出（絞り値とシャッタ速度）を決定し、撮像部２１Ａ，２１Ｂに出力する。

ＡＷＢ処理部２６は、プレ画像のＲ，Ｇ，Ｂの各画像信号を用いて、撮像領域を分割した複数のエリア毎に、オートホワイトバランス用の色情報を算出する。

ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６は、撮像部毎に順次処理を行ってもよいし、各処理部を撮像部の数だけ設け、並列的に処理を行ってもよい。

デジタル信号処理部２７は、撮像部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、デジタル信号処理部２７における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２８は、デジタル信号処理部２７によって処理が施された第１および第２の画像Ｇ１，Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０には、第１および第２の画像Ｇ１，Ｇ２の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角および撮像日時等の付帯情報、および視点位置を表す視点情報が格納される。

図５は立体視用画像の画像ファイルのファイルフォーマットを示す図である。図５に示すように立体視用の画像ファイルＦ０は、第１の画像Ｇ１の付帯情報Ｈ１、第１の画像Ｇ１の視点情報Ｓ１、第１の画像Ｇ１の画像データ（画像データについても参照符号Ｇ１を用いるものとする）、第２の画像Ｇ２の付帯情報Ｈ１、第２の画像Ｇ２の視点情報Ｓ２、および第２の画像Ｇ２の画像データが格納されてなる。また、図示はしないが、第１および第２の画像Ｇ１，Ｇ２についての付帯情報、視点情報および画像データの前後には、データの開始位置および終了位置を表す情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２の撮像日、基線長、および輻輳角の情報が含まれる。また、付帯情報Ｈ１，Ｈ２には第１および第２の画像Ｇ１，Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮像部から順に付与した視点位置の番号を用いることができる。

メディア制御部２９は、記録メディア３０にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。

表示制御部３１は、撮像時においてフレームメモリ２２に格納された第１および第２の画像Ｇ１，Ｇ２および第１および第２の画像Ｇ１，Ｇ２から生成された立体視用画像ＧＲをモニタ７に表示させたり、記録メディア３０に記録されている第１および第２の画像Ｇ１，Ｇ２および立体視用画像ＧＲをモニタ７に表示させたりする。

図６はモニタ７の構成を示す図である。図６に示すように、モニタ７は、ＬＥＤにより発光するバックライトユニット４０および各種表示を行うための液晶パネル４１を積層し、液晶パネル４１にレンチキュラーシート４２を取り付けることにより構成されている。

図７はレンチキュラーシートの構成を示す図である。図７に示すようにレンチキュラーシート４２は、複数のシリンドリカルレンズ４３を並列に並べることにより構成されている。

３次元処理部３２は、第１および第２の画像Ｇ１，Ｇ２をモニタ７に立体視表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行って立体視用画像ＧＲを生成する。図８は３次元処理を説明するための図である。図８に示すように３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２を垂直方向に短冊状に切り取り、レンチキュラーシート４２におけるシリンドリカルレンズ４３のそれぞれに、位置が対応する短冊状に切り取った第１および第２の画像Ｇ１，Ｇ２を交互に配置するように３次元処理を行って、立体視用画像ＧＲを生成する。なお、３次元処理部３０は、立体視用画像ＧＲの立体感を適切なものとするために、第１および第２の画像Ｇ１，Ｇ２の視差を補正するようにしてもよい。ここで、視差は、第１および第２の画像Ｇ１，Ｇ２の双方に含まれる被写体の、第１および第２の画像Ｇ１，Ｇ２の横方向における画素位置の相違として算出することができる。視差を調整することにより、立体視用画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。

入力部３３は、撮像者が複眼カメラ１の操作を行うためのインターフェースであり、レリーズボタン２、ズームレバー４および各種操作ボタン８等が該当する。

ＣＰＵ３４は、上記各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

内部メモリ３５は、複眼カメラ１において設定される各種定数、およびＣＰＵ３４が実行するプログラム等を記憶する。

データバス３６は、複眼カメラ１を構成する各部およびＣＰＵ３５に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

本発明の実施形態となる複眼カメラ１は、上記の構成に加えて、本発明の障害物判定処理を実現する障害物判定部３７、警告情報生成部３８をさらに備えている。

撮像者が本実施形態による複眼カメラ１を用いて撮像を行う場合、モニタ７に表示される立体視用のスルー画像を見ながらフレーミングを行うが、この際、例えば、複眼カメラ１を保持する左手の指が撮像部２１Ａの画角内に入ってしまい、撮像部２１Ａの画角の一部を遮ってしまう場合がある。このような場合、図９Ａに例示したように、撮像部２１Ａにより取得される第１の画像Ｇ１には、下部に指が障害物として含まれてしまい、その背景が見えなくなってしまう。一方、図９Ｂに例示したように、撮像部２１Ｂにより取得される第２の画像Ｇ２には、障害物は含まれていない。

このような場合、第１の画像Ｇ１がモニタ７に平面的に表示される構成であれば、撮像者はモニタ７のスルー画像を見ることにより、撮像部２１Ａに指等がかかっていることを認識することが可能である。しかしながら、第２の画像Ｇ２がモニタ７に平面的に表示される構成であれば、撮像者はモニタ７のスルー画像を見ても、撮像部２１Ａに指等がかかっていることを認識することができない。また、モニタ７には第１の画像Ｇ１および第２の画像Ｇ２から生成された立体視用画像ＧＲが立体視表示されている場合には、第１の画像中の指等がかかっている領域の背景の情報は、第２の画像Ｇ２によって補われてしまうので、撮像者はモニタ７のスルー画像を見ても、撮像部２１Ａに指等がかかっていることを認識しづらい。

そこで、障害物判定部３７は、第１および第２の画像Ｇ１，Ｇ２の一方に指等の障害物が含まれるか否かを判定する。

警告情報生成部３８は、障害物判定部３７において、障害物が含まれていると判定された場合に、その旨を表す警告メッセージ、例えば、「障害物あり」の文字を生成する。生成された警告メッセージは、図９に例示したように、第１または第２の画像Ｇ１，Ｇ２に重畳されてモニタ７に表示される。なお、警告メッセージは、上記のように文字情報として撮像者に通知されるようにしてもよいし、複眼カメラ１のスピーカー（図示なし）等の音声出力インターフェースを介して、音声で通知されるようにしてもよい。

図１１は、本発明の第１の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本発明の第１の実施形態において、障害物判定部３７は、指標値取得部３７Ａ、エリア別差分値算出部３７Ｂ、エリア別差分絶対値算出部３７Ｃ、エリア計数部３７Ｄ、判定部３７Ｅから構成される。これらの障害物判定部３７の各処理部は、ＣＰＵ３４、あるいは、障害物判定部３７用の汎用プロセッサで実行される組み込みプログラムによってソフトウェア的に実現してもよいし、障害物判定部３７用の専用プロセッサとしてハードウェア的に実現してもよい。なお、ソフトウェア的に実現する場合、既存の複眼カメラに対してファームウェアの更新という方式で上記プログラムを提供してもよい。

指標値取得部３７Ａは、ＡＥ処理部２５で得られた、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの測光値を取得する。図１２Ａは、撮像部２１Ａの撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける測光値の一例を表したものであり、図１２Ｂは、障害物が含まれない撮像領域中の各エリアにおける測光値の一例を表したものである。ここでは、各値は、各撮像部２１Ａ、２１Ｂの各撮像領域の中央７０％を７×７エリアに分割して測光した１００倍精度の測光値となっている。図１２Ａに示したように、障害物が含まれるエリアは暗くなる傾向があり、測光値は小さくなっている。

エリア別差分値算出部３７Ｂは、各撮像領域中の相対応する位置にあるエリア間で、測光値の差分を算出する。すなわち、撮像部２１Ａの撮像領域中のｉ行目ｊ列目のエリアの測光値をＩＶ１(i,j)、撮像部２１Ｂの撮像領域中のｉ行目ｊ列目のエリアの測光値をＩＶ２(i,j)とすると、相対応するエリアでの測光値の差分値△ＩＶ(i,j)は、
△
ＩＶ(i,j)＝ＩＶ１(i,j)−ＩＶ２(i,j)
により算出される。図１３は、図１２Ａの各測光値をＩＶ１(i,j)、図１２Ｂの各測光値をＩＶ２(i,j)とした時に、相対応するエリア毎に差分値△ＩＶ(i,j)を算出した例である。

エリア別差分絶対値算出部３７Ｃは、上記差分値△ＩＶ(i,j)の絶対値｜△ＩＶ(i,j)｜を算出する。図１４は、図１３の差分値の絶対値を算出した例である。図に示したように、撮像部の撮像光学系の一方に障害物がかかっている場合、撮像領域中のその障害物がかかっている領域では、上記絶対値｜△ＩＶ(i,j)｜の値が大きくなる。

エリア計数部３７Ｄは、上記絶対値｜△ＩＶ(i,j)｜の値と所定の第１の閾値とを比較し、上記絶対値｜△ＩＶ(i,j)｜の値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする。例えば、図１４の場合、上記閾値を１００とすると、上記絶対値｜△ＩＶ(i,j)｜の値が１００よりも大きいのは、４９エリア中１３エリアとなっている。

判定部３７Ｅは、エリア計数部３７Ｄで得られたカウント数ＣＮＴの値と所定の第２の閾値とを比較し、上記カウント数ＣＮＴの値が第２の閾値よりも大きい場合には、警告メッセージの出力を要求する信号ＡＬＭを出力する。例えば、図１４の場合、第２の閾値を５とすると、上記カウント数ＣＮＴは１３で、第２の閾値よりも大きいので、信号ＡＬＭが出力される。

警告情報生成部３８は、判定部３７Ｅから信号ＡＬＭが出力された場合に、警告メッセージＭＳＧを生成し、出力する。

なお、上記説明において、第１および第２の閾値は、予め実験的・経験的に定められた固定値としてもよいし、撮像者が入力部３３を操作して設定・変更できるようにしてもよい。

図１５は、本発明の第１の実施形態において行われる処理の流れを表したフローチャートである。まず、レリーズボタン２の半押し操作が検知されると(#1;YES)、撮像部２１Ａ，２１Ｂにより撮像条件決定のためのプレ画像Ｇ１，Ｇ２が各々取得される(#2)。次に、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６の各々が処理を行い、各種撮像条件が決定され、決定された撮像条件に応じて撮像部２１Ａ，２１Ｂの各部の調整が行われる(#3)。このとき、ＡＥ処理部２５により、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの測光値ＩＶ１(i,j)、ＩＶ２(i,j)が取得される。

そして、障害物判定部３７において、指標値取得部３７Ａが、各エリアの測光値ＩＶ１(i,j)、ＩＶ２(i,j)を取得し(#4)、エリア別差分値算出部３７Ｂが、各撮像領域中の相対応する位置にあるエリア間で、測光値ＩＶ１(i,j)、ＩＶ２(i,j)の差分△ＩＶ(i,j)を算出し(#5)、エリア別差分絶対値算出部３７Ｃが差分△ＩＶ(i,j)の絶対値｜△ＩＶ(i,j)｜を算出する(#6)。ここで、エリア計数部３７Ｄが、絶対値｜△ＩＶ(i,j)｜の値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする(#7)。判定部３７Ｅは、カウント数ＣＮＴの値が第２の閾値よりも大きい場合には(#8;YES)、警告メッセージの出力を要求する信号ＡＬＭを出力し、警告情報生成部３８がこの信号ＡＬＭに応じて警告メッセージＭＳＧを生成する。生成された警告メッセージＭＳＧは、現在モニタ７に表示されているスルー画像に重畳されて表示される(#9)。一方、カウント数ＣＮＴの値が第２の閾値以下の場合には(#8;NO)、上記ステップ#9はスキップされる。

その後、レリーズボタン２の全押し操作が検知されると(#10;全押し)、撮像部２１Ａ，２１Ｂで本撮像が行われ、本撮像画像Ｇ１，Ｇ２が各々取得され(#11)、デジタル信号処理部２７による処理等を経た後、３次元処理部３０によって、第１の画像Ｇ１および第２の画像Ｇ２から立体視用画像ＧＲが生成され、出力され(#12)、一連の処理が終了する。なお、ステップ#10において、レリーズボタン２が半押しのままの場合は(#10;半押し)、ステップ#3で設定された撮像条件を維持したまま、レリーズボタン２の操作待ちとなり、半押しが解除された場合は(#10;解除)、レリーズボタン２の半押し操作待ち(#1)に戻る。

以上のように、本発明の第１の実施形態では、ＡＥ処理部２５によって、複眼カメラ１の複数の撮像部２１Ａ，２１Ｂの各々における撮像領域内の複数のエリア毎に取得された測光値を用いて、障害物判定部３７が、撮像領域における位置が相対応する、異なる撮像部の撮像領域内のエリア毎に測光値の差分の絶対値を求め、その差分の絶対値が所定の第１の閾値よりも大きいエリアの数を計数し、計数されたエリアの数が所定の第２の閾値よりも大きい場合に、撮像部２１Ａ、２１Ｂの少なくとも１つにおける撮像領域内に障害物が含まれていると判定することができる。したがって、障害物の判定のために、撮像素子とは別に測光素子を設ける必要がなくなり、ハードウェア設計上の自由度が上がる。また、異なる撮像部の撮像領域間での測光値の比較を行うことにより、１つの画像のみから障害物が含まれている領域を判定する場合よりも高い精度で、障害物の有無を判定することが可能になる。さらに、撮像領域における位置が相対応するエリア毎に測光値の比較を行うので、画像の内容的特徴に基づく撮像画像間のマッチングを行う場合よりも、計算コストや消費電力を低減することができる。

また、障害物判定部３７は、通常の撮像動作の中で取得される測光値を用いて障害物の有無の判定を行うので、新たな指標値を算出する処理を行う必要がなく、処理効率の点でより有利となる。

さらに、測光値を障害物の有無の判定のための指標値として用いるので、撮像領域内の障害物とその背景が同様のテクスチャーの場合や同色の場合であっても、撮像領域内の障害物とその背景の明るさの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。

さらに、各エリアは、１画素のサイズに対応する大きさよりも十分に大きく分割されているので、各撮像部間での視差による誤差がエリア内に拡散されることになり、より高い精度で障害物が含まれていることを判定することが可能になる。なお、エリアの分割は上記の７×７には限定されない。

さらに、障害物判定部３７は、本撮像に先立って行われるプレ撮像に応じて測光値を取得するので、本撮像を行う前に、撮像部に障害物がかかっていることを判定することが可能になり、障害物がかかっている場合には、警告情報生成部３８によって生成されるメッセージが撮像者に通知されることにより、本撮像の失敗を事前に回避することができる。

なお、上記実施形態では、障害物判定部３７は、ＡＥ処理部２５によって取得される測光値を用いて障害物の有無の判定を行っているが、露出方式が異なる場合等、撮像領域中のエリア毎の測光値が得られない場合も考えられる。このような場合には、各撮像部２１Ａ、２１Ｂで得られた画像Ｇ１，Ｇ２を上記と同様の複数のエリアに分割し、エリア毎の輝度値の代表値（平均値や中央値等）を算出するようにすればよい。これにより、輝度値の代表値の算出の処理負荷の点を除けば、上記と同様の作用効果が得られる。

図１６は、本発明の第２の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本発明の第２の実施形態は、第１の実施形態に平均指標値算出部３７Ｆを付加した構成となっている。

この平均指標値算出部３７Ｆは、指標値取得部３７Ａによって取得されたエリア毎の指標値ＩＶ１(i,j)、ＩＶ２(i,j)の各々に対して、隣接する４つのエリアにおける測光値の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する。なお、ｍ、ｎは、上記計算によって、出力後のエリアの数（行数や列数）が減少し、入力時のエリアの数とは異なることを意味している。図１７Ａ、図１７Ｂは、図１２Ａ、図１２Ｂの７×７エリアの測光値に対して、隣接する４つのエリア（例えば、図１２ＡのＲ１で囲まれた４つのエリア）の測光値の平均値を算出していくことによって、６×６エリアの平均測光値（上記Ｒ１で囲まれた４つのエリアの平均測光値は、図１７ＡのＲ２で囲まれたエリアの値となっている）が得られた例を示している。ここで、平均値を算出する対象となる入力側のエリアの数は４には限定されない。なお、以下では、この出力後のエリアを統合エリアと呼ぶ。

以降の各処理部は、エリアが統合エリアに置き換わることを除き、第１の実施形態と同様である。

すなわち、本実施形態では、エリア別差分値算出部３７Ｂは、各撮像領域中の相対応する位置にある統合エリア間で、平均測光値の差分△ＩＶ´(m,n)を算出する。図１８は、図１７Ａ、図１７Ｂの各平均測光値に対して、相対応する統合エリア毎に差分値を算出した例である。

また、エリア別差分絶対値算出部３７Ｃは、上記平均測光値の差分値△ＩＶ´(m,n)の絶対値｜△ＩＶ´(m,n)｜を算出する。図１９は、図１８の平均測光値の差分値の絶対値を算出した例である。

エリア計数部３７Ｄは、上記平均測光値の差分値の絶対値｜△ＩＶ´(m,n)｜が第１の閾値よりも大きい統合エリアの数ＣＮＴをカウントする。図１９の例では、上記閾値を１００とすると、上記絶対値｜△ＩＶ(i,j)｜の値が１００よりも大きいのは、３６エリア中８エリアとなっている。なお、カウント対象のエリアの母数が第１の実施形態とは異なるので、第１の閾値は第１の実施形態とは異なる値としてもよい。

判定部３７Ｅは、上記カウント数ＣＮＴの値が第２の閾値よりも大きい場合には、警告メッセージの出力を要求する信号ＡＬＭを出力する。なお、この第２の閾値も、第１の閾値と同様に、第１の実施形態とは異なる値としてもよい。

図２０は、本発明の第２の実施形態において行われる処理の流れを表したフローチャートである。図に示したとおり、ステップ#4において、指標値取得部３７Ａが、各エリアの測光値ＩＶ１(i,j)、ＩＶ２(i,j)を取得した後、平均指標値算出部３７Ｆが、エリア毎の指標値ＩＶ１(i,j)、ＩＶ２(i,j)の各々に対して、隣接する４つのエリアにおける測光値の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する(#4.1)。以降の処理の流れは、エリアが統合エリアに置き換わることを除き、第１の実施形態と同様である。

以上のように、本発明の第２の実施形態では、平均指標値算出部３７Ｆが、測光時のエリアを統合し、統合後の各エリアに対して平均測光値を算出するので、各撮像部間での視差による誤差がエリアの統合によって拡散されることになるので、誤判定の減少に資する。

なお、本実施形態において、統合後のエリアにおける指標値（測光値）は、統合前のエリアの指標値の平均値には限定されず、中央値等の他の代表値であってもよい。

本発明の第３の実施形態は、第１の実施形態における測光時のエリアＩＶ１(i,j)、ＩＶ２(i,j)の各々のうち、中心付近のエリアは、処理対象外とした実施態様である。

具体的には、エリア計数部３７Ｄが、図１５のフローチャートのステップ#7において、相対応するエリア毎の測光値の差の絶対値｜△ＩＶ(i,j)｜の値と所定の第１の閾値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする際に、中心付近のエリアを除いてカウントするようにすればよい。図２１は、図１４の７×７のエリアのうち、中心付近の３×３のエリアはカウント対象外とした例である。この場合、閾値を１００とすると、上記絶対値｜△ＩＶ(i,j)｜の値が１００よりも大きいのは、周辺部の４０エリア中１１エリアとなり、判定部３７Ｅは、この値（１１）と第２の閾値とを比較することにより、障害物の有無を判定する。

あるいは、指標値取得部３７Ａが、中心付近の３×３エリアの測光値を取得しないようにしてもよいし、エリア別差分値算出部３７Ｂやエリア別差分絶対値算出部３７Ｃが、中心付近の３×３エリアに対しては計算を行わないようにし、エリア計数部３７Ｄにおいてカウント対象外となるような値を中心付近の３×３エリアに対して設定するようにしてもよい。

なお、中心付近のエリアの数は３×３には限定されない。

以上のように、本発明の第３の実施形態は、障害物が必ず撮像領域の周辺部から進入してくることを利用したものであり、撮像領域の中心部を測光値の取得や障害物の判定の処理対象外としたことにより、障害物が含まれている可能性がより低い中心部を処理対象から除外され、判定精度が向上する。

本発明の第４の実施形態は、第１の実施形態における測光値の代わりにＡＦ評価値を指標値として用いるようにした実施形態である。すなわち、図１１のブロック図の指標値取得部３７Ａが、図１５のフローチャートのステップ#4において、ＡＦ処理部２４で得られた、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアのＡＦ評価値を取得する点を除き、第１の実施形態と同様である。

図２２Ａは、撮像部２１Ａの撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおけるＡＦ評価値の一例を表したものであり、図２２Ｂは、障害物が含まれない撮像領域中の各エリアにおけるＡＦ評価値の一例を表したものである。ここでは、障害物よりも遠い位置にピントが合っている状態で、各撮像部２１Ａ、２１Ｂの各撮像領域を７×７エリアに分割してエリア毎にＡＦ評価値を算出している。したがって、図２２Ａに示したように、障害物が含まれるエリアのＡＦ評価値が低く、コントラストが低くなっている。

図２３は、図２２Ａの各ＡＦ評価値をＩＶ１(i,j)、図２２Ｂの各ＡＦ評価値をＩＶ２(i,j)とした時に、相対応するエリア毎に差分値△ＩＶ(i,j)を算出した例であり、図２４は、さらにその差分値△ＩＶ(i,j)の絶対値｜△ＩＶ(i,j)｜を算出した例である。図に示したように、この例では、撮像部の撮像光学系の一方に障害物がかかっている場合、撮像領域中のその障害物がかかっている領域では、上記絶対値｜△ＩＶ(i,j)｜の値が大きくなるので、所定の第１の閾値よりも上記絶対値｜△ＩＶ(i,j)｜が大きいエリアの数ＣＮＴをカウントし、カウント数ＣＮＴが所定の第２の閾値よりも大きいかどうかを判断することにより、障害物がかかっている領域を判定することができる。なお、特に第１の閾値については、第１の実施形態とは指標値の数値的意味が異なるので、異なる値が定められる。第２の閾値については、第１の実施形態と同じであってもよいし、異なっていてもよい。

以上のように、本発明の第４の実施形態では、障害物の有無の判定のための指標値としてＡＦ評価値を用いるので、撮像領域内の障害物とその背景が同程度の明るさの場合や同色の場合であっても、撮像領域内の障害物とその背景のテクスチャーの違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。

なお、上記実施形態では、障害物判定部３７は、ＡＦ処理部２４によって取得されるＡＦ評価値を用いて障害物の有無の判定を行っているが、合焦方式が異なる場合等、撮像領域中のエリア毎のＡＦ評価値が得られない場合も考えられる。このような場合には、各撮像部２１Ａ、２１Ｂで得られた画像Ｇ１，Ｇ２を上記と同様の複数のエリアに分割し、エリア毎に、高周波成分の量を表すハイパスフィルタの出力値を算出するようにすればよい。これにより、ハイパスフィルタ処理の負荷の点を除けば、上記と同様の作用効果が得られる。

本発明の第５の実施形態は、第２の実施形態における測光値の代わりにＡＦ評価値を指標値として用いるようにした実施形態であり、第２の実施形態と同様の効果が得られる。また、上記の指標値の相違を除けば、障害判定部３７の構成は図１６のブロック図と同じであり、処理の流れは図２０のフローチャートと同じである。

なお、図２５Ａ、図２５Ｂは、図２２Ａ、図２２Ｂの７×７エリアのＡＦ評価値に対して、隣接する４つのエリアのＡＦ評価値の平均値を算出していくことによって、６×６エリアの平均ＡＦ評価値が得られた例を示している。図２６は、各平均ＡＦ評価値に対して、相対応する統合エリア毎に差分値を算出した例であり、図２７は、図２６の平均ＡＦ評価値の差分値の絶対値を算出した例である。

本発明の第６の実施形態は、第３の実施形態における測光値の代わりにＡＦ評価値を指標値として用いるようにした実施形態であり、第３の実施形態と同様の効果が得られる。

なお、図２８は、図２４の７×７のエリアのうち、中心付近の３×３のエリアはカウント対象外とした例である。

本発明の第７の実施形態は、第１の実施形態における測光値の代わりにＡＷＢの色情報を指標値として用いるようにした実施形態である。ここで、色情報を指標値として用いる場合には、測光値やＡＦ評価値のように単純に相対応するエリア間での差分を取ることはあまり有効ではないので、相対応するエリア間での色情報の距離を用いる。図２９は、本実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、第１の実施形態のエリア別差分値算出部３７Ｂ、エリア別差分絶対値算出部３７Ｃの代わりにエリア別色距離算出部３７Ｇが設けられた構成となっている。

本実施形態では、指標値取得部３７Ａは、ＡＷＢ処理部２６で得られた、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの色情報を取得する。図３０Ａ、図３０Ｃは、撮像部２１Ａの撮像光学系の下部に障害物が含まれる場合の、撮像領域中の各エリアにおける色情報の例を表したものであり、図３０Ｂ、図３０Ｄは、障害物が含まれない撮像領域中の各エリアにおける色情報の例を表したものである。また、図３０Ａ、図３０Ｂでは、色情報としてＲ／Ｇ、図３０Ｃ、図３０Ｄでは、色情報としてＢ／Ｇが用いられている（Ｒ，Ｇ，Ｂは、各々、ＲＧＢ色空間における赤、緑、青の信号の信号値であり、エリア毎の平均信号値を表す）。撮像光学系に近い位置に障害物がある場合、その障害物の色情報は黒を表す情報に近くなる。したがって、複数の撮像部２１Ａ、２１Ｂのいずれの撮像領域に障害物が含まれている場合、その領域の色情報の距離は大きくなる。なお、色情報の算出方法は、これらに限定されない。また、色空間についてもＲＧＢ色空間には限定されず、Ｌａｂ等の他の色空間を用いてもよい。

エリア別色距離算出部３７Ｇは、各撮像領域中の相対応する位置にあるエリア間で、色情報の距離を算出する。具体的には、色情報が２つの要素からなる場合、色情報の距離は、例えば、第１の要素と第２の要素を直交する座標軸とする座標平面上に、各エリアにおける各要素の値をプロットした場合の２点間の距離として求められる。例えば、撮像部２１Ａの撮像領域中のｉ行目ｊ列目のエリアの色情報の各要素の値をＲＧ１、ＢＧ１、撮像部２１Ｂの撮像領域中のｉ行目ｊ列目のエリアの色情報の各要素の値をＲＧ２、ＢＧ２とすると、相対応するエリアでの色情報の距離Ｄは次式により求められる。
Figure 0005492300

図３１は、図３０Ａから図３０Ｄの色情報に基づいて、相対応するエリアでの色情報の距離を算出した例である。

エリア計数部３７Ｄは、上記色情報の距離Ｄの値と所定の第１の閾値とを比較し、上記距離Ｄの値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする。例えば、図３１の場合、上記閾値を３０とすると、上記距離Ｄの値が３０よりも大きいのは、４９エリア中２５エリアとなっている。

判定部３７Ｅは、第１の実施形態と同様に、エリア計数部３７Ｄで得られたカウント数ＣＮＴの値が第２の閾値よりも大きい場合には、警告メッセージの出力を要求する信号ＡＬＭを出力する。

なお、特に第１の閾値については、第１の実施形態とは指標値の数値的意味が異なるので、異なる値が定められる。第２の閾値については、第１の実施形態と同じであってもよいし、異なっていてもよい。

図３２は、本発明の第７の実施形態において行われる処理の流れを表したフローチャートである。まず、第１の実施形態と同様に、レリーズボタン２の半押し操作が検知されると(#1;YES)、撮像部２１Ａ，２１Ｂにより撮像条件決定のためのプレ画像Ｇ１，Ｇ２が各々取得される(#2)。次に、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６の各々が処理を行い、各種撮像条件が決定され、決定された撮像条件に応じて撮像部２１Ａ，２１Ｂの各部の調整が行われる(#3)。このとき、ＡＷＢ処理部２６により、各撮像部２１Ａ，２１Ｂの各撮像領域中の各エリアの色情報ＩＶ１(i,j)、ＩＶ２(i,j)が取得される。

そして、障害物判定部３７において、指標値取得部３７Ａが、各エリアの色情報ＩＶ１(i,j)、ＩＶ２(i,j)を取得した後、(#4)、エリア別色距離算出部３７Ｇは、各撮像領域中の相対応する位置にあるエリア間で、色情報の距離Ｄ(i,j)を算出する(#5.1)。ここで、エリア計数部３７Ｄが、色情報の距離Ｄ(i,j)の値が第１の閾値よりも大きいエリアの数ＣＮＴをカウントする(#7.1)。以降の処理の流れは、第１の実施形態のステップ#8以降と同様である。

以上のように、本発明の第７の実施形態では、障害物の有無の判定のための指標値として色情報を用いるので、撮像領域内の障害物とその背景が同程度の明るさの場合や同様のテクスチャーの場合であっても、撮像領域内の障害物とその背景の色の違いに基づいて、障害物が含まれていることを確実に判定することが可能になる。

なお、上記実施形態では、障害物判定部３７は、ＡＷＢ処理部２６によって取得される色情報を用いて障害物の有無の判定を行っているが、オートホワイトバランスの方式が異なる場合等、撮像領域中のエリア毎の色情報が得られない場合も考えられる。このような場合には、各撮像部２１Ａ、２１Ｂで得られた画像Ｇ１，Ｇ２を上記と同様の複数のエリアに分割し、エリア毎に、色情報を算出するようにすればよい。これにより、色情報の算出処理の負荷の点を除けば、上記と同様の作用効果が得られる。

図３３は、本発明の第８の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本発明の第８の実施形態は、第７の実施形態に平均指標値算出部３７Ｆを付加した構成となっている。

この平均指標値算出部３７Ｆは、指標値取得部３７Ａによって取得されたエリア毎の色情報の要素ＩＶ１(i,j)、ＩＶ２(i,j)毎に、隣接する４つのエリアにおける色情報の要素の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する。なお、ｍ、ｎは、第２の実施形態と同様の意味である。図３４Ａから図３４Ｄは、図３０Ａから図３０Ｄの７×７エリアの色情報の要素の値に対して、隣接する４つのエリアの色情報の要素の平均値を算出していくことによって、６×６エリア（統合エリア）の平均色情報要素が得られた例を示している。ここで、平均値を算出する対象となる入力側のエリアの数は４には限定されない。

以降の各処理部は、エリアが統合エリアに置き換わることを除き、第７の実施形態と同様である。なお、図３５は、図３４Ａから図３４Ｄの場合に、相対応する統合エリアにおける色情報の距離を算出した例である。

また、図３６のフローチャートに表したように、本実施形態における処理の流れは、第２の実施形態と第７の実施形態とを組み合わせたものとなっている。すなわち、本実施形態では、第２の実施形態と同様に、ステップ#4において、指標値取得部３７Ａが、各エリアの色情報ＩＶ１(i,j)、ＩＶ２(i,j)を取得した後、平均指標値算出部３７Ｆが、エリア毎の指標値ＩＶ１(i,j)、ＩＶ２(i,j)の各々に対して、隣接する４つのエリアにおける色情報の平均値ＩＶ１´(m,n)、ＩＶ２´(m,n)を算出する(#4.1)。これ以外の処理の流れは、エリアが統合エリアに置き換わることを除き、第７の実施形態と同様である。

以上より、本発明の第８の実施形態では、指標値として色情報を用いても、第２、第５の実施形態と同様の効果が得られる。

本発明の第９の実施形態は、第７の実施形態におけるオートホワイトバランス時のエリアＩＶ１(i,j)、ＩＶ２(i,j)の各々のうち、中心付近のエリアは、処理対象外とした実施態様であり、第３の実施形態と同様の効果が得られる。図３７は、オートホワイトバランス時の７×７のエリアのうち、中心付近の３×３のエリアは、エリア計数部３７Ｄによるカウント対象外とした例である。

上記各実施形態で例示した指標値を複数用いて障害物の有無の判定を行うようにしてもよい。具体的には、第１から第３の実施形態のいずれかによって、測光値に基づいて障害物の有無の判定を行うとともに、第４から第６の実施形態のいずれかによって、ＡＦ評価値に基づいて上記判定を行い、さらに、第７から第９の実施形態のいずれかによって、色情報に基づいて上記判定を行い、これらのうちの少なくとも１つの判定において、障害物が含まれていると判定されれば、撮像部の少なくとも１つに障害物がかかっていると判定するようにしてもよい。

図３８は、本発明の第１０の実施形態となる障害物判定部３７および警告情報生成部３８の構成を模式的に表したブロック図である。図に示したように、本実施形態の障害物判定部３７は、第１、第４、第７の実施形態を組み合わせた構成となっている。すなわち、測光値、ＡＦ評価値、ＡＷＢ色情報用の指標値取得部３７Ａ、測光値、ＡＦ評価値用のエリア別差分値算出部３７Ｂ、測光値、ＡＦ評価値用のエリア別差分絶対値算出部３７Ｃ、エリア別色距離算出部３７Ｇ、測光値、ＡＦ評価値、ＡＷＢ色情報用のエリア計数部３７Ｄ、測光値、ＡＦ評価値、ＡＷＢ色情報用の判定部３７Ｅから構成される。各処理部の具体的内容は、第１、第４、第７の実施形態のものと同様である。

図３９Ａ、図３９Ｂは、本発明の第１０の実施形態において行われる処理の流れを表したフローチャートである。図に示したように、各実施形態と同様に、レリーズボタン２の半押し操作が検知されると(#21;YES)、撮像部２１Ａ，２１Ｂにより撮像条件決定のためのプレ画像Ｇ１，Ｇ２が各々取得される(#22)。次に、ＡＦ処理部２４、ＡＥ処理部２５、ＡＷＢ処理部２６の各々が処理を行い、各種撮像条件が決定され、決定された撮像条件に応じて撮像部２１Ａ，２１Ｂの各部の調整が行われる(#32)。

次に、ステップ#24から#28までは、第１の実施形態のステップ#4から#8と同様であり、測光値に基づく障害物判定処理が行われる。その後、ステップ#29から#33までは、第４の実施形態のステップ#4から#8と同様であり、ＡＦ評価値に基づく障害物判定処理が行われる。さらに、ステップ#34から#37までは、第７の実施形態のステップ#4から#8と同様であり、ＡＷＢ色情報に基づく障害物判定処理が行われる。

そして、各判定処理のいずれかにおいて、障害物が含まれていると判定された場合には（#28,
#33, #37; YES）、その指標値用の判定部３７Ｅが、警告メッセージの出力を要求する信号ＡＬＭを出力し、上記各実施形態と同様に、警告情報生成部３８がこの信号ＡＬＭに応じて警告メッセージＭＳＧを生成する(#38)。以降のステップ#39から#41は、上記各実施形態のステップ#10から#12と同様である。

以上のように、本発明の第１０の実施形態によれば、各指標値のうちの少なくとも１つの判定において、障害物が含まれていると判定されれば、撮像部の少なくとも１つに障害物がかかっていると判定することができる。したがって、各指標値の特性に基づく長所・短所を互いに補い合うことにより、撮像領域内の障害物とその背景が様々な状況にあっても、より高い精度で、かつ、より安定した精度で障害物が含まれていることを判定することが可能になる。例えば、測光値に基づくだけでは正しく判定できなかった、撮像領域内の障害物とその背景が同程度の明るさのケースに対しては、ＡＦ評価値または色情報に基づく判定も行うことにより、正しく判定されるようになる。

一方、本発明の第１１の実施形態は、複数種類の指標値のすべてで障害物が含まれていると判定されれば、撮像部の少なくとも１つに障害物がかかっていると判定する態様である。本実施形態となる障害物判定部３７および警告情報生成部３８の構成は第１０の実施形態と同様である。

図４０Ａ、図４０Ｂは、本発明の第１１の実施形態において行われる処理の流れを表したフローチャートである。図に示したように、ステップ#51から#57までは第１０の実施形態の#21から#27と同様である。ステップ#58において、測光値の絶対値が閾値Th1AEより大きいエリアの数が閾値Th2AE以下の場合には、他の指標値についての判定処理がスキップされる(#58;
NO)。一方、測光値の絶対値が閾値Th1AEより大きいエリアの数が閾値Th2AEよりも大きい、すなわち測光値に基づけば障害物が含まれていると判定された場合には、ＡＦ評価値についての判定処理が第１０の実施形態のステップ#29から#32と同様に行われる(#59から#62)。そして、ステップ#63において、ＡＦ評価値の絶対値が閾値Th1AFより大きいエリアの数が閾値Th2AF以下の場合には、他の指標値についての判定処理がスキップされる(#63;
NO)。一方、ＡＦ評価値の絶対値が閾値Th1AFより大きいエリアの数が閾値Th2AFよりも大きい、すなわちＡＦ評価値に基づけば障害物が含まれていると判定された場合には、ＡＷＢ色情報についての判定処理が第１０の実施形態のステップ#34から#36と同様に行われる(#64から#66)。そして、ステップ#67において、ＡＷＢ色情報に基づく色距離が閾値Th1AWBより大きいエリアの数が閾値Th2AWB以下の場合には、ステップ#68の警告メッセージの生成・表示処理がスキップされる(#67;NO)。一方、ＡＷＢ色情報に基づく色距離が閾値Th1AWBより大きいエリアの数が閾値Th2AWBよりも大きい、すなわちＡＷＢ色情報に基づけば障害物が含まれていると判定された場合には(#67;YES)、測光値、ＡＦ評価値、色情報のすべてに基づいて障害物が含まれると判定されたことになるので、警告メッセージの出力を要求する信号ＡＬＭが出力され、上記各実施形態と同様に、警告情報生成部３８がこの信号ＡＬＭに応じて警告メッセージＭＳＧを生成する(#68)。以降のステップ#69から#71は、第１０の実施形態のステップ#39から#41と同様である。

以上のように、本発明の第１１の実施形態によれば、各指標値のすべてに基づいて障害物が含まれていると判定された場合のみ、その判定を有効とすることができる。これにより、障害物が含まれていないにもかかわらず、障害物が含まれていると判定されてしまう誤判定は軽減される。

なお、第１１の実施形態をさらに変更し、３つの指標値のうちの２以上の指標値に基づいて障害物が含まれていると判定された場合のみ、その判定を有効とするようにしてもよい。具体的には、例えば、図４０Ａ，図４０Ｂのステップ#58, #63, #67において、各ステップでの判定結果を表すフラグを設定するようにしておき、ステップ#67の後で、各フラグのうち２以上で、障害物が含まれていることを表す値となっている場合に、ステップ#68の警告メッセージの生成・表示を行うようにすればよい。

また、上記第１０、第１１の実施形態において、３つの指標値のうちの２つのみを用いるように構成してもよい。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態における多眼撮像装置の構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

例えば、上記各実施形態では、レリーズボタンの半押し後のタイミングで上記判定を行っているが、例えば、全押し後のタイミングで上記判定を行うようにしてもよい。この場合でも、本撮像後すぐに、障害物が含まれる失敗写真である旨が撮像者に通知されるので、再撮像により、失敗写真を減らすことが十分に可能である。

また、上記各実施形態では、撮像部が２つの複眼カメラを例としてきたが、３つ以上の撮像部を有する複眼カメラに対しても、本発明は適用可能である。ここで、撮像部の数をＮとすると、各撮像光学系の少なくとも１つに障害物がかかっていると判定するためには、NＣ2通りの撮像部の組合せについて、上記判定を、順次繰り返し、または、並列的に行えばよい。

また、上記各実施形態において、障害物判定部３７に視差調整部をさらに設け、視差調整後の各撮像領域に対して、指標値取得部３７Ａ以降の処理を行うようにしてもよい。具体的には、視差調整部は、第１および第２の画像Ｇ１，Ｇ２から公知の手法で主要被写体（例えば、人物の顔）を検出し、両画像間での視差（主要被写体の位置の差）が０となるような視差調整量を求め（詳細は、特開2010-278878号公報、特開2010-288253号公報等参照）、その視差調整量の分だけ、少なくとも一方の撮像領域の座標系を変換（例えば平行移動）する。これにより、エリア別差分値算出部３７Ｂまたはエリア別色距離算出部３７Ｇの出力値は、各画像中の被写体の視差の影響が軽減されたものとなるため、判定部３７Ｅによる障害物の判定精度が高くなる。

また、上記複眼カメラが近距離の被写体の撮影に適した撮影条件であるマクロ（近接）撮影モードを有するものであれば、マクロ撮影モードに設定されている場合は、近接する被写体を撮像することが前提のため、被写体自体が上記障害物でないにもかかわらず、障害物と誤って判定されるおそれがある。そこで、上記の障害物判定処理に先立って、撮影モードの情報を取得し、撮影モードがマクロ撮影モードに設定されている場合には、上記障害物判定処理、すわなち、上記指標値の取得および／または障害物の判定の処理対象外とするようにしてもよい。もしくは、上記障害物判定処理は行うが、障害物が含まれていると判定された場合には、その旨の通知を行わないようにすることも考えられる。

あるいは、マクロ撮影モードに設定されていない場合であっても、撮像部２１Ａ，２１Ｂから被写体までの距離（被写体距離）が所定の閾値よりも短い場合には、上記障害物判定処理を行わないようにしたり、障害物判定処理は行うが、障害物が含まれていると判定された場合には、その旨の通知を行わないようにしたりしてもよい。ここで、被写体距離の算出の際には、撮像部２１Ａ，２１Ｂのフォーカスレンズの位置やＡＦ評価値を用いてもよいし、第１および第２の画像Ｇ１，Ｇ２に対して公知のステレオマッチングを行い、三角測量法を用いてもよい。

また、上記各実施形態では、第１および第２の画像Ｇ１，Ｇ２を立体視表示した場合、一方の画像中には障害物が存在するが、他方の画像には障害物が存在しないため、立体視表示された画像中では、障害物がどこに存在するのか気づきにくくなってしまう。そこで、障害物判定部３７によって障害物が含まれていると判定された場合、第１および第２の画像Ｇ１，Ｇ２のうち、障害物が含まれていない方の画像に対して、その障害物が含まれている領域に対応する領域を、障害物が含まれているかのように加工するようにしてもよい。具体的には、まず、指標値を用いて、各画像中の、障害物が含まれている領域（障害物領域）またはその障害物領域に対応する領域（障害物対応領域）を特定する。障害物領域は、指標値の差分の絶対値が上記所定の閾値よりも大きい領域である。次に、第１および第２の画像Ｇ１，Ｇ２のうちの障害物が含まれる方の画像を特定する。実際に障害物が含まれている画像は、指標値が測光値や輝度値の場合には障害物領域が暗い方の画像、指標値がＡＦ評価値の場合には、障害物領域のコントラストが低い方の画像、指標値が色情報の場合には、障害物領域の色が黒に近い方の画像として特定することができる。そして、第１および第２の画像Ｇ１，Ｇ２のうちの実際に障害物が含まれていない方の画像中の障害物対応領域を、実際に障害物が含まれている方の画像中の障害物領域の画素値に変更する処理を行う。これにより、障害物対応領域を、障害物領域と同様の暗さ、コントラスト、色の状態、すなわち、障害物が含まれている状態にすることができる。この処理後に第１および第２の画像Ｇ１，Ｇ２をスルー画等で立体視表示することにより、障害物の存在が視認しやすくなる。なお、上記画素値の変更処理において、暗さ、コントラスト、色のすべての要素を変更せず、一部の要素のみを変更するようにしてもよい。

また、上記各実施形態の障害物判定部３７や警告情報生成部３８を、複数の視差画像の画像ファイル、例えば、上記各実施形態の第１の画像Ｇ１および第２の画像Ｇ２の画像ファイル（図５参照）を入力として、入力された画像から立体視用画像ＧＲを生成して立体視表示を行うデジタルフォトフレーム等の立体表示装置や、立体視用のプリントを行うデジタルフォトプリンタに実装してもよい。この場合、上記実施形態における各エリアでの測光値やＡＦ評価値、ＡＷＢの色情報等は、画像ファイルの付帯情報として記録されるようにしておき、この記録された情報を用いるようにすればよい。また、上記マクロ撮影モードの問題についても、撮像装置において、マクロ撮影モードの場合には障害物判定処理を行わないようにする制御が行われている場合、障害物判定処理対象外と判定された旨を、各撮像画像の付帯情報として記録しておくようにしてもよい。この場合、上記障害物判定部３７が設けられた装置において、障害物判定処理対象外と判定された旨を表す付帯情報の有無を判断し、この付帯情報がある場合には、障害物判定処理を行わないようにしてもよい。あるいは、撮影モードが付帯情報として記録されていれば、撮影モードがマクロ撮影モードの場合には障害物判定処理を行わないようにしてもよい。

Claims (16)

  1. 被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置であって、
    前記撮像手段の各々が、撮像領域内の複数の点または領域で測光を行い、該測光によって得られた測光値を用いて前記撮像の際の露出を決定するものであり、
    該撮像手段における各撮像領域内の複数の小領域毎に、前記測光値を指標値として取得する指標値取得手段と、
    前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定する障害物判定手段と、
    前記複眼撮像装置から近距離にある前記被写体の撮像に適した撮像条件であるマクロ撮像モードを設定するマクロ撮像モード設定手段と、
    前記マクロ撮像モードの設定が行われた場合には、前記判定を行わないように制御する手段とを備えたことを特徴とする複眼撮像装置。
  2. 前記撮像手段は、本撮像による撮像画像の出力と、該本撮像に先立って行われる、該本撮像の撮像条件の決定のためのプレ撮像による撮像画像の出力とを行うものであり、前記指標値取得手段が、該プレ撮像に応じて前記指標値を取得するものであることを特徴とする請求項１に記載の複眼撮像装置。
  3. 前記撮像手段の各々が、前記撮像領域内の複数の点または領域でのＡＦ評価値に基づいて該各撮像手段の撮像光学系の合焦制御を行うものであり、
    前記指標値取得手段が、該撮像手段における各撮像領域内の複数の小領域毎に、前記ＡＦ評価値をさらなる前記指標値として取得するものであることを特徴とする請求項１または２に記載の複眼撮像装置。
  4. 前記指標値取得手段が、前記撮像画像の各々から、空間周波数が所定の基準を満たす程度に高い成分の量を抽出し、前記小領域毎の該高周波成分の量をさらなる前記指標値として取得するものであることを特徴とする請求項１または２に記載の複眼撮像装置。
  5. 前記撮像手段の各々が、前記撮像領域内の複数の点または領域での色情報に基づいて該各撮像手段のオートホワイトバランス制御を行うものであり、
    前記指標値取得手段が、該撮像手段における各撮像領域内の複数の小領域毎に、前記色情報をさらなる前記指標値として取得するものであることを特徴とする請求項１から４のいずれか１項に記載の複眼撮像装置。
  6. 前記指標値取得手段が、前記撮像画像の各々から前記小領域毎に色情報を算出し、該色情報をさらなる前記指標値として取得するものであることを特徴とする請求項１から４のいずれか１項に記載の複眼撮像装置。
  7. 前記小領域の各々は、該小領域内に前記点または領域を複数含むものであり、
    前記指標値取得手段が、前記小領域内の複数の前記点または領域での前記指標値に基づいて前記小領域毎の前記指標値を算出するものであることを特徴とする請求項１、３、または５に記載の複眼撮像装置。
  8. 前記撮像領域の中心部は、前記指標値取得手段および／または前記障害物判定手段の処理対象外としたものであることを特徴とする請求項１から７のいずれか１項に記載の複眼撮像装置。
  9. 前記障害物判定手段は、複数種類の前記指標値毎に前記比較を行い、少なくとも１つの前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するものであることを特徴とする請求項３，４，５，６、または、該各請求項のいずれかを引用する請求項７または８のいずれか１項に記載の複眼撮像装置。
  10. 前記撮像領域内に障害物が含まれていると判定された場合に、その旨を通知する通知手段をさらに備えたことを特徴とする請求項１から９のいずれか１項に記載の複眼撮像装置。
  11. 前記障害物判定手段は、前記撮像手段の各々から出力された前記撮像画像中の主要被写体の視差が略０となるように、前記各撮像領域の位置の対応関係を調整した後、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較するものであることを特徴とする請求項１から１０のいずれか１項に記載の複眼撮像装置。
  12. 前記撮像手段から前記被写体までの距離である被写体距離を算出する手段と、
    該被写体距離が所定の閾値よりも小さい場合には、前記判定を行わないように制御する手段とをさらに備えたことを特徴とする請求項１から１１のいずれか１項に記載の複眼撮像装置。
  13. 前記障害物判定手段によって前記障害物が含まれていると判定された場合、前記指標値に基づいて、該障害物が含まれている撮像画像を特定するとともに、該撮像画像中の該障害物が含まれている領域を特定する手段と、
    該障害物が含まれている撮像画像と特定されなかった撮像画像中の、前記特定された前記障害物が含まれている領域に対応する領域を、前記特定された前記障害物が含まれている撮像画像中の、前記特定された障害物が含まれている領域と同様の画素値に変更する手段とをさらに備えたことを特徴とする請求項１から１２のいずれか１項に記載の複眼撮像装置。
  14. 撮像手段を用いて異なる位置から主要被写体の撮像を行うことによって取得された、該主要被写体の立体視表示を行うための複数の撮像画像、または、該撮像画像の付帯情報から、前記撮像画像の撮像の際の撮像領域内の複数の小領域毎に、該撮像画像の撮像の露出を決定するための測光によって得られた、前記撮像領域内の複数の点または領域における測光値を、指標値として取得する指標値取得手段と、
    前記撮像領域における位置が相対応する、異なる前記撮像画像の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像画像の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像画像の少なくとも１つにおける前記撮像領域内に、前記撮像手段の撮像光学系に近接する障害物が含まれていたと判定する判定手段と、
    前記撮像画像の付帯情報から、前記撮像画像が、前記撮像装置から近距離にある被写体の撮像に適した撮像条件であるマクロ撮像モードで撮像を行うことによって取得されたものであるか判断するマクロ撮像モード判断手段と、
    前記撮像画像が前記マクロ撮像モードで撮像を行うことによって取得されたものであると判断された場合には、前記判定を行わないように制御する手段とを備えたことを特徴とする障害物判定装置。
  15. 被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置において、前記撮像手段の少なくとも１つにおける前記撮像領域内に障害物が含まれているかどうかを判定する障害物判定方法であって、
    前記撮像手段の各々が、前記撮像領域内の複数の点または領域で測光を行い、該測光によって得られた測光値を用いて前記撮像の際の露出を決定するものであり、
    該撮像手段における各撮像領域内の複数の小領域毎に、前記測光値を指標値として取得するステップと、
    前記複眼撮像装置から近距離にある前記被写体の撮像に適した撮像条件であるマクロ撮像モードが前記複眼撮像装置に対して設定されているか判定するステップと、
    前記マクロ撮像モードが設定されていない場合に、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを有することを特徴とする障害物判定方法。
  16. 被写体を撮像して撮像画像を出力する撮像手段を複数備え、該撮像手段の各々から出力された前記撮像画像を用いた該被写体の立体視表示が可能となるように該撮像手段の各々の撮像光学系が配置された複眼撮像装置に組込み可能な障害物判定プログラムであって、
    前記撮像手段の各々が、前記撮像領域内の複数の点または領域で測光を行い、該測光によって得られた測光値を用いて前記撮像の際の露出を決定するものであり、
    該複眼撮像装置に、
    該撮像手段における各撮像領域内の複数の小領域毎に、前記測光値を指標値として取得するステップと、
    前記複眼撮像装置から近距離にある前記被写体の撮像に適した撮像条件であるマクロ撮像モードが前記複眼撮像装置に対して設定されているか判定するステップと、
    前記マクロ撮像モードが設定されていない場合に、前記撮像領域における位置が相対応する、異なる前記撮像手段の撮像領域内の前記小領域毎に前記指標値を比較し、前記異なる撮像手段の撮像領域間での前記指標値の相違が所定の基準を満たす程度に大きい場合に、前記撮像手段の少なくとも１つにおける前記撮像領域内に、該少なくとも１つの撮像手段の撮像光学系に近接する障害物が含まれていると判定するステップとを実行させることを特徴とする障害物判定プログラム。
JP2012522469A 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム Expired - Fee Related JP5492300B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012522469A JP5492300B2 (ja) 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2010150133 2010-06-30
JP2010150133 2010-06-30
JP2011025686 2011-02-09
JP2011025686 2011-02-09
JP2012522469A JP5492300B2 (ja) 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
PCT/JP2011/003740 WO2012001975A1 (ja) 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2012001975A1 JPWO2012001975A1 (ja) 2013-08-22
JP5492300B2 true JP5492300B2 (ja) 2014-05-14

Family

ID=45401714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012522469A Expired - Fee Related JP5492300B2 (ja) 2010-06-30 2011-06-29 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20130113888A1 (ja)
JP (1) JP5492300B2 (ja)
CN (1) CN102959970B (ja)
WO (1) WO2012001975A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011017393A1 (en) 2009-08-04 2011-02-10 Eyecue Vision Technologies Ltd. System and method for object extraction
US9138636B2 (en) 2007-05-16 2015-09-22 Eyecue Vision Technologies Ltd. System and method for calculating values in tile games
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
WO2012033005A1 (ja) * 2010-09-08 2012-03-15 日本電気株式会社 撮影装置および撮影方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9336452B2 (en) 2011-01-16 2016-05-10 Eyecue Vision Technologies Ltd. System and method for identification of printed matter in an image
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
IN2014CN02708A (ja) 2011-09-28 2015-08-07 Pelican Imaging Corp
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014031795A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US20140267889A1 (en) * 2013-03-13 2014-09-18 Alcatel-Lucent Usa Inc. Camera lens button systems and methods
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9100586B2 (en) * 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP6124684B2 (ja) * 2013-05-24 2017-05-10 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
JPWO2015128918A1 (ja) * 2014-02-28 2017-03-30 パナソニックＩｐマネジメント株式会社 撮像装置
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
DE102015003537B4 (de) 2014-03-19 2023-04-27 Htc Corporation Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras
JP2016035625A (ja) * 2014-08-01 2016-03-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
WO2018142771A1 (ja) * 2017-01-31 2018-08-09 ソニー株式会社 制御装置、制御方法及び照明システム
JP2018152777A (ja) * 2017-03-14 2018-09-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、撮像装置および電子機器
CN107135351B (zh) * 2017-04-01 2021-11-16 宇龙计算机通信科技(深圳)有限公司 拍照方法及拍照装置
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
JP2004120600A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd デジタル双眼鏡
JP2008306404A (ja) * 2007-06-06 2008-12-18 Fujifilm Corp 撮像装置
JP2010114760A (ja) * 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957850B2 (ja) * 2010-02-04 2012-06-20 カシオ計算機株式会社 撮像装置、警告方法、および、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
JP2004120600A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd デジタル双眼鏡
JP2008306404A (ja) * 2007-06-06 2008-12-18 Fujifilm Corp 撮像装置
JP2010114760A (ja) * 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム

Also Published As

Publication number Publication date
CN102959970B (zh) 2015-04-15
JPWO2012001975A1 (ja) 2013-08-22
WO2012001975A1 (ja) 2012-01-05
US20130113888A1 (en) 2013-05-09
CN102959970A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
JP5492300B2 (ja) 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム
JP4957850B2 (ja) 撮像装置、警告方法、および、プログラム
US8885090B2 (en) Imaging apparatus and autofocus control method thereof
JP5736796B2 (ja) 電子カメラ、プログラム及び記録媒体
JP5295426B2 (ja) 複眼撮像装置、その視差調整方法及びプログラム
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP5767715B2 (ja) 撮像装置、撮像方法及びプログラム
JP5716130B2 (ja) 撮像装置及び撮影支援方法
JP2011101240A (ja) 立体撮影装置および撮影制御方法
JP2010068182A (ja) ３次元撮影装置および方法並びにプログラム
JP5899629B2 (ja) 撮像装置
US9124875B2 (en) Stereoscopic imaging apparatus
JP2014235224A (ja) 撮像装置および制御プログラム
JP2010226362A (ja) 撮像装置及びその制御方法
JP2010288253A (ja) 画像処理装置および方法並びにプログラム
JP5190882B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP2011146889A (ja) 撮像装置
JP5387341B2 (ja) 撮像装置
JP2012015777A (ja) 立体視表示のための画像処理装置、方法、および、プログラム、並びに、画像表示装置
JP2012124650A (ja) 撮像装置および撮像方法
JP2015139018A (ja) 電子機器及び制御プログラム
JP2014131188A (ja) 撮像装置、その制御方法、および制御プログラム
US20230300474A1 (en) Image processing apparatus, image processing method, and storage medium
JP5181806B2 (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140228

R150 Certificate of patent or registration of utility model

Ref document number: 5492300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees