JP4871315B2 - 複眼撮影装置およびその制御方法並びにプログラム - Google Patents

Description

本発明は、複数の異なる撮影位置において被写体を撮影する複眼撮影装置およびその制御方法並びに複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムに関するものである。

複数のカメラを有する複眼カメラを用いて被写体を撮影し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成する手法が提案されている。

一方、複眼カメラにより取得された複数の画像に対象とする被写体が含まれるか否かを判定し、その判定結果に基づいて、上述した距離の計測の他、カメラのフォーカス制御、露出制御および撮影等の各種制御が行われている。このような複眼カメラの各種制御を行うために、複眼カメラにより取得された複数の画像に、顔等の対象とする被写体が含まれるか否かを判定する手法が種々提案されている。例えば、特許文献１には、複眼カメラおよびミリ波レーダという複数のセンサを用意し、複数のセンサのそれぞれが同一の対象物を検出した際の位置および速度の誤差に関する正規分布に基づいて、特定された位置および速度の誤差から、検出された対象物のそれぞれが位置的および速度的に同一の対象物である第１および第２の確率を算出し、第１および第２の確率に基づいて、検出された対象物のそれぞれが同一の対象物である第３の確率を算出し、第３の確率がしきい値を超えた場合に、検出された対象物のそれぞれが同一の対象物であると判断する手法が提案されている。

また、特許文献２には、複数のカメラのうちの１つのカメラにより取得した画像に基づいて、顔等の特定の被写体の検出、フォーカス制御および露出制御等の各種動作を行う手法が提案されている。
特開２００４−３７２３９号公報 特開２００７−１１０４９８号公報

しかしながら、特許文献１に記載された手法は、複眼カメラ以外のセンサが必要であるため、装置の構成が煩雑なものとなる。また、確率を算出する必要があるため、演算にも長時間を要するものとなる。また、特許文献２に記載された手法は、１つのカメラにより取得された画像に基づいて各種制御を行っているため、すべてのカメラの撮影範囲内に共通に存在する被写体がその画像に含まれない場合にも、各種制御が行われることとなる。ここで、１つのカメラの撮影範囲内には存在するが、他のカメラの撮影範囲内には存在しない被写体は、撮影者にとってそれほど重要な被写体ではない場合が多い。このため、特許文献２に記載の手法の場合、１つのカメラにより取得した画像にしか含まれない、重要でない被写体に基づいて各種制御を行ってしまうおそれがある。

本発明は上記事情に鑑みなされたものであり、複眼撮影装置により取得された複数の画像に、共通する顔等の所定被写体が含まれるか否かを簡易に判定できるようにすることを目的とする。

本発明による複眼撮影装置は、被写体を互いに異なる複数の撮影位置において撮影することにより、該被写体の複数の画像を取得する複数の撮影手段と、
該複数の画像のうちの１つの基準画像から所定被写体を検出する被写体検出手段と、
前記基準画像における前記所定被写体の位置およびサイズの情報を含む被写体情報を生成する被写体情報生成手段と、
前記複数の撮影手段の撮影時における基線長、輻輳角、焦点距離およびズーム倍率の情報を含む撮影情報を生成する撮影情報生成手段と、
前記被写体情報および前記撮影情報に基づいて、前記基準画像以外の他の画像に、該基準画像から検出された所定被写体が含まれるか否かを判定し、該判定結果を出力する判定手段とを備えたことを特徴とするものである。

「所定被写体」は、本発明においては、例えば人物の顔や自動車のように、サイズの個体差が小さい被写体とする。

「撮影情報」には、複数の撮影手段の基線長、輻輳角、焦点距離およびズーム倍率の他、データ量を低減するために画素を間引いた場合の、画素の間引き数を表す間引き度合いを含めるようにしてもよい。また、画素値を大きくするために画像の１画素の画素値を撮影手段に含まれる撮像素子の複数画素の画素値から求める画素混合を行った場合の、１画素を構成する撮像素子の画素数を表す画素の混合度合いを含めるようにしてもよい。なお、ズーム倍率としては、撮影手段の光学系を用いることによる光学的なズーム倍率のみならず、画像処理により画像を拡大縮小する電子ズームのズーム倍率も含む。

本発明による複眼撮影装置の制御方法は、被写体を互いに異なる複数の撮影位置において撮影することにより、該被写体の複数の画像を取得し、
該複数の画像のうちの１つの基準画像から所定被写体を検出し、
前記基準画像における前記所定被写体の位置およびサイズの情報を含む被写体情報を生成し、
前記複数の撮影手段の撮影時における基線長、輻輳角、焦点距離およびズーム倍率の情報を含む撮影情報を生成し、
前記被写体情報および前記撮影情報に基づいて、前記基準画像以外の他の画像に、該基準画像から検出された所定被写体が含まれるか否かを判定し、該判定結果を出力することを特徴とするものである。

なお、本発明による複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、被写体を互いに異なる複数の撮影位置において撮影することにより被写体の複数の画像を取得し、取得した複数の画像のうちの１つの基準画像から所定被写体を検出し、基準画像における所定被写体の位置およびサイズの情報を含む被写体情報を生成し、複数の撮影手段の撮影時における基線長、輻輳角、焦点距離およびズーム倍率の情報を含む撮影情報を生成し、被写体情報および撮影情報に基づいて、基準画像以外の他の画像に、基準画像から検出された所定被写体が含まれるか否かを判定して、判定結果を出力するようにしたものである。

ここで、所定被写体のサイズの個体差が小さい場合、基準画像に含まれる所定被写体については、基準画像内におけるサイズおよび基準画像を取得した際のズーム倍率から、基準画像を取得した撮影手段（基準撮影手段とする）から所定被写体までの距離を算出することができる。また、基準画像内における所定被写体の位置、焦点距離およびズーム倍率から、基準撮影手段の光軸に対する所定被写体の方向を表す角度（第１の角度とする）を算出することができる。さらに、複数の撮影手段についての基線長、輻輳角および第１の角度から、基準撮影手段以外の他の撮影手段の光軸に対する所定被写体の方向を表す角度（第２の角度とする）を算出することができる。また、他の撮影手段の画角は分かっていることから、第２の角度が他の撮影手段の画角内にあるか否かによって、基準撮影手段以外の他の撮影手段の画角内に被写体が存在するか否か、すなわち、基準画像以外の他の画像に基準画像から検出された所定被写体が含まれるか否かを判定することができる。

このため、本発明によれば、特許文献１に記載された手法のように、煩雑な演算を行うことなく、複数の画像に共通する所定被写体が存在するか否かを判定することができる。また、判定結果に基づいて、撮影者が重要と見なしている、複数の画像において共通する所定被写体を用いて各種制御を行うことができることとなる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による複眼撮影装置の構成を示す概略ブロック図である。図１に示すように本実施形態による複眼撮影装置１は、２つのカメラ２Ａ，２Ｂ、Ａ／Ｄ変換部３Ａ，３Ｂ、信号処理部４Ａ，４Ｂ、およびカメラ制御部５を備える。

カメラ２Ａ，２Ｂは、それぞれ距離値算出のための画像を取得するためのものであり、撮影レンズを含む光学系およびＣＣＤ等の撮像素子を備えてなり、カメラ制御部５により、撮影レンズを用いてのフォーカス動作およびズーム動作、露出制御、並びに撮像素子からの電荷の読み出しのタイミング等の駆動が制御される。また、カメラ２Ａ，２Ｂは所定間隔を空けて配置されており、カメラ２Ａ，２Ｂの間隔である基線長および被写体を見込む角度である輻輳角を変更することができる。なお、本実施形態においては、カメラ２Ａ，２Ｂは動画像を撮影するものとして説明するが、撮影動作が行われるまではスルー画像を撮影し、撮影動作が行われるとそのタイミングにおける静止画像を撮影するものであってもよい。なお、動画像を撮影する場合、画像ＳＡ，ＳＢは動画像の１フレームとなる。

なお、カメラ制御部５は、カメラ２Ａ，２Ｂの撮影時の基線長、輻輳角、焦点距離およびズーム倍率を含む撮影情報Ｃ０を生成し、後述する判定部９に撮影情報Ｃ０を出力する。ここで、ズーム動作は、カメラ２Ａの光学系を用いることによる光学ズームおよび画像自体を拡大縮小することによる電子ズームの双方により行われる場合があるため、ズーム倍率としては、光学ズーム倍率および電子ズーム倍率の双方を含む。なお、カメラ制御部５が撮影情報生成手段に対応する。

Ａ／Ｄ変換部３Ａ，３Ｂは、カメラ２Ａ，２Ｂが撮影により取得した画像ＳＡ，ＳＢをアナログデータからデジタルデータに変換する。

信号処理部４Ａ，４Ｂは、カメラ２Ａ，２Ｂが取得した画像ＳＡ，ＳＢの画像データに対して、画像データの感度分布のばらつきおよび光学系の歪みを補正する補正処理を施すとともに、２つの画像ＳＡ，ＳＢを並行化するための並行化処理を施す。さらに、並行化処理後の画像に対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、信号処理部４Ａ，４Ｂにおける処理後の画像についても、処理前の参照符号ＳＡ，ＳＢを用いるものとする。また、補正処理、並行化処理および画像処理の３つの処理を合わせて信号処理と称するものとする。

また、複眼撮影装置１は、被写体検出部７、被写体情報生成部８、判定部９および距離算出部１０を備える。

被写体検出部７は、カメラ２Ａが撮影により取得した画像ＳＡ（信号処理前であっても処理後であってもよい）から所定被写体を含む領域を検出する。なお、本実施形態においては、所定被写体として顔を用いるものとし、被写体検出部７は、画像ＳＡから顔を含む顔領域を検出するものとする。ここで、画像から顔領域を検出する手法としては、テンプレートマッチングによる手法、顔の多数のサンプル画像を用いたマシンラーニング学習により得られた顔判別器を用いる手法等の他、画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔領域として検出する手法、顔の輪郭形状をなす領域を顔領域として検出する手法等、任意の手法を用いることができる。なお、動画像を撮影する場合、画像ＳＡ，ＳＢは動画像の１フレームであるため、全フレームから顔領域を検出してその後の処理を行ってもよいが、フレームを間引いて顔領域の検出およびその後の処理を行うようにしてもよい。

図２は顔領域の検出結果を示す図である。図２に示すように画像ＳＡには３つの顔が含まれており、顔を囲む矩形の顔領域Ｆ１〜Ｆ３が検出されている。

被写体情報生成部８は、被写体検出部７が検出したすべての顔領域についての、画像ＳＡにおける位置およびサイズを表す被写体情報Ｈ０を生成する。ここで、顔領域の位置としては、顔領域の対角線の交点の画像ＳＡの水平方向の画素位置を用いるものとするが、これに限定されるものではない。なお、画像ＳＡの座標系は、カメラ２Ａの光軸を原点とする。また、顔領域のサイズとは顔領域の高さ方向または幅方向の画素数である。

判定部９は、撮影情報Ｃ０および被写体情報Ｈ０に基づいて、画像ＳＡから検出された顔領域の顔が画像ＳＢに含まれるか否かを判定し、その判定結果を距離算出部１０に出力する。

図３は判定部９による判定の処理を説明するための図である。なお、図３においては、カメラ２Ａ，２Ｂの基線長をＬ、輻輳角をθ、カメラ２Ａの光軸をＺＡ、カメラ２Ｂの光軸をＺＢとし、カメラ２Ａ，２Ｂにより人物の顔Ｆ０を撮影しているものとする。

判定部９は、撮影情報Ｃ０に含まれる、カメラ２Ａの光学ズーム倍率Ｂ１および電子ズーム倍率Ｂ２、被写体情報Ｈ０に含まれる顔のサイズＦＳ、並びに顔の実際のサイズＦＲを用いて、下記の式（１）により、カメラ２Ａから顔Ｆ０までの距離Ｄ１を算出する。

Ｄ１＝ＦＲ×Ｂ１×Ｂ２／ＦＳ （１）
ここで、人物の顔のサイズは人による個体差がそれほどないことから、顔の実際のサイズＦＲとしては、あらかじめ定められた一般的な人物の顔の高さ方向または幅方向のサイズを用いる。

次いで判定部９は、カメラ２Ａの光軸ＺＡに対する顔Ｆ０の方向を表す角度βを下記の式（２）により算出する。

β＝arctan（（Ｘ１×Ｐ１）／（ｆ１×Ｂ２）） （２）
ここで、Ｘ１は画像ＳＡにおける顔領域の位置、Ｐ１はカメラ２Ａが有する撮像素子の水平方向の画素ピッチ、ｆ１はカメラ２Ａの焦点距離である。ここで、画素ピッチＰ１は、後述する全体制御部１６のＲＯＭ１６Ｃに記憶されている。

なお、上記式（２）は、カメラ２Ａの光学系の歪みがないことを前提とするものであるが、画像ＳＡが信号処理前のものである場合、カメラ２Ａの光学系の歪み影響があるため、上記式（２）を用いたのでは正確に角度βを算出することができない。このため、本実施形態においては、カメラ２Ａの光学系の歪みを考慮して、各種顔領域の位置Ｘ１、各種焦点距離ｆ１および各種電子ズーム倍率Ｂ２についての角度βを算出し、算出した結果に基づいて各種顔領域の位置Ｘ１、各種焦点距離ｆ１および各種電子ズーム倍率Ｂ２と角度βとの関係を規定したテーブル生成しておき、このテーブルを参照して角度βを求めるようにしてもよい。なお、テーブルはＲＯＭ１６Ｃに記憶しておけばよい。また、画像ＳＡ，ＳＢが信号処理後のものであっても、上記式（２）により各種顔領域の位置Ｘ１、各種焦点距離ｆ１および各種電子ズーム倍率Ｂ２と角度βとの関係を算出し、算出した結果を規定したテーブルをＲＯＭ１６に記憶しておき、このテーブルを参照して角度βを求めるようにしてもよい。

一方、カメラ２Ａから顔Ｆ０までの距離Ｄ１、カメラ２Ｂから顔Ｆ０までの距離Ｄ２、カメラ２Ａの光軸ＺＡに対する顔Ｆ０の方向を表す角度β、カメラ２Ｂの光軸ＺＢに対する顔Ｆ０の方向を表す角度α、基線長Ｌおよび輻輳角θとは、下記の式（３）、（４）の関係を有する。

Ｄ１ｃｏｓ（θ＋β）＝Ｄ２ｃｏｓ（θ＋α） （３）
Ｄ１ｓｉｎ（θ＋β）＋Ｄ２ｓｉｎ（θ＋α）＝Ｌ （４）
式（３）、（４）から下記の式（５）に示すように距離Ｄ２を消去することにより、角度αを算出することができる。

α＝arctan((L-D1sin(θ+β)/D1cos(θ+β))-θ （５）
さらに判定部９は、下記の式（６）によりカメラ２Ｂの画角γを算出する。

γ＝arctan（（ＸＢ×Ｐ２）／（ｆ２×Ｂ３）） （６）
ここで、ＸＢはカメラ２Ｂの撮像素子の水平方向画素数、Ｐ２はカメラ２Ｂが有する撮像素子の水平方向の画素ピッチ、ｆ２はカメラ２Ｂの焦点距離、Ｂ３はカメラ２Ｂの電子ズーム倍率である。ここで、画素ピッチＰ２は、後述する全体制御部１６のＲＯＭ１６Ｃに記憶されている。

なお、上記式（６）は、カメラ２Ｂの光学系の歪みがないことを前提とするものであるが、画像ＳＢが信号処理前のものである場合、カメラ２Ｂの光学系の歪み影響があるため、上記式（６）を用いたのでは正確に画角γを算出することができない。このため、本実施形態においては、カメラ２Ｂの光学系の歪みを考慮して、各種焦点距離ｆ２および各種電子ズーム倍率Ｂ３についての画角γを算出し、算出した結果に基づいて各種焦点距離ｆ２および各種電子ズーム倍率Ｂ３と画角γとの関係を規定したテーブル生成しておき、このテーブルを参照して画角γを求めるようにしてもよい。なお、テーブルはＲＯＭ１６Ｃに記憶しておけばよい。また、画像ＳＡ，ＳＢが信号処理後のものであっても、上記式（６）により各種焦点距離ｆ２および各種電子ズーム倍率Ｂ３と画角γとの関係を算出し、算出した結果を規定したテーブルをＲＯＭ１６に記憶しておき、このテーブルを参照して画角γを求めるようにしてもよい。

そして判定部９は、画角γおよび角度αから、カメラ２Ｂの画角内に顔Ｆ０が存在するか否かを判定することにより、画像ＳＡから検出された顔領域の顔が画像ＳＢに含まれるか否かを判定し、その判定結果を距離算出部１０に出力する。ここで、カメラ２Ｂの画角内に顔Ｆ０が存在する場合、｜α｜＜｜γ／２｜となることから、判定部９は、｜α｜＜｜γ／２｜である場合に画像ＳＡから検出された顔領域の顔が画像ＳＢに含まれると判定し、それ以外の場合には画像ＳＡから検出された顔領域の顔が画像ＳＢに含まれないと判定し、判定結果を距離算出部１０に出力する。

例えば、図２に示すように検出した顔領域Ｆ１〜Ｆ３の顔の撮影時の位置関係が、図４に示すものである場合、画像ＳＡから検出した顔領域Ｆ１〜Ｆ３のうち、顔領域Ｆ１のみがカメラ２Ｂが取得した画像ＳＢには含まれないこととなる。したがって、判定部９は、顔領域Ｆ１の顔と一致する顔は画像ＳＢに含まれないが、顔領域Ｆ２，Ｆ３の顔と一致する顔は画像ＳＢに含まれるとの判定結果を距離算出部１０に出力する。

なお、判定部９は、画像ＳＡから検出した顔領域の顔が画像ＳＢにも含まれる場合、その顔を含む顔領域を画像ＳＢから検出し、顔領域の情報（位置およびサイズ）を判定結果に含めて距離算出部１０に出力する。

例えば、図２に示す顔領域Ｆ１〜Ｆ３のうち、顔領域Ｆ２，Ｆ３の顔に一致する顔が画像ＳＢに含まれると判定された場合、顔領域Ｆ２，Ｆ３と画像ＳＢとを照合し、画像ＳＢ上の顔領域Ｆ２，Ｆ３と一致する領域を顔領域Ｆ２，Ｆ３に対応する顔領域として検出する。具体的には、顔領域Ｆ２，Ｆ３をそれぞれ画像ＳＢ上において移動させつつ、顔領域Ｆ２，Ｆ３のそれぞれと画素ＳＢとの相関を算出し、相関がしきい値以上となる領域を顔領域Ｆ２，Ｆ３のそれぞれに対応する顔領域Ｆ２′，Ｆ３′として検出し、検出した顔領域Ｆ２′，Ｆ３′の情報（位置およびサイズ）を判定結果に含めて距離算出部１０に出力する。顔領域Ｆ２′，Ｆ３′の検出結果を図５に示す。

距離算出部１０は、カメラ２Ａ，２Ｂからカメラ２Ａ，２Ｂの撮影範囲に含まれる共通する被写体までの距離を測定するためのものであり、まずステレオマッチングの手法を用いてカメラ２Ａ，２Ｂが取得した画像ＳＡ，ＳＢにおいて共通する顔領域間における互いに対応する対応点を求める。例えば、共通する顔領域から部分的な行列（例えば３×３画素）を取り出して相関値を求めることにより対応点を求める。そして、求めた対応点、カメラ２Ａ，２Ｂの基線長、輻輳角およびズーム倍率を用いて、三角測量の原理により画像ＳＡ，ＳＢに共通して含まれる顔までの距離を表す距離値を算出する。具体的には、画像ＳＡ，ＳＢに共通する顔領域内のすべての画素について、対応する顔領域間の対応点を検出し、対応点間の差である視差を算出し、視差に基づいて距離値を算出する。なお、距離値に基づいて、各画素が距離値を有する距離画像を生成してもよい。また、画像ＳＡ，ＳＢから視差に基づいて、立体視が可能な立体画像を生成するようにしてもよい。

また、複眼撮影装置１は、画像ＳＡ，ＳＢおよび各種情報を表示するための液晶等のモニタ１１、モニタ１１への各種情報の表示を制御する表示制御部１２、複眼撮影装置１に各種入力を行うための十字キー、操作ボタン、ズームレバーおよびレリーズボタン等からなる入力部１３、並びに画像ＳＡ，ＳＢおよび距離値をメモリカード等の記録媒体１４に記録するための記録制御部１５を備える。さらに、複眼撮影装置１は、ＣＰＵ１６Ａ、作業領域となるＲＡＭ１６Ｂ、並びに装置１の動作プログラム、各種設定値およびテーブルが記憶されているＲＯＭ１６Ｃからなる全体制御部１６を備える。

次いで、本実施形態において行われる処理について説明する。図６は本実施形態において行われる処理を示すフローチャートである。なお、本実施形態においては、人物の顔を被写体とするものであり、少なくともカメラ２Ａが取得した画像ＳＡには顔が含まれているものとする。

撮影の指示がなされることにより全体制御部１６が処理を開始し、カメラ制御部５がカメラ２Ａ，２Ｂにより被写体を撮影して、画像ＳＡ，ＳＢを取得する（ステップＳＴ１）。また、カメラ制御部５が撮影情報Ｃ０を生成する（ステップＳＴ２）。次いで、被写体検出部７が、カメラ２Ａが撮影により取得した画像ＳＡから顔領域を検出する（ステップＳＴ３）。そして、被写体情報生成部８が被写体情報Ｈ０を生成する（ステップＳＴ４）。

そして、判定部９が、撮影情報Ｃ０および被写体情報Ｈ０に基づいて、画像ＳＡから検出された顔領域の顔が画像ＳＢに含まれるか否かを判定し（ステップＳＴ５）、その判定結果を距離算出部１０に出力する（ステップＳＴ６）。

距離算出部１０は、判定部９の判定結果に基づいて、画像ＳＡ，ＳＢにおいて共通する顔領域についての距離値を算出し（ステップＳＴ７）、リターンする。

このように、本実施形態においては、撮影情報Ｃ０および被写体情報Ｈ０に基づいて、画像ＳＡから検出された顔領域の顔が画像ＳＢに含まれるか否かを判定するようにしたため、煩雑な演算を行うことなく、画像ＳＡ，ＳＢに共通する顔が存在するか否かを判定することができる。また、判定結果に基づいて、撮影者が重要と見なしている、画像ＳＡ，ＳＢにおいて共通する顔までの距離値を算出することができる。

なお、上記実施形態においては、複眼撮影装置１を２つのカメラ２Ａ，２Ｂを備えるものとしているが、３以上のカメラを備えるものとしてもよい。この場合、１つのカメラにより取得した画像から顔領域を検出し、複数のカメラについての撮影時における基線長、輻輳角、焦点距離およびズーム倍率を含む撮影情報Ｃ０および被写体情報Ｈ０を生成して、検出した顔領域が他の画像に含まれるか否かを判定すればよい。

また、上記実施形態においては、判定結果を距離算出部１０に出力して、画像ＳＡ，ＳＢに共通する顔までの距離値を算出しているが、判定結果をカメラ制御部５に出力し、画像ＳＡ，ＳＢに共通する顔に焦点が合うようにカメラ２Ａ，２Ｂのフォーカス制御を行うようにしてもよい。また、画像ＳＡ，ＳＢに共通する顔の露出が同一となるように、カメラ２Ａ，２Ｂの露出制御を行うようにしてもよい。さらに、とくに静止画像を撮影する場合において、カメラ２Ａ，２Ｂにより取得したスルー画像に共通する顔領域が存在するようになったときに、カメラ２Ａ，２Ｂの撮影動作を行うようにしてもよい。この場合、顔領域の表情を検出し、共通する顔領域に含まれる顔が笑顔等の特定の表情となったときにカメラ２Ａ，２Ｂの撮影動作を行うようにしてもよい。

ところで、撮影時において、画像ＳＡ，ＳＢのデータ量を低減するために画素を間引いたり、画素値を大きくするために画像ＳＡ，ＳＢの１画素をカメラ２Ａ，２Ｂの撮像素子の複数画素から求める画素混合を行っている場合がある。このような場合、画像ＳＡ，ＳＢの画素数は、画素間引きあるいは画素混合を行っていない画像の画素数とは異なるものとなる。ここで、本実施形態においては、上記角度αおよび画角γの算出に、画像ＳＡ上における顔領域の位置、画像ＳＢの水平方向画素数、およびカメラ２Ａ，２Ｂの撮像素子の画素ピッチを使用していることから、画像上の同一位置に顔が存在していたとしても、画素の間引きおよび画素混合を行った場合と行っていない場合とでは、算出した角度αおよび画角γの値が異なるものとなる。このため、画素の間引きあるいは画素混合を行った場合は、その情報を撮影情報Ｃ０に含め、画素間引きおよび画素混合を考慮して角度αおよび画角γを算出することが好ましい。

また、上記実施形態のフローチャートにおいては、画像ＳＡ，ＳＢに顔が含まれることを前提として説明しているが、画像ＳＡ，ＳＢに顔が含まれない場合もある。このような場合、画像ＳＡ，ＳＢに顔が含まれるか否かを判定し、含まれない場合には撮影の処理に戻るようにしてもよい。

また、上記実施形態においては、所定被写体を顔としているが、車両、建物等、顔以外の被写体を検出の対象にできることはもちろんである。

以上、本発明の実施形態について説明したが、コンピュータを、上記のカメラ制御部５、被写体検出部７、被写体情報生成部８および判定部９に対応する手段として機能させ、図６に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による複眼撮影装置の構成を示す概略ブロック図 本実施形態における画像ＳＡからの顔領域の検出結果を示す図 判定部による判定の処理を説明するための図 ２つのカメラの撮影時の位置関係を示す図 ２つの画像に共通する顔領域の検出結果を示す図 本実施形態において行われる処理を示すフローチャート

符号の説明

１ 複眼撮影装置
２Ａ，２Ｂ カメラ
５ カメラ制御部
７ 被写体検出部
８ 被写体情報生成部
９ 判定部
１０ 距離算出部

Claims (3)

1. 被写体を互いに異なる複数の撮影位置において撮影することにより、該被写体の複数の画像を取得する複数の撮影手段と、
   該複数の画像のうちの１つの基準画像から所定被写体を検出する被写体検出手段と、
   前記基準画像における前記所定被写体の位置およびサイズの情報を含む被写体情報を生成する被写体情報生成手段と、
   前記複数の撮影手段の撮影時における基線長、輻輳角、焦点距離およびズーム倍率の情報を含む撮影情報を生成する撮影情報生成手段と、
   前記被写体情報および前記撮影情報に基づいて、前記基準画像以外の他の画像に、該基準画像から検出された所定被写体が含まれるか否かを判定し、該判定結果を出力する判定手段とを備えたことを特徴とする複眼撮影装置。
2. 被写体を互いに異なる複数の撮影位置において撮影することにより、該被写体の複数の画像を取得し、
   該複数の画像のうちの１つの基準画像から所定被写体を検出し、
   前記基準画像における前記所定被写体の位置およびサイズの情報を含む被写体情報を生成し、
   前記複数の撮影手段の撮影時における基線長、輻輳角、焦点距離およびズーム倍率の情報を含む撮影情報を生成し、
   前記被写体情報および前記撮影情報に基づいて、前記基準画像以外の他の画像に、該基準画像から検出された所定被写体が含まれるか否かを判定し、該判定結果を出力することを特徴とする複眼撮影装置の制御方法。
3. 被写体を互いに異なる複数の撮影位置において撮影することにより、該被写体の複数の画像を取得する手順と、
   該複数の画像のうちの１つの基準画像から所定被写体を検出する手順と、
   前記基準画像における前記所定被写体の位置およびサイズの情報を含む被写体情報を生成する手順と、
   前記複数の撮影手段の撮影時における基線長、輻輳角、焦点距離およびズーム倍率の情報を含む撮影情報を生成する手順と、
   前記被写体情報および前記撮影情報に基づいて、前記基準画像以外の他の画像に、該基準画像から検出された所定被写体が含まれるか否かを判定し、該判定結果を出力する手順とを有することを特徴とする複眼撮影装置の制御方法をコンピュータに実行させるためのプログラム。

Images