JP3945430B2 - 画像による対象物の計測方法および撮像装置 - Google Patents
画像による対象物の計測方法および撮像装置 Download PDFInfo
- Publication number
- JP3945430B2 JP3945430B2 JP2003075658A JP2003075658A JP3945430B2 JP 3945430 B2 JP3945430 B2 JP 3945430B2 JP 2003075658 A JP2003075658 A JP 2003075658A JP 2003075658 A JP2003075658 A JP 2003075658A JP 3945430 B2 JP3945430 B2 JP 3945430B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- cameras
- imaging
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラから得られる画像に基づいて対象物を計測する方法およびそれに用いられる撮像装置に関する。
【０００２】
【従来の技術】
従来より、複数のカメラから得られる画像に基づいて対象物を計測し、対象物の距離画像などの３次元情報を取得する方法が知られている。また、そのような画像を撮像するための撮像装置が種々知られている。
【０００３】
さて、２つの画像に基づいて３次元情報を得るためには、それら２つの画像における対応点を抽出する必要がある。しかし、従来の撮像装置から得られる画像では、対応点における輝度、色バランス、またはピントの状態が互いに異なるため、対応点を正確に抽出することが困難である。
【０００４】
例えば、特開２００２−２１８５０６および特開２００２−２１８５０７には、１つの光学系にステレオアダプタを取り付けてステレオ画像を得る撮像装置が開示されている。この撮像装置によると、１つの光学系で２つの仮想視点からの画像を得ることが可能である。しかし、ＡＥ（自動露光）やＡＷＢ（自動ホワイトバランス）をそれぞれの画像に対して独立して制御することができない。そのため、２つの画像の対応点の輝度や色バランスが互いに異なり、正確な対応付けが困難である。
【０００５】
【特許文献１】
特開２００２−２１８５０６
【０００６】
【特許文献２】
特開２００２−２１８５０７
【０００７】
【特許文献３】
特開２００２−２１６１２５
【０００８】
【発明が解決しようとする課題】
この問題の解決のために、２つの画像に共通して写っている平面部分の輝度を比較して画像全体の輝度値を修正することが提案されている（特開２００２−２１６１２５）。
【０００９】
すなわち、これによると、２つの画像に共通している領域の輝度を比較して画像に修正を加える。しかし、撮像した後の画像に修正を加えて画像の輝度を揃えようとするものであるから、画像の状態によっては画像の輝度を十分に揃えることができない。また、画像の色バランスやピントの状態が異なっていた場合には修正によって揃えることはほとんど不可能である。そのため、正確な対応付けが困難であり、対象物についての精度のよい３次元情報を得ることができない。
【００１０】
本発明は、上述の問題に鑑みてなされたもので、複数のカメラから得られる画像に基づいて対象物を計測するに際して、画像の対応付けを正確に行うことを可能とし、対象物の計測を精度よく行えるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る方法は、複数のカメラから得られる画像に基づいて対象物を計測する計測方法であって、前記複数のカメラで撮像されている複数の画像のそれぞれについて少なくとも３つの対応点を取得し、前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を特定領域として設定し、前記特定領域における画像から得られる画像情報をより多く用いて自動露光のためのカメラパラメータを設定し、設定した前記自動露光のためのカメラパラメータを用いて、カメラパラメータを設定したときと同じ撮像範囲に対して複数の前記カメラによる撮像を行って画像をそれぞれ取得し、取得した複数の画像に基づき画像の対応点を求めて撮像範囲に入った対象物の３次元情報を取得する。
【００１２】
本発明に係る装置は、対象物に対して互いに視差を有する視点位置から対象物を撮像することが可能であって少なくとも自動露光のためのカメラパラメータに基づく撮像制御を互いに独立して行うことの可能な複数のカメラと、前記複数のカメラで撮像されている複数の画像について少なくとも３つの対応点を取得し、前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を特定領域として設定するための設定手段と、前記特定領域における画像情報のみを用いて前記複数のカメラのそれぞれに対応する前記自動露光のためのカメラパラメータを算出する算出手段と、算出された前記複数のカメラのそれぞれに対応する前記自動露光のためのカメラパラメータに基づいて前記複数のカメラの撮像制御を行う撮像制御手段とを有する。
【００１３】
好ましくは、前記自動露光のためのカメラパラメータは、次の式、
【数３】
ここで、ｔはシャッタースピード、ｘはゲインの数値、ｋ１，ｋ２は定数、 ｖは輝度の平均値、Ａは輝度の目標値、
で表される露光量Ｅおよび露光量増加分ΔＥを有する。
【００１６】
【発明の実施の形態】
〔第１の実施形態〕
図１は本発明に係る第１の実施形態の撮像装置１の構成を示す図、図２は２つの画像Ｄ１，Ｄ２に設定された特定領域ＴＲの例を示す図、図３は２つの画像Ｄ１，Ｄ２に設定された特定領域ＴＲの他の例を示す図、図４は特定領域ＴＲを自動的に設定する方法の例を示す図である。
【００１７】
図１において、撮像装置１は、２つのカメラ１１，１２、領域設定部１３、およびパラメータ算出部１４などからなる。
カメラ１１，１２は、ＣＣＤなどの撮像素子をそれぞれ備えており、計測の対象物（被写体）Ｑに対して互いに視差を有する視点位置から対象物Ｑを撮像することが可能である。なお、ここでは説明を簡単にするために、２つのカメラ１１，１２の光軸は互いに平行であるとする。カメラ１１，１２には、それぞれ撮像制御部１１１，１２１が設けられ、カメラパラメータＣＰに基づく撮像制御を互いに独立して行うことが可能である。
【００１８】
すなわち、撮像制御部１１１，１２１は、各カメラ１１，１２のＡＥ、ＡＷＢ、ＡＦ（自動焦点）などを電気的および機構的に制御する。撮像制御部１１１，１２１による制御に必要なカメラパラメータＣＰは、独自で設定することもあるが、後述するようにパラメータ算出部１４から取得することが可能である。
【００１９】
カメラ１１，１２は、それぞれ異なる撮像範囲ＳＨ１，ＳＨ２を有し、その一部が互いに重なる。重なった部分が共通撮像範囲ＳＨＫである。カメラ１１，１２は、それぞれの撮像範囲ＳＨ１，２の画像Ｄ１，Ｄ２を出力する。画像Ｄ１，Ｄ２は、適当な大きさの表示面を有したモニタに表示される。画像Ｄ１，Ｄ２には、カメラ１１，１２の電源がオンのときに常に撮像されて出力されるモニタ画像、およびシャッタを押したときに撮像されて出力される画像が含まれる。対象物Ｑが共通撮像範囲ＳＨＫに入るようにして撮像を行うことにより、対象物Ｑについての視差のある２つの画像が得られる。
【００２０】
なお、２つのカメラ１１，１２は、機構的に一体化されていてもよく、また、別体で構成された２つのカメラ１１，１２を連結機構で連結した構造のものでもよい。
【００２１】
領域設定部１３は、各カメラ１１，１２の撮像範囲ＳＨ１，２内において、特定領域ＴＲをそれぞれ設定するためのものである。特定領域ＴＲは、それぞれのカメラ１１，１２に対して設定することが可能である。ユーザが手動により設定することが可能であり、また、自動的に設定することも可能である。
【００２２】
特定領域ＴＲを設定するに当たり、基本的には、カメラ１１，１２の視野が互いに重なる領域を特定領域ＴＲとする。特定領域ＴＲの設定の方法として、モニタの表示面上にリアルタイムで画像を表示し、その画像を見ながら設定する方法と、カメラ１１、１２と対象物Ｑとの位置関係および大体の距離が分かっている場合に予め計算によって視野の重なる領域を計算で求めて設定する方法とがある。
【００２３】
つまり、後者においては、視野が重なる領域はカメラ１１，１２からの距離Ｌによって異なるが、計測したい対象物Ｑの大きさや位置に制限を加えることにより、所定の距離範囲を特定して視野の重なる領域を予め求めることが可能ということである。なお、視野の重なる領域を予め求める際に、光学系の焦点距離、撮像素子のサイズ、画角など、必要なカメラパラメータを用いる。これらのカメラパラメータＣＰは撮像制御部１１１，１２１が認識し、適当なメモリ領域に記憶されている。
【００２４】
次に、特定領域ＴＲの設定の例を示す。
図２（Ａ）はカメラ１１の画像Ｄ１を、図２（Ｂ）はカメラ１２の画像Ｄ２を、それぞれ示す。画像Ｄ１はカメラ１１の撮像範囲ＳＨ１に対応し、画像Ｄ２はカメラ１２の撮像範囲ＳＨ２に対応する。画像Ｄ１，Ｄ２において、共通撮像範囲ＳＨＫに対応する部分には斜線を施して示してある。
【００２５】
そこで、例えば、ユーザは、共通撮像範囲ＳＨＫをそれぞれの特定領域ＴＲ１，ＴＲ２として設定する。但し、画像Ｄ１，Ｄ２における特定領域ＴＲの境界は、図１におけるカメラ１１，１２から背景面ＨＭ１までの距離（背景距離）Ｌによって異なる。図２においては、背景距離がＬ１の場合を示している。背景距離Ｌ１は、想定される対象物Ｑが共通撮像範囲ＳＨＫに十分に入る距離である。そのような共通撮像範囲ＳＨＫを特定領域ＴＲとして設定することにより、対象物Ｑは特定領域ＴＲの中に写ることとなる。
【００２６】
なお、共通撮像範囲ＳＨＫに対応してユーザが設定する特定領域ＴＲは、共通撮像範囲ＳＨＫに正確に対応する必要はない。計測の目的に応じて柔軟に設定することが可能である。
【００２７】
図３（Ａ）（Ｂ）に示す画像Ｄ１，Ｄ２では、図２（Ａ）（Ｂ）における特定領域内であってそれらよりも狭い範囲であり、且つ対象物Ｑを十分に含む範囲が、特定領域ＴＲ１，２として設定されている。図３における特定領域ＴＲ１と特定領域ＴＲ２とは、共通撮像範囲ＳＨＫに正確に対応しないのみならず、共通撮像範囲ＳＨＫにも対応していない。対象物Ｑまたは対象物Ｑについての計測を行いたい部分を共通に含んでいれば十分であるからである。このように、特定領域ＴＲとして、３次元情報を得たい任意の領域を設定することができる。
【００２８】
なお、特定領域ＴＲを手動で設定するために、例えば、モニタの表示面に設定された特定領域ＴＲを枠線などで表示し、カーソルまたはマウスなどを操作して枠線を移動可能なように構成すればよい。その際に、２つの画像Ｄ１，Ｄ２のうちの一方について特定領域ＴＲを設定したときに、他方についてはそれに対応して共通撮像範囲ＳＨＫが特定領域ＴＲとして自動的に設定されるようにしてもよい。その場合に、一方のカメラ１１を基準カメラとし、他方のカメラ１２を参照カメラとし、特定領域ＴＲを基準カメラの画像（基準画像）に対してのみ設定すれば済むようにすればよい。
【００２９】
パラメータ算出部１４は、設定された特定領域ＴＲにおける画像情報のみを用いてカメラパラメータＣＰを算出する。つまり、各画像Ｄ１，Ｄ２の輝度情報、色情報、およびピントの状態についての情報などについて、特定領域ＴＲ１，２に写っている画像のみから得られる情報を用いてカメラパラメータＣＰを演算により求め、求めたカメラパラメータＣＰをカメラ１１，１２に出力して撮像制御部１１１，１２１に設定する。
【００３０】
パラメータ算出部１４は、カメラパラメータＣＰを求める際に、設定された特定領域ＴＲ１，２における輝度の平均値および各色成分の平均値を求め、求めた値から、これら２つの特定領域ＴＲ１，２における互いの画像の輝度および色バランスを等しくするようなカメラパラメータＣＰを求める。輝度および色バランスの両方を等しくするようなカメラパラメータＣＰの算出が不可能であったり多大な時間を要する場合には、いずれか一方のみを等しくするようなカメラパラメータＣＰを算出すればよい。
【００３１】
なお、輝度の平均値および各色成分の平均値として、単純平均または２乗平均を行った値を用いたり、特定領域ＴＲの中央部分のウエイトを大きくした加重平均値などを用いることができる。
【００３２】
次に、輝度の平均値、各色成分の平均値からカメラパラメータＣＰを求める例を説明する。しかし、カメラパラメータＣＰの求め方としてこれ以外の種々の方法を採用することができる。また、カメラの特性によってもカメラパラメータＣＰの求め方が異なる。
【００３３】
ＡＥのためのカメラパラメータＣＰは次のようにして求めることができる。
カメラの現在の露光量をＥとし、露光量の増加分をΔＥとすると、それらは次の（１）（２）式で表される。
【００３４】
【数１】
【００３５】
ここで、ｔは現在のシャッタースピード、ｘは現在のゲインの数値、ｋ１，ｋ２は定数、ｖは輝度の平均値、Ａは輝度の目標値である。ゲインｘは、カメラの絞りおよび撮像素子の感度などに依存する。
【００３６】
そして、変更後の新しい露光量Ｅ’を、
Ｅ’＝Ｅ＋ΔＥ
と定め、次の（３）式、
【００３７】
【数２】
【００３８】
となるように、新しいシャッタースピードｔ’および新しいゲインｘ’を定める。なお、シャッタースピードｔ’およびゲインｘ’は一意に定まるとは限らない。
【００３９】
ＡＷＢのためのカメラパラメータＣＰは次のようにして求めることができる。
例えば、ＲＧＢのカラー画像において、Ｇを基準とする場合には、Ｒ成分の平均値をｒ、Ｇ成分の平均値をｇ、Ｂ成分の平均値をｂとおき、Ｇｒ，Ｇｇ，ＧｂをそれぞれＲ，Ｇ，Ｂの各成分に対応するホワイトバランスの値とするとき、
Ｇｒ＝ｇ／ｒ
Ｇｇ＝１
Ｇｂ＝ｇ／ｂ
と定める。
【００４０】
上のようにして求めたカメラパラメータＣＰが撮像制御部１１１，１２１に設定される。設定されたカメラパラメータＣＰにより、撮像制御部１１１，１２１による撮像制御が行われ、カメラパラメータＣＰを設定したときと同じ撮像範囲に対して撮像が行われる。これによってあらためて２つの画像Ｄ１，Ｄ２が得られる。得られた画像Ｄ１，Ｄ２に対して、自動または手動で対応点を求め、画像Ｄ１，Ｄ２の中に写った対象物Ｑについての距離画像などの３次元情報を生成する。
【００４１】
次に、特定領域ＴＲを自動的に設定する方法の例について説明する。
図４（Ａ）（Ｂ）はそれぞれカメラ１１，１２の画像Ｄ１，Ｄ２である。一方の画像Ｄ１が基準画像であり、他方の画像Ｄ２が参照画像である。これら画像Ｄ１，Ｄ２のいずれにも対象物Ｑの画像が含まれているが、視差があるため対象物Ｑの画像は同一ではない。
【００４２】
まず、これらの画像Ｄ１，Ｄ２において、３つ以上の対応点を抽出する。対応点を抽出するために、画像の中の特徴点を用いて自動計算によって抽出してもよいし、ユーザが画像を見ながら手動により対応点を指定してもよい。図４において、対応点は黒丸で示されている。
【００４３】
そして、画像Ｄ２上の対応点の座標を画像Ｄ１上の対応点の座標に移す射影変換を求める。なお、射影変換は、次の（４）式で示される座標変換である。
【００４４】
【数３】
【００４５】
なお、射影変換を求める際に何らかの拘束条件をつけてもよい。例えば、アフィン変換に制限する、既知のカメラパラメータを用いる、などである。
次に、求めた射影変換によって画像Ｄ２の全体を変換する。変換した画像が図４（Ｃ）に画像Ｄ３として示されている。そして、図４（Ｄ）に示すように、画像Ｄ３を画像Ｄ１に重ねる。図４（Ｄ）において画像Ｄ３と画像Ｄ１とが重なっている部分を視野が重なる領域とみなし、この領域を特定領域ＴＲとして設定する。
【００４６】
特定領域ＴＲを自動的に設定する方法の他の例として、対象物Ｑの写った領域を自動的に抽出し、抽出した領域を特定領域ＴＲとして設定してもよい。
次に、撮像装置１における動作の流れをフローチャートによって説明する。
【００４７】
図５は撮像装置１における動作の全体の流れを示すフローチャート、図６は特定領域ＴＲの自動設定の流れを示すフローチャートである。
図５において、複数のカメラによって複数の画像を取得する（＃１１）。画像に対して特定領域ＴＲを設定し（＃１２）、特定領域ＴＲの画像情報のみを用いてカメラパラメータＣＰを求める（＃１３）。求めたカメラパラメータＣＰによってそれぞれのカメラの撮像制御を行い、複数の画像を取得する（＃１４）。取得した複数の画像について対応点を抽出し（＃１５）、対応点に基づいて３次元情報を生成する（＃１６）。
【００４８】
図６において、特定領域ＴＲを設定するために、複数の画像について少なくとも３つの対応点を抽出する（＃２１）。対応点を用いて、参照画像を射影変換して基準画像に重ね合わせる（＃２２）。それらが重なった部分を抽出して特定領域ＴＲとする（＃２３）。
【００４９】
ステップ＃２１の処理が本発明における対応点を取得する手段に相当し、ステップ＃２２および２３の処理が本発明における特定領域として設定する手段に相当する。
【００５０】
上の実施形態において、撮像装置１は、全体が１つのハウジング内に組み込まれて一体化された構造であってもよく、また、カメラ１１，１２と領域設定部１３およびパラメータ算出部１４とが、またはカメラ１１，１２および領域設定部１３とパラメータ算出部１４とが、それぞれ分離した構造であってもよい。また、領域設定部１３またはパラメータ算出部１４をパーソナルコンピュータによって実現してもよい。
〔第２の実施形態〕
次に、第２の実施形態の撮像装置１Ｂについて説明する。ここでは第１の実施形態の撮像装置１との差異のみを説明する。したがって、第２の実施形態において説明のない部分は第１の実施形態と同様であると考えてよい。
【００５１】
図７は本発明に係る第２の実施形態の撮像装置１Ｂの構成を示す図、図８は画像情報に対する重み付けを説明する図である。
なお、図８（Ａ）（Ｂ）は、図７の背景面ＨＭ２に対応した共通領域ＫＲ１２，２２を示し、図８（Ｃ）（Ｄ）は、図７の背景面ＨＭ３に対応した共通領域ＫＲ１３，２３を示す。図８（Ｅ）（Ｆ）は各画像Ｄ１，Ｄ２について領域に応じた重み（重み付け係数）の例を示す。
【００５２】
撮像装置１Ｂでは、カメラパラメータＣＰを算出するに当たり、第１の実施形態のように特定領域ＴＲ内の画像情報のみを用いるのではなく、画像Ｄ１，Ｄ２の全体の画像情報に対して各カメラ１１，１２の視野が重なる可能性に応じた重み付けを行った値を用いる。
【００５３】
すなわち、重み付け部１３Ｂにおいて、２つの画像Ｄ１，Ｄ２について、視野の重なる可能性の高い領域に対して重みが大きくなるように重み付けを行う。視野の重なる可能性のない領域は重みを「０」とする。視野の重なる可能性を算出する際には、計測を行いたい対象物Ｑに対して想定される位置つまり距離Ｌ、および光学系の焦点距離などの必要なカメラパラメータを用いる。
【００５４】
そして、パラメータ算出部１４Ｂにおいて、重み付けに基づいて、画像の輝度または各色成分の加重平均値を求め、この値をもとにカメラパラメータＣＰを算出する。
【００５５】
重み付け部１３Ｂにおける重み付けの処理についてさらに詳しく説明する。
重み付け部１３Ｂにおいて、２つの画像Ｄ１，Ｄ２について、視野の重なる可能性を画像中の領域ごとに定める。
【００５６】
すなわち、図７に示すように、２つのカメラ１１，１２の共通撮像範囲ＳＨＫは、上でも簡単に触れたように、背景面ＨＭの位置、つまりカメラ１１，１２から背景面ＨＭ２，３までの背景距離Ｌ２，３によって異なる。ここで、対象物Ｑが距離Ｌ２とＬ３との間に存在することが分かっていると仮定する。
【００５７】
図８（Ａ）（Ｂ）に示すように、背景面ＨＭ２に対応する共通領域ＫＲ１２，２２については、距離Ｌ２とＬ３との間では必ず視野の重なる領域に含まれる。これに対して、図８（Ｃ）（Ｄ）に示すように、背景面ＨＭ３に対応する共通領域ＫＲ１３，２３以外の領域ＨＲ１３，２３については、距離Ｌ２とＬ３との間では視野の重なる領域には絶対に含まれない。
【００５８】
そして、共通領域ＫＲ１２，２２と領域ＨＲ１３，２３との中間の領域ＪＲ１３，２３、つまり共通領域ＫＲ１３，２３には含まれるが共通領域ＫＲ１２，２２には含まれない領域については、視野の重なる領域に含まれる可能性はそれらの中間である。距離Ｌ２とＬ３の間に存在する距離Ｌ４において、視野の重なる領域に含まれる可能性を確率αで示すと、
α＝（Ｌ３−Ｌ４）／（Ｌ３−Ｌ２） …（５）
と定めることができる。なお、この確率αの定め方は単純な一例であり、これ以外の方法で確率αを定めてもよい。
【００５９】
そして、この確率αに基づいて重みを定める。重みは、最も単純な例としては、視野が重なる領域に含まれる確率α、例えば上の（５）式の右辺の値、
（Ｌ３−Ｌ４）／（Ｌ３−Ｌ２）
をそのまま採用することができる。
【００６０】
なお、確率αが高いほど重みが大きくなるようにさえすれば、他の種々の方法で重みを決定してもよい。例えば、確率αに直線的に比例するのではなく、二次曲線的に変化するようにし、または傾きの異なる複数の直線による折れ線グラフのように変化するようにしてもよい。
【００６１】
上で説明した重み付けの方法に関して、次のように考えることもできる。
つまり、重みとして、画像Ｄ１，Ｄ２中に対象物Ｑの存在する可能性に応じた値を用いるものと考えることができる。
【００６２】
図８（Ａ）（Ｂ）に示すように、背景面ＨＭ２に対応する共通領域ＫＲ１２，２２については、対象物Ｑがある確率が高い。例えば、対象物Ｑのサイズが、背景面ＨＭ２に対応した共通撮像範囲ＳＨＫ（図７に太線で示す）と同じサイズである場合には、対象物Ｑが共通領域ＫＲ１２，２２に写る確率は「１」である。したがって、この共通領域ＫＲ１２，２２についての重みを「１」とする。
【００６３】
これとは逆に、図８（Ｃ）（Ｄ）に示すように、背景面ＨＭ３に対応する共通領域ＫＲ１３，２３以外の領域ＨＲ１３，２３については、対象物Ｑが写る確率は０％である。つまり、この領域ＨＲ１２，２３についての重みは「０」である。
【００６４】
そして、共通領域ＫＲ１２，２２と領域ＨＲ１３，２３との中間の領域ＪＲ１３，２３では、対象物Ｑが写る確率は０％と１００％との間である。したがって、この領域ＪＲ１３，２３についての重みを「０」〜「１」の間の適当な値に設定する。このように考えて重みを決定することができる。
【００６５】
次に、撮像装置１Ｂにおける動作の流れをフローチャートによって説明する。
図９は撮像装置１における動作の全体の流れを示すフローチャートである。
図９において、複数のカメラによって複数の画像を取得する（＃３１）。画像の全体の領域に対して、領域ごとに、視野が重なる可能性に応じた重み付けを行う（＃３２）。全体の画像情報に重み付けをした値を用いてカメラパラメータＣＰを求める（＃３３）。求めたカメラパラメータＣＰによってそれぞれのカメラの撮像制御を行い、複数の画像を取得する（＃３４）。取得した複数の画像について対応点を抽出し（＃３５）、対応点に基づいて３次元情報を生成する（＃３６）。
【００６６】
上に述べたように、第１の実施形態では、複数の画像間で複数の対応点または視野の重なる領域がわかっている場合に、視野の重なる領域である特定領域ＴＲの画像情報のみに基づいてＡＥやＡＷＢを行う。これによって、視野の重なる領域での輝度・色バランスを揃えることが可能となり、画像の対応付けを容易に且つ正確に行うことができる。例えば、対象物Ｑを照明するための照明光が２つの画像の一方に写る場合であっても、照明光が特定領域ＴＲに入らないようにすることによって、照明光の影響による輝度のアンバランスが起こらない。その結果、対象物の計測を精度よく行うことができる。
【００６７】
また、第２の実施形態では、視野の重なる領域がはっきりわからない場合でも、想定している対象物Ｑまでの距離に応じて、その位置が視野の重なる領域に含まれる確率を用いて重み付けを行う。そして、重み付けを行った画像情報に基づいてＡＥやＡＷＢを行う。これによって、視野の重なる領域での輝度・色バランスを互いに近づけることが可能となる。
【００６８】
なお、ＡＥの制御のやり方の例として、画像のコントラストを調整し、カメラごとにコントラストが最大となるようにする。コントラストを求めるには、例えば、隣合う画素の濃度の差を合計し、合計値が最大となるようにする。第２の実施形態の場合には、隣合う画素の濃度の差に確立αを掛けて、その合計値が最大となるようにする。
【００６９】
上に挙げた２つの実施形態では、ＡＥおよびＡＷＢを行うこととして説明したが、それらに代えてまたはそれらとともに、ピントが最適となるように各カメラのフォーカスを自動制御すること（ＡＦ）も可能である。また、ＡＥ、ＡＷＢ、およびＡＦ以外のカメラパラメータＣＰを制御するようにしてもよい。
【００７０】
上に述べた実施形態において、２つのカメラ１１，１２を、それらの光軸が平行ではなく互いに交わるように配置してもよい。２つのカメラ１１，１２が用いられているが、３つ以上のカメラを用いることも可能である。撮像装置１の領域設定部１３やパラメータ算出部１４、撮像装置１Ｂの重み付け部１３Ｂなどは、ＣＰＵとメモリなどを用いてソフト的に、またはハードウエア回路によって、またはそれらの組み合わせによって実現することが可能である。
【００７１】
その他、撮像装置１、１Ｂの全体または各部の構成、回路、形状、寸法、個数、処理内容などは、本発明の趣旨に沿って適宜変更することができる。
本発明には以下の付記に記載するような発明が含まれる。
【００７２】
［付記１］
前記特定領域は、前記各カメラの撮像範囲内において互いに共通する領域である。
［付記２］
前記撮像制御は、自動露光のための制御である。
【００７３】
［付記２］
前記撮像制御は、自動露光のための制御である、
請求項２または４記載の撮像装置。
【００７４】
［付記３］
前記撮像制御は、自動ホワイトバランスのための制御である、
請求項２または４記載の撮像装置。
【００７５】
［付記４］
前記撮像制御は、自動焦点のための制御である、
請求項２または４記載の撮像装置。
【００７６】
【発明の効果】
本発明によると、複数のカメラから得られる画像に基づいて対象物を計測するに際して、画像の対応付けを正確に行うことが可能となり、対象物の計測を精度よく行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態の撮像装置の構成を示す図である。
【図２】２つの画像に設定された特定領域の例を示す図である。
【図３】２つの画像に設定された特定領域の他の例を示す図である。
【図４】特定領域を自動的に設定する方法の例を示す図である。
【図５】撮像装置における動作の全体の流れを示すフローチャートである。
【図６】特定領域の自動設定の流れを示すフローチャートである。
【図７】本発明に係る第２の実施形態の撮像装置の構成を示す図である。
【図８】画像情報に対する重み付けを説明する図である。
【図９】撮像装置における動作の全体の流れを示すフローチャートである。
【符号の説明】
１、１Ｂ 撮像装置
１１、１２ カメラ
１３ 領域設定部（設定手段）
１４ パラメータ算出部（算出手段）
１３Ｂ 重み付け部（重み付け手段）
１４Ｂ パラメータ算出部（算出手段）
１１１、１２１ 撮像制御部（撮像制御手段）
ＴＲ 特定領域
Ｑ 対象物
【発明の属する技術分野】
本発明は、複数のカメラから得られる画像に基づいて対象物を計測する方法およびそれに用いられる撮像装置に関する。
【０００２】
【従来の技術】
従来より、複数のカメラから得られる画像に基づいて対象物を計測し、対象物の距離画像などの３次元情報を取得する方法が知られている。また、そのような画像を撮像するための撮像装置が種々知られている。
【０００３】
さて、２つの画像に基づいて３次元情報を得るためには、それら２つの画像における対応点を抽出する必要がある。しかし、従来の撮像装置から得られる画像では、対応点における輝度、色バランス、またはピントの状態が互いに異なるため、対応点を正確に抽出することが困難である。
【０００４】
例えば、特開２００２−２１８５０６および特開２００２−２１８５０７には、１つの光学系にステレオアダプタを取り付けてステレオ画像を得る撮像装置が開示されている。この撮像装置によると、１つの光学系で２つの仮想視点からの画像を得ることが可能である。しかし、ＡＥ（自動露光）やＡＷＢ（自動ホワイトバランス）をそれぞれの画像に対して独立して制御することができない。そのため、２つの画像の対応点の輝度や色バランスが互いに異なり、正確な対応付けが困難である。
【０００５】
【特許文献１】
特開２００２−２１８５０６
【０００６】
【特許文献２】
特開２００２−２１８５０７
【０００７】
【特許文献３】
特開２００２−２１６１２５
【０００８】
【発明が解決しようとする課題】
この問題の解決のために、２つの画像に共通して写っている平面部分の輝度を比較して画像全体の輝度値を修正することが提案されている（特開２００２−２１６１２５）。
【０００９】
すなわち、これによると、２つの画像に共通している領域の輝度を比較して画像に修正を加える。しかし、撮像した後の画像に修正を加えて画像の輝度を揃えようとするものであるから、画像の状態によっては画像の輝度を十分に揃えることができない。また、画像の色バランスやピントの状態が異なっていた場合には修正によって揃えることはほとんど不可能である。そのため、正確な対応付けが困難であり、対象物についての精度のよい３次元情報を得ることができない。
【００１０】
本発明は、上述の問題に鑑みてなされたもので、複数のカメラから得られる画像に基づいて対象物を計測するに際して、画像の対応付けを正確に行うことを可能とし、対象物の計測を精度よく行えるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る方法は、複数のカメラから得られる画像に基づいて対象物を計測する計測方法であって、前記複数のカメラで撮像されている複数の画像のそれぞれについて少なくとも３つの対応点を取得し、前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を特定領域として設定し、前記特定領域における画像から得られる画像情報をより多く用いて自動露光のためのカメラパラメータを設定し、設定した前記自動露光のためのカメラパラメータを用いて、カメラパラメータを設定したときと同じ撮像範囲に対して複数の前記カメラによる撮像を行って画像をそれぞれ取得し、取得した複数の画像に基づき画像の対応点を求めて撮像範囲に入った対象物の３次元情報を取得する。
【００１２】
本発明に係る装置は、対象物に対して互いに視差を有する視点位置から対象物を撮像することが可能であって少なくとも自動露光のためのカメラパラメータに基づく撮像制御を互いに独立して行うことの可能な複数のカメラと、前記複数のカメラで撮像されている複数の画像について少なくとも３つの対応点を取得し、前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を特定領域として設定するための設定手段と、前記特定領域における画像情報のみを用いて前記複数のカメラのそれぞれに対応する前記自動露光のためのカメラパラメータを算出する算出手段と、算出された前記複数のカメラのそれぞれに対応する前記自動露光のためのカメラパラメータに基づいて前記複数のカメラの撮像制御を行う撮像制御手段とを有する。
【００１３】
好ましくは、前記自動露光のためのカメラパラメータは、次の式、
【数３】
ここで、ｔはシャッタースピード、ｘはゲインの数値、ｋ１，ｋ２は定数、 ｖは輝度の平均値、Ａは輝度の目標値、
で表される露光量Ｅおよび露光量増加分ΔＥを有する。
【００１６】
【発明の実施の形態】
〔第１の実施形態〕
図１は本発明に係る第１の実施形態の撮像装置１の構成を示す図、図２は２つの画像Ｄ１，Ｄ２に設定された特定領域ＴＲの例を示す図、図３は２つの画像Ｄ１，Ｄ２に設定された特定領域ＴＲの他の例を示す図、図４は特定領域ＴＲを自動的に設定する方法の例を示す図である。
【００１７】
図１において、撮像装置１は、２つのカメラ１１，１２、領域設定部１３、およびパラメータ算出部１４などからなる。
カメラ１１，１２は、ＣＣＤなどの撮像素子をそれぞれ備えており、計測の対象物（被写体）Ｑに対して互いに視差を有する視点位置から対象物Ｑを撮像することが可能である。なお、ここでは説明を簡単にするために、２つのカメラ１１，１２の光軸は互いに平行であるとする。カメラ１１，１２には、それぞれ撮像制御部１１１，１２１が設けられ、カメラパラメータＣＰに基づく撮像制御を互いに独立して行うことが可能である。
【００１８】
すなわち、撮像制御部１１１，１２１は、各カメラ１１，１２のＡＥ、ＡＷＢ、ＡＦ（自動焦点）などを電気的および機構的に制御する。撮像制御部１１１，１２１による制御に必要なカメラパラメータＣＰは、独自で設定することもあるが、後述するようにパラメータ算出部１４から取得することが可能である。
【００１９】
カメラ１１，１２は、それぞれ異なる撮像範囲ＳＨ１，ＳＨ２を有し、その一部が互いに重なる。重なった部分が共通撮像範囲ＳＨＫである。カメラ１１，１２は、それぞれの撮像範囲ＳＨ１，２の画像Ｄ１，Ｄ２を出力する。画像Ｄ１，Ｄ２は、適当な大きさの表示面を有したモニタに表示される。画像Ｄ１，Ｄ２には、カメラ１１，１２の電源がオンのときに常に撮像されて出力されるモニタ画像、およびシャッタを押したときに撮像されて出力される画像が含まれる。対象物Ｑが共通撮像範囲ＳＨＫに入るようにして撮像を行うことにより、対象物Ｑについての視差のある２つの画像が得られる。
【００２０】
なお、２つのカメラ１１，１２は、機構的に一体化されていてもよく、また、別体で構成された２つのカメラ１１，１２を連結機構で連結した構造のものでもよい。
【００２１】
領域設定部１３は、各カメラ１１，１２の撮像範囲ＳＨ１，２内において、特定領域ＴＲをそれぞれ設定するためのものである。特定領域ＴＲは、それぞれのカメラ１１，１２に対して設定することが可能である。ユーザが手動により設定することが可能であり、また、自動的に設定することも可能である。
【００２２】
特定領域ＴＲを設定するに当たり、基本的には、カメラ１１，１２の視野が互いに重なる領域を特定領域ＴＲとする。特定領域ＴＲの設定の方法として、モニタの表示面上にリアルタイムで画像を表示し、その画像を見ながら設定する方法と、カメラ１１、１２と対象物Ｑとの位置関係および大体の距離が分かっている場合に予め計算によって視野の重なる領域を計算で求めて設定する方法とがある。
【００２３】
つまり、後者においては、視野が重なる領域はカメラ１１，１２からの距離Ｌによって異なるが、計測したい対象物Ｑの大きさや位置に制限を加えることにより、所定の距離範囲を特定して視野の重なる領域を予め求めることが可能ということである。なお、視野の重なる領域を予め求める際に、光学系の焦点距離、撮像素子のサイズ、画角など、必要なカメラパラメータを用いる。これらのカメラパラメータＣＰは撮像制御部１１１，１２１が認識し、適当なメモリ領域に記憶されている。
【００２４】
次に、特定領域ＴＲの設定の例を示す。
図２（Ａ）はカメラ１１の画像Ｄ１を、図２（Ｂ）はカメラ１２の画像Ｄ２を、それぞれ示す。画像Ｄ１はカメラ１１の撮像範囲ＳＨ１に対応し、画像Ｄ２はカメラ１２の撮像範囲ＳＨ２に対応する。画像Ｄ１，Ｄ２において、共通撮像範囲ＳＨＫに対応する部分には斜線を施して示してある。
【００２５】
そこで、例えば、ユーザは、共通撮像範囲ＳＨＫをそれぞれの特定領域ＴＲ１，ＴＲ２として設定する。但し、画像Ｄ１，Ｄ２における特定領域ＴＲの境界は、図１におけるカメラ１１，１２から背景面ＨＭ１までの距離（背景距離）Ｌによって異なる。図２においては、背景距離がＬ１の場合を示している。背景距離Ｌ１は、想定される対象物Ｑが共通撮像範囲ＳＨＫに十分に入る距離である。そのような共通撮像範囲ＳＨＫを特定領域ＴＲとして設定することにより、対象物Ｑは特定領域ＴＲの中に写ることとなる。
【００２６】
なお、共通撮像範囲ＳＨＫに対応してユーザが設定する特定領域ＴＲは、共通撮像範囲ＳＨＫに正確に対応する必要はない。計測の目的に応じて柔軟に設定することが可能である。
【００２７】
図３（Ａ）（Ｂ）に示す画像Ｄ１，Ｄ２では、図２（Ａ）（Ｂ）における特定領域内であってそれらよりも狭い範囲であり、且つ対象物Ｑを十分に含む範囲が、特定領域ＴＲ１，２として設定されている。図３における特定領域ＴＲ１と特定領域ＴＲ２とは、共通撮像範囲ＳＨＫに正確に対応しないのみならず、共通撮像範囲ＳＨＫにも対応していない。対象物Ｑまたは対象物Ｑについての計測を行いたい部分を共通に含んでいれば十分であるからである。このように、特定領域ＴＲとして、３次元情報を得たい任意の領域を設定することができる。
【００２８】
なお、特定領域ＴＲを手動で設定するために、例えば、モニタの表示面に設定された特定領域ＴＲを枠線などで表示し、カーソルまたはマウスなどを操作して枠線を移動可能なように構成すればよい。その際に、２つの画像Ｄ１，Ｄ２のうちの一方について特定領域ＴＲを設定したときに、他方についてはそれに対応して共通撮像範囲ＳＨＫが特定領域ＴＲとして自動的に設定されるようにしてもよい。その場合に、一方のカメラ１１を基準カメラとし、他方のカメラ１２を参照カメラとし、特定領域ＴＲを基準カメラの画像（基準画像）に対してのみ設定すれば済むようにすればよい。
【００２９】
パラメータ算出部１４は、設定された特定領域ＴＲにおける画像情報のみを用いてカメラパラメータＣＰを算出する。つまり、各画像Ｄ１，Ｄ２の輝度情報、色情報、およびピントの状態についての情報などについて、特定領域ＴＲ１，２に写っている画像のみから得られる情報を用いてカメラパラメータＣＰを演算により求め、求めたカメラパラメータＣＰをカメラ１１，１２に出力して撮像制御部１１１，１２１に設定する。
【００３０】
パラメータ算出部１４は、カメラパラメータＣＰを求める際に、設定された特定領域ＴＲ１，２における輝度の平均値および各色成分の平均値を求め、求めた値から、これら２つの特定領域ＴＲ１，２における互いの画像の輝度および色バランスを等しくするようなカメラパラメータＣＰを求める。輝度および色バランスの両方を等しくするようなカメラパラメータＣＰの算出が不可能であったり多大な時間を要する場合には、いずれか一方のみを等しくするようなカメラパラメータＣＰを算出すればよい。
【００３１】
なお、輝度の平均値および各色成分の平均値として、単純平均または２乗平均を行った値を用いたり、特定領域ＴＲの中央部分のウエイトを大きくした加重平均値などを用いることができる。
【００３２】
次に、輝度の平均値、各色成分の平均値からカメラパラメータＣＰを求める例を説明する。しかし、カメラパラメータＣＰの求め方としてこれ以外の種々の方法を採用することができる。また、カメラの特性によってもカメラパラメータＣＰの求め方が異なる。
【００３３】
ＡＥのためのカメラパラメータＣＰは次のようにして求めることができる。
カメラの現在の露光量をＥとし、露光量の増加分をΔＥとすると、それらは次の（１）（２）式で表される。
【００３４】
【数１】
【００３５】
ここで、ｔは現在のシャッタースピード、ｘは現在のゲインの数値、ｋ１，ｋ２は定数、ｖは輝度の平均値、Ａは輝度の目標値である。ゲインｘは、カメラの絞りおよび撮像素子の感度などに依存する。
【００３６】
そして、変更後の新しい露光量Ｅ’を、
Ｅ’＝Ｅ＋ΔＥ
と定め、次の（３）式、
【００３７】
【数２】
【００３８】
となるように、新しいシャッタースピードｔ’および新しいゲインｘ’を定める。なお、シャッタースピードｔ’およびゲインｘ’は一意に定まるとは限らない。
【００３９】
ＡＷＢのためのカメラパラメータＣＰは次のようにして求めることができる。
例えば、ＲＧＢのカラー画像において、Ｇを基準とする場合には、Ｒ成分の平均値をｒ、Ｇ成分の平均値をｇ、Ｂ成分の平均値をｂとおき、Ｇｒ，Ｇｇ，ＧｂをそれぞれＲ，Ｇ，Ｂの各成分に対応するホワイトバランスの値とするとき、
Ｇｒ＝ｇ／ｒ
Ｇｇ＝１
Ｇｂ＝ｇ／ｂ
と定める。
【００４０】
上のようにして求めたカメラパラメータＣＰが撮像制御部１１１，１２１に設定される。設定されたカメラパラメータＣＰにより、撮像制御部１１１，１２１による撮像制御が行われ、カメラパラメータＣＰを設定したときと同じ撮像範囲に対して撮像が行われる。これによってあらためて２つの画像Ｄ１，Ｄ２が得られる。得られた画像Ｄ１，Ｄ２に対して、自動または手動で対応点を求め、画像Ｄ１，Ｄ２の中に写った対象物Ｑについての距離画像などの３次元情報を生成する。
【００４１】
次に、特定領域ＴＲを自動的に設定する方法の例について説明する。
図４（Ａ）（Ｂ）はそれぞれカメラ１１，１２の画像Ｄ１，Ｄ２である。一方の画像Ｄ１が基準画像であり、他方の画像Ｄ２が参照画像である。これら画像Ｄ１，Ｄ２のいずれにも対象物Ｑの画像が含まれているが、視差があるため対象物Ｑの画像は同一ではない。
【００４２】
まず、これらの画像Ｄ１，Ｄ２において、３つ以上の対応点を抽出する。対応点を抽出するために、画像の中の特徴点を用いて自動計算によって抽出してもよいし、ユーザが画像を見ながら手動により対応点を指定してもよい。図４において、対応点は黒丸で示されている。
【００４３】
そして、画像Ｄ２上の対応点の座標を画像Ｄ１上の対応点の座標に移す射影変換を求める。なお、射影変換は、次の（４）式で示される座標変換である。
【００４４】
【数３】
【００４５】
なお、射影変換を求める際に何らかの拘束条件をつけてもよい。例えば、アフィン変換に制限する、既知のカメラパラメータを用いる、などである。
次に、求めた射影変換によって画像Ｄ２の全体を変換する。変換した画像が図４（Ｃ）に画像Ｄ３として示されている。そして、図４（Ｄ）に示すように、画像Ｄ３を画像Ｄ１に重ねる。図４（Ｄ）において画像Ｄ３と画像Ｄ１とが重なっている部分を視野が重なる領域とみなし、この領域を特定領域ＴＲとして設定する。
【００４６】
特定領域ＴＲを自動的に設定する方法の他の例として、対象物Ｑの写った領域を自動的に抽出し、抽出した領域を特定領域ＴＲとして設定してもよい。
次に、撮像装置１における動作の流れをフローチャートによって説明する。
【００４７】
図５は撮像装置１における動作の全体の流れを示すフローチャート、図６は特定領域ＴＲの自動設定の流れを示すフローチャートである。
図５において、複数のカメラによって複数の画像を取得する（＃１１）。画像に対して特定領域ＴＲを設定し（＃１２）、特定領域ＴＲの画像情報のみを用いてカメラパラメータＣＰを求める（＃１３）。求めたカメラパラメータＣＰによってそれぞれのカメラの撮像制御を行い、複数の画像を取得する（＃１４）。取得した複数の画像について対応点を抽出し（＃１５）、対応点に基づいて３次元情報を生成する（＃１６）。
【００４８】
図６において、特定領域ＴＲを設定するために、複数の画像について少なくとも３つの対応点を抽出する（＃２１）。対応点を用いて、参照画像を射影変換して基準画像に重ね合わせる（＃２２）。それらが重なった部分を抽出して特定領域ＴＲとする（＃２３）。
【００４９】
ステップ＃２１の処理が本発明における対応点を取得する手段に相当し、ステップ＃２２および２３の処理が本発明における特定領域として設定する手段に相当する。
【００５０】
上の実施形態において、撮像装置１は、全体が１つのハウジング内に組み込まれて一体化された構造であってもよく、また、カメラ１１，１２と領域設定部１３およびパラメータ算出部１４とが、またはカメラ１１，１２および領域設定部１３とパラメータ算出部１４とが、それぞれ分離した構造であってもよい。また、領域設定部１３またはパラメータ算出部１４をパーソナルコンピュータによって実現してもよい。
〔第２の実施形態〕
次に、第２の実施形態の撮像装置１Ｂについて説明する。ここでは第１の実施形態の撮像装置１との差異のみを説明する。したがって、第２の実施形態において説明のない部分は第１の実施形態と同様であると考えてよい。
【００５１】
図７は本発明に係る第２の実施形態の撮像装置１Ｂの構成を示す図、図８は画像情報に対する重み付けを説明する図である。
なお、図８（Ａ）（Ｂ）は、図７の背景面ＨＭ２に対応した共通領域ＫＲ１２，２２を示し、図８（Ｃ）（Ｄ）は、図７の背景面ＨＭ３に対応した共通領域ＫＲ１３，２３を示す。図８（Ｅ）（Ｆ）は各画像Ｄ１，Ｄ２について領域に応じた重み（重み付け係数）の例を示す。
【００５２】
撮像装置１Ｂでは、カメラパラメータＣＰを算出するに当たり、第１の実施形態のように特定領域ＴＲ内の画像情報のみを用いるのではなく、画像Ｄ１，Ｄ２の全体の画像情報に対して各カメラ１１，１２の視野が重なる可能性に応じた重み付けを行った値を用いる。
【００５３】
すなわち、重み付け部１３Ｂにおいて、２つの画像Ｄ１，Ｄ２について、視野の重なる可能性の高い領域に対して重みが大きくなるように重み付けを行う。視野の重なる可能性のない領域は重みを「０」とする。視野の重なる可能性を算出する際には、計測を行いたい対象物Ｑに対して想定される位置つまり距離Ｌ、および光学系の焦点距離などの必要なカメラパラメータを用いる。
【００５４】
そして、パラメータ算出部１４Ｂにおいて、重み付けに基づいて、画像の輝度または各色成分の加重平均値を求め、この値をもとにカメラパラメータＣＰを算出する。
【００５５】
重み付け部１３Ｂにおける重み付けの処理についてさらに詳しく説明する。
重み付け部１３Ｂにおいて、２つの画像Ｄ１，Ｄ２について、視野の重なる可能性を画像中の領域ごとに定める。
【００５６】
すなわち、図７に示すように、２つのカメラ１１，１２の共通撮像範囲ＳＨＫは、上でも簡単に触れたように、背景面ＨＭの位置、つまりカメラ１１，１２から背景面ＨＭ２，３までの背景距離Ｌ２，３によって異なる。ここで、対象物Ｑが距離Ｌ２とＬ３との間に存在することが分かっていると仮定する。
【００５７】
図８（Ａ）（Ｂ）に示すように、背景面ＨＭ２に対応する共通領域ＫＲ１２，２２については、距離Ｌ２とＬ３との間では必ず視野の重なる領域に含まれる。これに対して、図８（Ｃ）（Ｄ）に示すように、背景面ＨＭ３に対応する共通領域ＫＲ１３，２３以外の領域ＨＲ１３，２３については、距離Ｌ２とＬ３との間では視野の重なる領域には絶対に含まれない。
【００５８】
そして、共通領域ＫＲ１２，２２と領域ＨＲ１３，２３との中間の領域ＪＲ１３，２３、つまり共通領域ＫＲ１３，２３には含まれるが共通領域ＫＲ１２，２２には含まれない領域については、視野の重なる領域に含まれる可能性はそれらの中間である。距離Ｌ２とＬ３の間に存在する距離Ｌ４において、視野の重なる領域に含まれる可能性を確率αで示すと、
α＝（Ｌ３−Ｌ４）／（Ｌ３−Ｌ２） …（５）
と定めることができる。なお、この確率αの定め方は単純な一例であり、これ以外の方法で確率αを定めてもよい。
【００５９】
そして、この確率αに基づいて重みを定める。重みは、最も単純な例としては、視野が重なる領域に含まれる確率α、例えば上の（５）式の右辺の値、
（Ｌ３−Ｌ４）／（Ｌ３−Ｌ２）
をそのまま採用することができる。
【００６０】
なお、確率αが高いほど重みが大きくなるようにさえすれば、他の種々の方法で重みを決定してもよい。例えば、確率αに直線的に比例するのではなく、二次曲線的に変化するようにし、または傾きの異なる複数の直線による折れ線グラフのように変化するようにしてもよい。
【００６１】
上で説明した重み付けの方法に関して、次のように考えることもできる。
つまり、重みとして、画像Ｄ１，Ｄ２中に対象物Ｑの存在する可能性に応じた値を用いるものと考えることができる。
【００６２】
図８（Ａ）（Ｂ）に示すように、背景面ＨＭ２に対応する共通領域ＫＲ１２，２２については、対象物Ｑがある確率が高い。例えば、対象物Ｑのサイズが、背景面ＨＭ２に対応した共通撮像範囲ＳＨＫ（図７に太線で示す）と同じサイズである場合には、対象物Ｑが共通領域ＫＲ１２，２２に写る確率は「１」である。したがって、この共通領域ＫＲ１２，２２についての重みを「１」とする。
【００６３】
これとは逆に、図８（Ｃ）（Ｄ）に示すように、背景面ＨＭ３に対応する共通領域ＫＲ１３，２３以外の領域ＨＲ１３，２３については、対象物Ｑが写る確率は０％である。つまり、この領域ＨＲ１２，２３についての重みは「０」である。
【００６４】
そして、共通領域ＫＲ１２，２２と領域ＨＲ１３，２３との中間の領域ＪＲ１３，２３では、対象物Ｑが写る確率は０％と１００％との間である。したがって、この領域ＪＲ１３，２３についての重みを「０」〜「１」の間の適当な値に設定する。このように考えて重みを決定することができる。
【００６５】
次に、撮像装置１Ｂにおける動作の流れをフローチャートによって説明する。
図９は撮像装置１における動作の全体の流れを示すフローチャートである。
図９において、複数のカメラによって複数の画像を取得する（＃３１）。画像の全体の領域に対して、領域ごとに、視野が重なる可能性に応じた重み付けを行う（＃３２）。全体の画像情報に重み付けをした値を用いてカメラパラメータＣＰを求める（＃３３）。求めたカメラパラメータＣＰによってそれぞれのカメラの撮像制御を行い、複数の画像を取得する（＃３４）。取得した複数の画像について対応点を抽出し（＃３５）、対応点に基づいて３次元情報を生成する（＃３６）。
【００６６】
上に述べたように、第１の実施形態では、複数の画像間で複数の対応点または視野の重なる領域がわかっている場合に、視野の重なる領域である特定領域ＴＲの画像情報のみに基づいてＡＥやＡＷＢを行う。これによって、視野の重なる領域での輝度・色バランスを揃えることが可能となり、画像の対応付けを容易に且つ正確に行うことができる。例えば、対象物Ｑを照明するための照明光が２つの画像の一方に写る場合であっても、照明光が特定領域ＴＲに入らないようにすることによって、照明光の影響による輝度のアンバランスが起こらない。その結果、対象物の計測を精度よく行うことができる。
【００６７】
また、第２の実施形態では、視野の重なる領域がはっきりわからない場合でも、想定している対象物Ｑまでの距離に応じて、その位置が視野の重なる領域に含まれる確率を用いて重み付けを行う。そして、重み付けを行った画像情報に基づいてＡＥやＡＷＢを行う。これによって、視野の重なる領域での輝度・色バランスを互いに近づけることが可能となる。
【００６８】
なお、ＡＥの制御のやり方の例として、画像のコントラストを調整し、カメラごとにコントラストが最大となるようにする。コントラストを求めるには、例えば、隣合う画素の濃度の差を合計し、合計値が最大となるようにする。第２の実施形態の場合には、隣合う画素の濃度の差に確立αを掛けて、その合計値が最大となるようにする。
【００６９】
上に挙げた２つの実施形態では、ＡＥおよびＡＷＢを行うこととして説明したが、それらに代えてまたはそれらとともに、ピントが最適となるように各カメラのフォーカスを自動制御すること（ＡＦ）も可能である。また、ＡＥ、ＡＷＢ、およびＡＦ以外のカメラパラメータＣＰを制御するようにしてもよい。
【００７０】
上に述べた実施形態において、２つのカメラ１１，１２を、それらの光軸が平行ではなく互いに交わるように配置してもよい。２つのカメラ１１，１２が用いられているが、３つ以上のカメラを用いることも可能である。撮像装置１の領域設定部１３やパラメータ算出部１４、撮像装置１Ｂの重み付け部１３Ｂなどは、ＣＰＵとメモリなどを用いてソフト的に、またはハードウエア回路によって、またはそれらの組み合わせによって実現することが可能である。
【００７１】
その他、撮像装置１、１Ｂの全体または各部の構成、回路、形状、寸法、個数、処理内容などは、本発明の趣旨に沿って適宜変更することができる。
本発明には以下の付記に記載するような発明が含まれる。
【００７２】
［付記１］
前記特定領域は、前記各カメラの撮像範囲内において互いに共通する領域である。
［付記２］
前記撮像制御は、自動露光のための制御である。
【００７３】
［付記２］
前記撮像制御は、自動露光のための制御である、
請求項２または４記載の撮像装置。
【００７４】
［付記３］
前記撮像制御は、自動ホワイトバランスのための制御である、
請求項２または４記載の撮像装置。
【００７５】
［付記４］
前記撮像制御は、自動焦点のための制御である、
請求項２または４記載の撮像装置。
【００７６】
【発明の効果】
本発明によると、複数のカメラから得られる画像に基づいて対象物を計測するに際して、画像の対応付けを正確に行うことが可能となり、対象物の計測を精度よく行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態の撮像装置の構成を示す図である。
【図２】２つの画像に設定された特定領域の例を示す図である。
【図３】２つの画像に設定された特定領域の他の例を示す図である。
【図４】特定領域を自動的に設定する方法の例を示す図である。
【図５】撮像装置における動作の全体の流れを示すフローチャートである。
【図６】特定領域の自動設定の流れを示すフローチャートである。
【図７】本発明に係る第２の実施形態の撮像装置の構成を示す図である。
【図８】画像情報に対する重み付けを説明する図である。
【図９】撮像装置における動作の全体の流れを示すフローチャートである。
【符号の説明】
１、１Ｂ 撮像装置
１１、１２ カメラ
１３ 領域設定部（設定手段）
１４ パラメータ算出部（算出手段）
１３Ｂ 重み付け部（重み付け手段）
１４Ｂ パラメータ算出部（算出手段）
１１１、１２１ 撮像制御部（撮像制御手段）
ＴＲ 特定領域
Ｑ 対象物
Claims (4)
- 複数のカメラから得られる画像に基づいて対象物を計測する計測方法であって、
前記複数のカメラで撮像されている複数の画像のそれぞれについて少なくとも３つの対応点を取得し、
前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を特定領域として設定し、
前記特定領域における画像から得られる画像情報をより多く用いて自動露光のためのカメラパラメータを設定し、
設定した前記自動露光のためのカメラパラメータを用いて、カメラパラメータを設定したときと同じ撮像範囲に対して複数の前記カメラによる撮像を行って画像をそれぞれ取得し、
取得した複数の画像に基づき画像の対応点を求めて撮像範囲に入った対象物の３次元情報を取得する、
ことを特徴とする画像による対象物の計測方法。 - 対象物に対して互いに視差を有する視点位置から対象物を撮像することが可能であって少なくとも自動露光のためのカメラパラメータに基づく撮像制御を互いに独立して行うことの可能な複数のカメラと、
前記複数のカメラで撮像されている複数の画像について少なくとも３つの対応点を取得し、前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を特定領域として設定するための設定手段と、
前記特定領域における画像情報のみを用いて前記複数のカメラのそれぞれに対応する前記自動露光のためのカメラパラメータを算出する算出手段と、
算出された前記複数のカメラのそれぞれに対応する前記自動露光のためのカメラパラメータに基づいて前記複数のカメラの撮像制御を行う撮像制御手段と、
を有することを特徴とする撮像装置。 - 前記自動露光のためのカメラパラメータは、次の式、
で表される露光量Ｅおよび露光量増加分ΔＥを有する、
請求項１記載の画像による対象物の計測方法。 - 前記自動露光のためのカメラパラメータは、次の式、
で表される露光量Ｅおよび露光量増加分ΔＥを有する、
請求項２記載の撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003075658A JP3945430B2 (ja) | 2003-03-19 | 2003-03-19 | 画像による対象物の計測方法および撮像装置 |
| US10/463,784 US7269281B2 (en) | 2003-03-19 | 2003-06-17 | Method for measuring object based on image and photographing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003075658A JP3945430B2 (ja) | 2003-03-19 | 2003-03-19 | 画像による対象物の計測方法および撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004286465A JP2004286465A (ja) | 2004-10-14 |
| JP3945430B2 true JP3945430B2 (ja) | 2007-07-18 |
Family
ID=32984789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003075658A Expired - Fee Related JP3945430B2 (ja) | 2003-03-19 | 2003-03-19 | 画像による対象物の計測方法および撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7269281B2 (ja) |
| JP (1) | JP3945430B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4774824B2 (ja) * | 2005-06-17 | 2011-09-14 | オムロン株式会社 | ３次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置 |
| US20070168153A1 (en) * | 2006-01-13 | 2007-07-19 | Digicontractor Corporation | Method and apparatus for photographic measurement |
| JP4869795B2 (ja) * | 2006-06-06 | 2012-02-08 | 富士フイルム株式会社 | 撮像制御装置、撮像システム、および撮像制御方法 |
| US20080140234A1 (en) * | 2006-12-06 | 2008-06-12 | Shafter Richard M | Method and system for remotely directing a fishing tournament |
| US7912320B1 (en) * | 2007-01-16 | 2011-03-22 | Paul Minor | Method and apparatus for photographic measurement |
| JP2008187566A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
| JP5801812B2 (ja) * | 2009-09-11 | 2015-10-28 | ディズニー エンタープライズ，インコーポレイテッド | ３ｄビデオへの仮想インサート |
| JP5713624B2 (ja) * | 2009-11-12 | 2015-05-07 | キヤノン株式会社 | 三次元計測方法 |
| US8134717B2 (en) | 2010-05-21 | 2012-03-13 | LTS Scale Company | Dimensional detection system and associated method |
| KR101207343B1 (ko) * | 2012-08-30 | 2012-12-04 | 재단법인대구경북과학기술원 | 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라 |
| KR101245247B1 (ko) | 2012-08-30 | 2013-03-19 | 재단법인대구경북과학기술원 | 영상 밝기 조절 방법, 장치 및 이를 이용한 다중 카메라 |
| JP6065474B2 (ja) * | 2012-09-11 | 2017-01-25 | 株式会社リコー | 撮像制御装置、撮像制御方法およびプログラム |
| KR102082365B1 (ko) * | 2013-02-26 | 2020-02-27 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
| KR20150048967A (ko) * | 2013-10-28 | 2015-05-11 | 삼성디스플레이 주식회사 | 표시 장치 및 이의 광학 보상 방법 |
| CN104008548B (zh) * | 2014-06-04 | 2017-04-19 | 无锡维森智能传感技术有限公司 | 一种用于车载环视系统摄像头参数标定的特征点抽取方法 |
| JP5843027B1 (ja) * | 2015-03-10 | 2016-01-13 | 株式会社リコー | 撮像装置、制御方法およびプログラム |
| JP6789767B2 (ja) * | 2016-11-11 | 2020-11-25 | スタンレー電気株式会社 | 監視システム |
| CN107167092B (zh) * | 2017-05-18 | 2019-12-13 | 上海晶电新能源有限公司 | 一种基于多目图像识别的定日镜面形检测系统及方法 |
| WO2019230813A1 (ja) * | 2018-05-30 | 2019-12-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元再構成方法および三次元再構成装置 |
| CN110753217B (zh) * | 2019-10-28 | 2022-03-01 | 黑芝麻智能科技(上海)有限公司 | 色彩平衡方法和装置、车载设备以及存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0696144A3 (en) * | 1994-08-02 | 1996-04-24 | Canon Kk | Image pickup device with a plurality of lenses and a unit for extracting matching points |
| JPH10178564A (ja) * | 1996-10-17 | 1998-06-30 | Sharp Corp | パノラマ画像作成装置及び記録媒体 |
| US6097850A (en) * | 1996-11-27 | 2000-08-01 | Fujitsu Limited | Measuring method and apparatus of photographic parameter and computer memory product |
| JP4006657B2 (ja) | 1997-08-01 | 2007-11-14 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2000003448A (ja) | 1998-06-16 | 2000-01-07 | Sony Corp | 輝度値補正回路及び方法並びに距離画像生成装置 |
| JP3831548B2 (ja) * | 1999-06-16 | 2006-10-11 | ペンタックス株式会社 | 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体 |
| JP3809309B2 (ja) * | 1999-09-27 | 2006-08-16 | キヤノン株式会社 | カメラ制御システム及びカメラ制御方法及び記憶媒体 |
| JP2001154089A (ja) | 1999-11-26 | 2001-06-08 | Olympus Optical Co Ltd | 測距装置 |
| US7081918B2 (en) * | 2000-04-28 | 2006-07-25 | Fuji Photo Film Co., Ltd. | Image processing method, image processing apparatus and recording medium storing program therefor |
| JP4516221B2 (ja) | 2001-01-18 | 2010-08-04 | オリンパス株式会社 | 撮像装置 |
| JP2002218506A (ja) | 2001-01-18 | 2002-08-02 | Olympus Optical Co Ltd | 撮像装置 |
| JP2002216125A (ja) | 2001-01-23 | 2002-08-02 | Toshiba Corp | 画像修正装置及びその方法 |
| JP2002251608A (ja) * | 2001-02-23 | 2002-09-06 | Mixed Reality Systems Laboratory Inc | 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体 |
-
2003
- 2003-03-19 JP JP2003075658A patent/JP3945430B2/ja not_active Expired - Fee Related
- 2003-06-17 US US10/463,784 patent/US7269281B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040184656A1 (en) | 2004-09-23 |
| US7269281B2 (en) | 2007-09-11 |
| JP2004286465A (ja) | 2004-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3945430B2 (ja) | 画像による対象物の計測方法および撮像装置 | |
| JP4983905B2 (ja) | 撮像装置、３ｄモデリングデータ生成方法、および、プログラム | |
| JP2011191568A (ja) | 撮像装置、表示方法、および、プログラム | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| TWI393981B (zh) | Use the flash to assist in detecting focal lengths | |
| US6963376B2 (en) | Distance measuring device and a camera provided with the distance measuring device | |
| JP2019531788A (ja) | 自己色調補正による創傷評価のための画像撮影方法及びシステム | |
| JP2010091669A (ja) | 撮像装置 | |
| US20220082370A1 (en) | Electronic apparatus, control method thereof and computer readable storage medium | |
| JP2017098613A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP7121269B2 (ja) | 測距カメラ | |
| JP4581512B2 (ja) | ３次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
| JP2015119344A (ja) | 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法 | |
| JP2013246052A (ja) | 距離測定装置 | |
| EP2106128B1 (en) | Compound eye photographing apparatus, control method therefor, and program | |
| KR20140133359A (ko) | 싱글 카메라 모듈을 이용한 이용자 거리 측정 방법 | |
| JP5239991B2 (ja) | 画像処理装置、及び画像処理システム | |
| KR100921717B1 (ko) | 상대 노광량 측정장치 및 방법 | |
| JP5444928B2 (ja) | 測光装置および撮像装置 | |
| CN112424566B (zh) | 测距摄像机 | |
| CN113424020B (zh) | 测距摄像机 | |
| JP2014011639A (ja) | 撮像装置 | |
| JP7463133B2 (ja) | 面積計測装置、面積計測方法、及びプログラム | |
| WO2019093062A1 (ja) | 計測装置、計測装置の制御方法、計測プログラムおよび記録媒体 | |
| JP2023063760A (ja) | 識別装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050318 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070402 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |