JP5216137B2

JP5216137B2 - カメラおよびカメラの制御方法

Info

Publication number: JP5216137B2
Application number: JP2011506685A
Authority: JP
Inventors: ヴュルツ−ヴェセルアレクサンダー; シックイェンス
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-04-29
Filing date: 2009-04-28
Publication date: 2013-06-19
Anticipated expiration: 2029-04-28
Also published as: CN102016710B; DE102008001451A1; CN102016710A; WO2009133095A1; US20110149045A1; JP2012500506A

Description

本発明はカメラに関する。このカメラは単一画像記録に適したものとしてもよいし、動画像記録に適したものとしてもよい。さらに本発明はカメラの制御方法にも関する。

背景技術
カメラによって、１つまたは複数の物体ないしは被写体を含む１つのシーンを記録することができる。この目的で、カメラの対物レンズが適切な焦点に合わせて調節され、シーンがシャープに結像されるようにする。その際、典型的には、複数のオブジェクトのうち１つの物体が選択され、この物体に焦点が合わせられる。

焦点合わせを手動で行うことができる。高価なカメラは、特別なステレオセンサを備えた対物レンズによってシーンを捕捉する。この場合、対物レンズの焦点距離は、１つの画像セクションにおいて立体的にないしはステレオスコピック方式で捕捉された複数のフェーズが整合されるまで、ユーザによって変更される。

能動的な焦点合わせ方式によれば、選択された物体までの距離測定が超音波センサを用いて行われ、あるいは物体におけるストライプパターンの投影および測定が行われる。

カメラに顔認識システムを実装することもできる。この場合、撮影される画像において、顔認識により顔のポジションが検出される。ついで、顔であると認識された画像セクションに焦点合わせ手順が適用される。この種のカメラは人物写真に制約されているし、しかも衣類や髭などによって顔が部分的に覆われていると問題が生じてしまう。
US 6 320 610 B1には、旋回およびフォーカシングユニットを備えたコンパクト撮影装置が開示されており、この装置は少なくとも１つのカメラを有しており、有利には２つのカメラを有している。この場合、対象物に対するカメラの傾きや旋回を求めて補正するためにカメラの画像が評価される。さらにこの文献には、被写体となる人物の目の虹彩の画像を用いた画像分析法に基づき人物を識別できるようにすることも開示されている。
US 6 130 787 Aには、三角測量法に従いステレオスコピック方式により対象物体の撮影および位置測定を行えるようにした光学システムが開示されている。
DE 103 43 406 A1には、２つのカメラを含む三角測量装置により対象物体の距離を求める方法が開示されている。
DE 10 2004 053 416 A1には、偏向ミラー部材を有するステレオスコピック式距離測定装置が開示されている。
JP 2004 322 128 A1には、距離測定に適したステレオスコピック式光学システムが開示されている。

発明の概要
請求項１の特徴を備えた本発明はカメラに係わる。本発明によるカメラには、少なくとも１つの物体ないしはオブジェクトを有する１つのシーンにおける第１の画像を捕捉するメインセンサが設けられている。このメインセンサのために１つの対物レンズが設けられている。メインセンサとは異なる視角でシーンにおける第２の画像を捕捉するために、メインセンサに対し間隔をおいて配置された少なくとも１つの補助センサが用いられる。立体視方式ないしはステレオスコピック方式による評価装置により、第１の画像と第２の画像をベースとして少なくとも１つの物体までの距離が求められる。求められた距離に応じて、オートフォーカス装置により対物レンズの焦点が調節される。これに対する代案として、またはこれに加えて、捕捉された第２の画像に従いメインセンサの露光が露光調節装置によりセットされる。

本発明によれば、カメラを制御するために以下のステップが実施される。すなわち、メインセンサを用いて、あるシーンにおける少なくとも１つの第１の画像を捕捉し、この第１の画像の捕捉とパラレルに、メインセンサとは異なる視角から少なくとも１つの補助センサを用いて、このシーンにおける少なくとも１つの第２の画像を捕捉するステップと、第１の画像と第２の画像における画像オブジェクトのうち１つの画像オブジェクトをフォーカシングされる１つの物体に割り当てるステップと、第１の画像において割り当てられた画像オブジェクトと第２の画像との変位に基づき物体ないしは被写体までの距離を求めるステップと、求められた距離に応じてメインセンサのための対物レンズの焦点を調節するステップと、および／または捕捉された第２の画像に応じてメインセンサの露光を調節するステップが実施される。

カメラのオートフォーカスは物体の種類には依存しない。撮影すべき物体の煩雑なモデリングを省くことができる。物体を一義的にその距離によって表すことができる。時間が経つにつれカメラの光軸が他の物体を指すようになったとしても、カメラは物体を追従可能であり、その物体に向けて焦点を保持することができる。

次に、有利な実施形態および添付の図面を参照しながら本発明について説明する。

図１はカメラの１つの実施形態を示す図図２はカメラの別の実施形態を示す図図３はカメラのさらに別の実施形態を示す図図４はカメラのさらに別の実施形態を示す図

発明を実施するための形態
図１は、カメラ１の第１の実施形態を正面から見た図である。カメラ１はメインセンサ２を有しており、これは画像を記録するために用いられる。メインセンサ２はＣＣＤセンサまたはＣＭＯＳセンサを有することができる。好適には、メインセンサ２はあるシーンのカラー画像を捕捉することができる。

メインセンサ２の前に対物レンズ３が配置されている。対物レンズ３は調節可能な焦点を有している。所望の物体ないしは被写体がメインセンサ２にシャープに結像されるよう、カメラ１は対物レンズ３を制御する。

メインセンサ２の前に絞りを配置することができる。この絞りは焦点深度を制御するものである。絞りの開口直径が大きくなるにつれて（絞り値が小さくなるにつれて）焦点深度が小さくなる。したがって、カメラまでそれぞれ異なる距離のところに位置する複数の物体を記録する場合、絞り開口部は小さくされる。ただしこれに付随して光量の損失が生じ、したがって露光時間が長くなる。

カメラ１によって絞りを制御することができる。この場合、捕捉すべき物体がどの程度の強さで光っているか、ないしはどの程度の輝度であるかが殊に考慮される。さらに考慮されるのは、複数の物体がカメラ１までそれぞれ異なる距離のところに位置するのか否かという点、場合によってはそのようなそれぞれ異なる距離が平均距離に対しどのようなばらつきを有するのかという点である。次に、個々の物体までの距離を求める方法もしくはこの方法に対応する装置について説明する。

フラッシュ装置５をカメラ１に組み込むことができる。フラッシュ装置５は、一般的には画像の撮影と同時にトリガされる。

メインセンサ２に対し間隔をおいて側方に補助センサ６が配置されている。したがって補助センサ６とメインセンサ２は、それぞれ異なる方向から１つのシーンを捕捉する。これにより立体的な撮影すなわちステレオスコピック方式による撮影が行われる。

メインセンサ２の画像（以下、第１の画像と称する）と、補助センサ６の画像（以下、第２の画像と称する）が評価装置９へ供給される（図２）。評価装置９は、複数の第１の画像のうちそれぞれ１つの画像を、その画像と同時に撮影された第２の画像と比較する。この比較により、第１の画像において第２の画像に対し変位している画素および画像オブジェクトが検出される。変位の大きさから、画像オブジェクトにおいて結像された物体とカメラとの距離が求められる。

各画像オブジェクトを、カメラ１までの距離に従い分類することができる。

カメラ１のセミオートマティックモード中、ユーザは１つまたは複数の画像オブジェクトを選択することができる。これはたとえば、メインセンサ２と対物レンズの光軸を１つまたは複数の物体ないしは被写体に配向させることにより行うことができる。その際、ボタンを押したり、音声命令を発したり、あるいは物体のところに最小期間とどめておくようにしたりすることで、選択を行ったことをカメラ１に通知する。別の実施形態によれば、パターン認識装置１０たとえば顔認識装置が設けられている。パターン認識によって、まえもって定義された複数の画像オブジェクトが検出され、それらをユーザに選択させる。

カメラ１のオートフォーカス装置８は、選択された物体までの求められた距離に基づき最適な焦点を設定する。この目的で１つの実施形態によれば、平均距離が算術平均またはメジアンとして求められる。最適な焦点は平均距離に対応する。

選択された物体の輝度値を第１の画像から求めることができる。輝度値とまえもって定められた露光時間とに基づき、絞りについて第１の絞り値が求められる。

選択されたすべての物体をシャープに結像させることができるようにするために、必要とされる焦点深度が求められる。この目的で、選択された物体の距離の分散を利用することができる。これに対する代案として、必要とされる焦点深度のための最小距離と最大距離が考慮される。求められた焦点深度に基づき第２の絞り値が決定される。

第１の絞り値と第２の絞り値とに基づき、制御装置により絞りを調節することができる。１つの実施形態によれば、優先的に第１の絞り値に合わせて絞りが調節される。ただしこの場合、第１の絞り値は第２の絞り値よりも大きくなければならない。さもなければ第２の絞り値に合わせて絞りが調整され、場合によっては露光時間が長くされる。

個々の画像オブジェクトまでの距離測定値を記憶させることができる。メインセンサにより記録されたメイン画像を後処理または加工処理するために、これらのデータを利用することができる。また、補助センサの距離測定値または画像データを、記録された物体を３次元で再構成するために用いることができる。

カメラのさらに別の実施形態によれば、物体の固有運動が考慮される。構成要素を成す各画像オブジェクトのポジションは、複数の第１の画像から成る１つシーケンスにおいて変化する。その際にたとえば以下のケースが発生し、これらのケースは評価装置９により評価される：
ある画像オブジェクトは、１つのシーケンスの相前後する複数の画像にわたり動いていない。さしあたりこれらの画像オブジェクトは、カメラ１に対し相対運動をしていない物体として割り当てられる。構成要素を成す各物体が、カメラ１まで著しく離れた距離のところにある可能性もある。その際、場合によっては物体が動くと、あるいは物体に対するカメラ１の相対運動が起こると、メインセンサ２の分解能限界を下回る僅かな方向変化が発生することになる。評価装置９は、上述のようにして求められた物体までの距離測定値に基づき、両方のケースを区別する。

複数の画像オブジェクトが画像中を等しい速度で移動する。すなわち等しい量と方向で移動する。この運動は殊に、個々の物体とカメラ１との距離には左右されない。この種のシナリオを、評価装置９はカメラ１の回転運動として割り当てる。

評価装置９による分析の結果、以前はかなり遠くにあるものとして検出された物体の画像オブジェクトが、相前後する２つの画像において比較的近い物体の画像オブジェクトよりも僅かな変位を有することが判明したならば、カメラ１がそれ相応に横方向で並進運動していることが検出される。

画像オブジェクトを選択するために、画像における運動の方向ベクトルが相前後する２つの画像から求められる。方向ベクトルは画像平面内の１つのポイントを指す。このポイントをエキスパンションフォーカスないしは延長焦点と称する。延長ポイントはカメラ１が連続的に動くにつれて変化する。評価装置９は、延長ポイントの動きから空間内のカメラ１のポジションを求める。

個々の物体が固有の動きを有する可能性がある。動いた物体と動かない物体とでは、カメラ１に対しそれぞれ異なる相対速度を有する。その結果、固有に運動する物体の画像オブジェクトは延長焦点を指していない方向ベクトルを有することになる。この偏差に基づき評価装置９は、どの物体が固有の運動を有するのかを求めることができる。動いていない物体に基づきカメラのトラジェクトリないしは軌跡を求めた後、画像オブジェクトの運動から空間内におけるそれらの画像オブジェクトのトラジェクトリも求めることができる。

１つの実施形態によれば、空間内におけるオブジェクトの求められたトラジェクトリから、次の１０分の１秒または数秒で焦点が決定される。評価装置９が相応の計算能力を有しているならば、これよりも短い期間で焦点を決定することもできるし、トラジェクトリを相応の精度で求めるならば、これよりも長い期間で焦点を決定することもできる。焦点の事前計算は、たとえばカメラ１のシャッター速度を相殺するのに適している。

さらに別の実施形態によれば、画像安定化のため選択された画像オブジェクトにおける特定のトラジェクトリが用いられる。この場合、メインセンサのアクティブ領域をシフトすることができる。ＣＣＤセンサであれば、センサ面全体のうち一部分がアクティブにされる。画像オブジェクトの運動に追従して、センサ面の他の部分がアクティブにされる。

補助センサ６を、簡単な白黒センサまたはグレースケールセンサとすることができる。補助センサ６の分解能をメインセンサ２の分解能よりも低くすることができる。最初にメインセンサの画像データを対応するグレーレベルに換えることができ、その後、画像の比較により距離が求められる。

１つの実施形態によれば、補助センサ６のグレースケール値が露光測定に利用される。このため補助センサ６が暗さに対する高い感度および／または高いダイナミックをもつよう構成することができる。格別有利な実施形態によれば、選択された画像オブジェクトの輝度値が輝度測定に利用される。画像オブジェクトの選択を、オートフォーカスについてすでに説明したようにして実施することができる。

図２には、２つの補助センサを有する実施形態が示されている。

カメラ１のさらに別の実施形態によれば、外部フラッシュ装置に配置された補助センサが用いられる（図３）。この場合、カメラ１はインタフェースを有しており、このインタフェースを介して補助センサの画像データがカメラ１における評価装置９へ伝送される。

カメラ１の次の実施形態によれば、カメラ１のケーシング内に設けられた補助センサと、外部フラッシュ装置に取り付けられた補助センサが用いられる（図４）。

カメラ１を、個々の画像を撮影するカメラ１としてもよいし、フィルムに記録するカメラとしてもよい。その際、カメラ１をコンパクトカメラとしてもよいしレフレックスカメラとしてもよい。さらにカメラ１を、車内または車両周囲を監視するために車両に組み込むことができる。さらに別の実施形態によればカメラ１は、物体監視のために固定的に設置されたまたは移動型の監視カメラとして用いられる。

Claims

カメラにおいて、
少なくとも１つの物体を含む１つのシーンの第１の画像を捕捉するためのメインセンサ（２）と、
該メインセンサ（２）のための対物レンズと、
該メインセンサ（２）に対し間隔をおいて配置された少なくとも１つの補助センサ（６）が設けられており、該補助センサ（６）は前記メインセンサ（２）とは異なる視角で前記少なくとも１つの物体を含むシーンの第２の画像を捕捉し、
前記第１の画像と前記第２の画像とに基づき、前記少なくとも１つの物体までの距離をステレオスコピック方式により求めるための評価装置（９）と、
求められた距離に応じて前記対物レンズ（３）の焦点を調節するためのオートフォーカス装置（８）と、
少なくとも１つの物体を選択するためのパターン認識装置（１０）および選択確認機構が設けられており、
前記評価装置（９）は、時間的にシーケンシャルに記録された複数の第１の画像と、時間的にシーケンシャルに記録された複数の第２の画像とに基づき、選択された物体のトラジェクトリを推定し、前記推定された物体のトラジェクトリと前記物体までの求められた距離とに基づき、今後の時点における前記物体の距離を求め、
前記オートフォーカス装置（８）は、前記物体の今後の時点における距離に合わせて前記対物レンズ（３）の焦点を調節する、
ことを特徴とするカメラ。
前記補助センサ（６）はグレー値センサである、請求項１記載のカメラ。
捕捉された前記第２の画像の輝度に応じてメインセンサ（２）の露光を調節するための露光調節装置がさらに設けられている、請求項１または２記載のカメラ。
カメラにおいて、
少なくとも１つの物体を含む１つのシーンの第１の画像を捕捉するためのメインセンサ（２）と、
該メインセンサ（２）のための対物レンズと、
該メインセンサ（２）に対し間隔をおいて配置された少なくとも１つの補助センサ（６）が設けられており、該補助センサ（６）は前記メインセンサ（２）とは異なる視角で前記少なくとも１つの物体を含むシーンの第２の画像を捕捉し、
前記第１の画像と前記第２の画像とに基づき、前記少なくとも１つの物体までの距離をステレオスコピック方式により求めるための評価装置（９）と、
求められた距離に応じて前記対物レンズ（３）の焦点を調節するためのオートフォーカス装置（８）と、
少なくとも１つの物体を選択するためのパターン認識装置（１０）および選択確認機構が設けられており、
前記評価装置（９）は、相前後する複数の第１の画像から動いた物体と動かない物体とを求め、前記動かない物体に基づきカメラのトラジェクトリを求めた後、捕捉された画像中の物体の運動から空間内における物体のトラジェクトリを求め、
前記オートフォーカス装置（８）は、前記空間内における物体の求められたトラジェクトリから前記対物レンズ（３）の焦点を調節する、
ことを特徴とするカメラ。
カメラの制御方法において、
メインセンサ（２）を用いて、少なくとも１つの物体を含む１つのシーンにおける少なくとも１つの第１の画像を捕捉し、該第１の画像の捕捉とパラレルに、前記メインセンサ（２）に対し距離をおいて配置された少なくとも１つの補助センサ（６）を用いて、前記メインセンサ（２）とは異なる視角から前記シーンにおける少なくとも１つの第２の画像を捕捉するステップと、
第１の画像と第２の画像とに基づき、前記少なくとも１つの物体までの距離をステレオスコピック方式により求めるステップと、
求められた距離に応じて前記メインセンサ（２）のための対物レンズ（３）の焦点を調節するステップと、
パターン認識装置（１０）と選択確認機構により少なくとも１つの物体を選択するステップと、
時間的にシーケンシャルに記録された複数の第１の画像と、時間的にシーケンシャルに記録された複数の第２の画像とに基づき、選択された物体のトラジェクトリを推定し、前記推定された物体のトラジェクトリと前記物体までの求められた距離とに基づき、今後の時点における前記物体の距離を求めるステップと、
前記物体の今後の時点における距離に合わせて前記対物レンズ（３）の焦点を調節するステップと、
を有することを特徴とする、カメラの制御方法。
前記第１の画像が前記第２の画像よりも高い分解能を有しているならば、前記第１の画像に基づき前記動き推定を実行し、前記第２の画像が前記第１の画像よりも高い分解能であれば、前記第２の画像に基づき前記動き推定を実行する、請求項５記載の方法。
パターン認識装置により前記画像オブジェクトが前記物体に割り当てられる、請求項５または６記載の方法。
前記補助センサ（６）の画像データが前記メインセンサ（２）の画像データといっしょに格納される、請求項５から７のいずれか１項記載の方法。
前記メインセンサ（２）の捕捉範囲は前記物体の推定されたトラジェクトリに応じてシフトされる、請求項５から８のいずれか１項記載の方法。
さらに前記メインセンサ（２）の露光が前記捕捉された第２の画像の輝度に従い調整される、請求項５から９のいずれか１項記載の方法。
カメラの制御方法において、
メインセンサ（２）を用いて、少なくとも１つの物体を含む１つのシーンにおける少なくとも１つの第１の画像を捕捉し、該第１の画像の捕捉とパラレルに、前記メインセンサ（２）に対し距離をおいて配置された少なくとも１つの補助センサ（６）を用いて、前記メインセンサ（２）とは異なる視角から前記シーンにおける少なくとも１つの第２の画像を捕捉するステップと、
第１の画像と第２の画像とに基づき、前記少なくとも１つの物体までの距離をステレオスコピック方式により求めるステップと、
求められた距離に応じて前記メインセンサ（２）のための対物レンズ（３）の焦点を調節するステップと、
パターン認識装置（１０）と選択確認機構により少なくとも１つの物体を選択するステップと、
相前後する複数の第１の画像から動いた物体と動かない物体とを求め、前記動かない物体に基づきカメラのトラジェクトリを求めた後、捕捉された画像中の物体の運動から空間内における物体のトラジェクトリを求めるステップと、
前記空間内における物体の求められたトラジェクトリから前記対物レンズ（３）の焦点を調節するステップと、
を有することを特徴とする、カメラの制御方法。