JP3700707B2

JP3700707B2 - 計測システム

Info

Publication number: JP3700707B2
Application number: JP2003068290A
Authority: JP
Inventors: 重晃今井; 浩次藤原; 誠宮崎; 直樹久保
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2003-03-13
Filing date: 2003-03-13
Publication date: 2005-09-28
Anticipated expiration: 2023-03-13
Also published as: JP2004279111A; US20040179729A1

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラから得られる画像に基づいて対象物を計測する計測システムに関する。
【０００２】
【従来の技術】
従来より、複数のカメラを用いたステレオ計測の技術が種々提案されている。例えば、２つのカメラを用いて対象物までの距離を求め、距離に応じて低速高精度モードと高速低精度モードとを切り替える技術（特開平８−２１９７７４）、２つのカメラを用いて対象物を撮影し、ステレオ計測によって侵入者を検出する技術（特開２０００−１１５８１０）などが提案されている。
【０００３】
一方、近年において、撮像素子（画像センサ）とプロセッサの高品質化、低価格化にともなって、ロボットや監視システムなどのリアルタイムシステムにステレオ計測を応用することが期待されている。
【０００４】
【特許文献１】
特開平８−２１９７７４
【０００５】
【特許文献２】
特開２０００−１１５８１０
【０００６】
【発明が解決しようとする課題】
ステレオ計測をリアルタイムシステムに応用する際の問題の一つは、３次元データの出力のスループットつまり処理速度の速さと精度とのトレードオフをどう設定するかである。この問題に対する一つの選択枝は、システムが要求するスループットと精度との“両方の" クリティカルな仕様を満たすように機器を設計することである。しかし、これら２つの相反する要求仕様を“同時に”満たすためには、一般には機器が高価なものとなってしまう問題がある。
【０００７】
しかし、システムによってはそれらの要求を同時に満たす必要はなく、予め用意された複数の仕様の計測モードを目的に応じて切り替えればよいものも数多く存在する。
【０００８】
例えば、監視システムでは、対象物は侵入者などであり、侵入者を検知する通常の段階ではほどほどの信頼性があって更新レートの速い検知が要求されるが、検知した侵入者の確認を行う段階では少々時間がかかっても信頼性のより高い検知を行うことが要求される。また、ロボットナビゲーションシステムでは、ロボットの起動時や停止時は、リアルタイム性はあまり要求されず周囲の３次元環境を高精度で計測する必要があるが、ロボットの移動中は精度を少々落としてもリアルタイムで障害物を検知しなければならない。
【０００９】
本発明は、上述の点に鑑みてなされたもので、ロボットや監視システムなどにおいて、環境の変化や対象物の動きなどに応じて最適な計測を行うことのできる計測システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る計測システムは、複数のカメラから得られる画像に基づいて対象物を計測する計測システムであって、複数の前記カメラの撮影方向を変更するためにカメラの位置制御を行う位置制御手段と、対象物について少なくとも１つの前記カメラから得られる画像に基づいて当該対象物の２次元計測を行う２次元計測手段と、同一の対象物について前記複数のカメラから得られる複数の画像に基づいて当該対象物のステレオ計測を行うステレオ計測手段と、前記２次元計測手段と前記ステレオ計測手段とを切り替えて動作させるための切替え手段とを有する。
【００１１】
複数のカメラは、それぞれ独立して位置制御を行ってもよく、またはカメラ同士の位置関係を固定とし、全体を１つのカメラ群として扱って位置制御を行ってもよい。
【００１２】
そして、前記位置制御手段は、前記２次元計測手段による２次元計測を行うときに、前記複数のカメラが互いに異なる範囲を撮影するよう互いに異なる方向を向くように位置制御を行い、前記ステレオ計測手段よるステレオ計測を行うときに、前記複数のカメラが前記対象物を含んで互いに重複する範囲を撮影するように位置制御を行い、前記切替え手段は、初期状態では２次元計測手段が動作するように切り替えており、前記２次元計測手段によって移動する対象物が検出されたときに前記ステレオ計測手段が動作するように切り替える。
【００１３】
また、前記ステレオ計測手段は、前記複数の画像の解像度を低下させる手段を有し、ステレオ計測を行うに当たって、高解像度の３次元データの生成と低解像度の３次元データの生成とを適宜切り替えて計測を行う。
【００１４】
また、前記カメラには、三原色のいずれかの色のカラーフィルタが画素毎に配置された撮像素子が設けられており、複数の前記カメラから得られる画像データを処理するに際して、各カメラの撮像素子における特定の色のカラーフィルタのみに対応する画素の画像データを用いる。
【００１５】
【発明の実施の形態】
〔第１の実施形態〕
まず、本発明に係る計測システムを防犯用の監視システムに応用した例を説明する。
【００１６】
図１は本発明に係る第１の実施形態である監視システム１の構成を示す図、図２は２次元処理部４１の構成の例を示すブロック図、図３はステレオ処理部４２の構成の例を示すブロック図、図４は変形した２次元処理部４１Ｂの構成を示すブロック図、図５は変形したステレオ処理部４２Ｂの構成を示すブロック図である。
【００１７】
図１において、監視システム１は、２つのカメラ１１，２１、各カメラ１１，２１の撮影方向を変更するためのパン機構１２，２２およびチルト機構１３，２３、それらのドライバ１４，２４、位置制御機構３１，３２およびそのドライバ３３、２次元処理部４１、ステレオ処理部４２、コントローラ４３、および出力部４４などからなっている。
【００１８】
カメラ１１，２１は、それぞれ、光学系、撮像素子、ズーミング機構、およびそれらの駆動回路などを有する。カメラ１１，２１は、撮像素子によってズーミングに応じた所定の範囲の領域（対象領域）を撮影する。撮影された画像は、対象領域内の背景の画像であったり、対象物（物体）の画像であったりする。得られた画像データは、適当な周期毎に１フレーム分のデータが出力される。例えば毎秒３０フレームの画像データが出力される。また、外部からの信号によって、ズーミングその他の制御を行うことが可能である。カメラ１１，２１それ自体の構造および動作は公知である。
【００１９】
パン機構１２，２２は、各カメラ１１，２１を左右に独立して回転させ、これによってそれぞれの光軸を左右に振ることができる。チルト機構１３，２３は、各カメラ１１，２１を上下に独立して回転させ、これによってそれぞれの光軸を上下に振ることができる。ドライバ１４，２４は、コントローラ４３からの指令信号に基づいて、パン機構１２，２２およびチルト機構１３，２３を駆動制御する。
【００２０】
位置制御機構３１，３２は、パン機構１２，２２およびチルト機構１３，２３を含めたカメラ１１，２１の全体の位置姿勢を制御する。つまり、位置制御機構３１，３２の動作によって、カメラ１１，２１の互いの位置関係を保持した状態で、これらカメラ１１，２１の全体の位置姿勢が変更される。ドライバ３３は、コントローラ４３からの指令信号に基づいて位置制御機構３１，３２を駆動制御する。
【００２１】
これら、カメラ１１，２１およびその位置制御機構は、例えば、ビルの入り口、部屋の入口、廊下、ロビー、受付、倉庫などの監視したい領域が画角内に収まるよう設置される。
【００２２】
２次元処理部４１は、２つのカメラ１１，２１から得られるそれぞれの画像（画像データ）Ｄ１，Ｄ２に基づいて、対象物の２次元計測のための処理をそれぞれ独立して行い、計測データＤ３を出力する。
【００２３】
図２において、２次元処理部４１は、１フレーム遅延部４１１、および２次元動き検出部４１２を備える。１フレーム遅延部４１１は、画像Ｄ１，Ｄ２を１フレーム分記憶し、記憶した画像Ｄ１，Ｄ２を１フレーム分遅延して出力する。２次元動き検出部４１２は、現フレームの画像Ｄ１，Ｄ２と、１フレーム分遅延した画像Ｄ１Ｔ，Ｄ２Ｔとをそれぞれ比較し、それらの変化分に基づいて対象物を検出する。
【００２４】
なお、対象物を検出する手法として、例えば、背景差分による手法、時間差分による手法、時系列画像の動きベクトルを用いる手法（オプティカルフロー法）などの公知の手法を用いることが可能である。時間差分による手法を用いる場合には、例えば、現フレームの画像と前フレームの画像との差分画像を計算して求め、差分画像の強度の和がしきい値以上であるときに対象物があると一応の判断をする。この場合は処理が簡単であり、高速の処理が可能であるが、照明の変動をも対象物として検知してしまうおそれがある。
【００２５】
ステレオ処理部４２は、２つのカメラ１１，２１から得られる２つの画像Ｄ１，Ｄ２に基づいて、対象物のステレオ計測のための処理を行い、計測データＤ４を出力する。
【００２６】
図３において、ステレオ処理部４２は、ステレオ画像処理部４２１、１フレーム遅延部４２２、および３次元動き検出部４２３を備える。ステレオ画像処理部４２１は、２つの画像Ｄ１，Ｄ２に基づいて、三角測量の原理によて距離画像（３次元データ）ＤＴを生成する。１フレーム遅延部４２２は、距離画像ＤＴを１フレーム分記憶し、記憶した距離画像ＤＴを１フレーム分遅延して出力する。３次元動き検出部４２３は、ステレオ画像処理部４２１から出力された距離画像ＤＴと１フレーム分遅延した距離画像ＤＴＴとを比較し、それらの変化分に基づいて対象物の詳しい状態を検出する。
【００２７】
すなわち、２つのカメラ１１，２１の一方を基準カメラとし他方を参照カメラとする。ステレオ画像処理部４２１において、基準カメラの画像（基準画像）Ｄ１と参照カメラの画像（参照画像）Ｄ２との間で対応点を探索する。予め校正された光学パラメータおよび両カメラの位置関係に基づいて、基準画像の各画素に対応して距離画像ＤＴを算出する。この場合は処理が複雑であるため処理レートは低いが、照明の変動の影響を受けにくい。
【００２８】
そして、３次元動き検出部４２３において、現フレームの距離画像ＤＴと前フレームの距離画像ＤＴＴとの差分距離画像を算出し、差分距離画像の強度の和がしきい値以上であるときに、間違いなく対象物があると判断する。
【００２９】
監視システム１が防犯のために用いられる場合に、２次元処理部４１は、互いに異なる範囲を撮影した２つの画像Ｄ１，Ｄ２に基づいて、対象物として例えば侵入者を検出する。そして、カメラ１１，２１の位置、姿勢、画像Ｄ１，Ｄ２の中の対象物の位置、大きさなどに基づいて、侵入者の概略の位置および大きさなどの情報を、計測データＤ３としてコントローラ４３に出力する。コントローラ４３は、侵入者をクローズアップして捉えるようにカメラ１１，２１の位置、姿勢、およびズーミングを制御する。そして、ステレオ処理部４２は、２つの画像Ｄ１，Ｄ２に基づいて３次元計測を行い、侵入者の位置つまり侵入者までの距離および侵入者の大きさについての情報を、計測データＤ４としてコントローラ４３に出力する。
【００３０】
なお、計測データＤ３には画像Ｄ１，Ｄ２が含まれる。計測データＤ４には距離画像ＤＴが含まれる。計測データＤ４は、２次元処理部４１で検出された侵入者が本当に侵入者であるか否かを正確に判断するために用いられる。
【００３１】
また、どの程度の差分画像および差分距離画像の強度を侵入者とするかについては、公知の種々のアルゴリズムを用いて判定することができる。
コントローラ４３は、上に述べたように、カメラ１１，２１のパン、チルトの姿勢を制御する。また、カメラ１１，２１の画像Ｄ１，Ｄ２を２次元処理部４１で処理するかまたはステレオ処理部４２で処理するかを切り替える。
【００３２】
通常は、これら２つのカメラ１１，２１が互いに異なる範囲を撮影するよう、互いに異なる方向を向くように位置制御が行われ、且つズーミングが広角となるように制御される。その場合に、２つのカメラ１１，２１の画像Ｄ１，Ｄ２の境界部分が少々重なってもよい。これにより、カメラ１１，２１によって広い範囲が撮影される。その間において画像Ｄ１，Ｄ２が２次元処理部４１で処理されるように切り替えられる。なお、周囲をスキャンするようにカメラ１１，２１を移動させることにより、より広い範囲を撮影するようにしてもよい。
【００３３】
そして、例えば侵入者が検出されたときに、２つのカメラ１１，２１がいずれもその侵入者を拡大して撮影するように、カメラ１１，２１の位置制御およびズーミング制御が行われる。つまり、２つのカメラ１１，２１が侵入者を含む範囲を重複するように撮影が行われる。そして、画像Ｄ１，Ｄ２がステレオ処理部４２で処理されるよう、コントローラ４３によって切り替えられる。
【００３４】
すなわち、コントローラ４３は、その内部に２次元計測モード（単眼計測モード）とステレオ計測モードとの２つのモードを管理するモード情報を持つ。２次元動き検出部４１２からの計測データＤ３、３次元動き検出部４２３からの計測データＤ４、およびモード情報の３つの情報に基づいて、２次元処理部４１またはステレオ処理部４２のいずれかで画像Ｄ１，Ｄ２を処理するように切り替える。この切り替えによって、２次元計測モードまたはステレオ計測モードのいずれかが設定される。コントローラ４３からは、モードに応じた切替え信号ＤＣが出力される。例えば、切替え信号ＤＣとして、２次元計測モードのときはオフ、ステレオ計測モードのときはオンの信号を出力する。切替え信号ＤＣによって、２次元処理部４１およびステレオ処理部４２の動作の有無を切り替える。また、切替え信号ＤＣによって、画像Ｄ１，Ｄ２の出力先、各ブロックの出力先、および他の各ブロックの動作の有無などを切り替えるようにしてもよい。
【００３５】
コントローラ４３は、また、２次元処理部４１またはステレオ処理部４２からの計測データＤ３，Ｄ４に応じて、侵入者が検出された旨を知らせるための警報信号Ｄ５を出力する。
【００３６】
出力部４４は、警報信号Ｄ５に基づいて、音声や画面表示などによって監視者への通知を行う。
また、コントローラ４３または出力部４４は、ＬＡＮまたはその他のネットワークを介して外部のホストコンピュータや端末装置との間で通信が可能となっている。その通信によって、画像Ｄ１，Ｄ２、計測データＤ３，Ｄ４などをホストコンピュータに出力することが可能である。
【００３７】
例えば、ステレオ処理部４２において侵入者が検出されたときは、距離画像ＤＴおよび基準画像Ｄ１を出力し、侵入者が検出されないときは、基準画像Ｄ１のみを時刻情報とともに出力する。
【００３８】
なお、カメラ１１，２１の位置または姿勢を制御する際に、パン機構１２，２２およびチルト機構１３，２３とともに、位置制御機構３１，３２を併用する。例えば、いずれか一方のカメラ１１，２１で侵入者を検出した場合に、そのカメラで侵入者を追跡して撮影するように姿勢を制御しながら、他のカメラも侵入者の方を向くように、パン機構１２，２２、チルト機構１３，２３、および位置制御機構３１，３２を適当に制御する。その際に、最終的に２つのカメラ１１，２１を結ぶ基線が侵入者の方向に対して垂直となるように位置制御を行う。基線が侵入者の方向に対して垂直となった時点で、ステレオ計測モードに切り替えればよい。これによって、侵入者に対する２つのカメラ１１，２１の基線長が最大の状態となり、大きな視差で侵入者を撮影することができ、一層高精度なステレオ計測が可能となる。
【００３９】
また、カメラ１１，２１の位置または姿勢を制御する際に、パン機構１２，２２によってカメラ１１，２１が互いに対称な動きをするように、チルト機構１３，２３によってカメラ１１，２１が同期した同じ動きとなるように、それぞれ制御を行うと、機構が簡単化され制御が容易であるとともに、２次元処理部４１およびステレオ処理部４２での処理が簡単化される。
【００４０】
また、カメラ１１，２１の位置または姿勢の制御に際して、パン機構１２，２２、チルト機構１３，２３、および位置制御機構３１，３２による制御で位置決めを行うように説明したが、カメラ１１，２１が適当な位置で機械的に位置決めが行われるように構成してもよい。例えば、２つのカメラ１１，２１の光軸が互いに平行になるような位置、２つのカメラ１１，２１がある特定の距離範囲にある対象物を頂点とする２等辺三角形の底辺の各頂点となる位置、定常的に監視したい特定の対象物を撮影する位置、などとなるように、機械的な位置決めを行う。機械的な位置決めのために、例えば、ストッパー、ノッチなどを用いることが可能である。このように機械的な位置決めを行うと、高精度な位置決め制御を行わなくても位置精度が向上し、計測精度を高めることができる。
【００４１】
次に、監視システム１の全体の動作の流れを説明する。
（１）まず、監視システム１の電源をオンにしたときに、コントローラ４３の内部のモード情報を２次元計測モードに初期設定する。したがって、初期状態において、コントローラ４３は、監視システム１を２次元計測モードに設定するために、オフの切替え信号ＤＣを出力する。
【００４２】
なお、上に述べた実施形態では、２次元処理部４１で２つの画像Ｄ１，Ｄ２を別個に処理するようにしたが、２つのカメラ１１，２１が同じ範囲を撮影するようにした場合には、そのうちの１つの画像、例えば基準画像Ｄ１のみを用いて、２次元処理部４１における対象物の２次元計測を行ってもよい。このようにすると、２次元処理部４１における処理がより簡単になる。
（２）次に、２次元処理部４１に前フレームの画像の入力があるときは、２次元動き検出部４１２は、現フレームの画像と前フレームの画像とから、シーン中で対象物の動きがあったかどうかを判断し、判断結果をコントローラ４３に出力する。なお、この場合には、上にも述べたように照明に変動があった場合も対象物の動きとして判断される可能性がある。
（３）そして、ステレオ処理部４２に基準画像Ｄ１の入力があるときは、ステレオ処理部４２は、距離画像ＤＴを３次元動き検出部４２３に出力する。３次元動き検出部４２３は、現フレームの距離画像ＤＴと前フレームの距離画像ＤＴＴとから、シーン中で対象物の動きがあったかどうかを判断し、コントローラ４３に出力する。
（４）コントローラ４３は、モード情報が２次元計測モードであるときに、２次元動き検出部４１２から対象物の動きがあることを示す計測データＤ３が出力されると、モード情報をステレオ計測モードに変更し、ステレオ処理部４２において画像Ｄ１，Ｄ２の処理を行うように切り替える。２次元動き検出部４１２から対象物の動きがあることを示す計測データＤ３が出力されるまでは、モード情報を２次元計測モードのままに維持する。
【００４３】
モード情報がステレオ計測モードであるときに、３次元動き検出部４２３から対象物の動きがないことを示す計測データＤ４が出力されると、モード情報を２次元計測モードに変更し、２次元処理部４１において画像Ｄ１，Ｄ２の処理を行うように切り替える。３次元動き検出部４２３から対象物の動きがあることを示す計測データＤ４が出力されると、モード情報をステレオ計測モードのままに維持し、出力部４４に距離画像ＤＴを出力する。
（５）出力部４４は、基準画像Ｄ１を、一定の時間間隔で時刻情報とともにホストコンピュータに送信する。距離画像ＤＴが出力されているときは、その距離画像ＤＴを同時刻の基準画像Ｄ１とともに送信する。
（６）ホストコンピュータにおいては、基準画像Ｄ１または距離画像ＤＴを受信すると、時刻とともにそれらを記録する。距離画像ＤＴが送られてきたときは、それと同時に警報を発生する。
【００４４】
なお、上に説明した実施形態によると、２次元処理部４１およびステレオ処理部４２において、現フレームの画像Ｄ１または距離画像ＤＴを前フレームの画像Ｄ１Ｔまたは距離画像ＤＴＴと比較することによって対象物の動きを検出しているが、図４および図５に示すように、初期状態またはリセット時の画像（背景画像）Ｄ１Ｎまたは距離画像ＤＴＮと比較するようにしてもよい。すなわち、その場合には、１フレーム遅延部４１１および１フレーム遅延部４２２に代えて、それぞれ初期画像記憶部４１１Ｂまたは初期距離画像記憶部４２２Ｂとする。
【００４５】
初期画像記憶部４１１Ｂには初期状態の画像Ｄ１Ｎが記憶されるよう、また初期距離画像記憶部４２２Ｂには初期状態の距離画像ＤＴＮが記憶されるよう、各ブロックの接続または動作を制御すればよい。
【００４６】
すなわち、例えば、監視システム１の起動時には、基準画像Ｄ１が初期画像記憶部４１１Ｂに入力されるように、コントローラ４３からリセット信号を出力する。それと同時に、初期画像記憶部４１１Ｂで基準画像Ｄ１Ｎを記憶する。また、画像Ｄ１，Ｄ２に基づいてステレオ処理部４２が距離画像ＤＴを生成するようにし、生成した初期の距離画像ＤＴＮを初期距離画像記憶部４２２Ｂに記憶する。そして、監視システム１の動作中において、それぞれに記憶された初期状態の画像Ｄ１Ｎまたは初期状態の距離画像ＤＴＮを用いて、対象物の動き検出を行う。
〔第２の実施形態〕
次に、本発明に係る計測システムをロボットナビゲーションシステムに応用した例を説明する。
【００４７】
図６は本発明に係る第２の実施形態であるロボット制御システム２の構成を示す図である。
第２の実施形態のロボット制御システム２は、ロボット内に装備される。ロボットは、ロボット制御システム２の制御によって前後左右に移動可能である。また、ロボットの頭部には、パンチルト機構を備えたステレオカメラが装置され、ロボット内部のロボット制御システム２の指令で動作する。
【００４８】
ここで、ステレオカメラおよびパンチルト機構は、第１の実施形態の場合と同様なカメラ１１，２１および位置姿勢制御機構を用いることができる。また、それらを簡略化したものを用いることも可能である。図６においてはカメラ１１，２１などの図示を省略した。また、位置姿勢制御機構のドライバはパンチルト制御部６１として示した。
【００４９】
図６において、ロボット制御システム２は、低解像度化部５１，５２、ステレオ処理部５３、３次元マッチング部５４、位置同定部５５、３次元マップ更新部５６、３次元マップ用記憶部５７、位置姿勢用記憶部５８、コントローラ５９、走行制御部６０、およびパンチルト制御部６１などからなっている。
【００５０】
低解像度化部５１，５２は、カメラ１１，２１から出力される画像Ｄ１，Ｄ２の解像度を落とし、総画素数を少なくした低解像度画像Ｄ１Ｌ，Ｄ２Ｌを出力する。例えば、画像のデータを間引いて解像度を２分の１、３分の１、または４分の１に落とし、それだけ縮小した画像を出力する。
【００５１】
ステレオ処理部５３は、第１の実施形態の場合と同様に、２つの画像Ｄ１，Ｄ２またはそれらの低解像度画像Ｄ１Ｌ，Ｄ２Ｌに基づいて、対象物のステレオ計測のための処理を行い、距離画像ＤＴを含む計測データＤ４を出力する。
【００５２】
３次元マッチング部５４は、ステレオ処理部５３から出力される距離画像（部分３次元データ）ＤＴを、３次元マップ用記憶部５７に予め記憶している３次元マップＤＭと照合する。つまり、ロボット自身がカメラ１１，２１を通して見ている距離画像ＤＴと３次元マップＤＭとのマッチングを行う。そして、距離画像ＤＴに対応する３次元マップＤＭの部分を検出し、３次元マップＤＭに対する距離画像ＤＴの位置姿勢情報Ｄ６を出力する。なお、照合に際して、照合の度合いがしきい値より低いときは、コントローラ５９に対して照合エラー信号ＤＥを出力する。
【００５３】
位置同定部５５は、３次元マッチング部５４から出力される位置姿勢情報Ｄ６およびカメラ１１，２１の位置姿勢情報から、ロボットの位置姿勢を計算して位置姿勢情報Ｄ７を出力する。なお、カメラ１１，２１の位置姿勢情報は、パンチルト制御部６１の情報に基づいて得られる。
【００５４】
３次元マップ更新部５６は、ステレオ処理部５３から出力された距離画像ＤＴを、３次元マップＤＭ中の対応する部分に置き替える。これによって、３次元マップ用記憶部５７に記憶された３次元マップＤＭが更新される。
【００５５】
コントローラ５９は、中央制御部としての役割を果たす。つまり、ロボットのタスクを管理し、タスクに基づいてロボットの各部を制御する。タスク内容に基づいて、ロボットの移動の経路を計算し、必要な情報を適宜カメラ１１，２１から入力してその経路を辿るように走行制御部６０に指令を出す。
【００５６】
また、コントローラ５９は、高速モードと高精度モードとを切り替えるためのモード信号ＤＤを出力する。モード信号ＤＤがオンのときには、高速モードとなり、画像Ｄ１，Ｄ２が低解像度化部５１，５２に入力され、ステレオ処理部５３の出力が３次元マッチング部５４に入力される。
【００５７】
走行制御部６０は、車輪の駆動を制御し、ロボットの移動および回転を制御する。
パンチルト制御部６１は、コントローラ５９からの指令によって、カメラ１１，２１の視線方向を制御する。このとき、カメラ１１，２１の姿勢情報を随時出力する。
【００５８】
次に、ロボット制御システム２の全体の動作の流れを説明する。
（１）まず、ロボット制御システム２の電源をオンにしたときに、コントローラ５９はモード信号ＤＤをオフとし、高精度モードを設定する。ロボットは、静止したまま、パンチルト機構によってカメラ１１，２１で周囲をスキャンしながら複数の画像Ｄ１，Ｄ２を入力する。複数の画像Ｄ１，Ｄ２に基づいて、複数の高精度な距離画像ＤＴが生成される。これらの距離画像ＤＴによって、３次元マップＤＭが作成される。
【００５９】
なお、高精度モードでは、２つの画像Ｄ１，Ｄ２は、低解像度化部５１，５２を通過することなくステレオ処理部５３に入力される。すなわち、低解像度化部５１，５２を通過させた場合と比べると、高解像度で高精度の距離画像ＤＴが生成される。しかし、その計算コストが高くなるため、処理レートは遅くなる。
（２）ロボットが移動を始めると、コントローラ５９はモード信号ＤＤをオンとし、高速モードに切り替える。生成した距離画像ＤＴを３次元マップ用記憶部５７に記憶した３次元マップＤＭと照合することにより、ロボット自身の位置および姿勢を算出する。そして、ロボットが予め定められた経路から外れている場合は、経路に戻るためのの補正動作を走行制御部６０に指示する。
【００６０】
なお、高速モードでは、２つの画像Ｄ１，Ｄ２は、低解像度化部５１，５２を通過してステレオ処理部５３に入力される。すなわち、低解像度化部５１，５２を通過させない場合と比べると、低解像度で低精度の距離画像ＤＴが生成される。しかし、その計算コストが低くなるため、処理レートは速くなる。
（３）上の（２）のときに、３次元マッチング部５４が照合エラー信号ＤＥを出力していることをコントローラ５９が検知すると、コントローラ５９は、異常が発生しまたは周囲の環境が変化したと判断し、走行制御部６０に指令を出してロボットを静止させる。そして、高精度モードに切り替えて、上の（１）の場合と同様な処理を行って３次元マップＤＭを再構築する。
〔変形例〕
次に、カメラ１１，２１からの画像Ｄ１，Ｄ２の取り込みの回路について、上に各実施形態に対する変形例を説明する。
【００６１】
図７は画像入力回路の部分を示すブロック図、図８は撮像素子の画素の一部を示す図、図９は各画素の信号の割り当て状態の例を示す図である。
カメラ１１，２１には、撮像素子としてカラーのＣＣＤがよく用いられる。低価格のカメラのＣＣＤには、Ｒ，Ｇ，Ｂの三原色のいずれかの色のカラーフィルタを画素毎に取り付けたものがしばしば用いられる。そのようなカラーフィルタの全体を、カラーモザイクフィルタと呼称することがある。カラーモザイクフィルタの典型例は、図８に示すようなＲＧＢベイヤフィルタＦＬ１である。ＲＧＢベイヤフィルタＦＬ１を用いた場合は、２つのＧと各１つのＲ，Ｂの合計４つの画素によって、対象物の画像Ｄ１，Ｄ２の１つの画素が表現される。
【００６２】
ところで、記録用の画像としてはカラー画像を用いることが、またステレオ計測用には輝度画像を用いることが経済的である。その理由は、ステレオ計測において対応付けを行う際には輝度成分を用いることが最も有効であり、色成分を用いることは計算コストが増大する割には有効性が低いからである。
【００６３】
そのため、ステレオ計測モードで計測を行う場合には、２つのカメラ１１，２１のそれぞれのＣＣＤから輝度成分を抽出し、画素毎にインターレースして出力させる。これを実現するため、カメラ１１からの出力を１画素分遅延させるための１画素遅延部７１、および、画素の同期制御を行うための画素同期制御部７２を設ける。
【００６４】
つまり、１画素遅延部７１は、参照カメラ１１のＣＣＤからラスタ順に画素シリアルで出力されるベイヤ配列のＲＡＷ画像を、１画素分遅延させる。そして、基準カメラ２１のＣＣＤからＲ画素またはＢ画素を出力するタイミングにおいて、カメラ１１のＧ画素が出力されるように、スイッチＳＷを切り替える。その切り替えのために、画素同期制御部７２によってタイミングをとる。スイッチＳＷからは、図９に示すように、カメラ１１のＣＣＤからの画素信号とカメラ２１のＣＣＤからの画素信号とが交互に出力される。これを１つのＡ／Ｄ変換器によって量子化する。
【００６５】
図９に示すように、基準カメラ２１のＧの画素成分（ＧＳ）と参照カメラ１１のＧの画素成分（ＧＲ）とが交互に出力される。
これによって、２つのカメラ１１，２１のＧ画素成分が交互に配列された画像Ｄ１２を１系統のラインで取り込むことが可能となる。取り込んだ画像Ｄ１２は適当なメモリに記憶させる。アドレスを指定することによって、２つの画像Ｄ１，Ｄ２を分離して読み出すことができる。このようにして、各カメラ１１，２１のＣＣＤにおける特定の色のカラーフィルタのみに対応する画素の画像データを用いる。
【００６６】
これによって、ステレオ計測モードにおける画像の取り込みが高速化される。また、このような構成を用いることにより、２次元計測モードでは、基準カメラ２１のカラー画像（ベイヤ配列ＲＡＷ画像）をそのままＣＣＤから取り出すことができる。
【００６７】
上の実施形態によると、ロボットや監視システムなどにおいて、２次元計測モードとステレオ計測モードとを環境の変化や対象物の動きなどをトリガとして切り替えることにより、低コストの構成で最適な計測を行うことができる。
【００６８】
また、２つのカメラ１１，２１の撮影範囲が互いに異なるように位置制御を行っておき、侵入者などが検出されたときに２つのカメラ１１，２１でステレオ計測を行うように位置制御を行うことによって、広範囲の監視と侵入者の有無の高精度な判定とを両立させることができる。
【００６９】
また、上の実施形態では、カメラ１１，２１がそれぞれパン機構１２，２２およびチルト機構１３，２３によって位置制御されるものを主体として説明したが、これらカメラ１１，２１の相対的な位置関係を固定としてもよい。この場合に、カメラ１１，２１の位置関係を固定とした上で、それらの全体を上の位置制御機構３１などによって位置制御すればよい。例えば、第２の実施形態のロボット制御システム２において、２つのカメラ同士の位置関係を固定とし、それら２つのカメラを１つのカメラ群として扱い、カメラ群の全体がパンおよびチルトするように制御する。そして、第１の実施形態の場合と同様に、２次元計測とステレオ計測とを切り替える。その場合に、２次元計測時には一方のカメラによる画像のみを用いる。但し、両方の画像を２枚の２次元画像として用いることも可能である。ステレオ計測時には両方の画像間での対応付けを行う。
【００７０】
上の実施形態においては、２つのカメラ１１，２１を横方向（水平方向）に並べて配置したが、縦方向（垂直方向）に並べて配置してもよい。また、斜めに配置してもよい。３つ以上のカメラを用いてもよい。監視システム１またはロボット制御システム２の各部は、ＣＰＵとメモリなどを用いてソフト的に、またはハードウエア回路によって、またはそれらの組み合わせによって実現することが可能である。
【００７１】
その他、監視システム１またはロボット制御システム２の全体または各部の構成、回路、形状、寸法、個数、処理内容などは、本発明の趣旨に沿って適宜変更することができる。本発明は、監視システムおよびロボット制御システム以外の種々のアプリケーションに利用することが可能である。
【００７２】
【発明の効果】
本発明によると、ロボットや監視システムなどにおいて、環境の変化や対象物の動きなどに応じて最適な計測を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態である監視システムの構成を示す図である。
【図２】２次元処理部の構成の例を示すブロック図である。
【図３】ステレオ処理部の構成の例を示すブロック図である。
【図４】変形した２次元処理部の構成を示すブロック図である。
【図５】変形したステレオ処理部の構成を示すブロック図である。
【図６】本発明に係る第２の実施形態であるロボット制御システムの構成を示す図である。
【図７】画像入力回路の部分を示すブロック図である。
【図８】撮像素子の画素の一部を示す図である。
【図９】各画素の信号の割り当て状態の例を示す図である。
【符号の説明】
１監視システム（計測システム）
２ロボット制御システム（計測システム）
１１、２１カメラ
１２，２２パン機構（位置制御手段）
１３，２３チルト機構（位置制御手段）
３１位置制御機構（位置制御手段）
４１２次元処理部（２次元計測手段）
４２ステレオ処理部（ステレオ計測手段）
４３コントローラ（切替え手段）
Ｄ１，Ｄ２画像

Claims

複数のカメラから得られる画像に基づいて対象物を計測する計測システムであって、
複数の前記カメラの撮影方向を変更するために前記カメラの位置制御を行う位置制御手段と、
対象物について少なくとも１つの前記カメラから得られる画像に基づいて当該対象物の２次元計測を行う２次元計測手段と、
同一の対象物について前記複数のカメラから得られる複数の画像に基づいて当該対象物のステレオ計測を行うステレオ計測手段と、
前記２次元計測手段と前記ステレオ計測手段とを切り替えて動作させるための切替え手段と、
を有し、
前記位置制御手段は、
前記２次元計測手段による２次元計測を行うときに、前記複数のカメラが互いに異なる範囲を撮影するよう互いに異なる方向を向くように位置制御を行い、
前記ステレオ計測手段よるステレオ計測を行うときに、前記複数のカメラが前記対象物を含んで互いに重複する範囲を撮影するように位置制御を行い、
前記切替え手段は、
初期状態では２次元計測手段が動作するように切り替えており、前記２次元計測手段によって移動する対象物が検出されたときに前記ステレオ計測手段が動作するように切り替える、
ことを特徴とする計測システム。
前記ステレオ計測手段は、
前記複数の画像の解像度を低下させる手段を有し、
ステレオ計測を行うに当たって、高解像度の３次元データの生成と低解像度の３次元データの生成とを適宜切り替えて計測を行う、
請求項１記載の計測システム。
前記カメラには、三原色のいずれかの色のカラーフィルタが画素毎に配置された撮像素子が設けられており、
複数の前記カメラから得られる画像データを処理するに際して、各カメラの撮像素子における特定の色のカラーフィルタのみに対応する画素の画像データを用いる、
請求項１記載の計測システム。