JP4533824B2

JP4533824B2 - 画像入力装置及び校正方法

Info

Publication number: JP4533824B2
Application number: JP2005249002A
Authority: JP
Inventors: 高斉松本; 俊夫守屋; 剛皆川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-08-30
Filing date: 2005-08-30
Publication date: 2010-09-01
Anticipated expiration: 2025-08-30
Also published as: JP2007064723A; US20070047940A1; US7990415B2

Description

本発明は、レーザー距離センサ及びカメラによって距離情報及び色情報を独立に計測可能な画像入力装置に係り、特に、レーザー距離センサのレーザー光をカメラで計測し、その計測結果に基づき、距離センサに対するカメラの相対位置及び相対姿勢を校正することができる画像入力装置及び校正方法に関する。

レーザー距離センサ及びカメラの校正手法として、例えば非特許文献１及び特許文献１記載の技術が知られている。

非特許文献１記載の技術によれば、レーザー距離センサ校正用ターゲット及びカメラ校正用ターゲットが１つになったターゲットをレーザー距離センサ及びカメラでそれぞれ計測し、その計測結果に基づき、レーザー距離センサとカメラとの相対位置及び相対姿勢を校正する。

一方、特許文献１記載の技術によれば、校正用に準備された特殊な治具にレーザー光を当てながら、治具を移動させたときのレーザーのスポット光の位置の変化を計測する。この計測結果に基づき、レーザーの投光器とカメラとの相対位置及び相対姿勢を算出し、投光器とカメラとの相対位置及び相対姿勢を手動で校正する。

Kazuhisa Inaba，Dinesh Manandhar and Ryosuke Shibasaki ，鼎alibration of a Vehicle-based Laser / CCD Sensor System for Urban 3D Mapping ，In Proc of the Asian Conference on Remote Sensing 1999，1999．特開平７-２０８９１３号公報

ところが、上記従来の技術によれば、レーザーとカメラとの相対位置及び相対姿勢を校正するために、特殊なターゲットまたは特殊な治具を準備する必要がなる。

そこで、本発明は、レーザー距離センサ及びカメラを有する画像入力装置において、特殊な機器を用いずに、適切なタイミングで、レーザー距離センサとカメラとを自動校正可能にすることを目的とする。

上記課題を解決するため、本発明は、不可視光により物体の距離情報を計測するレーザー距離センサと、前記物体の色情報を計測するカメラとを備える画像入力装置であって、
可視光を遮断して前記不可視光を通過させる第１フィルタおよび前記不可視光を遮断して前記可視光を通過させる第２フィルタを、前記カメラに装着可能に保持するフィルタ取付け手段と
前記第１フィルタ装着中のカメラによって撮影される、前記レーザー距離センサから前記物体上の平面に投影された前記不可視光のパターンの画像と基準画像との比較により、前記レーザー距離センサと前記カメラとの校正誤差を算出する校正誤差検証手段と、
前記校正誤差があらかじめ定めた値を超えた場合に、前記レーザー距離センサと前記カメラとの相対的な位置及び姿勢を校正する校正手段と、
前記カメラが取得した前記色情報および前記色画像の取得中に前記レーザー距離センサが取得した前記距離情報を画像データとして記録する計測手段と、を有し、
前記基準画像は、前回の校正時に前記第１フィルタ装着中のカメラによって撮影された前記レーザー距離センサから前記物体上の平面に投影された前記不可視光のパターンの画像であり、
前記フィルタ取付け手段は、前記校正手段による校正が終了した場合または前記校正誤差が前記あらかじめ定められた値以下である場合、前記カメラのフィルタを、前記第１フィルタから前記第２フィルタに切り替え、
前記計測手段は、前記カメラのフィルタが前記第１フィルタから前記第２フィルタに切り替えられた後、前記第２フィルタ装着中のカメラが取得した前記色情報および前記色画像の取得中に前記レーザー距離センサが取得した前記距離情報を画像データとして記録する、
ことを特徴とする画像入力装置を提供する。

本発明によれば、レーザー距離センサ及びカメラを有する画像入力装置において、特殊な機器を用いずに、適切なタイミングで、レーザー距離センサとカメラとを自動校正可能にすることができる。

以下、添付の図面を参照しながら、本発明の実施の形態について説明する。

まず、本実施形態に係る画像入力装置の構成について説明する。ここでは、人間の可視領域外の波長のレーザー光を不可視光として用いて物体までの距離及び物体の方位を計測可能なレーザー距離センサと、可視画像を計測可能なカメラとを有する画像入力装置を例として挙げる。

図５に示すように、本実施の形態に係る画像入力装置は、不可視光を用いて物体の方位及び物体までの距離を計測するレーザー距離センサ６０２、レーザー距離センサ６０２を回転可能に保持する距離センサ台座２１２、物体の画像を含む可視画像を計測するカメラ６０４、レーザー距離センサ６０２の本体２１０上でカメラ６０４を保持するカメラ移動機構、を有している。

レーザー距離センサ６０２は、不可視光２１３を投光する投光器２１１、投光器２１１及びその他の内蔵部品が収容されたセンサ本体２１０、を有している。レーザー距離センサ６０２は、投光器２１１を制御することによって、障害物に対して不可視光２１３を投光し、障害物までの距離及び障害物の方位を計測する。

カメラ移動機構６０８は、カメラ６０４を保持するとともにカメラ６０４をｘｙ方向に送るＸＹステージ２０６、ＸＹステージ２０６をｚ軸周りにまたはｙ軸周りに回転させる雲台２０７、雲台２０７をｚ方向に移動させる雲台支柱２０８、雲台支柱２０８を保持する雲台支柱基部２０９、を有している。これにより、レーザー距離センサ６０２に対するカメラ６０４の姿勢及び位置を調整することができる。

カメラ６０４は、レンズ２０３、２種類のフィルタ（不可視光を遮って可視光を透過する可視光用フィルタ２０１、可視光を遮って不可視光を透過する不可視光用フィルタ２０２）、レンズ２０３を覆うフィルタが切り替わるように２種類のフィルタ２０１,２０２を回転させるフィルタ切り替え用アクチュエータ２０４、これらが取り付けられるとともにその他の内蔵部品が収容されたカメラ本体２０５、を有している。

ここでは、フィルタ切り替え用アクチュエータ２０４として、パルス波により回転角を制御可能なステッピングモータを用いている。２種類のフィルタ２０１,２０２は、ステッピングモータの回転軸に関して対称な位置に配置されるように（一方に対して、他方が、回転軸周り１８０度の位置に配置されるように）、この回転軸の先端部に取り付けられている。このため、回転軸を１８０度回転させるパルス波がステッピングモータに送られるごとに、フィルタ２０１,２０２が互いの位置関係を保持しつつ一体として１８０度回転するため、カメラ６０４のレンズ２０３を覆うフィルタを、可視光用フィルタ２０１から不可視光用フィルタ２０２に、または、不可視光用フィルタ２０２から可視光用フィルタ２０１に切り替えることができる。

なお、本実施の形態においては、フィルタ切り替え用アクチュエータ２０４としてステッピングモータを用いているが、ステッピングモータの代わりに、エンコーダ付き直流モータまたは交流モータ、空気圧または油圧によって伸縮するアクチュエータを用いてもよい。例えば、エンコーダ付きモータをフィルタ切り替え用アクチュエータ２０４として用いる場合には、エンコーダでモータの軸の回転を計測しながら、カメラ６０４のレンズ２０３の前にいずれか一方のフィルタが配置されるようにモータの回転軸の回転角度を制御すればよい。これにより、フィルタを切り替えることが可能である。また、空気圧または油圧によって伸縮するアクチュエータをフィルタ切り替え用アクチュエータ２０４として用いる場合には、アクチュエータの軸の伸縮によって２種類のフィルタ２０１,２０２の位置をそれぞれカメラの前からずらすことができるように、それらのフィルタ２０１,２０２をアクチュエータの軸に取り付ければよい。これにより、カメラ６０４のレンズ２０３前にあるフィルタを切り替えることができる。

さらに、この画像入力装置の内部には、図１０に示すように、レーザー距離センサ６０２を制御するレーザー距離センサ制御ボード６０３、カメラ６０４を制御するカメラ制御ボード６０５、フィルタ切り替え用アクチュエータ２０４を制御するフィルタ制御ボード６０７、雲台を含むカメラ移動機構６０８、雲台等の動作を制御する雲台等制御ボード６０９、メモリ等の主記憶６１０、各種プログラム６１３〜６１７があらかじめ格納されるとともに各種データ（レーザー距離センサ６０２による計測値、カメラ６０４による計測値、現在レンズに装着されているフィルタの種類を表すフィルタ情報、各プログラムの処理結果等）を保持するためのバッファ領域６１８が設けられたハードディスク等の補助記憶６１１、補助記憶６１１から主記憶６１０にロードされたプログラムを実行するメインプロセッサ６０１、これらの間を接続するバス等を備える。

補助記憶６１１に格納されたプログラム群には、プログラムの実行等を管理する基本ソフトウェアであるオペレーティングシステム６１３、校正誤差を検証する校正誤差検証モードの処理（後述の図１のＳ１１０及びＳ１５０）を実現する校正誤差検証プログラム６１５、カメラ及びレーザー距離センサの相対位置及び相対姿勢を校正する校正実行モードの処理（後述の図１のＳ１３０）を実現する校正実行プログラム６１６、物体の色情報及び距離情報を計測する計測実行モードの処理（後述の図１のＳ１４０）を実現する計測実行プログラム６１７、全体の処理の流れを制御するメインプログラム６１４、が含まれている。

これらのプログラムが、主記憶６１０上に読み込まれ、メインプロセッサ６０１によって実行されることによって、特殊なターゲット及び特殊な治具を用いなくても、レーザー距離センサ６０２とカメラ６０４との相対的な位置及び姿勢（以下、相対位置及び相対姿勢）を適時に自動的に校正可能な機能構成が実現される。すなわち、図９に示すように、校正誤差検証処理（Ｓ１１０及びＳ１５０）を実行する校正誤差検証処理部６２４、校正処理（Ｓ１３０）を実行する校正実行処理部６２１、距離情報及び色情報の計測処理（Ｓ１４０）を実行する計測実行処理部６２３、全体を制御する制御部６２０、を実現する。

このような構成において、レーザー距離センサ６０２及びカメラ６０４によって物体の距離情報及び色情報が独立に計測され、必要に応じて、レーザー距離センサ６０２とカメラ６０４との相対位置及び相対姿勢が校正される。以下、このような処理を具体的に説明する。

図１に、本実施の形態に係る画像入力装置が実行する処理の概略フローチャートを示す。

この処理には、以下に示すように、校正誤差検証モードの処理Ｓ１１０,Ｓ１６０、校正実行モードの処理Ｓ１３０、計測実行モードの処理Ｓ１４０の３つのモードの処理が含まれる。

画像入力装置上でメインプログラム６１４が起動すると(Ｓ１０１)、これにより実現される制御部６２０によって以下の処理が実行される。制御部６２０は、まず、校正誤差検証プログラム６１５の呼び出しにより、校正誤差検証モードの処理Ｓ１１０を実行させる。

制御部６２０は、これにより得られた各校正誤差が閾値よりも小さいか否かをチェックする（Ｓ１２０）。

その結果、いずれの校正誤差も閾値以下であれば、制御部６２０は、計測実行プログラム６１７の呼び出しにより、計測実行モードの処理Ｓ１４０を実行させる。この処理Ｓ１４０が終了したら、制御部６２０は、校正誤差検証プログラム６１５の呼び出しにより、再度、校正誤差検証モードの処理Ｓ１５０を実行させ、それにより得られる校正誤差を、操作者に提示すべくディスプレイに表示させる(Ｓ１６０)。

操作者は、ディスプレイ上の表示情報（校正誤差）を参照することにより、計測が有効か否かを判断することができる（Ｓ１７０）。その結果、計測が有効である、すなわち、再計測が必要ないと判断した場合には、操作者は、計測の終了を画像入力装置に指示する。これに応じて、プログラム全体が終了する（Ｓ１８０）。これに対して、計測が有効でない、すなわち、再計測が必要であると判断した場合には、Ｓ１２０以降の処理の再実行を画像入力装置に指示する。これに応じて、Ｓ１２０以降の処理が再度実行される。

一方、いずれかの校正誤差が閾値を越えていれば、制御部６２０は、校正実行プログラム６１６の呼び出しにより、校正実行モードの処理Ｓ１３０を実行させてから、その後、校正誤差が閾値以下であった場合と同様に、Ｓ１４０以降の処理を実行する。

以上の処理に含まれる各モードの処理をさらに説明する。
（１）校正誤差検証モード（Ｓ１２０,Ｓ１５０）
一方の処理Ｓ１５０の内容は他方の処理Ｓ１２０と同様であるため、ここでは、処理Ｓ１２０の流れにしたがって説明する。

校正誤差検証プログラム６１５の呼び出しにより実現される校正誤差検証処理部６２４は、図２に示す以下の処理（Ｓ１１１〜Ｓ１１８）を実行する。

校正誤差検証処理部６２４は、カメラ６０４のレンズ２０３前に装着されているフィルタの種類を示すフィルタ情報を取得し (Ｓ１１１)。このフィルタ情報に基づき、フィルタの種類の判定を行う(Ｓ１１２)。

その結果、不可視光用フィルタ２０２がレンズ２０３に装着されている場合（カメラ６０４が、レーザー距離センサ６０２の投光器２１１からの不可視光を撮影可能な状態にある場合）には、校正誤差検証処理部６２４は、レーザー距離センサ制御ボード２０５を介してレーザー距離センサ６０２を制御することによって、投光器２１１から不可視光を投影させる（Ｓ１１３）。これにより、物体に不可視光が投影され、その表面（平面）に校正誤差検証用パターンが形成される。

ここでは、校正誤差検証用パターンとして、一直線上にない、３点のスポット光により形成されるパターン（以下、点パターン）を用いる。このような校正誤差検証用パターンは、投光器２１１から複数のスポット光を同時に投光するか、または、雲台を回転させながら、順次、投光器２１１からスポット光を投光することによって形成される。なお、ここでは、校正誤差検証用パターンとして、３点の点パターンを用いているが、校正誤差検証用パターンは、３点の点パターンに限らず、一直線上にない、４点以上の点パターン、複数の直線状パターン、複数の円状または四角形状のパターン、格子状に配列した点パターン、等であってもよい。

つぎに、校正誤差検証処理部６２４は、カメラ制御ボード２０５を介してカメラ２０５を制御することによって、投影された３つの校正誤差検証用パターンを撮影し、その結果得られた画像をバッファ領域６１８に記録する（Ｓ１１４）。そして、校正誤差検証処理部６２４は、このとき記録した画像の二値化処理を行い、これにより抽出された領域の重心算出等によって校正誤差検証用パターンを抽出する。さらに、校正誤差検証処理部６２４は、このとき抽出したパターン画像を、現在の日時を表す日時情報とともにバッファ領域６１８に記録する(Ｓ１１５）。

校正誤差検証処理部６２４は、これらの抽出パターン画像と、基準パターン画像とを比較する。ここでは、基準パターン画像として、前回の校正の完了時を示す日時情報とともに記録された対応パターン画像（前回の校正中に最終的に得られた対応パターン画像、すなわち、適正な相対位置及び相対姿勢に調整されたときに記録された対応パターン画像）を用いる。両パターン画像の比較により、両パターン画像間の距離を、閾値との比較処理（前述のＳ１２０）または表示処理（前述のＳ１６０）に用いられる校正誤差として算出する（Ｓ１１６）。

例えば、カメラを載せているカメラ雲台支柱２０８が機構的な遊び等によって若干下がった場合に得られる校正誤差検証用パターン画像３０４〜３０６と、前回の校正において最終的に得られた校正用パターン画像（適正な相対位置及び相対姿勢になったときと判断されたときの校正用パターン画像）３０１〜３０３とを図６に示す。この図６において、新たなパターン画像３０４〜３０３とパターン３０４〜３０６との間の距離ｄＸが校正誤差として算出され、これらの校正誤差が、前述のＳ１２０において閾値と比較される、または、前述のＳ１６０において表示される。

なお、図６には、カメラを載せているカメラ雲台支柱２０８が機構的な遊び等によって若干下がった場合に校正誤差検証用パターン画像３０４〜３０３と基準パターン画像３０４〜３０６との間に生じる、Ｘ方向へのずれを示したが、レーザー距離センサ６０２とカメラ６０４との相対的な位置及び相対的な姿勢の変化によっては、校正誤差検証用パターン画像３０４〜３０３と基準パターン画像３０４〜３０６との間に、Ｘ方向へのずれだけでなく、Ｙ方向へのずれ、回転方向へのずれ（例えばＯ回りの回転方向へのずれ等）を生じることもある。このような場合には、パターン画像間のＸ方向距離ｄＸだけでなく、パターン画像間のＹ方向距離ｄＹ等も、校正誤差として算出すればよい。

一方、Ｓ１１２において、不可視光用フィルタ２０２以外のフィルタ（すなわち、可視光用フィルタ２０１）がレンズ２０３に装着されていると判断した場合（カメラ６０４が、投光器２１１からの不可視光を撮影可能な状態にない場合）には、校正誤差検証処理部６２４は、フィルタ制御ボード２０７を介してフィルタ切り替え用アクチュエータ２０４を制御することによって、レンズ前のフィルタを、可視光用フィルタ２０１から不可視光用フィルタ２０２に切り替える（Ｓ１１８）。具体的には、１８０度の回転を指示するパルス波をフィルタ切り替え用アクチュエータ２０４に送ることによって、フィルタ切り替え用アクチュエータ２０４の回転軸を１８０度回転させる。これにより、２種類のフィルタ２０１,２０２が１８０度回転して、カメラ６０４のレンズ２０３が不可視光用フィルタ２０２で覆われるため、カメラ６０４が、投光器２１１からの不可視光を可視画像として撮影可能な状態となる。その後、補助記憶６１１内のフィルタ情報を、不可視光用フィルタを表す情報で書き換える。

その後、校正誤差検証処理部６２４は、不可視光用フィルタ２０２がレンズ２０３に装着されていると判断した場合と同様、Ｓ１０５以降の処理を実行する。これにより、閾値との比較処理（前述のＳ１２０）または表示処理（前述のＳ１６０）において用いられる校正誤差が得られる。
（２）計測実行モードの処理（Ｓ１４０）
前述したように、校正誤差検証モードの処理Ｓ１１０が終了すると、各校正誤差と閾値との比較処理（Ｓ１２０）が行われ、その結果、いずれの校正誤差も閾値より小さければ、計測実行プログラム６１７が呼び出される。これにより実現される計測実行処理部６２３が、以下に示すように、図３に示す処理（Ｓ１４１〜Ｓ１４７）を実行する。

計測実行処理部６２３は、カメラ６０４のレンズ２０３に装着されているフィルタの種類を示すフィルタ情報を取得し（Ｓ１４１）、このフィルタ情報に基づき、カメラ６０４のレンズ２０３に現在装着されているフィルタを判定する（Ｓ１４２）。

その結果、カメラ６０４のレンズ２０３に可視光用フィルタ２０１が取り付けられている場合（カメラ６０４が、投光器からの不可視光を撮影可能な状態でない場合）には、計測実行処理部６２３は、レーザー距離センサ６０２とカメラ６０４とに同期信号を送り、レーザー距離センサ６０２及びカメラ６０４による同時計測を開始する（Ｓ１４３）。

これにより、レーザー距離センサ６０２による、物体の距離及び方位の計測（Ｓ１４４）、及び、カメラ６０４による、物体の色情報の計測（Ｓ１４５）とが並行して行われ、その結果得られる、物体の色情報（Ｒ,Ｇ,Ｂ）、距離情報Ｚ及び方位情報が、補助記憶６１１のバッファ６１８に記録される（Ｓ１４６）。

例えば、カメラ６０４の方向を変えずに、レーザー距離センサ６０２の投光器２１１からの不可視光２１３を鉛直方向（図５のｚ方向）に走査させながら、レーザー距離センサ本体２１０を回転させる。この間、レーザー距離センサ６０２によってカメラ６０４の視野内の物体までの距離情報Ｚ及び物体の方位情報が計測されるとともに、カメラ６０４によって、その物体の色情報（Ｒ,Ｇ,Ｂ）が計測される。これにより得られた色情報及び距離情報は、例えば図７に示すような物体画像４０１の画像データとして補助記憶６１１のバッファ６１８に記録される。この画像データのフォーマットを図８に示す。画像データには、画素ごとに、色情報（Ｒ,Ｇ,Ｂ）５０１〜５０３、距離情報（Ｚ）５０４及び方位情報（不図示）が含まれている。

一方、カメラ６０４のレンズ２０３に不可視光用フィルタ２０２が取り付けられている場合には、計測実行処理部６２３は、フィルタ制御ボード２０７を介してフィルタ切り替え用アクチュエータ２０４を制御することによって、レンズ２０３前のフィルタを、不可視光用ｆフィルタ２０２から可視光用フィルタ２０１に切り替える(Ｓ１４７)。具体的には、１８０度の回転を指示するパルス波をフィルタ切り替え用アクチュエータ２０４に与えることによって、フィルタ切り替え用アクチュエータ２０４の回転軸を１８０度回転させる。これにより、カメラ６０４のレンズ２０３前に可視光用フィルタ２０１で位置付けられるため、カメラ６０４が、投光器２１１からの不可視光を撮影不可能な状態となる。

その後、計測実行処理部６２３は、補助記憶６１１内のフィルタ情報を、可視光用フィルタを表す情報で書き換えて、Ｓ１１８以降の処理を実行する。これにより、物体の色情報（Ｒ,Ｇ,Ｂ）及び距離情報Ｚ等を含む上述の画像データ(図８参照)が得られ、この画像データが補助記憶のバッファ内に記録される。

なお、以上の処理が終了すると、上述したように、制御部６２０は、校正誤差検証モードの処理（Ｓ１５０）を実行させた後に校正誤差を表示し、その後、操作者の指示に応じた処理を実行する。なお、Ｓ１５０における処理は、上述したように、Ｓ１１０と同様な処理である。
（３）校正実行モードの処理（Ｓ１３０）
前述したように、校正誤差検証モードの処理（Ｓ１１０）が終了すると、各校正誤差と閾値との比較処理（Ｓ１２０）が行われ、その結果、いずれかの校正誤差が閾値以上であれば、校正実行プログラム６１６が呼び出される。これにより実現される校正実行処理部６２１が、以下に示すように、図４の処理（Ｓ１３１〜Ｓ１３５）を実行する。

校正実行処理部６２１は、レーザー距離センサ制御ボード２０５を介してレーザー距離センサ２０４を制御し、投光器２１１からの不可視光を物体に投影させることによって、校正用パターンとして、校正誤差検証用パターンと同様なパターンを、物体の表面に形成する（Ｓ１３１）。ここでは、校正誤差検証用パターンとして３点の点パターンを用いているため、校正誤差検証用パターンとして３点の点パターンを用いる。ただし、校正誤差検証用パターンが他のパターン（例えば、上述したような、一直線上にない、４点以上の点パターン、複数の直線状パターン、複数の円状または四角形状のパターン、格子状パターン等）を用いる場合には、校正誤差検証用パターンと同様な他のパターンを校正用パターンとして用いればよい。

さらに、校正実行処理部６２１は、カメラ制御ボード２０７を介してカメラ２０６を制御することによって、このとき投影された校正用パターンを撮影する（Ｓ１３２）。

校正実行処理部６２１は、前述のＳ１１５と同様な処理によって、撮影により得られた画像から校正用パターン画像を抽出し（Ｓ１３３）、現在における、レーザー距離センサ６０２及びカメラ６０４の相対位置及び相対姿勢を表す校正用パラメータを、抽出結果に基づき算出する（Ｓ１３４）。例えば、Tsaiの校正手法等の既存の校正手法を用いて、レーザー距離センサ６０２に対するカメラ６０４の相対位置及び相対姿勢を表す値を校正用パラメータとして算出する。

校正実行処理部６２１は、この校正用パラメータが、あらかじめ定めた相対位置及び相対姿勢を示す値となるように、雲台制御ボード２０９を介して雲台２０７等を制御する（Ｓ１３５）。これにより、レーザー距離センサ６０２とカメラ６０４との相対位置及び相対姿勢が調整される。

例えば、校正用パラメータの目標値が設定されている場合には、逐次得られる校正用パラメータと目標値との差分を算出し、この差分が小さくなるように（０に近づくように）、ＸＹステージ２０６の駆動による並進によってｘｙ面内の位置を、雲台２０７の回転によって姿勢を、カメラ雲台支柱２０８の伸縮によって高さをそれぞれ調整する。これにより、レーザー距離センサ６０２に対するカメラ６０４の相対位置及び相対姿勢を、適正な相対位置及び相対姿勢になる。

このようにして、レーザー距離センサ６０２及びカメラ６０４が適正な相対位置及び相対姿勢に配置されたら、上述したように、制御部６２０は、前述の計測実行モードの処理（Ｓ１４０）を実行させる。

以上の処理によれば、カメラのレンズ前の可視用フィルタ及び不可視用フィルタを切り替えるだけで、通常の測定時においては、カメラで可視光を可視画像として撮像可能とし、校正誤差検証時または校正時においては、カメラで、レーザー距離センサからの不可視光を可視画像として撮像可能とする。このため、特殊な機器を用いなくても、レーザー距離センサからの不可視光を校正誤差検出または校正のために利用することができる。また、校正誤差検証時または校正時において、操作者は、レーザー距離センサからの不可視光が形成するパターンの位置を可視画像の位置として視覚で認識することができるため、操作がしやすい。

また、プログラム起動時だけでなく、タイミングでも校正誤差が検出され、校正誤差の計測結果から校正の要否が判断され、その判断結果に応じて、レーザー距離センサからの不可視光を利用した校正が自動的に実行される。このように、校正誤差の計測結果から必要と判断されたとき、すなわち、適切なタイミングでレーザー距離センサカメラとを自動的に校正することができる。

なお、本実施の形態においては、不可視光を観測可能にするフィルタをカメラ側に取り付けたが、例えば、不可視光を可視光とするようなフィルタをレーザー距離センサの投光器側に取り付けてもよい。このようにしても、カメラで、投光器からの光を可視画像として計測することができるため、上述の場合と同様の結果を得ることができる。

また、本実施の形態においては、各モードの機能を実現するプログラム６１５〜６１７が画像入力装置の補助記憶６１１にあらかじめ格納されているが、必ずしも、このようにする必要はない。例えば、それらのプログラム６１５〜６１７が格納された記憶媒体から、それらのプログラム６１５〜６１７が主記憶６１０にロードされ、メインプロセッサ６０１によって実行されるようにしてもよい。

本発明は、距離センサとカメラを自動的に校正する画像入力装置により、画像の各画素における色とその画素に対応する物体までの距離が算出可能となるため、例えばロボットの自律作業に必要な物体の認識、環境地図の生成、建築物のＣＧモデルの生成等、距離情報及び色情報の幾何的な関係を表す情報が必要とされる分野において利用可能である。

本発明の一実施形態に係る画像入力装置で実行される処理の全体の流れを示す図である。本発明の一実施形態に係る、校正誤差検証モードの処理のフローチャートである。本発明の一実施形態に係る、計測実行モードの処理のフローチャートである。本発明の一実施形態に係る校正モードの処理のフローチャートである。本発明の一実施形態に係る画像入力装置の外観図である。本発明の一実施形態に係る画像入力装置のカメラで撮影した、校正誤差検証用パターンの画像と、基準パターン画像とを示した図である。本発明の一実施形態に係る画像入力装置のカメラで撮影した物体の画像例を示した図である。本発明の一実施形態に係る画像入力装置による計測結果のフォーマットを示した図である。本発明の一実施形態に係る画像入力装置の機能構成図である。本発明の一実施形態に係る画像入力装置の概略ハードウェア構成図である。

符号の説明

２０１：可視光用フィルタ、２０２：不可視光用フィルタ、２０４：フィルタ切り替え用アクチュエータ、２０７：雲台、６０１：メインプロセッサ、６０２：レーザー距離センサ、６０３：レーザー距離センサ制御ボード、６０４：カメラ、６０５：カメラ制御ボード、６０７：フィルタ制御ボード、６０８：カメラ移動機構、６０９：雲台等制御ボード、６１２：主記憶、６１１：補助記憶、６２０：制御部、６２１：校正実行処理部、６２３：計測実行処理部、６２４：校正誤差検証処理部。

Claims

不可視光により物体の距離情報を計測するレーザー距離センサと、前記物体の色情報を計測するカメラとを備える画像入力装置であって、
可視光を遮断して前記不可視光を通過させる第１フィルタおよび前記不可視光を遮断して前記可視光を通過させる第２フィルタを、前記カメラに装着可能に保持するフィルタ取付け手段と
前記第１フィルタ装着中のカメラによって撮影される、前記レーザー距離センサから前記物体上の平面に投影された前記不可視光のパターンの画像と基準画像との比較により、前記レーザー距離センサと前記カメラとの校正誤差を算出する校正誤差検証手段と、
前記校正誤差があらかじめ定めた値を超えた場合に、前記レーザー距離センサと前記カメラとの相対的な位置及び姿勢を校正する校正手段と、
前記カメラが取得した前記色情報および前記色画像の取得中に前記レーザー距離センサが取得した前記距離情報を画像データとして記録する計測手段と、を有し、
前記基準画像は、前回の校正時に前記第１フィルタ装着中のカメラによって撮影された前記レーザー距離センサから前記物体上の平面に投影された前記不可視光のパターンの画像であり、
前記フィルタ取付け手段は、前記校正手段による校正が終了した場合または前記校正誤差が前記あらかじめ定められた値以下である場合、前記カメラのフィルタを、前記第１フィルタから前記第２フィルタに切り替え、
前記計測手段は、前記カメラのフィルタが前記第１フィルタから前記第２フィルタに切り替えられた後、前記第２フィルタ装着中のカメラが取得した前記色情報および前記色画像の取得中に前記レーザー距離センサが取得した前記距離情報を画像データとして記録する、
ことを特徴とする画像入力装置。
請求項１に記載の画像入力装置であって、
前記校正誤差検証手段は、
前記第１フィルタ装着中のカメラによって撮影された、前記不可視光のパターンの画像と前記基準画像との間の距離に基づき前記校正誤差を算出することを特徴とする画像入力装置。
請求項１または２に記載の画像入力装置であって、
前記距離情報及び前記色情報の計測開始前、及び、前記距離情報及び前記色情報の計測が行われるごと、の少なくとも一方のタイミングで、前記フィルタ取付け手段が前記第１フィルタを前記カメラに装着し、前記校正誤差検証手段が前記レーザー距離センサと前記カメラとの校正誤差を算出する、
ことを特徴とする画像入力装置。
請求項１〜３のいずれか一項に記載の画像入力装置であって、
前記不可視光のパターンは、一直線上にない３点以上の点パターン、複数の直線状のパターン、複数の円状もしくは四角形状のパターン、格子状に配列した点パターンのいずれかである、
ことを特徴とする画像入力装置。
不可視光により物体の距離情報を計測するレーザー距離センサと、前記物体の色情報を計測するカメラと、前記レーザー距離センサ及び前記カメラの相対的な位置及び姿勢を変更する調整機構と、を備える画像入力装置において、前記レーザー距離センサと前記カメラとの相対的な位置及び姿勢を校正する校正方法であって、
前記画像入力装置は、
可視光を遮断して前記不可視光を通過させる第１フィルタおよび前記不可視光を遮断して前記可視光を通過させる第２フィルタを、前記カメラに装着可能に保持するフィルタ取付け手段と、
演算処理手段と、
を有し、
当該校正方法は、
前記フィルタ取付け手段が、前記第１フィルタを前記カメラに装着させる処理と、
前記演算処理手段が、前記第１フィルタ装着中のカメラによって撮影される、前記レーザー距離センサから前記物体上の平面に投影された前記不可視光のパターンの画像と基準画像とを比較し、前記レーザー距離センサと前記カメラとの校正誤差を算出する処理と、
前記校正誤差があらかじめ定めた値を超えた場合に、前記演算処理手段が、前記調整機構を制御して、前記レーザー距離センサと前記カメラとの相対的な位置及び姿勢を校正する処理と、
前記フィルタ取付け手段が、前記演算処理手段による校正が終了した場合または前記校正誤差が前記あらかじめ定められた値以下である場合、前記カメラのフィルタを、前記第１フィルタから前記第２フィルタに切り替える処理と、
前記演算処理手段が、前記カメラのフィルタが前記第１フィルタから前記第２フィルタに切り替えられた後、前記第２フィルタ装着中のカメラが取得した前記色情報および前記色画像の取得中に前記レーザー距離センサが取得した前記距離情報を画像データとして記録する処理と、
を実施し、
前記基準画像は、前回の校正時に前記第１フィルタ装着中のカメラによって撮影された前記レーザー距離センサから前記物体上の平面に投影された前記不可視光のパターンの画像である、
ことを特徴とする校正方法。