JP3925129B2 - ３次元画像撮像装置および方法 - Google Patents
３次元画像撮像装置および方法 Download PDFInfo
- Publication number
- JP3925129B2 JP3925129B2 JP2001282757A JP2001282757A JP3925129B2 JP 3925129 B2 JP3925129 B2 JP 3925129B2 JP 2001282757 A JP2001282757 A JP 2001282757A JP 2001282757 A JP2001282757 A JP 2001282757A JP 3925129 B2 JP3925129 B2 JP 3925129B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- distance
- displacement amount
- imaging units
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラによるステレオ画像法により輝度情報とともに距離情報を入手する画像撮影装置およびに方法係り、とくに、各カメラのレイアウトをフリーにすることにより、計測領域を広げ、使い勝手を向上させることを可能にしたものである。
【０００２】
【従来の技術】
対象物体の形状を測定する手法として、パッシブ手法（ステレオ画像法、ｓｈａｐｅ ｆｒｏｍ Ｘ）とアクティブ手法（光飛行時間測定法、ステレオ画像法）に大別される。パッシブ手法とアクティブ手法の違いは、対象物に対し何らかなエネルギーを照射するか否かの差である。両者の手法においてそれぞれ存在するステレオ画像法は、複数のカメラによって同一対象物を撮像し、撮像画像における対応点を抽出し、三角測量により距離画像を算出する方式である。
【０００３】
図６にパッシブ手法のステレオ画像法による従来の３次元画像撮像装置を示す。図６において、本体３０３に固定の撮像系３０１、３０２、画像処理系３０４、電気系３０５が実装されている。これら実装要素は筐体３０７により保持されている。本体３０３には、パーソナルコンピュータ３０９が接続され、種々の処理を行うようになっている。撮像系３０１、３０２により撮像を行い、これらの撮像画像における対応点を抽出し、三角測量により距離を算出する。
【０００４】
一般に、ステレオ画像法は、特殊なデバイスを使用せずに３次元撮像装置を実現できるというメリットがある一方、カメラのキャリブレーションを必要とし、その工程が煩雑である、計測できない領域であるオクルージョンが必ず存在する等のデメリットがある。キャリブレーションは、カメラの姿勢方向に依存するため、カメラ間の距離や姿勢などのレイアウトが変わるとカメラキャリブレーションを再度行う必要があり、これがさらに煩雑な工程を招いていた。従って基本的にステレオ画像法を計測手法に用いた３次元画像撮像装置は、装置内の各コンポーネントである撮像系、画像処理系、電気系の位置関係が固定であり、一つの筐体に作り込まれている。そのため装置本体は大型化し、可動性が悪く、計測領域が限定されるという問題があった。
【０００５】
オクルージョンは、凹凸がある対象物を二つのカメラで撮像するときにそれぞれのカメラの視線方向が違うために、一方のカメラでは撮像できる領域が他方のカメラでは撮像できない領域が存在しすることから発生する。そこで対象物の形状に合わせて二つのカメラを独立かつ自由に移動させることができれば、オクルージョン領域を低減できるカメラ配置の設定が可能になる。またカメラの位置やアングルを自由に変えることができれば、装置本体を移動させることなく、任意視点における対象物の距離画像を手軽に取得できることができる。しかしながら、上述した理由により、３次元画像撮像装置内の各コンポーネントは固定であるため、これらの要求は実現できないのが現状である。
【０００６】
【発明が解決しようとする課題】
そこで本発明では、可動性がよく、計測領域が広く、オクルージョン領域を緩和でき、キャリブレーションの煩雑さを解消できる３次元画像撮像装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の一側面によれば、上述の目的を達成するために、複数の撮像部と該撮像部から得られた複数の画像と該複数の撮像部におけるカメラのキャリブレーションパラメータを用いて距離画像を算出する３次元画像撮像装置において、複数の撮像部は互いに自由に移動可能であり、かつ複数の撮像部間距離の変位量を検出する距離変位量検出手段と各撮像部の姿勢方向の変位量を検出する姿勢変位量検出手段を有し、該複数の撮像部におけるカメラの各々において実施したキャリブレーションにより求めたキャリブレーションパラメータを記憶するパラメータ記憶手段を有し、該距離変位量検出手段および該姿勢変位量検出手段により求めた撮像部間距離の変位量および各撮像部の姿勢方向の変位量により、該パラメータ記憶手段に記憶されたキャリブレーションパラメータを補正することを特徴とする。
【０００８】
この構成においては、撮像部を移動可能にしているのでオクルージョン領域を削減することができる。しかも、変位量に応じてキャリブレーションパラメータを補正するようにしているので、再キャリブレーションを伴いことなく、初期設定時の精度を維持することができる。
【０００９】
なお、すべての撮像部を移動可能とするのでなく、一部の撮像部のみ移動可能にしてもよい。
【００１０】
また、本発明は装置またはシステムとして実現できるのみならず、方法の態様でも実現可能であり、少なくともその一部をコンピュータプログラムとして実装可能である。
【００１１】
本発明の上述の側面および本発明の他の側面は特許請求の範囲に記載され、以下、実施例を用いて詳細に説明される。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら本発明を具体的に説明する。図１に本発明の実施例の構成図を示す。図１において、本実施例における３次元画像撮影装置１００は、基本的には、二つの移動式撮像系（第１の移動式撮像系および第２の移動式撮像系）１０１、１０２、本体１０３、パーソナルコンピュータ１０９を含んで構成されている。本体１０３には、画像処理系１０４と電気系１０５とカメラのキャリブレーション時に求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段１０６とがコンポーネントとして存在し、筐体１０７により一つに収められている。パーソナルコンピュータ１０９は、本体１０３の制御（図４および図５の処理も含まれる。キャリブレーションパラメータの補正手段）を実行し、かつ、得られた３次元画像を表示するための装置である。移動式撮像系１０１、１０２は、ケーブルにより本体１０３から分離され、それぞれ移動保持手段１０８ａ、１０８ｂにより自由に移動が可能である。移動は、手作業で行ってもよいし、所定の駆動手段を用いて行ってもよい。
【００１３】
図２に示すように、第１の移動式撮像系１０１には、距離変位量検出手段２０１および姿勢変位量検出手段２０２が具備されている。第２の移動式撮像系１０２には、姿勢変位量検出手段２０３が具備されている。
【００１４】
距離変位量検出手段２０１は、二つの撮像系間の距離変位量を検出できる検出デバイスであり、本実施例では、ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード）を用いたＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法による検出デバイス、あるいはＬＥＤやＬＤとＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅ）を組み合わせた三角測量法による検出デバイスを用いることができる。
【００１５】
ＴＯＦによる検出デバイスでは、第１の移動式撮像系１０１に光源であるＬＥＤあるいはＬＤと光検出器を設け、ＬＥＤあるいはＬＤを第２の移動式撮像系１０２に向けてパルス照射させる。第２の移動式撮像系１０２からの反射光を第１の移動式撮像系１０１に具備された光検出器により検出し、パルス照射時刻と反射光検出時刻差を検出することにより、二つの撮像系の距離を求める。距離変位量は、撮像系１０１、１０２の移動前と移動後の距離値の差分により求める。
【００１６】
ＬＥＤやＰＤとＰＳＤを組み合わせた三角測量法による検出デバイスでは、第１の移動式撮像系１０１に光源であるＬＥＤあるいはＬＤとＰＳＤを設け、ＬＥＤあるいはＬＤを第２の移動式撮像系１０２に向けて照射する。第２の移動式撮像系１０２における光学像を第１の移動式撮像系１０１に具備されたＰＳＤにより検出する。ＰＳＤにより光学像が検出された位置が正確に分かり三角測量の原理により、二つの撮像系の距離を求める。距離変位量は、同様に、撮像系１０１、１０２の移動前と移動後の距離値の差分により求める。
【００１７】
姿勢変位量検出手段２０２、２０３は、撮像系１０１、１０２の姿勢方向変位量を検出できる検出デバイスであり、本実施例では、ジャイロによる加速度センサ、あるいはコイルによる地磁気センサを用いることができる。姿勢変位量検出手段２０２、２０３は、第１および第２の移動式撮像系１０１、１０２双方に具備されている。ジャイロによる加速度センサでは、移動に伴い発生する加速度を積分することにより姿勢方向の変位量を求める。地磁気センサでは、コイルに発生する磁界の向きと地磁気の向きの差分を検出することにより、姿勢方向を求める。姿勢方向の変位量は、撮像系１０１、１０２の移動前と移動後の距離値の差分により求める。これを第１および第２の移動式撮像系１０１、１０２双方において行うことにより、それぞれの撮像系１０１、１０２の姿勢変位量を求めた。
【００１８】
撮像系１０１、１０２におけるカメラのキャリブレーションは、Ｔｓａｉが提案する手法を用いることができる（Ｒ Ｙ．Ｔｓａｉ，「Ａ Ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ」，ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓａｎｄ Ａｕｔｏｍａｔｉｏｎ，ｖｏｌ．ＲＡ−３，Ｎｏ．４，Ａｕｇｕｓｔ１９８７参照）。これは、ピンホールカメラにレンズ収差の補正を加えたカメラモデルを想定し、物体の三次元位置（ワールド座標系）と撮像面座標（カメラ座標系）を関連付けるキャリブレーションパラメータ（カメラ主点位置、回転角、焦点距離、収差、画像中心等）を、校正チャートを用いて高精度に求める手法である。図３に用いた校正チャートを示す。全体サイズは、９９．２×１２１．４ｍｍであり、１０．３×１０．３ｍｍの正方形パッチをピッチ２２．２ｍｍで５×６個分並べたものである。校正チャートを装置のワーキングディスタンスに相当する位置に垂直方向から３０°傾けた状態で固定し、装置と校正チャートの距離を予め求めておいて、二つの撮像系１０１、１０２それぞれにおいて撮像する。これにより、既知である校正チャートにおける正方形パッチの頂点座標（ワールド座標系）と撮像系の撮像面座標（カメラ座標系）を関連図けるキャリブレーションパラメータであるカメラ主点位置、回転角、焦点距離、収差、画像中心、倍率を求める。これにより、撮像面上の座標と対象物の座標を結ぶ直線式をそれぞれの撮像系１０１、１０２において算出できる。対象物上の座標は、同一の点（対応点）としているため、二つの直線式の交点の座標を算出することにより、対象物までの距離を求める。求めたキャリブレーションパラメータは、各撮像系１０１、１０２がキャリブレーション時の配置と異なる場合、キャリブレーションパラメータであるカメラ主点位置、回転角に影響を及ぼす。従って、カメラ主点位置、回転角を補正する必要が生じる。本実施例では、カメラ主点位置を距離変位量検出手段２０１により求めた距離変位量により補正し、カメラ回転角を姿勢変位量検出手段２０２、２０３により求めた姿勢変位量により補正した。各撮像系１０１、１０２がキャリブレーション時の配置と異なる場合は、補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出した。
【００１９】
３次元画像を取得するまでの手順を図４および図５に示したフローチャートにより説明する。前段階として、撮像系のキャリブレーションを実施する。これを第１のフローチャート（図４）用いて説明する。第１、第２の移動式撮像系１０１、１０２の両者間の距離、各撮像系の姿勢方向が変化しないように配置決め、固定する（Ｓ１０）。この状態で各撮像系において、校正チャートを撮像する（Ｓ１１）。撮像画像によりキャリブレーションパラメータを算出し、キャリブレーションパラメータ記憶手段１０６に保存する。
【００２０】
次に第２のフローチャート（図５）用いて、対象物の距離値算出までのフローを説明する。対象物を第１、第２の移動式撮像系１０１、１０２にて撮像する（Ｓ２０）。ここで、第１、第２の移動式撮像系１０１、１０２がキャリブレーション時の配置のままである場合には、キャリブレーションパラメータ記憶手段１０６に保存されたキャリブレーションパラメータを用いて、対象物までの距離値を算出する（Ｓ２１、Ｓ２２）。第１、第２の移動式撮像系１０１、１０２がキャリブレーション時の配置でない場合には、距離変位量検出手段２０１より、撮像系１０１、１０２間の距離変位量を算出し、姿勢変位量検出手段２０２、２０３により、各撮像系１０１、１０２の姿勢変位量を算出する（Ｓ２１、Ｓ２３、Ｓ２４）。次にカメラ主点位置を距離変位量検出手段２０１により求めた距離変位量により補正し、カメラ回転角を姿勢変位量検出手段２０２、２０３により求めた姿勢変位量により補正する（Ｓ２５）。補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出する（Ｓ２２）。
【００２１】
輝度情報は、距離値算出時の過程において第１あるいは第２の移動式撮像系１０１、１０２により撮像した輝度画像を輝度情報として使用する。
【００２２】
【発明の効果】
以上説明したように、本発明の３次元画像撮影装置および方法によれば、各撮像系がキャリブレーション時の配置と異なる場合でも、補正手段により、初めから全てのキャリブレーション作業を行う煩わしさがなく、また各カメラのレイアウトをフリーにすることにより、計測領域を広げ、使い勝手を向上させることが可能となる三次元画像を提供できる。
【図面の簡単な説明】
【図１】 本発明の実施例における３次元画像撮像装置の構成図である。
【図２】 本発明の実施例における移動式撮像系の距離変位量検出手段および姿勢変位量検出手段の構成および検出手法を説明する図である。
【図３】 本発明の実施例における校正チャートである。
【図４】 本発明の実施例におけるキャリブレーションのフローチャートである。
【図５】 本発明の実施例における距離値算出までのフローチャートである。
【図６】 従来の３次元画像撮像装置の構成図である。
【符号の説明】
１００ ３次元画像撮影装置
１０１ 第１の移動式撮像系
１０２ 第２の移動式撮像系
１０３ 本体
１０４ 画像処理系
１０５ 電気系
１０６ キャリブレーションパラメータ記憶手段
１０７ 筐体
１０８ａ 第１の移動式撮像系１０１の移動保持手段
１０８ｂ 第２の移動式撮像系１０２の移動保持手段
１０９ パーソナルコンピュータ
２０１ 距離変位量検出手段
２０２ 姿勢変位量検出手段
２０３ 姿勢変位量検出手段
３０１ 撮像系
３０３ 本体
３０４ 画像処理系
３０５ 電気系
３０７ 筐体
３０９ パーソナルコンピュータ
【発明の属する技術分野】
本発明は、複数のカメラによるステレオ画像法により輝度情報とともに距離情報を入手する画像撮影装置およびに方法係り、とくに、各カメラのレイアウトをフリーにすることにより、計測領域を広げ、使い勝手を向上させることを可能にしたものである。
【０００２】
【従来の技術】
対象物体の形状を測定する手法として、パッシブ手法（ステレオ画像法、ｓｈａｐｅ ｆｒｏｍ Ｘ）とアクティブ手法（光飛行時間測定法、ステレオ画像法）に大別される。パッシブ手法とアクティブ手法の違いは、対象物に対し何らかなエネルギーを照射するか否かの差である。両者の手法においてそれぞれ存在するステレオ画像法は、複数のカメラによって同一対象物を撮像し、撮像画像における対応点を抽出し、三角測量により距離画像を算出する方式である。
【０００３】
図６にパッシブ手法のステレオ画像法による従来の３次元画像撮像装置を示す。図６において、本体３０３に固定の撮像系３０１、３０２、画像処理系３０４、電気系３０５が実装されている。これら実装要素は筐体３０７により保持されている。本体３０３には、パーソナルコンピュータ３０９が接続され、種々の処理を行うようになっている。撮像系３０１、３０２により撮像を行い、これらの撮像画像における対応点を抽出し、三角測量により距離を算出する。
【０００４】
一般に、ステレオ画像法は、特殊なデバイスを使用せずに３次元撮像装置を実現できるというメリットがある一方、カメラのキャリブレーションを必要とし、その工程が煩雑である、計測できない領域であるオクルージョンが必ず存在する等のデメリットがある。キャリブレーションは、カメラの姿勢方向に依存するため、カメラ間の距離や姿勢などのレイアウトが変わるとカメラキャリブレーションを再度行う必要があり、これがさらに煩雑な工程を招いていた。従って基本的にステレオ画像法を計測手法に用いた３次元画像撮像装置は、装置内の各コンポーネントである撮像系、画像処理系、電気系の位置関係が固定であり、一つの筐体に作り込まれている。そのため装置本体は大型化し、可動性が悪く、計測領域が限定されるという問題があった。
【０００５】
オクルージョンは、凹凸がある対象物を二つのカメラで撮像するときにそれぞれのカメラの視線方向が違うために、一方のカメラでは撮像できる領域が他方のカメラでは撮像できない領域が存在しすることから発生する。そこで対象物の形状に合わせて二つのカメラを独立かつ自由に移動させることができれば、オクルージョン領域を低減できるカメラ配置の設定が可能になる。またカメラの位置やアングルを自由に変えることができれば、装置本体を移動させることなく、任意視点における対象物の距離画像を手軽に取得できることができる。しかしながら、上述した理由により、３次元画像撮像装置内の各コンポーネントは固定であるため、これらの要求は実現できないのが現状である。
【０００６】
【発明が解決しようとする課題】
そこで本発明では、可動性がよく、計測領域が広く、オクルージョン領域を緩和でき、キャリブレーションの煩雑さを解消できる３次元画像撮像装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の一側面によれば、上述の目的を達成するために、複数の撮像部と該撮像部から得られた複数の画像と該複数の撮像部におけるカメラのキャリブレーションパラメータを用いて距離画像を算出する３次元画像撮像装置において、複数の撮像部は互いに自由に移動可能であり、かつ複数の撮像部間距離の変位量を検出する距離変位量検出手段と各撮像部の姿勢方向の変位量を検出する姿勢変位量検出手段を有し、該複数の撮像部におけるカメラの各々において実施したキャリブレーションにより求めたキャリブレーションパラメータを記憶するパラメータ記憶手段を有し、該距離変位量検出手段および該姿勢変位量検出手段により求めた撮像部間距離の変位量および各撮像部の姿勢方向の変位量により、該パラメータ記憶手段に記憶されたキャリブレーションパラメータを補正することを特徴とする。
【０００８】
この構成においては、撮像部を移動可能にしているのでオクルージョン領域を削減することができる。しかも、変位量に応じてキャリブレーションパラメータを補正するようにしているので、再キャリブレーションを伴いことなく、初期設定時の精度を維持することができる。
【０００９】
なお、すべての撮像部を移動可能とするのでなく、一部の撮像部のみ移動可能にしてもよい。
【００１０】
また、本発明は装置またはシステムとして実現できるのみならず、方法の態様でも実現可能であり、少なくともその一部をコンピュータプログラムとして実装可能である。
【００１１】
本発明の上述の側面および本発明の他の側面は特許請求の範囲に記載され、以下、実施例を用いて詳細に説明される。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら本発明を具体的に説明する。図１に本発明の実施例の構成図を示す。図１において、本実施例における３次元画像撮影装置１００は、基本的には、二つの移動式撮像系（第１の移動式撮像系および第２の移動式撮像系）１０１、１０２、本体１０３、パーソナルコンピュータ１０９を含んで構成されている。本体１０３には、画像処理系１０４と電気系１０５とカメラのキャリブレーション時に求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段１０６とがコンポーネントとして存在し、筐体１０７により一つに収められている。パーソナルコンピュータ１０９は、本体１０３の制御（図４および図５の処理も含まれる。キャリブレーションパラメータの補正手段）を実行し、かつ、得られた３次元画像を表示するための装置である。移動式撮像系１０１、１０２は、ケーブルにより本体１０３から分離され、それぞれ移動保持手段１０８ａ、１０８ｂにより自由に移動が可能である。移動は、手作業で行ってもよいし、所定の駆動手段を用いて行ってもよい。
【００１３】
図２に示すように、第１の移動式撮像系１０１には、距離変位量検出手段２０１および姿勢変位量検出手段２０２が具備されている。第２の移動式撮像系１０２には、姿勢変位量検出手段２０３が具備されている。
【００１４】
距離変位量検出手段２０１は、二つの撮像系間の距離変位量を検出できる検出デバイスであり、本実施例では、ＬＥＤ（発光ダイオード）やＬＤ（レーザダイオード）を用いたＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法による検出デバイス、あるいはＬＥＤやＬＤとＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｎｇ Ｄｅｖｉｃｅ）を組み合わせた三角測量法による検出デバイスを用いることができる。
【００１５】
ＴＯＦによる検出デバイスでは、第１の移動式撮像系１０１に光源であるＬＥＤあるいはＬＤと光検出器を設け、ＬＥＤあるいはＬＤを第２の移動式撮像系１０２に向けてパルス照射させる。第２の移動式撮像系１０２からの反射光を第１の移動式撮像系１０１に具備された光検出器により検出し、パルス照射時刻と反射光検出時刻差を検出することにより、二つの撮像系の距離を求める。距離変位量は、撮像系１０１、１０２の移動前と移動後の距離値の差分により求める。
【００１６】
ＬＥＤやＰＤとＰＳＤを組み合わせた三角測量法による検出デバイスでは、第１の移動式撮像系１０１に光源であるＬＥＤあるいはＬＤとＰＳＤを設け、ＬＥＤあるいはＬＤを第２の移動式撮像系１０２に向けて照射する。第２の移動式撮像系１０２における光学像を第１の移動式撮像系１０１に具備されたＰＳＤにより検出する。ＰＳＤにより光学像が検出された位置が正確に分かり三角測量の原理により、二つの撮像系の距離を求める。距離変位量は、同様に、撮像系１０１、１０２の移動前と移動後の距離値の差分により求める。
【００１７】
姿勢変位量検出手段２０２、２０３は、撮像系１０１、１０２の姿勢方向変位量を検出できる検出デバイスであり、本実施例では、ジャイロによる加速度センサ、あるいはコイルによる地磁気センサを用いることができる。姿勢変位量検出手段２０２、２０３は、第１および第２の移動式撮像系１０１、１０２双方に具備されている。ジャイロによる加速度センサでは、移動に伴い発生する加速度を積分することにより姿勢方向の変位量を求める。地磁気センサでは、コイルに発生する磁界の向きと地磁気の向きの差分を検出することにより、姿勢方向を求める。姿勢方向の変位量は、撮像系１０１、１０２の移動前と移動後の距離値の差分により求める。これを第１および第２の移動式撮像系１０１、１０２双方において行うことにより、それぞれの撮像系１０１、１０２の姿勢変位量を求めた。
【００１８】
撮像系１０１、１０２におけるカメラのキャリブレーションは、Ｔｓａｉが提案する手法を用いることができる（Ｒ Ｙ．Ｔｓａｉ，「Ａ Ｖｅｒｓａｔｉｌｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｈｉｇｈ−Ａｃｃｕｒａｃｙ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ」，ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓａｎｄ Ａｕｔｏｍａｔｉｏｎ，ｖｏｌ．ＲＡ−３，Ｎｏ．４，Ａｕｇｕｓｔ１９８７参照）。これは、ピンホールカメラにレンズ収差の補正を加えたカメラモデルを想定し、物体の三次元位置（ワールド座標系）と撮像面座標（カメラ座標系）を関連付けるキャリブレーションパラメータ（カメラ主点位置、回転角、焦点距離、収差、画像中心等）を、校正チャートを用いて高精度に求める手法である。図３に用いた校正チャートを示す。全体サイズは、９９．２×１２１．４ｍｍであり、１０．３×１０．３ｍｍの正方形パッチをピッチ２２．２ｍｍで５×６個分並べたものである。校正チャートを装置のワーキングディスタンスに相当する位置に垂直方向から３０°傾けた状態で固定し、装置と校正チャートの距離を予め求めておいて、二つの撮像系１０１、１０２それぞれにおいて撮像する。これにより、既知である校正チャートにおける正方形パッチの頂点座標（ワールド座標系）と撮像系の撮像面座標（カメラ座標系）を関連図けるキャリブレーションパラメータであるカメラ主点位置、回転角、焦点距離、収差、画像中心、倍率を求める。これにより、撮像面上の座標と対象物の座標を結ぶ直線式をそれぞれの撮像系１０１、１０２において算出できる。対象物上の座標は、同一の点（対応点）としているため、二つの直線式の交点の座標を算出することにより、対象物までの距離を求める。求めたキャリブレーションパラメータは、各撮像系１０１、１０２がキャリブレーション時の配置と異なる場合、キャリブレーションパラメータであるカメラ主点位置、回転角に影響を及ぼす。従って、カメラ主点位置、回転角を補正する必要が生じる。本実施例では、カメラ主点位置を距離変位量検出手段２０１により求めた距離変位量により補正し、カメラ回転角を姿勢変位量検出手段２０２、２０３により求めた姿勢変位量により補正した。各撮像系１０１、１０２がキャリブレーション時の配置と異なる場合は、補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出した。
【００１９】
３次元画像を取得するまでの手順を図４および図５に示したフローチャートにより説明する。前段階として、撮像系のキャリブレーションを実施する。これを第１のフローチャート（図４）用いて説明する。第１、第２の移動式撮像系１０１、１０２の両者間の距離、各撮像系の姿勢方向が変化しないように配置決め、固定する（Ｓ１０）。この状態で各撮像系において、校正チャートを撮像する（Ｓ１１）。撮像画像によりキャリブレーションパラメータを算出し、キャリブレーションパラメータ記憶手段１０６に保存する。
【００２０】
次に第２のフローチャート（図５）用いて、対象物の距離値算出までのフローを説明する。対象物を第１、第２の移動式撮像系１０１、１０２にて撮像する（Ｓ２０）。ここで、第１、第２の移動式撮像系１０１、１０２がキャリブレーション時の配置のままである場合には、キャリブレーションパラメータ記憶手段１０６に保存されたキャリブレーションパラメータを用いて、対象物までの距離値を算出する（Ｓ２１、Ｓ２２）。第１、第２の移動式撮像系１０１、１０２がキャリブレーション時の配置でない場合には、距離変位量検出手段２０１より、撮像系１０１、１０２間の距離変位量を算出し、姿勢変位量検出手段２０２、２０３により、各撮像系１０１、１０２の姿勢変位量を算出する（Ｓ２１、Ｓ２３、Ｓ２４）。次にカメラ主点位置を距離変位量検出手段２０１により求めた距離変位量により補正し、カメラ回転角を姿勢変位量検出手段２０２、２０３により求めた姿勢変位量により補正する（Ｓ２５）。補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出する（Ｓ２２）。
【００２１】
輝度情報は、距離値算出時の過程において第１あるいは第２の移動式撮像系１０１、１０２により撮像した輝度画像を輝度情報として使用する。
【００２２】
【発明の効果】
以上説明したように、本発明の３次元画像撮影装置および方法によれば、各撮像系がキャリブレーション時の配置と異なる場合でも、補正手段により、初めから全てのキャリブレーション作業を行う煩わしさがなく、また各カメラのレイアウトをフリーにすることにより、計測領域を広げ、使い勝手を向上させることが可能となる三次元画像を提供できる。
【図面の簡単な説明】
【図１】 本発明の実施例における３次元画像撮像装置の構成図である。
【図２】 本発明の実施例における移動式撮像系の距離変位量検出手段および姿勢変位量検出手段の構成および検出手法を説明する図である。
【図３】 本発明の実施例における校正チャートである。
【図４】 本発明の実施例におけるキャリブレーションのフローチャートである。
【図５】 本発明の実施例における距離値算出までのフローチャートである。
【図６】 従来の３次元画像撮像装置の構成図である。
【符号の説明】
１００ ３次元画像撮影装置
１０１ 第１の移動式撮像系
１０２ 第２の移動式撮像系
１０３ 本体
１０４ 画像処理系
１０５ 電気系
１０６ キャリブレーションパラメータ記憶手段
１０７ 筐体
１０８ａ 第１の移動式撮像系１０１の移動保持手段
１０８ｂ 第２の移動式撮像系１０２の移動保持手段
１０９ パーソナルコンピュータ
２０１ 距離変位量検出手段
２０２ 姿勢変位量検出手段
２０３ 姿勢変位量検出手段
３０１ 撮像系
３０３ 本体
３０４ 画像処理系
３０５ 電気系
３０７ 筐体
３０９ パーソナルコンピュータ
Claims (3)
- 複数の撮像部で対象物表面を撮像し、上記複数の撮像部から得られた上記対象物表面の複数の画像と上記複数の撮像部におけるカメラのキャリブレーションパラメータとを用いて上記対象物表面の距離画像を算出する３次元画像撮像装置において、
上記複数の撮像部は相対的な姿勢方向および距離を変更可能であり、かつ
上記複数の撮像部間距離の変位量を検出する距離変位量検出手段と、
上記撮像部の各々の姿勢方向の変位量を検出する姿勢変位量検出手段と、
上記複数の撮像部におけるカメラの各々において実施したキャリブレーションにより求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段とを有し、
上記距離変位量検出手段および上記姿勢変位量検出手段により求めた撮像部間距離の変位量および上記撮像部の各々の姿勢方向の変位量により、上記キャリブレーションパラメータ記憶手段に記憶されたキャリブレーションパラメータを補正することを特徴とする３次元画像撮像装置。 - 複数の撮像部で対象物表面を撮像し、上記複数の撮像部から得られた上記対象物表面の複数の画像と上記複数の撮像部におけるカメラのキャリブレーションパラメータとを用いて上記対象物表面の距離画像を算出する３次元画像撮像装置において、
上記複数の撮像部のうち少なくとも１つの位置および姿勢方向を変更可能に保持する手段と、
上記複数の撮像部間距離の変位量を検出する距離変位量検出手段と、
移動可能な撮像部の姿勢方向の変位量を検出する姿勢変位量検出手段と、
検出した上記撮像部間距離の変位量および上記姿勢方向の変位量に基づいて上記キャリブレーションパラメータを補正する補正手段とを有することを特徴とした３次元画像撮像装置。 - 複数の撮像部で対象物表面を撮像し、上記複数の撮像部から得られた上記対象物表面の複数の画像と上記複数の撮像部におけるカメラのキャリブレーションパラメータとを用いて上記対象物表面の距離画像を算出する３次元画像撮像方法において、上記複数の撮像部は相対的な姿勢方向および距離を変更可能に配置し、かつ上記複数の撮像部間距離の変位量を検出し、上記撮像部の各々の姿勢方向の変位量を検出し、検出した撮像部間距離の変位量および各撮像部の姿勢方法の変位量に基づいて上記キャリブレーションパラメータを補正する３次元画像撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001282757A JP3925129B2 (ja) | 2001-09-18 | 2001-09-18 | ３次元画像撮像装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001282757A JP3925129B2 (ja) | 2001-09-18 | 2001-09-18 | ３次元画像撮像装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003090711A JP2003090711A (ja) | 2003-03-28 |
| JP3925129B2 true JP3925129B2 (ja) | 2007-06-06 |
Family
ID=19106364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001282757A Expired - Fee Related JP3925129B2 (ja) | 2001-09-18 | 2001-09-18 | ３次元画像撮像装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3925129B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006139015A (ja) * | 2004-11-11 | 2006-06-01 | Fujinon Corp | 立体カメラ用レンズシステム |
| KR101028526B1 (ko) | 2009-01-08 | 2011-04-11 | 목포대학교산학협력단 | 구조물의 변위 및 회전변위 측정방법 |
| US20120293630A1 (en) * | 2011-05-19 | 2012-11-22 | Qualcomm Incorporated | Method and apparatus for multi-camera motion capture enhancement using proximity sensors |
| JP6205069B2 (ja) * | 2014-12-04 | 2017-09-27 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 画像化システム及び方法 |
| EP3509296B1 (en) * | 2016-09-01 | 2021-06-23 | Panasonic Intellectual Property Management Co., Ltd. | Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system |
| JP6335237B2 (ja) * | 2016-09-15 | 2018-05-30 | 株式会社Ｓｕｂａｒｕ | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
| CN114373020B (zh) * | 2022-01-07 | 2023-04-28 | 天津大学 | 一种基于联合外参估计的线结构光传感器光平面标定方法 |
| CN114459350B (zh) * | 2022-02-10 | 2022-11-01 | 合肥盎牛智能装备有限公司 | 一种pcb板智能检测系统 |
-
2001
- 2001-09-18 JP JP2001282757A patent/JP3925129B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003090711A (ja) | 2003-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11432879B2 (en) | Method and apparatus for wide area multi-body 6D pose tracking system | |
| US11436750B2 (en) | Optical tracking system and optical tracking method | |
| US9279661B2 (en) | Information processing apparatus and information processing method | |
| JP6222898B2 (ja) | ３次元計測装置及びロボット装置 | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| JP6880822B2 (ja) | 装置、移動体装置及び方法 | |
| KR101379787B1 (ko) | 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 | |
| JP6969121B2 (ja) | 撮像システム、画像処理装置および画像処理プログラム | |
| KR20170027767A (ko) | 수평 평면을 이용해 장애물을 검출하는 장치 및 이러한 장치 구현 검출 방법 | |
| JP3925129B2 (ja) | ３次元画像撮像装置および方法 | |
| WO2016040271A1 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
| JP3941631B2 (ja) | 三次元撮像装置および方法 | |
| EP3834997A1 (en) | Method and device for calibrating a machine vision device for position determination | |
| JP2002099902A (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| CN116105600B (zh) | 基于双目相机的瞄准目标的方法、处理装置及激光跟踪仪 | |
| JP2007033087A (ja) | キャリブレーション装置及び方法 | |
| JP2004193947A (ja) | 三次元撮像装置および方法 | |
| JP6565367B2 (ja) | 位置補正システム | |
| JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
| JP2012117833A (ja) | 画像認識装置、装着型ロボット、及び画像認識プログラム | |
| CN111044039A (zh) | 基于imu的单目目标区域自适应高精度测距装置和方法 | |
| CN110849285A (zh) | 基于单目相机的焊点深度测量方法、系统及介质 | |
| WO2022124232A1 (ja) | 画像処理システム及び画像処理方法 | |
| JP7055883B2 (ja) | ロボット | |
| JP2003329418A (ja) | ３次元計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |