JPWO2019176118A1 - 重畳表示システム - Google Patents
重畳表示システム Download PDFInfo
- Publication number
- JPWO2019176118A1 JPWO2019176118A1 JP2020506104A JP2020506104A JPWO2019176118A1 JP WO2019176118 A1 JPWO2019176118 A1 JP WO2019176118A1 JP 2020506104 A JP2020506104 A JP 2020506104A JP 2020506104 A JP2020506104 A JP 2020506104A JP WO2019176118 A1 JPWO2019176118 A1 JP WO2019176118A1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- laser scanner
- scan line
- posture
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Abstract
重畳表示システム（１００）は、ベース（１０）、姿勢変化機構（２０）、計測対象物（４０）及び計算機（５０）を備える。ベース（１０）は、カメラ（１１）とレーザスキャナ（１２）とが固定されている。姿勢変化機構（２０）は、カメラ（１１）とレーザスキャナ（１２）とが固定されたベース（１０）が固定されている。姿勢変化機構（２０）は、ベース（１０）のロール角度、ピッチ角度及びヨー角度を変化させる。計測対象物（４０）は、計測模様（４１）を有する。計算機（５０）は、カメラ（１１）の撮影した計測模様（４１）のカメラ映像（１１ａ）と、レーザスキャナ（１２）による計測模様（４１）のスキャンライン（１２ａ）とを取得し、カメラ映像（１１ａ）とスキャンライン（１２ａ）とを重畳して表示装置（６０）に表示する。
Description
この発明は、モービルマッピングシステム（以下、ＭＭＳと記す）に使用される、カメラ及びレーザスキャナのキャリブレーションのための、重畳表示システムに関する。
ＭＭＳでは、車両位置を推定する装置、カメラ及びレーザスキャナが計測車両に搭載される。ＭＭＳ計測車両の走行によって、道路及び道路周辺の形状が計測されることは広く行われている。ＭＭＳ計測車両では、経年変化及び小さな衝突などにより、カメラ、レーザスキャナの取り付け位置または取り付け姿勢が変化し得る。カメラ、レーザスキャナの取り付け位置または取り付け姿勢が変化すると、計測の精度が劣下する。
そこで、計測の精度劣化の防止のために、精度の確保のためのキャリブレーションが実施される（例えば特許文献１）。
そこで、計測の精度劣化の防止のために、精度の確保のためのキャリブレーションが実施される（例えば特許文献１）。
しかし、従来では、キャリブレーションの際には、カメラ及びレーザスキャナが搭載された車両を走行させていた（例えば、特許文献１）。そのため、キャリブレーションの負担が大きかった。
そこで、本発明は、カメラ及びレーザスキャナを車両に搭載せずにキャリブレーションを行うシステムの提供を目的とする。
この発明の重畳表示システムは、
カメラとレーザスキャナとが固定されたベースと、
前記カメラと前記レーザスキャナとが固定された前記ベースが固定され、前記ベースのロール角度、ピッチ角度及びヨー角度を変化させる姿勢変化機構と、
前記カメラに撮影される模様であり、前記レーザスキャナによるスキャンによって反射輝度の相違が現れる模様である計測模様を有する計測対象物と、
前記カメラによって撮影された前記計測模様のカメラ映像と、前記レーザスキャナによる前記計測模様のスキャン結果であるスキャンラインとを取得し、前記カメラ映像と前記スキャンラインとを重畳して表示装置に表示する計算機と
を備える。
カメラとレーザスキャナとが固定されたベースと、
前記カメラと前記レーザスキャナとが固定された前記ベースが固定され、前記ベースのロール角度、ピッチ角度及びヨー角度を変化させる姿勢変化機構と、
前記カメラに撮影される模様であり、前記レーザスキャナによるスキャンによって反射輝度の相違が現れる模様である計測模様を有する計測対象物と、
前記カメラによって撮影された前記計測模様のカメラ映像と、前記レーザスキャナによる前記計測模様のスキャン結果であるスキャンラインとを取得し、前記カメラ映像と前記スキャンラインとを重畳して表示装置に表示する計算機と
を備える。
本発明によれば、カメラ及びレーザスキャナを車両に搭載せずにキャリブレーションを行うシステムを提供できる。
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。
実施の形態１．
図１、図２、図３を参照して実施の形態１の重畳表示システム１００を説明する。
図１は、重畳表示システム１００の概要を示している。
図２は、試験装置３０及び計測対象物４０の斜視図である。計測対象物４０は計測模様４１を有する。図２では、後述のロール軸２１、ピッチ軸２２及びヨー軸２３は見えない状態である。図１及び図２では、試験装置３０は床８２に配置されている。
図３は、計算機５０のハードウェア構成を示す。
図１、図２、図３を参照して実施の形態１の重畳表示システム１００を説明する。
図１は、重畳表示システム１００の概要を示している。
図２は、試験装置３０及び計測対象物４０の斜視図である。計測対象物４０は計測模様４１を有する。図２では、後述のロール軸２１、ピッチ軸２２及びヨー軸２３は見えない状態である。図１及び図２では、試験装置３０は床８２に配置されている。
図３は、計算機５０のハードウェア構成を示す。
図１に示す重畳表示システム１００では、計算機５０の表示制御部５１ａは、入出力インタフェース装置５４を介して、カメラ１１によって撮影された計測模様４１のカメラ映像１１ａと、レーザスキャナ１２による計測模様４１のスキャン結果であるスキャンライン１２ａとを取得する。そして、計算機５０の表示制御部５１ａは、計測模様４１のカメラ映像１１ａとスキャンライン１２ａとを重畳して、表示装置６０に表示する。
計測対象物４０はキャスタ４３を有する。キャスタ４３は移動機構である。計測対象物４０はキャスタ４３によって床８２の上を移動できる。作業者は計測対象物４０を動かすことで、計測模様４１を試験装置３０に近づけ、または計測模様４１を試験装置３０から遠ざけることができる。また、作業者は、カメラ１１及びレーザスキャナ１２が固定されているベース１０の、ロール角度φ、ピッチ角度θ及びヨー角度ψを変化させて、レーザスキャナ１２のスキャンライン１２ａと、カメラ映像１１ａとが、正しく重畳するように、表示装置６０の画面をみて、キャリブレーションパラメータを決めることができる。
キャリブレーションパラメータとは、ベース１０に固定されている、カメラ１１とレーザスキャナ１２との相対的な姿勢の差を示す情報である。
具体的には、カメラ１１の取り付け姿勢とレーザスキャナ１２の取り付け姿勢との間の、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψである。以下では、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψを、単に、△φ、△θ、△ψと記載する場合がある。△φ、△θ、△ψの詳細は後述する。△φ、△θ、△ψは、いずれも後述する姿勢相違情報である。姿勢相違情報とはカメラ１１とレーザスキャナ１２との相対的な姿勢の相違を表す情報である。
計測対象物４０はキャスタ４３を有する。キャスタ４３は移動機構である。計測対象物４０はキャスタ４３によって床８２の上を移動できる。作業者は計測対象物４０を動かすことで、計測模様４１を試験装置３０に近づけ、または計測模様４１を試験装置３０から遠ざけることができる。また、作業者は、カメラ１１及びレーザスキャナ１２が固定されているベース１０の、ロール角度φ、ピッチ角度θ及びヨー角度ψを変化させて、レーザスキャナ１２のスキャンライン１２ａと、カメラ映像１１ａとが、正しく重畳するように、表示装置６０の画面をみて、キャリブレーションパラメータを決めることができる。
キャリブレーションパラメータとは、ベース１０に固定されている、カメラ１１とレーザスキャナ１２との相対的な姿勢の差を示す情報である。
具体的には、カメラ１１の取り付け姿勢とレーザスキャナ１２の取り付け姿勢との間の、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψである。以下では、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψを、単に、△φ、△θ、△ψと記載する場合がある。△φ、△θ、△ψの詳細は後述する。△φ、△θ、△ψは、いずれも後述する姿勢相違情報である。姿勢相違情報とはカメラ１１とレーザスキャナ１２との相対的な姿勢の相違を表す情報である。
重畳表示システム１００によれば、計測対象物４０と試験装置３０とを用いて、キャリブレーションパラメータである、△φ、△θ及び△ψが得られる。重畳表示システム１００では、カメラ１１及びレーザスキャナ１２が搭載された試験装置３０は、移動しない。
よって、特許文献１のように、カメラ１１及びレーザスキャナ１２が搭載された車両を走行させる必要がないので、簡易にキャリブレーションパラメータが決定できる。
よって、特許文献１のように、カメラ１１及びレーザスキャナ１２が搭載された車両を走行させる必要がないので、簡易にキャリブレーションパラメータが決定できる。
＊＊＊構成の説明＊＊＊
以下、重畳表示システム１００を詳しく説明する。図１に示すように、重畳表示システム１００は、試験装置３０、計算機５０、表示装置６０及び計測対象物４０を備えている。
以下、重畳表示システム１００を詳しく説明する。図１に示すように、重畳表示システム１００は、試験装置３０、計算機５０、表示装置６０及び計測対象物４０を備えている。
試験装置３０は、ベース１０と姿勢変化機構２０とを備えている。ベース１０には、カメラ１１とレーザスキャナ１２とが固定されている。ベース１０と、カメラ１１及びレーザスキャナ１２は、全体でひとつの剛体とみなせる。ベース１０とカメラ１１とが固定されたベース１０は床８２に対して移動しない。
姿勢変化機構２０は、カメラ１１とレーザスキャナ１２とが固定されたベース１０が固定されている。姿勢変化機構２０は、ベース１０のロール角度φ、ピッチ角度θ及びヨー角度ψを変化させることができる。
姿勢変化機構２０は、カメラ１１とレーザスキャナ１２とが固定されたベース１０が固定されている。姿勢変化機構２０は、ベース１０のロール角度φ、ピッチ角度θ及びヨー角度ψを変化させることができる。
カメラ１１は、計算機５０と接続されている。カメラ１１は、計測模様４１のカメラ映像１１ａを計算機５０へ出力する。レーザスキャナ１２は、計算機５０と接続されている。レーザスキャナ１２は、計測模様４１のスキャン結果であるスキャンライン１２ａを、計算機５０へ出力する。
全体でひとつの剛体とみなせる、ベース１０、カメラ１１及びレーザスキャナ１２は、ＭＭＳ計測車両に実際に搭載される状態で、試験装置３０に配置される。つまり、一点鎖線８１で囲まれたベース１０、カメラ１１及びレーザスキャナ１２は、ＭＭＳ計測車両に実際に搭載される状態である。
ベース１０は、姿勢変化機構２０に支持されている。姿勢変化機構２０は、ロール軸２１、ピッチ軸２２、ヨー軸２３及び支持部材２４を有する。
試験装置３０には、姿勢変化機構２０によって、ロール軸２１、ピッチ軸２２及びヨー軸２３が設定されている。ロール軸２１、ピッチ軸２２及びヨー軸２３は、それぞれ、Ｘ軸、Ｙ軸、Ｚ軸と表記する場合がある。ロール軸２１は、レーザスキャナ１２の出射するレーザ光の方向が、計測対象物４０の計測模様４１が配置されている配置面４２の法線方向である。図４から図６はレーザスキャナ１２が回転することを示す図である。
図４は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態を示す。
図５は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態から右回りに回転した状態を示す。
図６は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態から左回りに回転した状態を示す。図４に示すように、レーザスキャナ１２は、ＸＹ平面内でゼロ度から＋９０度、−９０度の範囲で回転し、レーザ光を出射する。つまり、レーザスキャナ１２は、図４の状態をゼロ度とすると、Ｚ軸まわりに右に９０度、左に９０度回転可能である。図４では、配置面４２の法線方向がレーザ光のゼロ度の出射方向であり、このレーザ光のゼロ度の出射方向がＸ軸方向として設定されている。＋９０度及び−９０度のレーザ光を含む平面の法線方向がＺ軸方向である。ＸＺ平面の法線方向がＹ軸方向である。以上のように、Ｘ軸、Ｙ軸、Ｘ軸である、ロール軸２１、ピッチ軸２２、ヨー軸２３が設定されている。
図４は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態を示す。
図５は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態から右回りに回転した状態を示す。
図６は、レーザスキャナ１２が、ＸＹ平面内でゼロ度の状態から左回りに回転した状態を示す。図４に示すように、レーザスキャナ１２は、ＸＹ平面内でゼロ度から＋９０度、−９０度の範囲で回転し、レーザ光を出射する。つまり、レーザスキャナ１２は、図４の状態をゼロ度とすると、Ｚ軸まわりに右に９０度、左に９０度回転可能である。図４では、配置面４２の法線方向がレーザ光のゼロ度の出射方向であり、このレーザ光のゼロ度の出射方向がＸ軸方向として設定されている。＋９０度及び−９０度のレーザ光を含む平面の法線方向がＺ軸方向である。ＸＺ平面の法線方向がＹ軸方向である。以上のように、Ｘ軸、Ｙ軸、Ｘ軸である、ロール軸２１、ピッチ軸２２、ヨー軸２３が設定されている。
カメラ１１及びレーザスキャナ１２が固定されているベース１０は、ロール軸２１（Ｘ軸）、ピッチ軸２２（Ｙ軸）及びヨー軸２３（Ｚ軸）の周りに回転できる。ロール軸２１回りの角度がロール角度φ、ピッチ軸２２回りの角度がピッチ角度θ、ヨー軸２３回りの角度がヨー角度ψである。
ロール軸２１、ピッチ軸２２及びヨー軸２３は、支持部材２４によって支持される。つまり、カメラ１１及びレーザスキャナ１２が固定されているベース１０は、ロール軸２１、ピッチ軸２２及びヨー軸２３を介して、支持部材２４に支持される。
計測対象物４０は、計測模様４１を有する。計測模様４１は、カメラ１１に撮影される模様であり、かつ、レーザスキャナ１２によるスキャンによって反射輝度の相違が現れる模様である。実施の形態１では、計測模様４１の例はチェック模様である。実施の形態１のチェック模様では、黒と白は同じ形状であるが、黒と白とは同じ形状でなくても構わない。また、レーザスキャナ１２によるスキャンによって反射輝度の相違が現れる模様であれば、計測模様４１はチェック模様には限られない。
計測対象物４０はキャスタ４３を有する。キャスタ４３によって、計測対象物４０は床８２の上を移動できる。つまり、試験装置３０に対して、計測対象物４０の位置は自由に変えることができる。
計測対象物４０はキャスタ４３を有する。キャスタ４３によって、計測対象物４０は床８２の上を移動できる。つまり、試験装置３０に対して、計測対象物４０の位置は自由に変えることができる。
計算機５０は、ハードウェアとして、プロセッサ５１、主記憶装置５２、補助記憶装置５３、入出力インタフェース装置５４を備える。プロセッサ５１は、信号線５５を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ５１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ５１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
主記憶装置５２は、読み書きが可能な揮発性の記憶装置である。主記憶装置５２の具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
補助記憶装置５３は、読み書きが可能な不揮発性の記憶装置である。補助記憶装置５３には、計算機５０の機能を実現するためのプログラム及び他のデータが記憶される。補助記憶装置５３は、具体例としては、磁気ディスク装置（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、補助記憶装置５３は、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記憶媒体を使用する記憶装置であってもよい。
入出力インタフェース装置５４は、プロセッサ５が、カメラ１１、レーザスキャナ１２、表示装置６０及び入力装置７０と通信するためのインタフェース装置である。
計算機５０は、機能要素として、表示制御部５１ａ及び補正部５１ｂを備える。表示制御部５１ａ及び補正部５１ｂの機能は、重畳表示プログラムにより実現される。補助記憶装置５３には、表示制御部５１ａ及び補正部５１ｂの機能を実現する重畳表示プログラムが記憶されている。重畳表示プログラムは、プロセッサ５１により読み込まれ実行される。これにより、表示制御部５１ａ及び補正部５１ｂの機能が実現される。
重畳表示プログラムは、表示制御部５１ａ及び補正部５１ｂの各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を計算機５０に実行させる。また、重畳表示方法は、計算機５０が重畳表示プログラムを実行することにより行われる方法である。重畳表示プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
図３では、プロセッサ５１は、１つだけ示されている。しかし、計算機５０は、プロセッサ５１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、表示制御部５１ａ及び補正部５１ｂの機能の実行を分担する。それぞれのプロセッサは、プロセッサ５１と同じように、演算処理を行うＩＣである。プロセッサ５１及び複数のプロセッサは、総称としてプロセッシングサーキットリと呼ばれる。
＊＊＊動作の説明＊＊＊
図７から図１０を参照して、重畳表示システム１００の動作を説明する。
図７から図１０を参照して、重畳表示システム１００の動作を説明する。
（１）図７は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間に、ヨー角度差△ψがある例を示す。
（２）図７は、表示制御部５１ａによって、カメラ映像１１ａとスキャンライン１２ａとが、重畳して表示装置６０に表示されている場合を示している。カメラ映像１１ａとスキャンライン１２ａとが、重畳して表示装置６０に表示される動作を説明する。
（３）作業者は、試験装置３０のカメラ１１によって計測模様４１を撮影し、また、レーザスキャナ１２によって計測模様４１をスキャンする。
（４）カメラ映像１１ａ及びスキャンライン１２ａは、入出力インタフェース装置５４を介して、表示制御部５１ａに送信される。
（５）表示制御部５１ａは、入出力インタフェース装置５４を介して、表示装置６０にカメラ映像１１ａ及びスキャンライン１２ａを重畳して表示する。スキャンライン１２ａは線で表示しているが、実際には点の集合である点群である。この点群は、レーザ点群と呼ばれる。レーザ点群は反射輝度も表示している。
（６）カメラ１１とレーザスキャナ１２とのヨー方向の姿勢が一致している場合は、カメラ映像１１ａに対して、スキャンライン１２ａが正しく重畳される。つまり、「正しく重畳される」とは、白と黒の反射輝度がカメラ映像１１ａと重なる。図７において、スキャンライン１２ａ−１は、カメラ映像１１ａに正しく重畳されているスキャンラインを示す。
（７）スキャンライン１２ａ−２の白黒パターンは、スキャンライン１２ａ−１の白黒パターンに対して、右方向にずれている状態を示す。スキャンライン１２ａ−３の白黒パターンは、スキャンライン１２ａ−１の白黒パターンに対して、左方向にずれている。スキャンライン１２ａ−２及びスキャンライン１２ａ−３は、カメラ映像１１ａに正しく重畳されていない。
（８）左方向または右方向のずれ量を修正することにより、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ヨー角度差△ψを修正できる。なお、図７には、右方向のずれと左方向のずれとが一緒に記載されているが、実際には、右方向のずれと左方向のずれとのどちらかが現れる。
（９）左方向のずれを例に説明する。スキャンライン１２ａ−３の白黒パターンは、正常なスキャンライン１２ａ−１の白黒パターンに対して、左方向に長さＬ１ずれている。
一方、図１に示すように、試験装置３０の基準点から計測模様４１までの距離は、距離Ｌ０である。よって、カメラ１１とレーザスキャナ１２とのヨー角度差△ψは、以下の式１で計算できる。
△ψ＝ｔａｎ−１（Ｌ１／Ｌ０） （式１）
作業者は、表示装置６０に表示されているカメラ映像１１ａとスキャンライン１２ａ−３とから長さＬ１を読み取ることで、ヨー角度差△ψを算出する。
以上により、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ヨー角度差△ψが得られる。
（１０）ヨー角度差△ψが算出された場合、作業者は、キーボード７１またはマウス７２のような入力装置７０を介して、姿勢相違情報であるヨー角度差△ψを計算機５０に入力する。
つまり、計算機５０の補正部５１ｂには、入力装置７０を介して、姿勢相違情報であるヨー角度差△ψが入力される。計算機５０の補正部５１ｂは、姿勢相違情報であるヨー角度差△ψを用いて、表示装置６０に表示されるスキャンライン１２ａの位置を補正する。具体的には、補正部５１ｂを実現する重畳表示プログラムには、ベース１０に対する、カメラ１１及びレーザスキャナ１２の姿勢情報が設定されている。補正部５１ｂはヨー角度差△ψを取得した場合、この姿勢情報を補正する。姿勢情報を補正することは、実際に工具を用いて、カメラ１１の姿勢とレーザスキャナ１２の姿勢との間の、ヨー角度差△ψを修正する効果を有する。表示制御部５１ａは、補正部５１ｂによって位置が補正されたスキャンライン１２ａを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ヨー角度差△ψの修正状態を確認できる。
（１１）作業者は式１で得られた値をヨー角度差△ψとして用いた。しかし、式１で得られた値をヨー角度差△ψとして使用する代わりに、作業者は、ヨー角度差△ψに相当する相当値を計算機５０に入力してもよい。具体的には、作業者は、正常なスキャンラインが得られるまで、異なる値の相当値を計算機５０に入力し、ヨー角度ψがキャリブレーションされたスキャンラインを得てもよい。相当値は姿勢相違情報である。
また、式１の結果を用いる場合には作業者はベース１０を回転させるが、相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
（２）図７は、表示制御部５１ａによって、カメラ映像１１ａとスキャンライン１２ａとが、重畳して表示装置６０に表示されている場合を示している。カメラ映像１１ａとスキャンライン１２ａとが、重畳して表示装置６０に表示される動作を説明する。
（３）作業者は、試験装置３０のカメラ１１によって計測模様４１を撮影し、また、レーザスキャナ１２によって計測模様４１をスキャンする。
（４）カメラ映像１１ａ及びスキャンライン１２ａは、入出力インタフェース装置５４を介して、表示制御部５１ａに送信される。
（５）表示制御部５１ａは、入出力インタフェース装置５４を介して、表示装置６０にカメラ映像１１ａ及びスキャンライン１２ａを重畳して表示する。スキャンライン１２ａは線で表示しているが、実際には点の集合である点群である。この点群は、レーザ点群と呼ばれる。レーザ点群は反射輝度も表示している。
（６）カメラ１１とレーザスキャナ１２とのヨー方向の姿勢が一致している場合は、カメラ映像１１ａに対して、スキャンライン１２ａが正しく重畳される。つまり、「正しく重畳される」とは、白と黒の反射輝度がカメラ映像１１ａと重なる。図７において、スキャンライン１２ａ−１は、カメラ映像１１ａに正しく重畳されているスキャンラインを示す。
（７）スキャンライン１２ａ−２の白黒パターンは、スキャンライン１２ａ−１の白黒パターンに対して、右方向にずれている状態を示す。スキャンライン１２ａ−３の白黒パターンは、スキャンライン１２ａ−１の白黒パターンに対して、左方向にずれている。スキャンライン１２ａ−２及びスキャンライン１２ａ−３は、カメラ映像１１ａに正しく重畳されていない。
（８）左方向または右方向のずれ量を修正することにより、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ヨー角度差△ψを修正できる。なお、図７には、右方向のずれと左方向のずれとが一緒に記載されているが、実際には、右方向のずれと左方向のずれとのどちらかが現れる。
（９）左方向のずれを例に説明する。スキャンライン１２ａ−３の白黒パターンは、正常なスキャンライン１２ａ−１の白黒パターンに対して、左方向に長さＬ１ずれている。
一方、図１に示すように、試験装置３０の基準点から計測模様４１までの距離は、距離Ｌ０である。よって、カメラ１１とレーザスキャナ１２とのヨー角度差△ψは、以下の式１で計算できる。
△ψ＝ｔａｎ−１（Ｌ１／Ｌ０） （式１）
作業者は、表示装置６０に表示されているカメラ映像１１ａとスキャンライン１２ａ−３とから長さＬ１を読み取ることで、ヨー角度差△ψを算出する。
以上により、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ヨー角度差△ψが得られる。
（１０）ヨー角度差△ψが算出された場合、作業者は、キーボード７１またはマウス７２のような入力装置７０を介して、姿勢相違情報であるヨー角度差△ψを計算機５０に入力する。
つまり、計算機５０の補正部５１ｂには、入力装置７０を介して、姿勢相違情報であるヨー角度差△ψが入力される。計算機５０の補正部５１ｂは、姿勢相違情報であるヨー角度差△ψを用いて、表示装置６０に表示されるスキャンライン１２ａの位置を補正する。具体的には、補正部５１ｂを実現する重畳表示プログラムには、ベース１０に対する、カメラ１１及びレーザスキャナ１２の姿勢情報が設定されている。補正部５１ｂはヨー角度差△ψを取得した場合、この姿勢情報を補正する。姿勢情報を補正することは、実際に工具を用いて、カメラ１１の姿勢とレーザスキャナ１２の姿勢との間の、ヨー角度差△ψを修正する効果を有する。表示制御部５１ａは、補正部５１ｂによって位置が補正されたスキャンライン１２ａを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ヨー角度差△ψの修正状態を確認できる。
（１１）作業者は式１で得られた値をヨー角度差△ψとして用いた。しかし、式１で得られた値をヨー角度差△ψとして使用する代わりに、作業者は、ヨー角度差△ψに相当する相当値を計算機５０に入力してもよい。具体的には、作業者は、正常なスキャンラインが得られるまで、異なる値の相当値を計算機５０に入力し、ヨー角度ψがキャリブレーションされたスキャンラインを得てもよい。相当値は姿勢相違情報である。
また、式１の結果を用いる場合には作業者はベース１０を回転させるが、相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
（１）図８は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間に、ピッチ角度差△θがある例を示す。
（２）図８は、表示制御部５１ａによって、計測模様４１と、スキャンライン１２ａ−４またはスキャンライン１２ａ−５とが、重畳して表示装置６０に表示されている場合を示している。スキャンライン１２ａ−４とスキャンライン１２ａ−５との区別が不要の場合、スキャンラインはスキャンライン１２ａと表記する。計測模様４１とスキャンライン１２ａとが、重畳して表示装置６０に表示される動作を説明する。
（３）作業者は、試験装置３０のカメラ１１によって計測模様４１を撮影し、レーザスキャナ１２によって計測模様４１をスキャンする。
（４）カメラ映像１１ａ及びスキャンライン１２ａは、入出力インタフェース装置５４を介して、表示制御部５１ａに送信される。
（５）表示制御部５１ａは、入出力インタフェース装置５４を介して、表示装置６０にカメラ映像１１ａ及びスキャンライン１２ａを重畳して表示する。これらは図７と同じである。
（６）カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢が一致している場合は、計測模様４１に対して、スキャンライン１２ａが正しく重畳される。つまり、「正しく重畳される」とは、以下のようである。上記のように、図８は、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合を示している。作業者がピッチ方向、つまりピッチ軸２２（Ｙ軸）周りにベース１０を回転させた場合、表示装置６０の画面では、ベース１０の回転に伴ってスキャンライン１２ａが移動する。図１において、作業者がピッチ軸２２（Ｙ軸）の左周りにベース１０を回転させたとする。その場合、図８において、スキャンライン１２ａは、スキャンライン１２ａ−４からスキャンライン１２ａ−５へと移動する。カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合は、スキャンライン１２ａ−４からスキャンライン１２ａ−５へ移動するときに、カメラ映像１１ａの白黒に対して、スキャンラインの白黒が反転するタイミングがずれる。つまり、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれていない場合は、スキャンライン１２ａ−４から長さＬ２の位置でスキャンラインの白黒が反転する。一方、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合は、キャンライン１２ａ−４から長さＬ３の位置のキャンライン１２ａ−５で、スキャンラインの白黒が反転する。
（７）この例では、下方向のずれ量を修正することにより、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ピッチ角度差△θを修正できる。ここで下方向のずれ量は、Ｌ３−Ｌ２である。
よって、図７の場合と同様に、カメラ１１とレーザスキャナ１２とのピッチ角度差△θは、以下の式２で計算できる。
△θ＝ｔａｎ−１（（Ｌ３−Ｌ２）／Ｌ０） （式２）
作業者は、表示装置６０に表示されているカメラ映像１１ａとスキャンライン１２ａ−４及びスキャンライン１２ａ−５とから、長さ「Ｌ３−Ｌ２」を読み取ることで、ピッチ角度差△θを算出する。
以上により、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ピッチ角度差△θが得られる。
（８）ピッチ角度差△θが算出された場合、作業者は、キーボード７１またはマウス７２のような入力装置７０を介して、姿勢相違情報であるピッチ角度差△θを計算機５０に入力する。つまり、計算機５０の補正部５１ｂは、入力装置７０を介して、姿勢相違情報であるピッチ角度差△θが入力される。
計算機５０の補正部５１ｂは、姿勢相違情報であるピッチ角度差△θを用いて、ヨー角度差△ψの場合と同様に表示装置６０に表示されるスキャンライン１２ａの位置を補正する。補正部５１ｂはピッチ角度差△θを取得した場合、図７の説明で述べた姿勢情報を補正する。姿勢情報を補正することは、実際に工具を用いて、カメラ１１の姿勢とレーザスキャナ１２の姿勢との間の、ピッチ角度差△θを修正する効果を有する。表示制御部５１ａは、補正部５１ｂによって位置が補正されたスキャンライン１２ａを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ピッチ角度差△θの修正状態を確認できる。
（９）作業者は式２で得られた値をピッチ角度差△θとして用いた。しかし、式２で得られた値をピッチ角度差△θとして使用する代わりに、作業者は、ピッチ角度差△θに相当する相当値を計算機５０に入力してもよい。相当値は姿勢相違情報である。
具体的には、作業者は、正常なスキャンラインが得られるまで、異なる値の相当値を計算機５０に入力し、ピッチ角度θがキャリブレーションされたスキャンラインを得てもよい。相当値は姿勢相違情報である。
また、式２の結果を用いる場合には作業者はベース１０を回転させるが、相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
（２）図８は、表示制御部５１ａによって、計測模様４１と、スキャンライン１２ａ−４またはスキャンライン１２ａ−５とが、重畳して表示装置６０に表示されている場合を示している。スキャンライン１２ａ−４とスキャンライン１２ａ−５との区別が不要の場合、スキャンラインはスキャンライン１２ａと表記する。計測模様４１とスキャンライン１２ａとが、重畳して表示装置６０に表示される動作を説明する。
（３）作業者は、試験装置３０のカメラ１１によって計測模様４１を撮影し、レーザスキャナ１２によって計測模様４１をスキャンする。
（４）カメラ映像１１ａ及びスキャンライン１２ａは、入出力インタフェース装置５４を介して、表示制御部５１ａに送信される。
（５）表示制御部５１ａは、入出力インタフェース装置５４を介して、表示装置６０にカメラ映像１１ａ及びスキャンライン１２ａを重畳して表示する。これらは図７と同じである。
（６）カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢が一致している場合は、計測模様４１に対して、スキャンライン１２ａが正しく重畳される。つまり、「正しく重畳される」とは、以下のようである。上記のように、図８は、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合を示している。作業者がピッチ方向、つまりピッチ軸２２（Ｙ軸）周りにベース１０を回転させた場合、表示装置６０の画面では、ベース１０の回転に伴ってスキャンライン１２ａが移動する。図１において、作業者がピッチ軸２２（Ｙ軸）の左周りにベース１０を回転させたとする。その場合、図８において、スキャンライン１２ａは、スキャンライン１２ａ−４からスキャンライン１２ａ−５へと移動する。カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合は、スキャンライン１２ａ−４からスキャンライン１２ａ−５へ移動するときに、カメラ映像１１ａの白黒に対して、スキャンラインの白黒が反転するタイミングがずれる。つまり、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれていない場合は、スキャンライン１２ａ−４から長さＬ２の位置でスキャンラインの白黒が反転する。一方、カメラ１１とレーザスキャナ１２とのピッチ方向の姿勢がずれている場合は、キャンライン１２ａ−４から長さＬ３の位置のキャンライン１２ａ−５で、スキャンラインの白黒が反転する。
（７）この例では、下方向のずれ量を修正することにより、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ピッチ角度差△θを修正できる。ここで下方向のずれ量は、Ｌ３−Ｌ２である。
よって、図７の場合と同様に、カメラ１１とレーザスキャナ１２とのピッチ角度差△θは、以下の式２で計算できる。
△θ＝ｔａｎ−１（（Ｌ３−Ｌ２）／Ｌ０） （式２）
作業者は、表示装置６０に表示されているカメラ映像１１ａとスキャンライン１２ａ−４及びスキャンライン１２ａ−５とから、長さ「Ｌ３−Ｌ２」を読み取ることで、ピッチ角度差△θを算出する。
以上により、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間の、ピッチ角度差△θが得られる。
（８）ピッチ角度差△θが算出された場合、作業者は、キーボード７１またはマウス７２のような入力装置７０を介して、姿勢相違情報であるピッチ角度差△θを計算機５０に入力する。つまり、計算機５０の補正部５１ｂは、入力装置７０を介して、姿勢相違情報であるピッチ角度差△θが入力される。
計算機５０の補正部５１ｂは、姿勢相違情報であるピッチ角度差△θを用いて、ヨー角度差△ψの場合と同様に表示装置６０に表示されるスキャンライン１２ａの位置を補正する。補正部５１ｂはピッチ角度差△θを取得した場合、図７の説明で述べた姿勢情報を補正する。姿勢情報を補正することは、実際に工具を用いて、カメラ１１の姿勢とレーザスキャナ１２の姿勢との間の、ピッチ角度差△θを修正する効果を有する。表示制御部５１ａは、補正部５１ｂによって位置が補正されたスキャンライン１２ａを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ピッチ角度差△θの修正状態を確認できる。
（９）作業者は式２で得られた値をピッチ角度差△θとして用いた。しかし、式２で得られた値をピッチ角度差△θとして使用する代わりに、作業者は、ピッチ角度差△θに相当する相当値を計算機５０に入力してもよい。相当値は姿勢相違情報である。
具体的には、作業者は、正常なスキャンラインが得られるまで、異なる値の相当値を計算機５０に入力し、ピッチ角度θがキャリブレーションされたスキャンラインを得てもよい。相当値は姿勢相違情報である。
また、式２の結果を用いる場合には作業者はベース１０を回転させるが、相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
図９は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間のロール角度差△φがない場合を示している。図９は、ロール角度φが正しくキャリブレーションされている状態を示す。スキャンライン１２ａ−６は、ロール角度φが正しくキャリブレーションされている状態におけるスキャンラインである。ロール角度φが正しくキャリブレーションされている場合では、スキャンライン１２ａ−６の白黒は、計測模様４１の白黒と一致する。
図１０は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間に、ロール角度差△φのある場合を示している。図１０は、ロール角度φが正しくキャリブレーションされていない状態を示す。スキャンライン１２ａ−７は、ロール角度φが正しくキャリブレーションされていない状態におけるスキャンラインである。ロール角度φが正しくキャリブレーションされていない場合では、スキャンライン１２ａ−７の白黒は、計測模様４１の白黒と一致しない。
図１０は、カメラ１１の姿勢と、レーザスキャナ１２の姿勢との間に、ロール角度差△φのある場合を示している。図１０は、ロール角度φが正しくキャリブレーションされていない状態を示す。スキャンライン１２ａ−７は、ロール角度φが正しくキャリブレーションされていない状態におけるスキャンラインである。ロール角度φが正しくキャリブレーションされていない場合では、スキャンライン１２ａ−７の白黒は、計測模様４１の白黒と一致しない。
スキャンライン１２ａ−７がスキャンライン１２ａ−６に修正された場合を想定して、ロール角度φのキャリブレーションを説明する。
（１）図１０の状態の場合、作業者は、入力装置７０を介して、ロール角度差△φに相当する相当値を計算機５０に入力する。
（２）計算機５０の補正部５１ｂには、入力装置７０を介して、姿勢相違情報であるロール角度差△φの相当値が入力される。
（３）補正部５１ｂは、入力された相当値を姿勢相違情報として用いて、表示装置６０に表示されるスキャンライン１２ａ−７の位置を補正する。補正部５１ｂは、ヨー角度差△ψを取得した場合と同じように、姿勢情報であるロール角度φを補正する。
（４）表示制御部５１ａは、補正部５１ｂによってロール角度φが補正されたスキャンラインを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ロール角度φの修正状態を確認できる。
（５）作業者は、スキャンライン１２ａ−６が得られるまで、値を変えた相当値を計算機５０に入力する。
（６）なおロール角度差△φに相当する相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
（１）図１０の状態の場合、作業者は、入力装置７０を介して、ロール角度差△φに相当する相当値を計算機５０に入力する。
（２）計算機５０の補正部５１ｂには、入力装置７０を介して、姿勢相違情報であるロール角度差△φの相当値が入力される。
（３）補正部５１ｂは、入力された相当値を姿勢相違情報として用いて、表示装置６０に表示されるスキャンライン１２ａ−７の位置を補正する。補正部５１ｂは、ヨー角度差△ψを取得した場合と同じように、姿勢情報であるロール角度φを補正する。
（４）表示制御部５１ａは、補正部５１ｂによってロール角度φが補正されたスキャンラインを、計測模様４１のカメラ映像１１ａに重畳して表示する。この重畳表示によって、作業者は、ロール角度φの修正状態を確認できる。
（５）作業者は、スキャンライン１２ａ−６が得られるまで、値を変えた相当値を計算機５０に入力する。
（６）なおロール角度差△φに相当する相当値を使用する場合、作業者は、必ずしも、ベース１０を回転させなくてもよい。ベース１０を回転しない場合、姿勢変化機構２０は無くてもよい。よって図１において、カメラ１１とレーザスキャナ１２とが固定されたベース１０は、床３２に配置されても良いし、支持部材２４に配置されてもよい。
実際の重畳映像では、ロール角度差△φ、ピッチ角度差△θ及びヨー角度差△ψが混在して現れる。その場合、作業者は、ベース１０を、ロール軸２１（Ｘ軸）、ピッチ軸２２（Ｙ軸）またはヨー軸２３（Ｚ軸）の回りに回転させる。そして、作業者は、図７のようにヨー角度差△ψが現れる状態、図８のようにピッチ角度差△θが現れる状態を得て、ヨー角度差△ψ、ピッチ角度差△θ等を個々に確認する。
＊＊＊実施の形態１の効果の説明＊＊＊
以上に説明した実施の形態１の重畳表示システム１００によれば、カメラ１１及びレーザスキャナ１２が搭載された計測車両が、キャリブレーションのための走行をする必要がない。よって、キャリブレーションの負担が軽減できる。
また、重畳表示システム１００によれば、カメラ１１及びレーザスキャナ１２が搭載されたベースの製造精度が簡易な方法で確認できる。
つまりベース１０に固定されたカメラ１１及びレーザスキャナ１２の取り付け姿勢の精度が、簡易な方法で確認できる。
以上に説明した実施の形態１の重畳表示システム１００によれば、カメラ１１及びレーザスキャナ１２が搭載された計測車両が、キャリブレーションのための走行をする必要がない。よって、キャリブレーションの負担が軽減できる。
また、重畳表示システム１００によれば、カメラ１１及びレーザスキャナ１２が搭載されたベースの製造精度が簡易な方法で確認できる。
つまりベース１０に固定されたカメラ１１及びレーザスキャナ１２の取り付け姿勢の精度が、簡易な方法で確認できる。
以上に説明した重畳表示システム１００では、△φ、△θ、△ψを求める方法を説明したが、一般的なキャリブレーションパラメータの推定方法と同様に、カメラ１１とレーザスキャナ１２との姿勢及び位置を含めたキャリブレーションパラメータの推定に使用できる。その場合、カメラ１１とレーザスキャナ１２との姿勢及び位置を含めたキャリブレーションパラメータの推定原理は、ＭＭＳ計測車両を走行させるキャリブレーションと同じである。
重畳表示システム１００におけるキャリブレーションパラメータの推定の場合も、計測模様４１の近くでカメラ１１及びレーザスキャナ１２の位置が推定され、計測模様４１の遠くで姿勢が推定される。
重畳表示システム１００におけるキャリブレーションパラメータの推定の場合も、計測模様４１の近くでカメラ１１及びレーザスキャナ１２の位置が推定され、計測模様４１の遠くで姿勢が推定される。
以上の説明では、試験装置３０は静止状態で計測模様４１を正面から写す場合が想定されていた。しかし、カメラ１１及びレーザスキャナ１２が動かされながら、カメラ１１とレーザスキャナ１２との姿勢、またはカメラ１１とレーザスキャナ１２との位置が決められることは有効である。つまり、作業者が計測対象物４０を動かすこと、あるいは、カメラ１１、レーザスキャナ１２が、ロール軸２１、ピッチ軸２２またはヨー軸２３の周りに回転することは好ましい。最終的にどのような角度、どのような位置から撮影されたカメラ映像１１ａであっても、そのカメラ映像１１ａにスキャンライン１２ａが正しく重畳された場合、キャリブレーションは終了である。
姿勢をより正確に確定したい場合は、カメラ１１及びレーザスキャナ１２と、計測模様４１との距離を、通常よりも長くとればよい。この理由は、姿勢の影響は、遠方ほど大きく現れるからである。例えば、０．１ｄｅｇの誤差に対して１ｍであれば１．７ｍｍであるが１００ｍであれば１７．４ｃｍとなるからである。
また、位置（Ｘ，Ｙ，Ｚ）を推定する場合は、試験装置３０が計測模様４１に近い距離で推定を行うことが有効である。位置の影響は、カメラ１１及びレーザスキャナ１２と計測模様４１との距離に依存しないので、姿勢の影響の少ない近傍のほうが位置の誤差が大きく現れるからである。
これらのことは走行キャリブレーション手法と同様である。
また、位置（Ｘ，Ｙ，Ｚ）を推定する場合は、試験装置３０が計測模様４１に近い距離で推定を行うことが有効である。位置の影響は、カメラ１１及びレーザスキャナ１２と計測模様４１との距離に依存しないので、姿勢の影響の少ない近傍のほうが位置の誤差が大きく現れるからである。
これらのことは走行キャリブレーション手法と同様である。
以上、実施の形態１について説明したが、実施の形態１に示した構成を部分的に実施しても構わない。なお、本発明は、実施の形態１に限定されるものではなく、必要に応じて種々の変更が可能である。
φ ロール角度、θ ピッチ角度、ψ ヨー角度、△φ ロール角度差、△θ ピッチ角度差、△ψ ヨー角度差、１０ ベース、１１ カメラ、１１ａ カメラ映像、１２ レーザスキャナ、１２ａ スキャンライン、２０ 姿勢変化機構、２１ ロール軸、２２ ピッチ軸、２３ ヨー軸、２４ 支持部材、３０ 試験装置、４０ 計測対象物、４１ 計測模様、４２ 配置面、４３ キャスタ、５０ 計算機、５１ プロセッサ、５１ａ 表示制御部、５１ｂ 補正部、５２ 主記憶装置、５３ 補助記憶装置、５４ 入出力インタフェース装置、５５ 信号線、６０ 表示装置、７０ 入力装置、７１ キーボード、７２ マウス、８０ 姿勢相違情報、８１ 一点鎖線、８２ 床、１００ 重畳表示システム。
Claims (6)
- カメラとレーザスキャナとが固定されたベースと、
前記カメラと前記レーザスキャナとが固定された前記ベースが固定され、前記ベースのロール角度、ピッチ角度及びヨー角度を変化させる姿勢変化機構と、
前記カメラに撮影される模様であり、前記レーザスキャナによるスキャンによって反射輝度の相違が現れる模様である計測模様を有する計測対象物と、
前記カメラによって撮影された前記計測模様のカメラ映像と、前記レーザスキャナによる前記計測模様のスキャン結果であるスキャンラインとを取得し、前記カメラ映像と前記スキャンラインとを重畳して表示装置に表示する計算機と
を備える重畳表示システム。 - 前記計測対象物は、
前記ベースとの距離を変えることのできる移動機構を有する請求項１に記載の重畳表示システム。 - 前記計算機は、
前記カメラと前記レーザスキャナとの姿勢の相違を示す姿勢相違情報を用いて、前記表示装置に表示される前記スキャンラインの位置を補正し、位置の補正された前記スキャンラインを前記計測模様のカメラ映像と重畳して表示する請求項１または請求項２に記載の重畳表示システム。 - 前記計算機は、
前記姿勢相違情報が入力される請求項３に記載の重畳表示システム。 - 前記計測模様は、
チェック模様である請求項１から請求項４のいずれか一項に記載の重畳表示システム。 - カメラとレーザスキャナとが固定されたベースと、
前記カメラに撮影される模様であり、前記レーザスキャナによるスキャンによって反射輝度の相違が現れる模様である計測模様を有する計測対象物と、
前記カメラによって撮影された前記計測模様のカメラ映像と、前記レーザスキャナによる前記計測模様のスキャン結果であるスキャンラインとを取得し、前記カメラ映像と前記スキャンラインとを重畳して表示装置に表示するとともに、前記カメラと前記レーザスキャナとの姿勢の相違を示す姿勢相違情報を用いて、前記表示装置に表示される前記スキャンラインの位置を補正し、位置の補正された前記スキャンラインを前記計測模様のカメラ映像と重畳して表示する計算機と
を備える重畳表示システム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/010642 WO2019176118A1 (ja) | 2018-03-16 | 2018-03-16 | 重畳表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019176118A1 true JPWO2019176118A1 (ja) | 2020-12-03 |
| JP7003219B2 JP7003219B2 (ja) | 2022-01-20 |
Family
ID=65432167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020506104A Active JP7003219B2 (ja) | 2018-03-16 | 2018-03-16 | 重畳表示システム |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7003219B2 (ja) |
| TW (1) | TWI645160B (ja) |
| WO (1) | WO2019176118A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021085679A (ja) * | 2019-11-25 | 2021-06-03 | トヨタ自動車株式会社 | センサ軸調整用ターゲット装置 |
| CN114964183B (zh) * | 2022-07-28 | 2022-10-25 | 金田产业发展(山东)集团有限公司 | 一种便携式定位导航工程勘测装置 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07229961A (ja) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | 車両周囲の物体検知装置及び車両周囲の物体検知方法 |
| JPH11326495A (ja) * | 1998-05-13 | 1999-11-26 | Hitachi Ltd | 車載レーダのアンテナ軸調整装置 |
| JP2003505682A (ja) * | 1999-07-13 | 2003-02-12 | メトロノール・エイエスエイ | 大きな物体の幾何学的形状を走査するシステム |
| JP2004085326A (ja) * | 2002-08-26 | 2004-03-18 | Honda Motor Co Ltd | 車載レーダおよび車載カメラの照準調整検査装置 |
| JP2006090826A (ja) * | 2004-09-24 | 2006-04-06 | Hitachi Ltd | レーダの設置情報の確認画面と調整画面の表示方法 |
| JP2007064723A (ja) * | 2005-08-30 | 2007-03-15 | Hitachi Ltd | 画像入力装置及び校正方法 |
| US20100157280A1 (en) * | 2008-12-19 | 2010-06-24 | Ambercore Software Inc. | Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions |
| JP2011087308A (ja) * | 2010-11-25 | 2011-04-28 | Aisin Seiki Co Ltd | 車載カメラの校正装置、方法、及びプログラム |
| DE102011120535A1 (de) * | 2011-12-08 | 2013-06-13 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Verfahren und Vorrichtung zum Einstellen zumindest eines Sensors eines Fahrzeugs |
| US20130305805A1 (en) * | 2011-01-31 | 2013-11-21 | Agency For Defense Development | Device, system and method for calibration of camera and laser sensor |
| US20150160332A1 (en) * | 2012-08-13 | 2015-06-11 | Digital Signal Corporation | System and Method for Calibrating Video and Lidar Subsystems |
| US20150317781A1 (en) * | 2012-11-05 | 2015-11-05 | The Chancellor Masters And Scholars Of The University Of Oxford | Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus |
| JP2016017913A (ja) * | 2014-07-10 | 2016-02-01 | 国立大学法人鳥取大学 | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム |
| JP2016045150A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム |
| JP2016057108A (ja) * | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
| KR20160077684A (ko) * | 2014-12-24 | 2016-07-04 | 한국항공우주연구원 | 객체 추적 장치 및 방법 |
| JP2017062848A (ja) * | 2016-12-13 | 2017-03-30 | 三菱電機株式会社 | キャリブレーション方法、プログラムおよびコンピュータ |
| DE102015118874A1 (de) * | 2015-11-04 | 2017-05-04 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs |
| WO2017159382A1 (ja) * | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 信号処理装置および信号処理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101563581A (zh) * | 2006-11-03 | 2009-10-21 | 电子地图有限公司 | 用于图像中的平面对象的识别和位置确定的方法和设备 |
| CA2678156C (en) * | 2007-02-16 | 2013-10-08 | Mitsubishi Electric Corporation | Measurement apparatus, measurement method, and feature identification apparatus |
| WO2017106875A1 (en) * | 2015-12-18 | 2017-06-22 | Gerard Dirk Smits | Real time position sensing of objects |
-
2018
- 2018-03-16 WO PCT/JP2018/010642 patent/WO2019176118A1/ja active Application Filing
- 2018-03-16 JP JP2020506104A patent/JP7003219B2/ja active Active
- 2018-05-30 TW TW107118478A patent/TWI645160B/zh not_active IP Right Cessation
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07229961A (ja) * | 1994-02-22 | 1995-08-29 | Hitachi Ltd | 車両周囲の物体検知装置及び車両周囲の物体検知方法 |
| JPH11326495A (ja) * | 1998-05-13 | 1999-11-26 | Hitachi Ltd | 車載レーダのアンテナ軸調整装置 |
| JP2003505682A (ja) * | 1999-07-13 | 2003-02-12 | メトロノール・エイエスエイ | 大きな物体の幾何学的形状を走査するシステム |
| JP2004085326A (ja) * | 2002-08-26 | 2004-03-18 | Honda Motor Co Ltd | 車載レーダおよび車載カメラの照準調整検査装置 |
| JP2006090826A (ja) * | 2004-09-24 | 2006-04-06 | Hitachi Ltd | レーダの設置情報の確認画面と調整画面の表示方法 |
| JP2007064723A (ja) * | 2005-08-30 | 2007-03-15 | Hitachi Ltd | 画像入力装置及び校正方法 |
| US20100157280A1 (en) * | 2008-12-19 | 2010-06-24 | Ambercore Software Inc. | Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions |
| JP2011087308A (ja) * | 2010-11-25 | 2011-04-28 | Aisin Seiki Co Ltd | 車載カメラの校正装置、方法、及びプログラム |
| US20130305805A1 (en) * | 2011-01-31 | 2013-11-21 | Agency For Defense Development | Device, system and method for calibration of camera and laser sensor |
| DE102011120535A1 (de) * | 2011-12-08 | 2013-06-13 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Verfahren und Vorrichtung zum Einstellen zumindest eines Sensors eines Fahrzeugs |
| US20150160332A1 (en) * | 2012-08-13 | 2015-06-11 | Digital Signal Corporation | System and Method for Calibrating Video and Lidar Subsystems |
| US20150317781A1 (en) * | 2012-11-05 | 2015-11-05 | The Chancellor Masters And Scholars Of The University Of Oxford | Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus |
| JP2016017913A (ja) * | 2014-07-10 | 2016-02-01 | 国立大学法人鳥取大学 | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム |
| JP2016045150A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム |
| JP2016057108A (ja) * | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
| KR20160077684A (ko) * | 2014-12-24 | 2016-07-04 | 한국항공우주연구원 | 객체 추적 장치 및 방법 |
| DE102015118874A1 (de) * | 2015-11-04 | 2017-05-04 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs |
| WO2017159382A1 (ja) * | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 信号処理装置および信号処理方法 |
| JP2017062848A (ja) * | 2016-12-13 | 2017-03-30 | 三菱電機株式会社 | キャリブレーション方法、プログラムおよびコンピュータ |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201938988A (zh) | 2019-10-01 |
| TWI645160B (zh) | 2018-12-21 |
| JP7003219B2 (ja) | 2022-01-20 |
| WO2019176118A1 (ja) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544874B2 (en) | System and method for calibration of machine vision cameras along at least three discrete planes | |
| EP2564156B1 (en) | Profile measuring apparatus | |
| JP4669047B2 (ja) | 撮像システムにおける位置検知の方法及びデバイス | |
| CN109171793B (zh) | 一种角度检测和校正方法、装置、设备和介质 | |
| KR19980033400A (ko) | 차량바퀴의 캠버와 캐스터의 비접촉측정방법과 장치 | |
| JP7003219B2 (ja) | 重畳表示システム | |
| CN112313502A (zh) | 计算机断层摄影应用的摆动补偿 | |
| JP2008292259A (ja) | 二次元格子校正装置、二次元格子校正方法、二次元格子校正プログラム、記録媒体 | |
| CN109260612A (zh) | 病床的位置参数检测方法、位置校正方法、装置及系统 | |
| CN108286946B (zh) | 传感器位置标定和数据拼接的方法及系统 | |
| JP2009222568A (ja) | ３次元形状データの生成方法および装置ならびにコンピュータプログラム | |
| JPH09113223A (ja) | 非接触距離姿勢測定方法及び装置 | |
| CN110261415A (zh) | 测量用x射线ct设备以及批量生产工件测量方法 | |
| JP5955001B2 (ja) | 非球面形状計測方法、形状計測プログラム及び形状計測装置 | |
| Kim et al. | Design improvement of the three-beam detector towards a precise long-range 6-degree of freedom motion sensor system | |
| JP3999063B2 (ja) | 三次元測定機、三次元測定機の校正方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
| JP2019121076A (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| JP2002310641A (ja) | 三次元形状計測機の座標系のキャリブレーション方法 | |
| JP7038578B2 (ja) | 速度生成装置、速度生成プログラム及び速度生成方法 | |
| US20200088508A1 (en) | Three-dimensional information generating device and method capable of self-calibration | |
| JP2012013593A (ja) | ３次元形状測定機の校正方法及び３次元形状測定機 | |
| JP2009288227A (ja) | 三次元測定機 | |
| US20230054389A1 (en) | Three-dimensional shape registration method and three-dimensional shape data processing device | |
| WO2013084565A1 (ja) | データ補正装置及びデータ補正プログラム | |
| JP2016008838A (ja) | 形状測定装置、構造物製造システム、形状測定方法、及び構造物製造方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7003219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |