JP4166988B2 - ステレオ画像用処理装置及び方法 - Google Patents
ステレオ画像用処理装置及び方法 Download PDFInfo
- Publication number
- JP4166988B2 JP4166988B2 JP2002042970A JP2002042970A JP4166988B2 JP 4166988 B2 JP4166988 B2 JP 4166988B2 JP 2002042970 A JP2002042970 A JP 2002042970A JP 2002042970 A JP2002042970 A JP 2002042970A JP 4166988 B2 JP4166988 B2 JP 4166988B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- image
- calibration
- stereo
- chart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、汎用カメラやデジタルカメラ等のようなレンズ収差のあるカメラを用いてステレオカメラを構成した場合に、このステレオカメラの外部標定要素（カメラの位置と傾き）を算出してステレオ計測用の画像を生成できるステレオ画像用処理装置及び方法に関する。
【０００２】
【従来の技術】
ステレオ計測する為のステレオカメラは、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、焦点距離を可変にしたズームレンズではなく、固定焦点距離式のレンズが使用されている。また、カメラの分解能に依存して、ステレオカメラの計測精度が定まるため、収差の少ない高精度レンズが使用されている。
【０００３】
【発明が解決しようとする課題】
そこで、従来のステレオカメラには、以下のような課題がある。
▲１▼各カメラが相対的に動かないように固定されているため、持ち運びがしにくい。
▲２▼基線長と撮影距離の選択範囲が少ないため、ステレオカメラの計測対象物の寸法が限定される。
▲３▼高精度レンズを使用した専用カメラは高価で、一般の人には利用しにくい。
▲４▼汎用カメラでは、ステレオ撮影する際の位置決めが曖昧で、鑑賞する程度の精度しか得られず、計測用に用いることは事実上できない。
【０００４】
本発明は、上述する課題を解決したもので、第１の目的は、汎用のカメラやデジタルカメラをステレオカメラとして容易に利用できるステレオ画像用処理装置及び方法を提供することである。
第２の目的は、汎用のカメラやデジタルカメラのようにレンズ収差の大きなレンズでステレオ撮影を行っても、写真計測できる程度の精度が得られるステレオ画像用処理装置を提供することである。
【０００５】
本発明のステレオ画像用処理装置は、第１の目的を達成するもので、図１及び図２に示すように、少なくとも３箇所以上に設けられ、チャート上の位置が既知である第１マーク１ａ〜１ｅと、該第１マーク１ａ〜１ｅに対して外観上識別可能であり、第１マーク１ａ〜１ｅより多くの箇所に設けられチャート上の位置が既知である第２マークを有するキャリブレーション用チャート１を、異なる角度からカメラ２Ｒ，２Ｌにより撮影した、少なくとも２枚のキャリブレーション用画像から第１マークを抽出する抽出部４と、抽出部４にて抽出された第１マークを用いて求めた射影変換式のパラメータを用いて、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部５と、前記キャリブレーション用画像上の前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を検出する精密マーク位置測定部６と、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する演算処理部７とを備えている。
【０００６】
このように構成された装置においては、ステレオカメラ２Ｒ、２Ｌで、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャート１を少なくとも２枚撮影したキャリブレーション用画像を用意する。この２枚のキャリブレーション用画像は、ステレオカメラ２Ｒ、２Ｌの其々の画像であるため、撮影方向として少なくとも二つになる。抽出部４は、キャリブレーション用画像から第１マークを抽出する。概略マーク位置測定部５は、第１マークを用いた射影変換により、キャリブレーション用画像における前記第２マークの概略位置を求める。精密マーク位置測定部６は、第２マークの概略位置近傍で第２マーク位置の撮影されている位置を求める。レンズ収差の影響は第２マーク位置毎に違うため、概略マーク位置測定部５で概算された位置と現実のキャリブレーション用画像上の位置とに違いを生じるためである。演算処理部７は、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応するキャリブレーション用画像における第２マークの位置から、キャリブレーション用画像の外部標定要素を算出する。この外部標定要素は、ステレオカメラ２Ｒ、２Ｌで外部標定要素算出時と同一の撮影条件で撮影したステレオ画像に対して、外部標定要素として適用される。
【０００７】
好ましくは、本発明の概略マーク位置測定部２は、射影変換により第２マークの概略位置を求めるように構成されていると、第２マークの概略位置が射影変換によって簡単に演算できる。なお、ステレオカメラ２Ｒ、２Ｌのレンズ収差は、概略マーク位置測定部５で概算された位置と現実のキャリブレーション用画像上の位置との違いとして現れる。
【０００８】
好ましくは、本発明の精密マーク位置測定部６は、テンプレートマッチング又は重心位置検出の少なくとも一方を用いて、第２マーク位置を決定するように構成されているとよい。第２マークが不定形の形状であったり、キャリブレーション用画像上で不鮮明に写っている場合には、第２マークの重心位置を用いることで、第２マーク位置が安定して正確に得られる。
【０００９】
好ましくは、本発明の演算処理部７は、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、当該第２マークにおける外部標定要素を演算するように構成されているとよい。
【００１０】
好ましくは、本発明のキャリブレーション装置は、さらに第２マークにおける外部標定要素を数値として表示する表示部９を有するように構成されているとよい。表示部９を設けると、操作者にとって演算結果の良否が容易に判断でき便利である。
【００１１】
好ましくは、本発明の演算処理部７は、前記レンズの外部標定要素を算出する際に、精密マーク位置測定部によって位置が算出された第２マークのうち適切な第２マークを選択するように選択するように構成されているとよい。この第２マークの選択には、例えばバンドル調整法を用いるのが良い。バンドル調整法によれば、各撮影位置のカメラの外部標定要素を求めることと、第２マークの位置が適切なものと不適切なものとの分別を同時に行うことが可能となる。
【００１２】
好ましくは、本発明の外部標定要素は、前記ステレオカメラの位置、傾き、基線長の少なくとも一つを含むように構成されているとよい。外部標定要素に寄与するのは、ステレオカメラの位置、傾き、或いは基線長であるためである。
【００１３】
本発明のステレオ画像用処理装置は、第２の目的を達成するもので、図１に示すように、さらにステレオカメラ２Ｒ、２Ｌのレンズ収差を補償するためのキャリブレーション要素を算出する演算処理部７と、ステレオカメラ２Ｒ、２Ｌで撮影された画像をレンズ収差の補償された画像に修正する画像処理部８を有するように構成されているとよい。画像処理部８を設けると、ステレオカメラ２Ｒ、２Ｌで撮影された画像から、演算処理部７で算出されたキャリブレーション要素を用いてレンズ収差の影響を除去でき、特に立体視用写真のように僅かの像位置の歪みが大きな標高誤差として現れる分野に用いて好適である。
【００１４】
本発明のステレオ画像用処理方法は、第１の目的を達成するもので、図７に示すように、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャートを、ステレオカメラにより撮影した、少なくとも２枚のキャリブレーション用画像から第１マークを抽出する第１のステップ（Ｓ４０）と、前記抽出された第１マークを用いた射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる第２のステップ（Ｓ５０）と、前記キャリブレーション用画像に対して、前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を求める第３のステップ（Ｓ６０）と、前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する第４のステップ（Ｓ９０）とを有している。
【００１５】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、キャリブレーション用チャートとしてのチャート１は、平面上のシートに第１マークと第２マークが印刷されている。第１マークは、概略マーク位置測定及びキャリブレーション用画像としての校正用写真組の画像相互の対応付けに利用されると共に、ステレオカメラ２Ｒ、２Ｌの其々のカメラがチャート１を撮影した撮影角度を決めるために利用される。第１マークは、チャート１の少なくとも３箇所に設けられるもので、好ましくはチャート１を４区分に等分したときの各象限に設けると良い。
【００１６】
第２マークは、ステレオカメラ２Ｒ、２Ｌによって撮影されたチャート１の画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なくチャート１に配置する。第２マークは、チャート１の３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。しかし、第２マークを徒に多く設けると、第２マーク自体が小さくなって見難くなると共に、レンズ収差の測定演算時間も長くなるため、実際上の上限は存在しており、例えば１０００個である。チャート１の詳細については、後で説明する。
【００１７】
ステレオカメラ２Ｒ、２Ｌは、キャリブレーションの対象となるカメラで、ここでは、基線を構成するステレオバー２Ｂに沿って単一のカメラが移動する形式を示している。この実施の形態においてカメラは、典型的には汎用の光学式カメラやデジタルカメラのように、レンズ収差が写真測量や写真計測用の撮影用カメラに比較して、大きいものを利用できる。ステレオカメラ２Ｒ、２Ｌに用いるカメラは、広角レンズや標準レンズでもよく、また望遠レンズを備えていても良い。画像データ記憶部３は、ステレオカメラ２Ｒ、２Ｌを構成するカメラによって撮影されたチャート１の画像データを記憶する記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３に記憶される画像データは、チャート１をステレオカメラ２Ｒ、２Ｌにてステレオ視できるように撮影したステレオ画像データであることが好ましく、典型的には左撮影位置２Ｌと右撮影位置２Ｒの一組の撮影位置によって撮影されている。好ましくは、画像データ記憶部３では、ステレオカメラ２Ｒ、２Ｌがチャート１を撮影した撮影角度を判別できる態様で、校正用写真組の画像が記憶されているとよい。
【００１８】
ステレオ画像用処理装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０、レンズ収差補償パラメータ記憶部１１並びに外部標定要素記憶部１２を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。ステレオ画像用処理装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。
【００１９】
抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行う。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。なお、第１マークが第２マークと共通の図柄を含んでいる場合には、第１マーク内の第２マーク位置によって第１マークの画像座標値とするとよい。抽出部４による第１マーク抽出処理の詳細は、後で説明する。
【００２０】
概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理の詳細は、後で説明する。
【００２１】
精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、チャート１の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、カメラの内部パラメータを演算する。
【００２２】
演算処理部７にて演算されたカメラの内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。カメラの内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。また、演算処理部７にて演算されたキャリブレーションに適切な第２マークに対する外部標定要素は、外部標定要素記憶部１２に格納すると良い。なお、精密マーク位置測定部６、並びに演算処理部７のカメラの内部パラメータ演算処理に関しての詳細は、後で説明する。
【００２３】
画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、ステレオカメラ２Ｒ、２Ｌを構成するカメラによって撮影された画像（特に、チャート１以外の画像）のデータ画像を再配列する。すると、ステレオカメラ２Ｒ、２Ｌを構成するカメラによって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。マーク座標記憶部１０には、第１マークの画像座標値が記憶されていると共に、第２マークの管理番号並びにその画像座標値が記憶されている。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算されたステレオカメラ２Ｒ、２Ｌを構成するカメラの内部パラメータが記憶されている。外部標定要素記憶部１２には、演算処理部７にて演算されたキャリブレーションに適切な第２マークに対する外部標定要素が記憶されている。
【００２４】
次に、キャリブレーション用チャートとしてのチャート１について説明する。図２は、キャリブレーション用チャートの一例を示す平面図である。チャート１は、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。ここでは、第１マークはチャート１に総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。チャート１が矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ２＋ｌ２）１／２ （１）
【００２５】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの印刷位置の数値は、ステレオ画像用処理装置のマーク座標記憶部１０に読込んで、概略マーク位置測定部５において概略位置測定と対応づけのために利用される。なお、チャート１は、コンピュータの記憶装置に画像データとして記憶させておき、キャリブレーションする場所において印刷して使用しても良い。第１マークと第２マークの位置は、予めステレオ画像用処理装置の中に記憶してあるものを使い、その記憶された座標にてシートに印刷すれば、計測作業は不要になるので作業は簡単なものになる。あるいは、チャート１を精密に計測して、第１マークと第２マークの座標位置を測定し、その座標値をマーク座標記憶部１０に格納して利用する構成としてもよい。
【００２６】
第１マークは、概略マーク位置測定及び対応付けに利用されるだけでなく、撮影方向を決める視標としても利用される。さらに、第１マークの外形菱形の中心部分は第２マークと共通の図柄とすることにより、精密マーク位置測定部６で精密測定する際のテンプレートとして使用される。
【００２７】
図３は第１マークの一例を示す説明図で、（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩形を示している。図３（Ａ）、（Ｂ）では、第１マークは第２マークと共通の図柄を囲むように菱形又は４本の矢印を配置し、作業者にとって視認容易になるように配慮してある。このように視認容易な図柄とすることで、第１マークの抽出が容易なものとなると共に、ステレオカメラ２Ｒ、２Ｌを構成するカメラの撮影方向として広い撮影角度の中から一つの撮影角度を選択しても、撮影された画像から第１マークを見逃すことがない。図３（Ｃ）では、第１マークは黒塗り矩形とし、中心部の図柄は第２マークとは反転した色彩になっているが、このようにしても検出は容易である。また、精密マーク位置測定部５にて測定する際にも、図３（Ｃ）の図柄に対しては、第１マークの階調を反転することにより、第２マークのテンプレートとすることができる。
【００２８】
図４は第２マークの一例を示す説明図で、（Ａ）は黒丸『●』、（Ｂ）はプラス『＋』、（Ｃ）は二重丸『◎』、（Ｄ）は英文字『Ｘ』、（Ｅ）は星印『★』、（Ｆ）は黒塗り四角『■』、（Ｇ）黒塗り三角形『▲』、（Ｈ）は黒塗り菱形『◆』を示している。第２マークは、チャート１に満遍なく多数配置されるので、精密位置計測のしやすいものであれば、各種の図柄を採択して良い。
【００２９】
続いて、レンズ収差の補償対象となると共に、ステレオカメラ２Ｒ、２Ｌに用いられるカメラによって、チャート１を撮影する手順について説明する。図５は標準レンズや広角レンズのレンズ収差を計測する場合のカメラ配置の説明図で、（Ａ）はチャート１を正面から見た状態、（Ｂ）は上から見た状態を示している。
チャート１を異なる撮影角度から撮影した画像が、２枚以上の画像があれば、キャリブレーションが可能となる。好ましくは、チャート１としてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。図５の場合には、５方向、即ち図５（Ａ）を基準として正面（Ｉ）、右下（II）、右上（III）、左下（IV）、左上（Ｖ）から撮影する手順を示している。以下、手順を追って撮影方法を説明する。なお、番号（Ｉ）〜（Ｖ）は図５のカメラ位置に対応している。
【００３０】
（Ｉ）：正面から、チャート１の第１マークと第２マーク全てが一杯に入るよう撮影する。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。
（II）：次に、例えば右下象限の第１マーク１ｄ（図２のチャート１参照）が撮影中心となるようにカメラ位置を変える。そして、ステレオカメラ２Ｒ、２Ｌを構成するカメラを、そのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（III）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
【００３１】
（IV）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、ステレオカメラ２Ｒ、２Ｌを構成するカメラの角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００３２】
次に、チャート１としてシートに印刷された平面チャートを用いる場合における、第１マークを利用した撮影手順の利点について説明する。通常、平面のシートに印刷されたマークを撮影する場合、ステレオカメラ２Ｒ、２Ｌを構成するカメラに所望の角度がつけられないため、結果として画面距離（焦点距離）を正確に求めることができない。即ち、焦点距離方向（高さ、奥行き方向）に変化がないと、カメラの内部パラメータの計算値には拘束するものがないので、カメラの内部パラメータが算出されても著しく信頼性のないものとなる。そこで、三次元状に配置されたターゲットを計測して焦点距離を求めるのであるが、計測が困難で自動化ができないだけでなく、作成するのも容易ではない。その理由は、三次元状に配置されたターゲットは、ターゲットが影になって画像に写っていなかったり、或いは高低差によって画像に平面的に写っていている位置がターゲット相互間で前後する場合があるからである。
【００３３】
まず、第１マークと第２マークをシートに印刷したチャート１を用いているので、三次元状に配置されたターゲットの場合に発生していた各ターゲット間の関連付けの困難性という問題は解消される。次に、第１マークを利用して撮影すると、ステレオカメラ２Ｒ、２Ｌを構成するカメラに所望の角度を付することができ、高さ（奥行き）方向の変化を確実にし、焦点距離を正確に算出できる。例えば、カメラの角度をチャート１に対して１０度以上傾けることができれば、本発明のステレオ画像用処理装置においては、焦点距離を確実に求めることができる。
【００３４】
ここで、カメラとチャート１の間隔Ｈは、標準レンズや広角レンズの焦点距離ｆから定められる。例えば、焦点距離が３５ｍｍの標準レンズでは、撮影距離Ｈは９０ｃｍ程度になる。チャート１に設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から右下（II）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラと第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００３５】
図６は望遠レンズのレンズ収差を計測する場合のカメラ配置の説明図で、チャート１を上から見た状態を示している。望遠レンズの場合には画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から右下（II）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、望遠レンズの場合にはステレオカメラ２Ｒ、２Ｌを構成するカメラとチャート１の撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、正面のカメラ位置を中心として、右側のカメラ位置（II）、（III）と、左側のカメラ位置（IV）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を撮影距離Ｈの１／３程度とった位置で、上述の（II）、（III）及び（IV）、（Ｖ）を行えばよい。カメラの光軸は、チャート１の法線方向と一致させればよいが、チャート１方向を向けても良い。
【００３６】
なお、上記の実施の形態においては、撮影位置として正面（Ｉ）、右下（II）、右上（III）、左下（IV）、左上（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにしてチャート１の撮影を行う。
【００３７】
次に、本発明のステレオ画像用処理装置における全体処理の流れについて説明する。図７はステレオ画像用処理装置を用いたキャリブレーション方法を説明するフローチャートである。まず、レンズ収差の補償対象となるステレオカメラ２Ｒ、２Ｌを構成するカメラによって、チャート１を撮影する（Ｓ１０）。撮影手法は、標準レンズや広角レンズの場合には図５（Ｂ）で説明した撮影手順、望遠レンズの場合には図６で説明した撮影手順による。カメラによって撮影された各撮影方向の画像データは、一旦画像データ記憶部３に格納される。次に、ステレオ画像用処理装置は、画像データ記憶部３に格納された画像データを読込んで、表示部９に表示する（Ｓ２０）。そして、操作者は表示部９に表示された画像から、ターゲットの対応付け及び計測を行う画像を選択する（Ｓ３０）。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。
【００３８】
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャート１の平面座標とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−▲１▼からＩ−▲４▼までの処理を第１マークの点数分繰り返す。例えば、図２に示すチャート１では、左右各２点の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。
【００３９】
Ｉ−▲１▼…操作者は表示部９に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−▲２▼…Ｉ−▲１▼で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−▲３▼…Ｉ−▲２▼で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−▲３▼での位置あわせは厳密でなくともよい。
Ｉ−▲４▼…次に、マーク座標記憶部１０に記憶された第２マークの管理番号と対応させるために、Ｉ−▲３▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−▲３▼で計測された第１マークの重心位置が基準点座標として記憶される。
【００４０】
なお、第１マーク抽出処理では、例えばチャート１上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）のような拡大画像を表示するようにすれば、位置計測がしやすくなる。
【００４１】
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図２のような全体画像だけで計測する方式がある。この場合、Ｉ−▲１▼の処理を行うと共に、Ｉ−▲４▼においてＩ−▲１▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−▲２▼、Ｉ−▲３▼の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。
【００４２】
次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図２の第１マーク配置であれば、その検出座標から５点の第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。
【００４３】
続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−▲１▼の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。
しかしながら、第１マークは最低３点以上計測すればよいので、マニュアルによる作業でも、簡単な作業である。
【００４４】
図７に戻り、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（II−１）と、第２マークの概算位置を演算する工程（II−２）を含んでいる。
（II−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１） （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。
【００４５】
次に、基準点座標と画像座標の関係を説明する。図９（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にしてチャート１の置かれる基準点座標系としての対象座標系５２と、カメラのフィルム又はＣＣＤが置かれる画像座標系５０が図９（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ0，Ｙ0，Ｚ0）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
【００４６】
続いて、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ-1（Ｃ・ｂ８）
φ＝ｔａｎ-1（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ-1（−ｂ４／ｂ１） （φ＝０のとき）
κ＝ｔａｎ-1（−ｂ２／ｂ５） （φ≠０、ω＝０のとき）
κ＝ｔａｎ-1｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
【００４７】
Ｚ0＝Ｃ・ｃｏｓω・｛（Ａ２ ２ ＋Ａ３ ２ ）／（Ａ１ ２ ＋Ａ４ ２ ）｝ １ / ２ ＋Ｚｍ
Ｘ0＝ｂ３−(ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ)×(Ｚｍ−Ｚ0)
Ｙ0＝ｂ６−(ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ)×(Ｚｍ−Ｚ0) （３）
ただし、Ａ１＝１＋ｔａｎ２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／（ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点の平均標高とする。ここでは、第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なので、標高一定の面と仮定できる。Ｃは焦点距離で、前述の画面距離に相当している。
【００４８】
（II−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
【数１】
ここで、Ｘ0、Ｙ0、Ｚ0は、前述したように、図９（Ａ）に示すような投影中心点Ｏｃの地上座標とする。
次に、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ11〜ａ33を求める。
【００４９】
次に、求めた回転行列の要素ａ11〜ａ33と式（３）で求めたカメラの位置（Ｘ0、Ｙ0、Ｚ0）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実のカメラで撮影した画像におけるタ−ゲットの概略の画像座標が求める。
ｘ＝−Ｃ・｛ａ11（Ｘ−Ｘ0）＋ａ12（Ｙ−Ｙ 0）＋ａ13（Ｚ−Ｚ0）｝／ ｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｙ−Ｙ 0）＋ａ33（Ｚ−Ｚ0）｝
ｙ＝−Ｃ・｛ａ21（Ｘ−Ｘ0）＋ａ22（Ｙ−Ｙ 0）＋ａ23（Ｚ−Ｚ0）｝／ ｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｙ−Ｙ 0）＋ａ33（Ｚ−Ｚ0）｝ （５）
【００５０】
ところで、式（３）中のｔａｎ-1の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する４点の画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。
【００５１】
また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
【００５２】
図７に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図８を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。
【００５３】
（III）ターゲット認識
図９（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マーク、例えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲットの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
【００５４】
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。
Ａ＝｛Ｍ２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／
［｛Ｍ２×ΣＸｉ２−（ΣＸｉ)２｝×｛Ｍ２×ΣＴｉ２−（ΣＴｉ)２｝］ （６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
【００５５】
図８に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。
∇２・Ｇ（ｘ）＝｛（ｘ２−２σ２）／２πσ６｝・ｅｘｐ（−ｘ２／２σ２）
（７）
ここで、σはガウス関数のパラメ−タ−である。
【００５６】
次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（７）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。
【００５７】
図７に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
【００５８】
そして、Ｓ３０〜Ｓ７５の処理を、カメラに用いられているレンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、ステレオカメラ２Ｒ、２Ｌを構成するカメラにて撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。
【００５９】
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、外部標定要素並びにレンズ収差のキャリブレーション要素を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション要素の演算対象として、チャート１上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
【００６０】
（IV）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の［数２］と［数３］である。
【００６１】
【数２】
【数３】
【００６２】
この［数２］と［数３］は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、［数２］と［数３］を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００６３】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の［数４］に示す。
【数４】
補正モデルはこれに限らず、使用レンズにあてはまるものを選択すればよい。これら計算は、基準点を地上座標と画像座標で６点以上あれば、逐次近似解法によって算出される。なお、演算処理部７では、逐次近似解法の閾値によって、閾値以上となった場合の誤差の大きいチャート１上の第２マークを省くことによって、正確なキャリブレーション要素を求めることが可能となる。そこで、ターゲット位置重心位置確認（Ｓ７０）において、誤差の大きい第２マークとして検出されなかった場合でも、Ｓ９０にて過誤のある第２マークを検出して、除去することが可能である。
【００６４】
図７に戻り、演算処理部７によるキャリブレーション要素を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション要素が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
【００６５】
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション要素演算に戻り、キャリブレーション要素を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。
【００６６】
キャリブレーション要素を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。図１０は、キャリブレーション要素の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合１０６、についてグラフィック表示するとわかりやすい。
【００６７】
さらに、キャリブレーションした結果に基づいて、ディストーション補正した画像を、画像処理部８にて作成して表示部９に表示することもできる。こうすれば、ディストーションの大きいカメラにて撮影した画像も、ディストーション補正されて表示する画像表示装置を提供することが可能となる。
【００６８】
次に、演算処理部７或いはＳ９０にて行われる、三次元計測に必要なステレオカメラ２Ｒ、２Ｌの外部標定要素（カメラの位置と傾き）を算出する過程の詳細を説明する。
（Ｖ）：［ステレオ画像計測の原理］
図１１はステレオ画像計測の原理説明図である。チャート１のような物体上の任意の点ｐ（ｘ、ｙ、ｚ）は、ステレオカメラ２Ｒ、２Ｌの一方のカメラレンズ１を経由して画像１に点Ｐ１（ｘ１、ｙ１）として投影され、他方のカメラレンズ２を経由して画像２に点Ｐ２（ｘ２、ｙ２）として投影されている。画像１、２は予め標定及び偏位修正がなされており、それぞれの光軸ｚ１、ｚ２は平行でカメラレンズ１、２の主点からＣＣＤ(Charge Coupled Device)面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているように変換されている。２つの光軸間距離（基線長）をＢとすると、点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
【００６９】
ｘ１＝ａｘ／ｚ −−−（８）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（９）
ｘ２−ｘ１＝ａＢ／ｚ −−−（１０）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（１０）式よりｚを求め、これを用いて（８）式、（９）式よりｘ、ｙが求められる。すなわち、マーク座標記憶部１０には、左右画像の対応点（ｘ１、ｘ２）が求まっているので、カメラ１のレンズ主点から物体上の任意の点ｐまでの距離ｚが求められる。
【００７０】
そこで、ステレオバー２Ｂに一台のカメラを取り付け、２箇所から撮影することによりステレオカメラ２Ｒ、２Ｌとしている場合（図１参照）には、図７のフローチャートに従ってチャート１を撮影する。そして、撮影された２枚の画像を計測演算処理することにより、キャリブレーション要素が算出されるが、その計算にバンドル調整法を利用しているために、同時に外部標定要素が算出される。この外部標定要素を算出したときと同じ条件でステレオカメラ２Ｒ、２Ｌによる物体のステレオ撮影を行えば、ステレオ画像によって物体の三次元計測を行うことができる。
【００７１】
即ち、ステレオカメラ２Ｒ、２Ｌの外部標定要素を求めておけば、チャート１がなくとも外部標定要素が既知のステレオカメラにより任意の対象物の三次元計測が可能になる。また、固定位置が狂わなければ、逆に、形状が既知の対象物の三次元計測を計測して、ステレオカメラ２Ｒ、２Ｌの外部標定要素を求めることも可能である。すなわち、三次元計測を行った際にステレオカメラ２Ｒ、２Ｌの位置と傾きが求まっているために、この位置と傾きを修正することにより、ステレオ法の原理により三次元計測ができるようになる。
【００７２】
図１２は、外部標定要素の表示例を示す説明図である。ステレオカメラ２Ｒ、２Ｌの外部標定要素が求められると、外部標定要素を表示部９に表示する。表示部９に表示する外部標定要素としては、ステレオカメラ２Ｒ、２Ｌの間隔に相当する基線長、投影中心点Ｏｃに相当するモデル原点の座標（Ｘ0，Ｙ0，Ｚ0）、モデル回転角ω、φ、κがある。ここでは、小数点以下１０桁で各数値を表示しているが、測定精度や有効桁数に鑑みて適宜の桁数で表示して良い。さらに、撮影パラメータ並びに地上分解能として、撮影縮尺、撮影距離（高度）、撮影基線長、地上分解能（平面ＸＹ方向並びに高さＺ方向）も表示するとよい。
【００７３】
また、本実施の形態においては、ステレオカメラとしてステレオバーに１台又は２台のカメラを取付け、キャリブレーション用チャートを撮影すれば、ステレオ画像用処理装置により外部標定要素が演算されるので、以下の使用上の利点が得られる。
▲１▼カメラのステレオバーに対する取付けは厳密に行わずとも、計測する際に動かなければ良い。そこで、搬送中はカメラとステレオバーを分離しておき、撮影時になってカメラをステレオバーに取付ければよいので、従来のステレオカメラに比較して取扱いが容易になる。
▲２▼組立てた状態のステレオカメラで、任意の物体をステレオ画像計測すると共に、その際にキャリブレーション用チャートもステレオカメラにして撮影しておけばよい。
▲３▼レンズ収差を補償するキャリブレーション要素を測定しておけば、特に立体視のように僅かなレンズ収差でも問題となる用途において、レンズ収差の大きな安価なレンズでステレオ撮影した画像であっても、キャリブレーション要素を用いてレンズ収差の影響の少ない画像として作成することができ、容易に立体視できる。
【００７４】
なお、上記の実施の形態としては、ステレオバー２Ｂに一台のカメラを取り付け、２箇所から撮影することによりステレオカメラ２Ｒ、２Ｌとしている場合を示したが、本発明はこれに限定されるものではなく、例えば図１３に示すように、ステレオカメラ２Ｒ、２Ｌはステレオバー２Ｂに２台のカメラを所定の間隔Ｂで取付け、所定の撮影方向からチャート１や物体をステレオ撮影する構成としても良い。
【００７５】
【発明の効果】
以上説明したように、本発明のステレオ画像用処理装置によれば、キャリブレーション用チャートを、ステレオカメラで撮影されたキャリブレーション用画像から第１マークを抽出する抽出部と、前記抽出部にて抽出された第１マークを用いた射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部と、前記キャリブレーション用画像に対して、前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を求める精密マーク位置測定部と、前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する演算処理部と備える構成としているので、ステレオ画像を用いた立体視に必要不可欠な外部標定要素を求めることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】 キャリブレーション用チャートの一例を示す平面図である。
【図３】 第１マークの一例を示す説明図である。
【図４】 第２マークの一例を示す説明図である。
【図５】 標準レンズや広角レンズのレンズ収差を計測する場合のカメラ配置の説明図である。
【図６】 望遠レンズのレンズ収差を計測する場合のカメラ配置の説明図である。
【図７】 ステレオ画像用処理装置を用いたキャリブレーション方法を説明するフローチャートである。
【図８】 第２マークの精密位置測定の処理手順を説明する詳細フロー図である。
【図９】 （Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。
【図１０】 キャリブレーション要素の演算処理結果の一例を示す説明図である。
【図１１】 ステレオ画像計測の原理説明図である。
【図１２】 外部標定要素の表示例を示す説明図である。
【図１３】 ２台のカメラをステレオバーに取付けたステレオカメラ２Ｒ、２Ｌの説明図である。
【符号の説明】
１ チャート（キャリブレーション用チャート）
２Ｒ、２Ｌ ステレオカメラ
３ 画像データ記憶部
４ 抽出部
５ 概略マーク位置測定部
６ 精密マーク位置測定部
７ 演算処理部
８ 画像処理部
９ 表示部
１０ マーク座標記憶部
１１ レンズ収差補償パラメータ記憶部
１２ 外部標定要素記憶部
【産業上の利用分野】
本発明は、汎用カメラやデジタルカメラ等のようなレンズ収差のあるカメラを用いてステレオカメラを構成した場合に、このステレオカメラの外部標定要素（カメラの位置と傾き）を算出してステレオ計測用の画像を生成できるステレオ画像用処理装置及び方法に関する。
【０００２】
【従来の技術】
ステレオ計測する為のステレオカメラは、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、焦点距離を可変にしたズームレンズではなく、固定焦点距離式のレンズが使用されている。また、カメラの分解能に依存して、ステレオカメラの計測精度が定まるため、収差の少ない高精度レンズが使用されている。
【０００３】
【発明が解決しようとする課題】
そこで、従来のステレオカメラには、以下のような課題がある。
▲１▼各カメラが相対的に動かないように固定されているため、持ち運びがしにくい。
▲２▼基線長と撮影距離の選択範囲が少ないため、ステレオカメラの計測対象物の寸法が限定される。
▲３▼高精度レンズを使用した専用カメラは高価で、一般の人には利用しにくい。
▲４▼汎用カメラでは、ステレオ撮影する際の位置決めが曖昧で、鑑賞する程度の精度しか得られず、計測用に用いることは事実上できない。
【０００４】
本発明は、上述する課題を解決したもので、第１の目的は、汎用のカメラやデジタルカメラをステレオカメラとして容易に利用できるステレオ画像用処理装置及び方法を提供することである。
第２の目的は、汎用のカメラやデジタルカメラのようにレンズ収差の大きなレンズでステレオ撮影を行っても、写真計測できる程度の精度が得られるステレオ画像用処理装置を提供することである。
【０００５】
本発明のステレオ画像用処理装置は、第１の目的を達成するもので、図１及び図２に示すように、少なくとも３箇所以上に設けられ、チャート上の位置が既知である第１マーク１ａ〜１ｅと、該第１マーク１ａ〜１ｅに対して外観上識別可能であり、第１マーク１ａ〜１ｅより多くの箇所に設けられチャート上の位置が既知である第２マークを有するキャリブレーション用チャート１を、異なる角度からカメラ２Ｒ，２Ｌにより撮影した、少なくとも２枚のキャリブレーション用画像から第１マークを抽出する抽出部４と、抽出部４にて抽出された第１マークを用いて求めた射影変換式のパラメータを用いて、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部５と、前記キャリブレーション用画像上の前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を検出する精密マーク位置測定部６と、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する演算処理部７とを備えている。
【０００６】
このように構成された装置においては、ステレオカメラ２Ｒ、２Ｌで、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャート１を少なくとも２枚撮影したキャリブレーション用画像を用意する。この２枚のキャリブレーション用画像は、ステレオカメラ２Ｒ、２Ｌの其々の画像であるため、撮影方向として少なくとも二つになる。抽出部４は、キャリブレーション用画像から第１マークを抽出する。概略マーク位置測定部５は、第１マークを用いた射影変換により、キャリブレーション用画像における前記第２マークの概略位置を求める。精密マーク位置測定部６は、第２マークの概略位置近傍で第２マーク位置の撮影されている位置を求める。レンズ収差の影響は第２マーク位置毎に違うため、概略マーク位置測定部５で概算された位置と現実のキャリブレーション用画像上の位置とに違いを生じるためである。演算処理部７は、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応するキャリブレーション用画像における第２マークの位置から、キャリブレーション用画像の外部標定要素を算出する。この外部標定要素は、ステレオカメラ２Ｒ、２Ｌで外部標定要素算出時と同一の撮影条件で撮影したステレオ画像に対して、外部標定要素として適用される。
【０００７】
好ましくは、本発明の概略マーク位置測定部２は、射影変換により第２マークの概略位置を求めるように構成されていると、第２マークの概略位置が射影変換によって簡単に演算できる。なお、ステレオカメラ２Ｒ、２Ｌのレンズ収差は、概略マーク位置測定部５で概算された位置と現実のキャリブレーション用画像上の位置との違いとして現れる。
【０００８】
好ましくは、本発明の精密マーク位置測定部６は、テンプレートマッチング又は重心位置検出の少なくとも一方を用いて、第２マーク位置を決定するように構成されているとよい。第２マークが不定形の形状であったり、キャリブレーション用画像上で不鮮明に写っている場合には、第２マークの重心位置を用いることで、第２マーク位置が安定して正確に得られる。
【０００９】
好ましくは、本発明の演算処理部７は、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、当該第２マークにおける外部標定要素を演算するように構成されているとよい。
【００１０】
好ましくは、本発明のキャリブレーション装置は、さらに第２マークにおける外部標定要素を数値として表示する表示部９を有するように構成されているとよい。表示部９を設けると、操作者にとって演算結果の良否が容易に判断でき便利である。
【００１１】
好ましくは、本発明の演算処理部７は、前記レンズの外部標定要素を算出する際に、精密マーク位置測定部によって位置が算出された第２マークのうち適切な第２マークを選択するように選択するように構成されているとよい。この第２マークの選択には、例えばバンドル調整法を用いるのが良い。バンドル調整法によれば、各撮影位置のカメラの外部標定要素を求めることと、第２マークの位置が適切なものと不適切なものとの分別を同時に行うことが可能となる。
【００１２】
好ましくは、本発明の外部標定要素は、前記ステレオカメラの位置、傾き、基線長の少なくとも一つを含むように構成されているとよい。外部標定要素に寄与するのは、ステレオカメラの位置、傾き、或いは基線長であるためである。
【００１３】
本発明のステレオ画像用処理装置は、第２の目的を達成するもので、図１に示すように、さらにステレオカメラ２Ｒ、２Ｌのレンズ収差を補償するためのキャリブレーション要素を算出する演算処理部７と、ステレオカメラ２Ｒ、２Ｌで撮影された画像をレンズ収差の補償された画像に修正する画像処理部８を有するように構成されているとよい。画像処理部８を設けると、ステレオカメラ２Ｒ、２Ｌで撮影された画像から、演算処理部７で算出されたキャリブレーション要素を用いてレンズ収差の影響を除去でき、特に立体視用写真のように僅かの像位置の歪みが大きな標高誤差として現れる分野に用いて好適である。
【００１４】
本発明のステレオ画像用処理方法は、第１の目的を達成するもので、図７に示すように、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャートを、ステレオカメラにより撮影した、少なくとも２枚のキャリブレーション用画像から第１マークを抽出する第１のステップ（Ｓ４０）と、前記抽出された第１マークを用いた射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる第２のステップ（Ｓ５０）と、前記キャリブレーション用画像に対して、前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を求める第３のステップ（Ｓ６０）と、前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する第４のステップ（Ｓ９０）とを有している。
【００１５】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、キャリブレーション用チャートとしてのチャート１は、平面上のシートに第１マークと第２マークが印刷されている。第１マークは、概略マーク位置測定及びキャリブレーション用画像としての校正用写真組の画像相互の対応付けに利用されると共に、ステレオカメラ２Ｒ、２Ｌの其々のカメラがチャート１を撮影した撮影角度を決めるために利用される。第１マークは、チャート１の少なくとも３箇所に設けられるもので、好ましくはチャート１を４区分に等分したときの各象限に設けると良い。
【００１６】
第２マークは、ステレオカメラ２Ｒ、２Ｌによって撮影されたチャート１の画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なくチャート１に配置する。第２マークは、チャート１の３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。しかし、第２マークを徒に多く設けると、第２マーク自体が小さくなって見難くなると共に、レンズ収差の測定演算時間も長くなるため、実際上の上限は存在しており、例えば１０００個である。チャート１の詳細については、後で説明する。
【００１７】
ステレオカメラ２Ｒ、２Ｌは、キャリブレーションの対象となるカメラで、ここでは、基線を構成するステレオバー２Ｂに沿って単一のカメラが移動する形式を示している。この実施の形態においてカメラは、典型的には汎用の光学式カメラやデジタルカメラのように、レンズ収差が写真測量や写真計測用の撮影用カメラに比較して、大きいものを利用できる。ステレオカメラ２Ｒ、２Ｌに用いるカメラは、広角レンズや標準レンズでもよく、また望遠レンズを備えていても良い。画像データ記憶部３は、ステレオカメラ２Ｒ、２Ｌを構成するカメラによって撮影されたチャート１の画像データを記憶する記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３に記憶される画像データは、チャート１をステレオカメラ２Ｒ、２Ｌにてステレオ視できるように撮影したステレオ画像データであることが好ましく、典型的には左撮影位置２Ｌと右撮影位置２Ｒの一組の撮影位置によって撮影されている。好ましくは、画像データ記憶部３では、ステレオカメラ２Ｒ、２Ｌがチャート１を撮影した撮影角度を判別できる態様で、校正用写真組の画像が記憶されているとよい。
【００１８】
ステレオ画像用処理装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０、レンズ収差補償パラメータ記憶部１１並びに外部標定要素記憶部１２を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。ステレオ画像用処理装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。
【００１９】
抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行う。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。なお、第１マークが第２マークと共通の図柄を含んでいる場合には、第１マーク内の第２マーク位置によって第１マークの画像座標値とするとよい。抽出部４による第１マーク抽出処理の詳細は、後で説明する。
【００２０】
概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理の詳細は、後で説明する。
【００２１】
精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、チャート１の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、カメラの内部パラメータを演算する。
【００２２】
演算処理部７にて演算されたカメラの内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。カメラの内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。また、演算処理部７にて演算されたキャリブレーションに適切な第２マークに対する外部標定要素は、外部標定要素記憶部１２に格納すると良い。なお、精密マーク位置測定部６、並びに演算処理部７のカメラの内部パラメータ演算処理に関しての詳細は、後で説明する。
【００２３】
画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、ステレオカメラ２Ｒ、２Ｌを構成するカメラによって撮影された画像（特に、チャート１以外の画像）のデータ画像を再配列する。すると、ステレオカメラ２Ｒ、２Ｌを構成するカメラによって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。マーク座標記憶部１０には、第１マークの画像座標値が記憶されていると共に、第２マークの管理番号並びにその画像座標値が記憶されている。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算されたステレオカメラ２Ｒ、２Ｌを構成するカメラの内部パラメータが記憶されている。外部標定要素記憶部１２には、演算処理部７にて演算されたキャリブレーションに適切な第２マークに対する外部標定要素が記憶されている。
【００２４】
次に、キャリブレーション用チャートとしてのチャート１について説明する。図２は、キャリブレーション用チャートの一例を示す平面図である。チャート１は、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。ここでは、第１マークはチャート１に総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。チャート１が矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ２＋ｌ２）１／２ （１）
【００２５】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの印刷位置の数値は、ステレオ画像用処理装置のマーク座標記憶部１０に読込んで、概略マーク位置測定部５において概略位置測定と対応づけのために利用される。なお、チャート１は、コンピュータの記憶装置に画像データとして記憶させておき、キャリブレーションする場所において印刷して使用しても良い。第１マークと第２マークの位置は、予めステレオ画像用処理装置の中に記憶してあるものを使い、その記憶された座標にてシートに印刷すれば、計測作業は不要になるので作業は簡単なものになる。あるいは、チャート１を精密に計測して、第１マークと第２マークの座標位置を測定し、その座標値をマーク座標記憶部１０に格納して利用する構成としてもよい。
【００２６】
第１マークは、概略マーク位置測定及び対応付けに利用されるだけでなく、撮影方向を決める視標としても利用される。さらに、第１マークの外形菱形の中心部分は第２マークと共通の図柄とすることにより、精密マーク位置測定部６で精密測定する際のテンプレートとして使用される。
【００２７】
図３は第１マークの一例を示す説明図で、（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩形を示している。図３（Ａ）、（Ｂ）では、第１マークは第２マークと共通の図柄を囲むように菱形又は４本の矢印を配置し、作業者にとって視認容易になるように配慮してある。このように視認容易な図柄とすることで、第１マークの抽出が容易なものとなると共に、ステレオカメラ２Ｒ、２Ｌを構成するカメラの撮影方向として広い撮影角度の中から一つの撮影角度を選択しても、撮影された画像から第１マークを見逃すことがない。図３（Ｃ）では、第１マークは黒塗り矩形とし、中心部の図柄は第２マークとは反転した色彩になっているが、このようにしても検出は容易である。また、精密マーク位置測定部５にて測定する際にも、図３（Ｃ）の図柄に対しては、第１マークの階調を反転することにより、第２マークのテンプレートとすることができる。
【００２８】
図４は第２マークの一例を示す説明図で、（Ａ）は黒丸『●』、（Ｂ）はプラス『＋』、（Ｃ）は二重丸『◎』、（Ｄ）は英文字『Ｘ』、（Ｅ）は星印『★』、（Ｆ）は黒塗り四角『■』、（Ｇ）黒塗り三角形『▲』、（Ｈ）は黒塗り菱形『◆』を示している。第２マークは、チャート１に満遍なく多数配置されるので、精密位置計測のしやすいものであれば、各種の図柄を採択して良い。
【００２９】
続いて、レンズ収差の補償対象となると共に、ステレオカメラ２Ｒ、２Ｌに用いられるカメラによって、チャート１を撮影する手順について説明する。図５は標準レンズや広角レンズのレンズ収差を計測する場合のカメラ配置の説明図で、（Ａ）はチャート１を正面から見た状態、（Ｂ）は上から見た状態を示している。
チャート１を異なる撮影角度から撮影した画像が、２枚以上の画像があれば、キャリブレーションが可能となる。好ましくは、チャート１としてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。図５の場合には、５方向、即ち図５（Ａ）を基準として正面（Ｉ）、右下（II）、右上（III）、左下（IV）、左上（Ｖ）から撮影する手順を示している。以下、手順を追って撮影方法を説明する。なお、番号（Ｉ）〜（Ｖ）は図５のカメラ位置に対応している。
【００３０】
（Ｉ）：正面から、チャート１の第１マークと第２マーク全てが一杯に入るよう撮影する。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。
（II）：次に、例えば右下象限の第１マーク１ｄ（図２のチャート１参照）が撮影中心となるようにカメラ位置を変える。そして、ステレオカメラ２Ｒ、２Ｌを構成するカメラを、そのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（III）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
【００３１】
（IV）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、ステレオカメラ２Ｒ、２Ｌを構成するカメラの角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００３２】
次に、チャート１としてシートに印刷された平面チャートを用いる場合における、第１マークを利用した撮影手順の利点について説明する。通常、平面のシートに印刷されたマークを撮影する場合、ステレオカメラ２Ｒ、２Ｌを構成するカメラに所望の角度がつけられないため、結果として画面距離（焦点距離）を正確に求めることができない。即ち、焦点距離方向（高さ、奥行き方向）に変化がないと、カメラの内部パラメータの計算値には拘束するものがないので、カメラの内部パラメータが算出されても著しく信頼性のないものとなる。そこで、三次元状に配置されたターゲットを計測して焦点距離を求めるのであるが、計測が困難で自動化ができないだけでなく、作成するのも容易ではない。その理由は、三次元状に配置されたターゲットは、ターゲットが影になって画像に写っていなかったり、或いは高低差によって画像に平面的に写っていている位置がターゲット相互間で前後する場合があるからである。
【００３３】
まず、第１マークと第２マークをシートに印刷したチャート１を用いているので、三次元状に配置されたターゲットの場合に発生していた各ターゲット間の関連付けの困難性という問題は解消される。次に、第１マークを利用して撮影すると、ステレオカメラ２Ｒ、２Ｌを構成するカメラに所望の角度を付することができ、高さ（奥行き）方向の変化を確実にし、焦点距離を正確に算出できる。例えば、カメラの角度をチャート１に対して１０度以上傾けることができれば、本発明のステレオ画像用処理装置においては、焦点距離を確実に求めることができる。
【００３４】
ここで、カメラとチャート１の間隔Ｈは、標準レンズや広角レンズの焦点距離ｆから定められる。例えば、焦点距離が３５ｍｍの標準レンズでは、撮影距離Ｈは９０ｃｍ程度になる。チャート１に設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から右下（II）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラと第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００３５】
図６は望遠レンズのレンズ収差を計測する場合のカメラ配置の説明図で、チャート１を上から見た状態を示している。望遠レンズの場合には画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から右下（II）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、望遠レンズの場合にはステレオカメラ２Ｒ、２Ｌを構成するカメラとチャート１の撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、正面のカメラ位置を中心として、右側のカメラ位置（II）、（III）と、左側のカメラ位置（IV）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を撮影距離Ｈの１／３程度とった位置で、上述の（II）、（III）及び（IV）、（Ｖ）を行えばよい。カメラの光軸は、チャート１の法線方向と一致させればよいが、チャート１方向を向けても良い。
【００３６】
なお、上記の実施の形態においては、撮影位置として正面（Ｉ）、右下（II）、右上（III）、左下（IV）、左上（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにしてチャート１の撮影を行う。
【００３７】
次に、本発明のステレオ画像用処理装置における全体処理の流れについて説明する。図７はステレオ画像用処理装置を用いたキャリブレーション方法を説明するフローチャートである。まず、レンズ収差の補償対象となるステレオカメラ２Ｒ、２Ｌを構成するカメラによって、チャート１を撮影する（Ｓ１０）。撮影手法は、標準レンズや広角レンズの場合には図５（Ｂ）で説明した撮影手順、望遠レンズの場合には図６で説明した撮影手順による。カメラによって撮影された各撮影方向の画像データは、一旦画像データ記憶部３に格納される。次に、ステレオ画像用処理装置は、画像データ記憶部３に格納された画像データを読込んで、表示部９に表示する（Ｓ２０）。そして、操作者は表示部９に表示された画像から、ターゲットの対応付け及び計測を行う画像を選択する（Ｓ３０）。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。
【００３８】
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャート１の平面座標とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−▲１▼からＩ−▲４▼までの処理を第１マークの点数分繰り返す。例えば、図２に示すチャート１では、左右各２点の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。
【００３９】
Ｉ−▲１▼…操作者は表示部９に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−▲２▼…Ｉ−▲１▼で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−▲３▼…Ｉ−▲２▼で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−▲３▼での位置あわせは厳密でなくともよい。
Ｉ−▲４▼…次に、マーク座標記憶部１０に記憶された第２マークの管理番号と対応させるために、Ｉ−▲３▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−▲３▼で計測された第１マークの重心位置が基準点座標として記憶される。
【００４０】
なお、第１マーク抽出処理では、例えばチャート１上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）のような拡大画像を表示するようにすれば、位置計測がしやすくなる。
【００４１】
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図２のような全体画像だけで計測する方式がある。この場合、Ｉ−▲１▼の処理を行うと共に、Ｉ−▲４▼においてＩ−▲１▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−▲２▼、Ｉ−▲３▼の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。
【００４２】
次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図２の第１マーク配置であれば、その検出座標から５点の第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。
【００４３】
続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−▲１▼の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。
しかしながら、第１マークは最低３点以上計測すればよいので、マニュアルによる作業でも、簡単な作業である。
【００４４】
図７に戻り、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（II−１）と、第２マークの概算位置を演算する工程（II−２）を含んでいる。
（II−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１） （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。
【００４５】
次に、基準点座標と画像座標の関係を説明する。図９（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にしてチャート１の置かれる基準点座標系としての対象座標系５２と、カメラのフィルム又はＣＣＤが置かれる画像座標系５０が図９（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ0，Ｙ0，Ｚ0）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
【００４６】
続いて、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ-1（Ｃ・ｂ８）
φ＝ｔａｎ-1（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ-1（−ｂ４／ｂ１） （φ＝０のとき）
κ＝ｔａｎ-1（−ｂ２／ｂ５） （φ≠０、ω＝０のとき）
κ＝ｔａｎ-1｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
【００４７】
Ｚ0＝Ｃ・ｃｏｓω・｛（Ａ２ ２ ＋Ａ３ ２ ）／（Ａ１ ２ ＋Ａ４ ２ ）｝ １ / ２ ＋Ｚｍ
Ｘ0＝ｂ３−(ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ)×(Ｚｍ−Ｚ0)
Ｙ0＝ｂ６−(ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ)×(Ｚｍ−Ｚ0) （３）
ただし、Ａ１＝１＋ｔａｎ２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／（ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点の平均標高とする。ここでは、第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なので、標高一定の面と仮定できる。Ｃは焦点距離で、前述の画面距離に相当している。
【００４８】
（II−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
【数１】
次に、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ11〜ａ33を求める。
【００４９】
次に、求めた回転行列の要素ａ11〜ａ33と式（３）で求めたカメラの位置（Ｘ0、Ｙ0、Ｚ0）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実のカメラで撮影した画像におけるタ−ゲットの概略の画像座標が求める。
ｘ＝−Ｃ・｛ａ11（Ｘ−Ｘ0）＋ａ12（Ｙ−Ｙ 0）＋ａ13（Ｚ−Ｚ0）｝／ ｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｙ−Ｙ 0）＋ａ33（Ｚ−Ｚ0）｝
ｙ＝−Ｃ・｛ａ21（Ｘ−Ｘ0）＋ａ22（Ｙ−Ｙ 0）＋ａ23（Ｚ−Ｚ0）｝／ ｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｙ−Ｙ 0）＋ａ33（Ｚ−Ｚ0）｝ （５）
【００５０】
ところで、式（３）中のｔａｎ-1の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する４点の画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。
【００５１】
また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
【００５２】
図７に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図８を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。
【００５３】
（III）ターゲット認識
図９（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マーク、例えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲットの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
【００５４】
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。
Ａ＝｛Ｍ２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／
［｛Ｍ２×ΣＸｉ２−（ΣＸｉ)２｝×｛Ｍ２×ΣＴｉ２−（ΣＴｉ)２｝］ （６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
【００５５】
図８に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。
∇２・Ｇ（ｘ）＝｛（ｘ２−２σ２）／２πσ６｝・ｅｘｐ（−ｘ２／２σ２）
（７）
ここで、σはガウス関数のパラメ−タ−である。
【００５６】
次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（７）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。
【００５７】
図７に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
【００５８】
そして、Ｓ３０〜Ｓ７５の処理を、カメラに用いられているレンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、ステレオカメラ２Ｒ、２Ｌを構成するカメラにて撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。
【００５９】
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、外部標定要素並びにレンズ収差のキャリブレーション要素を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション要素の演算対象として、チャート１上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
【００６０】
（IV）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の［数２］と［数３］である。
【００６１】
【数２】
この［数２］と［数３］は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、［数２］と［数３］を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００６３】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の［数４］に示す。
【数４】
【００６４】
図７に戻り、演算処理部７によるキャリブレーション要素を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション要素が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
【００６５】
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション要素演算に戻り、キャリブレーション要素を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。
【００６６】
キャリブレーション要素を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。図１０は、キャリブレーション要素の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合１０６、についてグラフィック表示するとわかりやすい。
【００６７】
さらに、キャリブレーションした結果に基づいて、ディストーション補正した画像を、画像処理部８にて作成して表示部９に表示することもできる。こうすれば、ディストーションの大きいカメラにて撮影した画像も、ディストーション補正されて表示する画像表示装置を提供することが可能となる。
【００６８】
次に、演算処理部７或いはＳ９０にて行われる、三次元計測に必要なステレオカメラ２Ｒ、２Ｌの外部標定要素（カメラの位置と傾き）を算出する過程の詳細を説明する。
（Ｖ）：［ステレオ画像計測の原理］
図１１はステレオ画像計測の原理説明図である。チャート１のような物体上の任意の点ｐ（ｘ、ｙ、ｚ）は、ステレオカメラ２Ｒ、２Ｌの一方のカメラレンズ１を経由して画像１に点Ｐ１（ｘ１、ｙ１）として投影され、他方のカメラレンズ２を経由して画像２に点Ｐ２（ｘ２、ｙ２）として投影されている。画像１、２は予め標定及び偏位修正がなされており、それぞれの光軸ｚ１、ｚ２は平行でカメラレンズ１、２の主点からＣＣＤ(Charge Coupled Device)面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているように変換されている。２つの光軸間距離（基線長）をＢとすると、点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
【００６９】
ｘ１＝ａｘ／ｚ −−−（８）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（９）
ｘ２−ｘ１＝ａＢ／ｚ −−−（１０）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（１０）式よりｚを求め、これを用いて（８）式、（９）式よりｘ、ｙが求められる。すなわち、マーク座標記憶部１０には、左右画像の対応点（ｘ１、ｘ２）が求まっているので、カメラ１のレンズ主点から物体上の任意の点ｐまでの距離ｚが求められる。
【００７０】
そこで、ステレオバー２Ｂに一台のカメラを取り付け、２箇所から撮影することによりステレオカメラ２Ｒ、２Ｌとしている場合（図１参照）には、図７のフローチャートに従ってチャート１を撮影する。そして、撮影された２枚の画像を計測演算処理することにより、キャリブレーション要素が算出されるが、その計算にバンドル調整法を利用しているために、同時に外部標定要素が算出される。この外部標定要素を算出したときと同じ条件でステレオカメラ２Ｒ、２Ｌによる物体のステレオ撮影を行えば、ステレオ画像によって物体の三次元計測を行うことができる。
【００７１】
即ち、ステレオカメラ２Ｒ、２Ｌの外部標定要素を求めておけば、チャート１がなくとも外部標定要素が既知のステレオカメラにより任意の対象物の三次元計測が可能になる。また、固定位置が狂わなければ、逆に、形状が既知の対象物の三次元計測を計測して、ステレオカメラ２Ｒ、２Ｌの外部標定要素を求めることも可能である。すなわち、三次元計測を行った際にステレオカメラ２Ｒ、２Ｌの位置と傾きが求まっているために、この位置と傾きを修正することにより、ステレオ法の原理により三次元計測ができるようになる。
【００７２】
図１２は、外部標定要素の表示例を示す説明図である。ステレオカメラ２Ｒ、２Ｌの外部標定要素が求められると、外部標定要素を表示部９に表示する。表示部９に表示する外部標定要素としては、ステレオカメラ２Ｒ、２Ｌの間隔に相当する基線長、投影中心点Ｏｃに相当するモデル原点の座標（Ｘ0，Ｙ0，Ｚ0）、モデル回転角ω、φ、κがある。ここでは、小数点以下１０桁で各数値を表示しているが、測定精度や有効桁数に鑑みて適宜の桁数で表示して良い。さらに、撮影パラメータ並びに地上分解能として、撮影縮尺、撮影距離（高度）、撮影基線長、地上分解能（平面ＸＹ方向並びに高さＺ方向）も表示するとよい。
【００７３】
また、本実施の形態においては、ステレオカメラとしてステレオバーに１台又は２台のカメラを取付け、キャリブレーション用チャートを撮影すれば、ステレオ画像用処理装置により外部標定要素が演算されるので、以下の使用上の利点が得られる。
▲１▼カメラのステレオバーに対する取付けは厳密に行わずとも、計測する際に動かなければ良い。そこで、搬送中はカメラとステレオバーを分離しておき、撮影時になってカメラをステレオバーに取付ければよいので、従来のステレオカメラに比較して取扱いが容易になる。
▲２▼組立てた状態のステレオカメラで、任意の物体をステレオ画像計測すると共に、その際にキャリブレーション用チャートもステレオカメラにして撮影しておけばよい。
▲３▼レンズ収差を補償するキャリブレーション要素を測定しておけば、特に立体視のように僅かなレンズ収差でも問題となる用途において、レンズ収差の大きな安価なレンズでステレオ撮影した画像であっても、キャリブレーション要素を用いてレンズ収差の影響の少ない画像として作成することができ、容易に立体視できる。
【００７４】
なお、上記の実施の形態としては、ステレオバー２Ｂに一台のカメラを取り付け、２箇所から撮影することによりステレオカメラ２Ｒ、２Ｌとしている場合を示したが、本発明はこれに限定されるものではなく、例えば図１３に示すように、ステレオカメラ２Ｒ、２Ｌはステレオバー２Ｂに２台のカメラを所定の間隔Ｂで取付け、所定の撮影方向からチャート１や物体をステレオ撮影する構成としても良い。
【００７５】
【発明の効果】
以上説明したように、本発明のステレオ画像用処理装置によれば、キャリブレーション用チャートを、ステレオカメラで撮影されたキャリブレーション用画像から第１マークを抽出する抽出部と、前記抽出部にて抽出された第１マークを用いた射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部と、前記キャリブレーション用画像に対して、前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を求める精密マーク位置測定部と、前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する演算処理部と備える構成としているので、ステレオ画像を用いた立体視に必要不可欠な外部標定要素を求めることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】 キャリブレーション用チャートの一例を示す平面図である。
【図３】 第１マークの一例を示す説明図である。
【図４】 第２マークの一例を示す説明図である。
【図５】 標準レンズや広角レンズのレンズ収差を計測する場合のカメラ配置の説明図である。
【図６】 望遠レンズのレンズ収差を計測する場合のカメラ配置の説明図である。
【図７】 ステレオ画像用処理装置を用いたキャリブレーション方法を説明するフローチャートである。
【図８】 第２マークの精密位置測定の処理手順を説明する詳細フロー図である。
【図９】 （Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。
【図１０】 キャリブレーション要素の演算処理結果の一例を示す説明図である。
【図１１】 ステレオ画像計測の原理説明図である。
【図１２】 外部標定要素の表示例を示す説明図である。
【図１３】 ２台のカメラをステレオバーに取付けたステレオカメラ２Ｒ、２Ｌの説明図である。
【符号の説明】
１ チャート（キャリブレーション用チャート）
２Ｒ、２Ｌ ステレオカメラ
３ 画像データ記憶部
４ 抽出部
５ 概略マーク位置測定部
６ 精密マーク位置測定部
７ 演算処理部
８ 画像処理部
９ 表示部
１０ マーク座標記憶部
１１ レンズ収差補償パラメータ記憶部
１２ 外部標定要素記憶部
Claims (9)
- 少なくとも３箇所以上に設けられ、チャート上の位置が既知である第１マークと、該第１マークに対して外観上識別可能であり、前記第１マークより多くの箇所に設けられチャート上の位置が既知である第２マークを有するキャリブレーション用チャートを、異なる角度からカメラにより撮影した、少なくとも２枚のキャリブレーション用画像から前記第１マークを抽出する抽出部と；
前記抽出部にて抽出された前記第１マークを用いて求めた射影変換式のパラメータを用いて、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部と；
前記キャリブレーション用画像上の前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を検出する精密マーク位置測定部と；
前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する演算処理部と；
を備えるステレオ画像用処理装置。 - 前記第１マークの中心部分に前記第２マークと共通の図柄が描かれている、請求項１記載のステレオ画像用処理装置。
- 前記精密マーク位置測定部は、テンプレートマッチング又は重心位置検出の少なくとも一方を用いて、前記第２マーク位置を決定するように構成した請求項１又は請求項２に記載のステレオ画像用処理装置。
- 前記第１マークは、前記キャリブレーション用チャートを４区分に等分したときの各象限に分散して設けられている、請求項１ないし請求項３の何れか１項に記載のステレオ画像用処理装置。
- さらに前記第２マークにおける外部標定要素を表示する表示部を有する請求項１ないし請求項４の何れか１項に記載のステレオ画像用処理装置。
- 前記演算処理部は、当該第２マークにおける外部標定要素を算出する際に、精密マーク位置測定部によって位置が算出された第２マークのうち適切な第２マークを選択するように構成した請求項５に記載のステレオ画像用処理装置。
- 前記外部標定要素は、前記ステレオカメラの位置、傾き、基線長の少なくとも一つを含む請求項５又は請求項６に記載のステレオ画像用処理装置。
- さらに、前記ステレオカメラのレンズ収差を補償するためのキャリブレーション要素を算出する前記演算処理部と；
前記ステレオカメラで撮影された画像を前記レンズ収差の補償された画像に修正する画像処理部とを有する；
請求項１ないし請求項７の何れか１項に記載のステレオ画像用処理装置。 - 少なくとも３箇所以上に設けられ、チャート上の位置が既知である第１マークと、該第１マークに対して外観上識別可能であり、前記第１マークより多くの箇所に設けられチャート上の位置が既知である第２マークを有するキャリブレーション用チャートを、異なる角度からカメラにより撮影した、少なくとも２枚のキャリブレーション用画像から前記第１マークを抽出する第１のステップと；
前記抽出された前記第１マークを用いて求めた射影変換式のパラメータを用いて、 前記キャリブレーション用画像における前記第２マークの概略位置をもとめる第２のステップと；
前記キャリブレーション用画像上の前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を検出する第３のステップと；
前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記キャリブレーション用画像の外部標定要素を算出する第４のステップと；
を有するステレオ画像用処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002042970A JP4166988B2 (ja) | 2002-02-20 | 2002-02-20 | ステレオ画像用処理装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002042970A JP4166988B2 (ja) | 2002-02-20 | 2002-02-20 | ステレオ画像用処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003242485A JP2003242485A (ja) | 2003-08-29 |
| JP4166988B2 true JP4166988B2 (ja) | 2008-10-15 |
Family
ID=27782904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002042970A Expired - Fee Related JP4166988B2 (ja) | 2002-02-20 | 2002-02-20 | ステレオ画像用処理装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4166988B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4307934B2 (ja) | 2003-08-13 | 2009-08-05 | 株式会社トプコン | 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法 |
| JP2007225423A (ja) * | 2006-02-23 | 2007-09-06 | Basic Engineering:Kk | 変位測定装置 |
| JP4621214B2 (ja) * | 2007-01-17 | 2011-01-26 | 日本放送協会 | 立体画像撮像位置調整装置、立体画像撮像位置調整方法およびそのプログラムならびに立体画像撮影システム |
| JP5553493B2 (ja) * | 2008-08-27 | 2014-07-16 | 住友重機械工業株式会社 | 形状変化測定装置及び方法 |
| EP2236980B1 (en) * | 2009-03-31 | 2018-05-02 | Alcatel Lucent | A method for determining the relative position of a first and a second imaging device and devices therefore |
| TWI379224B (en) * | 2009-06-30 | 2012-12-11 | Cheng Uei Prec Ind Co Ltd | Optical positing apparatus and positing method thereof |
| JP5527710B2 (ja) * | 2009-10-19 | 2014-06-25 | 東京電力株式会社 | 校正用データ取得装置およびコンピュータプログラム |
| JP6167135B2 (ja) * | 2015-06-04 | 2017-07-19 | 株式会社大林組 | 三次元位置計測方法、測量方法、三次元位置計測装置及び三次元位置計測プログラム |
| CN113096227B (zh) * | 2021-04-01 | 2023-06-13 | 网易（杭州）网络有限公司 | 亮片的显示方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4453119B2 (ja) * | 1999-06-08 | 2010-04-21 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
-
2002
- 2002-02-20 JP JP2002042970A patent/JP4166988B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003242485A (ja) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4224260B2 (ja) | キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート | |
| JP4147059B2 (ja) | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 | |
| JP4270949B2 (ja) | キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法 | |
| JP4307934B2 (ja) | 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法 | |
| JP4909543B2 (ja) | 三次元計測システム及びその方法 | |
| JP5447963B2 (ja) | 立体マーカを利用した位置計測システム | |
| JPH10221072A (ja) | 写真測量システムおよび写真測量方法 | |
| JP5707185B2 (ja) | マルチカメラのキャリブレーション用全周フィールド | |
| CN107966100A (zh) | 基于相机阵列的测量方法及测量系统 | |
| JP4166988B2 (ja) | ステレオ画像用処理装置及び方法 | |
| EP1484576A2 (en) | Apparatus and method for calibrating zoom lens | |
| JP4764896B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
| CN113947638A (zh) | 鱼眼相机影像正射纠正方法 | |
| JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
| Louhichi et al. | Self-calibration of Scheimpflug cameras: an easy protocol | |
| CN114926538A (zh) | 单目激光散斑投影系统的外参数标定方法和装置 | |
| JP4112077B2 (ja) | 画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体 | |
| JP3696335B2 (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
| JP4536428B2 (ja) | ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置 | |
| JPH09210649A (ja) | 三次元計測装置 | |
| JPH04370704A (ja) | 物体の位置、角度等の固有情報の検出方法 | |
| JP2004340753A (ja) | キャリブレーションチャート画像表示装置 | |
| JP4282361B2 (ja) | 写真測量方法および写真測量プログラム | |
| Tian et al. | Improvement of camera calibration accuracy based on periodic arrangement characteristics of calibration target pattern | |
| Kainz et al. | Estimation of camera intrinsic matrix parameters and its utilization in the extraction of dimensional units |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080612 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080731 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4166988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |