JPH1153549A - 画像処理装置、画像処理方法、および、伝送媒体 - Google Patents
画像処理装置、画像処理方法、および、伝送媒体Info
- Publication number
- JPH1153549A JPH1153549A JP9207951A JP20795197A JPH1153549A JP H1153549 A JPH1153549 A JP H1153549A JP 9207951 A JP9207951 A JP 9207951A JP 20795197 A JP20795197 A JP 20795197A JP H1153549 A JPH1153549 A JP H1153549A
- Authority
- JP
- Japan
- Prior art keywords
- input
- reference image
- points
- calculating
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 ステレオ法において、対象点までの距離を正
確に測定する。 【解決手段】 基準カメラの画像面上の点ｎbの視線Ｌ
上の点Ａ，Ｂ，Ｄに対応する対応点ｎr0，ｎr2，ｎr1を
射影変換によって求める。そして、これらの対応点を結
ぶことにより形成されるエピポーララインＬ’上を検索
することにより、対象点Ｃに対応する対応点ｎrsを求め
る。更に、基準点から点Ａ，Ｂ，Ｄまでの距離Ｚ0，
Ｚ2，Ｚ1と対応点ｎr0，ｎr2，ｎr1の位置とから複比を
用いて、基準点から対象点Ｃまでの距離Ｚsを求める。
確に測定する。 【解決手段】 基準カメラの画像面上の点ｎbの視線Ｌ
上の点Ａ，Ｂ，Ｄに対応する対応点ｎr0，ｎr2，ｎr1を
射影変換によって求める。そして、これらの対応点を結
ぶことにより形成されるエピポーララインＬ’上を検索
することにより、対象点Ｃに対応する対応点ｎrsを求め
る。更に、基準点から点Ａ，Ｂ，Ｄまでの距離Ｚ0，
Ｚ2，Ｚ1と対応点ｎr0，ｎr2，ｎr1の位置とから複比を
用いて、基準点から対象点Ｃまでの距離Ｚsを求める。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置、画
像処理方法、および、伝送媒体に関し、特に、ステレオ
法に基づいて距離測定を行う画像処理装置、画像処理方
法、および、伝送媒体に関する。
像処理方法、および、伝送媒体に関し、特に、ステレオ
法に基づいて距離測定を行う画像処理装置、画像処理方
法、および、伝送媒体に関する。
【０００２】
【従来の技術】複数のカメラを用いて、対象までの距離
を測定する方法としては、ステレオ法が知られている。
ステレオ法は、複数の視点から撮影した画像を用いて、
シーン内の各点までの距離を三角測量の原理により測定
する方法である。
を測定する方法としては、ステレオ法が知られている。
ステレオ法は、複数の視点から撮影した画像を用いて、
シーン内の各点までの距離を三角測量の原理により測定
する方法である。
【０００３】図１２は、ステレオ法の概略を説明する図
である。この図に示すように、ステレオ法では、基準カ
メラと参照カメラの２台のカメラによって３次元シーン
を観察し、測定しようとする対象の３次元空間における
位置（基準点からの距離）を求める。
である。この図に示すように、ステレオ法では、基準カ
メラと参照カメラの２台のカメラによって３次元シーン
を観察し、測定しようとする対象の３次元空間における
位置（基準点からの距離）を求める。
【０００４】即ち、図１２に示す例では、３次元シーン
中の対象点Ｐが基準カメラによって観察される観察点ｎ
bと、参照カメラによって観察される観察点ｎrとを求め
る。そして、これらの観察点ｎb，ｎrから対象点Ｐの三
次元空間内の位置を求めることができる。
中の対象点Ｐが基準カメラによって観察される観察点ｎ
bと、参照カメラによって観察される観察点ｎrとを求め
る。そして、これらの観察点ｎb，ｎrから対象点Ｐの三
次元空間内の位置を求めることができる。
【０００５】観察点ｎbに対応する観察点ｎrを検出する
方法としては、エピポーラライン（Epipolar line）を
用いた方法がある。即ち、図１２に示すように、参照カ
メラの観察点ｎrは、両カメラの光学中心（光軸）と基
準カメラの観察点ｎbによって決まる平面と、参照カメ
ラの画像面が交わる直線上に存在する。この直線をエピ
ポーララインと呼ぶ。基準カメラと参照カメラの位置関
係が既知であれば、基準カメラの各観察点毎に参照カメ
ラの画像面上のエピポーララインを求めることができる
ので、このエピポーラライン上で対応点検索を行うこと
により、所望の対応点を検出することができる。
方法としては、エピポーラライン（Epipolar line）を
用いた方法がある。即ち、図１２に示すように、参照カ
メラの観察点ｎrは、両カメラの光学中心（光軸）と基
準カメラの観察点ｎbによって決まる平面と、参照カメ
ラの画像面が交わる直線上に存在する。この直線をエピ
ポーララインと呼ぶ。基準カメラと参照カメラの位置関
係が既知であれば、基準カメラの各観察点毎に参照カメ
ラの画像面上のエピポーララインを求めることができる
ので、このエピポーラライン上で対応点検索を行うこと
により、所望の対応点を検出することができる。
【０００６】一般的には、内部パラメータが等しい２台
のカメラを、お互いの光軸が平行でかつ画像面が同一面
上に存在するように配置すると、各カメラがラスタ走査
する際の走査線とエピポーララインとを一致させること
ができるので、結果として、アドレス変換などに必要な
計算を削減することが可能となる。
のカメラを、お互いの光軸が平行でかつ画像面が同一面
上に存在するように配置すると、各カメラがラスタ走査
する際の走査線とエピポーララインとを一致させること
ができるので、結果として、アドレス変換などに必要な
計算を削減することが可能となる。
【０００７】
【発明が解決しようとする課題】ところで、前述のよう
に、基準カメラと参照カメラを高精度に位置決めして配
置することは極めて困難であるので、精度よく測定を行
うことが出来ないという課題があった。
に、基準カメラと参照カメラを高精度に位置決めして配
置することは極めて困難であるので、精度よく測定を行
うことが出来ないという課題があった。
【０００８】また、基準カメラと参照カメラの撮影画像
の双方に含まれている範囲（どちらのカメラからでも観
察できる範囲）を広くするために輻輳をつけた場合（２
台のカメラの光軸が平行ではない場合）、エピポーララ
インと走査線とが一致しなくなるので、カメラの内部パ
ラメータと外部パラメータを正確に求めなければなら
ず、精度の高い測定が困難であるという課題があった。
の双方に含まれている範囲（どちらのカメラからでも観
察できる範囲）を広くするために輻輳をつけた場合（２
台のカメラの光軸が平行ではない場合）、エピポーララ
インと走査線とが一致しなくなるので、カメラの内部パ
ラメータと外部パラメータを正確に求めなければなら
ず、精度の高い測定が困難であるという課題があった。
【０００９】更に、基準カメラと参照カメラの内部パラ
メータが相互に異なっている場合においても、エピポー
ララインと走査線が一致しなくなるため、上述の場合と
同様にカメラの内部パラメータと外部パラメータとを正
確に求めなければならないという課題があった。
メータが相互に異なっている場合においても、エピポー
ララインと走査線が一致しなくなるため、上述の場合と
同様にカメラの内部パラメータと外部パラメータとを正
確に求めなければならないという課題があった。
【００１０】なお、内部パラメータと外部パラメータに
は以下のようなものである。
は以下のようなものである。
【００１１】内部パラメータ ｆ（focal length）、Ｃx，Ｃy（center of image plan
e）、ｓｘ（digitalscale factor）
e）、ｓｘ（digitalscale factor）
【００１２】外部パラメータ Ｒｘ，Ｒｙ，Ｒｚ（rotational angle）、Ｔｘ，Ｔｙ，
Ｔｚ（translational components）
Ｔｚ（translational components）
【００１３】従って、内部パラメータは個々のカメラ固
有の特性を示しており、また、外部パラメータは、３次
元空間内における２台のカメラの位置を示しているとい
うことができる。
有の特性を示しており、また、外部パラメータは、３次
元空間内における２台のカメラの位置を示しているとい
うことができる。
【００１４】ところで、これらの内部パラメータを正確
に求める方法としては、Tsaiの方法（「R.Y.Tsai,A ver
satile camera calibration technique for high accur
acy3D machine vision metrology using off-the shelf
TV cameras and lenses, IEEE journal of Robotics a
nd Automation, Vol.RA-3, no.4,pp.323-344, Aug.198
7」参照）が有名である。
に求める方法としては、Tsaiの方法（「R.Y.Tsai,A ver
satile camera calibration technique for high accur
acy3D machine vision metrology using off-the shelf
TV cameras and lenses, IEEE journal of Robotics a
nd Automation, Vol.RA-3, no.4,pp.323-344, Aug.198
7」参照）が有名である。
【００１５】しかしながら、この方法を実際に実行する
ためには、参照点が正確な位置に描かれた校正パターン
や参照点を正確に位置決めするための機構が必要になる
ため、正確な測定を行うためには装置が煩雑となるとい
う課題があった。
ためには、参照点が正確な位置に描かれた校正パターン
や参照点を正確に位置決めするための機構が必要になる
ため、正確な測定を行うためには装置が煩雑となるとい
う課題があった。
【００１６】本発明は、以上のような状況に鑑みてなさ
れたものであり、ステレオ法により対象点の位置を測定
する場合に、簡便な装置により正確な測定を行うことを
可能とするものである。
れたものであり、ステレオ法により対象点の位置を測定
する場合に、簡便な装置により正確な測定を行うことを
可能とするものである。
【００１７】
【課題を解決するための手段】請求項１に記載の画像処
理装置は、第１の画像処理装置から出力される基準画像
を入力する第１の入力手段と、第２の画像処理装置から
出力される参照画像を入力する第２の入力手段と、第１
の入力手段から入力された基準画像内の所定の点に対応
する視線上に存在する第１乃至第３のポイントまでのそ
れぞれの距離が入力される第３の入力手段と、第２の入
力手段から入力された参照画像上において、第１乃至第
３のポイントに対応する第１乃至第３の対応点を算出す
る第１の算出手段と、視線上に存在する、対象点に対応
する参照画像上の第４の対応点を算出する第２の算出手
段と、第１乃至第４の対応点と、第３の入力手段から入
力された第１乃至第３のポイントまでの距離を元にし
て、複比を演算することにより、対象点までの距離を算
出する第３の算出手段とを備えることを特徴とする。
理装置は、第１の画像処理装置から出力される基準画像
を入力する第１の入力手段と、第２の画像処理装置から
出力される参照画像を入力する第２の入力手段と、第１
の入力手段から入力された基準画像内の所定の点に対応
する視線上に存在する第１乃至第３のポイントまでのそ
れぞれの距離が入力される第３の入力手段と、第２の入
力手段から入力された参照画像上において、第１乃至第
３のポイントに対応する第１乃至第３の対応点を算出す
る第１の算出手段と、視線上に存在する、対象点に対応
する参照画像上の第４の対応点を算出する第２の算出手
段と、第１乃至第４の対応点と、第３の入力手段から入
力された第１乃至第３のポイントまでの距離を元にし
て、複比を演算することにより、対象点までの距離を算
出する第３の算出手段とを備えることを特徴とする。
【００１８】請求項３に記載の画像処理方法は、第１の
画像処理装置から出力される基準画像を入力する第１の
入力ステップと、第２の画像処理装置から出力される参
照画像を入力する第２の入力ステップと、第１の入力ス
テップから入力された基準画像内の所定の点に対応する
視線上に存在する第１乃至第３のポイントまでのそれぞ
れの距離が入力される第３の入力ステップと、第２の入
力ステップから入力された参照画像上において、第１乃
至第３のポイントに対応する第１乃至第３の対応点を算
出する第１の算出ステップと、視線上に存在する、対象
点に対応する参照画像上の第４の対応点を算出する第２
の算出ステップと、第１乃至第４の対応点と、第３の入
力ステップから入力された第１乃至第３のポイントまで
の距離を元にして、複比を演算することにより、対象点
までの距離を算出する第３の算出ステップとを備えるこ
とを特徴とする。
画像処理装置から出力される基準画像を入力する第１の
入力ステップと、第２の画像処理装置から出力される参
照画像を入力する第２の入力ステップと、第１の入力ス
テップから入力された基準画像内の所定の点に対応する
視線上に存在する第１乃至第３のポイントまでのそれぞ
れの距離が入力される第３の入力ステップと、第２の入
力ステップから入力された参照画像上において、第１乃
至第３のポイントに対応する第１乃至第３の対応点を算
出する第１の算出ステップと、視線上に存在する、対象
点に対応する参照画像上の第４の対応点を算出する第２
の算出ステップと、第１乃至第４の対応点と、第３の入
力ステップから入力された第１乃至第３のポイントまで
の距離を元にして、複比を演算することにより、対象点
までの距離を算出する第３の算出ステップとを備えるこ
とを特徴とする。
【００１９】請求項４に記載の伝送媒体は、第１の画像
処理装置から出力される基準画像を入力する第１の入力
ステップと、第２の画像処理装置から出力される参照画
像を入力する第２の入力ステップと、第１の入力ステッ
プから入力された基準画像内の所定の点に対応する視線
上に存在する第１乃至第３のポイントまでのそれぞれの
距離が入力される第３の入力ステップと、第２の入力ス
テップから入力された参照画像上において、第１乃至第
３のポイントに対応する第１乃至第３の対応点を算出す
る第１の算出ステップと、視線上に存在する、対象点に
対応する参照画像上の第４の対応点を算出する第２の算
出ステップと、第１乃至第４の対応点と、第３の入力ス
テップから入力された第１乃至第３のポイントまでの距
離を元にして、複比を演算することにより、対象点まで
の距離を算出する第３の算出ステップとを備えるコンピ
ュータプログラムを伝送する。
処理装置から出力される基準画像を入力する第１の入力
ステップと、第２の画像処理装置から出力される参照画
像を入力する第２の入力ステップと、第１の入力ステッ
プから入力された基準画像内の所定の点に対応する視線
上に存在する第１乃至第３のポイントまでのそれぞれの
距離が入力される第３の入力ステップと、第２の入力ス
テップから入力された参照画像上において、第１乃至第
３のポイントに対応する第１乃至第３の対応点を算出す
る第１の算出ステップと、視線上に存在する、対象点に
対応する参照画像上の第４の対応点を算出する第２の算
出ステップと、第１乃至第４の対応点と、第３の入力ス
テップから入力された第１乃至第３のポイントまでの距
離を元にして、複比を演算することにより、対象点まで
の距離を算出する第３の算出ステップとを備えるコンピ
ュータプログラムを伝送する。
【００２０】請求項１に記載の画像処理装置、請求項３
に記載の画像処理方法、および、請求項４に記載の伝送
媒体においては、第１の画像処理装置から出力される基
準画像を入力し、第２の画像処理装置から出力される参
照画像を入力し、入力された基準画像内の所定の点に対
応する視線上に存在する第１乃至第３のポイントまでの
それぞれの距離が入力され、入力された参照画像上にお
いて、第１乃至第３のポイントに対応する第１乃至第３
の対応点を算出し、視線上に存在する対象点に対応する
参照画像上の第４の対応点を算出し、第１乃至第４の対
応点と、第１乃至第３のポイントまでの距離を元にし
て、複比により対象点までの距離を算出する。例えば、
第１の画像処理装置から出力される基準画像を入力し、
第２の画像処理装置から出力される参照画像を入力し、
入力された基準画像内の所定の点に対応する視線上に存
在する第１乃至第３のポイントまでのそれぞれの距離が
キーボードなどから入力され、入力された参照画像上に
おいて、第１乃至第３のポイントに対応する第１乃至第
３の対応点が射影変換により算出され、視線上に存在す
る対象点に対応する参照画像上の第４の対応点をエピポ
ーラライン上を検索することにより算出し、第１乃至第
４の対応点と、第１乃至第３のポイントまでの距離を元
にして、複比により対象点までの距離を算出する。
に記載の画像処理方法、および、請求項４に記載の伝送
媒体においては、第１の画像処理装置から出力される基
準画像を入力し、第２の画像処理装置から出力される参
照画像を入力し、入力された基準画像内の所定の点に対
応する視線上に存在する第１乃至第３のポイントまでの
それぞれの距離が入力され、入力された参照画像上にお
いて、第１乃至第３のポイントに対応する第１乃至第３
の対応点を算出し、視線上に存在する対象点に対応する
参照画像上の第４の対応点を算出し、第１乃至第４の対
応点と、第１乃至第３のポイントまでの距離を元にし
て、複比により対象点までの距離を算出する。例えば、
第１の画像処理装置から出力される基準画像を入力し、
第２の画像処理装置から出力される参照画像を入力し、
入力された基準画像内の所定の点に対応する視線上に存
在する第１乃至第３のポイントまでのそれぞれの距離が
キーボードなどから入力され、入力された参照画像上に
おいて、第１乃至第３のポイントに対応する第１乃至第
３の対応点が射影変換により算出され、視線上に存在す
る対象点に対応する参照画像上の第４の対応点をエピポ
ーラライン上を検索することにより算出し、第１乃至第
４の対応点と、第１乃至第３のポイントまでの距離を元
にして、複比により対象点までの距離を算出する。
【００２１】
【発明の実施の形態】図１は、本発明の実施の形態の構
成例について説明する図である。この図において、ワー
クステーション１０は、ＣＰＵ１０ａ（第１の算出手
段、第２の算出手段、第３の算出手段）、ＲＯＭ１０
ｂ、ＲＡＭ１０ｃ、および、ＩＦ１０ｄ（第１の入力手
段、第２の入力手段）により構成されており、基準カメ
ラ３０および参照カメラ３１から出力された画像信号に
対して所定の処理を施すようになされている。
成例について説明する図である。この図において、ワー
クステーション１０は、ＣＰＵ１０ａ（第１の算出手
段、第２の算出手段、第３の算出手段）、ＲＯＭ１０
ｂ、ＲＡＭ１０ｃ、および、ＩＦ１０ｄ（第１の入力手
段、第２の入力手段）により構成されており、基準カメ
ラ３０および参照カメラ３１から出力された画像信号に
対して所定の処理を施すようになされている。
【００２２】ＣＰＵ１０ａは、装置の各部を制御すると
ともに、プログラムに応じて所定の演算を行うようにな
されている。ＲＯＭ１０ｂは、ＣＰＵ１０ａが実行する
プログラムや各種データなどを格納している。ＲＡＭ１
０ｃは、ＣＰＵ１０ａが各種処理を実行する際の演算途
中のデータやプログラムなどを格納するようになされて
いる。ＩＦ１０ｄは、外部装置との間でデータを授受す
る場合において、データの表現形式を適宜変換するよう
になされている。
ともに、プログラムに応じて所定の演算を行うようにな
されている。ＲＯＭ１０ｂは、ＣＰＵ１０ａが実行する
プログラムや各種データなどを格納している。ＲＡＭ１
０ｃは、ＣＰＵ１０ａが各種処理を実行する際の演算途
中のデータやプログラムなどを格納するようになされて
いる。ＩＦ１０ｄは、外部装置との間でデータを授受す
る場合において、データの表現形式を適宜変換するよう
になされている。
【００２３】ＣＲＴモニタ２０は、ワークステーション
１０から出力された画像を表示出力するようになされて
いる。ＨＤＤ２１は、基準カメラ３０および参照カメラ
３１から出力された画像信号や各種プログラム等を記録
または再生するようになされている。
１０から出力された画像を表示出力するようになされて
いる。ＨＤＤ２１は、基準カメラ３０および参照カメラ
３１から出力された画像信号や各種プログラム等を記録
または再生するようになされている。
【００２４】基準カメラ３０と参照カメラ３１は、被写
体の光画像を対応する電気信号（画像信号）に変換して
出力するようになされている。
体の光画像を対応する電気信号（画像信号）に変換して
出力するようになされている。
【００２５】なお、複数の参照カメラを設け、その中か
ら所望の画像のみを選択して用いるようにしてもよい。
ら所望の画像のみを選択して用いるようにしてもよい。
【００２６】以下では、以上の実施の形態の動作につい
て説明する前に、本実施の形態の動作原理について説明
する。
て説明する前に、本実施の形態の動作原理について説明
する。
【００２７】図２は、本発明の動作原理を説明する図で
ある。
ある。
【００２８】本発明では、射影変換を用いて、参照画像
を基準画像に変換した後、双方の画像の対応する位置か
ら対象点までの距離を算出するようになされている。
を基準画像に変換した後、双方の画像の対応する位置か
ら対象点までの距離を算出するようになされている。
【００２９】即ち、３次元空間に置かれた平面を２台の
カメラ（ステレオペアカメラ）で観察した場合、対応点
のカメラ座標は射影変換により相互に変換可能である
（「金谷，“画像理解，”森北出版，１９９０」参
照）。つまり、図２に示すように、３次元空間に置かれ
た平面上の点Ｐが基準カメラ３０の画像（以下、基準画
像と適宜略記する）でｎbに観察され、参照カメラ３１
の画像（以下、参照画像と適宜略記する）でｎrに観察
されたとすると、ｎbからｎrへの変換を３×３の射影変
換行列をＨとすると、以下のように示すことができる。
カメラ（ステレオペアカメラ）で観察した場合、対応点
のカメラ座標は射影変換により相互に変換可能である
（「金谷，“画像理解，”森北出版，１９９０」参
照）。つまり、図２に示すように、３次元空間に置かれ
た平面上の点Ｐが基準カメラ３０の画像（以下、基準画
像と適宜略記する）でｎbに観察され、参照カメラ３１
の画像（以下、参照画像と適宜略記する）でｎrに観察
されたとすると、ｎbからｎrへの変換を３×３の射影変
換行列をＨとすると、以下のように示すことができる。
【００３０】
【数１】
【００３１】ここでは、射影幾何における斉次座標系を
用いているので、画像平面上の２次元の点は（ｘ，ｙ，
ｗ）と表され、画像面上の直交座標系では（ｘ／ｗ，ｙ
／ｗ）と表される。従って、式（１）は、以下のように
表すことができる。
用いているので、画像平面上の２次元の点は（ｘ，ｙ，
ｗ）と表され、画像面上の直交座標系では（ｘ／ｗ，ｙ
／ｗ）と表される。従って、式（１）は、以下のように
表すことができる。
【００３２】
【数２】
【００３３】また、画像座標では、射影変換は以下のよ
うに表すことができる。
うに表すことができる。
【００３４】
【数３】
【００３５】
【数４】
【００３６】ここで、ｉは、画像を構成する画素の番号
を示しており、例えば、１画面が６４０×４８０個の画
素から構成されている画像では、ｉは０乃至６４０×４
８０の値を取る。
を示しており、例えば、１画面が６４０×４８０個の画
素から構成されている画像では、ｉは０乃至６４０×４
８０の値を取る。
【００３７】射影変換行列Ｈは、ｍ0乃至ｍ8の合計９個
のパラメータより構成されている。しかしながら、スケ
ール因子に自由度が残るので、自由度は８となる。ま
た、射影変換行列Ｈは、カメラの内部パラメータ、外部
パラメータ、および、平面の方程式を暗黙的に含んだ行
列である。
のパラメータより構成されている。しかしながら、スケ
ール因子に自由度が残るので、自由度は８となる。ま
た、射影変換行列Ｈは、カメラの内部パラメータ、外部
パラメータ、および、平面の方程式を暗黙的に含んだ行
列である。
【００３８】図３は、射影変換を施す対象となるテキス
チャとカメラとの関係を示す図である。この図において
は、基準点（所定の位置に選んでよい）からある距離Ｚ
0だけ離れた位置に設置した１枚の平面を、相互に位置
関係が固定された複数のカメラにより撮像するようにな
されている。なお、平面のカメラ側の面には、所定のテ
キスチャが形成されている。
チャとカメラとの関係を示す図である。この図において
は、基準点（所定の位置に選んでよい）からある距離Ｚ
0だけ離れた位置に設置した１枚の平面を、相互に位置
関係が固定された複数のカメラにより撮像するようにな
されている。なお、平面のカメラ側の面には、所定のテ
キスチャが形成されている。
【００３９】中央のカメラを基準カメラ、その他を参照
カメラとし、参照カメラのうちの何れか１つの画像と、
基準カメラの画像とを組み合わせてステレオペアを形成
する。
カメラとし、参照カメラのうちの何れか１つの画像と、
基準カメラの画像とを組み合わせてステレオペアを形成
する。
【００４０】このとき、基準カメラの画像（基準画像）
と、例えば、右端の参照カメラの画像（参照画像）は、
図４（Ａ）のようになる。
と、例えば、右端の参照カメラの画像（参照画像）は、
図４（Ａ）のようになる。
【００４１】このとき、参照画像に対して所定の射影変
換を施し、これらの画像間の輝度の誤差が最初となるよ
うな射影変換行列Ｈを算出する。このような射影変換行
列Ｈを求めることにより、基準画像の任意の点に対応す
る対応点を参照画像上から検索することが可能となる。
なお、本実施の形態においては、変換後の参照画像と、
基準画像とが正確に一致する射影変換行列Ｈを求める方
法（画像合わせ込み方法）としては、Levenberg-Marqua
rdt最小化法（以下、Ｌ−Ｍ法と略記する）を用いてい
る。以下にその詳細について説明する。
換を施し、これらの画像間の輝度の誤差が最初となるよ
うな射影変換行列Ｈを算出する。このような射影変換行
列Ｈを求めることにより、基準画像の任意の点に対応す
る対応点を参照画像上から検索することが可能となる。
なお、本実施の形態においては、変換後の参照画像と、
基準画像とが正確に一致する射影変換行列Ｈを求める方
法（画像合わせ込み方法）としては、Levenberg-Marqua
rdt最小化法（以下、Ｌ−Ｍ法と略記する）を用いてい
る。以下にその詳細について説明する。
【００４２】基準画像をＩ、参照画像をＩ’とし、基準
画像Ｉ上の座標ｘ，ｙにおける第ｉ番目の画素をＩ（ｘ
i，ｙi）、また、参照画像Ｉ’上の座標ｘ’，ｙ’にお
ける第ｉ番目の画素をＩ’（ｘ’i，ｙ’i）とする。こ
のとき、第ｉ番目の画素の輝度誤差をｅiとすると、画
像全体の輝度誤差Ｅは、次の式（５）により表すことが
できる。
画像Ｉ上の座標ｘ，ｙにおける第ｉ番目の画素をＩ（ｘ
i，ｙi）、また、参照画像Ｉ’上の座標ｘ’，ｙ’にお
ける第ｉ番目の画素をＩ’（ｘ’i，ｙ’i）とする。こ
のとき、第ｉ番目の画素の輝度誤差をｅiとすると、画
像全体の輝度誤差Ｅは、次の式（５）により表すことが
できる。
【００４３】
【数５】
【００４４】このＥを最小化する射影変換行列を求めれ
ば、画像の合わせ込み、即ち、基準画像と参照画像との
関係式を導出することができる。
ば、画像の合わせ込み、即ち、基準画像と参照画像との
関係式を導出することができる。
【００４５】即ち、画像全体の輝度誤差Ｅは、未知パラ
メータ｛ｍ0，ｍ1，・・・，ｍ7｝によるｅiの偏微分を
用いて導出する。前述したように、射影行列Ｈの自由度
は８であるから、ここではｍ8＝１とする。すると、第
ｋ番目のパラメータｍkによるｅiの偏微分は、以下の式
により表すことができる。
メータ｛ｍ0，ｍ1，・・・，ｍ7｝によるｅiの偏微分を
用いて導出する。前述したように、射影行列Ｈの自由度
は８であるから、ここではｍ8＝１とする。すると、第
ｋ番目のパラメータｍkによるｅiの偏微分は、以下の式
により表すことができる。
【００４６】
【数６】
【００４７】この式を、それぞれの未知パラメータによ
り実際に偏微分を行ったものを以下の式（７）乃至（１
４）に示す。
り実際に偏微分を行ったものを以下の式（７）乃至（１
４）に示す。
【００４８】
【数７】
【００４９】
【数８】
【００５０】
【数９】
【００５１】
【数１０】
【００５２】
【数１１】
【００５３】
【数１２】
【００５４】
【数１３】
【００５５】
【数１４】
【００５６】但し、Ｄi＝ｍ6・ｘi＋ｍ7・ｙi＋１にお
いて、（ Ｉ’／ ｘ’， Ｉ’／ｙ’）は、Ｉ’の
（ｘ’i，ｙ’i）における輝度値の勾配（Gradient）で
ある。これらの偏微分から、Ｌ−Ｍ法では近似Hessian
Matrix A（以下、行列Ａと略記する）と、Weighted gra
dient vector b（以下、ベクトルｂと略記する）を計算
する。なお、行列Ａとベクトルｂのそれぞれの構成要素
は、次のように表すことができる。
いて、（ Ｉ’／ ｘ’， Ｉ’／ｙ’）は、Ｉ’の
（ｘ’i，ｙ’i）における輝度値の勾配（Gradient）で
ある。これらの偏微分から、Ｌ−Ｍ法では近似Hessian
Matrix A（以下、行列Ａと略記する）と、Weighted gra
dient vector b（以下、ベクトルｂと略記する）を計算
する。なお、行列Ａとベクトルｂのそれぞれの構成要素
は、次のように表すことができる。
【００５７】
【数１５】
【００５８】
【数１６】
【００５９】そして、画像全体の輝度誤差Ｅの値が減少
したか否かに応じて、行列Ａとベクトルｂを用いた次式
に示すΔｍだけ未知パラメータｍの値を更新する。
したか否かに応じて、行列Ａとベクトルｂを用いた次式
に示すΔｍだけ未知パラメータｍの値を更新する。
【００６０】
【数１７】
【００６１】ここで、λは、time-varying stabilizati
on parameterである。
on parameterである。
【００６２】以上のような処理を誤差の変化がなくなる
（実際には、誤差の減少分が所定の閾値以下になる）ま
で繰り返すことにより、射影変換行列Ｈの未知のパラメ
ータｍ0乃至ｍ7を求めることができる。
（実際には、誤差の減少分が所定の閾値以下になる）ま
で繰り返すことにより、射影変換行列Ｈの未知のパラメ
ータｍ0乃至ｍ7を求めることができる。
【００６３】以上のようにして求めた射影変換行列Ｈを
用いて、次に、エピポーララインを求める。
用いて、次に、エピポーララインを求める。
【００６４】図５は、エピポーララインを求める方法を
説明する図である。射影変換行列Ｈ0が決まると、距離
Ｚ0における基準画像上の点ｎbに対応する参照画像上の
点ｎr 0が決定できる。点ｎbは任意であるので、その結
果、基準画像上の全ての点に対応する対応点を算出する
ことができる。
説明する図である。射影変換行列Ｈ0が決まると、距離
Ｚ0における基準画像上の点ｎbに対応する参照画像上の
点ｎr 0が決定できる。点ｎbは任意であるので、その結
果、基準画像上の全ての点に対応する対応点を算出する
ことができる。
【００６５】同様にして、観察する平面を距離Ｚ1の位
置に、距離Ｚ0の位置に置かれていた平面と平行になる
ように置いた場合の射影変換行列Ｈ1を求める。
置に、距離Ｚ0の位置に置かれていた平面と平行になる
ように置いた場合の射影変換行列Ｈ1を求める。
【００６６】求めた射影変換行列Ｈ0，Ｈ1により、基準
画像上の観察点ｎbは、対象が距離Ｚ0または距離Ｚ1に
ある場合には、参照画像上のｎr0，ｎr1にそれぞれ射影
されることが分かる。従って、参照画像上の２点ｎr0，
ｎr1を結んだ線分がエピポーララインとなる。
画像上の観察点ｎbは、対象が距離Ｚ0または距離Ｚ1に
ある場合には、参照画像上のｎr0，ｎr1にそれぞれ射影
されることが分かる。従って、参照画像上の２点ｎr0，
ｎr1を結んだ線分がエピポーララインとなる。
【００６７】ところで、実際の対象物の距離を測定する
場合においては、基準画像上の所定の点に対応する点
（対応点）をエピポーラライン上で探索し、検出された
対応点の位置（視差）を、３次元空間における実際の距
離に変換する必要がある。しかし、本実施の形態におい
ては射影変換を用いているので、視差と実際の距離とは
正比例しない。従って、この視差を距離に変換する変換
式を求めるために、本実施の形態においては、距離
Ｚ0，Ｚ1とは異なる距離Ｚ2に前述の平面を再度設置し
てｎr2を求め、これらｎr0，ｎr1，ｎr2から複比を用い
て視差と距離の変換を行うようにしている。
場合においては、基準画像上の所定の点に対応する点
（対応点）をエピポーラライン上で探索し、検出された
対応点の位置（視差）を、３次元空間における実際の距
離に変換する必要がある。しかし、本実施の形態におい
ては射影変換を用いているので、視差と実際の距離とは
正比例しない。従って、この視差を距離に変換する変換
式を求めるために、本実施の形態においては、距離
Ｚ0，Ｚ1とは異なる距離Ｚ2に前述の平面を再度設置し
てｎr2を求め、これらｎr0，ｎr1，ｎr2から複比を用い
て視差と距離の変換を行うようにしている。
【００６８】以下では、複比について説明する。
【００６９】図６は、複比を説明するための図である。
この図に示すように、３次元空間内の線分Ｌが画像面上
の線分Ｌ’に投影されているとする。このとき、線分Ｌ
上の４点Ａ，Ｂ，Ｃ，Ｄは、それぞれ、線分Ｌ’上の
Ａ’，Ｂ’，Ｃ’，Ｄ’に投影されているものとする。
また、これらの線分Ｌ，Ｌ’を観察する視点Ｏと、線分
Ｌ，Ｌ’とは同一平面上に配置されている。換言する
と、点Ａ，Ｂ，Ｃ，Ｄ，Ａ’，Ｂ’，Ｃ’，Ｄ’と視点
Ｏとは、同一の平面上に配置されている。これらの平面
上における位置関係を書き直すと、図７のようになる。
この図に示すように、３次元空間内の線分Ｌが画像面上
の線分Ｌ’に投影されているとする。このとき、線分Ｌ
上の４点Ａ，Ｂ，Ｃ，Ｄは、それぞれ、線分Ｌ’上の
Ａ’，Ｂ’，Ｃ’，Ｄ’に投影されているものとする。
また、これらの線分Ｌ，Ｌ’を観察する視点Ｏと、線分
Ｌ，Ｌ’とは同一平面上に配置されている。換言する
と、点Ａ，Ｂ，Ｃ，Ｄ，Ａ’，Ｂ’，Ｃ’，Ｄ’と視点
Ｏとは、同一の平面上に配置されている。これらの平面
上における位置関係を書き直すと、図７のようになる。
【００７０】この図において、ＯＡ＝ａ，ＯＢ＝ｂ，Ｏ
Ｃ＝ｃ，ＯＤ＝ｄとおき、更に ＡＯＣ＝α， ＢＯＣ
＝β， ＡＯＤ＝γ， ＢＯＤ＝δとおくと、これらの
間の関係は、以下の式により表すことができる。
Ｃ＝ｃ，ＯＤ＝ｄとおき、更に ＡＯＣ＝α， ＢＯＣ
＝β， ＡＯＤ＝γ， ＢＯＤ＝δとおくと、これらの
間の関係は、以下の式により表すことができる。
【００７１】
【数１８】
【００７２】
【数１９】
【００７３】
【数２０】
【００７４】従って、式（１９）と式（２０）を式（１
８）に代入すると、以下の式を得る。
８）に代入すると、以下の式を得る。
【００７５】
【数２１】
【００７６】同様の計算をＡＤとＢＤに対して施すと、
以下の式を得る。
以下の式を得る。
【００７７】
【数２２】
【００７８】式（２１）を式（２２）により除算するこ
とにより、以下の式（２３）を得る。
とにより、以下の式（２３）を得る。
【００７９】
【数２３】
【００８０】以上の式（１８）乃至式（２３）の計算と
同様の計算を、Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’
Ｄ’に対して行うことにより、以下の式を得る。
同様の計算を、Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’
Ｄ’に対して行うことにより、以下の式を得る。
【００８１】
【数２４】
【００８２】これら、式（２３）と式（２４）とから、
以下の式を得る。
以下の式を得る。
【００８３】
【数２５】
【００８４】以上の複比を用いて、以下のような手順に
より、所望の対象点の３次元空間内における基準点から
の距離を求める。
より、所望の対象点の３次元空間内における基準点から
の距離を求める。
【００８５】いま、図７において、線分Ｌを基準画像上
の点ｎbの視線に対応させ、また、線分Ｌ’をエピポー
ララインに対応させるとする。更に、点Ａ，Ｂ，Ｄをそ
れぞれ距離Ｚ0，Ｚ2，Ｚ1の３次元空間内の点に対応さ
せ、また、点Ａ’，Ｂ’，Ｄ’を、射影変換行列Ｈ0，
Ｈ2，Ｈ1でそれぞれ求めることができる参照画像上の点
ｎr0，ｎr2，ｎr1に対応させるとする。これらの関係を
改めて作図しなおしたのが図８である。
の点ｎbの視線に対応させ、また、線分Ｌ’をエピポー
ララインに対応させるとする。更に、点Ａ，Ｂ，Ｄをそ
れぞれ距離Ｚ0，Ｚ2，Ｚ1の３次元空間内の点に対応さ
せ、また、点Ａ’，Ｂ’，Ｄ’を、射影変換行列Ｈ0，
Ｈ2，Ｈ1でそれぞれ求めることができる参照画像上の点
ｎr0，ｎr2，ｎr1に対応させるとする。これらの関係を
改めて作図しなおしたのが図８である。
【００８６】いま、距離Ｚsだけ離れた位置に、対象点
Ｃが配置されているとする。このとき、エピポーラライ
ンＬ’上を探索して得られた対応点がｎrsであるとする
と、式（２５）の各線分の値は、以下のようになる。
Ｃが配置されているとする。このとき、エピポーラライ
ンＬ’上を探索して得られた対応点がｎrsであるとする
と、式（２５）の各線分の値は、以下のようになる。
【００８７】
【数２６】
【００８８】従って、式（２６）を式（２５）に代入す
ることにより、基準点から対象点Ｃまでの距離Ｚ3を求
めることができる。ところで、実際の距離は線分Ｌに沿
ったものではないが、別の線分に正射影されているの
で、各距離の比は正比例の関係となるので大きな問題は
生じない。例えば、図８においては、ＡＤは光軸に正射
影したＡcＤcの長さである。
ることにより、基準点から対象点Ｃまでの距離Ｚ3を求
めることができる。ところで、実際の距離は線分Ｌに沿
ったものではないが、別の線分に正射影されているの
で、各距離の比は正比例の関係となるので大きな問題は
生じない。例えば、図８においては、ＡＤは光軸に正射
影したＡcＤcの長さである。
【００８９】また、以上の例では、ＡＤ間の内挿の場合
（対象点ＣがＡＤの内側に存在する場合）について説明
したが、外挿の場合（対象点がＡＤの外側に存在する場
合）においても可能であることはいうまでもない。
（対象点ＣがＡＤの内側に存在する場合）について説明
したが、外挿の場合（対象点がＡＤの外側に存在する場
合）においても可能であることはいうまでもない。
【００９０】次に、以上の説明を踏まえたうえで、図１
に示す本発明の実施の形態の動作について図９に示すフ
ローチャートを参照して説明する。
に示す本発明の実施の形態の動作について図９に示すフ
ローチャートを参照して説明する。
【００９１】この処理は、図１に示す実施の形態におい
て実行される処理の一例を説明するフローチャートであ
る。この処理が実行されると、ステップＳ１において、
ＣＰＵ１０ａは、距離Ｚ0における基準画像と参照画像
を基準カメラ３０と参照カメラ３１からそれぞれ入力す
る。即ち、ＣＰＵ１０ａは、図８に示す距離Ｚ0の位置
に、基準カメラ３０の光軸と垂直となるように配置され
た平面を、基準カメラ３０と参照カメラ３１により撮影
させ、得られた画像をＩＦ１０ｄを介して読み込む。
て実行される処理の一例を説明するフローチャートであ
る。この処理が実行されると、ステップＳ１において、
ＣＰＵ１０ａは、距離Ｚ0における基準画像と参照画像
を基準カメラ３０と参照カメラ３１からそれぞれ入力す
る。即ち、ＣＰＵ１０ａは、図８に示す距離Ｚ0の位置
に、基準カメラ３０の光軸と垂直となるように配置され
た平面を、基準カメラ３０と参照カメラ３１により撮影
させ、得られた画像をＩＦ１０ｄを介して読み込む。
【００９２】ステップＳ２では、前述した式（５）乃至
（１７）を用いて、得られた基準カメラ３０の画像と、
参照カメラ３１の画像を処理し、射影変換行列Ｈ0を求
める。なお、この処理の詳細については、図１０を参照
して後述する。
（１７）を用いて、得られた基準カメラ３０の画像と、
参照カメラ３１の画像を処理し、射影変換行列Ｈ0を求
める。なお、この処理の詳細については、図１０を参照
して後述する。
【００９３】ステップＳ３では、ＣＰＵ１０ａは、図８
に示す距離Ｚ1の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
に示す距離Ｚ1の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
【００９４】ステップＳ４では、射影変換行列Ｈ1が算
出される。そして、ステップＳ５に進む。
出される。そして、ステップＳ５に進む。
【００９５】ステップＳ５では、ＣＰＵ１０ａは、図８
に示す距離Ｚ2の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
に示す距離Ｚ2の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
【００９６】そして、ステップＳ６において、射影変換
行列Ｈ2を算出し、処理を終了する（エンド）。
行列Ｈ2を算出し、処理を終了する（エンド）。
【００９７】次に、図１０を参照して、ステップＳ２，
Ｓ４，Ｓ６に示す射影変換行列を求める処理の詳細につ
いて説明する。
Ｓ４，Ｓ６に示す射影変換行列を求める処理の詳細につ
いて説明する。
【００９８】この処理が実行（コール）されると、ＣＰ
Ｕ１０ａは、ステップＳ１９において、変数ｔを値０に
初期設定する。そして、ステップＳ２０において、変数
ｊと変数ｋを値０にそれぞれ初期設定し、また、変数λ
を値１に初期設定する。そして、ステップＳ２１に進
む。
Ｕ１０ａは、ステップＳ１９において、変数ｔを値０に
初期設定する。そして、ステップＳ２０において、変数
ｊと変数ｋを値０にそれぞれ初期設定し、また、変数λ
を値１に初期設定する。そして、ステップＳ２１に進
む。
【００９９】ステップＳ２１では、ＣＰＵ１０ａは、変
数ｉと変数Ｅを値０にそれぞれ初期設定する。そして、
ステップＳ２２に進む。
数ｉと変数Ｅを値０にそれぞれ初期設定する。そして、
ステップＳ２２に進む。
【０１００】ステップＳ２２では、ＣＰＵ１０ａは、第
ｉ番目の画素の輝度誤差ｅiを算出する。即ち、式
（５）に示すように、参照画像Ｉ’の第ｉ番目の画素の
値（画素値）から、基準画像Ｉの第ｉ番目の画素値を減
算してｅiを求める。
ｉ番目の画素の輝度誤差ｅiを算出する。即ち、式
（５）に示すように、参照画像Ｉ’の第ｉ番目の画素の
値（画素値）から、基準画像Ｉの第ｉ番目の画素値を減
算してｅiを求める。
【０１０１】続くステップＳ２３では、ＣＰＵ１０ａ
は、参照画像Ｉ’をｘとｙにより偏微分した結果である
（ Ｉ’／ ｘ）と（ Ｉ’／ ｙ）をそれぞれ求め
る。そして、ステップＳ２４に進む。
は、参照画像Ｉ’をｘとｙにより偏微分した結果である
（ Ｉ’／ ｘ）と（ Ｉ’／ ｙ）をそれぞれ求め
る。そして、ステップＳ２４に進む。
【０１０２】ステップＳ２４では、ＣＰＵ１０ａは（
ｅi／ ｍk）（ｋ＝０，１，・・・，７）を算出する。
即ち、ＣＰＵ１０ａは、ステップＳ２４において算出し
た（Ｉ’／ ｘ）と（ Ｉ’／ ｙ）を、式（７）乃至
式（１４）に代入することにより、 ｅi／ ｍkを算出
する。
ｅi／ ｍk）（ｋ＝０，１，・・・，７）を算出する。
即ち、ＣＰＵ１０ａは、ステップＳ２４において算出し
た（Ｉ’／ ｘ）と（ Ｉ’／ ｙ）を、式（７）乃至
式（１４）に代入することにより、 ｅi／ ｍkを算出
する。
【０１０３】続くステップＳ２５では、ＣＰＵ１０ａ
は、マトリクスＡとベクトルｂとをそれぞれ計算する。
即ち、ＣＰＵ１０ａは、式（１５）と式（１６）に応じ
て、式（７）乃至式（１４）の結果を累積加算する。そ
して、ステップＳ２６に進む。
は、マトリクスＡとベクトルｂとをそれぞれ計算する。
即ち、ＣＰＵ１０ａは、式（１５）と式（１６）に応じ
て、式（７）乃至式（１４）の結果を累積加算する。そ
して、ステップＳ２６に進む。
【０１０４】ステップＳ２６では、ＣＰＵ１０ａは、変
数Ｅに対して、第ｉ番目の画素の輝度誤差を２乗した値
を加算する。その結果、変数Ｅには各画素の輝度誤差を
２乗した値が累積加算されていくことになるので、最終
的には変数Ｅには全画素の輝度誤差の２乗和が格納され
ることになる。
数Ｅに対して、第ｉ番目の画素の輝度誤差を２乗した値
を加算する。その結果、変数Ｅには各画素の輝度誤差を
２乗した値が累積加算されていくことになるので、最終
的には変数Ｅには全画素の輝度誤差の２乗和が格納され
ることになる。
【０１０５】ステップＳ２７では、ＣＰＵ１０ａは、変
数ｉの値を１だけインクリメントし、ステップＳ２８に
進む。
数ｉの値を１だけインクリメントし、ステップＳ２８に
進む。
【０１０６】ステップＳ２８では、ＣＰＵ１０ａは、変
数ｉの値が画素の総数である６４０×４８０と等しくな
ったか否かを判定する。その結果、変数ｉの値が６４０
×４８０と等しくない（ＮＯ）と判定した場合には、ス
テップＳ２２に戻り、前述の場合と同様の処理を繰り返
す。また、変数ｉの値が６４０×４８０と等しい（ＹＥ
Ｓ）と判定した場合にはステップＳ２９に進む。
数ｉの値が画素の総数である６４０×４８０と等しくな
ったか否かを判定する。その結果、変数ｉの値が６４０
×４８０と等しくない（ＮＯ）と判定した場合には、ス
テップＳ２２に戻り、前述の場合と同様の処理を繰り返
す。また、変数ｉの値が６４０×４８０と等しい（ＹＥ
Ｓ）と判定した場合にはステップＳ２９に進む。
【０１０７】ステップＳ２９では、ＣＰＵ１０ａは、行
列Ａとベクトルｂを含む方程式（Ａ＋λＩ）Δｍ＝ｂを
解き、Δｍを求める。ここで、λはtime-varying stabi
lizing parameterである。そして、ステップＳ３０に進
み、現在のｍ(t)の値に対して、Δｍを加算して、新た
なｍ(t+1)を生成し、ステップＳ３１に進む。
列Ａとベクトルｂを含む方程式（Ａ＋λＩ）Δｍ＝ｂを
解き、Δｍを求める。ここで、λはtime-varying stabi
lizing parameterである。そして、ステップＳ３０に進
み、現在のｍ(t)の値に対して、Δｍを加算して、新た
なｍ(t+1)を生成し、ステップＳ３１に進む。
【０１０８】ステップＳ３１では、ＣＰＵ１０ａは、ス
テップＳ３０において得られたｍ(t +1)を用いて、画像
全体の輝度誤差Ｅ’を算出する。そして、ステップＳ３
２に進み、Ｅ’がＥよりも小さいか否かを判定する。即
ち、新たなｍ(t+1)により生成された画素全体の輝度誤
差Ｅ’が、前回の画素全体の輝度誤差Ｅよりも小さいか
否かを判定する。その結果、Ｅ’がＥよりも小さい（Ｙ
ＥＳ）と判定した場合には、ステップＳ３６に進み、変
数ｔの値を１だけインクリメントし、ステップＳ２０に
戻り、前述の場合と同様の処理を繰り返す。また、Ｅ’
がＥ以上である（ＮＯ）と判定した場合にはステップＳ
３３に進む。
テップＳ３０において得られたｍ(t +1)を用いて、画像
全体の輝度誤差Ｅ’を算出する。そして、ステップＳ３
２に進み、Ｅ’がＥよりも小さいか否かを判定する。即
ち、新たなｍ(t+1)により生成された画素全体の輝度誤
差Ｅ’が、前回の画素全体の輝度誤差Ｅよりも小さいか
否かを判定する。その結果、Ｅ’がＥよりも小さい（Ｙ
ＥＳ）と判定した場合には、ステップＳ３６に進み、変
数ｔの値を１だけインクリメントし、ステップＳ２０に
戻り、前述の場合と同様の処理を繰り返す。また、Ｅ’
がＥ以上である（ＮＯ）と判定した場合にはステップＳ
３３に進む。
【０１０９】ステップＳ３３では、ＣＰＵ１０ａは、変
数ｊの値を１だけインクリメントし、ステップＳ３４に
進む。ステップＳ３４では、ＣＰＵ１０ａは、変数ｊの
値が３０であるか否かを判定する。その結果、変数ｊの
値が３０である（ＹＥＳ）と判定した場合には元の処理
に復帰する。また、変数ｊの値が３０ではない（ＮＯ）
と判定した場合には、ステップＳ３５に進む。
数ｊの値を１だけインクリメントし、ステップＳ３４に
進む。ステップＳ３４では、ＣＰＵ１０ａは、変数ｊの
値が３０であるか否かを判定する。その結果、変数ｊの
値が３０である（ＹＥＳ）と判定した場合には元の処理
に復帰する。また、変数ｊの値が３０ではない（ＮＯ）
と判定した場合には、ステップＳ３５に進む。
【０１１０】ステップＳ３５では、ＣＰＵ１０ａは、変
数λの値を１０倍して、ステップＳ２９に戻り、前述の
場合と同様の処理を繰り返すことになる。
数λの値を１０倍して、ステップＳ２９に戻り、前述の
場合と同様の処理を繰り返すことになる。
【０１１１】以上の処理により、射影変換行列Ｈを求め
ることができる。
ることができる。
【０１１２】なお、以上の実施の形態においては、画像
全体に対して処理を行う場合について説明したが、例え
ば、画像の一部の領域のみに対して前述の処理を行うこ
とも可能である。また、変換の結果、対象となるテキス
チャが画面からはみ出した場合には、処理の繰り返し回
数が全画素数よりも少ない回数に設定される。
全体に対して処理を行う場合について説明したが、例え
ば、画像の一部の領域のみに対して前述の処理を行うこ
とも可能である。また、変換の結果、対象となるテキス
チャが画面からはみ出した場合には、処理の繰り返し回
数が全画素数よりも少ない回数に設定される。
【０１１３】次に、このようにして得られた射影変換行
列Ｈ0乃至Ｈ2を用いて、対象点までの距離を求める処理
について図１１を参照して以下に説明する。
列Ｈ0乃至Ｈ2を用いて、対象点までの距離を求める処理
について図１１を参照して以下に説明する。
【０１１４】図１１は、図８に示す対象点Ｃまでの距離
を測定するための処理の一例を説明するフローチャート
である。
を測定するための処理の一例を説明するフローチャート
である。
【０１１５】この処理が実行されると、ステップＳ５０
において、ＣＰＵ１０ａは、基準画像上の対象点ｎ
b（画像上の対象点Ｃ）を入力する。
において、ＣＰＵ１０ａは、基準画像上の対象点ｎ
b（画像上の対象点Ｃ）を入力する。
【０１１６】続くステップＳ５１では、ＣＰＵ１０ａ
は、図９の処理において求めた射影変換行列Ｈ0乃至Ｈ2
を用いて、参照画像上の対応点ｎr0乃至ｎr2を算出す
る。そして、ステップＳ５２に進む。
は、図９の処理において求めた射影変換行列Ｈ0乃至Ｈ2
を用いて、参照画像上の対応点ｎr0乃至ｎr2を算出す
る。そして、ステップＳ５２に進む。
【０１１７】ステップＳ５２では、ＣＰＵ１０ａは、ス
テップＳ５１において求めたｎr0とｎr1とを直線で結ぶ
ことにより、エピポーララインを生成する。即ち、ＣＰ
Ｕ１０ａは、エピポーララインが通過する画素のアドレ
ス値を生成し、ＲＡＭ１０ｃに格納する。
テップＳ５１において求めたｎr0とｎr1とを直線で結ぶ
ことにより、エピポーララインを生成する。即ち、ＣＰ
Ｕ１０ａは、エピポーララインが通過する画素のアドレ
ス値を生成し、ＲＡＭ１０ｃに格納する。
【０１１８】ステップＳ５３では、ＣＰＵ１０ａは、基
準カメラ３０から出力される画像をＲＡＭ１０ｃに一旦
格納し、格納されている画像の点ｎbの近傍の画素群を
抽出する。
準カメラ３０から出力される画像をＲＡＭ１０ｃに一旦
格納し、格納されている画像の点ｎbの近傍の画素群を
抽出する。
【０１１９】続くステップＳ５４では、ＣＰＵ１０ａ
は、抽出した画素群をテンプレートとし、マッチ度の高
い点ｎrsをエピポーララインに沿って検索する。即ち、
ＣＰＵ１０ａは、ステップＳ５２において生成され、Ｒ
ＡＭ１０ｃに格納されているエピポーララインに対応す
るアドレスに応じて、参照カメラ３１から出力される画
像から画素群を読み出し、テンプレートと照合する。そ
して、最も近しい（誤差の少ない）画素群が存在する領
域の中心を点ｎrsとする。
は、抽出した画素群をテンプレートとし、マッチ度の高
い点ｎrsをエピポーララインに沿って検索する。即ち、
ＣＰＵ１０ａは、ステップＳ５２において生成され、Ｒ
ＡＭ１０ｃに格納されているエピポーララインに対応す
るアドレスに応じて、参照カメラ３１から出力される画
像から画素群を読み出し、テンプレートと照合する。そ
して、最も近しい（誤差の少ない）画素群が存在する領
域の中心を点ｎrsとする。
【０１２０】ステップＳ５５では、ＣＰＵ１０ａは、ス
テップＳ５４で求めたｎrsと、ｎr0乃至ｎr2、および、
Ｚ0乃至Ｚ2から、複比を用いて、ｎrsに対応する距離Ｚ
sを算出する。即ち、ＣＰＵ１０ａは、式（２５）およ
び式（２６）に対して、以上の処理により得られたｎrs
と、ｎr0乃至ｎr2、および、Ｚ0乃至Ｚ2を代入し、点ｎ
rsに対応する距離Ｚsを算出する。そして、処理を終了
する（エンド）。
テップＳ５４で求めたｎrsと、ｎr0乃至ｎr2、および、
Ｚ0乃至Ｚ2から、複比を用いて、ｎrsに対応する距離Ｚ
sを算出する。即ち、ＣＰＵ１０ａは、式（２５）およ
び式（２６）に対して、以上の処理により得られたｎrs
と、ｎr0乃至ｎr2、および、Ｚ0乃至Ｚ2を代入し、点ｎ
rsに対応する距離Ｚsを算出する。そして、処理を終了
する（エンド）。
【０１２１】このような処理により、対象点Ｃまでの距
離Ｚsを算出することができる。
離Ｚsを算出することができる。
【０１２２】以上の実施の形態によれば、特殊な校正パ
ターンなどを必要としないため簡便な装置によりキャリ
ブレーションを行うことが可能となる。また、画像合わ
せ込みを行うため、各カメラの光軸が任意の方向を向い
ている場合や、各カメラの間に輻輳がある場合において
も、距離の計測が可能となる。
ターンなどを必要としないため簡便な装置によりキャリ
ブレーションを行うことが可能となる。また、画像合わ
せ込みを行うため、各カメラの光軸が任意の方向を向い
ている場合や、各カメラの間に輻輳がある場合において
も、距離の計測が可能となる。
【０１２３】なお、明細書中において、伝送媒体は、Ｆ
Ｄ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネ
ット、ディジタル衛星などのネットワーク伝送媒体も含
まれる。
Ｄ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネ
ット、ディジタル衛星などのネットワーク伝送媒体も含
まれる。
【０１２４】
【発明の効果】請求項１に記載の画像処理装置、請求項
３に記載の画像処理方法、および、請求項４に記載の伝
送媒体によれば、第１の画像処理装置から出力される基
準画像を入力し、第２の画像処理装置から出力される参
照画像を入力し、入力された基準画像内の所定の点に対
応する視線上に存在する第１乃至第３のポイントまでの
それぞれの距離が入力され、入力された参照画像上にお
いて、第１乃至第３のポイントに対応する第１乃至第３
の対応点を算出し、視線上に存在する対象点に対応する
参照画像上の第４の対応点を算出し、第１乃至第４の対
応点と、第１乃至第３のポイントまでの距離を元にし
て、複比により対象点までの距離を算出するようにした
ので、正確な測定を行うことが可能となる。
３に記載の画像処理方法、および、請求項４に記載の伝
送媒体によれば、第１の画像処理装置から出力される基
準画像を入力し、第２の画像処理装置から出力される参
照画像を入力し、入力された基準画像内の所定の点に対
応する視線上に存在する第１乃至第３のポイントまでの
それぞれの距離が入力され、入力された参照画像上にお
いて、第１乃至第３のポイントに対応する第１乃至第３
の対応点を算出し、視線上に存在する対象点に対応する
参照画像上の第４の対応点を算出し、第１乃至第４の対
応点と、第１乃至第３のポイントまでの距離を元にし
て、複比により対象点までの距離を算出するようにした
ので、正確な測定を行うことが可能となる。
【図１】本実施の形態の構成例を示すブロック図であ
る。
る。
【図２】基準カメラと参照カメラの画像面に平面上の対
象点Ｐが観察される様子を示す図である。
象点Ｐが観察される様子を示す図である。
【図３】基準カメラ、参照カメラ、および、平面の配置
例を示す図である。
例を示す図である。
【図４】参照カメラの画像が射影変換され、基準カメラ
の画像と重ね合わされた様子を示す図である。
の画像と重ね合わされた様子を示す図である。
【図５】対象物が距離Ｚ0とＺ1に存在する場合に参照カ
メラの画像面に観察される観察点ｎr0とｎr1を示す図で
ある。
メラの画像面に観察される観察点ｎr0とｎr1を示す図で
ある。
【図６】線分Ｌが画像面に投影されている場合の様子を
説明する図である。
説明する図である。
【図７】図６に示す線分Ｌ、線分Ｌ’、および、視点Ｏ
を１つの平面上に表した図である。
を１つの平面上に表した図である。
【図８】図７に示す図を本実施の形態に対応させて書き
直した場合の図である。
直した場合の図である。
【図９】射影変換行列Ｈ0乃至Ｈ2を求める処理の一例を
説明するフローチャートである。
説明するフローチャートである。
【図１０】図８に示すステップＳ２，４，６の処理の詳
細を説明するフローチャートである。
細を説明するフローチャートである。
【図１１】対象点Ｃまでの距離を算出する処理の一例を
説明するフローチャートである。
説明するフローチャートである。
【図１２】基準カメラと参照カメラの画像、対象点Ｐ、
および、エピポーララインの関係を示す図である。
および、エピポーララインの関係を示す図である。
１０ａ ＣＰＵ（第１の算出手段、第２の算出手段、第
３の算出手段）， １０ｄ ＩＦ（第１の入力手段、第
２の入力手段、第３の入力手段）
３の算出手段）， １０ｄ ＩＦ（第１の入力手段、第
２の入力手段、第３の入力手段）
Claims (5)
- 【請求項１】 第１の撮像装置から入力される基準画像
と、第２の撮像装置から入力される参照画像を元にし
て、対象点までの距離を画像処理により算出する画像処
理装置において、 前記第１の画像処理装置から出力される基準画像を入力
する第１の入力手段と、 前記第２の画像処理装置から出力される参照画像を入力
する第２の入力手段と、 前記第１の入力手段から入力された基準画像内の所定の
点に対応する視線上に存在する第１乃至第３のポイント
までのそれぞれの距離が入力される第３の入力手段と、 前記第２の入力手段から入力された参照画像上におい
て、前記第１乃至第３のポイントに対応する第１乃至第
３の対応点を算出する第１の算出手段と、 前記視線上に存在する、前記対象点に対応する前記参照
画像上の第４の対応点を算出する第２の算出手段と、 前記第１乃至第４の対応点と、前記第３の入力手段から
入力された第１乃至第３のポイントまでの距離を元にし
て、複比を演算することにより、前記対象点までの距離
を算出する第３の算出手段とを備えることを特徴とする
画像処理装置。 - 【請求項２】 前記第２の算出手段は、前記第１乃至第
３の対応点を結ぶことにより形成されるエピポーラライ
ンのライン上を検索することにより、前記第４の対応点
を算出することを特徴とする請求項１に記載の画像処理
装置。 - 【請求項３】 第１の撮像装置から入力される基準画像
と、第２の撮像装置から入力される参照画像を元にし
て、対象点までの距離を画像処理により算出する画像処
理方法において、 前記第１の画像処理装置から出力される基準画像を入力
する第１の入力ステップと、 前記第２の画像処理装置から出力される参照画像を入力
する第２の入力ステップと、 前記第１の入力ステップから入力された基準画像内の所
定の点に対応する視線上に存在する第１乃至第３のポイ
ントまでのそれぞれの距離が入力される第３の入力ステ
ップと、 前記第２の入力ステップから入力された参照画像上にお
いて、前記第１乃至第３のポイントに対応する第１乃至
第３の対応点を算出する第１の算出ステップと、 前記視線上に存在する、前記対象点に対応する前記参照
画像上の第４の対応点を算出する第２の算出ステップ
と、 前記第１乃至第４の対応点と、前記第３の入力ステップ
から入力された第１乃至第３のポイントまでの距離を元
にして、複比を演算することにより、前記対象点までの
距離を算出する第３の算出ステップとを備えることを特
徴とする画像処理方法。 - 【請求項４】 第１の撮像装置から入力される基準画像
と、第２の撮像装置から入力される参照画像を元にし
て、対象点までの距離を画像処理により算出する画像処
理装置で用いられるコンピュータプログラムを伝送する
伝送媒体において、 前記第１の画像処理装置から出力される基準画像を入力
する第１の入力ステップと、 前記第２の画像処理装置から出力される参照画像を入力
する第２の入力ステップと、 前記第１の入力ステップから入力された基準画像内の所
定の点に対応する視線上に存在する第１乃至第３のポイ
ントまでのそれぞれの距離が入力される第３の入力ステ
ップと、 前記第２の入力ステップから入力された参照画像上にお
いて、前記第１乃至第３のポイントに対応する第１乃至
第３の対応点を算出する第１の算出ステップと、 前記視線上に存在する、前記対象点に対応する前記参照
画像上の第４の対応点を算出する第２の算出ステップ
と、 前記第１乃至第４の対応点と、前記第３の入力ステップ
から入力された第１乃至第３のポイントまでの距離を元
にして、複比を演算することにより、前記対象点までの
距離を算出する第３の算出ステップとを備えるコンピュ
ータプログラムを伝送する伝送媒体。 - 【請求項５】 請求項４に記載の伝送媒体から伝送を受
けたプログラムを記憶し、そのプログラムを用いて画像
を処理する画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9207951A JPH1153549A (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置、画像処理方法、および、伝送媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9207951A JPH1153549A (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置、画像処理方法、および、伝送媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1153549A true JPH1153549A (ja) | 1999-02-26 |
Family
ID=16548248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9207951A Pending JPH1153549A (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置、画像処理方法、および、伝送媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1153549A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
| JP2001109879A (ja) * | 1999-08-05 | 2001-04-20 | Sony Corp | 画像処理装置および方法、並びに媒体 |
| JP2005241323A (ja) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | 撮像システム及び校正方法 |
| JP2007147507A (ja) * | 2005-11-29 | 2007-06-14 | Kurabo Ind Ltd | 分光測定方法及び分光測定装置 |
| JP2007183290A (ja) * | 1999-04-12 | 2007-07-19 | Fujitsu Ltd | 画像計測方法、画像計測装置、および画像計測プログラム記憶媒体 |
| WO2008078744A1 (ja) * | 2006-12-25 | 2008-07-03 | Nec Corporation | 距離計測装置、方法およびプログラム |
| US7957581B2 (en) | 2003-11-27 | 2011-06-07 | Sony Corporation | Image processing apparatus and method |
| CN104217554A (zh) * | 2014-09-19 | 2014-12-17 | 武汉理工大学 | 学生健康学习姿势提醒系统及方法 |
-
1997
- 1997-08-01 JP JP9207951A patent/JPH1153549A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
| US7015951B1 (en) | 1998-05-08 | 2006-03-21 | Sony Corporation | Picture generating apparatus and picture generating method |
| JP2007183290A (ja) * | 1999-04-12 | 2007-07-19 | Fujitsu Ltd | 画像計測方法、画像計測装置、および画像計測プログラム記憶媒体 |
| JP2001109879A (ja) * | 1999-08-05 | 2001-04-20 | Sony Corp | 画像処理装置および方法、並びに媒体 |
| US7957581B2 (en) | 2003-11-27 | 2011-06-07 | Sony Corporation | Image processing apparatus and method |
| JP2005241323A (ja) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | 撮像システム及び校正方法 |
| JP2007147507A (ja) * | 2005-11-29 | 2007-06-14 | Kurabo Ind Ltd | 分光測定方法及び分光測定装置 |
| WO2008078744A1 (ja) * | 2006-12-25 | 2008-07-03 | Nec Corporation | 距離計測装置、方法およびプログラム |
| JP5029618B2 (ja) * | 2006-12-25 | 2012-09-19 | 日本電気株式会社 | パターン投影法による３次元形状計測装置、方法およびプログラム |
| CN104217554A (zh) * | 2014-09-19 | 2014-12-17 | 武汉理工大学 | 学生健康学习姿势提醒系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Luhmann et al. | Sensor modelling and camera calibration for close-range photogrammetry | |
| US6816187B1 (en) | Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera | |
| US6438507B1 (en) | Data processing method and processing device | |
| CN101563709B (zh) | 校准照相机系统 | |
| JP2019149809A (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| JP3728900B2 (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
| CN110264528B (zh) | 一种鱼眼镜头双目像机快速自标定方法 | |
| JP2011232330A (ja) | 撮像装置、長さ測定方法、及びプログラム | |
| JP2010014450A (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| KR20080029080A (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
| JP2005106505A (ja) | 画像間対応点検出装置および画像間対応点検出方法 | |
| JP2011086111A (ja) | 撮像装置校正方法及び画像合成装置 | |
| JP4006657B2 (ja) | 画像処理装置および画像処理方法 | |
| KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| CN112785685B (zh) | 一种装配引导方法及系统 | |
| JP6634842B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JPH1153549A (ja) | 画像処理装置、画像処理方法、および、伝送媒体 | |
| JP4102386B2 (ja) | ３次元情報復元装置 | |
| WO2021020062A1 (ja) | 三次元変位計測方法及び三次元変位計測装置 | |
| CN110555880B (zh) | 一种焦距未知的p6p相机位姿估计方法 | |
| CN109712200B (zh) | 一种基于最小二乘原理及边长推算的双目定位方法及系统 | |
| JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP5901379B2 (ja) | 撮像装置校正方法および画像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070501 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070803 |