JPH1153548A - 画像処理装置、画像処理方法、および、伝送媒体 - Google Patents
画像処理装置、画像処理方法、および、伝送媒体Info
- Publication number
- JPH1153548A JPH1153548A JP9207948A JP20794897A JPH1153548A JP H1153548 A JPH1153548 A JP H1153548A JP 9207948 A JP9207948 A JP 9207948A JP 20794897 A JP20794897 A JP 20794897A JP H1153548 A JPH1153548 A JP H1153548A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- conversion
- input
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 ステレオ法において、特殊なパターンを使用
せずにカメラのキャリブレーションを高精度に行う。 【解決手段】 参照カメラから出力された画像に対して
射影変換を施し、得られた画像と、基準カメラから出力
された画像との間の輝度誤差が最小となるように、前述
の射影変換のパラメータを決定する。そして、このよう
な操作を対象となる平面（テキスチャを有する平面）の
距離を変えて繰り返し、エピポーララインを生成する。
せずにカメラのキャリブレーションを高精度に行う。 【解決手段】 参照カメラから出力された画像に対して
射影変換を施し、得られた画像と、基準カメラから出力
された画像との間の輝度誤差が最小となるように、前述
の射影変換のパラメータを決定する。そして、このよう
な操作を対象となる平面（テキスチャを有する平面）の
距離を変えて繰り返し、エピポーララインを生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置、画
像処理方法、および、伝送媒体に関し、特に、ステレオ
法に基づいて距離測定を行う画像処理装置、画像処理方
法、および、伝送媒体に関する。
像処理方法、および、伝送媒体に関し、特に、ステレオ
法に基づいて距離測定を行う画像処理装置、画像処理方
法、および、伝送媒体に関する。
【０００２】
【従来の技術】複数のカメラを用いて、対象までの距離
を測定する方法としては、ステレオ法が知られている。
ステレオ法は、複数の視点から撮影した画像を用いて、
シーン内の各点までの距離を三角測量の原理により測定
する方法である。
を測定する方法としては、ステレオ法が知られている。
ステレオ法は、複数の視点から撮影した画像を用いて、
シーン内の各点までの距離を三角測量の原理により測定
する方法である。
【０００３】図１２は、ステレオ法の概略を説明する図
である。この図に示すように、ステレオ法では、基準カ
メラと参照カメラの２台のカメラによって３次元シーン
を観察し、測定しようとする対象の３次元空間における
位置（基準点からの距離）を求める。
である。この図に示すように、ステレオ法では、基準カ
メラと参照カメラの２台のカメラによって３次元シーン
を観察し、測定しようとする対象の３次元空間における
位置（基準点からの距離）を求める。
【０００４】即ち、図１２に示す例では、３次元シーン
中の対象点Ｐが基準カメラによって観察される観察点ｎ
bと、参照カメラによって観察される観察点ｎrとを求め
る。そして、これらの観察点ｎb，ｎrから対象点Ｐの三
次元空間内の位置を求めることができる。
中の対象点Ｐが基準カメラによって観察される観察点ｎ
bと、参照カメラによって観察される観察点ｎrとを求め
る。そして、これらの観察点ｎb，ｎrから対象点Ｐの三
次元空間内の位置を求めることができる。
【０００５】観察点ｎbに対応する観察点ｎrを検出する
方法としては、エピポーラライン（Epipolar line）を
用いた方法がある。即ち、図１２に示すように、参照カ
メラの観察点ｎrは、両カメラの光学中心（光軸）と基
準カメラの観察点ｎbによって決まる平面と、参照カメ
ラの画像面が交わる直線上に存在する。この直線をエピ
ポーララインと呼ぶ。基準カメラと参照カメラの位置関
係が既知であれば、基準カメラの各観察点毎に参照カメ
ラの画像面上のエピポーララインを求めることができる
ので、このエピポーラライン上で対応点検索を行うこと
により、所望の対応点を検出することができる。
方法としては、エピポーラライン（Epipolar line）を
用いた方法がある。即ち、図１２に示すように、参照カ
メラの観察点ｎrは、両カメラの光学中心（光軸）と基
準カメラの観察点ｎbによって決まる平面と、参照カメ
ラの画像面が交わる直線上に存在する。この直線をエピ
ポーララインと呼ぶ。基準カメラと参照カメラの位置関
係が既知であれば、基準カメラの各観察点毎に参照カメ
ラの画像面上のエピポーララインを求めることができる
ので、このエピポーラライン上で対応点検索を行うこと
により、所望の対応点を検出することができる。
【０００６】一般的には、内部パラメータが等しい２台
のカメラを、お互いの光軸が平行でかつ画像面が同一面
上に存在するように配置すると、各カメラがラスタ走査
する際の走査線とエピポーララインとを一致させること
ができるので、結果として、アドレス変換などに必要な
計算を削減することが可能となる。
のカメラを、お互いの光軸が平行でかつ画像面が同一面
上に存在するように配置すると、各カメラがラスタ走査
する際の走査線とエピポーララインとを一致させること
ができるので、結果として、アドレス変換などに必要な
計算を削減することが可能となる。
【０００７】
【発明が解決しようとする課題】ところで、前述のよう
に、基準カメラと参照カメラを高精度に位置決めして配
置することは極めて困難であるという課題があった。
に、基準カメラと参照カメラを高精度に位置決めして配
置することは極めて困難であるという課題があった。
【０００８】また、基準カメラと参照カメラの撮影画像
の双方に含まれている範囲（どちらのカメラからでも観
察できる範囲）を広くするために輻輳をつけた場合（２
台のカメラの光軸が平行ではない場合）、エピポーララ
インと走査線とが一致しなくなるので、カメラの内部パ
ラメータと外部パラメータを正確に求めなければならな
いという課題があった。
の双方に含まれている範囲（どちらのカメラからでも観
察できる範囲）を広くするために輻輳をつけた場合（２
台のカメラの光軸が平行ではない場合）、エピポーララ
インと走査線とが一致しなくなるので、カメラの内部パ
ラメータと外部パラメータを正確に求めなければならな
いという課題があった。
【０００９】更に、基準カメラと参照カメラの内部パラ
メータが相互に異なっている場合においても、エピポー
ララインと走査線が一致しなくなるため、上述の場合と
同様にカメラの内部パラメータと外部パラメータとを求
めなければならないという課題があった。
メータが相互に異なっている場合においても、エピポー
ララインと走査線が一致しなくなるため、上述の場合と
同様にカメラの内部パラメータと外部パラメータとを求
めなければならないという課題があった。
【００１０】なお、内部パラメータと外部パラメータに
は以下のようなものである。
は以下のようなものである。
【００１１】内部パラメータ ｆ（focal length）、Ｃx，Ｃy（center of image plan
e）、ｓｘ（digitalscale factor）
e）、ｓｘ（digitalscale factor）
【００１２】外部パラメータ Ｒｘ，Ｒｙ，Ｒｚ（rotational angle）、Ｔｘ，Ｔｙ，
Ｔｚ（translational components）
Ｔｚ（translational components）
【００１３】従って、内部パラメータは個々のカメラ固
有の特性を示しており、また、外部パラメータは、３次
元空間内における２台のカメラの位置を示しているとい
うことができる。
有の特性を示しており、また、外部パラメータは、３次
元空間内における２台のカメラの位置を示しているとい
うことができる。
【００１４】ところで、これらの内部パラメータを正確
に求める方法としては、Tsaiの方法（「R.Y.Tsai,A ver
satile camera calibration technique for high accur
acy3D machine vision metrology using off-the shelf
TV cameras and lenses, IEEE journal of Robotics a
nd Automation, Vol.RA-3, no.4,pp.323-344, Aug.198
7」参照）が有名である。
に求める方法としては、Tsaiの方法（「R.Y.Tsai,A ver
satile camera calibration technique for high accur
acy3D machine vision metrology using off-the shelf
TV cameras and lenses, IEEE journal of Robotics a
nd Automation, Vol.RA-3, no.4,pp.323-344, Aug.198
7」参照）が有名である。
【００１５】しかしながら、この方法を実際に実行する
ためには、参照点が正確な位置に描かれた校正パターン
や参照点を正確に位置決めするための機構が必要になる
という課題があった。
ためには、参照点が正確な位置に描かれた校正パターン
や参照点を正確に位置決めするための機構が必要になる
という課題があった。
【００１６】本発明は、以上のような状況に鑑みてなさ
れたものであり、ステレオ法により対象点の位置を測定
する場合に、基準カメラと参照カメラの内部または外部
パラメータに影響されることなく、また、特殊な校正パ
ターンを用いることなくキャリブレーションを行うこと
を可能とする。
れたものであり、ステレオ法により対象点の位置を測定
する場合に、基準カメラと参照カメラの内部または外部
パラメータに影響されることなく、また、特殊な校正パ
ターンを用いることなくキャリブレーションを行うこと
を可能とする。
【００１７】
【課題を解決するための手段】請求項１に記載の画像処
理装置は、撮像装置により撮像された画像のうちの少な
くとも１つを基準画像として入力する基準画像入力手段
と、撮像装置により入力された画像のうちの少なくとも
１つを参照画像として入力する参照画像入力手段と、参
照画像入力手段より入力された参照画像を、射影変換を
用いて変換する変換手段と、変換手段によって得られた
画像と、基準画像との対応関係を算定する算定手段と、
算定手段の算定結果に応じて、対象点までの距離を算出
する算出手段とを備えることを特徴とする。
理装置は、撮像装置により撮像された画像のうちの少な
くとも１つを基準画像として入力する基準画像入力手段
と、撮像装置により入力された画像のうちの少なくとも
１つを参照画像として入力する参照画像入力手段と、参
照画像入力手段より入力された参照画像を、射影変換を
用いて変換する変換手段と、変換手段によって得られた
画像と、基準画像との対応関係を算定する算定手段と、
算定手段の算定結果に応じて、対象点までの距離を算出
する算出手段とを備えることを特徴とする。
【００１８】請求項４に記載の画像処理方法は、撮像装
置により撮像された画像のうちの少なくとも１つを基準
画像として入力する基準画像入力ステップと、撮像装置
により入力された画像のうちの少なくとも１つを参照画
像として入力する参照画像入力ステップと、参照画像入
力ステップより入力された参照画像を、射影変換を用い
て変換する変換ステップと、変換ステップによって得ら
れた画像と、基準画像との対応関係を算定する算定ステ
ップと、算定ステップの算定結果に応じて、対象点まで
の距離を算出する算出ステップとを備えることを特徴と
する。
置により撮像された画像のうちの少なくとも１つを基準
画像として入力する基準画像入力ステップと、撮像装置
により入力された画像のうちの少なくとも１つを参照画
像として入力する参照画像入力ステップと、参照画像入
力ステップより入力された参照画像を、射影変換を用い
て変換する変換ステップと、変換ステップによって得ら
れた画像と、基準画像との対応関係を算定する算定ステ
ップと、算定ステップの算定結果に応じて、対象点まで
の距離を算出する算出ステップとを備えることを特徴と
する。
【００１９】請求項５に記載の伝送媒体は、撮像装置に
より撮像された画像のうちの少なくとも１つを基準画像
として入力する基準画像入力ステップと、撮像装置によ
り入力された画像のうちの少なくとも１つを参照画像と
して入力する参照画像入力ステップと、参照画像入力ス
テップより入力された参照画像を、射影変換を用いて変
換する変換ステップと、変換ステップによって得られた
画像と、基準画像との対応関係を算定する算定ステップ
と、算定ステップの算定結果に応じて、対象点までの距
離を算出する算出ステップとを備えるコンピュータプロ
グラムを伝送する。
より撮像された画像のうちの少なくとも１つを基準画像
として入力する基準画像入力ステップと、撮像装置によ
り入力された画像のうちの少なくとも１つを参照画像と
して入力する参照画像入力ステップと、参照画像入力ス
テップより入力された参照画像を、射影変換を用いて変
換する変換ステップと、変換ステップによって得られた
画像と、基準画像との対応関係を算定する算定ステップ
と、算定ステップの算定結果に応じて、対象点までの距
離を算出する算出ステップとを備えるコンピュータプロ
グラムを伝送する。
【００２０】請求項１に記載の画像処理装置、請求項４
に記載の画像処理方法、および、請求項５に記載の伝送
媒体においては、撮像装置により撮像された画像のうち
の少なくとも１つを基準画像として入力し、撮像装置に
より入力された画像のうちの少なくとも１つを参照画像
として入力し、入力された参照画像を射影変換を用いて
変換し、変換された画像と、基準画像との対応関係を算
定し、算定結果に応じて対象点までの距離を算出する。
例えば、２台の撮像装置により撮像された画像のうちの
１つを基準画像として入力し、他の１つを参照画像とし
て入力し、入力された参照画像を射影変換を用いて変換
し、校正用のテキスチャを撮像した場合に得られる基準
画像と、同じく校正用のテキスチャを撮像して射影変換
された画像との対応関係を算定し、算定結果に応じて対
象点までの距離を算出する。
に記載の画像処理方法、および、請求項５に記載の伝送
媒体においては、撮像装置により撮像された画像のうち
の少なくとも１つを基準画像として入力し、撮像装置に
より入力された画像のうちの少なくとも１つを参照画像
として入力し、入力された参照画像を射影変換を用いて
変換し、変換された画像と、基準画像との対応関係を算
定し、算定結果に応じて対象点までの距離を算出する。
例えば、２台の撮像装置により撮像された画像のうちの
１つを基準画像として入力し、他の１つを参照画像とし
て入力し、入力された参照画像を射影変換を用いて変換
し、校正用のテキスチャを撮像した場合に得られる基準
画像と、同じく校正用のテキスチャを撮像して射影変換
された画像との対応関係を算定し、算定結果に応じて対
象点までの距離を算出する。
【００２１】
【発明の実施の形態】図１は、本発明の実施の形態の構
成例について説明する図である。この図において、ワー
クステーション１０は、ＣＰＵ１０ａ（変換手段、算定
手段、算出手段）、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、およ
び、ＩＦ１０ｄ（基準画像入力手段、参照画像入力手
段）により構成されており、基準カメラ３０および参照
カメラ３１から出力された画像信号に対して所定の処理
を施すようになされている。
成例について説明する図である。この図において、ワー
クステーション１０は、ＣＰＵ１０ａ（変換手段、算定
手段、算出手段）、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、およ
び、ＩＦ１０ｄ（基準画像入力手段、参照画像入力手
段）により構成されており、基準カメラ３０および参照
カメラ３１から出力された画像信号に対して所定の処理
を施すようになされている。
【００２２】ＣＰＵ１０ａは、装置の各部を制御すると
ともに、プログラムに応じて所定の演算を行うようにな
されている。ＲＯＭ１０ｂは、ＣＰＵ１０ａが実行する
プログラムや各種データなどを格納している。ＲＡＭ１
０ｃは、ＣＰＵ１０ａが各種処理を実行する際の演算途
中のデータやプログラムなどを格納するようになされて
いる。ＩＦ１０ｄは、外部装置との間でデータを授受す
る場合において、データの表現形式を適宜変換するよう
になされている。
ともに、プログラムに応じて所定の演算を行うようにな
されている。ＲＯＭ１０ｂは、ＣＰＵ１０ａが実行する
プログラムや各種データなどを格納している。ＲＡＭ１
０ｃは、ＣＰＵ１０ａが各種処理を実行する際の演算途
中のデータやプログラムなどを格納するようになされて
いる。ＩＦ１０ｄは、外部装置との間でデータを授受す
る場合において、データの表現形式を適宜変換するよう
になされている。
【００２３】ＣＲＴモニタ２０は、ワークステーション
１０から出力された画像を表示出力するようになされて
いる。ＨＤＤ２１は、基準カメラ３０および参照カメラ
３１から出力された画像信号や各種プログラム等を記録
または再生するようになされている。
１０から出力された画像を表示出力するようになされて
いる。ＨＤＤ２１は、基準カメラ３０および参照カメラ
３１から出力された画像信号や各種プログラム等を記録
または再生するようになされている。
【００２４】基準カメラ３０と参照カメラ３１は、被写
体の光画像を対応する電気信号（画像信号）に変換して
出力するようになされている。
体の光画像を対応する電気信号（画像信号）に変換して
出力するようになされている。
【００２５】なお、複数の参照カメラを設け、その中か
ら所望の画像のみを選択して用いるようにしてもよい。
ら所望の画像のみを選択して用いるようにしてもよい。
【００２６】以下では、以上の実施の形態の動作につい
て説明する前に、本実施の形態の動作原理について説明
する。
て説明する前に、本実施の形態の動作原理について説明
する。
【００２７】図２は、本発明の動作原理を説明する図で
ある。
ある。
【００２８】本発明では、射影変換を用いて、参照画像
を基準画像に変換した後、双方の画像の対応する位置か
ら対象点までの距離を算出するようになされている。
を基準画像に変換した後、双方の画像の対応する位置か
ら対象点までの距離を算出するようになされている。
【００２９】即ち、３次元空間に置かれた平面を２台の
カメラ（ステレオペアカメラ）で観察した場合、対応点
のカメラ座標は射影変換により相互に変換可能である
（「金谷，“画像理解，”森北出版，１９９０」参
照）。つまり、図２に示すように、３次元空間に置かれ
た平面上の点Ｐが基準カメラ３０の画像（以下、基準画
像と適宜略記する）でｎbに観察され、参照カメラ３１
の画像（以下、参照画像と適宜略記する）でｎrに観察
されたとすると、ｎbからｎrへの変換を３×３の射影変
換行列をＨとすると、以下のように示すことができる。
カメラ（ステレオペアカメラ）で観察した場合、対応点
のカメラ座標は射影変換により相互に変換可能である
（「金谷，“画像理解，”森北出版，１９９０」参
照）。つまり、図２に示すように、３次元空間に置かれ
た平面上の点Ｐが基準カメラ３０の画像（以下、基準画
像と適宜略記する）でｎbに観察され、参照カメラ３１
の画像（以下、参照画像と適宜略記する）でｎrに観察
されたとすると、ｎbからｎrへの変換を３×３の射影変
換行列をＨとすると、以下のように示すことができる。
【００３０】
【数１】
【００３１】ここでは、射影幾何における斉次座標系を
用いているので、画像平面上の２次元の点は（ｘ，ｙ，
ｗ）と表され、画像面上の直交座標系では（ｘ／ｗ，ｙ
／ｗ）と表される。従って、式（１）は、以下のように
表すことができる。
用いているので、画像平面上の２次元の点は（ｘ，ｙ，
ｗ）と表され、画像面上の直交座標系では（ｘ／ｗ，ｙ
／ｗ）と表される。従って、式（１）は、以下のように
表すことができる。
【００３２】
【数２】
【００３３】また、画像座標では、射影変換は以下のよ
うに表すことができる。
うに表すことができる。
【００３４】
【数３】
【００３５】
【数４】
【００３６】ここで、ｉは、画像を構成する画素の番号
を示しており、例えば、１画面が６４０×４８０個の画
素から構成されている画像では、ｉは０乃至６４０×４
８０の値を取る。
を示しており、例えば、１画面が６４０×４８０個の画
素から構成されている画像では、ｉは０乃至６４０×４
８０の値を取る。
【００３７】射影変換行列Ｈは、ｍ0乃至ｍ8の合計９個
のパラメータより構成されている。しかしながら、スケ
ール因子に自由度が残るので、自由度は８となる。ま
た、射影変換行列Ｈは、カメラの内部パラメータ、外部
パラメータ、および、平面の方程式を暗黙的に含んだ行
列である。
のパラメータより構成されている。しかしながら、スケ
ール因子に自由度が残るので、自由度は８となる。ま
た、射影変換行列Ｈは、カメラの内部パラメータ、外部
パラメータ、および、平面の方程式を暗黙的に含んだ行
列である。
【００３８】図３は、射影変換を施す対象となるテキス
チャとカメラとの関係を示す図である。この図において
は、基準点（所定の位置に選んでよい）からある距離Ｚ
0だけ離れた位置に設置した１枚の平面を、相互に位置
関係が固定された複数のカメラにより撮像するようにな
されている。なお、平面のカメラ側の面には、所定のテ
キスチャが形成されている。
チャとカメラとの関係を示す図である。この図において
は、基準点（所定の位置に選んでよい）からある距離Ｚ
0だけ離れた位置に設置した１枚の平面を、相互に位置
関係が固定された複数のカメラにより撮像するようにな
されている。なお、平面のカメラ側の面には、所定のテ
キスチャが形成されている。
【００３９】中央のカメラを基準カメラ、その他を参照
カメラとし、参照カメラのうちの何れか１つの画像と、
基準カメラの画像とを組み合わせてステレオペアを形成
する。
カメラとし、参照カメラのうちの何れか１つの画像と、
基準カメラの画像とを組み合わせてステレオペアを形成
する。
【００４０】このとき、基準カメラの画像（基準画像）
と、例えば、右端の参照カメラの画像（参照画像）は、
図４（Ａ）のようになる。
と、例えば、右端の参照カメラの画像（参照画像）は、
図４（Ａ）のようになる。
【００４１】このとき、参照画像に対して所定の射影変
換を施し、これらの画像間の輝度の誤差が最初となるよ
うな射影変換行列Ｈを算出する。このような射影変換行
列Ｈを求めることにより、基準画像の任意の点に対応す
る対応点を参照画像上から検索することが可能となる。
なお、本実施の形態においては、変換後の参照画像と、
基準画像とが正確に一致する射影変換行列Ｈを求める方
法（画像合わせ込み方法）としては、Levenberg-Marqua
rdt最小化法（以下、Ｌ−Ｍ法と略記する）を用いてい
る。以下にその詳細について説明する。
換を施し、これらの画像間の輝度の誤差が最初となるよ
うな射影変換行列Ｈを算出する。このような射影変換行
列Ｈを求めることにより、基準画像の任意の点に対応す
る対応点を参照画像上から検索することが可能となる。
なお、本実施の形態においては、変換後の参照画像と、
基準画像とが正確に一致する射影変換行列Ｈを求める方
法（画像合わせ込み方法）としては、Levenberg-Marqua
rdt最小化法（以下、Ｌ−Ｍ法と略記する）を用いてい
る。以下にその詳細について説明する。
【００４２】基準画像をＩ、参照画像をＩ’とし、基準
画像Ｉ上の座標ｘ，ｙにおける第ｉ番目の画素をＩ（ｘ
i，ｙi）、また、参照画像Ｉ’上の座標ｘ’，ｙ’にお
ける第ｉ番目の画素をＩ’（ｘ’i，ｙ’i）とする。こ
のとき、第ｉ番目の画素の輝度誤差をｅiとすると、画
像全体の輝度誤差Ｅは、次の式（５）により表すことが
できる。
画像Ｉ上の座標ｘ，ｙにおける第ｉ番目の画素をＩ（ｘ
i，ｙi）、また、参照画像Ｉ’上の座標ｘ’，ｙ’にお
ける第ｉ番目の画素をＩ’（ｘ’i，ｙ’i）とする。こ
のとき、第ｉ番目の画素の輝度誤差をｅiとすると、画
像全体の輝度誤差Ｅは、次の式（５）により表すことが
できる。
【００４３】
【数５】
【００４４】このＥを最小化する射影変換行列を求めれ
ば、画像の合わせ込み、即ち、基準画像と参照画像との
関係式を導出することができる。
ば、画像の合わせ込み、即ち、基準画像と参照画像との
関係式を導出することができる。
【００４５】即ち、画像全体の輝度誤差Ｅは、未知パラ
メータ｛ｍ0，ｍ1，・・・，ｍ7｝によるｅiの偏微分を
用いて導出する。前述したように、射影行列Ｈの自由度
は８であるから、ここではｍ8＝１とする。すると、第
ｋ番目のパラメータｍkによるｅiの偏微分は、以下の式
により表すことができる。
メータ｛ｍ0，ｍ1，・・・，ｍ7｝によるｅiの偏微分を
用いて導出する。前述したように、射影行列Ｈの自由度
は８であるから、ここではｍ8＝１とする。すると、第
ｋ番目のパラメータｍkによるｅiの偏微分は、以下の式
により表すことができる。
【００４６】
【数６】
【００４７】この式を、それぞれの未知パラメータによ
り実際に偏微分を行ったものを以下の式（７）乃至（１
４）に示す。
り実際に偏微分を行ったものを以下の式（７）乃至（１
４）に示す。
【００４８】
【数７】
【００４９】
【数８】
【００５０】
【数９】
【００５１】
【数１０】
【００５２】
【数１１】
【００５３】
【数１２】
【００５４】
【数１３】
【００５５】
【数１４】
【００５６】但し、Ｄi＝ｍ6・ｘi＋ｍ7・ｙi＋１にお
いて、（ Ｉ’／ ｘ’， Ｉ’／ｙ’）は、Ｉ’の
（ｘ’i，ｙ’i）における輝度値の勾配（Gradient）で
ある。これらの偏微分から、Ｌ−Ｍ法では近似Hessian
Matrix A（以下、行列Ａと略記する）と、Weighted gra
dient vector b（以下、ベクトルｂと略記する）を計算
する。なお、行列Ａとベクトルｂのそれぞれの構成要素
は、次のように表すことができる。
いて、（ Ｉ’／ ｘ’， Ｉ’／ｙ’）は、Ｉ’の
（ｘ’i，ｙ’i）における輝度値の勾配（Gradient）で
ある。これらの偏微分から、Ｌ−Ｍ法では近似Hessian
Matrix A（以下、行列Ａと略記する）と、Weighted gra
dient vector b（以下、ベクトルｂと略記する）を計算
する。なお、行列Ａとベクトルｂのそれぞれの構成要素
は、次のように表すことができる。
【００５７】
【数１５】
【００５８】
【数１６】
【００５９】そして、画像全体の輝度誤差Ｅの値が減少
したか否かに応じて、行列Ａとベクトルｂを用いた次式
に示すΔｍだけ未知パラメータｍの値を更新する。
したか否かに応じて、行列Ａとベクトルｂを用いた次式
に示すΔｍだけ未知パラメータｍの値を更新する。
【００６０】
【数１７】
【００６１】ここで、λは、time-varying stabilizati
on parameterである。
on parameterである。
【００６２】以上のような処理を誤差の変化がなくなる
（実際には、誤差の減少分が所定の閾値以下になる）ま
で繰り返すことにより、射影変換行列Ｈの未知のパラメ
ータｍ0乃至ｍ7を求めることができる。
（実際には、誤差の減少分が所定の閾値以下になる）ま
で繰り返すことにより、射影変換行列Ｈの未知のパラメ
ータｍ0乃至ｍ7を求めることができる。
【００６３】以上のようにして求めた射影変換行列Ｈを
用いて、次に、エピポーララインを求める。
用いて、次に、エピポーララインを求める。
【００６４】図５は、エピポーララインを求める方法を
説明する図である。射影変換行列Ｈ0が決まると、距離
Ｚ0における基準画像上の点ｎbに対応する参照画像上の
点ｎr 0が決定できる。点ｎbは任意であるので、その結
果、基準画像上の全ての点に対応する対応点を算出する
ことができる。
説明する図である。射影変換行列Ｈ0が決まると、距離
Ｚ0における基準画像上の点ｎbに対応する参照画像上の
点ｎr 0が決定できる。点ｎbは任意であるので、その結
果、基準画像上の全ての点に対応する対応点を算出する
ことができる。
【００６５】同様にして、観察する平面を距離Ｚ1の位
置に、距離Ｚ0の位置に置かれていた平面と平行になる
ように置いた場合の射影変換行列Ｈ1を求める。
置に、距離Ｚ0の位置に置かれていた平面と平行になる
ように置いた場合の射影変換行列Ｈ1を求める。
【００６６】求めた射影変換行列Ｈ0，Ｈ1により、基準
画像上の観察点ｎbは、対象が距離Ｚ0または距離Ｚ1に
ある場合には、参照画像上のｎr0，ｎr1にそれぞれ射影
されることが分かる。従って、参照画像上の２点ｎr0，
ｎr1を結んだ線分がエピポーララインとなる。
画像上の観察点ｎbは、対象が距離Ｚ0または距離Ｚ1に
ある場合には、参照画像上のｎr0，ｎr1にそれぞれ射影
されることが分かる。従って、参照画像上の２点ｎr0，
ｎr1を結んだ線分がエピポーララインとなる。
【００６７】ところで、実際の対象物の距離を測定する
場合においては、基準画像上の所定の点に対応する点
（対応点）をエピポーラライン上で探索し、検出された
対応点の位置（視差）を、３次元空間における実際の距
離に変換する必要がある。しかし、本実施の形態におい
ては射影変換を用いているので、視差と実際の距離とは
正比例しない。従って、この視差を距離に変換する変換
式を求めるために、本実施の形態においては、距離
Ｚ0，Ｚ1とは異なる距離Ｚ2に前述の平面を再度設置し
てｎr2を求め、これらｎr0，ｎr1，ｎr2から複比を用い
て視差と距離の変換を行うようにしている。
場合においては、基準画像上の所定の点に対応する点
（対応点）をエピポーラライン上で探索し、検出された
対応点の位置（視差）を、３次元空間における実際の距
離に変換する必要がある。しかし、本実施の形態におい
ては射影変換を用いているので、視差と実際の距離とは
正比例しない。従って、この視差を距離に変換する変換
式を求めるために、本実施の形態においては、距離
Ｚ0，Ｚ1とは異なる距離Ｚ2に前述の平面を再度設置し
てｎr2を求め、これらｎr0，ｎr1，ｎr2から複比を用い
て視差と距離の変換を行うようにしている。
【００６８】以下では、複比について説明する。
【００６９】図６は、複比を説明するための図である。
この図に示すように、３次元空間内の線分Ｌが画像面上
の線分Ｌ’に投影されているとする。このとき、線分Ｌ
上の４点Ａ，Ｂ，Ｃ，Ｄは、それぞれ、線分Ｌ’上の
Ａ’，Ｂ’，Ｃ’，Ｄ’に投影されているものとする。
また、これらの線分Ｌ，Ｌ’を観察する視点Ｏと、線分
Ｌ，Ｌ’とは同一平面上に配置されている。換言する
と、点Ａ，Ｂ，Ｃ，Ｄ，Ａ’，Ｂ’，Ｃ’，Ｄ’と視点
Ｏとは、同一の平面上に配置されている。これらの平面
上における位置関係を書き直すと、図７のようになる。
この図に示すように、３次元空間内の線分Ｌが画像面上
の線分Ｌ’に投影されているとする。このとき、線分Ｌ
上の４点Ａ，Ｂ，Ｃ，Ｄは、それぞれ、線分Ｌ’上の
Ａ’，Ｂ’，Ｃ’，Ｄ’に投影されているものとする。
また、これらの線分Ｌ，Ｌ’を観察する視点Ｏと、線分
Ｌ，Ｌ’とは同一平面上に配置されている。換言する
と、点Ａ，Ｂ，Ｃ，Ｄ，Ａ’，Ｂ’，Ｃ’，Ｄ’と視点
Ｏとは、同一の平面上に配置されている。これらの平面
上における位置関係を書き直すと、図７のようになる。
【００７０】この図において、ＯＡ＝ａ，ＯＢ＝ｂ，Ｏ
Ｃ＝ｃ，ＯＤ＝ｄとおき、更に ＡＯＣ＝α， ＢＯＣ
＝β， ＡＯＤ＝γ， ＢＯＤ＝δとおくと、これらの
間の関係は、以下の式により表すことができる。
Ｃ＝ｃ，ＯＤ＝ｄとおき、更に ＡＯＣ＝α， ＢＯＣ
＝β， ＡＯＤ＝γ， ＢＯＤ＝δとおくと、これらの
間の関係は、以下の式により表すことができる。
【００７１】
【数１８】
【００７２】
【数１９】
【００７３】
【数２０】
【００７４】従って、式（１９）と式（２０）を式（１
８）に代入すると、以下の式を得る。
８）に代入すると、以下の式を得る。
【００７５】
【数２１】
【００７６】同様の計算をＡＤとＢＤに対して施すと、
以下の式を得る。
以下の式を得る。
【００７７】
【数２２】
【００７８】式（２１）を式（２２）により除算するこ
とにより、以下の式（２３）を得る。
とにより、以下の式（２３）を得る。
【００７９】
【数２３】
【００８０】以上の式（１８）乃至式（２３）の計算と
同様の計算を、Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’
Ｄ’に対して行うことにより、以下の式を得る。
同様の計算を、Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’
Ｄ’に対して行うことにより、以下の式を得る。
【００８１】
【数２４】
【００８２】これら、式（２３）と式（２４）とから、
以下の式を得る。
以下の式を得る。
【００８３】
【数２５】
【００８４】以上の複比を用いて、以下のような手順に
より、所望の対象点の３次元空間内における基準点から
の距離を求める。
より、所望の対象点の３次元空間内における基準点から
の距離を求める。
【００８５】いま、図７において、線分Ｌを基準画像上
の点ｎbの視線に対応させ、また、線分Ｌ’をエピポー
ララインに対応させるとする。更に、点Ａ，Ｂ，Ｄをそ
れぞれ距離Ｚ0，Ｚ2，Ｚ1の３次元空間内の点に対応さ
せ、また、点Ａ’，Ｂ’，Ｄ’を、射影変換行列Ｈ0，
Ｈ2，Ｈ1でそれぞれ求めることができる参照画像上の点
ｎr0，ｎr2，ｎr1に対応させるとする。これらの関係を
改めて作図しなおしたのが図８である。
の点ｎbの視線に対応させ、また、線分Ｌ’をエピポー
ララインに対応させるとする。更に、点Ａ，Ｂ，Ｄをそ
れぞれ距離Ｚ0，Ｚ2，Ｚ1の３次元空間内の点に対応さ
せ、また、点Ａ’，Ｂ’，Ｄ’を、射影変換行列Ｈ0，
Ｈ2，Ｈ1でそれぞれ求めることができる参照画像上の点
ｎr0，ｎr2，ｎr1に対応させるとする。これらの関係を
改めて作図しなおしたのが図８である。
【００８６】いま、距離Ｚsだけ離れた位置に、対象点
Ｃが配置されているとする。このとき、エピポーラライ
ンＬ’上を探索して得られた対応点がｎrsであるとする
と、式（２５）の各線分の値は、以下のようになる。
Ｃが配置されているとする。このとき、エピポーラライ
ンＬ’上を探索して得られた対応点がｎrsであるとする
と、式（２５）の各線分の値は、以下のようになる。
【００８７】
【数２６】
【００８８】従って、式（２６）を式（２５）に代入す
ることにより、基準点から対象点Ｃまでの距離Ｚ3を求
めることができる。ところで、実際の距離は線分Ｌに沿
ったものではないが、別の線分に正射影されているの
で、各距離の比は正比例の関係となるので大きな問題は
生じない。例えば、図８においては、ＡＤは光軸に正射
影したＡcＤcの長さである。
ることにより、基準点から対象点Ｃまでの距離Ｚ3を求
めることができる。ところで、実際の距離は線分Ｌに沿
ったものではないが、別の線分に正射影されているの
で、各距離の比は正比例の関係となるので大きな問題は
生じない。例えば、図８においては、ＡＤは光軸に正射
影したＡcＤcの長さである。
【００８９】また、以上の例では、ＡＤ間の内挿の場合
（対象点ＣがＡＤの内側に存在する場合）について説明
したが、外挿の場合（対象点がＡＤの外側に存在する場
合）においても可能であることはいうまでもない。
（対象点ＣがＡＤの内側に存在する場合）について説明
したが、外挿の場合（対象点がＡＤの外側に存在する場
合）においても可能であることはいうまでもない。
【００９０】次に、以上の説明を踏まえたうえで、図１
に示す本発明の実施の形態の動作について図８に示すフ
ローチャートを参照して説明する。
に示す本発明の実施の形態の動作について図８に示すフ
ローチャートを参照して説明する。
【００９１】この処理は、図１に示す実施の形態におい
て実行される処理の一例を説明するフローチャートであ
る。この処理が実行されると、ステップＳ１において、
ＣＰＵ１０ａは、距離Ｚ0における基準画像と参照画像
を基準カメラ３０と参照カメラ３１からそれぞれ入力す
る。即ち、ＣＰＵ１０ａは、図８に示す距離Ｚ0の位置
に、基準カメラ３０の光軸と垂直となるように配置され
た平面を、基準カメラ３０と参照カメラ３１により撮影
させ、得られた画像をＩＦ１０ｄを介して読み込む。
て実行される処理の一例を説明するフローチャートであ
る。この処理が実行されると、ステップＳ１において、
ＣＰＵ１０ａは、距離Ｚ0における基準画像と参照画像
を基準カメラ３０と参照カメラ３１からそれぞれ入力す
る。即ち、ＣＰＵ１０ａは、図８に示す距離Ｚ0の位置
に、基準カメラ３０の光軸と垂直となるように配置され
た平面を、基準カメラ３０と参照カメラ３１により撮影
させ、得られた画像をＩＦ１０ｄを介して読み込む。
【００９２】ステップＳ２では、前述した式（５）乃至
（１７）を用いて、得られた基準カメラ３０の画像と、
参照カメラ３１の画像を処理し、射影変換行列Ｈ0を求
める。なお、この処理の詳細については、図１０を参照
して後述する。
（１７）を用いて、得られた基準カメラ３０の画像と、
参照カメラ３１の画像を処理し、射影変換行列Ｈ0を求
める。なお、この処理の詳細については、図１０を参照
して後述する。
【００９３】ステップＳ３では、ＣＰＵ１０ａは、図８
に示す距離Ｚ1の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
に示す距離Ｚ1の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
【００９４】ステップＳ４では、射影変換行列Ｈ1が算
出される。そして、ステップＳ５に進む。
出される。そして、ステップＳ５に進む。
【００９５】ステップＳ５では、ＣＰＵ１０ａは、図８
に示す距離Ｚ2の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
に示す距離Ｚ2の位置に、基準カメラ３０の光軸と垂直
となるように配置された平面を、基準カメラ３０と参照
カメラ３１により撮影させ、得られた画像をＩＦ１０ｄ
を介して読み込む。
【００９６】そして、ステップＳ６において、射影変換
行列Ｈ2を算出し、処理を終了する（エンド）。
行列Ｈ2を算出し、処理を終了する（エンド）。
【００９７】次に、図１０を参照して、ステップＳ２，
Ｓ４，Ｓ６に示す射影変換行列を求める処理の詳細につ
いて説明する。
Ｓ４，Ｓ６に示す射影変換行列を求める処理の詳細につ
いて説明する。
【００９８】この処理が実行（コール）されると、ＣＰ
Ｕ１０ａは、ステップＳ１９において、変数ｔを値０に
初期設定する。そして、ステップＳ２０において、変数
ｊと変数ｋを値０にそれぞれ初期設定し、また、変数λ
を値１に初期設定する。そして、ステップＳ２１に進
む。
Ｕ１０ａは、ステップＳ１９において、変数ｔを値０に
初期設定する。そして、ステップＳ２０において、変数
ｊと変数ｋを値０にそれぞれ初期設定し、また、変数λ
を値１に初期設定する。そして、ステップＳ２１に進
む。
【００９９】ステップＳ２１では、ＣＰＵ１０ａは、変
数ｉと変数Ｅを値０にそれぞれ初期設定する。そして、
ステップＳ２２に進む。
数ｉと変数Ｅを値０にそれぞれ初期設定する。そして、
ステップＳ２２に進む。
【０１００】ステップＳ２２では、ＣＰＵ１０ａは、第
ｉ番目の画素の輝度誤差ｅiを算出する。即ち、式
（５）に示すように、参照画像Ｉ’の第ｉ番目の画素の
値（画素値）から、基準画像Ｉの第ｉ番目の画素値を減
算してｅiを求める。
ｉ番目の画素の輝度誤差ｅiを算出する。即ち、式
（５）に示すように、参照画像Ｉ’の第ｉ番目の画素の
値（画素値）から、基準画像Ｉの第ｉ番目の画素値を減
算してｅiを求める。
【０１０１】続くステップＳ２３では、ＣＰＵ１０ａ
は、参照画像Ｉ’をｘとｙにより偏微分した結果である
（ Ｉ’／ ｘ）と（ Ｉ’／ ｙ）をそれぞれ求め
る。そして、ステップＳ２４に進む。
は、参照画像Ｉ’をｘとｙにより偏微分した結果である
（ Ｉ’／ ｘ）と（ Ｉ’／ ｙ）をそれぞれ求め
る。そして、ステップＳ２４に進む。
【０１０２】ステップＳ２４では、ＣＰＵ１０ａは（
ｅi／ ｍk）（ｋ＝０，１，・・・，７）を算出する。
即ち、ＣＰＵ１０ａは、ステップＳ２４において算出し
た（Ｉ’／ ｘ）と（ Ｉ’／ ｙ）を、式（７）乃至
式（１４）に代入することにより、 ｅi／ ｍkを算出
する。
ｅi／ ｍk）（ｋ＝０，１，・・・，７）を算出する。
即ち、ＣＰＵ１０ａは、ステップＳ２４において算出し
た（Ｉ’／ ｘ）と（ Ｉ’／ ｙ）を、式（７）乃至
式（１４）に代入することにより、 ｅi／ ｍkを算出
する。
【０１０３】続くステップＳ２５では、ＣＰＵ１０ａ
は、マトリクスＡとベクトルｂとをそれぞれ計算する。
即ち、ＣＰＵ１０ａは、式（１５）と式（１６）に応じ
て、式（７）乃至式（１４）の結果を累積加算する。そ
して、ステップＳ２６に進む。
は、マトリクスＡとベクトルｂとをそれぞれ計算する。
即ち、ＣＰＵ１０ａは、式（１５）と式（１６）に応じ
て、式（７）乃至式（１４）の結果を累積加算する。そ
して、ステップＳ２６に進む。
【０１０４】ステップＳ２６では、ＣＰＵ１０ａは、変
数Ｅに対して、第ｉ番目の画素の輝度誤差を２乗した値
を加算する。その結果、変数Ｅには各画素の輝度誤差を
２乗した値が累積加算されていくことになるので、最終
的には変数Ｅには全画素の輝度誤差の２乗和が格納され
ることになる。
数Ｅに対して、第ｉ番目の画素の輝度誤差を２乗した値
を加算する。その結果、変数Ｅには各画素の輝度誤差を
２乗した値が累積加算されていくことになるので、最終
的には変数Ｅには全画素の輝度誤差の２乗和が格納され
ることになる。
【０１０５】ステップＳ２７では、ＣＰＵ１０ａは、変
数ｉの値を１だけインクリメントし、ステップＳ２８に
進む。
数ｉの値を１だけインクリメントし、ステップＳ２８に
進む。
【０１０６】ステップＳ２８では、ＣＰＵ１０ａは、変
数ｉの値が画素の総数である６４０×４８０と等しくな
ったか否かを判定する。その結果、変数ｉの値が６４０
×４８０と等しくない（ＮＯ）と判定した場合には、ス
テップＳ２２に戻り、前述の場合と同様の処理を繰り返
す。また、変数ｉの値が６４０×４８０と等しい（ＹＥ
Ｓ）と判定した場合にはステップＳ２９に進む。
数ｉの値が画素の総数である６４０×４８０と等しくな
ったか否かを判定する。その結果、変数ｉの値が６４０
×４８０と等しくない（ＮＯ）と判定した場合には、ス
テップＳ２２に戻り、前述の場合と同様の処理を繰り返
す。また、変数ｉの値が６４０×４８０と等しい（ＹＥ
Ｓ）と判定した場合にはステップＳ２９に進む。
【０１０７】ステップＳ２９では、ＣＰＵ１０ａは、行
列Ａとベクトルｂを含む方程式（Ａ＋λＩ）Δｍ＝ｂを
解き、Δｍを求める。ここで、λはtime-varying stabi
lizing parameterである。そして、ステップＳ３０に進
み、現在のｍ(t)の値に対して、Δｍを加算して、新た
なｍ(t+1)を生成し、ステップＳ３１に進む。
列Ａとベクトルｂを含む方程式（Ａ＋λＩ）Δｍ＝ｂを
解き、Δｍを求める。ここで、λはtime-varying stabi
lizing parameterである。そして、ステップＳ３０に進
み、現在のｍ(t)の値に対して、Δｍを加算して、新た
なｍ(t+1)を生成し、ステップＳ３１に進む。
【０１０８】ステップＳ３１では、ＣＰＵ１０ａは、ス
テップＳ３０において得られたｍ(t +1)を用いて、画像
全体の輝度誤差Ｅ’を算出する。そして、ステップＳ３
２に進み、Ｅ’がＥよりも小さいか否かを判定する。即
ち、新たなｍ(t+1)により生成された画素全体の輝度誤
差Ｅ’が、前回の画素全体の輝度誤差Ｅよりも小さいか
否かを判定する。その結果、Ｅ’がＥよりも小さい（Ｙ
ＥＳ）と判定した場合には、ステップＳ３６に進み、変
数ｔの値を１だけインクリメントし、ステップＳ２０に
戻り、前述の場合と同様の処理を繰り返す。また、Ｅ’
がＥ以上である（ＮＯ）と判定した場合にはステップＳ
３３に進む。
テップＳ３０において得られたｍ(t +1)を用いて、画像
全体の輝度誤差Ｅ’を算出する。そして、ステップＳ３
２に進み、Ｅ’がＥよりも小さいか否かを判定する。即
ち、新たなｍ(t+1)により生成された画素全体の輝度誤
差Ｅ’が、前回の画素全体の輝度誤差Ｅよりも小さいか
否かを判定する。その結果、Ｅ’がＥよりも小さい（Ｙ
ＥＳ）と判定した場合には、ステップＳ３６に進み、変
数ｔの値を１だけインクリメントし、ステップＳ２０に
戻り、前述の場合と同様の処理を繰り返す。また、Ｅ’
がＥ以上である（ＮＯ）と判定した場合にはステップＳ
３３に進む。
【０１０９】ステップＳ３３では、ＣＰＵ１０ａは、変
数ｊの値を１だけインクリメントし、ステップＳ３４に
進む。ステップＳ３４では、ＣＰＵ１０ａは、変数ｊの
値が３０であるか否かを判定する。その結果、変数ｊの
値が３０である（ＹＥＳ）と判定した場合には元の処理
に復帰する。また、変数ｊの値が３０ではない（ＮＯ）
と判定した場合には、ステップＳ３５に進む。
数ｊの値を１だけインクリメントし、ステップＳ３４に
進む。ステップＳ３４では、ＣＰＵ１０ａは、変数ｊの
値が３０であるか否かを判定する。その結果、変数ｊの
値が３０である（ＹＥＳ）と判定した場合には元の処理
に復帰する。また、変数ｊの値が３０ではない（ＮＯ）
と判定した場合には、ステップＳ３５に進む。
【０１１０】ステップＳ３５では、ＣＰＵ１０ａは、変
数λの値を１０倍して、ステップＳ２９に戻り、前述の
場合と同様の処理を繰り返すことになる。
数λの値を１０倍して、ステップＳ２９に戻り、前述の
場合と同様の処理を繰り返すことになる。
【０１１１】以上の処理により、射影変換行列Ｈを求め
ることができる。
ることができる。
【０１１２】なお、以上の実施の形態においては、画像
全体に対して処理を行う場合について説明したが、例え
ば、画像の一部の領域のみに対して前述の処理を行うこ
とも可能である。また、変換の結果、対象となるテキス
チャが画面からはみ出した場合には、処理の繰り返し回
数が全画素数よりも少ない回数に設定される。
全体に対して処理を行う場合について説明したが、例え
ば、画像の一部の領域のみに対して前述の処理を行うこ
とも可能である。また、変換の結果、対象となるテキス
チャが画面からはみ出した場合には、処理の繰り返し回
数が全画素数よりも少ない回数に設定される。
【０１１３】次に、このようにして得られた射影変換行
列Ｈ0乃至Ｈ2を用いて、対象点までの距離を求める処理
について図１１を参照して以下に説明する。
列Ｈ0乃至Ｈ2を用いて、対象点までの距離を求める処理
について図１１を参照して以下に説明する。
【０１１４】図１１は、図８に示す対象点Ｃまでの距離
を測定するための処理の一例を説明するフローチャート
である。
を測定するための処理の一例を説明するフローチャート
である。
【０１１５】この処理が実行されると、ステップＳ５０
において、ＣＰＵ１０ａは、基準画像上の対象点ｎ
b（画像上の対象点Ｃ）を入力する。
において、ＣＰＵ１０ａは、基準画像上の対象点ｎ
b（画像上の対象点Ｃ）を入力する。
【０１１６】続くステップＳ５１では、ＣＰＵ１０ａ
は、図９の処理において求めた射影変換行列Ｈ0乃至Ｈ2
を用いて、参照画像上の対応点ｎr0乃至ｎr2を算出す
る。そして、ステップＳ５２に進む。
は、図９の処理において求めた射影変換行列Ｈ0乃至Ｈ2
を用いて、参照画像上の対応点ｎr0乃至ｎr2を算出す
る。そして、ステップＳ５２に進む。
【０１１７】ステップＳ５２では、ＣＰＵ１０ａは、ス
テップＳ５１において求めたｎr0とｎr1とを直線で結ぶ
ことにより、エピポーララインを生成する。即ち、ＣＰ
Ｕ１０ａは、エピポーララインが通過する画素のアドレ
ス値を生成し、ＲＡＭ１０ｃに格納する。
テップＳ５１において求めたｎr0とｎr1とを直線で結ぶ
ことにより、エピポーララインを生成する。即ち、ＣＰ
Ｕ１０ａは、エピポーララインが通過する画素のアドレ
ス値を生成し、ＲＡＭ１０ｃに格納する。
【０１１８】ステップＳ５３では、ＣＰＵ１０ａは、基
準カメラ３０から出力される画像をＲＡＭ１０ｃに一旦
格納し、格納されている画像の点ｎbの近傍の画素群を
抽出する。
準カメラ３０から出力される画像をＲＡＭ１０ｃに一旦
格納し、格納されている画像の点ｎbの近傍の画素群を
抽出する。
【０１１９】続くステップＳ５４では、ＣＰＵ１０ａ
は、抽出した画素群をテンプレートとし、マッチ度の高
い点ｎrsをエピポーララインに沿って検索する。即ち、
ＣＰＵ１０ａは、ステップＳ５２において生成され、Ｒ
ＡＭ１０ｃに格納されているエピポーララインに対応す
るアドレスに応じて、参照カメラ３１から出力される画
像から画素群を読み出し、テンプレートと照合する。そ
して、最も近しい（誤差の少ない）画素群が存在する領
域の中心を点ｎrsとする。
は、抽出した画素群をテンプレートとし、マッチ度の高
い点ｎrsをエピポーララインに沿って検索する。即ち、
ＣＰＵ１０ａは、ステップＳ５２において生成され、Ｒ
ＡＭ１０ｃに格納されているエピポーララインに対応す
るアドレスに応じて、参照カメラ３１から出力される画
像から画素群を読み出し、テンプレートと照合する。そ
して、最も近しい（誤差の少ない）画素群が存在する領
域の中心を点ｎrsとする。
【０１２０】ステップＳ５５では、ＣＰＵ１０ａは、ス
テップＳ５４で求めたｎrsと、ｎr0乃至ｎr2、および、
Ｚ0乃至Ｚ2から、複比を用いて、ｎrsに対応する距離Ｚ
sを算出する。即ち、ＣＰＵ１０ａは、式（２５）およ
び式（２６）に対して、以上の処理により得られたｎrs
と、ｎr0乃至ｎr2、および、Ｚ0乃至Ｚ2を代入し、点ｎ
rsに対応する距離Ｚsを算出する。そして、処理を終了
する（エンド）。
テップＳ５４で求めたｎrsと、ｎr0乃至ｎr2、および、
Ｚ0乃至Ｚ2から、複比を用いて、ｎrsに対応する距離Ｚ
sを算出する。即ち、ＣＰＵ１０ａは、式（２５）およ
び式（２６）に対して、以上の処理により得られたｎrs
と、ｎr0乃至ｎr2、および、Ｚ0乃至Ｚ2を代入し、点ｎ
rsに対応する距離Ｚsを算出する。そして、処理を終了
する（エンド）。
【０１２１】このような処理により、対象点Ｃまでの距
離Ｚsを算出することができる。
離Ｚsを算出することができる。
【０１２２】以上の実施の形態によれば、特殊な校正パ
ターンなどを必要としないため簡便な装置によりキャリ
ブレーションを行うことが可能となる。また、画像合わ
せ込みを行うため、各カメラの光軸が任意の方向を向い
ている場合や、各カメラの間に輻輳がある場合において
も、距離の計測が可能となる。
ターンなどを必要としないため簡便な装置によりキャリ
ブレーションを行うことが可能となる。また、画像合わ
せ込みを行うため、各カメラの光軸が任意の方向を向い
ている場合や、各カメラの間に輻輳がある場合において
も、距離の計測が可能となる。
【０１２３】なお、明細書中において、伝送媒体は、Ｆ
Ｄ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネ
ット、ディジタル衛星などのネットワーク伝送媒体も含
まれる。
Ｄ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネ
ット、ディジタル衛星などのネットワーク伝送媒体も含
まれる。
【０１２４】
【発明の効果】請求項１に記載の画像処理装置、請求項
４に記載の画像処理方法、および、請求項５に記載の伝
送媒体によれば、撮像装置により撮像された画像のうち
の少なくとも１つを基準画像として入力し、撮像装置に
より入力された画像のうちの少なくとも１つを参照画像
として入力し、入力された参照画像を射影変換を用いて
変換し、変換された画像と、基準画像との対応関係を算
定し、算定結果に応じて対象点までの距離を算出するよ
うにしたので、キャリブレーションに必要な時間と手間
を短縮することが可能となる。
４に記載の画像処理方法、および、請求項５に記載の伝
送媒体によれば、撮像装置により撮像された画像のうち
の少なくとも１つを基準画像として入力し、撮像装置に
より入力された画像のうちの少なくとも１つを参照画像
として入力し、入力された参照画像を射影変換を用いて
変換し、変換された画像と、基準画像との対応関係を算
定し、算定結果に応じて対象点までの距離を算出するよ
うにしたので、キャリブレーションに必要な時間と手間
を短縮することが可能となる。
【図１】本実施の形態の構成例を示すブロック図であ
る。
る。
【図２】基準カメラと参照カメラの画像面に平面上の対
象点Ｐが観察される様子を示す図である。
象点Ｐが観察される様子を示す図である。
【図３】基準カメラ、参照カメラ、および、平面の配置
例を示す図である。
例を示す図である。
【図４】参照カメラの画像が射影変換され、基準カメラ
の画像と重ね合わされた様子を示す図である。
の画像と重ね合わされた様子を示す図である。
【図５】対象物が距離Ｚ0とＺ1に存在する場合に参照カ
メラの画像面に観察される観察点ｎr0とｎr1を示す図で
ある。
メラの画像面に観察される観察点ｎr0とｎr1を示す図で
ある。
【図６】線分Ｌが画像面に投影されている場合の様子を
説明する図である。
説明する図である。
【図７】図６に示す線分Ｌ、線分Ｌ’、および、視点Ｏ
を１つの平面上に表した図である。
を１つの平面上に表した図である。
【図８】図７に示す図を本実施の形態に対応させて書き
直した場合の図である。
直した場合の図である。
【図９】射影変換行列Ｈ0乃至Ｈ2を求める処理の一例を
説明するフローチャートである。
説明するフローチャートである。
【図１０】図８に示すステップＳ２，４，６の処理の詳
細を説明するフローチャートである。
細を説明するフローチャートである。
【図１１】対象点Ｃまでの距離を算出する処理の一例を
説明するフローチャートである。
説明するフローチャートである。
【図１２】基準カメラと参照カメラの画像、対象点Ｐ、
および、エピポーララインの関係を示す図である。
および、エピポーララインの関係を示す図である。
１０ａ ＣＰＵ（変換手段、算定手段、算出手段），
１０ｄ ＩＦ（基準画像入力手段、参照画像入力手段）
１０ｄ ＩＦ（基準画像入力手段、参照画像入力手段）
Claims (6)
- 【請求項１】 複数の撮像装置によって撮像された画像
に対して所定の画像処理を施す画像処理装置において、 前記撮像装置により撮像された画像のうちの少なくとも
１つを基準画像として入力する基準画像入力手段と、 前記撮像装置により入力された画像のうちの少なくとも
１つを参照画像として入力する参照画像入力手段と、 前記参照画像入力手段より入力された参照画像を、射影
変換を用いて変換する変換手段と、 前記変換手段によって得られた画像と、前記基準画像と
の対応関係を算定する算定手段と、 前記算定手段の算定結果に応じて、対象点までの距離を
算出する算出手段とを備えることを特徴とする画像処理
装置。 - 【請求項２】 前記変換手段は、変換後の画像と前記基
準画像の輝度誤差が最小となるように、前記参照画像を
変換することを特徴とする請求項１に記載の画像処理装
置。 - 【請求項３】 前記算出手段は、前記算定手段によって
算定された対応関係に応じて生成されたエピポーラライ
ンに基づいて、前記対象点までの距離を算出することを
特徴とする請求項１に記載の画像処理装置。 - 【請求項４】 複数の撮像装置によって撮像された画像
に対して所定の画像処理を施す画像処理方法において、 前記撮像装置により撮像された画像のうちの少なくとも
１つを基準画像として入力する基準画像入力ステップ
と、 前記撮像装置により入力された画像のうちの少なくとも
１つを参照画像として入力する参照画像入力ステップ
と、 前記参照画像入力ステップより入力された参照画像を、
射影変換を用いて変換する変換ステップと、 前記変換ステップによって得られた画像と、前記基準画
像との対応関係を算定する算定ステップと、 前記算定ステップの算定結果に応じて、対象点までの距
離を算出する算出ステップとを備えることを特徴とする
画像処理方法。 - 【請求項５】 複数の撮像装置によって撮像された画像
に対して所定の画像処理を施す画像処理装置で使用され
るコンピュータプログラムを伝送する伝送媒体におい
て、 前記撮像装置により撮像された画像のうちの少なくとも
１つを基準画像として入力する基準画像入力ステップ
と、 前記撮像装置により入力された画像のうちの少なくとも
１つを参照画像として入力する参照画像入力ステップ
と、 前記参照画像入力ステップより入力された参照画像を、
射影変換を用いて変換する変換ステップと、 前記変換ステップによって得られた画像と、前記基準画
像との対応関係を算定する算定ステップと、 前記算定ステップの算定結果に応じて、対象点までの距
離を算出する算出ステップとを備えるコンピュータプロ
グラムを伝送する伝送媒体。 - 【請求項６】 請求項５に記載の伝送媒体から伝送を受
けたプログラムを記憶し、そのプログラムを用いて画像
を処理する画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20794897A JP4006657B2 (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20794897A JP4006657B2 (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153548A true JPH1153548A (ja) | 1999-02-26 |
| JP4006657B2 JP4006657B2 (ja) | 2007-11-14 |
Family
ID=16548199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20794897A Expired - Fee Related JP4006657B2 (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4006657B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001109879A (ja) * | 1999-08-05 | 2001-04-20 | Sony Corp | 画像処理装置および方法、並びに媒体 |
| JP2002027507A (ja) * | 2000-07-13 | 2002-01-25 | Sony Corp | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
| JP2005106505A (ja) * | 2003-09-29 | 2005-04-21 | Pentax Corp | 画像間対応点検出装置および画像間対応点検出方法 |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| US7269281B2 (en) | 2003-03-19 | 2007-09-11 | Minolta Co., Ltd. | Method for measuring object based on image and photographing apparatus |
| JP2010197198A (ja) * | 2009-02-25 | 2010-09-09 | Roland Dg Corp | 画像の差分による高精度ステレオカメラキャリブレーション |
| CN105719309A (zh) * | 2016-01-27 | 2016-06-29 | 大连理工大学 | 一种基于射影不变量的直线匹配方法 |
| CN109115185A (zh) * | 2018-07-14 | 2019-01-01 | 武汉华宇世纪科技发展有限公司 | 近景摄影测量方法 |
| RU2769453C1 (ru) * | 2021-07-19 | 2022-03-31 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Способ измерения дальности до вагона на прямолинейном участке железнодорожного пути |
| CN114754679A (zh) * | 2016-12-09 | 2022-07-15 | 手持产品公司 | 使用光学上可感知的几何元素的可测量参数的比值来校准尺寸量定器 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10378957B2 (en) * | 2016-09-13 | 2019-08-13 | Safe-Fire Technology LLC | System and method for measuring coal burner flame temperature profile using optical device |
-
1997
- 1997-08-01 JP JP20794897A patent/JP4006657B2/ja not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001109879A (ja) * | 1999-08-05 | 2001-04-20 | Sony Corp | 画像処理装置および方法、並びに媒体 |
| JP2002027507A (ja) * | 2000-07-13 | 2002-01-25 | Sony Corp | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| JP2002324234A (ja) * | 2001-02-23 | 2002-11-08 | Sharp Corp | 立体画像を偏歪修正する方法および装置 |
| US7269281B2 (en) | 2003-03-19 | 2007-09-11 | Minolta Co., Ltd. | Method for measuring object based on image and photographing apparatus |
| JP2005106505A (ja) * | 2003-09-29 | 2005-04-21 | Pentax Corp | 画像間対応点検出装置および画像間対応点検出方法 |
| JP4540322B2 (ja) * | 2003-09-29 | 2010-09-08 | Ｈｏｙａ株式会社 | 画像間対応点検出装置および画像間対応点検出方法 |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP2010197198A (ja) * | 2009-02-25 | 2010-09-09 | Roland Dg Corp | 画像の差分による高精度ステレオカメラキャリブレーション |
| CN105719309A (zh) * | 2016-01-27 | 2016-06-29 | 大连理工大学 | 一种基于射影不变量的直线匹配方法 |
| CN114754679A (zh) * | 2016-12-09 | 2022-07-15 | 手持产品公司 | 使用光学上可感知的几何元素的可测量参数的比值来校准尺寸量定器 |
| CN109115185A (zh) * | 2018-07-14 | 2019-01-01 | 武汉华宇世纪科技发展有限公司 | 近景摄影测量方法 |
| CN109115185B (zh) * | 2018-07-14 | 2021-04-02 | 武汉华宇世纪科技发展有限公司 | 近景摄影测量方法 |
| RU2769453C1 (ru) * | 2021-07-19 | 2022-03-31 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Способ измерения дальности до вагона на прямолинейном участке железнодорожного пути |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4006657B2 (ja) | 2007-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6816187B1 (en) | Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera | |
| CN101563709B (zh) | 校准照相机系统 | |
| US6438507B1 (en) | Data processing method and processing device | |
| WO2017195801A1 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
| JP2019149809A (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| US20120268567A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| US20110064298A1 (en) | Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating | |
| JP4887376B2 (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
| JP4006657B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2011086111A (ja) | 撮像装置校正方法及び画像合成装置 | |
| JP2005106505A (ja) | 画像間対応点検出装置および画像間対応点検出方法 | |
| WO2017025214A1 (en) | Method for calibration of a stereo camera | |
| CN112785685B (zh) | 一种装配引导方法及系统 | |
| JPH1153549A (ja) | 画像処理装置、画像処理方法、および、伝送媒体 | |
| JP4102386B2 (ja) | ３次元情報復元装置 | |
| WO2021020062A1 (ja) | 三次元変位計測方法及び三次元変位計測装置 | |
| JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
| CN109712200B (zh) | 一种基于最小二乘原理及边长推算的双目定位方法及系统 | |
| CN111698467A (zh) | 基于多摄像机的智能跟踪方法及系统 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| JP5901379B2 (ja) | 撮像装置校正方法および画像合成装置 | |
| JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
| JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP6545033B2 (ja) | 三次元温度分布表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |