JP3340599B2 - 平面推定方法 - Google Patents
平面推定方法Info
- Publication number
- JP3340599B2 JP3340599B2 JP23401995A JP23401995A JP3340599B2 JP 3340599 B2 JP3340599 B2 JP 3340599B2 JP 23401995 A JP23401995 A JP 23401995A JP 23401995 A JP23401995 A JP 23401995A JP 3340599 B2 JP3340599 B2 JP 3340599B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- straight line
- distance
- passing
- distance data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、ステレオ画像処理にお
ける平面推定方法に関するものであり、観察平面上にお
いて部分的に計測された距離データに対してハフ変換を
行い、観察平面内を通る２本以上の直線を当てはめ、こ
の直線を用いて平面位置を推定し、平面内の未決定距離
データを獲得する方法である。
ける平面推定方法に関するものであり、観察平面上にお
いて部分的に計測された距離データに対してハフ変換を
行い、観察平面内を通る２本以上の直線を当てはめ、こ
の直線を用いて平面位置を推定し、平面内の未決定距離
データを獲得する方法である。
【０００２】
【従来の技術】図11はステレオ画像計測の原理を説明す
る図である。図11において、実空間を表す座標として
ｘ，ｙ，ｚを用い、画像(カメラ撮像面)上の位置を示す
座標としてＸ，Ｙを用いる。但し、左カメラ11Ｌ，右カ
メラ11Ｒを区別するために、左カメラ11Ｌの画像面上の
位置を示す座標としてＸL，ＹLを用い、右カメラ11Ｒの
画像面上の位置を示す座標としてＸR，ＹRを用いる。ｘ
軸とＸL軸、ｘ軸とＸR軸、ｙ軸とＹL軸、ｙ軸とＹR軸は
互いに平行であり、ｚ軸は２台の左，右のカメラ11Ｌ，
11Ｒの光軸に平行であるものとする。実空間座標系の原
点を左，右のカメラ11Ｌ，11Ｒの投影中心の中点にと
り、投影中心間の距離を基線長と呼び、その長さを２a
で表すことにする。また、投影中心と画像面の距離(焦
点距離)をｆで表す。
る図である。図11において、実空間を表す座標として
ｘ，ｙ，ｚを用い、画像(カメラ撮像面)上の位置を示す
座標としてＸ，Ｙを用いる。但し、左カメラ11Ｌ，右カ
メラ11Ｒを区別するために、左カメラ11Ｌの画像面上の
位置を示す座標としてＸL，ＹLを用い、右カメラ11Ｒの
画像面上の位置を示す座標としてＸR，ＹRを用いる。ｘ
軸とＸL軸、ｘ軸とＸR軸、ｙ軸とＹL軸、ｙ軸とＹR軸は
互いに平行であり、ｚ軸は２台の左，右のカメラ11Ｌ，
11Ｒの光軸に平行であるものとする。実空間座標系の原
点を左，右のカメラ11Ｌ，11Ｒの投影中心の中点にと
り、投影中心間の距離を基線長と呼び、その長さを２a
で表すことにする。また、投影中心と画像面の距離(焦
点距離)をｆで表す。
【０００３】いま、実空間内の点ｐが左画面上の点Ｐ
L(ＸL，ＹL)、右画面上の点ＰR(ＸR，ＹR)にそれぞれ投
影されたものとする。ステレオ画像計測では、画像面上
においてＰL，ＰRを決定し、三角測量の原理で点ｐの実
空間座標(ｘ，ｙ，ｚ)を求める。ここでは、２台の左，
右のカメラ11Ｌ，11Ｒの光軸が同一平面上にあり、ｘ軸
とＸ軸とを平行にとっていることからＹL，ＹRは同じ値
をとる。画像面上の座標ＸL，ＹL，ＸR，ＹRと実空間内
の座標ｘ，ｙ，ｚとの関係は、
L(ＸL，ＹL)、右画面上の点ＰR(ＸR，ＹR)にそれぞれ投
影されたものとする。ステレオ画像計測では、画像面上
においてＰL，ＰRを決定し、三角測量の原理で点ｐの実
空間座標(ｘ，ｙ，ｚ)を求める。ここでは、２台の左，
右のカメラ11Ｌ，11Ｒの光軸が同一平面上にあり、ｘ軸
とＸ軸とを平行にとっていることからＹL，ＹRは同じ値
をとる。画像面上の座標ＸL，ＹL，ＸR，ＹRと実空間内
の座標ｘ，ｙ，ｚとの関係は、
【０００４】
【数１】
【０００５】あるいは、
【０００６】
【数２】
【０００７】と求められる。ここで、
【０００８】
【数３】ｄ＝ＸL−ＸR は視差ｄを表している。(数２)から、ａ＞０であるの
で、
で、
【０００９】
【数４】ＸL＞ＸR かつ ＹL＝ＹR これは、一方の画像面上の１点に対応した他方の画面上
での対応点は、エピポーラ線である同じ走査線上、かつ
ＸL＞ＸRの範囲に存在することを示す。従って、一方の
画像上の１点に対応した他方の画面上の点は、対応点が
存在する可能性のある直線に沿ったある小領域について
画像の類似性を調べて見出すことができる。
での対応点は、エピポーラ線である同じ走査線上、かつ
ＸL＞ＸRの範囲に存在することを示す。従って、一方の
画像上の１点に対応した他方の画面上の点は、対応点が
存在する可能性のある直線に沿ったある小領域について
画像の類似性を調べて見出すことができる。
【００１０】次に、両画像間の類似性の評価方法につい
て説明する。一例として、実吉 敬二他著「３次元画像
認識技術を用いた運転支援システム」(自動車技術学会
学術講演会前刷集9241992−10)に記載の左右画像を対
応付ける一方法を図12を用いて説明する。まず、図12
(1)に示す基準画像とする左画像12Ｌを水平方向Ｍ個、
垂直方向Ｎ個に分割し、Ｍ×Ｎ個の矩形領域に分割す
る。以下の説明では左画像12Ｌにおける矩形領域をブロ
ックと呼ぶことにする。このブロックを拡大図示した図
12(3)のブロック1201はｍ×ｎ個の画素で構成されてい
る。このブロック1201内部におけるｉ番目の画素の明る
さをＬiとする。また図12(2)に示す右画像12Ｒにも左画
像12Ｌと同様にｍ×ｎ画素の矩形領域を設定し、矩形領
域内部におけるｉ番目の画素の明るさをＲiとする。こ
れら左右画像間の矩形領域の類似度評価値Ｃは(数５)で
与えられる。
て説明する。一例として、実吉 敬二他著「３次元画像
認識技術を用いた運転支援システム」(自動車技術学会
学術講演会前刷集9241992−10)に記載の左右画像を対
応付ける一方法を図12を用いて説明する。まず、図12
(1)に示す基準画像とする左画像12Ｌを水平方向Ｍ個、
垂直方向Ｎ個に分割し、Ｍ×Ｎ個の矩形領域に分割す
る。以下の説明では左画像12Ｌにおける矩形領域をブロ
ックと呼ぶことにする。このブロックを拡大図示した図
12(3)のブロック1201はｍ×ｎ個の画素で構成されてい
る。このブロック1201内部におけるｉ番目の画素の明る
さをＬiとする。また図12(2)に示す右画像12Ｒにも左画
像12Ｌと同様にｍ×ｎ画素の矩形領域を設定し、矩形領
域内部におけるｉ番目の画素の明るさをＲiとする。こ
れら左右画像間の矩形領域の類似度評価値Ｃは(数５)で
与えられる。
【００１１】
【数５】
【００１２】対応領域が存在する可能性のある右画像12
Ｒ中の探索範囲1202において、矩形領域を水平方向に１
画素ずつ移動させて類似度評価値Ｃを計算し、この値が
最小になる領域を対応領域とする。この方法では、対応
領域を左画像12Ｌにおけるブロック単位で決定すること
ができ、また対応領域が決まれば、その対応領域の座標
位置から即座に(数３)を用いて視差ｄを求めることがで
きる。基準とする左画像12Ｌにおいてブロックごとに得
られた視差ｄから(数１)を用いてｚ(以下では距離デー
タＫ)を求める。距離データＫは説明の便宜上以下のよ
うに示すことにする。
Ｒ中の探索範囲1202において、矩形領域を水平方向に１
画素ずつ移動させて類似度評価値Ｃを計算し、この値が
最小になる領域を対応領域とする。この方法では、対応
領域を左画像12Ｌにおけるブロック単位で決定すること
ができ、また対応領域が決まれば、その対応領域の座標
位置から即座に(数３)を用いて視差ｄを求めることがで
きる。基準とする左画像12Ｌにおいてブロックごとに得
られた視差ｄから(数１)を用いてｚ(以下では距離デー
タＫ)を求める。距離データＫは説明の便宜上以下のよ
うに示すことにする。
【００１３】距離データＫ(Ｘ，Ｙ，ｔ) Ｘ：水平方向のインデックス １≦Ｘ≦Ｍ Ｙ：垂直方向のインデックス １≦Ｙ≦Ｎ ｔ：画像が撮影された時刻 図13はハフ変換において必要な各直線パラメータの説明
図であり、図13に示すｘ−ｙ平面上の直線1301に対し、
座標原点０からおろした垂線1302(直線のパラメータで
ある原点までの距離)の長さをρ、前記垂線1302が直線
のパラメータである垂線1302とｘ軸となす角1303をθと
すると前記直線1301は(数６)のように示される。
図であり、図13に示すｘ−ｙ平面上の直線1301に対し、
座標原点０からおろした垂線1302(直線のパラメータで
ある原点までの距離)の長さをρ、前記垂線1302が直線
のパラメータである垂線1302とｘ軸となす角1303をθと
すると前記直線1301は(数６)のように示される。
【００１４】
【数６】ρ＝ｘcosθ＋ｙsinθ ｘ−ｙ平面上の点列(ｘi，ｙi)に対して決まる
【００１５】
【数７】ρ＝ｘisinθ＋ｙicosθ をρ−θ平面上で表すと図14(横軸はθ，縦軸はρ)のよ
うに合成三角関数となる。この正弦曲線をハフ曲線と呼
ぶことにする。このハフ曲線は点列(ｘi，ｙi)を通るす
べての直線を示している。ｘ−ｙ平面上の点列(ｘi，ｙ
i)が直線上にある場合、この点列(ｘi，ｙi)を順次ρ−
θ平面でのハフ曲線にすると、図14のようにハフ曲線が
一点1401で交差するようになる。最も多くの曲線が交差
する点(ρ0，θ0)がｘ−ｙ平面における直線(数６)の
(ρ，θ)である。以上の操作をハフ変換による直線当て
はめという。ハフ変換による直線当てはめは、データ点
列の大局的状況を把握する直線検出法であるため、直線
上にはない点が混在していても直線検出が行える。
うに合成三角関数となる。この正弦曲線をハフ曲線と呼
ぶことにする。このハフ曲線は点列(ｘi，ｙi)を通るす
べての直線を示している。ｘ−ｙ平面上の点列(ｘi，ｙ
i)が直線上にある場合、この点列(ｘi，ｙi)を順次ρ−
θ平面でのハフ曲線にすると、図14のようにハフ曲線が
一点1401で交差するようになる。最も多くの曲線が交差
する点(ρ0，θ0)がｘ−ｙ平面における直線(数６)の
(ρ，θ)である。以上の操作をハフ変換による直線当て
はめという。ハフ変換による直線当てはめは、データ点
列の大局的状況を把握する直線検出法であるため、直線
上にはない点が混在していても直線検出が行える。
【００１６】
【発明が解決しようとする課題】上記したように、左右
画像間の矩形領域を対応付ける際には、(数５)で表され
る類似度評価値Ｃが最小となる位置を対応領域としてい
たが、観察平面上の矩形領域の中には特徴が少ないため
に、類似度評価値Ｃの最小点が明確に得られず、そのた
め距離データが求められない場合がある。
画像間の矩形領域を対応付ける際には、(数５)で表され
る類似度評価値Ｃが最小となる位置を対応領域としてい
たが、観察平面上の矩形領域の中には特徴が少ないため
に、類似度評価値Ｃの最小点が明確に得られず、そのた
め距離データが求められない場合がある。
【００１７】このことは、例えば、ある時刻ｔ0に得ら
れた距離データＫ(Ｘ，Ｙ，ｔ0)とその後一定時間間隔
Δtごとに得られる距離データＫ(Ｘ，Ｙ，ｔ0＋ｎΔ
t)、(ｎ＝１，２，３，…)の時間変化で平面上の物体の
有無を判定しようとする場合に不都合を生じる。距離デ
ータの時間変化は、|Ｋ(Ｘ，Ｙ，ｔ0)−Ｋ(Ｘ，Ｙ，ｔ0
＋ｎΔt)｜で示されるが、これからも分かるように、距
離データＫ(Ｘ，Ｙ，ｔ0)、K(Ｘ，Ｙ，ｔ0＋ｎΔt)のい
ずれか一方でも不確定であると物体の有無の判定は行え
ない。
れた距離データＫ(Ｘ，Ｙ，ｔ0)とその後一定時間間隔
Δtごとに得られる距離データＫ(Ｘ，Ｙ，ｔ0＋ｎΔ
t)、(ｎ＝１，２，３，…)の時間変化で平面上の物体の
有無を判定しようとする場合に不都合を生じる。距離デ
ータの時間変化は、|Ｋ(Ｘ，Ｙ，ｔ0)−Ｋ(Ｘ，Ｙ，ｔ0
＋ｎΔt)｜で示されるが、これからも分かるように、距
離データＫ(Ｘ，Ｙ，ｔ0)、K(Ｘ，Ｙ，ｔ0＋ｎΔt)のい
ずれか一方でも不確定であると物体の有無の判定は行え
ない。
【００１８】本発明は、上記距離データＫの不確定に基
づく物体の有無の判定ができない問題を解決し、物体の
影響を受けず、平面上の距離データを精度よく測定でき
るようにすることを目的とする。
づく物体の有無の判定ができない問題を解決し、物体の
影響を受けず、平面上の距離データを精度よく測定でき
るようにすることを目的とする。
【００１９】
【課題を解決するための手段】本発明は、上記目的を達
成するために、所定間隔で配置される２台の撮像手段に
より得られる２画像間で対応領域を対応付けることで三
角測量の原理で物体までの距離を計測するステレオ画像
処理において、画像を水平方向Ｍ、垂直方向Ｎに分割し
て得られる矩形小領域 ＢＬ(Ｘ，Ｙ) １≦Ｘ≦Ｍ， １≦Ｙ≦Ｎ ごとに距離データＫ(Ｘ，Ｙ)を求め、前記矩形小領域Ｂ
Ｌ(Ｘ，Ｙ)を水平方向にグループ化した大領域 ＧＬ(Ｙ) １≦Ｙ≦Ｎ ごとに、大領域ＧＬ(Ｙ)中に含まれるＭ個の距離データ
Ｋ(Ｘ，Ｙ)からハフ変換により平面通過直線Ｌ(Ｙ)を当
てはめ、これをすべての前記大領域ＧＬ(Ｙ)について行
うことによって撮像空間に存在する平面を推定すること
を特徴とする。
成するために、所定間隔で配置される２台の撮像手段に
より得られる２画像間で対応領域を対応付けることで三
角測量の原理で物体までの距離を計測するステレオ画像
処理において、画像を水平方向Ｍ、垂直方向Ｎに分割し
て得られる矩形小領域 ＢＬ(Ｘ，Ｙ) １≦Ｘ≦Ｍ， １≦Ｙ≦Ｎ ごとに距離データＫ(Ｘ，Ｙ)を求め、前記矩形小領域Ｂ
Ｌ(Ｘ，Ｙ)を水平方向にグループ化した大領域 ＧＬ(Ｙ) １≦Ｙ≦Ｎ ごとに、大領域ＧＬ(Ｙ)中に含まれるＭ個の距離データ
Ｋ(Ｘ，Ｙ)からハフ変換により平面通過直線Ｌ(Ｙ)を当
てはめ、これをすべての前記大領域ＧＬ(Ｙ)について行
うことによって撮像空間に存在する平面を推定すること
を特徴とする。
【００２０】
【作用】本発明によれば、観察平面を直線群で近似する
ことにより、観察平面上で距離データが得られなかった
領域の距離を推定する。そして、観察平面内を通る直線
の推定にはハフ変換を用いる。さらに、直線群は同一平
面内にあるという性質を利用して、直線群に再度ハフ変
換を行うことで、誤った位置にある直線を補正し、推定
される距離データの信頼性を向上させる。
ことにより、観察平面上で距離データが得られなかった
領域の距離を推定する。そして、観察平面内を通る直線
の推定にはハフ変換を用いる。さらに、直線群は同一平
面内にあるという性質を利用して、直線群に再度ハフ変
換を行うことで、誤った位置にある直線を補正し、推定
される距離データの信頼性を向上させる。
【００２１】この平面推定方法を用いることで、道路平
面や床平面等の特徴が少ない平面であっても、距離デー
タが得られた部分を利用して平面を推定することができ
る。しかも直線を当てはめる際、ハフ変換の大局的性質
を利用するため、観察平面上に高さのある物体が存在し
ていても、平面上の正確な距離データを得ることが可能
である。
面や床平面等の特徴が少ない平面であっても、距離デー
タが得られた部分を利用して平面を推定することができ
る。しかも直線を当てはめる際、ハフ変換の大局的性質
を利用するため、観察平面上に高さのある物体が存在し
ていても、平面上の正確な距離データを得ることが可能
である。
【００２２】
【実施例】図１は、本発明の一実施例におけるステレオ
画像獲得から観察平面の推定までの処理の流れを説明す
るフロー図である。まず、撮影フェーズ(Ａ)では、２台
の撮像装置(例えば、前記図11の左右カメラ11Ｌ，11Ｒ)
にて左右の２画像を得る(Ｓ１，Ｓ２)。次に、撮影フェ
ーズ(Ａ)で得られた左右画像(Ｓ１，Ｓ２)は、対応付け
フェーズ(Ｂ)において左右２つの画像間で対応付けが行
われる(Ｓ３)。対応付けフェーズ(Ｂ)では、基準とする
一方の画像をｍ×ｎ画素のブロックに分割し、例えば従
来例の記載の方法によりブロック単位で対応付けを行
う。対応付けの結果得られるブロック単位の視差は後段
の平面推定フェーズ(Ｃ)に渡される。平面推定フェーズ
(Ｃ)では、前記ブロックを水平方向にグループ化し、グ
ループ毎に観察平面を通る直線をハフ変換によって当て
はめ、これによって得られる直線群から平面を推定する
(Ｓ４)。
画像獲得から観察平面の推定までの処理の流れを説明す
るフロー図である。まず、撮影フェーズ(Ａ)では、２台
の撮像装置(例えば、前記図11の左右カメラ11Ｌ，11Ｒ)
にて左右の２画像を得る(Ｓ１，Ｓ２)。次に、撮影フェ
ーズ(Ａ)で得られた左右画像(Ｓ１，Ｓ２)は、対応付け
フェーズ(Ｂ)において左右２つの画像間で対応付けが行
われる(Ｓ３)。対応付けフェーズ(Ｂ)では、基準とする
一方の画像をｍ×ｎ画素のブロックに分割し、例えば従
来例の記載の方法によりブロック単位で対応付けを行
う。対応付けの結果得られるブロック単位の視差は後段
の平面推定フェーズ(Ｃ)に渡される。平面推定フェーズ
(Ｃ)では、前記ブロックを水平方向にグループ化し、グ
ループ毎に観察平面を通る直線をハフ変換によって当て
はめ、これによって得られる直線群から平面を推定する
(Ｓ４)。
【００２３】以下の説明では、図12で説明したように、
基準画像とした左画像(Ｓ１)を水平方向Ｍ個、垂直方向
Ｎ個のブロックに分割し、視差ｄが決定できたブロック
では距離データＫ(Ｘ，Ｙ，ｔ)が得られているものとす
る。そして平面推定フェーズ(Ｃ)については、図２のフ
ロー図に基いて説明する。なお、従来例において記述し
た距離データＫ(Ｘ，Ｙ，ｔ)の表記に関して、時刻パラ
メータｔについては省略し、距離データＫ(Ｘ，Ｙ)をも
って距離データの表記とする。
基準画像とした左画像(Ｓ１)を水平方向Ｍ個、垂直方向
Ｎ個のブロックに分割し、視差ｄが決定できたブロック
では距離データＫ(Ｘ，Ｙ，ｔ)が得られているものとす
る。そして平面推定フェーズ(Ｃ)については、図２のフ
ロー図に基いて説明する。なお、従来例において記述し
た距離データＫ(Ｘ，Ｙ，ｔ)の表記に関して、時刻パラ
メータｔについては省略し、距離データＫ(Ｘ，Ｙ)をも
って距離データの表記とする。
【００２４】(Ｃ)平面推定フェーズ 平面推定フェーズ(Ｃ)では、視差が決定されたブロック
の距離データＫ(Ｘ，Ｙ)を利用して観察平面を推定し、
未決定データを獲得する。
の距離データＫ(Ｘ，Ｙ)を利用して観察平面を推定し、
未決定データを獲得する。
【００２５】(Ｃ１)平面通過直線の当てはめ 図３は本実施例の距離データ決定の単位であるブロック
の左画面上での配置を説明する図である。ここで、説明
の便宜上、ブロックを以下のように表記する。
の左画面上での配置を説明する図である。ここで、説明
の便宜上、ブロックを以下のように表記する。
【００２６】ブロック：ＢＬ(Ｘ，Ｙ)、 １≦Ｘ≦
Ｍ， １≦Ｙ≦Ｎ また平面推定フェーズ(Ｃ)の説明においては、インデッ
クスＸ，Ｙに距離データＫ(Ｘ，Ｙ)を加えた図４のよう
な３次元のＫ−Ｘ−Ｙ基準座標系を用いる。
Ｍ， １≦Ｙ≦Ｎ また平面推定フェーズ(Ｃ)の説明においては、インデッ
クスＸ，Ｙに距離データＫ(Ｘ，Ｙ)を加えた図４のよう
な３次元のＫ−Ｘ−Ｙ基準座標系を用いる。
【００２７】図３において、太線で囲まれた領域301Ｌ
Ｎ(Ｙ)はｍ×ｎ画素からなるブロックＢＬ(Ｘ，Ｙ)302
を水平方向にグルーピングした領域を示し、これはイン
デックスＹを固定し、インデックスＸのみを変化させる
ことによって生成される領域である。この領域301をＬ
Ｎと呼び、各ＬＮを以下のように表記する。
Ｎ(Ｙ)はｍ×ｎ画素からなるブロックＢＬ(Ｘ，Ｙ)302
を水平方向にグルーピングした領域を示し、これはイン
デックスＹを固定し、インデックスＸのみを変化させる
ことによって生成される領域である。この領域301をＬ
Ｎと呼び、各ＬＮを以下のように表記する。
【００２８】領域：ＬＮ(Ｙ)、 １≦Ｙ≦Ｎ ＬＮ中にはＭ個のブロックＢＬ(Ｘ，Ｙ)302が含まれ
る。ＬＮ中に含まれる各ブロックＢＬ(Ｘ，Ｙ)302ごと
に図５(Ａ)のように縦軸をブロックの距離データＫ
(Ｘ，Ｙ)、横軸をブロックのインデックスＸとして距離
データＫをプロットする。平面通過直線Ｌ(Ｙ)を当ては
める際に、インデックスＹは固定してあるので、Ｋ−Ｘ
−Ｙ基準座標空間上の点をＫ−Ｘ平面に投射して説明す
る。プロットした各点(Ｋ(Ｘ，Ｙ)，Ｘ)を(数８)に代入
し、θを特定区間で変化させることによって１点(Ｋ
(Ｘ，Ｙ)，Ｘ)に対応する１本のハフ曲線が得られる。
各点(Ｋ(Ｘ，Ｙ)，Ｘ)全てに対応するハフ曲線をρ−θ
平面にプロットすると図５(Ｂ)のようになる。
る。ＬＮ中に含まれる各ブロックＢＬ(Ｘ，Ｙ)302ごと
に図５(Ａ)のように縦軸をブロックの距離データＫ
(Ｘ，Ｙ)、横軸をブロックのインデックスＸとして距離
データＫをプロットする。平面通過直線Ｌ(Ｙ)を当ては
める際に、インデックスＹは固定してあるので、Ｋ−Ｘ
−Ｙ基準座標空間上の点をＫ−Ｘ平面に投射して説明す
る。プロットした各点(Ｋ(Ｘ，Ｙ)，Ｘ)を(数８)に代入
し、θを特定区間で変化させることによって１点(Ｋ
(Ｘ，Ｙ)，Ｘ)に対応する１本のハフ曲線が得られる。
各点(Ｋ(Ｘ，Ｙ)，Ｘ)全てに対応するハフ曲線をρ−θ
平面にプロットすると図５(Ｂ)のようになる。
【００２９】
【数８】ρ＝Ｘcosθ＋Ｋ(Ｘ，Ｙ)sinθ、 θSTART≦
θ≦θEND ρ−θ平面でハフ曲線が最も多く交差する点(ρK(Ｙ)，
θK(Ｙ))と(数６)からＫ−Ｘ平面での直線501が(数９)
のように決定される。
θ≦θEND ρ−θ平面でハフ曲線が最も多く交差する点(ρK(Ｙ)，
θK(Ｙ))と(数６)からＫ−Ｘ平面での直線501が(数９)
のように決定される。
【００３０】
【数９】
【００３１】図５(Ｂ)のρ−θ平面において、ハフ曲線
が最も多く交差する点を検索する方法として、ρ−θ平
面上の各点を図５(Ｂ)のように２次元配列ＨＧ(ρj，θ
j)とみなし、点(ρj，θj)をハフ曲線が通過するごとに
２次元配列ＨＧ(ρj，θj)をインクリメントする。これ
により最も度数の大きい２次元配列ＨＧ(ρj，θj)を探
索することで、ハフ曲線が最も多く通過するρ−θ平面
上の点(ρK(Ｙ)、θK(Ｙ))が求められる。
が最も多く交差する点を検索する方法として、ρ−θ平
面上の各点を図５(Ｂ)のように２次元配列ＨＧ(ρj，θ
j)とみなし、点(ρj，θj)をハフ曲線が通過するごとに
２次元配列ＨＧ(ρj，θj)をインクリメントする。これ
により最も度数の大きい２次元配列ＨＧ(ρj，θj)を探
索することで、ハフ曲線が最も多く通過するρ−θ平面
上の点(ρK(Ｙ)、θK(Ｙ))が求められる。
【００３２】すべての領域(301)ＬＮ(Ｙ)、１≦Ｙ≦Ｎ
に含まれる距離データについて同様の処理を行い、合計
Ｎ本の平面通過直線Ｌ(Ｙ)を得る。各平面通過直線Ｌ
(Ｙ)をＫ−Ｘ−Ｙ基準座標で示すと、図６のようにな
る。垂線の傾きθK(Ｙ)やＹ軸からの距離ρK(Ｙ)にそれ
ぞれ誤差成分θE，ρEが含まれるので、それぞれの最適
値θR(Ｙ)，ρR(Ｙ)に対して
に含まれる距離データについて同様の処理を行い、合計
Ｎ本の平面通過直線Ｌ(Ｙ)を得る。各平面通過直線Ｌ
(Ｙ)をＫ−Ｘ−Ｙ基準座標で示すと、図６のようにな
る。垂線の傾きθK(Ｙ)やＹ軸からの距離ρK(Ｙ)にそれ
ぞれ誤差成分θE，ρEが含まれるので、それぞれの最適
値θR(Ｙ)，ρR(Ｙ)に対して
【００３３】
【数１０】θK(Ｙ)＝θR(Ｙ)＋θE ρK(Ｙ)＝ρR(Ｙ)＋ρE となる。そのため平面通過直線Ｌ(Ｙ)は必ずしも観察平
面内にはないが、以降の処理で補正する。
面内にはないが、以降の処理で補正する。
【００３４】(Ｃ２)平面通過直線の傾き補正 平面通過直線Ｌ(Ｙ)が全て同じ観察平面内にあるとすれ
ば、全ての平面通過直線のＹ軸への垂線とＸ軸がなす角
は同じになるはずである。そこで、各平面通過直線の垂
線とＸ軸がなす角θK(Ｙ)を大きさでソートし、中央値
をもって全ての平面通過直線のＸ軸からの傾きとして置
き換える。これにより、各平面通過直線がもつ垂線のＸ
軸からの傾きを最適値θR(Ｙ)で統一することができ
る。この操作を(数11）に示し、このように垂線のＸ軸
からの傾きθK(Ｙ)には各平面通過直線毎にそれぞれ誤
差成分が含まれていたが、上記処理により(数12)のよう
に全ての平面通過直線の傾きから誤差成分を除去できる
とともに、最も信頼性の高い傾きθR(Ｙ)に置き換える
ことができる。
ば、全ての平面通過直線のＹ軸への垂線とＸ軸がなす角
は同じになるはずである。そこで、各平面通過直線の垂
線とＸ軸がなす角θK(Ｙ)を大きさでソートし、中央値
をもって全ての平面通過直線のＸ軸からの傾きとして置
き換える。これにより、各平面通過直線がもつ垂線のＸ
軸からの傾きを最適値θR(Ｙ)で統一することができ
る。この操作を(数11）に示し、このように垂線のＸ軸
からの傾きθK(Ｙ)には各平面通過直線毎にそれぞれ誤
差成分が含まれていたが、上記処理により(数12)のよう
に全ての平面通過直線の傾きから誤差成分を除去できる
とともに、最も信頼性の高い傾きθR(Ｙ)に置き換える
ことができる。
【００３５】
【数１１】
【００３６】
【数１２】
【００３７】この操作により、観察平面のＹ軸回りの傾
きとは異なる傾きを示していた平面通過直線を、傾きに
ついては補正することができる。この傾きを補正した直
線Ｌ′(Ｙ)は（数12）で示される。各平面通過直線をＫ
−Ｘ−Ｙ基準座標で示すと図７のように、全ての平面通
過直線Ｌ(Ｙ)の傾きが同一になっている。
きとは異なる傾きを示していた平面通過直線を、傾きに
ついては補正することができる。この傾きを補正した直
線Ｌ′(Ｙ)は（数12）で示される。各平面通過直線をＫ
−Ｘ−Ｙ基準座標で示すと図７のように、全ての平面通
過直線Ｌ(Ｙ)の傾きが同一になっている。
【００３８】(Ｃ３)平面通過直線の距離補正 ３次元空間上に２つの平面があるとし、互いの平面が平
行ではない場合、２つの平面が交わる部分は直線になる
はずである。このことを利用して推定する観察平面と図
８に示されるＹ−ρ平面801が交わる直線をハフ変換を
用いて当てはめる。各平面通過直線のＹ軸からの距離、
即ちρK(Ｙ)を、図９のようにＹ−ρ平面にプロットす
る。Ｙ−ρ平面上でプロットした点(Ｙ，ρK(Ｙ))に(数
13)を用いてハフ変換を施す。
行ではない場合、２つの平面が交わる部分は直線になる
はずである。このことを利用して推定する観察平面と図
８に示されるＹ−ρ平面801が交わる直線をハフ変換を
用いて当てはめる。各平面通過直線のＹ軸からの距離、
即ちρK(Ｙ)を、図９のようにＹ−ρ平面にプロットす
る。Ｙ−ρ平面上でプロットした点(Ｙ，ρK(Ｙ))に(数
13)を用いてハフ変換を施す。
【００３９】
【数１３】ρ′＝Ｙcosθ′＋ρK(Ｙ)sinθ′、 θ′
START≦θ′≦θ′ＥＮＤ ρ′−θ′平面でハフ曲線が最も多く交差した点（ρ′
S，θ′S)を得、(数６)により直線901を当てはめる。こ
の直線は各平面通過直線の最もふさわしいと思われるＹ
軸からの距離を示すことから、距離補正直線と呼ぶこと
にする。この距離補正直線はＫ−Ｙ−Ｙ座標において図
８の802のように存在する。また距離補正直線802は(数1
4)のように示される。
START≦θ′≦θ′ＥＮＤ ρ′−θ′平面でハフ曲線が最も多く交差した点（ρ′
S，θ′S)を得、(数６)により直線901を当てはめる。こ
の直線は各平面通過直線の最もふさわしいと思われるＹ
軸からの距離を示すことから、距離補正直線と呼ぶこと
にする。この距離補正直線はＫ−Ｙ−Ｙ座標において図
８の802のように存在する。また距離補正直線802は(数1
4)のように示される。
【００４０】
【数１４】
【００４１】距離補正直線を利用して各平面通過直線の
Ｙ軸からの距離を最適値ρR(Ｙ)に補正すると、(数12)
は、
Ｙ軸からの距離を最適値ρR(Ｙ)に補正すると、(数12)
は、
【００４２】
【数１５】
【００４３】となり、完全に誤差成分が除去される。こ
こで、前記(数12)で示される傾きを補正した直線Ｌ′
(Ｙ)に対し、さらにＹ軸からの距離を補正した直線群
Ｌ′′(Ｙ)は(数15)で示される。各平面通過直線をＫ−
Ｘ−Ｙ基準座標で示すと図10に示す通り全て同一平面上
に存在するようになる。
こで、前記(数12)で示される傾きを補正した直線Ｌ′
(Ｙ)に対し、さらにＹ軸からの距離を補正した直線群
Ｌ′′(Ｙ)は(数15)で示される。各平面通過直線をＫ−
Ｘ−Ｙ基準座標で示すと図10に示す通り全て同一平面上
に存在するようになる。
【００４４】(Ｃ４)平面の確定 以上のフェーズによって各平面通過直線が全て観察平面
内に存在するようになり、観察平面は平面通過直線群で
近似される。観察平面上の距離データＫ(Ｘ，Ｙ)が未決
定であれば、ＬＮ(Ｙ)に対応する平面通過直線(数15)を
用いて観察平面上の距離データを得られる。
内に存在するようになり、観察平面は平面通過直線群で
近似される。観察平面上の距離データＫ(Ｘ，Ｙ)が未決
定であれば、ＬＮ(Ｙ)に対応する平面通過直線(数15)を
用いて観察平面上の距離データを得られる。
【００４５】
【発明の効果】以上説明したように、本発明の平面推定
方法を用いれば、道路、床などの画像上では特徴が少な
い平面でも、部分的に距離データを得ることができれば
平面全体の距離データを得ることができる。さらにハフ
変換を用いたことで大局的に平面を近似することがで
き、道路や床に高さのある物体が置かれていても、物体
の影響を受けずに、平面上の距離データを精度よく得る
ことができる。
方法を用いれば、道路、床などの画像上では特徴が少な
い平面でも、部分的に距離データを得ることができれば
平面全体の距離データを得ることができる。さらにハフ
変換を用いたことで大局的に平面を近似することがで
き、道路や床に高さのある物体が置かれていても、物体
の影響を受けずに、平面上の距離データを精度よく得る
ことができる。
【図面の簡単な説明】
【図１】本発明の一実施例におけるステレオ画像獲得か
ら観察平面の推定までの処理の流れを説明するフロー図
である。
ら観察平面の推定までの処理の流れを説明するフロー図
である。
【図２】図１に示す平面推定フェーズの処理の流れを説
明するフロー図である。
明するフロー図である。
【図３】図２の平面通過直線の当てはめ処理を説明する
距離データ決定の単位であるブロックの画像上での配置
の説明図である。
距離データ決定の単位であるブロックの画像上での配置
の説明図である。
【図４】図２の平面通過直線の当てはめ処理を説明する
基準とする３次元のＫ−Ｘ−Ｙ基準座標系を示す図であ
る。
基準とする３次元のＫ−Ｘ−Ｙ基準座標系を示す図であ
る。
【図５】距離データ群から平面通過直線の直線パラメー
タを検出する方法の説明図である。
タを検出する方法の説明図である。
【図６】当てはめられた平面通過直線を３次元基準座標
系で示した様子を示す図である。
系で示した様子を示す図である。
【図７】傾きについて補正した平面通過直線を３次元基
準座標系で示した様子を示す図である。
準座標系で示した様子を示す図である。
【図８】平面通過直線のＹ軸からの距離を補正するため
に用いる距離補正直線を獲得する様子を示す図である。
に用いる距離補正直線を獲得する様子を示す図である。
【図９】各平面通過直線のＹ軸からの距離値に直線を当
てはめる様子を示す図である。
てはめる様子を示す図である。
【図１０】傾きが補正されている平面通過直線をさらに
Ｙ軸からの距離について補正し、３次元基準座標系で示
した様子を示す図である。
Ｙ軸からの距離について補正し、３次元基準座標系で示
した様子を示す図である。
【図１１】ステレオ画像計測の原理の説明図である。
【図１２】従来の左右画像を対応付ける一方法の説明図
である。
である。
【図１３】ハフ変換において必要な各直線パラメータの
説明図である。
説明図である。
【図１４】ハフ曲線が最も多く交差する点が直線パラメ
ータを示していることの説明図である。
ータを示していることの説明図である。
(Ａ)…撮像フェーズ、 (Ｂ)…対応付けフェーズ、
(Ｃ)…平面推定フェーズ、(Ｓ１)…左画像、 (Ｓ２)…
右画像、 (Ｓ３)…対応付け、 (Ｓ４)…平面推定、
301…ブロックＢＬ(Ｘ，Ｙ)を水平方向にグルーピング
した領域ＬＮ(Ｙ)、 302…ｍ×ｎ画素からなるブロッ
クＢＬ(Ｘ，Ｙ)、 501…距離データＫにハフ変換によ
り当てはめた直線、 801…インデックスＹと平面通過
直線からＹ軸までの距離値を示すＹ−ρ平面、 802，9
01…平面通過直線のＹ軸からの距離を補正する際に用い
る距離補正直線、 11Ｌ…左カメラ、 11Ｒ…右カメ
ラ、 1201…ｍ×ｎ画素のブロック、 1202…ブロック
1201の右画像における対応領域の探索範囲、 1301…ハ
フ変換により当てはめられた直線、 1302…直線のパラ
メータである原点までの距離、 1303…直線のパラメー
タである垂線とＸ軸がなす傾き、 1401…最も多くの曲
線が交差する点(ρ0，θ0)。
(Ｃ)…平面推定フェーズ、(Ｓ１)…左画像、 (Ｓ２)…
右画像、 (Ｓ３)…対応付け、 (Ｓ４)…平面推定、
301…ブロックＢＬ(Ｘ，Ｙ)を水平方向にグルーピング
した領域ＬＮ(Ｙ)、 302…ｍ×ｎ画素からなるブロッ
クＢＬ(Ｘ，Ｙ)、 501…距離データＫにハフ変換によ
り当てはめた直線、 801…インデックスＹと平面通過
直線からＹ軸までの距離値を示すＹ−ρ平面、 802，9
01…平面通過直線のＹ軸からの距離を補正する際に用い
る距離補正直線、 11Ｌ…左カメラ、 11Ｒ…右カメ
ラ、 1201…ｍ×ｎ画素のブロック、 1202…ブロック
1201の右画像における対応領域の探索範囲、 1301…ハ
フ変換により当てはめられた直線、 1302…直線のパラ
メータである原点までの距離、 1303…直線のパラメー
タである垂線とＸ軸がなす傾き、 1401…最も多くの曲
線が交差する点(ρ0，θ0)。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−265547（ＪＰ，Ａ) 特開 平４−364403（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G01B 11/00 G06T 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (3)
- 【請求項１】 所定間隔で配置される２台の撮像手段に
より得られる２画像間で対応領域を対応付けることで三
角測量の原理で物体までの距離を計測するステレオ画像
処理において、画像を水平方向Ｍ、垂直方向Ｎに分割し
て得られる矩形小領域 ＢＬ(Ｘ，Ｙ) １≦Ｘ≦Ｍ， １≦Ｙ≦Ｎ ごとに距離データＫ(Ｘ，Ｙ)を求め、前記矩形小領域Ｂ
Ｌ(Ｘ，Ｙ)を水平方向にグループ化した大領域 ＧＬ(Ｙ) １≦Ｙ≦Ｎ ごとに、大領域ＧＬ(Ｙ)中に含まれるＭ個の距離データ
Ｋ(Ｘ，Ｙ)からハフ変換により平面通過直線Ｌ(Ｙ)を当
てはめ、これをすべての前記大領域ＧＬ(Ｙ)について行
うことによって撮像空間に存在する平面を推定すること
を特徴とする平面推定方法。 - 【請求項２】 前記大領域ＧＬ(Ｙ)ごとに当てはめられ
た平面通過直線Ｌ(Ｙ)、１≦Ｙ≦Ｎの直線パラメータの
一つである直線の傾きθ(Ｙ)を用い、各平面通過直線Ｌ
(Ｙ)、１≦Ｙ≦Ｎの合計Ｎ個の傾きθ(Ｙ)を大きさでソ
ートすることで中央値θmを求め、全ての平面通過直線
Ｌ(Ｙ)の傾きθ(Ｙ)を前記中央値θmで置き換えること
によって得られ、傾きが補正された平面通過直線Ｌ′
(Ｙ)を用いて撮像空間に存在する平面を推定することを
特徴とする請求項１記載の平面推定方法。 - 【請求項３】 前記傾きが補正された平面通過直線Ｌ′
(Ｙ)の直線パラメータである原点からの距離ρ(Ｙ)に対
し、ハフ変換により距離補正直線ｈを当てはめ、該距離
補正直線ｈに交わるように傾きが補正された平面通過直
線Ｌ′(Ｙ)を平行移動することによって得られる平面通
過直線群Ｌ′′(Ｙ)、１≦Ｙ≦Ｎを用いて撮像空間に存
在する平面を推定することを特徴とする請求項２記載の
平面推定方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23401995A JP3340599B2 (ja) | 1995-09-12 | 1995-09-12 | 平面推定方法 |
| CA002184561A CA2184561C (en) | 1995-09-12 | 1996-08-30 | Object detecting apparatus in which the position of a planar object is estimated by using hough transform |
| US08/704,895 US5825915A (en) | 1995-09-12 | 1996-08-30 | Object detecting apparatus in which the position of a planar object is estimated by using hough transform |
| EP96114009A EP0762326B1 (en) | 1995-09-12 | 1996-09-02 | Object detecting apparatus in which the position of a planar object is estimated by using Hough transform |
| DE69625423T DE69625423T2 (de) | 1995-09-12 | 1996-09-02 | Vorrichtung zur Erkennung eines Objektes, in welchem die Position eines ebenen Objektes mit Hilfe einer Houghtransformation geschätzt wird |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23401995A JP3340599B2 (ja) | 1995-09-12 | 1995-09-12 | 平面推定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0981755A JPH0981755A (ja) | 1997-03-28 |
| JP3340599B2 true JP3340599B2 (ja) | 2002-11-05 |
Family
ID=16964292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23401995A Expired - Fee Related JP3340599B2 (ja) | 1995-09-12 | 1995-09-12 | 平面推定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3340599B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4341564B2 (ja) | 2005-02-25 | 2009-10-07 | 株式会社豊田中央研究所 | 対象物判定装置 |
| JP5181704B2 (ja) * | 2008-02-07 | 2013-04-10 | 日本電気株式会社 | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム |
| WO2014084181A1 (ja) | 2012-11-30 | 2014-06-05 | シャープ株式会社 | 画像計測装置 |
| JP5818857B2 (ja) * | 2013-10-24 | 2015-11-18 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
-
1995
- 1995-09-12 JP JP23401995A patent/JP3340599B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0981755A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| JP3539788B2 (ja) | 画像間対応付け方法 | |
| US7471809B2 (en) | Method, apparatus, and program for processing stereo image | |
| JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| CN109544628B (zh) | 一种指针式仪表的准确读数识别系统及方法 | |
| JP2874710B2 (ja) | 三次元位置計測装置 | |
| JP3728900B2 (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
| JPH0843055A (ja) | ３次元物体形状認識方法及び装置 | |
| JPS60200111A (ja) | ３次元物体認識装置 | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
| CN110044266A (zh) | 基于散斑投影的摄影测量系统 | |
| JPH10122819A (ja) | キャリブレーション方法およびその装置 | |
| JPH1089960A (ja) | 三次元画像計測方法 | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP3340599B2 (ja) | 平面推定方法 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| JPH0875454A (ja) | 測距装置 | |
| JPH09329440A (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
| JPH1096607A (ja) | 物体検出装置および平面推定方法 | |
| JP3912638B2 (ja) | ３次元画像処理装置 | |
| JP2923063B2 (ja) | 多視点ステレオ画像計測方法 | |
| JP2970835B2 (ja) | 三次元座標計測装置 | |
| JP2809348B2 (ja) | ３次元位置計測装置 | |
| JPS6256814A (ja) | ３次元位置計測カメラ較正方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |