JP3139247B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP3139247B2 JP3139247B2 JP05279801A JP27980193A JP3139247B2 JP 3139247 B2 JP3139247 B2 JP 3139247B2 JP 05279801 A JP05279801 A JP 05279801A JP 27980193 A JP27980193 A JP 27980193A JP 3139247 B2 JP3139247 B2 JP 3139247B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- vehicle
- slope
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、例えば、天体探査用車
両の環境認識装置に利用される画像処理方法に関し、と
くに、レーザ・レンジ・ファインダを入力源とする環境
認識装置に用いられる画像処理方法に関するものであ
る。
両の環境認識装置に利用される画像処理方法に関し、と
くに、レーザ・レンジ・ファインダを入力源とする環境
認識装置に用いられる画像処理方法に関するものであ
る。
【０００２】
【従来の技術】近年では、月や火星の探査を目的とした
無人の車両が研究されている。この種の車両の制御とし
ては、レーザ・レンジ・ファインダを入力源とする環境
認識装置を用い、車両前方の地形を画像で認識して障害
物を検出するとともに目的地までの経路を決定し、これ
に基づいて自立走行させるものがある。
無人の車両が研究されている。この種の車両の制御とし
ては、レーザ・レンジ・ファインダを入力源とする環境
認識装置を用い、車両前方の地形を画像で認識して障害
物を検出するとともに目的地までの経路を決定し、これ
に基づいて自立走行させるものがある。
【０００３】上記の環境認識装置では、一定の高さから
車両前方の所定範囲にレーザビームを走査することによ
り、各画素に距離データを格納した距離画像を作成し、
この距離画像上の各計測点を距離画像座標系から車両の
座標系に変換する。距離画像は、例えば画素数が１２８
×６４であって、その座標系はレーザ・レンジ・ファイ
ンダの中心を原点とする球座標である。また、車両の座
標系は同じくレーザ・レンジ・ファインダの中心を原点
とする直交座標である。
車両前方の所定範囲にレーザビームを走査することによ
り、各画素に距離データを格納した距離画像を作成し、
この距離画像上の各計測点を距離画像座標系から車両の
座標系に変換する。距離画像は、例えば画素数が１２８
×６４であって、その座標系はレーザ・レンジ・ファイ
ンダの中心を原点とする球座標である。また、車両の座
標系は同じくレーザ・レンジ・ファインダの中心を原点
とする直交座標である。
【０００４】上記の座標変換後には、車両の座標データ
に基づいて、例えば画素数が２５６×２５６で且つ平面
的に見た状態の高さデータの画像を作成するとともに補
間処理を行い、各画素における高さデータに基づいて斜
度および斜面の向きを算出する。このようにして作成さ
れた局所地図上において、車両に対する障害物を検出す
ると共に、車両の走行経路が決定されることとなる。
に基づいて、例えば画素数が２５６×２５６で且つ平面
的に見た状態の高さデータの画像を作成するとともに補
間処理を行い、各画素における高さデータに基づいて斜
度および斜面の向きを算出する。このようにして作成さ
れた局所地図上において、車両に対する障害物を検出す
ると共に、車両の走行経路が決定されることとなる。
【０００５】この種の画像処理方法は、例えば、米国の
Ｋｌｕｗｅｒ ＡｃａｄｅｍｉｃＰｕｂｌｉｓｈｅｒｓ
が発行した「Ｖｉｓｉｏｎ ａｎｄ Ｎａｖｉｇａｔｉ
ｏｎ（Ｔｈｅ Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｎａ
ｖｌａｂ）」の第１４３および１４４頁などに記載され
ている。
Ｋｌｕｗｅｒ ＡｃａｄｅｍｉｃＰｕｂｌｉｓｈｅｒｓ
が発行した「Ｖｉｓｉｏｎ ａｎｄ Ｎａｖｉｇａｔｉ
ｏｎ（Ｔｈｅ Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｎａ
ｖｌａｂ）」の第１４３および１４４頁などに記載され
ている。
【０００６】
【発明が解決しようとする課題】しかしながら、上記し
たような従来の画像処理方法にあっては、距離画像座標
を車両の座標に変換し、画像の水平化および拡大ととも
に補間処理を行ってから斜度や斜面の向きを算出してい
たため、画像の拡大とともに計算範囲が増大し、しかも
実際にはレーザ・レンジ・ファインダで測定されていな
い補間処理部分まで計算範囲に含まれるため、その処理
時間が長くかかるという不具合があり、このような不具
合に対する改善が望まれていた。
たような従来の画像処理方法にあっては、距離画像座標
を車両の座標に変換し、画像の水平化および拡大ととも
に補間処理を行ってから斜度や斜面の向きを算出してい
たため、画像の拡大とともに計算範囲が増大し、しかも
実際にはレーザ・レンジ・ファインダで測定されていな
い補間処理部分まで計算範囲に含まれるため、その処理
時間が長くかかるという不具合があり、このような不具
合に対する改善が望まれていた。
【０００７】
【発明の目的】本発明は、上記したような従来の課題に
着目して成されたもので、車両に搭載したレーザ・レン
ジ・ファインダを入力源として車両前方の地形を画像で
認識するに際し、処理時間の短縮を実現することができ
る画像処理方法を提供することを目的としている。
着目して成されたもので、車両に搭載したレーザ・レン
ジ・ファインダを入力源として車両前方の地形を画像で
認識するに際し、処理時間の短縮を実現することができ
る画像処理方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】本発明に係わる画像処理
方法は、車両に搭載したレーザ・レンジ・ファインダを
入力源として車両前方の地形を画像で認識するに際し、
レーザ・レンジ・ファインダの走査系を構成する２軸ス
キャナーミラーの２軸の回転角の関数とした距離データ
をレーザ・レンジ・ファインダの中心を原点とする距離
画像として入力し、距離画像の各画素について該画素の
近傍画素の距離データを用いて前記２軸の回転角方向に
対する距離の変化量を平面近似により求めたのち、平面
近似で得た近傍画素間の距離の変化量から前記２軸の回
転角方向を座標軸とした距離画像座標系の法線ベクトル
を求め、次いで距離画像座標系の座標軸と法線ベクトル
との成す角度を求め、その後、車両座標系の座標軸と法
線ベクトルとの成す角度により地形の斜度および斜面の
向きを算出する構成としており、上記構成を課題を解決
するための手段としている。
方法は、車両に搭載したレーザ・レンジ・ファインダを
入力源として車両前方の地形を画像で認識するに際し、
レーザ・レンジ・ファインダの走査系を構成する２軸ス
キャナーミラーの２軸の回転角の関数とした距離データ
をレーザ・レンジ・ファインダの中心を原点とする距離
画像として入力し、距離画像の各画素について該画素の
近傍画素の距離データを用いて前記２軸の回転角方向に
対する距離の変化量を平面近似により求めたのち、平面
近似で得た近傍画素間の距離の変化量から前記２軸の回
転角方向を座標軸とした距離画像座標系の法線ベクトル
を求め、次いで距離画像座標系の座標軸と法線ベクトル
との成す角度を求め、その後、車両座標系の座標軸と法
線ベクトルとの成す角度により地形の斜度および斜面の
向きを算出する構成としており、上記構成を課題を解決
するための手段としている。
【０００９】
【発明の作用】本発明に係わる画像処理方法では、ま
ず、レーザ・レンジ・ファインダで測定した距離データ
をレーザ・レンジ・ファインダの中心を原点とする距離
画像として入力する。このとき、距離データは、レーザ
・レンジ・ファインダの走査系を構成する２軸スキャナ
ーミラーの２軸回りの回転角の関数である。当該画像処
理方法では、上記の距離画像の各画素について該画素の
近傍画素の距離データを用いて前記２軸の回転角方向に
対する距離の変化量を平面近似により求めたのち、平面
近似で得た近傍画素間の距離の変化量から前記２軸の回
転角方向を座標軸とした距離画像座標系の法線ベクトル
を求める。そして、距離画像座標系の座標軸と法線ベク
トルとの成す角度を求め、その後、車両座標系の座標軸
と法線ベクトルとの成す角度により地形の斜度および斜
面の向きを算出する。これにより、当該画像処理方法で
は、斜度および斜面の向きの計算範囲がレーザ・レンジ
・ファインダで測定した距離データの距離画像、すなわ
ち２軸スキャナーミラーの２軸の回転角の関数とした距
離データから得た距離画像に限られることとなり、角度
データのみによる演算で斜度や斜面の向きが求められる
ので、斜度および斜面の向きを算出する処理時間を大幅
に短縮し得ることとなる。
ず、レーザ・レンジ・ファインダで測定した距離データ
をレーザ・レンジ・ファインダの中心を原点とする距離
画像として入力する。このとき、距離データは、レーザ
・レンジ・ファインダの走査系を構成する２軸スキャナ
ーミラーの２軸回りの回転角の関数である。当該画像処
理方法では、上記の距離画像の各画素について該画素の
近傍画素の距離データを用いて前記２軸の回転角方向に
対する距離の変化量を平面近似により求めたのち、平面
近似で得た近傍画素間の距離の変化量から前記２軸の回
転角方向を座標軸とした距離画像座標系の法線ベクトル
を求める。そして、距離画像座標系の座標軸と法線ベク
トルとの成す角度を求め、その後、車両座標系の座標軸
と法線ベクトルとの成す角度により地形の斜度および斜
面の向きを算出する。これにより、当該画像処理方法で
は、斜度および斜面の向きの計算範囲がレーザ・レンジ
・ファインダで測定した距離データの距離画像、すなわ
ち２軸スキャナーミラーの２軸の回転角の関数とした距
離データから得た距離画像に限られることとなり、角度
データのみによる演算で斜度や斜面の向きが求められる
ので、斜度および斜面の向きを算出する処理時間を大幅
に短縮し得ることとなる。
【００１０】
【実施例】図１は本発明の画像処理方法が用いられる環
境認識装置を説明するブロック図である。
境認識装置を説明するブロック図である。
【００１１】この環境認識装置１は、図２に示す天体探
査用の車両ＲＯに搭載され、レーザ・レンジ・ファイン
ダＲＦを入力源としている。レーザ・レンジ・ファイン
ダＲＦは、一定の高さから車両ＲＯの前方の所定範囲に
レーザビームを走査し、各画素に距離データＤを格納し
た距離画像ＲＩを作成する。
査用の車両ＲＯに搭載され、レーザ・レンジ・ファイン
ダＲＦを入力源としている。レーザ・レンジ・ファイン
ダＲＦは、一定の高さから車両ＲＯの前方の所定範囲に
レーザビームを走査し、各画素に距離データＤを格納し
た距離画像ＲＩを作成する。
【００１２】距離データＤは、レーザ・レンジ・ファイ
ンダＲＦの走査系を構成する２軸スキャナーミラーの縦
横軸回りの回転角θ，φの関数である。距離画像ＲＩ
は、図３に示すように、画素数が１２８×６４であっ
て、その座標系（Ｄ，θ，φ）はレーザ・レンジ・ファ
インダＲＦの中心を原点とする球座標である。また、車
両ＲＯの縦軸をＺ´とする車両座標系（Ｘ´，Ｙ´，Ｚ
´）は、同じくレーザ・レンジ・ファインダＲＦの中心
を原点とする直交座標である。
ンダＲＦの走査系を構成する２軸スキャナーミラーの縦
横軸回りの回転角θ，φの関数である。距離画像ＲＩ
は、図３に示すように、画素数が１２８×６４であっ
て、その座標系（Ｄ，θ，φ）はレーザ・レンジ・ファ
インダＲＦの中心を原点とする球座標である。また、車
両ＲＯの縦軸をＺ´とする車両座標系（Ｘ´，Ｙ´，Ｚ
´）は、同じくレーザ・レンジ・ファインダＲＦの中心
を原点とする直交座標である。
【００１３】環境認識装置１は、距離画像ＲＩを入力し
て距離データ解析（ブロックＢ１）を行うこととなる
が、このとき座標データ作成（Ｂ２）において、距離画
像座標（Ｄ，θ，φ）を車両座標（Ｘ´，Ｙ´，Ｚ´）
に変換し、車両座標系の地形データ（Ｂ４）としてのＸ
座標（Ｂ５）、Ｙ座標（Ｂ６）およびＺ座標（Ｂ７）を
求め、その一方で、本発明の画像処理方法に基づいて、
距離画像ＲＩ上における距離による平面近似および法線
ベクトル作成（Ｂ３）を行い、斜度ζ（Ｂ８）および斜
面の向きω（Ｂ９）を求める。なお、距離画像ＲＩを入
力するということは、各画素に格納する距離データＤを
走査順に入力することに等しい。
て距離データ解析（ブロックＢ１）を行うこととなる
が、このとき座標データ作成（Ｂ２）において、距離画
像座標（Ｄ，θ，φ）を車両座標（Ｘ´，Ｙ´，Ｚ´）
に変換し、車両座標系の地形データ（Ｂ４）としてのＸ
座標（Ｂ５）、Ｙ座標（Ｂ６）およびＺ座標（Ｂ７）を
求め、その一方で、本発明の画像処理方法に基づいて、
距離画像ＲＩ上における距離による平面近似および法線
ベクトル作成（Ｂ３）を行い、斜度ζ（Ｂ８）および斜
面の向きω（Ｂ９）を求める。なお、距離画像ＲＩを入
力するということは、各画素に格納する距離データＤを
走査順に入力することに等しい。
【００１４】距離画像座標（Ｄ，θ，φ）と車両座標
（Ｘ´，Ｙ´，Ｚ´）との関係から、距離画像ＲＩ中の
ある注目画素Ｐ（Ｄ，θ，φ）とこれに対応する地形上
の点Ｐ（Ｘ´，Ｙ´，Ｚ´）との関係は次式のようにな
る。
（Ｘ´，Ｙ´，Ｚ´）との関係から、距離画像ＲＩ中の
ある注目画素Ｐ（Ｄ，θ，φ）とこれに対応する地形上
の点Ｐ（Ｘ´，Ｙ´，Ｚ´）との関係は次式のようにな
る。
【００１５】
【数式１】
【００１６】図４は、地形までの距離についての平面近
似の概略を説明する図であって、距離画像の上下方向に
隣接する画素に対応した地形上の点Ｐ１〜Ｐ３、レーザ
・レンジ・ファインダＲＦから各点Ｐ１〜Ｐ３までの距
離Ｄ１〜Ｄ３、および各点Ｐ１〜Ｐ３と近似平面Ｓとの
差ΔＤ１〜ΔＤ３を示している。
似の概略を説明する図であって、距離画像の上下方向に
隣接する画素に対応した地形上の点Ｐ１〜Ｐ３、レーザ
・レンジ・ファインダＲＦから各点Ｐ１〜Ｐ３までの距
離Ｄ１〜Ｄ３、および各点Ｐ１〜Ｐ３と近似平面Ｓとの
差ΔＤ１〜ΔＤ３を示している。
【００１７】レーザ・レンジ・ファインダＲＦは、図５
中の符号Ｓ１で示すように測定部分の面がレーザビーム
Ｌに直交する状態に近いほど測定精度が良好であるが、
逆に、図５中の符号Ｓ２で示すように測定部分の面がレ
ーザビームＬに平行な状態に近くなると、レーザビーム
Ｌの広がりによって測定精度が低下する傾向にある。そ
こで、距離画像上で距離についての平面近似を行うこと
により、測定部分の面がレーザビームに対して直交する
状態に近い地形、つまり、車両ＲＯの走行の障害となる
突出物に対する測定精度が良好となる。
中の符号Ｓ１で示すように測定部分の面がレーザビーム
Ｌに直交する状態に近いほど測定精度が良好であるが、
逆に、図５中の符号Ｓ２で示すように測定部分の面がレ
ーザビームＬに平行な状態に近くなると、レーザビーム
Ｌの広がりによって測定精度が低下する傾向にある。そ
こで、距離画像上で距離についての平面近似を行うこと
により、測定部分の面がレーザビームに対して直交する
状態に近い地形、つまり、車両ＲＯの走行の障害となる
突出物に対する測定精度が良好となる。
【００１８】本発明の画像処理方法において、斜度ζお
よび斜面の向きωを求めるには、距離画像ＲＩの各画素
について該画素の近傍画素の距離データを用いた距離に
よる平面近似を行い、近傍画素間の距離の変化量を求め
る。
よび斜面の向きωを求めるには、距離画像ＲＩの各画素
について該画素の近傍画素の距離データを用いた距離に
よる平面近似を行い、近傍画素間の距離の変化量を求め
る。
【００１９】すなわち、距離の平面近似を行うことは、
距離画像ＲＩの横および縦の方向であるθ，φ方向の距
離の変化量を求めることに等しく、図６および図７に示
すように、距離画像ＲＩ中のある注目画素ｘ０について
平面近似を行うとすると、注目画素ｘ０の８近傍の画素
ｘ１〜ｘ８を用いて、θ，φ方向に対する距離の変化量
ΔＤθ，ΔＤφを求める。
距離画像ＲＩの横および縦の方向であるθ，φ方向の距
離の変化量を求めることに等しく、図６および図７に示
すように、距離画像ＲＩ中のある注目画素ｘ０について
平面近似を行うとすると、注目画素ｘ０の８近傍の画素
ｘ１〜ｘ８を用いて、θ，φ方向に対する距離の変化量
ΔＤθ，ΔＤφを求める。
【００２０】ここで、注目画素ｘ０を基準とした画素ｘ
１〜ｘ８の座標を、ｘ０（０，０），ｘ１（１，０），
ｘ２（１，１），ｘ３（０，１），ｘ４（−１，１），
ｘ５（−１，０），ｘ６（−１，−１），ｘ７（０，−
１），ｘ８（１，−１）と表し、それぞれの距離データ
を、Ｄ（ｘ０），Ｄ（ｘ１），Ｄ（ｘ２），Ｄ（ｘ
３），Ｄ（ｘ４），Ｄ（ｘ５），Ｄ（ｘ６），Ｄ（ｘ
７），Ｄ（ｘ８）とすると、近傍画素間の距離の変化量
ΔＤθ，ΔＤφは、最小二乗法により次式で求めること
ができる。
１〜ｘ８の座標を、ｘ０（０，０），ｘ１（１，０），
ｘ２（１，１），ｘ３（０，１），ｘ４（−１，１），
ｘ５（−１，０），ｘ６（−１，−１），ｘ７（０，−
１），ｘ８（１，−１）と表し、それぞれの距離データ
を、Ｄ（ｘ０），Ｄ（ｘ１），Ｄ（ｘ２），Ｄ（ｘ
３），Ｄ（ｘ４），Ｄ（ｘ５），Ｄ（ｘ６），Ｄ（ｘ
７），Ｄ（ｘ８）とすると、近傍画素間の距離の変化量
ΔＤθ，ΔＤφは、最小二乗法により次式で求めること
ができる。
【００２１】
【数式２】
【００２２】次に、上記の平面近似から得た距離の変化
量ΔＤθ，ΔＤφから斜度ζおよび斜面の向きωを算出
するために、変化量ΔＤθ，ΔＤφを法線ベクトルへ変
換する。この方法には、車両の座標Ｘ´，Ｙ´，Ｚ´成
分の変化量へ変換する方法、幾何学的回転により求める
方法、および幾何学的角度変換により求める方法がある
が、この実施例では幾何学的角度変換により求める方法
を採用した。
量ΔＤθ，ΔＤφから斜度ζおよび斜面の向きωを算出
するために、変化量ΔＤθ，ΔＤφを法線ベクトルへ変
換する。この方法には、車両の座標Ｘ´，Ｙ´，Ｚ´成
分の変化量へ変換する方法、幾何学的回転により求める
方法、および幾何学的角度変換により求める方法がある
が、この実施例では幾何学的角度変換により求める方法
を採用した。
【００２３】幾何学的角度変換により求める方法では、
先の距離画像座標系（Ｄ，θ，φ）と車両座標系（Ｘ
´，Ｙ´，Ｚ´）との関係により、距離画像座標系上で
の法線ベクトルを求め、これを車両座標系上の法線ベク
トルに変換することとなる。
先の距離画像座標系（Ｄ，θ，φ）と車両座標系（Ｘ
´，Ｙ´，Ｚ´）との関係により、距離画像座標系上で
の法線ベクトルを求め、これを車両座標系上の法線ベク
トルに変換することとなる。
【００２４】まず、車両座標系と距離画像座標系の関係
を図８および図９に示す。なお、説明の都合上、実際の
レーザビームの走査方向に対応して示した図３に対し
て、上下の向きを変えてある。
を図８および図９に示す。なお、説明の都合上、実際の
レーザビームの走査方向に対応して示した図３に対し
て、上下の向きを変えてある。
【００２５】レーザ・レンジ・ファインダＲＦの中心を
原点（０）として、地形上の注目点Ｐにおける距離Ｄお
よび距離画像上のθ，φの方向は、それぞれＤ，θの微
小増加時、およびφの微小減少時の注目点Ｐの移動方向
であり、θ，φの各回転面Ｓ３，Ｓ４における回転半径
はそれぞれＤ，Ｄｃｏｓθである。
原点（０）として、地形上の注目点Ｐにおける距離Ｄお
よび距離画像上のθ，φの方向は、それぞれＤ，θの微
小増加時、およびφの微小減少時の注目点Ｐの移動方向
であり、θ，φの各回転面Ｓ３，Ｓ４における回転半径
はそれぞれＤ，Ｄｃｏｓθである。
【００２６】距離画像座標系上の法線ベクトルを
（ｎθ，ｎφ，−１）とした平面の方程式を
（ｎθ，ｎφ，−１）とした平面の方程式を
【００２７】
【数式３】 として、その両辺をθ，φについて偏微分すると、
【００２８】
【数式４】 となり、したがって、平面の方程式は
【００２９】
【数式５】 と表すことができる。
【００３０】この法線ベクトルの作成では、実空間上で
の面の法線ベクトルを表現することから、Ｄ，θ，φの
各軸の意味は「長さ」である。したがって、上記式にお
ける変化量は、角度変化時の単位長さに対する距離の変
化を表す。
の面の法線ベクトルを表現することから、Ｄ，θ，φの
各軸の意味は「長さ」である。したがって、上記式にお
ける変化量は、角度変化時の単位長さに対する距離の変
化を表す。
【００３１】続いて、上記式の変化量を先の最小二乗法
により算出される変化量ΔＤθ，ΔＤφを用いて表現す
ることを考える。まず、θがΔθだけ微小変化したとす
ると、Ｄ，θ，φの各軸の原点において、角度変化量Δ
θに対応するθ軸上での長さはＤΔθだけ変化する。一
方、ΔＤθは、θがΔθだけ微小変化したときのＤの変
化量であるため、単位θの変化に対するＤの変化量は次
式のようになる。
により算出される変化量ΔＤθ，ΔＤφを用いて表現す
ることを考える。まず、θがΔθだけ微小変化したとす
ると、Ｄ，θ，φの各軸の原点において、角度変化量Δ
θに対応するθ軸上での長さはＤΔθだけ変化する。一
方、ΔＤθは、θがΔθだけ微小変化したときのＤの変
化量であるため、単位θの変化に対するＤの変化量は次
式のようになる。
【００３２】
【数式６】
【００３３】また、φについても同様に考え、Δφに対
応するφ軸上での長さはＤｃｏｓθΔφである、よっ
て、変化量は次式のようになる。
応するφ軸上での長さはＤｃｏｓθΔφである、よっ
て、変化量は次式のようになる。
【００３４】
【数式７】
【００３５】したがって、距離画像座標系の法線ベクト
ルｎＤ（図１０に示す）は、
ルｎＤ（図１０に示す）は、
【００３６】
【数式８】 である。
【００３７】次に、距離画像座標系の座標軸（Ｄ，θ，
φ）と上記の法線ベクトルｎＤとのなす角度を求め、車
両座標系の座標軸（Ｘ´，Ｙ´，Ｚ´）と法線ベクトル
とのなす角度ζ，ω、すなわち、地形の斜度（ζ）およ
び斜面の向き（ω）に変換する。この場合、図１０にお
いて、距離画像座標系の法線ベクトルｎＤを原点に合わ
せて平行移動させる。
φ）と上記の法線ベクトルｎＤとのなす角度を求め、車
両座標系の座標軸（Ｘ´，Ｙ´，Ｚ´）と法線ベクトル
とのなす角度ζ，ω、すなわち、地形の斜度（ζ）およ
び斜面の向き（ω）に変換する。この場合、図１０にお
いて、距離画像座標系の法線ベクトルｎＤを原点に合わ
せて平行移動させる。
【００３８】まず、法線ベクトルｎＤのθ，φ方向の角
度（θ´，φ´）を求める。図１１に示すように、法線
ベクトルｎＤのＤθ，Ｄφ平面への射影ｎＤθ，ｎＤφ
と、Ｄ軸とのなす角度をそれぞれθ´，φ´とし、射影
ｎＤθ，ｎＤφとのなす角度をφ´´とすると、法線ベ
クトルｎＤは先の数式８で与えられるので、θ´，φ
´，φ´´は次式のようになる。
度（θ´，φ´）を求める。図１１に示すように、法線
ベクトルｎＤのＤθ，Ｄφ平面への射影ｎＤθ，ｎＤφ
と、Ｄ軸とのなす角度をそれぞれθ´，φ´とし、射影
ｎＤθ，ｎＤφとのなす角度をφ´´とすると、法線ベ
クトルｎＤは先の数式８で与えられるので、θ´，φ
´，φ´´は次式のようになる。
【００３９】
【数式９】
【００４０】次に、射影ｎＤθとＹ´，Ｚ´平面のなす
角度（θ´´）およびφｎを求める。図１２に示すよう
に、射影ｎＤθは、Ｄθ平面上にあるので、射影ｎＤθ
とＹ´，Ｚ´平面のなす角度θ´´はθとθ´との加算
となる。
角度（θ´´）およびφｎを求める。図１２に示すよう
に、射影ｎＤθは、Ｄθ平面上にあるので、射影ｎＤθ
とＹ´，Ｚ´平面のなす角度θ´´はθとθ´との加算
となる。
【００４１】
【数式１０】
【００４２】また、図１３及び図１４に示すように、φ
´´のＹ´，Ｚ´平面への射影をφ´´´とすると、φ
ｎはφ´´´とφとの減算となる。
´´のＹ´，Ｚ´平面への射影をφ´´´とすると、φ
ｎはφ´´´とφとの減算となる。
【００４３】
【数式１１】
【００４４】そして、図１５に示すように、θｎがθ´
´から変換され、図１６に示すように、斜面の向きω，
斜度ζがθｎ，φｎから変換される。
´から変換され、図１６に示すように、斜面の向きω，
斜度ζがθｎ，φｎから変換される。
【００４５】
【数式１２】
【００４６】なお、上記の幾何学的角度変換により斜度
ζおよび斜面の向きωを求める方法では、全て角度デー
タを用いているため、距離画像座標系における法線ベク
トルの正規化の必要がなく、同じテーブルを繰り返し使
用できる。
ζおよび斜面の向きωを求める方法では、全て角度デー
タを用いているため、距離画像座標系における法線ベク
トルの正規化の必要がなく、同じテーブルを繰り返し使
用できる。
【００４７】環境認識装置１は、上述の如く距離画像Ｒ
Ｆの各画素について該画素の近傍画素の距離データを用
いた距離による平面近似を行い、平面近似で得た近傍画
素間の距離の変化量から該画素に対応する位置の斜度ζ
および斜面の向きωを算出したのちには、図１に示すよ
うに、斜度ζや斜面の向きωおよび地形の高さなどを含
む地形データである車両座標（Ｘ´，Ｙ´，Ｚ´）を、
慣性センサ（ブロックＢ１０）で検出した車両の位置お
よび姿勢データ（Ｂ１１）を用いて、Ｚ軸が鉛直である
絶対座標に変換（Ｂ１２）し、これを最終的な地形デー
タ（Ｂ１３）とする。
Ｆの各画素について該画素の近傍画素の距離データを用
いた距離による平面近似を行い、平面近似で得た近傍画
素間の距離の変化量から該画素に対応する位置の斜度ζ
および斜面の向きωを算出したのちには、図１に示すよ
うに、斜度ζや斜面の向きωおよび地形の高さなどを含
む地形データである車両座標（Ｘ´，Ｙ´，Ｚ´）を、
慣性センサ（ブロックＢ１０）で検出した車両の位置お
よび姿勢データ（Ｂ１１）を用いて、Ｚ軸が鉛直である
絶対座標に変換（Ｂ１２）し、これを最終的な地形デー
タ（Ｂ１３）とする。
【００４８】そして、平面から見た状態の局所地図を作
成（Ｂ１４）すると共に、車両に対する障害物を識別
（Ｂ１５）し、さらに、補間処理とともに画素数が２５
６×２５６である局所地図（Ｂ１６）を作成する。この
のち、車両ＲＯに搭載した主制御器において局所地図を
用いて経路計画（Ｂ１７）を行うと共に、走行経路を決
定（Ｂ１８）し、その経路にしたがって車両ＲＯの走行
制御（Ｂ１９）を行うこととなる。
成（Ｂ１４）すると共に、車両に対する障害物を識別
（Ｂ１５）し、さらに、補間処理とともに画素数が２５
６×２５６である局所地図（Ｂ１６）を作成する。この
のち、車両ＲＯに搭載した主制御器において局所地図を
用いて経路計画（Ｂ１７）を行うと共に、走行経路を決
定（Ｂ１８）し、その経路にしたがって車両ＲＯの走行
制御（Ｂ１９）を行うこととなる。
【００４９】
【発明の効果】以上説明してきたように、本発明の画像
処理方法によれば、車両に搭載したレーザ・レンジ・フ
ァインダを入力源として車両前方の地形を画像で認識す
るに際して、座標系を構成する２軸スキャナーミラーの
２軸の回転角の関数とした距離データをレーザ・レンジ
・ファインダの中心を原点とする距離画像として入力
し、距離画像の各画素について該画素の近傍画素の距離
データを用いて前記２軸の回転角方向に対する距離の変
化量を平面近似により求めたのち、平面近似で得た近傍
画素間の距離の変化量から前記２軸の回転角方向を座標
軸とした距離画像座標系の法線ベクトルを求め、次いで
距離画像座標系の座標軸と法線ベクトルとの成す角度を
求め、その後、車両座標系の座標軸と法線ベクトルとの
成す角度により地形の斜度および斜面の向きを算出する
ことから、斜度および斜面の向きの計算範囲がレーザ・
レンジ・ファインダのスキャナーミラーの２軸の回転角
の関数とした距離データから得た距離画像に限られるこ
ととなり、これらの計算を車両の直交座標系上で画像の
拡大および補間処理後に行っていた従来の方法に比べ
て、角度データのみによる演算により斜度や斜面の向き
を求めるので、演算処理時間を大幅に短縮することがで
き、ひいてはその後に行う障害物検出などの各処理の高
速化をも実現することができ、車両の自立走行を迅速に
且つ確実に行うことができる。
処理方法によれば、車両に搭載したレーザ・レンジ・フ
ァインダを入力源として車両前方の地形を画像で認識す
るに際して、座標系を構成する２軸スキャナーミラーの
２軸の回転角の関数とした距離データをレーザ・レンジ
・ファインダの中心を原点とする距離画像として入力
し、距離画像の各画素について該画素の近傍画素の距離
データを用いて前記２軸の回転角方向に対する距離の変
化量を平面近似により求めたのち、平面近似で得た近傍
画素間の距離の変化量から前記２軸の回転角方向を座標
軸とした距離画像座標系の法線ベクトルを求め、次いで
距離画像座標系の座標軸と法線ベクトルとの成す角度を
求め、その後、車両座標系の座標軸と法線ベクトルとの
成す角度により地形の斜度および斜面の向きを算出する
ことから、斜度および斜面の向きの計算範囲がレーザ・
レンジ・ファインダのスキャナーミラーの２軸の回転角
の関数とした距離データから得た距離画像に限られるこ
ととなり、これらの計算を車両の直交座標系上で画像の
拡大および補間処理後に行っていた従来の方法に比べ
て、角度データのみによる演算により斜度や斜面の向き
を求めるので、演算処理時間を大幅に短縮することがで
き、ひいてはその後に行う障害物検出などの各処理の高
速化をも実現することができ、車両の自立走行を迅速に
且つ確実に行うことができる。
【図１】本発明に係わる画像処理方法が用いられる環境
認識装置を説明するブロック図である。
認識装置を説明するブロック図である。
【図２】距離画像座標系および車両座標系を示す説明図
である。
である。
【図３】距離画像を示す図である。
【図４】距離による平面近似の概略を一部拡大して示す
説明図である。
説明図である。
【図５】レーザビームに対する地形上の測定部分の傾き
を示す説明図である。
を示す説明図である。
【図６】平面近似における距離画像上の８近傍を示す説
明図である。
明図である。
【図７】実質空間上の８近傍を示す説明図である。
【図８】地形上の注目点までの距離Ｄと距離画像におけ
るθ軸の方向を示す説明図である。
るθ軸の方向を示す説明図である。
【図９】地形上の注目点までの距離Ｄと距離画像におけ
るφ軸の方向を示す説明図である。
るφ軸の方向を示す説明図である。
【図１０】距離画像上のＤ，θ，φの各軸と法線ベクト
ルを示す各々説明図である。
ルを示す各々説明図である。
【図１１】図１０に示す法線ベクトルのθ，φ方向の角
度を示す説明図である。
度を示す説明図である。
【図１２】図１１に続いて法線ベクトルの射影と車両座
標系のＹ´，Ｚ´平面のなす角度を示す説明図である。
標系のＹ´，Ｚ´平面のなす角度を示す説明図である。
【図１３】図１２に続く幾何学的角度変換を示す説明図
である。
である。
【図１４】図１３に続く幾何学的角度変換を示す説明図
である。
である。
【図１５】図１４に続く幾何学的角度変換を示す説明図
である。
である。
【図１６】図１５に続く幾何学的角度変換として斜度お
よび斜面の向きへの変換を示す説明図である。
よび斜面の向きへの変換を示す説明図である。
Ｄ 距離データ ＲＦ レーザ・レンジ・ファインダ ＲＩ 距離画像 ζ 斜度 ω 斜面の向き
Claims (1)
- 【請求項１】 車両に搭載したレーザ・レンジ・ファイ
ンダを入力源として車両前方の地形を画像で認識するに
際し、レーザ・レンジ・ファインダの走査系を構成する
２軸スキャナーミラーの２軸の回転角の関数とした距離
データをレーザ・レンジ・ファインダの中心を原点とす
る距離画像として入力し、距離画像の各画素について該
画素の近傍画素の距離データを用いて前記２軸の回転角
方向に対する距離の変化量を平面近似により求めたの
ち、平面近似で得た近傍画素間の距離の変化量から前記
２軸の回転角方向を座標軸とした距離画像座標系の法線
ベクトルを求め、次いで距離画像座標系の座標軸と法線
ベクトルとの成す角度を求め、その後、車両座標系の座
標軸と法線ベクトルとの成す角度により地形の斜度およ
び斜面の向きを算出することを特徴とする画像処理方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05279801A JP3139247B2 (ja) | 1993-11-09 | 1993-11-09 | 画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05279801A JP3139247B2 (ja) | 1993-11-09 | 1993-11-09 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07134030A JPH07134030A (ja) | 1995-05-23 |
| JP3139247B2 true JP3139247B2 (ja) | 2001-02-26 |
Family
ID=17616109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05279801A Expired - Lifetime JP3139247B2 (ja) | 1993-11-09 | 1993-11-09 | 画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3139247B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9098754B1 (en) * | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
-
1993
- 1993-11-09 JP JP05279801A patent/JP3139247B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07134030A (ja) | 1995-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021093240A1 (en) | Method and system for camera-lidar calibration | |
| US5943476A (en) | Method and apparatus for remotely sensing orientation and position of objects | |
| KR20150144730A (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| JP2019125116A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP4735361B2 (ja) | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 | |
| JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
| JP2920352B2 (ja) | 移動体の走行制御方法および装置 | |
| Gaspar et al. | Visual path following with a catadioptric panoramic camera | |
| KR102361133B1 (ko) | 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치 | |
| EP1997072A2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| JP3139247B2 (ja) | 画像処理方法 | |
| Sola | Course on SLAM | |
| Jensen et al. | Laser range imaging using mobile robots: From pose estimation to 3d-models | |
| Rosebrock et al. | Generic camera calibration and modeling using spline surfaces | |
| Kolu et al. | A mapping method tolerant to calibration and localization errors based on tilting 2D laser scanner | |
| JP3208900B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 | |
| JPH06262568A (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 | |
| JP3279610B2 (ja) | 環境認識装置 | |
| JP3156950B2 (ja) | 画像処理方法 | |
| JP7358108B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Maniere et al. | Vision system dedicated to panoramic three-dimensional scene reconstruction | |
| Singh et al. | Sensor fusion of structure-from-motion, bathymetric 3D, and beacon-based navigation modalities | |
| JP2001266129A (ja) | 航行体の画像による航行制御装置及び航行制御方法 | |
| Tang et al. | A laser-assisted depth detection method for underwater monocular vision | |
| Yin et al. | Extrinsic Calibration of 2D Laser Rangefinders Using Indoor Geometric Constraints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071215 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081215 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091215 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 13 |
|
| EXPY | Cancellation because of completion of term |