JP5449572B2 - 路面形状認識装置及びそれを利用した自律移動装置 - Google Patents

路面形状認識装置及びそれを利用した自律移動装置 Download PDF

Info

Publication number
JP5449572B2
JP5449572B2 JP2012549555A JP2012549555A JP5449572B2 JP 5449572 B2 JP5449572 B2 JP 5449572B2 JP 2012549555 A JP2012549555 A JP 2012549555A JP 2012549555 A JP2012549555 A JP 2012549555A JP 5449572 B2 JP5449572 B2 JP 5449572B2
Authority
JP
Japan
Prior art keywords
road surface
light
surface shape
wavelength
shape recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012549555A
Other languages
English (en)
Other versions
JPWO2012086070A1 (ja
Inventor
幸彦 小野
亮子 一野瀬
健次郎 山本
祥尭 原
章 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Application granted granted Critical
Publication of JP5449572B2 publication Critical patent/JP5449572B2/ja
Publication of JPWO2012086070A1 publication Critical patent/JPWO2012086070A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば、車両等の移動装置の進行方向における路面形状や障害物を認識するための路面形状認識装置に関し、更には、かかる装置を利用した自律移動装置に関する。
従来、車両に搭載されたカメラによって路上の白線を撮像し、この撮像画像を画像処理して白線を抽出することにより、道路形状を認識できるようにした道路形状認識装置が知られている(例えば、以下の特許文献1を参照)。
一方、白線が描かれていない道路や、白線が描かれていたとしても当該白線が不鮮明な道路であっても、当該道路の傾斜や凹凸等の道路形状を良好に認識することが可能なように、路上にパターン画像を投射し、当該パターン画像を投射した道路の撮像画像を画像処理することによってパターン画像の形状を検出し、もって、検出した形状に応じて道路形状を判断する道路形状認識装置が知られている(例えば、以下の特許文献2を参照)。
特開2003−308534号公報 特開2008−217267号公報
しかしながら、上述した従来技術になる道路形状認識装置においては、道路照明灯や街灯、電飾看板等、所謂、外来光が道路上に照らされると、特に、当該外来光の波長と、形状認識のために投射される車両照明や路上へ投射するパターン画像の光の波長が近い場合には、白線や投射したパターン画像を正確に検出することが出来ず、そのため、上述した状態の道路においては、その形状を正確に認識することが難しいという問題点があった。
そこで、本発明は、上述した従来技術における問題点に鑑みて達成されたものであり、その目的は、道路周辺に設けられた照明灯や街灯や電飾看板などか照射される外来光による悪影響にも拘わらず、道路形状や道路上の障害物を確実に認識することが可能な道路形状認識装置を、更には、当該装置を利用した自律移動装置を提供することを目的とする。
本発明によれば、上述した目的を達成するため、まず、車両前方の路面の形状を認識するための路面形状認識装置であって:前記路面上の複数の領域からの外来光を検出して、当該外来光の強度が最も弱い波長域を求める波長域算出手段と;前記路面上の複数の領域に、複数の波長域の光を、選択的に照射可能な照射手段と;前記照射手段によって選択的に照射可能な複数の波長域の光のうち、前記波長域算出手段により求められた最も弱い波長域に対応する波長を持つ光を選択し、前記照射手段から照射させる照射制御手段と;前記路面を撮像可能な撮像手段と;そして、前記照射制御手段により選択された波長の光を前記照射手段により前記路面上の領域に照射している時に前記撮像手段によって撮像される映像に基づいて、路面の形状を算出する路面形状算出手段とを備えた路面形状認識装置が提供される。
また、本発明によれば、上述した路面形状認識装置において、前記波長域算出手段は、前記照射手段が光を前記路面上に照射していない時に前記撮像手段により撮像される映像に基づいて、外来光を検出して、当該外来光の強度が最も弱い波長域を求めることが好ましく、更には、前記撮像手段は、前記波長域算出手段による外来光の強度が最も弱い波長域の検出と、前記照射制御手段及び前記照射手段による最も弱い波長域に対応する波長を持つ光の選択と照射とを逐次実行しながら前記路面の撮像を行うことが好ましい。加えて、前記波長域算出手段は、当該車両の運動に関する情報に基づいて、撮像した映像中で前記照射手段により次回に光を照射する路面領域を予測し、予測した路面領域での外来光の強度が最も弱い波長域を求めることが好ましく、更には、前記照射手段は、前記路面上において、前記複数の波長域の光を、選択的に、複数のスポット光又はスリット光として、照射可能であることが好ましい。
また、本発明によれば、上述した路面形状認識装置において、前記複数のスポット光又はスリット光の大きさ又は間隔を、当該検出する路面の状態によって変更することが好ましく、更に、前記波長域算出手段は、前記撮像手段と共用されており、かつ、前記路面上の複数の領域からの外来光を選択的に透過するフィルタを備えていることが好ましい。更には、前記照射制御手段は、前記路面上の複数の領域を順次スキャンしながら、求められた最も弱い波長域に対応する波長を持つ光を選択して前記照射手段から照射させることが好ましく、そして、前記照射手段は、前記照射制御手段からの制御信号に基づいて順次スキャンしながら光を照射するためのガルバノメータを備えていることが好ましい。
そして、本発明によれば、上述した路面形状認識装置に加え、路面形状を認識しながら当該路面上を自律的に移動することが可能な自律移動装置であって、上記に記載した路面形状認識装置を備えた自律移動装置が提供される。
即ち、本発明によれば、上述した従来技術のように、道路照明灯や街灯、電飾看板等の外来光によって道路が照らされた場合、これらの照明と車両照明や路上に投射するパターン画像の光の波長が近い場合など、白線や投射したパターン画像を正確に検出することができず、そのため、路面形状を正確に認識できなくなるという問題点を解消し、道路照明灯や街灯や電飾看板などの複数の波長の外来光が照らしている道路であっても、当該外来光による影響の少ない波長の光で撮像することにより、路面形状やその上の障害物を確実に認識することが可能となる。
本発明の一実施例(実施例1)になる路面形状認識装置の構成を示すブロック図である。 上記実施例1の路面形状認識装置を自律移動車両への搭載した場合のスポット光を説明するための図である。 上記実施例1の路面形状認識装置における照射装置の詳細構成を示す図である。 上記実施例1の路面形状認識装置の波長域算出装置と照射制御装置における処理の概要を説明する図である。 上記実施例1の路面形状認識装置における照射制御装置処理の概要を示す図である。 上記実施例1において、複数の波長域(λ、λ、λ)の外来光により照射された路面の状態の一例を示す図である。 上記実施例1において、複数の波長域(λ、λ、λ)の外来光により照射された路面における光の波長とその強度を示す図である。 上記本実施例1の路面形状認識装置1における認識動作の一例について説明するフローチャート図である。 上記実施例1において、自己位置推定装置で求めた自車両の現在位置などに基づいて撮像画像中に次回のスポット光が照射する領域を予測する動作(予測動作)のタイミングを示す波形図である。 上記実施例1において、上記予測動作を具体的に示すための図である。 本発明の他の実施例(実施例2)になる路面形状認識装置におけるライン状のスリット光を説明するための図である。 上記実施例2の路面形状認識装置を自律移動車両への搭載した場合のライン状のスリット光を説明するための図である。 上記実施例2の路面形状認識装置によるライン状のスリット光と路面との関係の一例を示す図である。
以下、本発明の一実施の形態になる路面形状認識装置及びそれを利用した自律移動装置について、添付の図面を参照しながら詳細に説明する。
図1は、本発明の実施例1になる路面形状認識装置1の構成を示すブロック図である。即ち、本実施例になる路面形状認識装置1は、図2のように、自律移動車両に搭載され、もって、自律移動車両の前方における路面形状及び障害物を確実に認識することにより、当該自律移動車両の経路生成、障害物回避、自己位置推定等に利用される。
本実施例1になる路面形状認識装置1は、図1に示すように、主に、路面観測装置2と、そして、路面形状算出装置3により構成されている。
路面観測装置2は、路面形状認識装置1を搭載している自律移動体としての車両の前方路面側を撮像する2つのカメラ41、42と、当該カメラ41,42のそれぞれに取り付けられた特定の波長域の光のみを透過する光学フィルタ51、52と、当該カメラ41、42で撮像した画像データを保存するメモリ5と、車両の前方路面側に向けてスポット光(図2では、その領域をSで示す)を照射する照射装置6と、照射装置のスポット光の波長や照射方向を制御する照射制御装置7、撮像画像からスペクトルを求める波長域算出装置8、車両と共に移動するスポット光の照射位置を予測するスポット光位置予測装置10、そして、自己位置推定装置11とで構成されている。
また、路面形状算出装置3は、上記のカメラ41、42で撮像した画像データから求めた視差画像から路面形状を算出する。
照射装置6は、例えばレーザープロジェクタなどからなり、所定の照射位置に向けて複数の波長のスポット光を照射する。図3は、当該照射装置6の詳細構成図を示しており、この図にも示すように、照射装置6は、2個のガルバノメータを直角に配置し、それぞれのミラーを動かして波長可変レーザー照射装置61から照射されたレーザーの反射角を制御することにより、図のX軸とY軸で決まる任意の方向へレーザーを向けることが出来る。
更に、上記のカメラ41、42は、自車両の前方路面を撮像することで、路面上の障害物の画像を含む画像データを取得する。
また、上記照射装置6は、以下に詳述する時分割制御によって、光を照射する状態と、光を照射しない状態とで切り換えられる。このため、カメラ41、42は、照射装置6により複数の波長域を含む光が照射されたときには、外来光が前方路面で反射した光と照射光が前方路面で反射した光とを含む反射光を受光して撮像画像データ(照射時撮像画像データ)を取得し、他方、照射装置6により複数の波長域を含む光が照射されないときには、外来光が前方路面で反射した光のみを含む反射光を受光して撮像画像データ(非照射時撮像画像データ)を取得する。
そして、メモリ5は、上記のカメラ41、42により取得された照射時撮像画像データを記憶する。なお、このメモリ5は、照射装置6により光が照射されないときの非照射時撮像画像データのみを、又は、照射時撮像画像データと非照射時撮像画像データの双方を記憶するように構成されていてもよい。
波長域算出装置8は、光学フィルタ51、52の光透過波長域を連続的に変化させながら外来光による反射光のスペクトルを求め、このスペクトルから最も外来光の強度が弱い波長域を求める。ここで、カメラ41、42は、そのフレームレートを上げることで、より多くの透過波長域(スポット光に対応)に対して前方路面の撮像画像データを取得できることから、反射光のスペクトルの分解能を上げることが可能となり、外来光の強度が弱い波長域を、高精度に、求めることが出来る。
照射制御装置7は、上記波長可変レーザー照射装置61から複数の波長域のレーザーを照射させる。各々のレーザーの波長は波長域算出部8により求められた外来光の強度が弱い波長域に基づき決定される。例えば、前方路面のスポット光を照射する位置の周囲の外来光の強度が最も弱い波長や、外来光の強度が閾値以下である波長域が最も広い波長などを選ぶ。
また、照射制御装置7は、波長可変レーザー照射装置61によって照射されるレーザーの強度を、前方路面のスポット光を照射する位置の周囲の外来光の強度に基づき決定する。なお、波長可変レーザー照射装置61によって照射されたレーザーの強度情報は、スポット光検出装置に送られ、上記のカメラ41、42が撮像した前方路面の照射時撮像画像データからスポット光を抽出する際に使用される。
なお、上述した路面形状認識装置1では、上記した照射制御装置7、波長域算出装置8、スポット光位置予測装置10、自己位置推定装置11、更には、上記路面形状算出装置3は、ここでは図示しないが、その各々を、又は、一部を併せて、例えば、CPU等の演算素子によって構成されてもよく、その際、予め格納されたソフトウェア等により所定の処理動作を実行するものである。
次に、以上に述べた本実施例1になる路面形状認識装置1における動作について、以下に詳細に説明する。
まず、上述した波長域算出装置8と照射制御装置7における処理の概要について、添付の図4(A)〜(D)を用いて説明する。なお、これらの図4(A)〜(D)は、上記波長可変レーザー照射装置61によって照射されるレーザー光の波長を選択する原理について説明する。
<レーザー波長の選択原理>
まず、図4(A)に示すように、外来光(複数の波長域λ〜λを含む)のみによって照明された場合(非照射時)のスポット9及びその周辺からの光(反射光)を(例えば、図のレンズ等の光学素子によって集光し)、光学フィルタ51又は52(ここでは、説明のため、透過域λ、λ、λを備えた回転式の円盤状のフィルタで示す)を介して、検出器(=カメラ41又は42)により検出する。なお、この時、光学フィルタを回転しながらその透過域をλ→λ→λの順に変えながら、上記スポットSとその周辺からの外来光の強度を検出する。
外来光の強度が、例えば、図4(B)に示すようなスペクトル分布を示している場合には、光学フィルタを透過した後に上記の検出器で検出した結果は、図4(C)に示すように、期間τ〜τ(透過域λを通過)で検出される強度(検出器の出力)が、他の期間τ〜τ(透過域λを通過)、τ〜τ(透過域λを通過)での検出強度よりも小さく、従った、最もが小さくなる。即ち、この例では、非照射時でのスポット9及びその周辺からの反射光は、波長域λ〜λの範囲において、波長λ付近で最も小さい強度を持っていることが分かる。
そこで、本発明では、その後のスポット光Sの照射による路面形状や障害物の検出率を向上させるため、上記照射装置6から照射するスポット光Sであるレーザー光の波長を、上記波長λ又はその近傍に設定すると共に、当該スポット光Sを、検出器であるカメラ41又は42により検出する際の光学フィルタ51又は52の透過波長領域も、当該波長λに設定する。かかるレーザー波長の選択原理によれば、道路照明灯や街灯、電飾看板など、複数の波長の外来光が照らしている道路であっても、当該外来光による悪影響を受けることなく、当該道路の形状及び路上の障害物を、確実かつ良好に認識することが可能となる。
図5は、上記照射制御装置7における処理の概要を示す図であり、特に、図5(A)には、波長領域λのレーザー光が選択された場合、図5(B)には、波長領域λのレーザー光が選択された場合、そして、図5(C)には、波長領域λのレーザー光が選択された場合がそれぞれ示されている。そして、これらの図の時刻t〜時刻tにおいて(上記の期間τ〜τに対応)、波長域算出装置8は、光学フィルタ51、52の光透過波長域を連続的に変化させながら、外来光による反射光のスペクトルを求める。その後、時刻t〜時刻tでは、波長λのレーザーを発生させ、時刻t〜時刻tにおいては、波長λのレーザーを発生させ、そして、時刻t〜時刻tにおいては、波長λのレーザーを発生させる。
続いて、添付の図6には、複数の波長域(λ、λ、λ)の外来光により照射された路面の状態の一例を示す。即ち、この例は、照射装置6からのスポット光を照射せず(非照射時)、車両の前方路面における外来光の反射光を上記のカメラ41、42で撮像した画像データ(非照射時撮像画像データ)のスペクトルが示されており、複数の領域毎P、P、Pにそのスペクトルが、それぞれ、異なっている状態を示している。
より具体的には、添付の図7にも示すように、領域Pでは、外来光の強度が最も弱い波長はλであるため、照射制御装置7は、上記図5(A)の時刻t〜時刻tにおいて、波長λのレーザー光を発生させ、上記図3に示した照射装置6によって、所定の位置にスポット光を照射する。また、領域Pでは、外来光の強度が最も弱い波長はλであるため、照射制御装置7は、上記図5(B)の時刻t〜時刻tにおいて、波長λのレーザー光を発生させて、上記照射装置6によって、所定の位置にスポット光を照射する。更に、領域Pでは、外来光の強度が最も弱い波長はλであるため、照射制御装置7は、上記図5(C)の時刻t〜時刻tにおいて、波長λのレーザー光を発生させ、もって、上記照射装置6により所定の位置にスポット光を照射する。
同時に、上記の光学フィルタ51、52の光透過波長域についても、上述したように選択された照射レーザーの波長λ、λ、λに合わせて変更することとなる。即ち、上記図5(A)の時刻t〜時刻tにおいてはλに、図5(B)の時刻t〜時刻tにおいてはλに、そして、図5(C)の時刻t〜時刻tにおいてはλに、それぞれ、変更される。
なお、以上の説明では、上記の光学フィルタ51、52は、一例として、回転式の円盤状のフィルタであり、3つの波長域λ、λ、λで可変なものとして示したが、しかしながら、これに限ることなく、これに代えて、可動部を持たず、選択波長を波長連続的に(例えば、λ〜λ)可変可能なものでもよい。例えば、VariSpec(TM)(LCTF:米国CRI社製)として知られる、光学フィルタを利用することにより、稼働部品を使用せずに、電気的に波長をチューニングして制御することが可能な液晶チューナブルフィルターを利用することも可能である。このフィルタは、偏光子とネマティック液晶を積層することにより構成されており、印加電圧を可変することによりピーク波長を任意に高速で可変とすることが可能であり、その結果、任意の波長成分の光を取り出すことが可能となる。
また、上述したスポット光を照射する照射装置6についても、波長の異なる複数のレーザー発生素子を選択的に利用するものに限られず、上記の液晶チューナブルフィルターを利用して所望の波長(λ〜λ)のレーザー光を連続的に発生するものであってもよい。
次に、上記でその詳細な構成について説明した本実施例1になる路面形状認識装置1における認識動作の一例について、添付の図8を参照しながら、以下に説明する。
図8に示すように、路面形状認識装置1では、当該装置を構成するCPU等により実行され、まず、波長域を示す数「n」を「1」とする(ステップS1)。
次に、波長域算出装置8は、上記光学フィルタ51、52の光透過波長域を、「n=1」に相当する波長域に設定する(ステップS2)。そして、カメラ41、42(一方だけでも、両方でも良い)は、前方路面を撮像する(ステップS3)。これにより、波長域算出装置8は、「n=1」に相当する波長域での反射光の強度データ(撮像画像データ)を取得する。その後、メモリ5は、上記のカメラ41、42で撮像された撮像画像を記憶する(ステップS4)。
次いで、波長域算出装置8は、波長域を示す数「n」をインクリメントする(ステップS5)。
その後、波長域算出装置8は波長域を示す数「n」が反射光のスペクトルを取得するために必要な観測数「Nmax」(即ち、上記図6に示すスポットSの数)であるか否かを判断する(ステップS6)。その結果、波長域を示す数「n」が「Nmax」でないと判断された場合(ステップS6:NO)、処理は上記のステップS2に移行する。
一方、波長域を示す数「n」が「Nmax」であると判断された場合(ステップS6:YES)には、波長域算出装置8は上記メモリ5から、上記のステップS3において撮像した撮像画像データを読み込む(ステップS7)。
その後、波長域算出装置8は、各画像領域(スポットS)での外来光スペクトルを求める(ステップS8)。
次に、添付の図9、及び、図10(A)、(B)に示すように、自己位置推定装置11によって求めた自車両の現在位置、速度や角速度などの速度、更には、加速度や角加速度などの加速度に基づき、撮像画像中で次回(t=t)スポット光を照射する領域を予測する(ステップS9)。
その後、波長域算出装置8は、上記のステップS10で予測した画像領域の反射光のスペクトルから、その領域内で外来光の強度が最も弱い波長を検出する(ステップS10)。
同時に、照射するスポット光の強度を上記のステップS9で求めた外来光スペクトルに基づいて決定し(ステップS12)、そして当該決定された照射するスポット光の強度情報をメモリ5に記憶する(ステップS13)。
次に、照射装置6は、上記のステップS11で検出した波長のスポット光を前方路面の所定の位置に照射する(ステップS14)。
照射したスポット光は、光学フィルタ51、52により、上記のステップS14で照射したスポット光の波長を含む帯域でフィルタリングされた(ステップS15)後に、一対のカメラ41、42によって撮像される(ステップS16)。
その後、同一スポット光を上記一対のカメラ41、42で撮像した画像の視差から、当該スポット光の三次元位置を求める(ステップS17)。なお、この同一スポット光の検出する際、上記ステップS13で記憶したスポット光の強度情報を用いることによって、検出率を向上させることが望ましい。
又は、前方路面に複数の照明から外来光が照射されているときのように、各路面領域において照射される外来光の強度の最も弱い波長が異なる場合には、それぞれの路面領域毎に、異なる波長(λ〜λmax)の1の波長のスポット光を照射することにより、スポット光の三次元位置を求める(ステップS11〜18)。
次に、上記のステップS17で求めたスポット光の3次元位置に基づき、前方路面の形状を求め(ステップS19)、最後に、その路面上に障害物があればそれを抽出する(ステップS20)。
そして、上記図8に示した処理は終了する。なお、この図8に示す処理は、路面形状認識装置1の電源が遮断(オフ)されるまで、繰り返し実行されることとなる。
このようにして、本実施例1になる路面形状認識装置1によれば、街中のように、複数の波長域の外来光が路面に照射されているような環境下においても、それぞれの外来光が照らしている領域毎に当該外来光の強度が弱い波長域、言い換えれば、照射装置6からは、外来光の影響を受け難い波長域の光を照射することが出来ることから、外来光の強度に応じた効率的な路面形状の認識を行うことが可能となる。
なお、以上の記載では、車両の前方路面側を撮像するため、例えば、カメラ41、42と共に、光学フィルタ51、52を組み合わせた構成について述べた。しかしながら、本発明ではこれに限定されず、それらに代えて、例えば、ハイパースペクトルカメラと呼ばれ、その光検出器を構成するセル毎に受光した光の波長を検出することが出来る装置を、2台、使用してもよい。このハイパースペクトルカメラの採用によれば、光学フィルタの透過波長域を変更しながらカメラで撮像して路面の反射光のスペクトルを求めることなく、カメラによる一度の撮像で必要なスペクトルを求めることが出来、もって、処理時間を短縮して、より高速に車両を移動しながらの路面形状の認識が可能となる。
以上に述べた実施例1においては、撮像装置を構成する一対のカメラ41、42は、上記図3に示した照射装置6により、上記図2や図6に示すように、複数のスポット光Sを、順次、所定のパターンで(例えば、順次、スキャニングしながら)路面に照射することによって、路面形状や障害物を撮像するものとして説明した。しかしながら、上記のスポット光の間隔を路面の状態に応じて変更してもよい。より具体的には、路面の起伏が激しく、そのため、路面形状をより詳細に調べる必要がある場合には、全体もしくはその一部のスポット光の間の間隔を狭めたり、あるいは、スリット光の径をより小さくしたりする。これにより、路面形状計測の分解能をより高くすることができる。
加えて、特に、上記図9、及び、図10(A)、(B)に示すように、求めた自車両の現在位置、速度や角速度などの速度、更には、加速度や角加速度などの加速度に基づいて撮像画像中で次回スポット光の照射領域を予測して当該領域内で外来光の強度が最も弱い波長を検出することによれば、より確実に、高速に車両を移動しながらの路面形状の認識が可能となる。
続いて、以下の図11〜13により、本発明の他の実施例(実施例2)になる路面形状認識装置及びそれを利用した自律移動装置について説明する。なお、本実施例においても、路面形状認識装置の構成は上記と同様であるので、その説明については省略する。
本実施例では、上記の図2や6に示した、照射装置6から路面上に照射される円形のスポット光に代えて、図11や図12にも明らかなように、Y方向に伸びた複数のライン状の光(以下、「スリット光」と言う)とすることで、上記照射装置6の構成を簡単にしたものである。これによれば、図13にも示すように、外来光が、主に、道路の脇より照射される場合など、車両の進行方向(Y方向)に沿って、路面が、ほぼ同じ反射光スペクトルを持つ1つ又は複数の領域で分割されているような場合に、効率良く、外来光が照らしている領域毎に当該外来光の強度が弱い波長域、言い換えれば、照射装置6からは、外来光の影響を受け難い波長域の光を照射することが出来、もって、外来光による悪影響を受けることなく、当該道路の形状及び路上の障害物を、確実かつ良好に認識することが可能となる。
なお、本実施例でも、上記のスポット光の場合と同様、例えば、路面の起伏が激しく、路面形状をより詳細に調べる必要がある場合には、全体もしくは一部のスリット光間の間隔やスリット光の幅を狭める。これにより、路面形状計測の分解能を高くすることができる。
以上、本発明について、上述した実施例に基づき説明したが、しかしながら、本発明は、上述した実施例に限られるものではなく、更に、本発明の趣旨を逸脱しない範囲で、変更を加えてもよいことは、当業者であれば明らかであろう。
1…路面形状認識装置、2…路面観測装置、3…路面形状算出装置、5…メモリ、6…照射装置、7…照射制御装置、8…波長域算出装置、10…スポット光位置予測装置、11…自己位置推定装置、41、42…カメラ、51、52…光学フィルタ。

Claims (10)

  1. 車両前方の路面の形状を認識するための路面形状認識装置であって
    前記路面上の複数の領域からの外来光を検出して、当該外来光の強度が最も弱い波長域を求める波長域算出手段と
    前記路面上の複数の領域に、複数の波長域の光を、選択的に照射可能な照射手段と
    前記照射手段によって選択的に照射可能な複数の波長域の光のうち、前記波長域算出手段により求められた最も弱い波長域に対応する波長を持つ光を選択し、前記照射手段から照射させる照射制御手段と
    前記路面を撮像可能な撮像手段と
    前記照射制御手段により選択された波長の光を前記照射手段により前記路面上の領域に照射している時に前記撮像手段によって撮像される映像に基づいて、路面の形状を算出する路面形状算出手段とを備えたことを特徴とする路面形状認識装置。
  2. 前記請求項1に記載した路面形状認識装置において、
    前記波長域算出手段は、前記照射手段が光を前記路面上に照射していない時に前記撮像手段により撮像される映像に基づいて、外来光を検出して、当該外来光の強度が最も弱い波長域を求めることを特徴とする路面形状認識装置。
  3. 前記請求項2に記載した路面形状認識装置において、
    前記撮像手段は、前記波長域算出手段による外来光の強度が最も弱い波長域の検出と、前記照射制御手段及び前記照射手段による最も弱い波長域に対応する波長を持つ光の選択と照射とを逐次実行しながら前記路面の撮像を行うことを特徴とする路面形状認識装置。
  4. 前記請求項3に記載した路面形状認識装置において、
    前記波長域算出手段は、当該車両の運動に関する情報に基づいて、撮像した映像中で前記照射手段により次回に光を照射する路面領域を予測し、予測した路面領域での外来光の強度が最も弱い波長域を求めることを特徴とする路面形状認識装置。
  5. 前記請求項4に記載した路面形状認識装置において、
    前記照射手段は、前記路面上において、前記複数の波長域の光を、選択的に、複数のスポット光又はスリット光として、照射可能であることを特徴とする路面形状認識装置。
  6. 前記請求項5に記載した路面形状認識装置において、
    前記複数のスポット光又はスリット光の大きさ又は間隔を、当該検出する路面の状態によって変更することを特徴とする路面形状認識装置。
  7. 前記請求項6に記載した路面形状認識装置において、
    前記波長域算出手段は、前記撮像手段と共用されており、かつ、前記路面上の複数の領域からの外来光を選択的に透過するフィルタを備えていることを特徴とする路面形状認識装置。
  8. 前記請求項7に記載した路面形状認識装置において、
    前記照射制御手段は、前記路面上の複数の領域を順次スキャンしながら、求められた最も弱い波長域に対応する波長を持つ光を選択して前記照射手段から照射させることを特徴とする路面形状認識装置。
  9. 前記請求項8に記載した路面形状認識装置において、
    前記照射手段は、前記照射制御手段からの制御信号に基づいて順次スキャンしながら光を照射するためのガルバノメータを備えていることを特徴とする路面形状認識装置。
  10. 路面形状を認識しながら当該路面上を自律的に移動することが可能な自律移動装置であって、前記請求項1に記載した路面形状認識装置を備えたことを特徴とする自律移動装置。
JP2012549555A 2010-12-24 2010-12-24 路面形状認識装置及びそれを利用した自律移動装置 Expired - Fee Related JP5449572B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/073400 WO2012086070A1 (ja) 2010-12-24 2010-12-24 路面形状認識装置及びそれを利用した自律移動装置

Publications (2)

Publication Number Publication Date
JP5449572B2 true JP5449572B2 (ja) 2014-03-19
JPWO2012086070A1 JPWO2012086070A1 (ja) 2014-05-22

Family

ID=46313367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012549555A Expired - Fee Related JP5449572B2 (ja) 2010-12-24 2010-12-24 路面形状認識装置及びそれを利用した自律移動装置

Country Status (3)

Country Link
US (1) US20130258108A1 (ja)
JP (1) JP5449572B2 (ja)
WO (1) WO2012086070A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
TWI459170B (zh) * 2012-10-04 2014-11-01 Ind Tech Res Inst 行進控制裝置以及具有該行進控制裝置之自動引導載具
JP6369897B2 (ja) * 2014-08-07 2018-08-08 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
JP6681658B2 (ja) * 2014-10-15 2020-04-15 シャープ株式会社 画像認識処理装置及びプログラム
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
JP2017085414A (ja) 2015-10-29 2017-05-18 Smk株式会社 撮像システム、車両用灯具及び車両
JP6361631B2 (ja) 2015-10-29 2018-07-25 Smk株式会社 車載センサ、車両用灯具及び車両
TWI596361B (zh) * 2015-12-07 2017-08-21 Metal Ind Res And Dev Centre Using structured light sensing barrier reversing warning method
WO2017106875A1 (en) 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
GB201612528D0 (en) * 2016-07-19 2016-08-31 Machines With Vision Ltd Vehicle localisation using the ground or road surface
EP3532863A4 (en) 2016-10-31 2020-06-03 Gerard Dirk Smits FAST SCAN LIDAR WITH DYNAMIC VOXEL PROBE
US10261183B2 (en) 2016-12-27 2019-04-16 Gerard Dirk Smits Systems and methods for machine perception
JP7246322B2 (ja) 2017-05-10 2023-03-27 ジェラルド ディルク スミッツ 走査ミラーシステム及び方法
WO2019079750A1 (en) * 2017-10-19 2019-04-25 Gerard Dirk Smits METHODS AND SYSTEMS FOR NAVIGATING A VEHICLE EQUIPPED WITH A NEW MILITARY MARKER SYSTEM
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
JP7080740B2 (ja) * 2018-06-19 2022-06-06 鹿島建設株式会社 刃口部境界特定装置、及び、ケーソン沈設方法
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
US11373532B2 (en) 2019-02-01 2022-06-28 Hitachi Astemo, Ltd. Pothole detection system
JP7320214B2 (ja) * 2019-02-21 2023-08-03 国立研究開発法人宇宙航空研究開発機構 モニタリング装置及びモニタリング方法
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
KR20220045492A (ko) * 2020-10-05 2022-04-12 현대자동차주식회사 차량의 서스펜션 제어 장치 및 그 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS604135Y2 (ja) * 1980-07-25 1985-02-05 日産自動車株式会社 障害物検知装置
JPH0726847B2 (ja) * 1986-03-18 1995-03-29 株式会社小松製作所 路面性状計測システム
JPH0384404A (ja) * 1989-08-29 1991-04-10 Mitsubishi Electric Corp 非接触式路面凹凸検出装置
CA2166323C (en) * 1993-06-29 1999-03-16 Tetsuya Uno Road surface discriminator and apparatus applying same
JPH10260141A (ja) * 1997-03-18 1998-09-29 Hitachi Denshi Ltd 欠陥検査装置
US20020105423A1 (en) * 2000-12-05 2002-08-08 Rast Rodger H. Reaction advantage anti-collision systems and methods
US20060092401A1 (en) * 2004-10-28 2006-05-04 Troxell John R Actively-illuminating optical sensing system for an automobile
US7937865B2 (en) * 2006-03-08 2011-05-10 Intematix Corporation Light emitting sign and display surface therefor
US7976387B2 (en) * 2006-04-11 2011-07-12 Avago Technologies General Ip (Singapore) Pte. Ltd. Free-standing input device
JP4395150B2 (ja) * 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
US20080074652A1 (en) * 2006-09-15 2008-03-27 Fouquet Julie E Retroreflector-based system and method for detecting intrusion into a restricted area
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system

Also Published As

Publication number Publication date
WO2012086070A1 (ja) 2012-06-28
US20130258108A1 (en) 2013-10-03
JPWO2012086070A1 (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
JP5449572B2 (ja) 路面形状認識装置及びそれを利用した自律移動装置
JP7019636B2 (ja) 映像投射装置
JP6387407B2 (ja) 周辺検知システム
KR102100051B1 (ko) 색 선별 거울을 이용하는 자율 주행 차량용 3d lidar 시스템
KR102656399B1 (ko) 구조화된 광 조명기가 있는 비행-시간 센서
JP7321246B2 (ja) ハイブリッド飛行時間型イメージャモジュール
US20150204977A1 (en) Object detection device and sensing apparatus
JP6363804B2 (ja) 赤外線撮像装置及びその制御方法、並びに車両
US20080088707A1 (en) Image processing apparatus, image processing method, and computer program product
EP3045935A1 (en) Surround sensing system with dome-filter assembly
JP2005077130A (ja) 物体認識装置
JP2008539459A (ja) 雑草地図を構築するための機構
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
JP2009090844A (ja) 照明装置
JP2006322797A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2022517985A (ja) 霧を介した画像強調のための弾道光変調
JP2010052688A (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP7465958B2 (ja) 赤外線検知のためのシステムおよび方法
JP2006323693A (ja) 処理装置、画像処理方法および画像処理プログラム
JP4151571B2 (ja) 車載用障害物検出装置
TWI792512B (zh) 利用多視野之基於視覺的光達系統
JP2004325202A (ja) レーザレーダ装置
JP4723934B2 (ja) 対象物探索装置
WO2021065138A1 (ja) 測距装置および制御方法
WO2021199888A1 (ja) 測距装置を制御する方法および装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees