JPWO2011018999A1 - 障害物検知装置及び方法並びに障害物検知システム - Google Patents

障害物検知装置及び方法並びに障害物検知システム Download PDF

Info

Publication number
JPWO2011018999A1
JPWO2011018999A1 JP2011526748A JP2011526748A JPWO2011018999A1 JP WO2011018999 A1 JPWO2011018999 A1 JP WO2011018999A1 JP 2011526748 A JP2011526748 A JP 2011526748A JP 2011526748 A JP2011526748 A JP 2011526748A JP WO2011018999 A1 JPWO2011018999 A1 JP WO2011018999A1
Authority
JP
Japan
Prior art keywords
obstacle
image
vehicle
pixel
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011526748A
Other languages
English (en)
Other versions
JP5299513B2 (ja
Inventor
高橋　勝彦
勝彦 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011526748A priority Critical patent/JP5299513B2/ja
Publication of JPWO2011018999A1 publication Critical patent/JPWO2011018999A1/ja
Application granted granted Critical
Publication of JP5299513B2 publication Critical patent/JP5299513B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

障害物領域候補点対応付け部は画像中の画素が道路面上の点に対応するものと仮定して、推定した自車移動量及び路面平面及び画像のフローに基づいて２時刻の画像間で画素の対応付けを行う。画素が道路面に映った自車両や周辺の移動物体の影に対応する場合、２画像間の分光画像の画素値の強度比は日向及び日陰における日照の分光特性の比におおよそ一致するはずなので、障害物判定部はこの比が合致する場合には画素を障害物に対応する点と判定せず、合致しない場合のみ障害物に対応する点として判定する。

Description

この発明は、車両に設置された車載カメラを用いて道路面上に存在する障害物を検知する障害物検知装置及び方法、並びにそれを用いた障害物検知システムに関するものである。
１台の移動するカメラが時々刻々取得する動画像からシーンの３次元形状を復元する手法としては、モーションステレオもしくは単眼立体視、Ｓｈａｐｅ ｆｒｏｍ Ｍｏｔｉｏｎ （ＳｆＭ）などと呼ばれる画像処理技術が知られている。この技術を応用して車両に設置された１台の車載カメラ映像から障害物を検知する方法としては、例えば、特許文献１に記載された方法が知られている。
モーションステレオ法は、対象物が静止物体である場合、換言するとシーン全体を剛体とみなせる場合に３次元形状を復元できるが、移動物体に対しては現実には起こり得ないような不正確な３次元位置が算出されてしまう。障害物検知装置においては移動物体は障害物の一種であるため、必ずしも正しい３次元位置が算出されずとも現実には起こり得ないような３次元位置情報が算出された点も障害物に対応するものと判定すればよいが、移動物体によって生じる動く影の処理が問題となる。
図１を用いて道路面に映った移動物体の影が問題となる理由を詳細に説明する。図１は車載カメラ画像２０１に道路面２０２と歩行者２０３及び歩行者の影２０４が映っている例を示す。モーションステレオ法によれば、歩行者２０３及び歩行者の影２０４に対応する画素に対して、現実には起こり得ないような不正確な３次元位置情報が算出される。このような状況において、障害物検知装置が歩行者の影２０４を障害物と判定するのは好ましくない。何故ならば、歩行者の影２０４は必ずしも自車両の進路を妨害しないからである。また、移動中の自車両の影が車載カメラ画像２０１内に映っている場合も同様な問題が生じる。
そのため、障害物検知装置においては移動物体により生じる動く影を障害物に誤判定しないことが望まれている。この課題に適用しうると考えられる従来法として特許文献２、３、４に開示された方法がある。
特許文献２には１枚のカラー（Ｒ，Ｇ，Ｂ）画像に対する影領域判定方法が開示されている。特許文献２の方法では、領域境界画素とその８近傍画素とのＲ，Ｇ，Ｂ値を比較し、Ｒ，Ｇ，Ｂ値の大小関係に基づいて影領域か否かの判定を行う。特許文献２に記載の方法を、障害物検知装置の車載カメラから時々刻々入力される映像に対して適用することにより、移動物体の影に対応する点を障害物と誤判定することを低減できる可能性がある。
特許文献３に開示された方法は実世界上の同一位置から撮影した２枚の画像を比較して画素値が変化した領域に着目し、変化領域の画素濃度が一様であれば影領域と判定する。特許文献４に開示された方法は太陽の位置情報を取得し、自車両によって生じる影の領域を推定して画像上で補正する。
特開２００４-１９８２１１号公報（図３、段落００１４） 特開２００７-２７２２９２号公報（図２） 特開２００４-２００８６４号公報（図４） 特開２００７-３００５５９号公報（図３）
特許文献２乃至４に開示された方法を障害物検知装置に利用しようとすると、それぞれ問題が生じる。まず、特許文献３の技術は、同一位置から撮影された２枚の画像が必要となるため、自車両が移動中の場合には適用できない。特許文献４の方法は自車両の影には適用可能であるが、周辺の移動物体、例えば、周辺の車両や人など動く場合には適用できない。何故ならば、それらの３次元形状を事前にモデル化することは困難だからである。
特許文献２の方法は１枚の画像のみを用いて影領域を検出し補正しようとする技術であり、実際問題として隣接する画素のＲ，Ｇ，Ｂ値を比較するだけで影領域を正しく判定するのは困難であると考えられる。極端な例としては、白い物体に対応する領域と黒い物体に対応する領域が接しているような場合、領域境界において隣接する画素のＲ，Ｇ，Ｂ値の大小関係は、日向と日陰との境界におけるＲ，Ｇ，Ｂ値の大小関係と類似すると考えられる。
このような状況は白い物体と黒い物体の間に限定されるものではなく、Ｒ，Ｇ，Ｂに対応する３種類の波長帯すべてについて一方の物体の反射率がもう一方の物体の反射率よりも高いというのは往々にして起こりうるものである。
更に、障害物検知装置において移動物体による動く影を障害物と誤判定しないという目的からすると、正しく判定する必要がある影領域は道路面上に映った移動物体の影のみでよいが、特許文献２は画面全体に対して適用されるので、必要以上に処理が発生してしまう。
そこで、本発明の典型的（exemplary）な目的は、車両に搭載した車載カメラ画像から障害物を検知する際に、自車両や周辺の移動物体による影を障害物として誤検知することを防止することにある。
本発明の典型的（exemplary）な第１の態様は、車両に搭載された撮像部によって得られる分光画像から自車両周辺の障害物を検知する障害物検知装置であって、
前記撮像部からの画像を記憶する画像記憶部と、
前記画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出するフロー抽出部と、
前記抽出されたフローに基づいて実世界上での自車両の移動量を推定する自車移動量推定部と、
前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定する路面平面推定部と、
一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づける障害物候補点対応付け部と、
前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定する不一致範囲特定部と、
前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する障害物判定部と、
を備えたことを特徴とする障害物検知装置である。
本発明の典型的（exemplary）な第２の態様は、車両に搭載された撮像部によって得られる分光画像から自車両周辺の障害物を検知する障害物検知方法であって、
画像記憶部により前記撮像部からの画像を記憶し、
前記画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出し、
前記抽出されたフローに基づいて実世界上での自車両の移動量を推定し、
前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定し、
一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づけ、
前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定し、
前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する、
ことを特徴とする障害物検知方法である。
本発明の典型的（exemplary）な第３の態様は、本発明に係る障害物検知装置が搭載された車載装置と、前記車載装置との間でデータを送受信する情報センタ装置と、を有する障害物検知システムであって、
前記車載装置は、
現在位置情報を前記情報センタ装置に送信する車載側データ送信部と、
前記情報センタ装置から分光特性データを受信する車載側データ受信部とを有し、
前記情報センタ装置は、
位置情報と時刻に対応して日向及び日陰における日照の分光特性の関係を記憶する詳細日照分光特性データベースと、
前記車載装置の前記車載側データ送信部から現在位置情報を受信するセンタ側データ受信部と、
前記詳細日照分光特性データベースから前記位置情報と現時刻に対応する日向及び日陰における日照の分光特性データを検索する日照分光特性取得部と、
前記日照分光特性取得部で得られた分光特性データを前記車載装置に送信するセンタ側データ送信部と、を有し、
前記障害物判定部は、更に前記車載側データ受信部で受信した分光特性データに基づいて前記障害物候補点が障害物に対応するかどうかの判定を行うことを特徴とする障害物検知システムである。
本発明の典型的（exemplary）な第４の態様は、コンピュータを、
画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出するフロー抽出部と、
前記抽出されたフローに基づいて実世界上での自車両の移動量を推定する自車移動量推定部と、
前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定する路面平面推定部と、
一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づける障害物候補点対応付け部と、
前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定する不一致範囲特定部と、
前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する障害物判定部と、
して機能させるためのプログラムを記憶したコンピュータ読み取り可能な情報記録媒体である。
なお、本願において、「車両」とは、自動二輪車、自動三輪車、自動四輪車を含む自動車、電車などの二輪以上の乗り物を言う。
本発明の典型的（exemplary）な態様によれば、道路面に映った移動物体の影を誤って障害物と検出することを防止することができる。
道路面に映った移動物体の影が問題となる状況の一例を示す図である。 本発明に係る障害物検知装置の第１の実施形態を示すブロック図である。 撮像モジュールの視野の一例を示す図である。 ２時刻の画像上の点と路面平面上の点の位置関係を説明するための図である。 不一致範囲の抽出のされ方と撮像状況との関係を説明するための図である。 図５（ｃ）の場合に観測される部分画像及び不一致範囲を示す図である。 図５（ｄ）の場合に観測される部分画像及び不一致範囲を示す図である。 第１の実施形態の動作を説明するフローチャート図である。 撮像モジュールによる画像の一例を示す図である。 本発明の第２の実施形態を示すブロック図である。 第２の実施形態の動作を説明するフローチャートである。 本発明に係る障害物検知システムの一実施形態を示すブロック図である。 図１２の車載装置の動作を説明するフローチャートである。 図１２の情報センタ内装置の動作を説明するフローチャートである。 本発明に係る障害物検知装置の車載カメラとＥＣＵで構成した場合の実施 形態を示す図である。
次に、本発明を実施するための典型的（exemplary）な実施の形態について図面を参照して詳細に説明する。
（第１の実施形態）
図２は本発明に係る障害物検知装置の第１の実施形態を示すブロック図である。図２に示す障害物検知装置は、分光画像を撮影する撮像モジュール１０１、画像を記憶する画像記憶モジュール１０２、現時刻及び一時刻前に取得された画像から点毎のフロー（移動量）を抽出するフロー抽出モジュール１０３、フロー抽出モジュール１０３からのフローに基づいて自車両の移動量を推定する自車移動量推定モジュール１０４を備えている。撮像モジュール１０１、画像記憶モジュール１０２、フロー抽出モジュール１０３、自車移動量推定モジュール１０４はそれぞれ、撮像部、画像記憶部、フロー抽出部、自車移動量推定部に対応する。
また図２に示す障害物検知装置は、フロー抽出モジュール１０３からのフローと自車移動量推定モジュール１０４で推定された自車移動量に基づいて路面平面を示すパラメータを推定する路面平面推定モジュール１０５、一時刻前の画像中の各画素が実世界上では路面平面に対応するものと仮定し、推定された自車移動量に基づいて現時刻における対応画素を抽出する障害物候補点対応づけモジュール１０６を備えている。路面平面推定モジュール１０５、障害物候補点対応づけモジュール１０６はそれぞれ、路面平面推定部、障害物候補点対応付け部に対応する。
また図２に示す障害物検知装置は、２時刻の画像間で対応付けられた障害物候補点周辺の部分画像の組に対して、分光画像の画素値が異なる範囲を不一致範囲として特定する局所不一致範囲特定モジュール１０７、不一致範囲に対応する部分画像内の画素値を比較することにより、障害物候補点が路面平面上の影に対応する点か、障害物に対応する点かを判定する障害物判定モジュール１０８である。局所不一致範囲特定モジュール１０７、障害物判定モジュール１０８はそれぞれ、不一致範囲特定部、障害物判定部に対応する。
撮像モジュール１０１は分光情報を含む画像を撮影可能なビデオカメラなどの撮像装置から構成され、分光画像を時々刻々撮影し出力する。分光情報を含む画像とは、マルチ分光カメラにより得られるマルチ分光画像でもよいし、通常のカラーカメラによるカラー画像でもよい。
図３は撮像モジュール１０１の視野の画像の一例を示す。撮像モジュール１０１の視野には、自車進行方向の道路面３０１を始めとして、その周辺の物体などが含まれる。周辺の物体としては、静止している障害物３０２や移動している障害物３０３が含まれる。障害物の影３０４が撮像されることもある。撮像モジュール１０１には通常のレンズによる透視投影画像を出力するものでもよいし、駐車支援用バックカメラのような広角もしくは魚眼レンズ画像を出力するものでもよい。
撮像モジュール１０１は撮像した分光画像を時々刻々取得し、画像記憶モジュール１０２に記憶させる。また、マルチ分光カメラを用いる場合には、詳しく後述するように日向と日陰における太陽光の波長特性の違いを検出しやすい波長の情報を含むようにする。
画像記憶モジュール１０２は現時刻及び過去の時刻に撮像モジュール１０１により記憶された分光画像を記憶するモジュールである。但し、記憶に必要な記憶素子容量を一定以下に抑えるために記憶する画像数（フレーム数）を一定以下に制限する。制限方法としては、例えば、自車両が移動しており、撮像モジュールから時々刻々変化する画像が入力されている場合には、より最新の画像から一定フレーム数の画像のみを記憶し、古くなった画像から順次削除してもよい。また、自車両が停車中で画像が変化しない場合には、最新の画像を記憶する代わりに１時刻前に記憶した画像を順次削除してもよい。更に、他の制限方法としては、例えば、車両が一定距離進む毎に画像を記憶し、それ以外の画像はすぐに破棄してもよい。
フロー抽出モジュール１０３は、画像記憶モジュール１０２に新規に記憶された画像と、一時刻前に記憶された画像とを参照して、この間における画素のフロー（移動量）を抽出し、フロー情報を自車移動量推定モジュール１０４に出力する。本処理では、分光画像のすべての分光成分の画素値を参照する必要はなく、例えば、１つの波長に関する画素値を用いるのでもよい。分光成分のフローの具体的抽出方法としては、これまでに各種のものが提案されている。
例えば、非特許文献１などに記載されている狭義のオプティカルフロー抽出技術（勾配法と呼ばれる）を用いることができる。（非特許文献１）太田：“信頼性情報をもったオプティカルフローからの形状復元とその移動物体検出への応用”、電子情報通信学会論文誌（Ｄ−ＩＩ）、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ．１５６２-１５７１(１９９３.８)。
この手法は、着目画素周辺の画素の濃度値を平面で一次近似できるものと仮定し、平面のｘ,ｙ軸方向の勾配量をそれぞれＩｘ、Ｉｙ、２時刻間での着目画素の濃度変化量をＩｔ、着目画素のｘ,ｙ軸方向へのフロー成分ｄｘ,ｄｙとし、これらの間に、
ｄｘ・Ｉｘ＋ｄｙ・Ｉｙ＝Ｉｔ
の関係が成り立つことを利用する方法である。
この式１つだけではｄｘ,ｄｙを一意に定めることはできないので、実際には着目画素の近傍の各画素に対して得られる上式を連立させてフロー（ｄｘ,ｄｙ）を求める。フローは画像中のすべての画素を着目画素としての全点に対して求めてもよいし、一定間隔の画素に対してのみ求めるのでもよい。
また、ＨＡＲＲＩＳのコーナー検出オペレータを用いて求めたコーナー点など特徴的な点に対してのみ求めるのでもよい。更に、２枚の画像のどちらを基準としてフローを求めてもよいが、本実施形態では簡単のため、一時刻前の画像を基準としたフローとして説明する。
また、勾配法以外のフロー抽出方法として、特徴点の対応付け（ブロックマッチング）による方法が知られている。具体的には、例えば、非特許文献２に記載されている方法である。（非特許文献２）“オプティカルフロー”インターネット＜ＵＲＬ： "http://opencv.jp/sample/optical#flow.html" （関数名cvCalcOpticalFlowBM）。
この方法は、２時刻に得られた画像からコーナーのような特徴的な画素をそれぞれ抽出し、各コーナー画素周辺の画像特徴に基づいて類似の画像特徴を有するコーナー画素同士を対応づけして、その位置関係をフローとする方法である。なお、ブロックマッチング法では、互いに対応付けられるコーナー画素の他に、もう一方の時刻の画像から対応するコーナー画素が抽出されないコーナー画素も中間処理結果として抽出される。対応付けができなかった点は後述する障害物候補点対応づけモジュール１０６以降の処理で利用される。
勾配法も用いた場合でも、ブロックマッチング法を用いた場合でも、フローの始点と終点、もしくはフローの始点とフローのｘ,ｙ軸方向成分を組とした形式により、フロー情報を表現することができる。
自車移動量推定モジュール１０４は、フロー抽出モジュール１０３で求めたフロー情報から自車両の動きを推定する。本モジュール１０４も非特許文献３や非特許文献４などに記載された公知の手法を用いて自車両の動きを推定することができる。（非特許文献３）Ｒ． Ｈａｒｔｌｅｙ， ｅｔ． ａｌ， Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ， Ｃａｍｂｒｉｄｇｅ ｕｎｉｖｅｒｓｉｔｙ ｐｒｅｓｓ， ＩＳＢＮ ０-５２１-５４０５１-８。（非特許文献４）Ｒ． Ｈａｒｔｌｅｙ， Ｉｎ Ｄｅｆｅｎｓｅ ｏｆ ｔｈｅ Ｅｉｇｈｔ−Ｐｏｉｎｔ Ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．１９, Ｎｏ．６， ｐｐ．５８０-５９３(１９９７)。
上記文献３、４などによれば、自車両の移動量は以下に示すような３×３の基礎行列Ｆにより表現される。
Figure 2011018999
 ここで、ｔx,ｔy,ｔzはｘ,ｙ,ｚ軸方向への並進ベクトルＴ＝(ｔx,ｔy,ｔz)Tの各成分を表し、
Figure 2011018999
 は３×３の回転ベクトル
Figure 2011018999
 を表す。
本実施形態では一時刻前の画像を基準としているので、基礎行列Ｆは一時刻前から現時刻にかけての自車両の動き量を表す。
路面平面推定モジュール１０５は、自車移動量推定モジュール１０４にて推定した並進ベクトル及び回転ベクトル、及びフロー抽出モジュール１０３にて抽出したフロー情報に基づいて路面平面を表す方程式を推定する。その際、非特許文献３に記載されているＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ法）などの手法を用いて、１つ１つのフローに対して推定した自車両の移動量の条件からフローの始点及び終点が対応する実世界上の点の３次元位置を求めることができるので、より多くの実世界上の点に対して、点との距離が閾値以下になるような３次元平面を求め、これを路面平面とする。また、推定された路面平面との距離が閾値以下になる３次元空間の点を与えるフローの始点及び終点は、いずれも実世界上の路面平面に対応する点であると判断する。
障害物候補点対応付けモジュール１０６は、自車移動量推定モジュール１０４にて推定された並進ベクトル及び回転ベクトル、及び路面平面推定モジュール１０５で推定された路面平面の条件のもとで、一時刻前の画像中の画素を基準として該画素が実世界で路面平面に対応するものと仮定し、現時刻の画像において対応する画素を抽出し対応づけを行う。
フロー抽出モジュール１０３や自車移動量推定モジュール１０４ではフローの始点位置と終点位置を対応づけていたと言えるが、本モジュール以降の処理では、並進ベクトルと回転ベクトル及び路面平面を一意に定めているので、一時刻前の画像中の画素に対して現時刻の画像中の画素を一意に特定することができ、その位置はフローの終点位置とは必ずしも一致しない。
基準とする一時刻前の画像の画素は、具体的には画像に含まれるすべての画素でもよいし、一定間隔毎に抽出した画素のみでもよいし、ＨＡＲＲＩＳのコーナー検出オペレータなどで求めたコーナー画素のみでもよい。また、ブロックマッチングによりフローを抽出した場合であれば、対応点が抽出できなかったコーナー画素を含めてもよい。更に、これらの点の中から自車両移動量及び路面平面と整合するフローを与えない画素のみを対応づけ対象としてもよいし、自車両移動量をある値に仮定した場合にはエピポーラ拘束を満足しない画素のみを対応づけ対象としてもよい。
対応づけ対象を、自車両移動量及び路面平面と整合するフローを与えない画素に限定してもよい理由は、自車両移動量及び路面平面と整合するフローを与える画素は、路面平面に対応する画素であると推定されるため、対象から除外しても差し支えないからである。また、自車両移動量をある値に仮定した場合にエピポーラ拘束を満足しない画素のみに限定してもよい理由は、移動物体やその影は一般にエピポーラ拘束を満たさないためである。
次に、対応する画素の求め方について説明する。図４は２つの時刻の画像上の点と路面平面上の点の位置関係を説明する図である。まず、一時刻前の画像４０１に着目する。画像４０１上の画素４０２をＰ（ｘ0，ｙ0）（但し画像中心を原点とする座標系での画素位置）とし、画素Ｐに対する対応点を以下の要領により求める。撮像モジュール１０１の焦点距離ｆ４０３を単位距離１とし、画像のｘ軸、ｙ軸をｆを単位長さとした新たな座標系（カメラ中心座標系と呼ばれる）で表し、光軸方向をｚ軸とすると、画素Ｐの３次元位置は点Ｐ（ｘ0'，ｙ0'，１）となる。
なお、ｘ0'、ｙ0'はぞれぞれｘ、ｙの値に（撮像素子のピッチ／ｆ）を掛けた値である。この点がカメラ中心座標系でａｘ＋ｂｙ＋ｃｚ＋１＝０（ａ,ｂ,ｃは定数）により表される実世界上の路面平面４０４上の点に対応すると仮定することは、画素４０２が原点４０６と画素４０２を通る直線と路面平面４０４との交点４０７に対応すると考えられることに他ならない。
この時、交点４０７を点Ｐ'とすると、その座標値はＰ'＝（ｓｘ0'，ｓｙ0'，ｓ）（但し、ｓ＝−１／（ａｘ0＋ｂｙ0＋ｃ））である。よって、現時刻の画像４０５において点Ｐ'に対応する点Ｐ"の座標値ｘ"、ｙ"は、
ｘ”＝Ｒ１（Ｉ’−Ｔ）／Ｒ３（Ｉ’−Ｔ）
ｙ”＝Ｒ２（Ｉ’−Ｔ）／Ｒ３（Ｉ’−Ｔ）
となる。
ここで、Ｒｎは回転行列Ｒのｎ行目の行ベクトルを表す。最後にｘ"，ｙ"の値に（撮像素子のピッチ／ｆ）-1をかければ、画像の画素位置４０８（但し画像中心を原点とする座標系での画素位置）に変換できる。
局所不一致範囲特定モジュール１０７は、一時刻前の画像から抽出した点Ｐ及び点Ｐに対する対応点Ｐ”を中心とする部分領域を画素単位に比較し、不一致範囲として求める。部分画像の大きさは予め定めておく。比較の仕方は、画素値の差分が閾値以上の画素を不一致範囲とするのでもよいし、画素値の比が予め定めた範囲内に収まらない画素を不一致範囲とするのでもよい。
比較する画素の選び方は、カラー画像の輝度成分の画素値でもよいし、カラー画像やマルチ分光画像のある１つの波長成分に対する画素値でもよいし、複数の波長成分の値を重み付け加算した値でもよい。また、個々の波長成分毎に比較し、1つ以上の波長成分に対して不一致が見られた画素を不一致範囲としてもよい。
ここで、実世界上の対象物の種類とその不一致範囲の抽出のされ方との関係について図５を参照して説明する。画像上の画素が対応する実世界上の対象物として、
（ｉ）道路面
（ｉｉ）静止障害物
（ｉｉｉ）移動障害物
（ｉｖ）移動障害物による道路面上の影
の４通りが考えられる。
なお、障害物検知では、実世界上の道路面以外はすべて障害物であると定義するものとする。また、静止障害物による影は、ここでは処理の性質上、模様と同一に扱えるので、静止障害物の影は道路面上のものは道路面、障害物上のものは障害物に対応するものとすればよい。
まず、画素４０２が（ｉ）路面平面の点に対応する場合について図５（ａ）を用いて説明する。この場合、上述の障害物候補点対応付けモジュール１０６は画素４０２を路面平面上の点に対応するものと仮定して画素４０８を求めているため、画素４０２及び画素４０８はいずれも実世界上の点５０１に対応し、画素４０２及び画素４０８を中心とする部分画像はほぼ一致するはずである。よって、画素４０２が（ｉ）路面平面の点に対応する場合には不一致範囲は抽出されない。
次に、（ｉｉ）静止障害物に対応する場合について図５（ｂ）を参照して説明する。図５（ｂ）は画像４０１上において、静止障害物５０２の角点５０３に対応する画素として画素４０２が抽出された例を示す。この時、画素４０８は画素４０２が道路面上の点に対応するものと仮定して求められた画素なので、実際には画素４０２と角点５０３を結ぶ直線と路面平面との交点５０４に対応する画素位置に抽出され、図５（ｂ）の状況においては静止障害物５０２上の点５０５に対応する。よって、画素４０２及び画素４０８を中心とする部分画像は当然類似しないので、局所領域の全体もしくは多くの部分が不一致範囲として抽出される。
次に、（ｉｉｉ）移動障害物に対応する場合について図５（ｃ）を参照して説明する。図５（ｃ）は移動障害物として歩行者が一時刻前の位置５０８が現時刻に位置５０９まで移動する場合を示し、歩行者の頭頂部５０６に対応する画素４０２が抽出されている例を示す図である。この場合、静止障害物の場合と同様に画素４０８は実際には道路面上の点５０７に対応する画素である。よって、この場合も画像上の画素４０２及び画素４０８を中心とする部分画像は当然類似しないので、部分画像の全体もしくは多くの部分が不一致範囲として抽出される。
最後に、（ｉｖ）移動障害物による路面平面上の影に対応する場合について図５（ｄ）を参照して説明する。図５（ｄ）は歩行者が位置５０８から位置５０９へ、影が位置５１０から位置５１１まで移動し、一時刻前に歩行者の頭頂部に対応する影の位置に対応する画素４０２が抽出されている例を示す図である。この場合、画素４０８は位置５１０に対応する画素位置に抽出されるので、画素４０２及び画素４０８はいずれも実世界上の点５１０に対応し、部分画像は影の有無の相違を除いて一致するはずである。よって、部分画像のうち日向及び日陰の状態が違っている路面範囲のみが不一致範囲として抽出される。
障害物判定モジュール１０８は、不一致範囲に対応する２時刻の部分画像を比較して障害物候補点が真に障害物に起因する点かを判定する。上述のように、まず、不一致箇所が抽出されなかった場合には、路面平面に対応する点であるとすぐに判断でき、障害物とは判定しない。問題となるのは、不一致箇所が抽出された場合である。その場合、本モジュール１０８は波長情報を含むマルチ分光カメラ画像やカラー画像を用いて障害物候補点が障害物に起因する点か、もしくは移動物体による路面平面上の影に起因する点かを判別する。
図６は図５（ｃ）の場合に観測される部分画像６０１,６０２及び不一致範囲６０３を示す図である。また、図７は図５（ｄ）の場合に観測される部分画像７０１,７０２及び不一致範囲７０３を示す図である。斜線で示す範囲６０４,７０４はいずれも道路面に対応する範囲である。
不一致範囲６０３に対応する部分画像６０１,６０２中の範囲を画素毎に比較すると、一方の画像では歩行者に対応するが、もう一方の画像では道路面に対応するといった画素があったり、或いは同じ歩行者に対応する画素であっても対応する体の位置が相違していたりする。一方、不一致範囲７０３に対応する部分画像７０１,７０２中の範囲を画素毎に比較すると、いずれも同一の道路面に対応し、日向及び日陰の状態のみが相違している。
ここで、波長情報を含むマルチ分光カメラ画像やカラー画像を用いて上記２つの場合を区別する具体的な原理について説明する。光源の波長特性をＳ(λ)、不一致領域内に写っている物体の反射率をＲ(λ)、撮像素子のｎ番目の波長に対する感度をＣｎ(λ)、撮像されるｎ番目の波長の画像の強度をＩｎとすると、
Figure 2011018999
 という関係が成り立つ。
ここで、ｎ番目とは、例えば、カラー画像の場合であれば、青色の波長帯を１番目、緑色の波長帯を２番目、赤色の波長帯を３番目というように順番づけすることをいう。マルチ分光カメラを用いる場合であれば、例えば、波長４００ｎｍ〜７００ｎｍのマルチ分光カメラで５０ｎｍおきに中心強度を持つ波長帯の画像を取得する際に４００ｎｍ付近の波長帯を１番目、４５０ｎｍ付近の波長帯を２番目、…、というように７種類の波長の画像に順序付けすることをいう。もちろん、順番づけはこれと異なってもいっこうに差し支えない。
さて、着目する画素が道路面に映った移動物体の影領域に対応する場合には、２枚の画像間での不一致範囲の画素の強度の違いは上式におけるＳ(λ)の違いにのみ起因し、Ｒ(λ)は一致しているとみなせる。Ｃｎ(λ)はもちろん一致しており、事前に値を知ることもできる。また、道路の舗装材として広く使われているアスファルトやコンクリートなどは、可視光帯において波長にあまりよらない分光反射特性を有するので、Ｒ(λ)の値を一定値と近似することができる。
その際、日向及び日陰における太陽光の分光特性をそれぞれＳsun(λ)、Ｓshade(λ)で表すと、不一致範囲に対応する２つの部分画像の日向及び日陰領域に対するｎ番目の波長に対する画素値の比は、ΣＳsun(λ)×Ｃｎ(λ)とΣＳshade(λ)×Ｃｎ(λ)の比と一致する。
一方、画素が障害物に対応している場合には、上述のように２枚の部分画像は実世界上の異なる物体に対応するので上記の関係にはならない。なお、日向及び日陰における太陽光の分光特性は、Ｂｉｒｄモデルなどのような地上付近における日照（直達光、拡散光成分）の分光特性モデルなどを用いて予測することができる。
そこで、不一致範囲に対応する２つの部分画像のうちの日向を含む画像のｎ番目の波長に関する画素値を、
Figure 2011018999
 日陰を含む画像のｎ番目の波長に関する画素値を、
Figure 2011018999
 とすると、例えば、
Figure 2011018999
 のような判定式により、Ｃ1の値が閾値より大きければ着目画素は障害物に対応し、Ｃ1の値が閾値より小さければ道路面上の動く物体の影に対応すると判定できる。
また、波長毎に比較した結果を重みＷｎで重み付け加算した以下の判定式によりＣ2の値が閾値より大きければ着目画素は障害物に対応し、Ｃ2の値が閾値より小さければ道路面上の動く物体の影に対応すると判定してもよい。重みＷｎは日向と日陰とで強度が異なる波長ほど大きな重みに設定しておく。
Figure 2011018999
 なお、以上の説明ではマルチ波長カメラを想定して波長数ｎを限定せずに説明したが、３つの波長成分からなるカラー画像を用いる場合（即ちｎ＝１,２,３の場合）も全く同様に判定を行うことができる。また、取得する波長の情報すべてを用いる必要は必ずしもなく、日向と日陰とで含有比率が比較的異なる青色系と赤色系を主とした幾つかの波長の情報を用いるだけでもよい。更に、撮像素子に入射する光の量と画素値とが非線形の関係にある場合には非線形特性を考慮して比較を行えばよい。
次に、本実施形態の動作を図２及び図８を用いて説明する。図８は本実施形態の動作を説明するフローチャートである。まず、車載の撮像モジュール１０１は障害物が存在する可能性のある道路周辺の分光画像を時々刻々撮像し、画像記憶モジュール１０２に出力する（ステップＳ８０１）。画像記憶モジュール１０２は撮像された画像を記憶する（ステップＳ８０２）。次に、フロー抽出モジュール１０３は画像記憶モジュール１０２に記憶された一時刻前の画像と現時刻の画像の２枚を参照し、画素のフローを求める（ステップＳ８０３）。
自車移動量推定モジュール１０４は、抽出された画素のフローから自車両の移動量を推定する(ステップＳ８０４)。路面平面推定モジュール１０５は抽出された画素のフロー及び自車両の移動量に基づいて路面平面を表す式を推定する（ステップＳ８０５）。次に、障害物候補点対応付けモジュール１０６は、画素のフロー、自車両の移動量及び路面平面に基づいて一時刻前の画像中の点が実世界の路面平面に対応するものと仮定して現時刻の画像中における対応点を算出する（ステップＳ８０６）。
局所不一致範囲特定モジュール１０７は、２枚の画像中における点をそれぞれ中心とする部分画像を画素毎に比較し、不一致範囲を特定する（ステップＳ８０７）。最後に、障害物判定モジュール１０８は不一致範囲に対応する２枚の分光画像の差分と、日向及び日陰における日照の分光特性の比例関係について検証し、比例関係になければ動的もしくは静的障害物であると判定し、比例関係にあれば画像中の点は道路路面上の動く影に対応し障害物ではないと判定する（ステップＳ８０８）。
本実施形態によれば、移動物体の動く影に対応する画像中の点を誤って障害物と判定しなくなるため、例えば、図９に示すような画像が得られている場合には、静止障害物９０２、歩行者９０３に対応する点は障害物に対応するものとして判定するが、自車両の走行には実際には障害にならない歩行者９０３の影９０４に対応する点は障害物と判定しなくなる。そのため、本実施形態の障害物検知装置を障害物警報装置などに利用する場合には、影９０４を誤って障害物と警報することを防止することができる。なお、図９中に示す×印は、障害物候補点対応づけモジュール１０６以降の処理で判定に用いた画素位置を示す。
以上の実施形態では、自車両の移動量を一時刻前の状態を基準として現時刻の状態への移動量として定義し、障害物候補点対応付けモジュールにおける対応付けでも一時刻前の画像中の点を基準として現時刻の画像における対応点を求めたが、両処理における基準を現時刻の状態及び画像としても全く差し支えない。但し、両処理における基準を統一しない場合には、障害物候補点対応付けモジュール１０６の対応画素の計算式を変更する必要がある。
本発明に係る障害物検知装置は、各モジュールを専用ＩＣ等のハードウエアで構成する。撮像モジュールは撮像のための光学系を含んでいる。例えば、図１５に示すようにネットワークで繋がったＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１５０１と車載カメラ１５０２から構成し、図２に示す撮像モジュール以外のモジュールをソフトウエアで同様な機能を実現することができる。ＥＣＵ１５０１は装置全体の制御を行い、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、信号処理回路、電源回路などから構成されている。
図２に示す撮像モジュール以外のモジュールをソフトウエアで同様な機能は、撮像モジュール１０１の機能を除き、その説明において参照したフローチャートの機能や判定ロジックを実現可能なコンピュータ・プログラムをＥＣＵ１５０１に読み出して実行することにより実現することが可能である。また、ＥＣＵ１５０１で実行する機能をハードウェア化してマイコンを構成することも可能である。更には、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現してもよい。このことは、後述する実施形態でも同様である。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１０は本実施形態の構成を示すブロック図である。図１０では図２と同一部分には同一符号を付している。本実施形態では図２の装置構成に現在の時刻情報を取得する時刻取得モジュール１００１と、時刻と地上付近における太陽光の波長特性（分光特性）との関係を表す日照分光特性データベース１００２を更に具備している。時刻取得モジュール１００１は現時刻取得部に、対応する。
撮像モジュール１０１から障害物対応付けモジュール１０７までは第１の実施形態で説明したものと同一であるので詳しい説明は省略する。時刻取得モジュール１００１は現在の時刻を出力する。地上付近における太陽光の分光特性は、時刻によって変化するため、後述するように時刻情報を利用することにより光源の波長特性をより正確に捉えることができる。
時刻と地上付近における太陽光の分光特性との関係を表す日照分光特性データベース１００２は、時刻と太陽光の波長特性との関係を記憶している。具体的には、例えば、地上付近の太陽光の分光を与えるモデル式であるＢｉｒｄモデルの計算式や定数などを記憶している。もちろん、時刻と地上付近における太陽光の波長特性との関係を表現できる他のモデル表現を利用しても全く問題ない。
障害物判定モジュール１０８は、時刻取得モジュール１００１により取得された時刻情報を日照分光特性データベース１００２に当てはめて、判定処理に利用するための現時刻に対応する日向及び日陰での太陽光の分光特性Ｓsun（λ)、Ｓshade(λ)を取得し、これ用いて判定処理を行う。
次に、本実施形態の動作を図１１に示すフローチャートを用いて説明する。図１１のステップＳ８０１からステップＳ８０７までは図８のステップＳ８０１からステップＳ８０７までの処理と全く同一である。本実施形態では、ステップＳ８０７の次に時刻取得モジュール１００１により時刻情報を取得する（ステップＳ１１０１）。障害物判定モジュール１０８はステップＳ１１０１で取得した時刻情報を日照分光特性データベース１００２に当てはめて日向及び日陰での太陽光の分光特性Ｓsun（λ）、Ｓshade(λ)を取得し、これを用いて先の実施形態の説明と同様に着目している点が移動物体の影領域に対応するのか、障害物に対応するのか判定を行う。
本実施形態によれば、時刻により変化する日向及び日陰での太陽光の分光特性Ｓsun（λ）、Ｓshade(λ)を、現時刻に対応してより正確に求めることができ、障害物判定モジュール１０８の判定精度を向上させることができる。
（第３の実施形態）
次に、本発明に係る障害物検知装置を用いた障害検知システムの一実施形態について説明する。図１２は本発明に係る情報センタ内装置と車載装置からなる障害物検知システムの一実施形態の構成を示すブロック図である。図１２に示すように車載装置２０は図２に示す障害物検知装置１０の装置構成に現在位置を取得する現在位置情報取得モジュール１２０１と、現在位置情報を後述する情報センタ内装置３０に送信する車載側データ送信モジュール１２０２と、情報センタ内装置３０から太陽光の波長特性情報を取得する車載側データ受信モジュール１２０３を更に具備している。
情報センタ内装置３０は、太陽光の分光特性に影響を及ぼす気象条件に関するデータ及び地上の日向日陰における太陽光の分光特性を与えるための計算式及び定数を記憶する詳細日照分光特性データベース１２０４と、車載装置２０から位置情報を受信するセンタ側データ受信モジュール１２０７を具備している。また、車載装置２０から受信した位置情報などに対応する日向及び日陰における太陽光の分光特性を検索する詳細日照分光特性データベース検索モジュール１２０６と、詳細日照分光特性データベース検索モジュール１２０６で検索した分光特性情報を車載装置２０に送信するセンタ側データ送信モジュール１２０５とを具備している。
次に、車載装置２０を詳細に説明する。現在位置情報取得モジュール１２０１はＧＰＳなどを用いて自車両の存在する位置情報を取得する。車載側データ送信モジュール１２０２は現在位置情報取得モジュール１２０１が取得した現在位置情報を自車両を特定できる情報と共に情報センタ内装置に送信する。送信するタイミングは、例えば、一定の時間間隔おきに送信する。これは、太陽光の分光特性は自車両の位置や大気の状態によって影響されるものの、短時間の間に分光特性が大きく変わるような位置や大気の状態の変化はまれであると考えられるからである。
車載側データ受信モジュール１２０３は車載側データ送信モジュール１２０２から現在位置情報を送信した後、情報センタ装置から送られてくる日向及び日陰における太陽光の分光特性データを受信し、障害物検出装置１０の障害物判定モジュール１０８へ出力する。但し、分光特性データをデータ送信後すぐに受信できない場合には、受信待ちとせずに新たなデータが受信されない間は受信待ち中である旨の情報を障害物判定モジュール１０８へ出力し、現時刻における受信処理は終了してもよい。その場合には、次時刻に再度受信を試みるのがよい。撮像モジュール１０１から障害物判定モジュール１０８までの機能は、図２に示す構成による場合と同一である。
次に、情報センタ内装置３０について説明する。詳細日照分光特性データベース１２０４は上述のように太陽光の分光特性に影響を及ぼす気象条件に関するデータ及び地上付近の日向及び日陰における太陽光の分光特性を与えるための計算式及び定数を記憶している。例えば、地上付近における太陽光の分光を与えるモデル式を記憶すると共に、大気の状態を表すパラメータの現在値を様々な位置毎に対応付けて記憶している。モデル式としては、例えば、Ｂｉｒｄモデルなどが知られている。大気の状態を表すパラメータとしては、例えば、波長５００ｎｍにおける大気の混濁度指数やオゾンの厚さ、可降水量などがある。
センタ側データ受信モジュール１２０７は、車載装置から車両の位置情報と車両を特定する情報を受信する。詳細日照分光特性データベース検索モジュール１２０６は、受信した車両の位置情報に最も近い位置に対応付けられている大気の状態を表すパラメータを参照すると共に、詳細日照分光特性データベース検索モジュール１２０６に内在する時計から現時刻を取得する。そして、これらのパラメータを地上付近における太陽光の分光を与えるモデル式に当てはめて、詳細日照分光特性データベース１２０４からデータを送信してきた車両が存在する位置付近の現時刻に対応する日向及び日陰における太陽光の分光特性データを検索する。
センタ側データ送信モジュール１２０５は、詳細日照分光特性データベース検索モジュール１２０６で検索した日向及び日陰における太陽光の分光特性データをセンタ側データ受信モジュール１２０７が受信したデータの送信元の車両へ送信する。
次に、本実施形態の動作を図１３、図１４を用いて説明する。図１３は車載装置２０の動作を示すフローチャート、図１４は情報センタ内装置３０の動作を示すフローチャートである。
まず、車載装置２０の動作を図１３を参照して説明する。現在位置情報取得モジュール１２０１はＧＰＳなどを用いて現在位置を取得する（ステップＳ１３００）。次に、車載側データ送信モジュール１２０２は、前回現在位置情報を情報センタ内装置３０へ送信した時刻から一定時間経過したか否かを確認し（ステップＳ１３０１）、一定時間経過したら現在位置情報を情報センタ内装置３０へ出力する（ステップＳ１３０２）。
車載側データ受信モジュール１２０３は、車載側データ送信モジュール１２０２からデータを送信した後、情報センタ内装置３０から太陽光の分光特性データを受信し、障害物検出装置１０の障害物判定モジュール１０８へ出力する（ステップＳ１３０３）。その際、もし、瞬時に情報センタから太陽光の分光特性データが送られてこない場合には、受信待ちとせずに、受信待ち中である旨の情報を障害物判定モジュール１０８へ出力し、次時刻に再度受信を試みるのでもよい。
続く撮像ステップ（ステップＳ８０１）から障害物判定ステップ（ステップＳ８０８）までは基本的に図８に示すフローチャートの処理と同一である。わずかに異なる点は、障害物判定ステップにて車載側データ受信モジュール１２０３から現時刻に新たに分光特性データを取得した場合には本データを判定処理に利用し、以降も新たな分光特性データを取得するまで本データを用いる。車載側データ受信モジュール１２０３が受信待ちの状態の場合や分光特性データが送られてこない時刻においては、前回受信した分光特性データを用いて判定処理を行う。分光特性データを用いて障害物かどうかを判定する方法は図１０、図１１の説明と同じである。
次に、情報センタ内装置３０の動作について図１４を用いて説明する。センタ側データ受信モジュール１２０７は、車載装置から送信されてきた車両の位置情報及び車両を特定できる情報を受信する（ステップＳ１４０１）。詳細日照分光特性データベース検索モジュール１２０６は、車載装置２０から送信されてきた車両の位置情報及び現時刻を用いて詳細日照分光特性データベース１２０４を検索し、該当する車両位置付近の現時刻に対応する太陽光の分光特性データを検索推定する（ステップＳ１４０２）。センタ側データ送信モジュール１２０５は、詳細日照分光特性データベース検索モジュール１２０６で得られた分光特性データを、受信した情報から特定される車両装置２０へ向けて送信する(ステップＳ１４０３)。
本実施形態によれば、情報センタ内装置３０から現在位置付近の大気の状態も加味した太陽光の分光特性データを取得できるため、障害物判定モジュール１０８の判定処理をより高精度化することができる。
なお、以上の動作説明では、情報センタ内装置３０との情報の送受信ステップ（ステップＳ１３００からステップＳ１３０３まで）の後、基本的な障害物検知ステップ（ステップＳ８０１からステップＳ８０７まで）を実行すると説明したが、これらの２つの処理は基本的に独立なので順番を入れ替えても良い。また、図１０、図１１の実施形態でも現時刻だけでなく車両の位置情報に対応する分光特性データを取得してより高精度に判定処理を行ってもよい。
また、以上の実施形態の障害物検知装置は、専用ＩＣ等のハードウェアによって実現されている。しかし、コンピュータをその障害物検知装置として機能させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによって同様な動作を実現できる。また、以上の実施形態の障害物検知方法はハードウェアによって実現されている。しかし、コンピュータにその方法を実行させるためのプログラムをコンピュータがＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体から読み込んで実行することによって同様な動作を実現できる。
以上説明した各実施形態では、障害物領域候補点対応付けモジュールにより画像中の画素が道路面上の点に対応するものと仮定して、推定した自車移動量および路面平面及び画像のフローに基づいて２時刻の画像間で画素の対応付けを行う。画素が道路面に映った自車両や周辺の移動物体の影に対応する場合、２画像間の分光画像の画素値の強度比は日向及び日陰における日照の分光特性の比におおよそ一致しするので、障害物判定モジュールはこの比が合致する場合には該画素を障害物に対応する点と判定せずに、合致しない場合のみ障害物に対応する点として判定する。
このようにして、モーションステレオ法に基づく障害物検知装置において道路面に映った移動物体の影を誤って障害物と検出することを防止することができる。何故ならば、画素が実世界上で路面平面に対応するものと仮定して、モーションステレオ法で推定した自車両の移動量に基づき２時刻に得られた画像の画素同士を対応づけた場合、路面平面に映った移動物体の影に対応する画素の周辺では、障害物に対応する画素の周辺とは異なり、日向と日陰の日照の分光特性の相違に起因する画素値の相違が観測されることに着目し、移動物体の影に対応する画素と障害物に対応する画素とを区別する手段を導入しているためである。
以上説明した各実施形態の車両は、自動二輪車、自動三輪車、自動四輪車を含む自動車、電車などの二輪以上の乗り物を言う。
以上、本発明の代表的な実施形態について説明したが、本発明は、本願の請求の範囲によって規定される、その精神または主要な特徴から逸脱することなく、他の種々の形で実施することができる。そのため、前述した各実施形態は単なる例示にすぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって示すものであって、明細書や要約書の記載には拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。
本願は、２００９年８月１２日に出願された特願２００９−１８７２７１号を基礎とする優先権を主張するものである。そして、特願２００９−１８７２７１号に開示された全ての内容は本願の内容に含まれる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下の構成には限られない。
（付記１）
車両に搭載された撮像部によって得られる分光画像から自車両周辺の障害物を検知する障害物検知装置であって、
前記撮像部からの画像を記憶する画像記憶部と、
前記画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出するフロー抽出部と、
前記抽出されたフローに基づいて実世界上での自車両の移動量を推定する自車移動量推定部と、
前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定する路面平面推定部と、
一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づける障害物候補点対応付け部と、
前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定する不一致範囲特定部と、
前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する障害物判定部と、
を備えたことを特徴とする障害物検知装置。
（付記２）
前記障害物候補点対応付け部は、前記自車両移動量及び前記路面平面と整合しないフローを与える画素について対応付けを行うことを特徴とする付記１に記載の障害物検知装置。
（付記３）
前記障害物候補点対応付け部は、前記自車両移動量を仮定した場合に前記フローがエピポーラ拘束を満足しない画素について対応付けを行うことを特徴とする付記１に記載の障害物検知装置。
（付記４）
更に、現在の時刻を取得する現時刻取得部と、時刻と日向及び日陰における日照の分光強度との関係を記憶する日照分光特性データベースとを有し、前記障害物判定部は前記時刻取得部の現時刻に対応する前記日照分光特性データベースの日向及び日陰における日照の分光強度を取得し、その分光特性に基づいて前記障害物候補点が障害物に対応するかどうかの判定を行うことを特徴とする付記１乃至３のいずれかに記載の障害物検知装置。
（付記５）
車両に搭載された撮像部によって得られる分光画像から自車両周辺の障害物を検知する障害物検知方法であって、
画像記憶部により前記撮像部からの画像を記憶し、
前記画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出し、
前記抽出されたフローに基づいて実世界上での自車両の移動量を推定し、
前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定し、
一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づけ、
前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定し、
前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する、
ことを特徴とする障害物検知方法。
（付記６）
前記２時刻の画像上の画素の対応づけは、前記自車両移動量及び前記路面平面と整合しないフローを与える画素について対応付けを行うことを特徴とする付記５に記載の障害物検知方法。
（付記７）
前記２時刻の画像上の画素の対応づけは、前記自車両移動量を仮定した場合に前記フローがエピポーラ拘束を満足しない画素について対応付けを行うことを特徴とする付記５に記載の障害物検知方法。
（付記８）
前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かの判定は、時刻と日向及び日陰における日照の分光強度との関係を表す日照分光特性データベースから、現時刻に対応する日向及び日陰における日照の分光強度を取得し、その分光特性に基づいて前記障害物候補点が障害物に対応するかどうかの判定を行うことを特徴とする付記５乃至７のいずれかに記載の障害物検知方法。
（付記９）
付記１乃至４のいずれかに記載の障害物検知装置が搭載された車載装置と、前記車載装置との間でデータを送受信する情報センタ装置と、を有する障害物検知システムであって、
前記車載装置は、
現在位置情報を前記情報センタ装置に送信する車載側データ送信部と、
前記情報センタ装置から分光特性データを受信する車載側データ受信部とを有し、
前記情報センタ装置は、
位置情報と時刻に対応して日向及び日陰における日照の分光特性の関係を記憶する詳細日照分光特性データベースと、
前記車載装置の前記車載側データ送信部から現在位置情報を受信するセンタ側データ受信部と、
前記詳細日照分光特性データベースから前記位置情報と現時刻に対応する日向及び日陰における日照の分光特性データを検索する日照分光特性取得部と、
前記日照分光特性取得部で得られた分光特性データを前記車載装置に送信するセンタ側データ送信部と、を有し、
前記障害物判定部は、更に前記車載側データ受信部で受信した分光特性データに基づいて前記障害物候補点が障害物に対応するかどうかの判定を行うことを特徴とする障害物検知システム。
（付記１０）
コンピュータを、
画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出するフロー抽出部と、
前記抽出されたフローに基づいて実世界上での自車両の移動量を推定する自車移動量推定部と、
前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定する路面平面推定部と、
一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づける障害物候補点対応付け部と、
前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定する不一致範囲特定部と、
前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する障害物判定部と、
して機能させるためのプログラムを記憶したコンピュータ読み取り可能な情報記録媒体。
１０１ 撮像モジュール
１０２ 画像記憶モジュール
１０３ フロー抽出モジュール
１０４ 自車移動量推定モジュール
１０５ 路面平面推定モジュール
１０６ 障害物候補点対応づけモジュール
１０７ 局所不一致範囲特定モジュール
１０８ 障害物判定モジュール
２０１ 撮像画像
２０２ 道路面
２０３ 歩行者
２０４ 歩行者の影
３０１ 道路面
３０２ 静止している障害物
３０３ 移動している障害物（歩行者）
３０４ 障害物の影
４０１ 一時刻前の画像
４０２ 画像４０１上の画素
４０３ 撮像モジュールの焦点距離ｆ
４０４ 路面平面
４０５ 現時刻の画像
４０６ 原点
４０７ 原点４０６と点４０２を通る直線と路面平面４０４との交点
４０８ 画素４０２に対応する現時刻の画像における画素
５０１ 画素４０２、画素４０８が対応する道路面上の点
５０２ 静止障害物
５０３ 静止障害物の角点
５０４ 画素４０２と角点５０３を結ぶ直線と路面平面との交点
５０５ 静止障害物５０２上の点
５０６ 歩行者の頭頂部
５０７ 画素４０２と画素４０８が実際に対応する道路面上の点
５０８ 一時刻前の歩行者の位置
５０９ 現時刻における歩行者の位置
５１０ 一時刻前の影の位置
５１１ 現時刻における影の位置
６０１ 一時刻前の画像から抽出した部分画像
６０２ 現時刻の画像から抽出した部分画像
６０３ 不一致範囲
６０４ 道路面に対応する範囲
７０１ 一時刻前の画像から抽出した部分画像
７０２ 現時刻の画像から抽出した部分画像
７０３ 不一致範囲
７０４ 道路面に対応する範囲
９０１ 道路面
９０２ 静止障害物
９０３ 歩行者
９０４ 影
１００１ 時刻取得モジュール
１００２ 日照分光特性データベース
１２０１ 現在位置情報取得モジュール
１２０２ 車載側データ送信モジュール
１２０３ 車載側データ受信モジュール
１２０４ 詳細日照分光特性データベース
１２０５ センタ側データ送信モジュール
１２０６ 詳細日照分光特性データベース検索モジュール
１２０７ センタ側データ受信モジュール
１５０１ ＥＣＵ
１５０２ 車載カメラ

Claims (10)

  1. 車両に搭載された撮像部によって得られる分光画像から自車両周辺の障害物を検知する障害物検知装置であって、
    前記撮像部からの画像を記憶する画像記憶部と、
    前記画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出するフロー抽出部と、
    前記抽出されたフローに基づいて実世界上での自車両の移動量を推定する自車移動量推定部と、
    前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定する路面平面推定部と、
    一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づける障害物候補点対応付け部と、
    前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定する不一致範囲特定部と、
    前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する障害物判定部と、
    を備えたことを特徴とする障害物検知装置。
  2. 前記障害物候補点対応付け部は、前記自車両移動量及び前記路面平面と整合しないフローを与える画素について対応付けを行うことを特徴とする請求項１に記載の障害物検知装置。
  3. 前記障害物候補点対応付け部は、前記自車両移動量を仮定した場合に前記フローがエピポーラ拘束を満足しない画素について対応付けを行うことを特徴とする請求項１に記載の障害物検知装置。
  4. 更に、現在の時刻を取得する現時刻取得部と、時刻と日向及び日陰における日照の分光強度との関係を記憶する日照分光特性データベースとを有し、前記障害物判定部は前記時刻取得部の現時刻に対応する前記日照分光特性データベースの日向及び日陰における日照の分光強度を取得し、その分光特性に基づいて前記障害物候補点が障害物に対応するかどうかの判定を行うことを特徴とする請求項１乃至３のいずれか１項に記載の障害物検知装置。
  5. 車両に搭載された撮像部によって得られる分光画像から自車両周辺の障害物を検知する障害物検知方法であって、
    画像記憶部により前記撮像部からの画像を記憶し、
    前記画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出し、
    前記抽出されたフローに基づいて実世界上での自車両の移動量を推定し、
    前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定し、
    一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づけ、
    前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定し、
    前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する、
    ことを特徴とする障害物検知方法。
  6. 前記２時刻の画像上の画素の対応づけは、前記自車両移動量及び前記路面平面と整合しないフローを与える画素について対応付けを行うことを特徴とする請求項５に記載の障害物検知方法。
  7. 前記２時刻の画像上の画素の対応づけは、前記自車両移動量を仮定した場合に前記フローがエピポーラ拘束を満足しない画素について対応付けを行うことを特徴とする請求項５に記載の障害物検知方法。
  8. 前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かの判定は、時刻と日向及び日陰における日照の分光強度との関係を表す日照分光特性データベースから、現時刻に対応する日向及び日陰における日照の分光強度を取得し、その分光特性に基づいて前記障害物候補点が障害物に対応するかどうかの判定を行うことを特徴とする請求項５乃至７のいずれか１項に記載の障害物検知方法。
  9. 請求項１乃至４のいずれか１項に記載の障害物検知装置が搭載された車載装置と、前記車載装置との間でデータを送受信する情報センタ装置と、を有する障害物検知システムであって、
    前記車載装置は、
    現在位置情報を前記情報センタ装置に送信する車載側データ送信部と、
    前記情報センタ装置から分光特性データを受信する車載側データ受信部とを有し、
    前記情報センタ装置は、
    位置情報と時刻に対応して日向及び日陰における日照の分光特性の関係を記憶する詳細日照分光特性データベースと、
    前記車載装置の前記車載側データ送信部から現在位置情報を受信するセンタ側データ受信部と、
    前記詳細日照分光特性データベースから前記位置情報と現時刻に対応する日向及び日陰における日照の分光特性データを検索する日照分光特性取得部と、
    前記日照分光特性取得部で得られた分光特性データを前記車載装置に送信するセンタ側データ送信部と、を有し、
    前記障害物判定部は、更に前記車載側データ受信部で受信した分光特性データに基づいて前記障害物候補点が障害物に対応するかどうかの判定を行うことを特徴とする障害物検知システム。
  10. コンピュータを、
    画像記憶部に異なる２時刻に記憶された画像から画素のフローを抽出するフロー抽出部と、
    前記抽出されたフローに基づいて実世界上での自車両の移動量を推定する自車移動量推定部と、
    前記抽出されたフロー及び前記自車両の移動量に基づいて路面平面の位置を推定する路面平面推定部と、
    一時刻前の画像中の画素を基準として該画素が実世界上で前記路面平面に対応すると仮定し、前記自車両移動量に基づいて現時刻の対応画素を抽出して前記２時刻の画像上の画素を対応づける障害物候補点対応付け部と、
    前記２時刻の画像上の画素間で対応づけられた障害物候補点をそれぞれ中心とする部分画像を画素毎に比較し、画素値が異なる範囲を不一致範囲として特定する不一致範囲特定部と、
    前記不一致範囲に対応する前記２時刻の分光画像の画素値を比較して、前記障害物候補点が前記路面平面上の影に対応する点か、実際の障害物に対応する点かを判定する障害物判定部と、
    して機能させるためのプログラムを記憶したコンピュータ読み取り可能な情報記録媒体。


JP2011526748A 2009-08-12 2010-08-06 障害物検知装置及び方法並びに障害物検知システム Expired - Fee Related JP5299513B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011526748A JP5299513B2 (ja) 2009-08-12 2010-08-06 障害物検知装置及び方法並びに障害物検知システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009187271 2009-08-12
JP2009187271 2009-08-12
JP2011526748A JP5299513B2 (ja) 2009-08-12 2010-08-06 障害物検知装置及び方法並びに障害物検知システム
PCT/JP2010/063389 WO2011018999A1 (ja) 2009-08-12 2010-08-06 障害物検知装置及び方法並びに障害物検知システム

Publications (2)

Publication Number Publication Date
JPWO2011018999A1 true JPWO2011018999A1 (ja) 2013-01-17
JP5299513B2 JP5299513B2 (ja) 2013-09-25

Family

ID=43586176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011526748A Expired - Fee Related JP5299513B2 (ja) 2009-08-12 2010-08-06 障害物検知装置及び方法並びに障害物検知システム

Country Status (3)

Country Link
US (1) US8755634B2 (ja)
JP (1) JP5299513B2 (ja)
WO (1) WO2011018999A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594972B2 (en) * 2010-06-11 2013-11-26 The Johns Hopkins University System and method for tomographic retrieval of parameter profile from traveling path
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
JP6031819B2 (ja) * 2012-05-17 2016-11-24 富士通株式会社 画像処理装置、画像処理方法
US9256791B2 (en) 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
CN105144261B (zh) * 2013-04-12 2018-01-30 丰田自动车株式会社 行驶环境评价系统、行驶环境评价方法、驾驶支援装置以及行驶环境的显示装置
KR101438640B1 (ko) * 2013-09-02 2014-11-03 현대자동차 주식회사 선바이저 제어장치 및 선바이저 제어방법
US10210597B2 (en) 2013-12-19 2019-02-19 Intel Corporation Bowl-shaped imaging system
DE102014204002A1 (de) * 2014-03-05 2015-09-10 Conti Temic Microelectronic Gmbh Verfahren zur Identifikation eines projizierten Symbols auf einer Straße in einem Fahrzeug, Vorrichtung und Fahrzeug
JP6305122B2 (ja) * 2014-03-10 2018-04-04 三菱電機株式会社 冷蔵庫及び冷蔵庫を備えたネットワークシステム
EP2958054B1 (en) 2014-06-18 2024-07-03 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
KR101639264B1 (ko) * 2014-08-13 2016-07-14 건국대학교 산학협력단 무인 단말기 제어 방법 및 장치
US9269162B1 (en) * 2014-08-25 2016-02-23 Raytheon Company Rapid anomaly detection (RAND)
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
JP6720876B2 (ja) * 2014-12-25 2020-07-08 日本電気株式会社 画像処理方法及び画像処理装置
US11094208B2 (en) 2016-09-30 2021-08-17 The Boeing Company Stereo camera system for collision avoidance during aircraft surface operations
US10325163B2 (en) 2016-11-22 2019-06-18 Ford Global Technologies, Llc Vehicle vision
JP6515125B2 (ja) 2017-03-10 2019-05-15 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6497818B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465318B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465317B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6497819B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6593803B2 (ja) 2017-03-10 2019-10-23 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6429413B2 (ja) * 2017-03-10 2018-11-28 株式会社Ｓｕｂａｒｕ 画像表示装置
DE102017206974A1 (de) * 2017-04-26 2018-10-31 Conti Temic Microelectronic Gmbh Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
CN110749323B (zh) * 2019-10-22 2022-03-18 广州极飞科技股份有限公司 一种作业路线的确定方法及装置
JP6949090B2 (ja) * 2019-11-08 2021-10-13 三菱電機株式会社 障害物検知装置及び障害物検知方法
JP7495178B2 (ja) * 2020-04-14 2024-06-04 株式会社Subaru 車両の走行支援装置
CN111612760B (zh) * 2020-05-20 2023-11-17 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法和装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07113974B2 (ja) * 1993-01-06 1995-12-06 日本電気株式会社 移動物体検出方法および装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
JP2001351107A (ja) 2000-06-05 2001-12-21 Mitsubishi Electric Corp 交通監視装置および交通監視方法
EP1220182A3 (en) * 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
US7266220B2 (en) 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3776094B2 (ja) 2002-05-09 2006-05-17 松下電器産業株式会社 監視装置、監視方法および監視用プログラム
JP2004200864A (ja) 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車両周囲監視装置及び車両周囲監視方法
JP2004198211A (ja) 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP3977802B2 (ja) * 2003-12-16 2007-09-19 株式会社東芝 障害物検出装置、障害物検出方法および障害物検出プログラム
JP4253265B2 (ja) 2004-03-08 2009-04-08 株式会社東芝 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
JP4756316B2 (ja) * 2005-03-11 2011-08-24 アイシン精機株式会社 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法
US7593587B1 (en) * 2005-04-12 2009-09-22 The United States Of America As Represented By The Secretary Of The Army Spectral feature generation using high-pass filtering for scene anomaly detection
JP4899424B2 (ja) * 2005-11-04 2012-03-21 トヨタ自動車株式会社 物体検出装置
WO2007083494A1 (ja) * 2006-01-17 2007-07-26 Nec Corporation 図形認識装置、図形認識方法および図形認識プログラム
JP4674179B2 (ja) 2006-03-30 2011-04-20 株式会社デンソーアイティーラボラトリ 影認識方法及び影境界抽出方法
JP2007300559A (ja) 2006-05-02 2007-11-15 Alpine Electronics Inc 車両周辺画像提供装置及び車両周辺画像における影補正方法
JP2008003695A (ja) * 2006-06-20 2008-01-10 Toyota Motor Corp 画像処理装置
JP4930046B2 (ja) 2006-12-26 2012-05-09 日産自動車株式会社 路面判別方法および路面判別装置
WO2010044127A1 (ja) 2008-10-16 2010-04-22 三菱電機株式会社 車外障害物高度検出装置

Also Published As

Publication number Publication date
US20120140988A1 (en) 2012-06-07
US8755634B2 (en) 2014-06-17
JP5299513B2 (ja) 2013-09-25
WO2011018999A1 (ja) 2011-02-17

Similar Documents

Publication Publication Date Title
JP5299513B2 (ja) 障害物検知装置及び方法並びに障害物検知システム
US11183067B2 (en) Image generating apparatus, image generating method, and recording medium
US10757395B2 (en) Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
US10909395B2 (en) Object detection apparatus
CN114766003A (zh) 用于利用偏振增强传感器系统和成像系统的系统和方法
JP5664152B2 (ja) 撮像装置、車載用撮像システム及び物体識別装置
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
JP2017528685A (ja) 車両位置の推定
CN106461387B (zh) 立体相机设备和设置有立体相机的车辆
CN105825495A (zh) 物体检测装置和物体检测方法
CN107122770A (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
CN114072699A (zh) 信息处理系统、传感器系统、信息处理方法以及程序
CN112562093A (zh) 目标检测方法、电子介质和计算机存储介质
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
US11782145B1 (en) 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor
CN112669615A (zh) 一种基于摄像头的停车位检测方法和系统
JP2011209896A (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
Dai et al. Multi-spectral visual odometry without explicit stereo matching
JP2010092353A (ja) 画像処理装置及び画像処理方法
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
KR102368262B1 (ko) 다중 관측정보를 이용한 신호등 배치정보 추정 방법
CN113724311B (zh) 深度图获取方法、设备及存储介质
JP2010020557A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130603

R150 Certificate of patent or registration of utility model

Ref document number: 5299513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees