JP6756507B2 - 環境認識装置 - Google Patents

環境認識装置 Download PDF

Info

Publication number
JP6756507B2
JP6756507B2 JP2016074561A JP2016074561A JP6756507B2 JP 6756507 B2 JP6756507 B2 JP 6756507B2 JP 2016074561 A JP2016074561 A JP 2016074561A JP 2016074561 A JP2016074561 A JP 2016074561A JP 6756507 B2 JP6756507 B2 JP 6756507B2
Authority
JP
Japan
Prior art keywords
light spot
light
unit
vehicle
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016074561A
Other languages
English (en)
Other versions
JP2017187858A (ja
Inventor
都 堀田
堀田　　都
宏治 土井
宏治 土井
雅幸 竹村
雅幸 竹村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2016074561A priority Critical patent/JP6756507B2/ja
Priority to PCT/JP2017/010054 priority patent/WO2017169704A1/ja
Priority to EP17774248.3A priority patent/EP3438933B1/en
Publication of JP2017187858A publication Critical patent/JP2017187858A/ja
Application granted granted Critical
Publication of JP6756507B2 publication Critical patent/JP6756507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Description

本発明は、環境認識装置に係り、例えば配光制御向けの環境認識装置に関する。
夜間等の交通安全確保（支援）のため、自車前方の環境に応じてヘッドライトを適切に制御することで、運転者の視界確保を補助する配光制御の重要性が注目されている。この配光制御では、車両前方に先行車および対向車が存在しないときはヘッドライトをハイビームに設定し、先行車または対向車が存在するときはヘッドライトをロービームに設定する。このような配光制御を実現するため、車両前方に搭載した車載カメラを利用して、車両（他車）のライトを検出し、その検出信号に基づき自車のライトをロービームに切り替える技術開発が進められている。
ところで、夜間は、対向車のヘッドライトや先行車のテールライト以外にも、街灯、信号、反射板など、様々なライト（光点や点光源ともいう）が存在する。そのため、これら車両以外のライトと車両のヘッドライト・テールライトを識別することで、車両以外のライトを誤検出し、車両がいない時に自車のヘッドライトをロービームに切り替えてしまうことを防止する技術開発も同時に進められている。しかし、特に遠方のライトについては、通常、1フレームの画像からは車両のライトかそれ以外のライトかの区別がつきにくいといった問題があった。
このような問題に対し、特許文献１には、車載用撮像装置から取得した画像から予め記憶されたパターン形状を用いて対象物候補を抽出し、取得された前記画像が複数に分割された領域毎に異ならせて設定された対象物の変化量予測計算方法と、検出された自車両挙動情報と、前記対象物候補の位置と、に基づいて、抽出された前記対象物候補の変化量予測を計算し、前記対象物の予測位置に基づいて対象物をトラッキングするとともに、その対象物をトラッキングした結果に基づいて、対象物（光点）が路上静止物体か否か判定する従来技術が開示されている。
より詳しくは、前記特許文献１に所載の車載用環境認識装置および車載用環境認識システムは、自車の挙動等を用いて対象物候補（点光源候補）の予測位置を算出し、その予測位置に類似した場所に存在する点光源候補をトラッキングする。この際、路面上の高さを仮定した場合における変化量予測計算の結果と毎フレームごとに類似した場所でトラッキングが成立する場合、その点光源候補は路上静止物体である可能性が高いとして、非移動物体と判定する技術である。
特許５３２０３３１号公報
しかしながら、車両のライトと誤検知するライトには、街灯、信号、標識の反射など、様々な高さのものが存在するため、そのような様々なライトの路面上の高さを仮定して、非移動物体（静止光点）あるいは移動物体（移動光点）を識別することは困難である。
本発明は、前記課題に鑑みてなされたものであって、その目的とするところは、対象となる光点の高さが不明でも、静止光点と移動光点とを識別可能な環境認識装置を提供することにある。
上記する課題を解決するために、本発明に係る環境認識装置は、自車に搭載された撮像装置で複数の時点で撮影された各々の画像から光点を検出する光点検出部と、前記複数の時点で撮影された画像から検出された光点のうち同一と判断される光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断する移動光点判断部と、を備える。
本発明によれば、複数の時点で検出された光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断することで、対象となる光点の高さが不明でも、静止光点と移動光点とを効率的に識別することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る環境認識装置の第一実施形態の内部構成を示すブロック図である。 図１に示す基準作成部の内部構成を示すブロック図である。 カメラで撮影した画像の画面座標系と、その画面座標系を三次元に変換した世界座標系の関係を説明する図である。 図２に示す光点移動量算出部の処理を説明する図であり、画像から特徴点を検出した例を示す図である。 カメラから取得し得る光点の移動量について説明する図である。 画面上で追跡した静止光点の一例を示す図である。 静止光点の画面座標と、その画面座標を世界座標に変換した結果としてのX,Y,Z座標と、世界座標上での移動量の一例を示す図である。 自車移動量を横軸、光点移動量を縦軸として、自車移動量と光点移動量との関係をプロットした例を示す図である。 2種類の光点を追跡し、その光点の世界座標上の移動量と自車移動量との関係をプロットした例を示す図である。 図２に示す光点毎基準格納部に格納される格納データの一例を示す図である。 図１に示す移動光点判断部の処理の流れを示すフロー図である。 図１に示す移動光点判断部の処理が終了した時点（時刻t）の光点毎基準格納部に格納される格納データの状態を示す図である。 図１に示す配光制御部の処理を説明する図であり、時刻tの時点でカメラから撮影した画像の一例を示す図である。 図１に示す配光制御部の処理を説明する図であり、時刻t+1の時点でカメラから撮影した画像の一例を示す図である。 図１に示す配光制御部の処理を説明する図であり、移動光点判断部の処理が終了した時点（時刻t+1）の光点毎基準格納部に格納される格納データの状態を示す図である。 本発明に係る環境認識装置の第二実施形態の内部構成を示すブロック図である。 図１６に示す距離計測信頼度判断部の内部構成を示すブロック図である。 図１７に示す光点位置情報格納部に格納される格納データの一例を示す図である。 図１７に示す光点高さ変動判断部の原理を説明する図である。 図１７に示す光点高さ変動判断部で変動の大きさから信頼度を判断した結果の一例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
なお、以下では、本発明に係る環境認識装置が搭載された車両の配光状態を制御（配光制御、ヘッドライト制御）するために、撮像装置としてのカメラを車両の前方を撮影するように正面に向けて配設して、自車両の前方の対象物（光点、点光源）を検出する場合について説明するが、本発明は、自車両の後方や側方の対象物を検出する場合にも適用できることは当然である。
［第一実施形態］
図１は、本発明に係る環境認識装置の第一実施形態の内部構成を示すブロック図である。
図示するように、環境認識装置1は、基本的に、画像取得部11と、光点検出部12と、自車移動状態取得部13と、基準作成部14と、移動光点判断部15と、配光制御部16とから構成されている。
画像取得部11は、例えば車両の前方に設置したカメラ（単眼カメラ）C1から、当該車両（自車）の前方の画像を定期的に（時系列で）取得する。
光点検出部12は、画像取得部11で取得した画像から、当該画像に含まれる光点の情報を検出する。この光点検出部12では、取得した画像から、適切な閾値で二値化することで高輝度領域を抽出するなどの手段で、光点を検出する。また、本環境認識装置1では、先行車（のテールライト）と対向車（のヘッドライト）を両方を求めるので、高輝度領域のみでなく、カラー画像情報を用いて赤色の領域を抽出することによっても、光点を検出する。
光点検出部12は、抽出した領域について、領域の外接矩形の座標、抽出した領域の高輝度画素の面積、輝度等の情報を求める。また、輝度については、領域全体の平均値、最大値、最小値等の代表値を持たせておく。
自車移動状態取得部13は、自車の走行状態を計測する各種センサから得られる走行状態に関する情報を、単位時間ごとに（定期的に）取得する。ここで取得する情報としては、自車の動いた距離（移動量）を算出することが可能なパラメータであれば、何を用いてもよいが、例えば、車速センサから得られる速度、操舵角センサから得られるハンドルの操舵角、ヨーレートセンサから得られるヨーレート等が挙げられる。
基準作成部14は、光点検出部12で複数の時点で（つまり、複数の時点で撮影された各々の画像から）検出された光点の情報および自車移動状態取得部13で取得された自車の走行状態に関する情報を用いて、検出された光点が地面に対して移動しているか否か（あるいは、検出された光点が地面に対して静止しているか否か）を判断するための基準を作成する。
本実施形態では、画像における画面座標上での光点の移動から、世界座標上での移動量を推定し、その光点の移動量（光点移動量）と自車の移動量（自車移動量）との相対値の平均を基準として作成する（後で詳述）。
移動光点判断部15は、基準作成部14で作成した基準に基づき、光点検出部12で検出された画像中の各々の光点が移動光点（地面に対して移動している光点）であるか静止光点（地面に対して静止している光点）であるかを判断する。
配光制御部16は、移動光点判断部15での判断結果（検出した光点が移動光点であるか静止光点であるか）に基づき、自車のヘッドライトをハイビームにするかロービームにするかの配光制御を決定する。ここでの配光制御は、通常は自車のヘッドライトをハイビームにしておき、先行車のテールライト、対向車のヘッドライトなどが検出された場合には、当該他車両のドライバを幻惑させないように自車のヘッドライトをロービームに切り替える処理である。したがって、配光制御部16は、移動光点判断部15で移動光点と判断した光点が一つでもあれば、配光状態をロービームとする。一方で、移動光点判断部15で移動光点と判断した光点が一つもなければ（言い換えれば、移動光点判断部15で全ての光点が静止光点と判断した場合のみ）、ロービームからハイビームへの切り替えを許可する。
次に、本発明に係る環境認識装置1の特徴部分である、基準作成部14、移動光点判断部15、および配光制御部16について、図２〜図１４を用いてより詳細に説明する。
＜基準作成部＞
前記基準作成部14は、図２に示すように、主に、光点追跡部21と、光点移動量算出部22と、自車移動量算出部23と、光点毎基準格納部24とから構成されている。
光点追跡部21は、光点検出部12によってある時刻t（で撮影された画像）と次の時刻t+1（で撮影された画像）でそれぞれ検出された（画像中の）複数の光点につき、同一の光点をマッチングにより求める。このマッチングには、様々な方法が考えられ、光点の移動軌跡を求めることができれば、いずれの手法を用いてもよいが、例えば、画像取得周期が短い場合には、画像上の位置の最も近い光点をマッチングする方法がある。また、過去の追跡処理により得られる画像上の移動方向と移動距離とにより次時刻の移動位置を予測し、その予測位置に最も近い光点をマッチングする方法もある。また、上記特許文献１に見られるように、自車の移動状態から次時刻の世界座標上での移動量を求め、それを透視変換により画像上の位置に換算することで予測位置を求め、その予測位置に最も近い光点をマッチングする方法もある。
光点移動量算出部22は、光点追跡部21の追跡結果により得られた画面上の光点（同一と判断された光点）の移動軌跡から、その光点の世界座標上の移動量を推定する。
この光点移動量算出部22による光点移動量の推定方法を、図３を用いて説明する。図３の31は車載カメラC1で撮影した画像の画面座標系であり、33の水平方向軸uと、34の垂直方向軸vの二次元座標で表される。図３の32は、31の画面座標系を三次元に変換した世界座標系であり、36の水平方向軸Xと、37の垂直方向軸Yと、38の奥行き方向軸Zで表される。
画面座標系31上のp301で表される点(u1,v1)を、世界座標系32上のp302で表される点（X1,Y1,Z1)に変換する場合、下記の式（１）が成り立つ。
（数１）
Z1=(fy*Y1)/(v1-Vpy)
X1=((u1-Vpx)*Z1)/fx …（１）
但し fx,fy ：焦点距離[pixel]
(Vpx,Vpy)：消失点座標
焦点距離と消失点座標は、カメラの内部パラメータとして一意に求まる値である。式（１）により、時刻毎の画面座標（系）を世界座標（系）に変換することで、高さを仮定した上での移動距離を推定可能である。
式（１）中、点の世界座標上の高さを表すY１は、光点検出部12で検出する画像上の光点の位置からは求まらないが、これは、例えば1など、適当な所定値に仮定して算出する。Y１を仮定して算出する理由については、後で詳述する。
光点移動量算出部22は、光点追跡部21で追跡した光点の画面上の座標から世界座標に変換した後、世界座標上の距離を算出することで、追跡した光点間の移動量を算出する。
図４は、この光点移動量算出部22の処理を説明するための図である。41に示す画面座標系上で、画像上の光点は光点追跡部21によりp401,p402,p403,p404,p405の位置で順に検出されたものとする。なお、これらの位置は異なる時刻の画像でそれぞれ検出されたものであるが、ここでは説明の便宜のために同じ画像上に示している。この画面座標系上での位置を、42に示す世界座標系上での位置へ、上記式（１）を用いて変換した位置がp406,p407,p408,p409,p410となる。それぞれの世界座標上の位置が求まれば、移動量は、光点の前後の位置の座標から求めることができる。
自車移動量算出部23は、自車移動状態取得部3で取得した自車の走行状態に関する情報から、前記光点移動量算出部22で移動量を算出した期間と同期間の自車の移動量を算出する。
この自車移動量の算出方法は、自車移動状態取得部13で取得できる情報の内容に依存するが、ここでは、周期Δt(sec)ごとに車速ν(m/sec)、ヨーレートρ(deg/sec)が取得できるものとする。
周期Δｔ間の移動量Lは、以下の式（２）で求められる。
（数２）
Figure 0006756507
光点移動量算出部22および自車移動量算出部23は、算出した移動量（光点移動量、自車移動量）を、時刻のインデックスと一緒に当該光点移動量算出部22および自車移動量算出部23に格納しておき、時刻で参照できるようにする。
光点毎基準格納部24は、光点移動量算出部22で算出した光点移動量と、自車移動量算出部23で算出した自車移動量とに基づき作成した基準を格納する。
ここで、光点毎基準格納部24に格納される基準の原理とその作成方法について説明する。
図５は、カメラC1から取得し得る光点の移動量について説明するための図であり、走行中の車両に搭載した車載カメラC1で取得した画像を表わしているものとする。図中、51と52は先行車59のテールライトの光点、53は路側に設置された街灯の光点、54は路側の反射板の光点とする。この画像が時刻tに撮影されたとし、次の周期の時刻t+1に撮影された画像上で、51、52、53、54の光点が移動する先（方向及び大きさ）をそれぞれ移動ベクトル55、56、57、58で示している。
時刻tから時刻t+1の間の自車の移動量をLown、先行車59の移動量をL59とすると、ベクトル55の世界座標換算での移動量L55、ベクトル56の世界座標換算での移動量L56、ベクトル57の世界座標換算での移動量L57、ベクトル58の世界座標換算での移動量L58はそれぞれ以下の式（３）で表せる。
（数３）
L55=Lown-L59
L56=Lown-L59
L57=Lown
L58=Lown …（３）
すなわち、静止物である街灯の光点53や反射板の光点54の移動量は、自車の移動量Lownに一致する。それに対し、移動物である先行車のライトの光点51、52の移動量は、自車の移動量Lownに対象物（移動物）の移動量を加算もしくは減算した量になる。
このことから、検出した光点の世界座標上の移動量が実測できれば、光点が移動しているか静止しているかを識別できる。ここで、光点移動量算出部22で計算に用いる式（１）を参照すると、画面座標(u1,v1)を世界座標（X1,Y1,Z1)に変換するためには、世界座標上での高さY1が必要である。ここで、1ショットの画面座標からは光点の高さ情報は得られないため、移動量の絶対値を算出することはできない。
一方、式（１）を参照すると、変換された対象物の高さY1は、世界座標の奥行きZ1を算出する式（式（１）の上段の式）に掛け算で効いてくる値である。そのため、仮に正確な高さが得られなかったとしても、高さを適当な値に仮定して算出した移動量と正確な高さで求めた移動量との比率は一定となる。
図６に、画面（画像）上で追跡した静止光点の一例を示す。説明を簡単にするため、ここでは複数フレームでの光点の位置を同じ画像内にp601〜p607の符号で示している。この静止光点p601〜p607の画面座標と、式（１）でその画面座標を世界座標に変換した結果としてのX,Y,Z座標と、世界座標上での移動量の一例を、図７に示している。
図６に示す光点p601〜p607の符号が図７の列701に対応する。列702，703の画面上の座標に基づき、世界座標のZ,X座標を算出する。図７中、列704，705，706はそれぞれ高さYを0.5として算出したZ,X座標および移動量の換算結果、列707,708,709はそれぞれ高さYを1.0として算出したZ,X座標および移動量の換算結果、列710,711,712はそれぞれ高さYを2.0として算出したZ,X座標および移動量の換算結果である。ここで、焦点距離fx,fyと、消失点座標Vpx,Vpyは一定値で設定した。また、列706、列709、列712の移動量は、連続した時系列の光点のZ座標、X座標から算出した。
図７で算出した移動量に基づき、高さY=1.0を真値とし、算出した移動量がY=1.0のときに実際の光点移動量と一致するとする。この結果、自車移動量を横軸、光点移動量を縦軸として、自車移動量と光点移動量との関係をプロットしたものが図８である。
光点の高さYが1.0の時の光点移動量と自車移動量とのプロットに対する相関式が、L802に示されている。これは一致するため、その相関式（相関直線）の傾き（相関係数）は1となるが、高さYを2.0とした時の相関式L801、高さYを0.5とした時の相関式L803も、相関係数はほぼ1となり、相関がみられる。このことから、画面座標から世界座標への変換時に、高さに真値を設定しなくても、自車移動量との相関は保たれると考えられる。
以上のことから、自車移動量を基準とした光点移動量の比率（あるいは、その逆の、光点移動量を基準とした自車移動量の比率）の変動を見ることで、変動が小さければ、地面に対して静止した静止物（静止光点）（言い換えれば、自車と移動量（反対向きの移動量）の一致する静止物）であり、変動が大きければ、地面に対して移動した移動物（移動光点）（自車と移動量の異なる移動物）と判定できる。
図９には、2種類の光点を追跡し、その光点の世界座標上の移動量と自車移動量との関係をプロットした例を示している。図中、901は光点Aの移動量の自車移動量に対する分布、904は光点Bの移動量の自車移動量に対する分布である。L902は分布901に対する相関式であり、D903は相関式L902に対する分布のばらつきの大きさを示している。L905は分布904に対する相関式であり、D906はL905の相関式に対するばらつきの大きさを示している。この時、光点Aのように相関式に対するばらつきが小さい光点を静止光点、光点Bのように相関式に対するばらつきが大きい光点を移動光点とすることができる。
図２に示される光点毎基準格納部24に格納する基準は、この自車移動量と光点移動量の相関関係を記述するための基準である。このため、光点毎基準格納部24は、以下の式（４）に示すように、時刻毎に光点移動量算出部22で算出した光点移動量を、自車移動量算出部23で算出した同期間の自車移動量で割った比率を、時刻毎に基準として格納する。
（数４）
基準=光点移動量/自車移動量 …（４）
図１０に、光点毎基準格納部24に格納される格納データの一例を示す。列1001は、前記基準を算出した時刻である。列1002は、前記基準を算出する光点を一意に特定するためのIDである。列1003は履歴数であり、当該光点を光点追跡部21で追跡した回数を表わしている。列1004は前記基準であり、上記（４）により当該光点の現時刻で得られた移動量と同期間の自車移動量から算出される。
＜移動光点判断部＞
次に、図１に示す移動光点判断部15は、前述のように、基準作成部14で作成した基準に基づき、光点検出部12で検出された画像中の各々の光点が移動光点であるか静止光点であるかを判断する。
例えば、前記基準作成部14の光点毎基準格納部24に、画像中のある光点の時刻tから時刻t+NまでのN+1時刻（周期）分の基準（光点移動量/自車移動量）Bnが格納されている場合を例にとる。
まず、移動光点判断部15は、以下の式（５）に示すように、同一と判断された光点の基準Bn（Bn:時刻nの基準）について、N+1時刻分の平均値m（以下、基準平均値ということがある）を算出する。
（数５）
Figure 0006756507
次に、移動光点判断部15は、以下の式（６）に示すように、その平均値mに基づき、基準Bnの分散V（以下、基準分散ということがある）を算出する。
（数６）
Figure 0006756507
図９に基づき説明したように、基準の分散Vが小さい時には、901に示すように自車移動量に対する光点の移動量の比率が一定であり、L902の相関直線上に乗る。一方、基準の分散Vが大きい時には、D906の分布に示すように、自車移動量に対する光点の移動量の比率のばらつきが大きく、L905の相関直線上からのばらつきも大きくなる。
この違いを識別するため、予め閾値を設定しておき、基準の分散Vがその閾値未満の場合は、光点を静止光点と判断し、その閾値以上の場合は、光点を移動光点と判定する。
図１１には、前記した移動光点判断部15の処理の流れを示している。この移動光点判断部15による処理の流れを図１０も用いながら順に説明する。ここでは、現在時刻をtとし、静止光点と移動光点とを判別する閾値を0.5として説明する。
まず、S111で、光点カウンタを1に初期化する。
S112で、光点iの基準平均値mを算出する。図１０に示す光点毎基準格納部24から、光点iに関するデータを取り出して平均値を参照する。光点カウンタの初期値は1であるので、列1002の光点IDが“1”のデータを参照する。現在時刻tの光点ID“1”のデータは行1005であり、履歴数は“5”であるので、当該データを含む光点ID“1”のデータを5件、データ行を上から順に参照することでその基準を取得する。図１０に示す例の場合、行1005、1006、1007、1008、1009の5件のデータを光点ID“1”のデータとして取得し、この5件のデータから、平均値m=7.5を算出する。
S113で、光点iの基準分散Vを算出する。S112の平均値算出と同様に、光点ID“1”のデータを取得し、上記式（６）により、S112で算出した平均値mも使って、分散V=3.87を算出する。
S114で、S113で算出した光点iの分散Vを予め定めた閾値と比較する。分散Vがその閾値より小さければ、光点iは静止光点と判断し、S115に進む。分散Vがその閾値以上であれば、光点iは移動光点と判断し、S116に進む。光点ID“1”の場合、分散V=3.87は閾値0.5より大きいため、移動光点と判断してS116に進む。
S115では、静止光点と判断された場合に光点iの移動光点フラグを0とする。
S116では、移動光点と判断された場合に光点iの移動光点フラグを1とする。
S117では、光点カウンタiを1進める。ここでは、光点IDを“2”とする。
S118では、現在時刻tの光点が全て処理済みか否かを判定する。処理済みであれば、当該時刻に存在する光点について全て判断処理が終了したとし、移動光点判断部15の処理を終了する。一方、処理済みでなければ、処理S112に戻り、S112以降の処理も実施する。ここでは、光点IDが“2”であるので、S112に戻り、図１０に示す光点毎基準格納部24から、光点ID“2”のデータである行1010,1011,1012,1013,1014,1015のデータを取得し、平均値算出処理等を実施する。また、同様にして、図１０に示す光点毎基準格納部24から、光点ID“3”のデータである行1016,1017,1018,1019,1020,1021のデータを取得し、平均値算出処理等を実施する。
なお、前記移動光点判断部15での処理結果は、前記基準作成部14の光点毎基準格納部24に、前記基準と一緒に格納される。
前記移動光点判断部15の上記処理が終了した時点の光点毎基準格納部24に格納される格納データの状態を、図１２に示している。図１０に示したものに対し、列1205に光点毎の分散、列1206に閾値判定処理後の移動光点フラグを追加している。
この処理により、移動光点判断部15は、現在時刻に存在する光点の基準の履歴データを参照し、その分散を算出することで、画像中の各光点が移動光点であるか、静止光点であるかを判断できる。
＜配光制御部＞
そして、図１に示す配光制御部16は、前述のように、移動光点判断部15での判断結果（検出した光点が移動光点であるか静止光点であるか）に基づき、自車のヘッドライトの配光状態を決定する。すなわち、移動光点判断部15で移動光点と判断し、移動光点フラグが“1”とされた光点が一つでもあれば、配光状態をロービームとする。一方で、移動光点判断部15で移動光点と判断した光点が一つもなく（言い換えれば、移動光点判断部15で全ての光点が静止光点と判断し）、全ての光点の移動光点フラグが“0”であれば、ロービームからハイビームへの切り替えを許可する。
この配光制御部16の処理を、図１２〜図１５を用いて具体的に説明する。
図１３は、時刻tの時点で車載カメラC1で撮影した画像131とし、この画像131に、車両（対向車）132と反射板135が映っているとする。この画像131中で、検出されている光点が車両132のライトの133、134、反射板134の136とする。これらの光点について、移動光点判断部15で判断した結果を前述の図１２とする。図１３中の光点133は図１２の光点ID“1”の光点であり、図１３中の光点134は図１２の光点ID“2”の光点であり、図１３中の光点136は図１２の光点ID“3”の光点とする。図１２から、時刻tに存在する光点を参照すると、行1207の光点ID“1”の移動光点フラグ、および行1208の光点ID“2”の移動光点フラグが“1”であるため、車両のライトが存在すると判断し、この場合、配光制御部16は、自車の配光状態をロービームに制御する（切り替える）。
また、図１４は、時刻t+1の時点で車載カメラC1で撮影した画像141とし、この画像141中に、反射板142が映っているとする。この画像141中で、検出されている光点が反射板142の143とする。この光点について、移動光点判断部15で判断した結果を反映した光点毎基準格納部24に格納される格納データの状態を図１５に示す。図１４の光点143は図１５の光点ID“3”の光点とする。図１５から、時刻t+1に存在する光点を参照すると、行1501の光点ID“3”の移動光点フラグが“0”であり、この光点は静止光点と判断されているので、この場合、配光制御部16は、自車の配光状態をハイビームに制御する。
このように、配光制御部16では、移動光点判断部15で、画像中に含まれる光点が移動光点であるか静止光点であるかを判断することで、光点が検出されてもそれが移動光点でない（つまり、移動する車両のライトではない）と判断されれば、配光状態をハイビームとし、街灯や反射板などの車両以外の光点を誤検出して配光状態をロービームとする（切り替える）誤制御を防ぐことができる。
なお、上記実施形態では、移動光点の有無を判断して配光状態を切り替える例を説明したが、配光制御部16の判断により自車のハイビーム/ロービームを切り替える判断になった場合、数フレーム切り替えを遅らせる制御を追加しても良い。それにより、瞬間的に移動物体が存在した等の誤検知があった場合に、配光状態が頻繁に切り替わるような誤作動を防ぐことができる。
以上の説明から分かるように、本実施形態の環境認識装置1によれば、複数の時点で検出された光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断することで、対象となる光点の高さが不明でも（つまり、光点の実際の正確な移動量が測定できなくても）、静止光点と移動光点とを効率的に識別することができる。
［第二実施形態］
図１６は、本発明に係る環境認識装置の第二実施形態の内部構成を示すブロック図である。
図１６に示す第二実施形態の環境認識装置2は、図１に示す第一実施形態の環境認識装置1に対し、主に、距離計測部17と距離計測信頼度判断部18とを追加したもの、具体的には、第一実施形態の構成に、カメラ画像に映る光点までの距離を計測できる手段を追加し、その計測した距離の信頼性が高い場合に、基準作成部14で算出する光点移動量を距離計測部17で計測した距離に基づき算出される光点移動量に置き換える構成を追加した点のみが相違しており、その他の構成はほぼ同じである。したがって、第一実施形態と同じ構成には同様の符号を付してその詳細な説明を省略し、以下では、前記相違点についてのみ詳細に説明する。
なお、以下では、複数のカメラからなるステレオカメラを用いて、光点までの距離を計測する場合について説明するが、光点までの距離を計測できれば、如何なる手法を用いても良いことは勿論である。
本実施形態では、各画像取得部11、19が、例えば車両の前方に設置した一対のカメラ（ステレオカメラ）C1、C2から、当該車両（自車）の前方の画像を定期的に（時系列で）取得し、距離計測部17は、ステレオカメラを構成する各カメラC1、C2で撮影した画像から、視差画像を求めることで、その画像に映る光点までの距離を計測する。この視差画像の算出方法は、従来知られた方法であるので詳細は省略するが、左右の画像のマッチング（パターンマッチング）では画像上の特徴を用いるため、画像上で特徴が得にくい夜間等は距離（計測）の精度を得にくい。対象物が近傍であれば距離の精度は高いが、どれくらい近傍であれば距離の精度が高くなるかは、周囲の明るさ等の条件に依存するため、一概に決定することは困難である。
そこで、距離計測信頼度判断部18により、光点までの距離計測の信頼度を計測し、信頼度が高いときのみ、前記距離計測部17により計測した距離による移動量（光点移動量）を算出するとともに、算出された光点移動量を基準作成部14で算出した光点移動量に置き換えて使用する。
詳細には、距離計測信頼度判断部18は、図１７に示すように、主に、光点位置情報取得部171と、光点位置情報格納部172と、光点高さ変動判断部173と、光点移動量算出部174とから構成されている。
光点位置情報取得部171は、前記距離計測部17で計測した、光点の距離（位置）情報を取得する。ここでは、図１に示す光点検出部12で抽出した光点のそれぞれについて、距離計測部17で計測した世界座標での距離（位置座標）（X,Y,Z）を取得する。光点位置情報取得部171は、取得した距離情報を、図２に示す基準作成部14の構成要素である光点毎基準格納部24を参照し、同一光点が同じ光点IDとなるように対応を取って光点位置情報格納部172に格納する。
光点位置情報格納部172は、光点位置情報取得部171で取得した光点の世界座標位置情報を、基準作成部14で追跡した光点IDと対応を取った上で格納するためのものであり、図１８には、その格納データの一例が示されている。図１８に示すデータの、列1801の時刻と列1802の光点IDにより、図１０及び図１２等に示す光点毎基準格納部24に格納されている情報と、同一光点を照合可能である。
光点高さ変動判断部173は、光点位置情報格納部172に格納した、光点の位置情報の変動から、距離計測部17で計測した距離情報の安定度を判断する。
前記光点高さ変動判断部173の原理を図１９を用いて説明する。図中、191は、光点の位置の動きの一例を示す画像を示している。また、p195は時刻t0のときの光点の位置であり、p196は時刻ｔNのときの光点の位置であり、その間の光点位置も図中に示されている。これらは、光点追跡部21（図２参照）で追跡された光点と同一の光点で、本来異なる時刻に画像上で抽出された光点であるが、ここでは説明の便宜上同一画像191上に示している。
前記距離計測部17により、画像191上の光点の位置P195、p196およびその時刻間の光点の世界座標上の位置が取得される。その際、光点の高さYも取得される。ステレオカメラの距離計測精度の信頼性が高ければ、光点高さは、道路が平面で勾配がないと仮定すれば一定と考えられ、また、多少の傾斜があっても、短い観測時刻間ではそれほどステレオカメラで計測する高さは変わらないと考えられる。距離計測信頼度判断部18の光点高さ変動判断部173では、これを利用し、同一光点の高さの変動が小さければ、距離計測部17の距離計測精度が高いとし、距離計測部17で計測した距離を基準作成部14で用いる光点移動量の算出に用いる。図１９中の192のグラフは、横軸を時刻とし、画像191で追跡された光点の時系列の高さの変動を示している。その際、グラフ192中に示す期間T193では、光点の高さの変動が大きく、期間T194では、光点の高さの変動が小さいとすると、期間T193では距離計測の信頼性が低いとし、この期間では距離計測部17で計測した距離は使用しない。また、期間T194では距離計測の信頼性が高いとし、この期間に距離計測部17で計測した距離を使用するものとする。
ここで、光点高さの変動の大きさの判定方法としては、現在時刻を含む過去数フレームの高さの分散を算出し、予め設定した閾値値よりその分散が小さければ、高さの変動は安定しているとし、当該フレームで得られた距離情報は安定しているとして、信頼度フラグ“1”とする。図１８に示すデータにおいて、光点高さ変動判断部173で変動の大きさから信頼度を判断した例が、図２０に示されている。図１８の列1801〜1806に基づき、図２０の列2001に、高さYの変動を表す指標であるY標準偏差が算出されて格納されている。ここでは、列2001のY標準偏差は、例として過去3回分の光点の高さから算出されている。また、高さYの変動を判定する閾値として、本実施形態では、標準偏差が10未満の場合に信頼度が高いとし、10以上の場合に信頼度が低いとする。
図２０に示す列2001で算出したY標準偏差と前記閾値により、各時刻毎の光点の距離計測の信頼度を判定した結果が、列2002に示されている。図２０に示す例で、Y標準偏差が10未満となり、距離計測の信頼度が高いと判断できるのは、行2003に示す時刻tの光点ID“1”の光点と、行2004、行2005に示す時刻tの光点ID“2”の光点と、行2006に示す時刻tの光点ID“3”の光点である。
なお、この実施形態では、説明のために、高さYの標準偏差を算出するデータ数を過去3回、Y標準偏差の閾値を10としたが、必ずしもこれに限られないことは当然である。
図１７に示す光点移動量算出部174は、光点高さ変動判断部173で距離計測の信頼度が高いとされた場合に、距離計測部17で計測した距離を使用して光点（距離計測の信頼度の高い光点）の移動量を算出する。
ここで、光点移動量算出部174は、時刻間の光点の移動量を算出するために、現在と一時刻前との光点の位置を利用する。そのため、現在と一時刻前の光点位置の両方の信頼度フラグが“1”の場合に、距離計測部17で計測した距離を使用して光点の移動量を算出できることになる。図２０に示す例では、行2004、行2005の光点ID“２”のケースで、前記移動量を算出することになる。
光点移動量算出部174は、時刻tの光点移動量Ltを以下の式（７）により求める。
（数７）
Figure 0006756507
光点移動量算出部174は、算出した光点移動量を基準作成部14（特に、図２の光点移動量算出部22）で算出した光点移動量に置き換え、基準作成部14では、この光点移動量算出部174で算出した光点移動量を用いて、以降の基準を算出する。
そして、前述のように、移動光点判断部15では、基準作成部14で作成した基準に基づき、光点検出部12で検出された画像中の各々の光点が移動光点であるか静止光点であるかを判断し、配光制御部16では、移動光点判断部15での判断結果（検出した光点が移動光点であるか静止光点であるか）に基づき、自車のヘッドライトの配光状態を決定する。
このように、本実施形態の環境認識装置2によれば、信頼度が高い距離計測結果を用いることで、静止物（静止光点）と移動物（移動光点）との識別精度をさらに向上できる効果がある。
以上のように、本第一及び第二実施形態の環境認識装置1、2を適用することにより、検出した光点が移動光点であるか静止光点であるかを効率的に識別することができる。また、識別した結果により、移動光点である車両（他車両）のライトが存在すると判断した場合に、自車のヘッドライトを（ハイビームから）ロービームとする配光制御の精度を向上することができる。また、ステレオカメラなどからなる距離を直接計測する手段を用いることができる場合には、検出した光点の高さの変動を見ることで距離計測の信頼度が高いか否かを判定し、距離計測の信頼度の高い場合にのみ移動光点/静止光点の判定にその計測した距離を用いることで、さらに光点の識別精度を向上することが可能となる。
なお、上記第一及び第二実施形態では、移動物判定結果をハイビームとロービームとの切り替えである配光制御に用いる例を説明したが、例えば、ヘッドライトを照射する領域を制御する遮光制御にも同様に用いることが可能である。この遮光制御では、車両（他車両）のライトの存在する領域を検知し、その領域を制御装置に伝送することで、その領域に該当するヘッドライトの照射を制御するようになっている。この場合、移動光点フラグが“1”となった光点の座標を制御装置に伝送することで、その領域へのヘッドライト照射を制限することが可能となる。
なお、本発明は上記した第一及び第二実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1 環境認識装置（第一実施形態）
2 環境認識装置（第二実施形態）
11 画像取得部
12 光点検出部
13 自車移動状態取得部
14 基準作成部
15 移動光点判断部
16 配光制御部
17 距離計測部
18 距離計測信頼度判断部
19 画像取得部
21 光点追跡部
22 光点移動量算出部
23 自車移動量算出部
24 光点毎基準格納部
171 光点位置情報取得部
172 光点位置情報格納部
173 光点高さ変動判断部
174 光点移動量算出部
C1 カメラ
C2 カメラ

Claims (12)

  1. 自車に搭載された撮像装置で複数の時点で撮影された各々の画像から光点を検出する光点検出部と、
    前記複数の時点で撮影された画像から検出された光点のうち同一と判断される光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断する移動光点判断部と、
    前記撮像装置で過去に撮影された画像から検出された光点の位置を用いて、前記光点の位置のばらつきを算出するための基準を作成する基準作成部と、
    自車から前記光点までの距離を計測する距離計測部と、
    前記距離計測の信頼度を判断する距離計測信頼度判断部と、を備え、
    前記基準作成部は、前記撮像装置で過去に撮影された画像から検出された光点の位置を用いて所定期間における前記光点の移動量を算出するとともに、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量とに基づいて前記基準を作成し、
    前記距離計測信頼度判断部は、前記距離計測の信頼度が所定の閾値より高い場合のみ、前記撮像装置で過去に撮影された画像から検出された光点の位置を用いて算出された前記光点の移動量を前記距離計測部で計測された距離に基づき算出される前記光点の移動量に置き換えることを特徴とする環境認識装置。
  2. 請求項１に記載の環境認識装置において、
    前記基準作成部は、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量との相関関係に基づいて前記基準を作成することを特徴とする環境認識装置。
  3. 請求項２に記載の環境認識装置において、
    前記相関関係は、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量とから決定される相関直線によって表わされることを特徴とする環境認識装置。
  4. 請求項２に記載の環境認識装置において、
    前記基準作成部は、前記所定期間における前記光点の移動量と前記所定期間と同期間における自車の移動量との比率から前記基準を作成し、
    前記移動光点判断部は、前記比率のばらつきに基づいて、前記光点が地面に対して移動する光点か否かを判断することを特徴とする環境認識装置。
  5. 請求項１に記載の環境認識装置において、
    前記基準作成部は、前記光点の高さを所定値に設定し、透視変換を用いて前記画像上の前記光点の画面座標から三次元的な世界座標を導出して、前記光点の移動量を算出することを特徴とする環境認識装置。
  6. 請求項１に記載の環境認識装置において、
    自車のヘッドライトの配光状態をハイビームとロービームとで切り替える配光制御部を備えるとともに、
    前記配光制御部は、前記画像から検出された各々の光点の位置のばらつきが所定値以下の場合のみ、前記配光状態のハイビームへの切り替えを許可することを特徴とする環境認識装置。
  7. 請求項１に記載の環境認識装置において、
    前記距離計測信頼度判断部は、前記距離計測部から得られる前記光点の高さに基づいて、前記距離計測の信頼度を算出することを特徴とする環境認識装置。
  8. 請求項７に記載の環境認識装置において、
    前記距離計測信頼度判断部は、前記距離計測部から得られる前記光点の高さ変動に基づいて、前記距離計測の信頼度を算出することを特徴とする環境認識装置。
  9. 請求項１に記載の環境認識装置において、
    前記距離計測部は、前記撮像装置を含む複数の撮像装置から取得される複数の画像から、前記光点までの距離を計測することを特徴とする環境認識装置。
  10. 請求項１に記載の環境認識装置において、
    自車の移動状態に関する情報を取得する自車移動状態取得部を備え、
    前記基準作成部は、前記複数の時点で撮影された画像から検出された光点から同一と判断される光点を追跡し、所定期間における前記光点の移動量を算出するとともに、前記自車移動状態取得部で取得された情報に基づいて前記所定期間と同期間における前記自車の移動量を算出し、前記所定期間における前記光点の移動量と前記所定期間と同期間における前記自車の移動量との相関関係から、前記基準を作成することを特徴とする環境認識装置。
  11. 請求項１に記載の環境認識装置において、
    自車の移動状態に関する情報を取得する自車移動状態取得部を備え、
    前記基準作成部は、前記複数の時点で撮影された画像から検出された光点から同一と判断される光点を追跡し、所定期間における前記光点の移動量を算出するとともに、前記自車移動状態取得部で取得された情報に基づいて前記所定期間と同期間における前記自車の移動量を算出し、前記所定期間における前記光点の移動量と前記所定期間と同期間における前記自車の移動量との相関関係から、前記基準を作成し、
    前記距離計測部は、前記撮像装置を含む複数の撮像装置で撮影された画像から前記光点までの距離を計測し、
    前記距離計測信頼度判断部は、前記距離計測部から得られる前記光点の高さに基づいて前記距離計測の信頼度を判断し、前記距離計測の信頼度が所定の閾値より高い場合のみ、前記基準作成部における前記所定期間における前記光点の移動量を前記距離計測部で計測された前記光点までの距離から算出される前記所定期間における前記光点の移動量に置き換えることを特徴とする環境認識装置。
  12. 自車に搭載された複数の撮像装置で撮影された画像から、地面に対して移動する光点及び／又は地面に対して静止する光点を認識する環境認識装置であって、
    前記複数の撮像装置のうちの一つの撮像装置で複数の時点で撮影された各々の画像から光点を検出する光点検出部と、
    自車の移動状態に関する情報を取得する自車移動状態取得部と、
    前記複数の時点で撮影された画像から検出された光点から同一と判断される光点を追跡し、所定期間における前記光点の移動量を算出するとともに、前記自車移動状態取得部で取得された情報に基づいて前記所定期間と同期間における前記自車の移動量を算出し、前記所定期間における前記光点の移動量と前記所定期間と同期間における前記自車の移動量との相関関係から、前記光点の位置のばらつきを算出するための基準を作成する基準作成部と、
    前記基準から算出される前記光点の位置のばらつきに基づいて、前記光点が地面に対して移動する光点か地面に対して静止する光点かを判断する移動光点判断部と、
    前記複数の撮像装置で撮影された画像から前記光点までの距離を計測する距離計測部と、
    前記距離計測部から得られる前記光点の高さに基づいて前記距離計測の信頼度を判断し、前記距離計測の信頼度が所定の閾値より高い場合のみ、前記基準作成部における前記所定期間における前記光点の移動量を前記距離計測部で計測された前記光点までの距離から算出される前記所定期間における前記光点の移動量に置き換える距離計測信頼度判断部と、を備えることを特徴とする環境認識装置。
JP2016074561A 2016-04-01 2016-04-01 環境認識装置 Active JP6756507B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016074561A JP6756507B2 (ja) 2016-04-01 2016-04-01 環境認識装置
PCT/JP2017/010054 WO2017169704A1 (ja) 2016-04-01 2017-03-14 環境認識装置
EP17774248.3A EP3438933B1 (en) 2016-04-01 2017-03-14 Environment recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016074561A JP6756507B2 (ja) 2016-04-01 2016-04-01 環境認識装置

Publications (2)

Publication Number Publication Date
JP2017187858A JP2017187858A (ja) 2017-10-12
JP6756507B2 true JP6756507B2 (ja) 2020-09-16

Family

ID=59964265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016074561A Active JP6756507B2 (ja) 2016-04-01 2016-04-01 環境認識装置

Country Status (3)

Country Link
EP (1) EP3438933B1 (ja)
JP (1) JP6756507B2 (ja)
WO (1) WO2017169704A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019156087A1 (ja) * 2018-02-07 2021-04-01 株式会社小糸製作所 画像処理装置および車両用灯具

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007076378A (ja) * 2005-09-09 2007-03-29 Nissan Motor Co Ltd 車両用照明装置および照明方法
JP5310235B2 (ja) * 2009-04-27 2013-10-09 株式会社豊田中央研究所 車載用照明制御装置及びプログラム
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
JP5809785B2 (ja) * 2010-07-30 2015-11-11 日立オートモティブシステムズ株式会社 車両用外界認識装置およびそれを用いた配光制御システム
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
JP5643877B2 (ja) * 2013-05-27 2014-12-17 株式会社小糸製作所 車両用前照灯装置
JP5820843B2 (ja) * 2013-05-29 2015-11-24 富士重工業株式会社 周囲環境判定装置
CN104424648B (zh) * 2013-08-20 2018-07-24 株式会社理光 对象跟踪方法和设备

Also Published As

Publication number Publication date
JP2017187858A (ja) 2017-10-12
WO2017169704A1 (ja) 2017-10-05
EP3438933A1 (en) 2019-02-06
EP3438933A4 (en) 2020-04-01
EP3438933B1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
US10984509B2 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
US20200356790A1 (en) Vehicle image verification
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US9047518B2 (en) Method for the detection and tracking of lane markings
CN107667378B (zh) 用于识别和评估路面反射的方法和装置
JP6337961B2 (ja) 信号機認識装置及び信号機認識方法
WO2015163078A1 (ja) 外界認識装置
US10339405B2 (en) Image recognition device and image recognition method
US10325163B2 (en) Vehicle vision
JP2008123462A (ja) 物体検知装置
JP2013225295A5 (ja)
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
KR20130007243A (ko) 차량 카메라를 이용한 전방 충돌 경보 방법 및 시스템
KR102536037B1 (ko) 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
US20160217583A1 (en) Object detection apparatus and object detection method
US20160098605A1 (en) Lane boundary line information acquiring device
EP3403216A1 (en) Systems and methods for augmenting upright object detection
US20180012068A1 (en) Moving object detection device, image processing device, moving object detection method, and integrated circuit
JP2013241065A (ja) 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
JP2018048949A (ja) 物体識別装置
CN108885109A (zh) 用于借助不同路标类型确定至少半自动行驶的车辆的姿势的方法
US20180012368A1 (en) Moving object detection device, image processing device, moving object detection method, and integrated circuit
JP4762830B2 (ja) 周辺監視システム
JP6756507B2 (ja) 環境認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200827

R150 Certificate of patent or registration of utility model

Ref document number: 6756507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350