JP5386538B2 - 環境認識装置 - Google Patents
環境認識装置 Download PDFInfo
- Publication number
- JP5386538B2 JP5386538B2 JP2011107690A JP2011107690A JP5386538B2 JP 5386538 B2 JP5386538 B2 JP 5386538B2 JP 2011107690 A JP2011107690 A JP 2011107690A JP 2011107690 A JP2011107690 A JP 2011107690A JP 5386538 B2 JP5386538 B2 JP 5386538B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- unit
- image
- specific object
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1は、環境認識システム100の接続関係を示したブロック図である。環境認識システム100は、車両1内に設けられた、複数(本実施形態では2つ)の撮像装置110と、画像処理装置120と、環境認識装置130と、車両制御装置140とを含んで構成される。
図3は、環境認識装置130の概略的な機能を示した機能ブロック図である。図3に示すように、環境認識装置130は、I/F部(画像入力部、出力部)150と、照射検出部152と、データ保持部154と、中央制御部(認識部)156とを含んで構成される。
x=CD/2+z・PW・(i−IV) …(数式1)
y=CH+z・PW・(j−JV) …(数式2)
z=KS/dp …(数式3)
ここで、CDは撮像装置110同士の間隔(基線長)であり、PWは1画素当たりの視野角であり、CHは撮像装置110の道路表面からの配置高さであり、IV、JVは車両1の真正面における無限遠点の画像上の座標(画素)であり、KSは距離係数(KS=CD/PW)である。
以下、環境認識装置130の具体的な処理を図9〜図12のフローチャートに基づいて説明する。図9は、画像処理装置120から距離画像(視差情報)126が送信された場合の割込処理に関する全体的な流れを示し、図10〜図12は、その中の個別のサブルーチンを示している。また、ここでは、対象部位として画素を挙げており、輝度画像124や距離画像126の左下隅を原点とし、画像水平方向に1〜600画素、垂直方向に1〜200画素の範囲で当該環境認識方法による処理を遂行する。また、ここでは、対象となる特定物の数を8つと仮定する。
図10を参照すると、ホワイトバランス導出部164は、輝度取得部160が取得した輝度に仮にホワイトバランスを施した場合のホワイトバランス補正値を導出する(S400)。特定物仮決定部170は、対象部位(画素)を特定するための垂直変数jを初期化(「0」を代入)する(S402)。続いて、特定物仮決定部170は、垂直変数jに「1」を加算(インクリメント)すると共に水平変数iを初期化(「0」を代入)する(S404)。次に、特定物仮決定部170は、水平変数iに「1」を加算し、特定物変数mを初期化(「0」を代入)する(S406)。ここで、水平変数iや垂直変数jを設けているのは、600×200の画素全てに対して当該特定物マップ生成処理を実行するためであり、特定物変数mを設けているのは、画素毎に8つの特定物を順次比較するためである。
図11を参照すると、グループ化部172は、対象部位をグループ化するための所定範囲を参照し(S450)、対象部位(画素)を特定するための垂直変数jを初期化(「0」を代入)する(S452)。続いて、グループ化部172は、垂直変数jに「1」を加算すると共に水平変数iを初期化(「0」を代入)する(S454)。次に、グループ化部172は、水平変数iに「1」を加算する(S456)。
図12を参照すると、特定物決定部174は、グループを特定するためのグループ変数kを初期化(「0」を代入)する(S500)。続いて、特定物決定部174は、グループ変数kに「1」を加算する(S502)。
122 …検出領域
124 …輝度画像
126 …距離画像
130 …環境認識装置
154 …データ保持部
160 …輝度取得部
162 …透過度導出部
164 …ホワイトバランス導出部
166 …補正輝度導出部
168 …位置情報取得部
170 …特定物仮決定部
172 …グループ化部
174 …特定物決定部
176 …パターンマッチング部
200 …特定物テーブル
202 …輝度範囲
220 …特定物マップ
Claims (6)
- 輝度の範囲と特定光源とを対応付けて保持するデータ保持部と、
検出領域内に存在する対象部位の輝度を取得する輝度取得部と、
環境光の強度と、撮像軸を横切る透過体の透過度に基づき、取得された前記輝度を補正して補正輝度を導出する補正輝度導出部と、
前記データ保持部に保持された対応付けに基づいて、前記対象部位の補正輝度から、対象部位に対応する特定光源を抽出する特定物抽出部と、
を備えることを特徴とする環境認識装置。 - 画素毎に輝度を有する輝度画像を取得する画像入力部と、
前記画像入力部で取得した前記輝度画像の輝度に基づき特定光源を認識する認識部と、
前記認識部からの光源認識結果を出力する出力部と、
を備え、
前記認識部は、環境光の強度と、撮像軸を横切る透過体の透過度に基づいて前記取得した輝度を補正し、補正した補正輝度に基づいて特定光源を認識することを特徴とする環境認識装置。 - 前記環境光の強度と前記透過体の透過度に基づいて算出した色補正強度が所定閾値以上であれば、取得された前記輝度を補正し、前記補正輝度でもって特定光源を抽出するとともに、前記色補正強度が所定閾値未満である場合は取得した前記輝度を補正せず取得した輝度でもって特定光源を抽出することを特徴とする請求項1または2に記載の環境認識装置。
- 取得された前記輝度にホワイトバランスを施す場合のホワイトバランス補正値を導出し、前記環境光と前記透過体の透過度と前記ホワイトバランス補正値に基づいて色補正値を算出し、前記取得した輝度を前記色補正値で補正することを特徴とする請求項1から3のいずれか1項に記載の環境認識装置。
- 前記色補正値は、前記環境光と前記透過体の透過度に基づいて算出した色補正強度を前記ホワイトバランス補正値で除算した値であることを特徴とする請求項4に記載の環境認識装置。
- ホワイトバランスを施す前の前記補正輝度に基づき前記特定光源を抽出することを特徴とする請求項1から5のいずれか1項に記載の環境認識装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011107690A JP5386538B2 (ja) | 2011-05-12 | 2011-05-12 | 環境認識装置 |
US13/456,627 US8861787B2 (en) | 2011-05-12 | 2012-04-26 | Environment recognition device and environment recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011107690A JP5386538B2 (ja) | 2011-05-12 | 2011-05-12 | 環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012238241A JP2012238241A (ja) | 2012-12-06 |
JP5386538B2 true JP5386538B2 (ja) | 2014-01-15 |
Family
ID=47141916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011107690A Active JP5386538B2 (ja) | 2011-05-12 | 2011-05-12 | 環境認識装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8861787B2 (ja) |
JP (1) | JP5386538B2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5666538B2 (ja) * | 2012-11-09 | 2015-02-12 | 富士重工業株式会社 | 車外環境認識装置 |
DE102012024661A1 (de) * | 2012-12-17 | 2014-06-18 | Connaught Electronics Ltd. | Verfahren zum Weißabgleich einer Bilddarstellung unter Berücksichtigung von Farbwerten ausschließlich einer Untermenge von Bildpunkten, Kamerasystem und Kraftfahrzeug mit einem Kamerasystem |
DE102013001644A1 (de) * | 2013-01-31 | 2014-07-31 | Connaught Electronics Ltd. | Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug |
US9632210B2 (en) | 2013-05-07 | 2017-04-25 | Google Inc. | Methods and systems for detecting weather conditions using vehicle onboard sensors |
US9025140B2 (en) | 2013-05-07 | 2015-05-05 | Google Inc. | Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors |
US8983705B2 (en) | 2013-04-30 | 2015-03-17 | Google Inc. | Methods and systems for detecting weather conditions including fog using vehicle onboard sensors |
US9207323B2 (en) | 2013-04-11 | 2015-12-08 | Google Inc. | Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors |
US10247854B2 (en) | 2013-05-07 | 2019-04-02 | Waymo Llc | Methods and systems for detecting weather conditions using vehicle onboard sensors |
JP5883833B2 (ja) * | 2013-08-05 | 2016-03-15 | 富士重工業株式会社 | 車外環境認識装置 |
US9070023B2 (en) * | 2013-09-23 | 2015-06-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method of alerting a driver that visual perception of pedestrian may be difficult |
CN104021378B (zh) * | 2014-06-07 | 2017-06-30 | 北京联合大学 | 基于时空关联与先验知识的交通信号灯实时识别方法 |
US9424475B1 (en) | 2014-09-17 | 2016-08-23 | Google Inc. | Construction object detection |
US9305224B1 (en) * | 2014-09-29 | 2016-04-05 | Yuan Ze University | Method for instant recognition of traffic lights countdown image |
US10254402B2 (en) * | 2016-02-04 | 2019-04-09 | Goodrich Corporation | Stereo range with lidar correction |
US10380438B2 (en) * | 2017-03-06 | 2019-08-13 | Honda Motor Co., Ltd. | System and method for vehicle control based on red color and green color detection |
US10614326B2 (en) * | 2017-03-06 | 2020-04-07 | Honda Motor Co., Ltd. | System and method for vehicle control based on object and color detection |
JP6627152B2 (ja) * | 2017-09-08 | 2020-01-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP6958279B2 (ja) * | 2017-11-20 | 2021-11-02 | トヨタ自動車株式会社 | 情報処理装置 |
JP7059650B2 (ja) * | 2018-01-25 | 2022-04-26 | 積水ハウス株式会社 | 防水シートの診断方法 |
JP7361482B2 (ja) * | 2019-03-27 | 2023-10-16 | 京セラ株式会社 | 画像処理装置、撮像装置、移動体及び画像処理方法 |
CN111009166B (zh) * | 2019-12-04 | 2021-06-01 | 上海市城市建设设计研究总院(集团)有限公司 | 基于bim和驾驶模拟器的道路三维视距验算方法 |
CN113160771B (zh) * | 2020-01-22 | 2022-09-02 | 苏州佳世达电通有限公司 | 色彩校正辅助模块、显示设备及色彩校正方法 |
CN111507210B (zh) * | 2020-03-31 | 2023-11-21 | 华为技术有限公司 | 交通信号灯的识别方法、系统、计算设备和智能车 |
US11729371B2 (en) * | 2020-10-14 | 2023-08-15 | Ford Global Technologies, Llc | Systems and methods for improved camera color calibration |
CN113132699B (zh) * | 2021-03-12 | 2022-10-28 | 北京千方科技股份有限公司 | 图像白平衡校正方法、装置、设备和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3349060B2 (ja) | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
JP2000261787A (ja) * | 1999-03-04 | 2000-09-22 | Matsushita Electric Ind Co Ltd | 侵入物体検出方法及び装置 |
JP4635695B2 (ja) * | 2005-04-18 | 2011-02-23 | トヨタ自動車株式会社 | 画像認識装置及び画像認識方法 |
JP4414369B2 (ja) * | 2005-06-03 | 2010-02-10 | 本田技研工業株式会社 | 車両及び路面標示認識装置 |
JP4802769B2 (ja) * | 2006-03-07 | 2011-10-26 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4674572B2 (ja) * | 2006-07-25 | 2011-04-20 | 株式会社デンソー | 調整画像作成装置 |
US8218877B2 (en) * | 2008-12-23 | 2012-07-10 | National Chiao Tung University | Tracking vehicle method by using image processing |
JP5254102B2 (ja) * | 2009-03-24 | 2013-08-07 | 富士重工業株式会社 | 環境認識装置 |
-
2011
- 2011-05-12 JP JP2011107690A patent/JP5386538B2/ja active Active
-
2012
- 2012-04-26 US US13/456,627 patent/US8861787B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8861787B2 (en) | 2014-10-14 |
US20120288145A1 (en) | 2012-11-15 |
JP2012238241A (ja) | 2012-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5386538B2 (ja) | 環境認識装置 | |
JP5272041B2 (ja) | 環境認識装置および環境認識方法 | |
JP5666538B2 (ja) | 車外環境認識装置 | |
JP5537492B2 (ja) | 環境認識装置 | |
US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
JP5272042B2 (ja) | 環境認識装置および環境認識方法 | |
JP5386537B2 (ja) | 環境認識装置 | |
JP5537491B2 (ja) | 環境認識装置 | |
JP2012226689A (ja) | 環境認識装置および環境認識方法 | |
JP5276140B2 (ja) | 環境認識装置および環境認識方法 | |
JP5386539B2 (ja) | 環境認識装置 | |
JP5592308B2 (ja) | 環境認識装置 | |
JP5798011B2 (ja) | 車外環境認識装置 | |
US9542608B2 (en) | Image processing apparatus | |
JP2012243051A (ja) | 環境認識装置および環境認識方法 | |
JP6329438B2 (ja) | 車外環境認識装置 | |
JP6329442B2 (ja) | 車外環境認識装置 | |
JP6273156B2 (ja) | 歩行者認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5386538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |