JP6819996B2 - 交通信号認識方法および交通信号認識装置 - Google Patents
交通信号認識方法および交通信号認識装置 Download PDFInfo
- Publication number
- JP6819996B2 JP6819996B2 JP2016203118A JP2016203118A JP6819996B2 JP 6819996 B2 JP6819996 B2 JP 6819996B2 JP 2016203118 A JP2016203118 A JP 2016203118A JP 2016203118 A JP2016203118 A JP 2016203118A JP 6819996 B2 JP6819996 B2 JP 6819996B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- interest
- traffic
- traffic light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 88
- 238000009826 distribution Methods 0.000 claims description 182
- 238000004364 calculation method Methods 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 37
- 238000010801 machine learning Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 27
- 230000003044 adaptive effect Effects 0.000 description 15
- 230000006872 improvement Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000007251 Prelog reaction Methods 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
自動運転を行う車両は、Lidar(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ミリ波、カメラ、GNSS(Global Navigation Satellite System)およびIMU(Inertial Measurement Unit)などのセンサ情報を統合したシステムを用いて以下の処理をリアルタイムで実施する。
[装置構成]
図3は、本実施の形態における交通信号認識装置の構成の一例を示すブロック図である。
図4は、本実施の形態における交通信号認識方法の一例を示すフローチャートである。
図5は、可視信号機および認識対象信号機の検索を説明するための図である。
図6は、ROIの算出を説明するための図である。
撮影画像中に設定されたROIは、信号機が存在する位置を示している。このROIを用いることで、時刻tおよびピクセル位置(u,v)における認識対象信号機iの存在確率pt,i(u,v)が定義される。対数オッズlt,i(u,v)は、以下の式(9)に示すように確率pt,i(u,v)から算出される。
画像処理部107は、ROI内の画像から、認識対象信号機iの点灯部分に対応する領域(点灯領域)が正確に検出されやすくするために、その点灯領域を強調した画像(すなわちコントラスト更新画像)を作成する。一般的に、撮影画像に映し出された信号機の点灯部分は彩度および明度が高いため、画像処理部107は、この特性を利用してコントラスト更新画像を作成する。
改善SV画像が得られると、信号認識部108は、その改善SV画像において白く強調された領域を、認識対象信号機iの点灯部分が存在する点灯領域としてその改善SV画像から抽出する。そして、信号認識部108は、その点灯領域の画像の色から交通信号を認識する。
信号認識部108は、上述のように適応型コントラスト改善処理の結果である改善SV画像を利用した交通信号の認識を試みる。しかし、認識対象信号機周辺の日照条件によっては点灯部分が明るく見えないために、その認識が適切に行われない場合がある。そこで、信号認識部108は、適応型コントラスト改善処理の結果を利用しても交通信号すなわち点灯色を認識できなかった場合には、機械学習を利用した認識方法によって点灯色を認識する。この機械学習を利用した認識方法では、信号認識部108は、ROIの画像(例えばRGB画像)から認識対象信号機i全体の形状を見つけ出し、その認識対象信号機i全体に含まれる点灯部分の点灯色を認識する。この機械学習を利用した認識方法は、例えば非特許文献(D. Barnes, W. Maddern and I. Posner: Exploiting 3D Semantic Scene Priors for Online Traffic Light Interpretation, Proceedings of the 2015 IEEE IVS, p.573-578, (2015))に記載されているアルゴリズムであって、Haar−like特徴量とAdaboostを用いた識別器を利用する。つまり、そのアルゴリズムでは、ROIの画像から、認識対象信号機i全体の形状に相当する矩形枠を検出し、その矩形枠内の各点灯部分に対応する領域内のHue値に対して二値化処理を行い、Hue値の高い領域の点灯色を認識する。
確率分布算出部106は、認識対象信号機iの状態が認識された場合、その認識に用いられた事前対数オッズ分布を更新し、事後確率分布である事後対数オッズ分布を算出する。
以下、本実施の形態における交通信号認識方法による交通信号の認識精度の評価実験について説明する。この評価実験では、交通信号認識装置100を搭載した車両V10を一般道に沿って走行させ、そのときに交通信号認識装置100によって認識された交通信号を示すデータを収集した。
以上のように、本実施の形態における交通信号認識方法は、道路に設置された信号機の点灯色を交通信号として認識する交通信号認識方法であって、車両V10に搭載されたカメラ101による撮影によって撮影画像を取得する画像取得ステップ(S11)と、車両V10周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに車両V10の状態に基づいて、その複数の信号機の中から、車両V10に対向する第1の信号機を検索する検索ステップ(S12)と、その地図情報、車両V10の状態およびカメラの状態に基づいて、撮影画像の中から、第1の信号機を含む領域を第1の関心領域として算出する関心領域算出ステップ(S13)と、算出された第1の関心領域内の各位置における第1の信号機の存在確率を示す事前確率分布を算出する分布算出ステップ(S14)と、第1の関心領域の画像のコントラストを、その事前確率分布にしたがって更新することによって、コントラスト更新画像を生成するコントラスト更新ステップ(S16)と、そのコントラスト更新画像から特徴点を抽出することによって、第1の関心領域内における第1の信号機の点灯部分の領域を点灯領域として特定する点灯領域特定ステップ(S17)と、特定された点灯領域の色に基づいて、第1の信号機の点灯色を認識する認識ステップ(S18)とを含む。
101 カメラ
102 車両状態検出部
103 地図情報保持部
104 信号機検索部
105 ROI算出部
106 確率分布算出部
107 画像処理部
108 信号認識部
V10 車両
Claims (9)
- 道路に設置された信号機の点灯色を交通信号として認識する交通信号認識方法であって、
車両に搭載されたカメラによる撮影によって撮影画像を取得する画像取得ステップと、
前記車両周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに前記車両の状態に基づいて、前記複数の信号機の中から、前記車両に対向する第1の信号機を検索する検索ステップと、
前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、前記第1の信号機を含む領域を第1の関心領域として算出する関心領域算出ステップと、
算出された前記第1の関心領域内の各位置における前記第1の信号機の存在確率を示す事前確率分布を算出する分布算出ステップと、
前記第1の関心領域の画像のコントラストを、前記事前確率分布にしたがって更新することによって、コントラスト更新画像を生成するコントラスト更新ステップと、
前記コントラスト更新画像から特徴点を抽出することによって、前記第1の関心領域内における前記第1の信号機の点灯部分の領域を点灯領域として特定する点灯領域特定ステップと、
特定された前記点灯領域の色に基づいて、前記第1の信号機の点灯色を認識する認識ステップと
を含む交通信号認識方法。 - 前記事前確率分布は、前記第1の関心領域の中央に近いほど高い存在確率を示す
請求項1に記載の交通信号認識方法。 - 前記コントラスト更新ステップでは、
前記第1の関心領域内の各位置の画素値を、前記事前確率分布によって示される当該位置の存在確率が高いほど、大きな画素値に変更することによって、前記第1の関心領域の画像のコントラストを更新する
請求項1または2に記載の交通信号認識方法。 - 前記検索ステップでは、
前記複数の信号機の中から、前記車両に対向する信号機として、さらに第2の信号機を検索し、
前記関心領域算出ステップでは、
前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、さらに、前記第2の信号機を含む領域を第2の関心領域として算出し、
前記分布算出ステップでは、
認識対象の信号機に対して予め定められた2次元空間内の確率分布を示す第1のテンプレートを、前記第1の関心領域のサイズに調整し、
認識対象外の信号機に対して予め定められた2次元空間内の確率分布を示す第2のテンプレートを、前記第2の関心領域のサイズに調整し、
それぞれサイズ調整された前記第1のテンプレートと前記第2のテンプレートとを、前記第1および第2の関心領域の配置にしたがって加算することによって、前記第1の関心領域内の各位置における確率を示す地図確率分布を算出し、
前記地図確率分布に基づいて前記事前確率分布を算出する
請求項1〜3の何れか1項に記載の交通信号認識方法。 - 前記第1のテンプレートは、2次元空間の水平方向の中央に近いほど高い存在確率を示し、前記第2のテンプレートは、2次元空間の水平方向および垂直方向のそれぞれの中央に近いほど低い存在確率を示す
請求項4に記載の交通信号認識方法。 - 前記交通信号認識方法は、さらに、
前記認識ステップによって前記第1の信号機の点灯色が認識されたときには、前記第1の関心領域内において、特定された前記点灯領域に近いほど高い存在確率を示す観測確率分布を算出し、前記観測確率分布を前記事前確率分布に加算することによって、事後確率分布を算出する事後分布算出ステップを含み、
前記画像取得ステップによって、前記撮影画像に後続する撮影画像である後続画像がさらに取得されたときには、
前記関心領域算出ステップでは、さらに、
前記後続画像から前記第1の関心領域を再び算出し、
前記分布算出ステップでは、さらに、
再び算出された前記第1の関心領域に対して前記地図確率分布を算出し、
前記地図確率分布に前記事後確率分布を加算することによって、前記事前確率分布を更新し、
前記コントラスト更新ステップでは、さらに、
再び算出された前記第1の関心領域に対する前記コントラスト更新画像の生成を、更新された前記事前確率分布にしたがって行う
請求項4または5に記載の交通信号認識方法。 - 前記交通信号認識方法は、さらに、
前記認識ステップにおいて前記第1の信号機の点灯色を認識することができなかったときには、機械学習を利用して前記第1の関心領域の画像から前記第1の信号機の点灯色を認識する再認識ステップを含む
請求項1〜6の何れか1項に記載の交通信号認識方法。 - 前記コントラスト更新ステップでは、
色空間を構成する色相、彩度および明度のうちの、彩度および明度のみによって表現される前記第1の関心領域の画像のコントラストを更新する
請求項1〜7の何れか1項に記載の交通信号認識方法。 - 道路に設置された信号機の点灯色を交通信号として認識する交通信号認識装置であって、
撮影によって撮影画像を取得する、車両に搭載されたカメラと、
前記車両周辺に設置されている複数の信号機の位置および向きを示す地図情報、ならびに前記車両の状態に基づいて、前記複数の信号機の中から、前記車両に対向する第1の信号機を検索する検索部と、
前記地図情報、前記車両の状態および前記カメラの状態に基づいて、前記撮影画像の中から、前記第1の信号機を含む領域を第1の関心領域として算出する関心領域算出部と、
算出された前記第1の関心領域内の各位置における前記第1の信号機の存在確率を示す事前確率分布を算出する確率分布算出部と、
前記第1の関心領域の画像のコントラストを、前記事前確率分布にしたがって更新することによって、コントラスト更新画像を生成する画像処理部と、
前記コントラスト更新画像から特徴点を抽出することによって、前記第1の関心領域内における前記第1の信号機の点灯部分の領域を点灯領域として特定し、特定された前記点灯領域の色に基づいて、前記第1の信号機の点灯色を認識する信号認識部と
を備える交通信号認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016203118A JP6819996B2 (ja) | 2016-10-14 | 2016-10-14 | 交通信号認識方法および交通信号認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016203118A JP6819996B2 (ja) | 2016-10-14 | 2016-10-14 | 交通信号認識方法および交通信号認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018063680A JP2018063680A (ja) | 2018-04-19 |
JP6819996B2 true JP6819996B2 (ja) | 2021-01-27 |
Family
ID=61967825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016203118A Active JP6819996B2 (ja) | 2016-10-14 | 2016-10-14 | 交通信号認識方法および交通信号認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6819996B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11233162B2 (en) | 2017-03-31 | 2022-01-25 | The Boeing Company | Method of processing inconsistencies in solar cell devices and devices formed thereby |
JP7172441B2 (ja) * | 2018-10-25 | 2022-11-16 | トヨタ自動車株式会社 | 進行可能方向検出装置及び進行可能方向検出方法 |
US11544938B2 (en) | 2018-12-21 | 2023-01-03 | Continental Autonomous Mobility US, LLC | Systems and methods for automatic labeling of images for supervised machine learning |
CN112016344A (zh) * | 2019-05-28 | 2020-12-01 | 深圳市商汤科技有限公司 | 信号指示灯的状态检测方法及装置、驾驶控制方法及装置 |
US10990855B2 (en) * | 2019-06-13 | 2021-04-27 | Baidu Usa Llc | Detecting adversarial samples by a vision based perception system |
JP6965325B2 (ja) * | 2019-11-05 | 2021-11-10 | 三菱スペース・ソフトウエア株式会社 | 自動検出システムおよび自動検出プログラム |
JP7459946B2 (ja) | 2020-07-31 | 2024-04-02 | 日本電気株式会社 | 重要領域設定装置、符号化装置、重要領域の設定方法及びプログラム |
GB2602629A (en) * | 2021-01-05 | 2022-07-13 | Nissan Motor Mfg Uk Limited | Traffic light signal detection |
GB2602630A (en) * | 2021-01-05 | 2022-07-13 | Nissan Motor Mfg Uk Limited | Traffic light detection |
CN113469109B (zh) * | 2021-07-16 | 2022-09-13 | 阿波罗智联(北京)科技有限公司 | 交通灯识别结果处理方法、装置、路侧设备及云控平台 |
WO2023188807A1 (ja) * | 2022-03-30 | 2023-10-05 | 住友電気工業株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
CN115984826B (zh) * | 2023-03-02 | 2023-06-09 | 安徽蔚来智驾科技有限公司 | 交通信号灯感知方法、车辆控制方法、设备、介质及车辆 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8831849B2 (en) * | 2012-02-13 | 2014-09-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for traffic signal recognition |
JP6136537B2 (ja) * | 2013-04-26 | 2017-05-31 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体 |
JP6464783B2 (ja) * | 2015-02-04 | 2019-02-06 | 株式会社デンソー | 物体検出装置 |
-
2016
- 2016-10-14 JP JP2016203118A patent/JP6819996B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018063680A (ja) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6819996B2 (ja) | 交通信号認識方法および交通信号認識装置 | |
EP3208635B1 (en) | Vision algorithm performance using low level sensor fusion | |
US10025998B1 (en) | Object detection using candidate object alignment | |
EP2889641B1 (en) | Image processing apparatus, image processing method, program and image processing system | |
US11010622B2 (en) | Infrastructure-free NLoS obstacle detection for autonomous cars | |
JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
CN113243016A (zh) | 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法 | |
Eum et al. | Enhancing light blob detection for intelligent headlight control using lane detection | |
EP2924653A1 (en) | Image processing apparatus and image processing method | |
KR101589814B1 (ko) | 연안에서의 객체 인식 장치 및 그 방법 | |
Gomez et al. | Traffic lights detection and state estimation using hidden markov models | |
US20140002656A1 (en) | Lane departure warning system and lane departure warning method | |
US11200432B2 (en) | Method and apparatus for determining driving information | |
KR101480220B1 (ko) | 객체 인식 장치 및 그 방법 | |
US20140002655A1 (en) | Lane departure warning system and lane departure warning method | |
WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
Romera et al. | A Real-Time Multi-scale Vehicle Detection and Tracking Approach for Smartphones. | |
JPWO2017098709A1 (ja) | 画像認識装置および画像認識方法 | |
CN111507145A (zh) | 嵌入式车载环视系统库位障碍物检测方法、系统及装置 | |
US11657592B2 (en) | Systems and methods for object recognition | |
WO2019085930A1 (zh) | 车辆中双摄像装置的控制方法和装置 | |
US10846546B2 (en) | Traffic signal recognition device | |
WO2016059643A1 (en) | System and method for pedestrian detection | |
Yoneda et al. | Simultaneous state recognition for multiple traffic signals on urban road |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20161111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6819996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |