JP7268497B2 - 信号認識システム - Google Patents
信号認識システム Download PDFInfo
- Publication number
- JP7268497B2 JP7268497B2 JP2019116501A JP2019116501A JP7268497B2 JP 7268497 B2 JP7268497 B2 JP 7268497B2 JP 2019116501 A JP2019116501 A JP 2019116501A JP 2019116501 A JP2019116501 A JP 2019116501A JP 7268497 B2 JP7268497 B2 JP 7268497B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- information
- lighting
- portions
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Description
本発明は、車両に適用され、車両の周囲の信号機の点灯状態を認識する信号認識システムに関する。
特許文献１は、信号機とその状態を検出する方法を開示している。その方法は、まず、車両に搭載されたセンサを用いて対象領域（target area）をスキャンして、対象領域に関する情報（画像）を取得する。ここで、対象領域とは、信号機が存在する典型的な領域である。続いて、その方法は、対象領域情報から信号機を検出し、その信号機の位置を検出する。更に、その方法は、検出した信号機の状態（青、黄、赤、あるいは不明）を、輝度に基づいて判定する。例えば、青の輝度が最も高い場合、検出した信号機の状態は青であると判定される。
特許文献１に開示されている方法によれば、車両に搭載されたセンサを用いることによって、対象領域に関する情報（画像）が取得される。そして、画像解析によって信号機の点灯状態が認識される。しかしながら、画像解析による点灯状態の認識精度には限界がある。
本発明の１つの目的は、車両の周囲の信号機の点灯状態の認識精度を向上させることができる技術を提供することにある。
本発明の１つの観点は、車両に適用される信号認識システムに関連する。
前記信号認識システムは、
１又は複数の記憶装置と、
１又は複数のプロセッサと
を備える。
前記１又は複数の記憶装置には、
前記車両に搭載されたカメラによって撮像され、前記車両の周囲の状況を示す画像を含むカメラ撮像情報と、
複数の灯火部分を有する信号機に関する情報であって、前記複数の灯火部分の間の相対位置関係、及び前記複数の灯火部分の各々の点灯時の外観を示す灯火パターン情報と
が格納される。
前記１又は複数のプロセッサは、
前記カメラ撮像情報に基づいて、前記車両の周囲の対象信号機を検出し、前記対象信号機の複数の検出部分の各々の外観を少なくとも示す信号検出情報を取得し、
前記信号検出情報と前記灯火パターン情報とを比較することによって前記対象信号機の点灯状態を認識する点灯状態認識処理を行い、
前記点灯状態認識処理において、前記１又は複数のプロセッサは、前記対象信号機の前記複数の検出部分の各々の前記外観と整合する前記複数の灯火部分の点灯状態を、前記対象信号機の前記点灯状態として認識する。
前記信号認識システムは、
１又は複数の記憶装置と、
１又は複数のプロセッサと
を備える。
前記１又は複数の記憶装置には、
前記車両に搭載されたカメラによって撮像され、前記車両の周囲の状況を示す画像を含むカメラ撮像情報と、
複数の灯火部分を有する信号機に関する情報であって、前記複数の灯火部分の間の相対位置関係、及び前記複数の灯火部分の各々の点灯時の外観を示す灯火パターン情報と
が格納される。
前記１又は複数のプロセッサは、
前記カメラ撮像情報に基づいて、前記車両の周囲の対象信号機を検出し、前記対象信号機の複数の検出部分の各々の外観を少なくとも示す信号検出情報を取得し、
前記信号検出情報と前記灯火パターン情報とを比較することによって前記対象信号機の点灯状態を認識する点灯状態認識処理を行い、
前記点灯状態認識処理において、前記１又は複数のプロセッサは、前記対象信号機の前記複数の検出部分の各々の前記外観と整合する前記複数の灯火部分の点灯状態を、前記対象信号機の前記点灯状態として認識する。
本発明の１つの観点によれば、信号認識システムは、カメラ撮像情報に基づいて、車両の周囲の対象信号機を検出し、信号検出情報を取得する。信号検出情報は、対象信号機の複数の検出部分の各々の外観を少なくとも示す。
信号認識システムは、対象信号機の点灯状態を認識するために、カメラ撮像情報に基づく信号検出情報だけでなく、カメラ撮像情報から独立した灯火パターン情報も用いる。灯火パターン情報は、信号機の複数の灯火部分の間の相対位置関係、及び複数の灯火部分の各々の点灯時の外観を示す。信号認識システムは、信号検出情報と灯火パターン情報とを比較する。そして、信号認識システムは、対象信号機の複数の検出部分の各々の外観と整合する複数の灯火部分の点灯状態を、対象信号機の点灯状態として認識する。
このように、カメラ撮像情報に基づく信号検出情報とカメラ撮像情報から独立した灯火パターン情報とを比較することによって、対象信号機の点灯状態が認識されるため、認識精度が向上する。更に、その比較においては、対象信号機の単一の検出部分ではなく複数の検出部分が着目される。このことも、認識精度の向上に寄与する。
添付図面を参照して、本発明の実施の形態を説明する。
１．概要
１－１．信号認識システム
図１は、本発明の実施の形態の概要を説明するための概略図である。車両１は、道路上を走行する。道路には信号機（交通信号機）が設置されている。車両１は、信号機の点灯状態（信号表示）に従って走行する。車両１の自動運転を実現するためには、車両１の周囲の信号機の点灯状態を自動的に認識することが望ましい。
１－１．信号認識システム
図１は、本発明の実施の形態の概要を説明するための概略図である。車両１は、道路上を走行する。道路には信号機（交通信号機）が設置されている。車両１は、信号機の点灯状態（信号表示）に従って走行する。車両１の自動運転を実現するためには、車両１の周囲の信号機の点灯状態を自動的に認識することが望ましい。
信号認識システム１０は、車両１に適用され、車両１の周囲の信号機の点灯状態を自動的に認識する。典型的には、信号認識システム１０は、車両１に搭載されている。あるいは、信号認識システム１０は、車両１の外部の外部装置に配置され、信号機の点灯状態をリモートで認識してもよい。あるいは、信号認識システム１０は、車両１と外部装置とに分散的に配置されていてもよい。
信号認識システム１０は、まず、カメラ撮像情報ＩＭＧを取得する。カメラ撮像情報ＩＭＧは、車両１に搭載されたカメラ（撮像装置）２によって得られる情報である。カメラ２は、車両１の周囲の状況を撮像する。典型的には、カメラ２は、車両１の前方の状況を撮像することができるように設置されている。カメラ撮像情報ＩＭＧは、カメラ２によって撮像された画像、すなわち、車両１の周囲の状況を示す画像を含んでいる。
信号認識システム１０は、カメラ撮像情報ＩＭＧに基づいて、車両の周囲の信号機を検出する。カメラ２によって撮像された画像の中から信号機を検出（抽出）する画像解析手法は、周知である。カメラ撮像情報ＩＭＧに基づいて検出された信号機は、以下「対象信号機ＳＸ」と呼ばれる。対象信号機ＳＸのうち検出された部分は、以下「検出部分」と呼ばれる。典型的には、色や形状が異なる複数の検出部分が存在する。
信号検出情報ＤＴＣは、対象信号機ＳＸの検出結果を示す情報である。例えば、信号検出情報ＤＴＣは、対象信号機ＳＸの各検出部分が点灯しているか否かを示す。信号検出情報ＤＴＣは、対象信号機ＳＸの各検出部分の色を示していてもよい。信号検出情報ＤＴＣは、対象信号機ＳＸの各検出部分の形状を示していてもよい。信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の間の相対位置関係を示していてもよい。
信号認識システム１０は、信号検出情報ＤＴＣに基づいて、対象信号機ＳＸの点灯状態（信号表示）を認識することができる。しかしながら、信号検出情報ＤＴＣ“だけ”が用いられる場合、点灯状態の認識精度は必ずしも高くない。何故なら、信号検出情報ＤＴＣの精度自体が必ずしも高くないからである。
例えば、カメラ２の性能が低い場合、信号検出情報ＤＴＣの精度も低くなる。また、信号検出情報ＤＴＣの精度は、カメラ２の性能だけでなく、画像解析の性能によっても変わる。しかしながら、画像解析の性能には限界がある。点灯部分の様々な形状（例：丸、矢印、数字）や様々な点灯パターンを完全に識別するためには、現実的ではない数の学習が必要となる。つまり、画像解析による点灯状態の認識精度には限界がある。
このように、カメラ撮像情報ＩＭＧから得られる信号検出情報ＤＴＣ“だけ”が用いられる場合、対象信号機ＳＸの点灯状態の認識精度は必ずしも十分ではない。そこで、本実施の形態によれば、対象信号機ＳＸの点灯状態の認識精度を向上させるために、信号検出情報ＤＴＣに加えて、カメラ撮像情報ＩＭＧから独立した「灯火パターン情報ＰＡＴ」が用いられる。
１－２．灯火パターン情報
図２は、本実施の形態に係る灯火パターン情報ＰＡＴの一例を説明するための概念図である。一般的に、信号機は、複数の灯火部分を有する。灯火部分とは、点灯及び消灯する部分である。灯火部分としては、電球、ＬＥＤ（Light Emitting Diode）、発光装置、ディスプレイ、等が例示される。以下、信号機は、Ｎ個（Ｎは２以上の整数）の灯火部分を有するとする。
図２は、本実施の形態に係る灯火パターン情報ＰＡＴの一例を説明するための概念図である。一般的に、信号機は、複数の灯火部分を有する。灯火部分とは、点灯及び消灯する部分である。灯火部分としては、電球、ＬＥＤ（Light Emitting Diode）、発光装置、ディスプレイ、等が例示される。以下、信号機は、Ｎ個（Ｎは２以上の整数）の灯火部分を有するとする。
灯火パターン情報ＰＡＴは、信号機のＮ個の灯火部分のパターンを示す。ここでのパターンは、Ｎ個の灯火部分の間の「相対位置関係」、すなわち、Ｎ個の灯火部分の「配置」を含む。更に、パターンは、Ｎ個の灯火部分の各々が点灯したときの「外観」を含む。灯火部分の点灯時の「外観」は、少なくとも「色（青、黄、赤、等）」及び「形状（円、矢印、等）」を含む。
図２に例示される灯火パターン情報ＰＡＴは、６個の灯火部分Ｌ１～Ｌ６を有する信号機に関するものである。灯火部分Ｌ１～Ｌ３は、典型的な円形信号であり、上段において水平方向に配置されている。灯火部分Ｌ４～Ｌ６は、矢印信号であり、下段において水平方向に配置されている。灯火部分Ｌ１～Ｌ３は、左から右に向かってこの順番で一列に配置されている。灯火部分Ｌ４～Ｌ６は、左から右に向かってこの順番で一列に配置されている。よって、灯火部分Ｌ１、Ｌ４は上下方向に隣接しており、灯火部分Ｌ２、Ｌ５は上下方向に隣接しており、灯火部分Ｌ３、Ｌ６は上下方向に隣接している。
灯火部分Ｌ１の点灯時の外観は、青色の円（Green Circle）である。括弧内は英訳である。灯火部分Ｌ２の点灯時の外観は、黄色の円（Yellow Circle）である。灯火部分Ｌ３の点灯時の外観は、赤色の円（Red Circle）である。灯火部分Ｌ４の点灯時の外観は、青色の左矢印（Green Left Arrow）である。灯火部分Ｌ５の点灯時の外観は、青色の上矢印（Green Up Arrow）である。灯火部分Ｌ６の点灯時の外観は、青色の右矢印（Green Right Arrow）である。尚、図中の大文字「Ｇ」、「Ｙ」、「Ｒ」は、それぞれ、青色、黄色、赤色を意味する。これは、以下の図においても同様である。
各灯火部分の非点灯時の色は、黒色である。このことは、暗黙の想定であってもよいし、灯火パターン情報ＰＡＴにおいて明示されていてもよい。
１－３．点灯状態認識処理
本実施の形態に係る信号認識システム１０は、信号検出情報ＤＴＣと灯火パターン情報ＰＡＴとを比較することによって、対象信号機ＳＸの点灯状態を高精度に認識する。この処理は、以下「点灯状態認識処理」と呼ばれる。以下、本実施の形態に係る点灯状態認識処理のいくつかの例を説明する。
本実施の形態に係る信号認識システム１０は、信号検出情報ＤＴＣと灯火パターン情報ＰＡＴとを比較することによって、対象信号機ＳＸの点灯状態を高精度に認識する。この処理は、以下「点灯状態認識処理」と呼ばれる。以下、本実施の形態に係る点灯状態認識処理のいくつかの例を説明する。
１－３－１．第１の例
図３は、点灯状態認識処理の第１の例を説明するための概念図である。信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分に関する情報を含んでいる。より詳細には、信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分の各々の「外観」を示している。本例では、対象信号機ＳＸの検出部分の外観は、色と形状（点灯時の点灯部分の形状）の両方を含んでいる。一方の検出部分の外観は「赤色の円」であり、他方の検出部分の外観は「青色の右矢印」である。但し、２つの検出部分の間の相対位置関係は定かではないとする。
図３は、点灯状態認識処理の第１の例を説明するための概念図である。信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分に関する情報を含んでいる。より詳細には、信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分の各々の「外観」を示している。本例では、対象信号機ＳＸの検出部分の外観は、色と形状（点灯時の点灯部分の形状）の両方を含んでいる。一方の検出部分の外観は「赤色の円」であり、他方の検出部分の外観は「青色の右矢印」である。但し、２つの検出部分の間の相対位置関係は定かではないとする。
信号認識システム１０は、信号検出情報ＤＴＣと灯火パターン情報ＰＡＴとを比較する。そして、信号認識システム１０は、対象信号機ＳＸの２つの検出部分の各々の外観と整合（マッチ）する灯火部分Ｌ１～Ｌ６の点灯状態を、対象信号機ＳＸの点灯状態として認識する。
灯火パターン情報ＰＡＴによれば、灯火部分Ｌ３の点灯時の外観は「赤色の円」であり、灯火部分Ｌ６の点灯時の外観は「青色の右矢印」である。従って、対象信号機ＳＸの点灯状態は、「Ｌ３、Ｌ６：点灯、Ｌ１、Ｌ２、Ｌ４、Ｌ５：非点灯」と認識される。すなわち、上下に並んだ「赤色の円形信号」と「青色の右矢印信号」が点灯していると認識される。
このように、第１の例によれば、信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の外観を示している。それら複数の検出部分の間の相対位置関係が不明であっても、灯火パターン情報ＰＡＴを参照することによって、対象信号機ＳＸの点灯状態を高精度に認識することが可能となる。
１－３－２．第２の例
図４は、点灯状態認識処理の第２の例を説明するための概念図である。信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分に関する情報を含んでいる。より詳細には、信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分の各々の「外観」に加えて、それら２つの検出部分の間の「相対位置関係」を示している。但し、本例では、検出部分の外観は、色だけを含み、形状（点灯時の点灯部分の形状）は不明である。一方の検出部分の外観は「赤色」であり、他方の検出部分の外観は「青色」であり、それら２つの検出部分が上下に並んでいる。
図４は、点灯状態認識処理の第２の例を説明するための概念図である。信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分に関する情報を含んでいる。より詳細には、信号検出情報ＤＴＣは、対象信号機ＳＸの２つの検出部分の各々の「外観」に加えて、それら２つの検出部分の間の「相対位置関係」を示している。但し、本例では、検出部分の外観は、色だけを含み、形状（点灯時の点灯部分の形状）は不明である。一方の検出部分の外観は「赤色」であり、他方の検出部分の外観は「青色」であり、それら２つの検出部分が上下に並んでいる。
信号認識システム１０は、信号検出情報ＤＴＣと灯火パターン情報ＰＡＴとを比較する。そして、信号認識システム１０は、対象信号機ＳＸの２つの検出部分の各々の外観及び２つの検出部分の間の相対位置関係と整合（マッチ）する灯火部分Ｌ１～Ｌ６の点灯状態を、対象信号機ＳＸの点灯状態として認識する。
灯火パターン情報ＰＡＴによれば、灯火部分Ｌ３の点灯時の外観は「赤色」であり、灯火部分Ｌ６の点灯時の外観は「青色」であり、且つ、それら灯火部分Ｌ３、Ｌ６は上下に並んでいる。従って、対象信号機ＳＸの点灯状態は、「Ｌ３、Ｌ６：点灯、Ｌ１、Ｌ２、Ｌ４、Ｌ５：非点灯」と認識される。すなわち、上下に並んだ「赤色の円形信号」と「青色の右矢印信号」が点灯していると認識される。
このように、第２の例によれば、信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の外観（色）と、それら複数の検出部分の間の相対位置関係を示している。各検出部分の正確な形状が不明であっても、灯火パターン情報ＰＡＴを参照することによって、対象信号機ＳＸの点灯状態を高精度に認識することが可能となる。
１－３－３．第３の例
図５は、点灯状態認識処理の第３の例を説明するための概念図である。信号検出情報ＤＴＣは、上述の第２の例（図４）の場合の内容に加えて、２つの検出部分の各々の大まかな形状も示している。一方の検出部分の外観は「赤色の円」であり、他方の検出部分の外観は「青色の矢印」であり、それら２つの検出部分が上下に並んでいる。但し、矢印の方向までは分からないとする。
図５は、点灯状態認識処理の第３の例を説明するための概念図である。信号検出情報ＤＴＣは、上述の第２の例（図４）の場合の内容に加えて、２つの検出部分の各々の大まかな形状も示している。一方の検出部分の外観は「赤色の円」であり、他方の検出部分の外観は「青色の矢印」であり、それら２つの検出部分が上下に並んでいる。但し、矢印の方向までは分からないとする。
第２の例の場合と同様に、対象信号機ＳＸの点灯状態は、「Ｌ３、Ｌ６：点灯、Ｌ１、Ｌ２、Ｌ４、Ｌ５：非点灯」と認識される。すなわち、上下に並んだ「赤色の円形信号」と「青色の右矢印信号」が点灯していると認識される。矢印方向が不明であっても、灯火パターン情報ＰＡＴを参照することによって、対象信号機ＳＸの点灯状態を高精度に認識することが可能となる。
１－３－４．第４の例
図６は、点灯状態認識処理の第４の例を説明するための概念図である。信号検出情報ＤＴＣは、点灯部分に関する情報だけでなく、非点灯部分に関する情報を含んでいてもよい。すなわち、対象信号機ＳＸの複数の検出部分は、点灯部分と非点灯部分の両方を含んでいてもよい。非点灯部分の色は、黒色である。
図６は、点灯状態認識処理の第４の例を説明するための概念図である。信号検出情報ＤＴＣは、点灯部分に関する情報だけでなく、非点灯部分に関する情報を含んでいてもよい。すなわち、対象信号機ＳＸの複数の検出部分は、点灯部分と非点灯部分の両方を含んでいてもよい。非点灯部分の色は、黒色である。
図６に示される例では、信号検出情報ＤＴＣは、対象信号機ＳＸの４つの検出部分の各々の「外観」に加えて、それら４つの検出部分の間の「相対位置関係」を示している。本例では、検出部分の外観は、色だけを含み、形状（点灯時の点灯部分の形状）は不明である。１つの検出部分の外観は「青色」であり、他の３つの検出部分の外観は「黒色」である。更に、３つの黒色の検出部分は、青色の検出部分の右、下、及び右下のそれぞれに位置している。
灯火パターン情報ＰＡＴによれば、青色の検出部分の候補としては、灯火部分Ｌ１、Ｌ４～Ｌ６の４つが存在する。但し、右、下、及び右下に他の灯火部分が存在しているのは、灯火部分Ｌ１だけである。従って、対象信号機ＳＸの点灯状態は、「Ｌ１：点灯、Ｌ２～Ｌ６：非点灯」と認識される。すなわち、「青色の円形信号」だけが点灯していると認識される。
このように、第４の例によれば、黒色の非点灯部分も検出部分の一つとして利用される。その結果、対象信号機ＳＸの点灯部分が１つだけである場合においても、灯火パターン情報ＰＡＴを参照することによって、対象信号機ＳＸの点灯状態を高精度に認識することが可能となる。
１－３－５．第５の例
図７は、点灯状態認識処理の第５の例を説明するための概念図である。上述の第４の例（図６）の場合と同様に、対象信号機ＳＸの複数の検出部分は、点灯部分と非点灯部分の両方を含んでいる。
図７は、点灯状態認識処理の第５の例を説明するための概念図である。上述の第４の例（図６）の場合と同様に、対象信号機ＳＸの複数の検出部分は、点灯部分と非点灯部分の両方を含んでいる。
信号検出情報ＤＴＣは、対象信号機ＳＸの６つの検出部分の各々の「外観」に加えて、それら６つの検出部分の間の「相対位置関係」を示している。本例では、検出部分の外観は、色だけを含み、形状（点灯時の点灯部分の形状）は不明である。すなわち、赤色の検出部分が右上に位置し、３つの黒色の検出部分が、赤色の検出部分の左、下、及び左下のそれぞれに位置している。また、青色の検出部分が左下に位置し、３つの黒色の検出部分が、青色の検出部分の右、上、及び右上のそれぞれに位置している。
灯火パターン情報ＰＡＴによれば、青色の検出部分の候補としては、灯火部分Ｌ１、Ｌ４～Ｌ６の４つがある。但し、右、上、及び右上に他の灯火部分が存在しているのは、灯火部分Ｌ４だけである。従って、対象信号機ＳＸの点灯状態は、「Ｌ３、Ｌ４：点灯、Ｌ１、Ｌ２、Ｌ５、Ｌ６：非点灯」と認識される。すなわち、「赤色の円形信号」と「青色の左矢印信号」が点灯していると認識される。
このように、第５の例によれば、黒色の非点灯部分も検出部分の一つとして利用される。その結果、対象信号機ＳＸの各検出部分の正確な形状が不明であっても、灯火パターン情報ＰＡＴを参照することによって、対象信号機ＳＸの点灯状態を高精度に認識することが可能となる。
１－３－６．第６の例
図８は、点灯状態認識処理の第６の例を説明するための概念図である。信号検出情報ＤＴＣは、対象信号機ＳＸの６つの検出部分の各々の「外観」に加えて、それら６つの検出部分の間の「相対位置関係」を示している。本例では、検出部分の外観は「点灯しているか否か」を含むが、色及び形状は不明である。つまり、対象信号機ＳＸの各検出部分が点灯しているか否かだけが判明しており、各検出部分の色及び形状は不明である。
図８は、点灯状態認識処理の第６の例を説明するための概念図である。信号検出情報ＤＴＣは、対象信号機ＳＸの６つの検出部分の各々の「外観」に加えて、それら６つの検出部分の間の「相対位置関係」を示している。本例では、検出部分の外観は「点灯しているか否か」を含むが、色及び形状は不明である。つまり、対象信号機ＳＸの各検出部分が点灯しているか否かだけが判明しており、各検出部分の色及び形状は不明である。
図８に示される例では、６つの検出部分のうち右上と左下の検出部分が点灯している。右上と左下の２つの点灯部分の間には、非点灯部分が介在している。灯火パターン情報ＰＡＴを参照すると、２つの点灯部分は、灯火部分Ｌ３、Ｌ４に相当することが分かる。従って、対象信号機ＳＸの点灯状態は、「Ｌ３、Ｌ４：点灯、Ｌ１、Ｌ２、Ｌ５、Ｌ６：非点灯」と認識される。すなわち、「赤色の円形信号」と「青色の左矢印信号」が点灯していると認識される。
このように、第６の例によれば、信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の間の相対位置関係と、各検出部分が点灯しているか否かを示している。各検出部分の色及び形状が不明であっても、灯火パターン情報ＰＡＴを参照することによって、対象信号機ＳＸの点灯状態を高精度に認識することが可能となる。
１－３－７．第７の例
図９は、点灯状態認識処理の第７の例を説明するための概念図である。本例では、信号機は、水平方向に配置された３つの灯火部分Ｌ１～Ｌ３だけを有する。
図９は、点灯状態認識処理の第７の例を説明するための概念図である。本例では、信号機は、水平方向に配置された３つの灯火部分Ｌ１～Ｌ３だけを有する。
信号検出情報ＤＴＣは、対象信号機ＳＸの３つの検出部分の間の相対位置関係と、各検出部分が点灯しているか否かを示している。具体的には、３つの検出部分のうち右端の検出部分が点灯しており、左端及び中央の検出部分は点灯していない。灯火パターン情報ＰＡＴを参照すると、右端の点灯部分は、灯火部分Ｌ３に相当することが分かる。従って、対象信号機ＳＸの点灯状態は、「Ｌ３：点灯、Ｌ１、Ｌ２：非点灯」と認識される。すなわち、「赤色の円形信号」が点灯していると認識される。
以上に説明されたように、信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の「外観」を少なくとも示す。例えば、各検出部分の外観は、各検出部分の「色」を含む。各検出部分の外観は、更に、各検出部分の「点灯時の形状」を含んでいてもよい。信号検出情報ＤＴＣは、更に、対象信号機ＳＸの複数の検出部分の間の「相対位置関係」を示していてもよい。相対位置関係が分かる場合、対象信号機ＳＸの点灯状態の認識精度は更に高くなる。また、相対位置関係が分かる場合、各検出部分の外観は、各検出部分が「点灯しているか否か」を含んでいてもよい。検出部分の外観が詳細になるほど、対象信号機ＳＸの点灯状態の認識精度は高くなる。
１－４．様々な灯火パターン情報
道路上には様々な形式の信号機が存在する。また、信号機の形式は、国によっても異なり得る。従って、灯火パターン情報ＰＡＴは、信号機の形式毎にあらかじめ用意されると好適である。
道路上には様々な形式の信号機が存在する。また、信号機の形式は、国によっても異なり得る。従って、灯火パターン情報ＰＡＴは、信号機の形式毎にあらかじめ用意されると好適である。
図１０は、灯火パターン情報ＰＡＴの様々な例を示している。図１０中の例［Ａ］は、図９で示されたものと同じであり、例［Ｄ］は、図２で示されたものと同じである。例［Ｂ］は、右矢印信号だけを矢印信号として有する。例［Ｃ］は、左斜め上向き矢印信号を有する。灯火パターン情報ＰＡＴにおいて、「左斜め上向き矢印」は、「上矢印あるいは左矢印」と定義されてもよい。
図１１は、灯火パターン情報ＰＡＴの更に他の例を示している。図１１に示される例では、赤色、黄色、及び青色の円形信号が鉛直方向に配置されている。例［Ｂ］は、矢印信号を更に有する。例［Ｃ］は、黄色の矢印信号と青色の矢印信号を有する。
図１２は、灯火パターン情報ＰＡＴの更に他の例を示している。図１２に示される例では、信号機は、「数字」を示す灯火部分を有している。図１２中の例［Ａ］では、数字を示す灯火部分が、青信号を示す灯火部分の左隣りに配置されており、その数字は、青信号表示の残り時間を意味する。例［Ｂ］では、赤信号表示の残り時間を表す数字を示す灯火部分が配置されている。
図１３は、灯火パターン情報ＰＡＴの更に他の例を示している。図１３に示される例では、１つの信号機が、離間した２つの部分信号機から構成されている。右側の部分信号機は、ある交差点における直進用の信号機である。左側の部分信号機は、同じ交差点における左折用の信号機である。
図１４は、灯火パターン情報ＰＡＴの更に他の例を示す概念図である。図１４に示される例では、「赤色の×形状」の灯火部分と「青色の上矢印」の灯火部分とが隣接して配置されている。例えば、「赤色の×形状」は進入禁止を意味し、「青色の上矢印」は進入許可を意味する。
複数種類の灯火パターン情報ＰＡＴがある場合、対象信号機ＳＸに関連付けられた適切な灯火パターン情報ＰＡＴが選択される。あるいは、複数種類の灯火パターン情報ＰＡＴのそれぞれを用いて点灯状態認識処理を行った後、最も整合性の高い認識結果を採用してもよい。灯火パターン情報ＰＡＴの選択及び利用の詳細については、後述される。
１－５．まとめ及び効果
以上に説明されたように、本実施の形態によれば、信号認識システム１０は、カメラ撮像情報ＩＭＧに基づいて、車両１の周囲の対象信号機ＳＸを検出し、信号検出情報ＤＴＣを取得する。信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の外観を少なくとも示す。
以上に説明されたように、本実施の形態によれば、信号認識システム１０は、カメラ撮像情報ＩＭＧに基づいて、車両１の周囲の対象信号機ＳＸを検出し、信号検出情報ＤＴＣを取得する。信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の外観を少なくとも示す。
信号認識システム１０は、対象信号機ＳＸの点灯状態を認識するために、カメラ撮像情報ＩＭＧに基づく信号検出情報ＤＴＣだけでなく、カメラ撮像情報ＩＭＧから独立した灯火パターン情報ＰＡＴも用いる。灯火パターン情報ＰＡＴは、信号機のＮ個の灯火部分の間の相対位置関係、及びＮ個の灯火部分の各々の点灯時の外観を示す。信号認識システム１０は、信号検出情報ＤＴＣと灯火パターン情報ＰＡＴとを比較する。そして、信号認識システム１０は、対象信号機ＳＸの複数の検出部分の各々の外観と整合するＮ個の灯火部分の点灯状態を、対象信号機ＳＸの点灯状態として認識する。
このように、カメラ撮像情報ＩＭＧに基づく信号検出情報ＤＴＣとカメラ撮像情報ＩＭＧから独立した灯火パターン情報ＰＡＴとを比較することによって、対象信号機ＳＸの点灯状態が認識されるため、認識精度が向上する。更に、その比較においては、対象信号機ＳＸの単一の検出部分ではなく複数の検出部分が着目される。このことも、認識精度の向上に寄与する。
信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の外観と、それら複数の検出部分の間の相対位置関係を示していてもよい。この場合、信号認識システム１０は、対象信号機ＳＸの複数の検出部分の各々の外観及び複数の検出部分の間の相対位置関係と整合するＮ個の灯火部分の点灯状態を、対象信号機ＳＸの点灯状態として認識する。これにより、認識精度が更に向上する。
以下、本実施の形態に係る信号認識システム１０について更に詳しく説明する。
２．信号認識システムの機能構成例
２－１．信号機地図情報
図１５は、本実施の形態における信号機地図情報ＳＧ＿ＭＡＰの一例を説明するための概念図である。信号機地図情報ＳＧ＿ＭＡＰは、信号機に関する地図情報である。より詳細には、信号機地図情報ＳＧ＿ＭＡＰは、信号機（ＳＧ１、ＳＧ２、ＳＧ３・・・）毎に、その位置［Ｘ，Ｙ，Ｚ］と向きＨを示している。ここで、位置［Ｘ，Ｙ，Ｚ］とは、絶対位置であり、絶対座標系（緯度、経度、高度）において定義される。向きＨも、絶対座標系において定義される。このような信号機地図情報ＳＧ＿ＭＡＰは、あらかじめ作成される。
２－１．信号機地図情報
図１５は、本実施の形態における信号機地図情報ＳＧ＿ＭＡＰの一例を説明するための概念図である。信号機地図情報ＳＧ＿ＭＡＰは、信号機に関する地図情報である。より詳細には、信号機地図情報ＳＧ＿ＭＡＰは、信号機（ＳＧ１、ＳＧ２、ＳＧ３・・・）毎に、その位置［Ｘ，Ｙ，Ｚ］と向きＨを示している。ここで、位置［Ｘ，Ｙ，Ｚ］とは、絶対位置であり、絶対座標系（緯度、経度、高度）において定義される。向きＨも、絶対座標系において定義される。このような信号機地図情報ＳＧ＿ＭＡＰは、あらかじめ作成される。
２－２．灯火パターンデータベース
図１６は、本実施の形態における灯火パターンデータベースＰＡＴ＿ＤＢの一例を説明するための概念図である。灯火パターンデータベースＰＡＴ＿ＤＢは、信号機（ＳＧ１、ＳＧ２、ＳＧ３・・・）毎に、用いるべき灯火パターン情報ＰＡＴ（ＰＡＴ１、ＰＡＴ２、ＰＡＴ３）を示している。より詳細には、灯火パターンデータベースＰＡＴ＿ＤＢは、信号機（ＳＧ１、ＳＧ２、ＳＧ３・・・）の位置［Ｘ，Ｙ，Ｚ］と灯火パターン情報ＰＡＴ（ＰＡＴ１、ＰＡＴ２、ＰＡＴ３）とを関連付けて示している。信号機の位置［Ｘ，Ｙ，Ｚ］及び向きＨと灯火パターン情報ＰＡＴとが関連付けられもよい。このような灯火パターンデータベースＰＡＴ＿ＤＢは、あらかじめ作成される。
図１６は、本実施の形態における灯火パターンデータベースＰＡＴ＿ＤＢの一例を説明するための概念図である。灯火パターンデータベースＰＡＴ＿ＤＢは、信号機（ＳＧ１、ＳＧ２、ＳＧ３・・・）毎に、用いるべき灯火パターン情報ＰＡＴ（ＰＡＴ１、ＰＡＴ２、ＰＡＴ３）を示している。より詳細には、灯火パターンデータベースＰＡＴ＿ＤＢは、信号機（ＳＧ１、ＳＧ２、ＳＧ３・・・）の位置［Ｘ，Ｙ，Ｚ］と灯火パターン情報ＰＡＴ（ＰＡＴ１、ＰＡＴ２、ＰＡＴ３）とを関連付けて示している。信号機の位置［Ｘ，Ｙ，Ｚ］及び向きＨと灯火パターン情報ＰＡＴとが関連付けられもよい。このような灯火パターンデータベースＰＡＴ＿ＤＢは、あらかじめ作成される。
信号機地図情報ＳＧ＿ＭＡＰと灯火パターンデータベースＰＡＴ＿ＤＢとは、一体化されてもよい。つまり、信号機地図情報ＳＧ＿ＭＡＰは、信号機（ＳＧ１、ＳＧ２、ＳＧ３・・・）毎に、位置［Ｘ，Ｙ，Ｚ］、向きＨ、及び用いるべき灯火パターン情報ＰＡＴ（ＰＡＴ１、ＰＡＴ２、ＰＡＴ３）を示してもよい。
２－３．機能構成及び処理フロー
図１７は、本実施の形態に係る信号認識システム１０の機能構成例を示すブロック図である。信号認識システム１０は、信号検出部２０、パターン選択部３０、及び点灯状態認識部４０を備えている。図１８は、本実施の形態に係る信号認識システム１０による処理を示すフローチャートである。図１７及び図１８を参照して、本実施の形態に係る信号認識システム１０による処理を説明する。
図１７は、本実施の形態に係る信号認識システム１０の機能構成例を示すブロック図である。信号認識システム１０は、信号検出部２０、パターン選択部３０、及び点灯状態認識部４０を備えている。図１８は、本実施の形態に係る信号認識システム１０による処理を示すフローチャートである。図１７及び図１８を参照して、本実施の形態に係る信号認識システム１０による処理を説明する。
２－３－１．ステップＳ１０
車両１に搭載されたカメラ２は、車両１の周囲の状況を撮像する。カメラ撮像情報ＩＭＧは、カメラ２によって撮像された画像、すなわち、車両１の周囲の状況を示す画像を含んでいる。信号検出部２０は、カメラ撮像情報ＩＭＧを取得する。
車両１に搭載されたカメラ２は、車両１の周囲の状況を撮像する。カメラ撮像情報ＩＭＧは、カメラ２によって撮像された画像、すなわち、車両１の周囲の状況を示す画像を含んでいる。信号検出部２０は、カメラ撮像情報ＩＭＧを取得する。
２－３－２．ステップＳ２０
信号検出部２０は、カメラ撮像情報ＩＭＧに基づいて、車両１の周囲の信号機を検出する「信号検出処理」を行う。
信号検出部２０は、カメラ撮像情報ＩＭＧに基づいて、車両１の周囲の信号機を検出する「信号検出処理」を行う。
まず、信号検出部２０は、カメラ撮像情報ＩＭＧで示される画像の中の「着目領域ＲＯＩ」を設定する（ステップＳ２１）。図１９に示されるように、着目領域ＲＯＩとは、画像の中で信号機が存在すると想定される領域である。着目領域ＲＯＩを設定するために、位置情報ＰＯＳと上述の信号機地図情報ＳＧ＿ＭＡＰ（図１５参照）が用いられる。
位置情報ＰＯＳは、絶対座標系における車両１あるいはカメラ２の位置及び向きを示す。車両１に固定された車両座標系におけるカメラ２の設置位置及び設置方向は既知である。よって、絶対座標系における車両１の位置及び向きから、絶対座標系におけるカメラ２の位置及び向きを算出することができる。
カメラ２の位置及び向きに基づいて、カメラ２によって撮像されていると想定される信号機を信号機地図情報ＳＧ＿ＭＡＰの中から抽出することができる。つまり、信号検出部２０は、位置情報ＰＯＳと信号機地図情報ＳＧ＿ＭＡＰに基づいて、カメラ２によって撮像されていると想定される信号機を特定する。そして、信号検出部２０は、カメラ２と特定された信号機との間の相対位置関係に基づいて、特定された信号機が存在する画像領域を着目領域ＲＯＩとして設定する。１つの画像に複数の着目領域ＲＯＩが存在する場合もある。
着目領域ＲＯＩの設定後、信号検出部２０は、着目領域ＲＯＩの中から信号機を検出する。画像の中から信号機を検出（抽出）する画像解析手法は、周知である（例えば、特許文献１参照）。着目領域ＲＯＩをあらかじめ設定することによって、信号検出処理の計算量が大幅に削減される。
この信号検出処理によって検出された信号機が、点灯状態を認識する対象である「対象信号機ＳＸ」である。信号検出部２０は、対象信号機ＳＸの検出結果を示す信号検出情報ＤＴＣを取得する。
図３～図９で説明されたように、信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の「外観」を少なくとも示す。例えば、各検出部分の外観は、各検出部分の「色」を含む。各検出部分の外観は、更に、各検出部分の「点灯時の形状」を含んでいてもよい。信号検出情報ＤＴＣは、更に、対象信号機ＳＸの複数の検出部分の間の「相対位置関係」を示していてもよい。相対位置関係が分かる場合、各検出部分の外観は、各検出部分が「点灯しているか否か」を含んでいてもよい。
２－３－３．ステップＳ３０
パターン選択部３０は、用いる灯火パターン情報ＰＡＴを選択する「灯火パターン選択処理」を行う。本実施の形態では、パターン選択部３０は、灯火パターンデータベースＰＡＴ＿ＤＢ（図１６）の中から、用いる灯火パターン情報ＰＡＴを選択する（ステップＳ３１）。
パターン選択部３０は、用いる灯火パターン情報ＰＡＴを選択する「灯火パターン選択処理」を行う。本実施の形態では、パターン選択部３０は、灯火パターンデータベースＰＡＴ＿ＤＢ（図１６）の中から、用いる灯火パターン情報ＰＡＴを選択する（ステップＳ３１）。
より詳細には、灯火パターンデータベースＰＡＴ＿ＤＢと上述の位置情報ＰＯＳが用いられる。パターン選択部３０は、カメラ２の位置及び向きに基づいて、カメラ２によって撮像されていると想定される信号機を灯火パターンデータベースＰＡＴ＿ＤＢの中から特定する。特定された信号機は、対象信号機ＳＸに相当する。そして、パターン選択部３０は、特定された信号機（対象信号機ＳＸ）の位置に関連付けられた灯火パターン情報ＰＡＴを、灯火パターンデータベースから取得（選択）する。
２－３－４．ステップＳ４０
点灯状態認識部４０は、対象信号機ＳＸの灯火状態を認識する「点灯状態認識処理」を行う。より詳細には、点灯状態認識部４０は、信号検出情報ＤＴＣと灯火パターン情報ＰＡＴとを比較することによって、対象信号機ＳＸの灯火状態を認識する（図３～図９参照）。
点灯状態認識部４０は、対象信号機ＳＸの灯火状態を認識する「点灯状態認識処理」を行う。より詳細には、点灯状態認識部４０は、信号検出情報ＤＴＣと灯火パターン情報ＰＡＴとを比較することによって、対象信号機ＳＸの灯火状態を認識する（図３～図９参照）。
信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の外観を少なくとも示している。灯火パターン情報ＰＡＴは、信号機のＮ個の灯火部分の間の相対位置関係、及びＮ個の灯火部分の各々の点灯時の外観を示している。点灯状態認識部４０は、対象信号機ＳＸの複数の検出部分の各々の外観と整合するＮ個の灯火部分の点灯状態を、対象信号機ＳＸの点灯状態として認識する。
信号検出情報ＤＴＣは、対象信号機ＳＸの複数の検出部分の各々の外観と、それら複数の検出部分の間の相対位置関係を示していてもよい。この場合、点灯状態認識部４０は、対象信号機ＳＸの複数の検出部分の各々の外観及び複数の検出部分の間の相対位置関係と整合するＮ個の灯火部分の点灯状態を、対象信号機ＳＸの点灯状態として認識する。
２－３－５．ステップＳ５０
点灯状態認識部４０は、点灯状態認識処理の結果を示す認識結果情報ＲＥＳを生成する。認識結果情報ＲＥＳは、車両１の自動運転制御等に利用される。
点灯状態認識部４０は、点灯状態認識処理の結果を示す認識結果情報ＲＥＳを生成する。認識結果情報ＲＥＳは、車両１の自動運転制御等に利用される。
３．信号認識システムの具体的な構成例
以下、本実施の形態に係る信号認識システム１０の具体的な構成例について説明する。
以下、本実施の形態に係る信号認識システム１０の具体的な構成例について説明する。
３－１．第１の構成例
図２０は、本実施の形態に係る信号認識システム１０の第１の構成例を示すブロック図である。第１の構成例では、信号認識システム１０は、車両１に搭載された車載装置１００によって実現される。
図２０は、本実施の形態に係る信号認識システム１０の第１の構成例を示すブロック図である。第１の構成例では、信号認識システム１０は、車両１に搭載された車載装置１００によって実現される。
車載装置１００は、センサ群１１０、通信装置１２０、走行装置１３０、及び制御装置１４０を備えている。
センサ群１１０は、車両１の運転環境を示す運転環境情報ＥＮＶを取得する。
図２１は、センサ群１１０と運転環境情報ＥＮＶの例を示すブロック図である。センサ群１１０は、位置センサ１１１、周辺状況センサ１１２、及び車両状態センサ１１３を含んでいる。運転環境情報ＥＮＶは、位置情報ＰＯＳ、周辺状況情報ＳＩＴ、及び車両状態情報ＳＴＡを含んでいる。
位置センサ１１１は、車両１の位置及び向きを検出する。例えば、位置センサ１１１は、車両１の位置及び向きを検出するＧＰＳ（Global Positioning System）センサを含んでいる。位置情報ＰＯＳは、絶対座標系における車両１あるいはカメラ２の位置及び向きを示す。車両１に固定された車両座標系におけるカメラ２の設置位置及び設置方向は既知である。よって、絶対座標系における車両１の位置及び向きから、絶対座標系におけるカメラ２の位置及び向きを算出することができる。
周辺状況センサ１１２は、車両１の周囲の状況を検出する。周辺状況センサ１１２は、カメラ２を含む。カメラ２は、車両１の周囲の状況を撮像する。典型的には、カメラ２は、車両１の前方の状況を撮像することができるように設置されている。周辺状況センサ１１２は、更に、ライダー（LIDAR: Laser Imaging Detection and Ranging）やレーダを含んでいてもよい。周辺状況情報ＳＩＴは、周辺状況センサ１１２による検出結果から得られる情報である。この周辺状況情報ＳＩＴは、カメラ撮像情報ＩＭＧを含んでいる。カメラ撮像情報ＩＭＧは、カメラ２によって撮像された画像、すなわち、車両１の周囲の状況を示す画像を含んでいる。
車両状態センサ１１３は、車両１の状態を検出する。車両１の状態は、車両１の速度（車速）、加速度、舵角、ヨーレート、等を含む。更に、車両１の状態は、車両１のドライバによる運転操作も含む。運転操作は、アクセル操作、ブレーキ操作、及び操舵操作を含む。車両状態情報ＳＴＡは、車両状態センサ１１３によって検出された車両１の状態を示す。
通信装置１２０は、車両１の外部と通信を行う。例えば、通信装置１２０は、車両１の外部の外部装置と、通信ネットワークを介して通信を行う。
走行装置１３０は、操舵装置、駆動装置、制動装置を含んでいる。操舵装置は、車両１の車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、電動機やエンジンが例示される。制動装置は、制動力を発生させる。
制御装置１４０は、車載装置１００を制御する。制御装置１４０は、ＥＣＵ（Electronic Control Unit）とも呼ばれる。制御装置１４０は、プロセッサ１５０及び記憶装置１６０を備えている。プロセッサ１５０が記憶装置１６０に格納された制御プログラムを実行することにより、各種処理が実現される。
制御装置１４０（プロセッサ１５０）は、各種情報を取得する情報取得処理を行う。各種情報は、記憶装置１６０に格納される。
例えば、制御装置１４０（プロセッサ１５０）は、センサ群１１０から運転環境情報ＥＮＶを取得し、その運転環境情報ＥＮＶを記憶装置１６０に格納する。
また、制御装置１４０（プロセッサ１５０）は、地図データベースＭＡＰ＿ＤＢから必要な地図情報ＭＡＰを取得し、その地図情報ＭＡＰを記憶装置１６０に格納する。地図情報ＭＡＰは、一般的な道路地図やナビゲーション地図の他、上述の信号機地図情報ＳＧ＿ＭＡＰ（図１５参照）も含んでいる。地図データベースＭＡＰ＿ＤＢは、記憶装置３００に格納されている。記憶装置３００は、車載装置１００の一部であってもよいし、車両１の外部に設置されていてもよい。地図データベースＭＡＰ＿ＤＢが車両１の外部に存在する場合、制御装置１４０は、通信装置１２０を通して地図データベースＭＡＰ＿ＤＢにアクセスし、必要な地図情報ＭＡＰを取得する。
また、制御装置１４０（プロセッサ１５０）は、灯火パターンデータベースＰＡＴ＿ＤＢから必要な灯火パターン情報ＰＡＴを取得し、その灯火パターン情報ＰＡＴを記憶装置１６０に格納する。灯火パターンデータベースＰＡＴ＿ＤＢは、記憶装置４００に格納されている。記憶装置４００は、車載装置１００の一部であってもよいし、車両１の外部に設置されていてもよい。灯火パターンデータベースＰＡＴ＿ＤＢが車両１の外部に存在する場合、制御装置１４０は、通信装置１２０を通して灯火パターンデータベースＰＡＴ＿ＤＢにアクセスし、必要な灯火パターン情報ＰＡＴを取得する。
図１７で示された信号検出部２０、パターン選択部３０、及び点灯状態認識部４０は、プロセッサ１５０の機能ブロックである。信号検出部２０、パターン選択部３０、及び点灯状態認識部４０は、プロセッサ１５０が記憶装置１６０に格納されたコンピュータプログラムを実行することにより実現される。
プロセッサ１５０は、運転環境情報ＥＮＶ及び信号機地図情報ＳＧ＿ＭＡＰに基づいて、信号検出処理（ステップＳ２０）を実行し、信号検出情報ＤＴＣを取得する。信号検出情報ＤＴＣは、記憶装置１６０に格納される。また、プロセッサ１５０は、運転環境情報ＥＮＶ及び灯火パターンデータベースＰＡＴ＿ＤＢに基づいて、灯火パターン選択処理（ステップＳ３０）を実行し、灯火パターン情報ＰＡＴを取得する。灯火パターン情報ＰＡＴは、記憶装置１６０に格納される。更に、プロセッサ１５０は、信号検出情報ＤＴＣ及び灯火パターン情報ＰＡＴに基づいて、点灯状態認識処理（ステップＳ４０）を実行し、認識結果情報ＲＥＳを生成する（ステップＳ５０）。認識結果情報ＲＥＳは、記憶装置１６０に格納される。
プロセッサ１５０は、認識結果情報ＲＥＳに基づいて、車両１の自動運転制御を行う。自動運転制御は、操舵制御、加速制御、及び減速制御のうち少なくとも１つを含む。プロセッサ１５０は、走行装置１３０（操舵装置、駆動装置、制動装置）を適宜作動させて、操舵制御、加速制御、及び減速制御のうち必要な車両制御を行う。
３－２．第２の構成例
図２２は、本実施の形態に係る信号認識システム１０の第２の構成例を示すブロック図である。第２の構成例では、信号認識システム１０は、車両１の外部の外部装置２００によって実現される。外部装置２００は、例えば、管理サーバである。
図２２は、本実施の形態に係る信号認識システム１０の第２の構成例を示すブロック図である。第２の構成例では、信号認識システム１０は、車両１の外部の外部装置２００によって実現される。外部装置２００は、例えば、管理サーバである。
外部装置２００は、通信装置２２０及び制御装置２４０を備えている。
通信装置２２０は、外部装置２００の外部と通信を行う。例えば、通信装置２２０は、車載装置１００（図２０参照）と、通信ネットワークを介して通信を行う。
制御装置２４０は、外部装置２００を制御する。制御装置２４０は、プロセッサ２５０及び記憶装置２６０を備えている。プロセッサ２５０が記憶装置２６０に格納された制御プログラムを実行することにより、各種処理が実現される。
制御装置２４０（プロセッサ２５０）は、各種情報を取得する情報取得処理を行う。各種情報は、記憶装置２６０に格納される。
例えば、制御装置２４０（プロセッサ２５０）は、通信装置２２０を通して、車載装置１００から運転環境情報ＥＮＶを取得する。運転環境情報ＥＮＶは、記憶装置２６０に格納される。
また、制御装置２４０（プロセッサ２５０）は、地図データベースＭＡＰ＿ＤＢから必要な地図情報ＭＡＰを取得し、その地図情報ＭＡＰを記憶装置２６０に格納する。地図データベースＭＡＰ＿ＤＢは、記憶装置３００に格納されている。記憶装置３００は、外部装置２００の一部であってもよいし、外部装置２００の外部に設置されていてもよい。地図データベースＭＡＰ＿ＤＢが外部装置２００の外部に存在する場合、制御装置２４０は、通信装置２２０を通して地図データベースＭＡＰ＿ＤＢにアクセスし、必要な地図情報ＭＡＰを取得する。
また、制御装置２４０（プロセッサ２５０）は、灯火パターンデータベースＰＡＴ＿ＤＢから必要な灯火パターン情報ＰＡＴを取得し、その灯火パターン情報ＰＡＴを記憶装置２６０に格納する。灯火パターンデータベースＰＡＴ＿ＤＢは、記憶装置４００に格納されている。記憶装置４００は、外部装置２００の一部であってもよいし、外部装置２００の外部に設置されていてもよい。灯火パターンデータベースＰＡＴ＿ＤＢが外部装置２００の外部に存在する場合、制御装置２４０は、通信装置２２０を通して灯火パターンデータベースＰＡＴ＿ＤＢにアクセスし、必要な灯火パターン情報ＰＡＴを取得する。
図１７で示された信号検出部２０、パターン選択部３０、及び点灯状態認識部４０は、プロセッサ２５０の機能ブロックである。信号検出部２０、パターン選択部３０、及び点灯状態認識部４０は、プロセッサ２５０が記憶装置２６０に格納されたコンピュータプログラムを実行することにより実現される。
プロセッサ２５０は、運転環境情報ＥＮＶ及び信号機地図情報ＳＧ＿ＭＡＰに基づいて、信号検出処理（ステップＳ２０）を実行し、信号検出情報ＤＴＣを取得する。信号検出情報ＤＴＣは、記憶装置２６０に格納される。また、プロセッサ２５０は、運転環境情報ＥＮＶ及び灯火パターンデータベースＰＡＴ＿ＤＢに基づいて、灯火パターン選択処理（ステップＳ３０）を実行し、灯火パターン情報ＰＡＴを取得する。灯火パターン情報ＰＡＴは、記憶装置２６０に格納される。更に、プロセッサ２５０は、信号検出情報ＤＴＣ及び灯火パターン情報ＰＡＴに基づいて、点灯状態認識処理（ステップＳ４０）を実行し、認識結果情報ＲＥＳを生成する（ステップＳ５０）。認識結果情報ＲＥＳは、記憶装置２６０に格納される。
プロセッサ２５０は、通信装置２２０を介して、認識結果情報ＲＥＳを車載装置１００に提供してもよい。車載装置１００のプロセッサ１５０は、認識結果情報ＲＥＳに基づいて、車両１の自動運転制御を行う。
３－３．第３の構成例
信号認識システム１０の機能（すなわち、信号検出部２０、パターン選択部３０、及び点灯状態認識部４０）は、車載装置１００のプロセッサ１５０と外部装置２００のプロセッサ２５０とに分散されていてもよい。処理に必要な情報は、車載装置１００の記憶装置１６０、外部装置２００の記憶装置２６０、記憶装置３００、記憶装置４００に分散されていてもよい。必要な情報は、通信により、車載装置１００と外部装置２００とで共有される。
信号認識システム１０の機能（すなわち、信号検出部２０、パターン選択部３０、及び点灯状態認識部４０）は、車載装置１００のプロセッサ１５０と外部装置２００のプロセッサ２５０とに分散されていてもよい。処理に必要な情報は、車載装置１００の記憶装置１６０、外部装置２００の記憶装置２６０、記憶装置３００、記憶装置４００に分散されていてもよい。必要な情報は、通信により、車載装置１００と外部装置２００とで共有される。
上述の第１～第３の構成例は、次のようにまとめることもできる。すなわち、信号認識システム１０は、１つのプロセッサ（プロセッサ１５０あるいはプロセッサ２５０）、あるいは、複数のプロセッサ（プロセッサ１５０及びプロセッサ２５０）を備えている。また、信号認識システム１０は、１又は複数の記憶装置（記憶装置１６０、２６０、３００、４００）を備えている。信号認識システム１０による処理に必要な情報は、１又は複数の記憶装置に格納される。１又は複数のプロセッサは、１又は複数の記憶装置にアクセスして必要な情報を取得し、取得した情報に基づいて上述の処理を実行する。
４．変形例
次に、変形例を説明する。既出の説明（図１５～図２２）と重複する説明は適宜省略する。
次に、変形例を説明する。既出の説明（図１５～図２２）と重複する説明は適宜省略する。
４－１．第１の変形例
図２３は、第１の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。第１の変形例では、灯火パターンデータベースＰＡＴ＿ＤＢが省略される。その代わり、複数種類の灯火パターン情報ＰＡＴ（ＰＡＴ１、ＰＡＴ２・・・）が、所定の記憶装置（記憶装置１６０あるいは記憶装置２６０）にあらかじめ格納される。
図２３は、第１の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。第１の変形例では、灯火パターンデータベースＰＡＴ＿ＤＢが省略される。その代わり、複数種類の灯火パターン情報ＰＡＴ（ＰＡＴ１、ＰＡＴ２・・・）が、所定の記憶装置（記憶装置１６０あるいは記憶装置２６０）にあらかじめ格納される。
図２４は、第１の変形例に係る信号認識システム１０による処理を示すフローチャートである。ステップＳ３０において、パターン選択部３０は、複数種類の灯火パターン情報ＰＡＴを順番に選択する（ステップＳ３２）。
点灯状態認識部４０は、選択された灯火パターン情報ＰＡＴを用いて点灯状態認識処理（ステップＳ４０）を行う。認識結果情報ＲＥＳは、“仮の認識結果情報”として所定の記憶装置に格納される。全ての灯火パターン情報ＰＡＴが用いられるまで（ステップＳ４５；Ｎｏ）、ステップＳ３０とステップＳ４０が繰り返し実行される。全ての灯火パターン情報ＰＡＴについて点灯状態認識処理が完了すると（ステップＳ４５；Ｙｅｓ）、処理はステップＳ５０に進む。
ステップＳ５０において、点灯状態認識部４０は、複数種類の仮の認識結果情報の中から最も整合性の高いものを最終的な認識結果情報ＲＥＳとして採用する。
例えば、対象信号機ＳＸの複数の検出部分の間の「相対位置関係」が灯火パターン情報ＰＡＴで示される「相対位置関係」と整合する場合、第１スコアが付与される。また、対象信号機ＳＸの検出部分の「外観」が灯火パターン情報ＰＡＴで示される「外観」と整合する場合、第２スコアが付与される。外観が整合する検出部分の個数が多いほど、第２スコアは高くなる。また、色だけでなく形状も整合すると、第２スコアは更に高くなる。そして、第１スコアと第２スコアの和が最も高い仮の認識結果情報が、最終的な認識結果情報ＲＥＳとして採用される。
４－２．第２の変形例
図２５は、第２の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。第２の変形例では、信号機地図情報ＳＧ＿ＭＡＰが省略される。
図２５は、第２の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。第２の変形例では、信号機地図情報ＳＧ＿ＭＡＰが省略される。
信号検出処理（ステップＳ２０）において、信号検出部２０は、着目領域ＲＯＩを設定することなく、車両１の周囲の信号機を検出する。探索範囲は広がるが、周知の画像解析手法により、画像の中から信号機を検出（抽出）することができる。
４－３．第３の変形例
図２６は、第３の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。第３の変形例では、灯火パターンデータベースＰＡＴ＿ＤＢ及び信号機地図情報ＳＧ＿ＭＡＰが省略される。すなわち、第３の変形例は、第１の変形例と第２の変形例の組み合わせである。
図２６は、第３の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。第３の変形例では、灯火パターンデータベースＰＡＴ＿ＤＢ及び信号機地図情報ＳＧ＿ＭＡＰが省略される。すなわち、第３の変形例は、第１の変形例と第２の変形例の組み合わせである。
４－４．第４の変形例
図２７は、第４の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。点灯ルール情報ＲＵＬが、所定の記憶装置（記憶装置１６０あるいは記憶装置２６０）にあらかじめ格納される。点灯ルール情報ＲＵＬは、信号機の点灯状態に関するルールを示す。例えば、日本の信号機の場合、「円形の灯火部分が必ず１つ点灯する」というルールが存在する。
図２７は、第４の変形例に係る信号認識システム１０の機能構成例を示すブロック図である。点灯ルール情報ＲＵＬが、所定の記憶装置（記憶装置１６０あるいは記憶装置２６０）にあらかじめ格納される。点灯ルール情報ＲＵＬは、信号機の点灯状態に関するルールを示す。例えば、日本の信号機の場合、「円形の灯火部分が必ず１つ点灯する」というルールが存在する。
点灯状態認識部４０は、点灯状態認識処理（ステップＳ４０）を行う。認識結果情報ＲＥＳは、“仮の認識結果情報”として所定の記憶装置に格納される。そして、点灯状態認識部４０は、仮の認識結果情報が点灯ルール情報ＲＵＬで示されるルールと整合するか否かチェックする。
円形の灯火部分が１つだけ点灯している場合、仮の認識結果情報は有効である。この場合、点灯状態認識部４０は、その仮の認識結果情報を最終的な認識結果情報ＲＥＳとして採用する。
一方、円形の灯火部分が全く点灯してない場合、あるいは、２以上の円形の灯火部分が点灯している場合、仮の認識結果情報は無効である。この場合、点灯状態認識部４０は、仮の認識結果情報を破棄し、前回の有効な認識結果情報ＲＥＳを維持する。
第４の変形例によれば、対象信号機ＳＸの点灯状態の誤認識が抑制される。例えば、対象信号機ＳＸの疑似点灯に起因する誤認識が抑制される。
５．その他
５－１．シェード
信号機の灯火部分の上部にシェードが付設されている場合がある。灯火パターン情報ＰＡＴは、灯火部分の属性情報として「シェードの有無」を含んでいてもよい。
５－１．シェード
信号機の灯火部分の上部にシェードが付設されている場合がある。灯火パターン情報ＰＡＴは、灯火部分の属性情報として「シェードの有無」を含んでいてもよい。
例えば、青色の円形の灯火部分（青信号）にシェードが付設されているとする。円形の灯火部分が全く検出されていない場合、点灯状態認識部４０は、青色の円形の灯火部分が実は点灯しているとみなして、点灯状態認識処理（ステップＳ４０）を行う。
５－２．点滅信号
信号機の灯火部分が点滅する場合がある。灯火パターン情報ＰＡＴは、灯火部分の属性情報として「点滅」を含んでいてもよい。
信号機の灯火部分が点滅する場合がある。灯火パターン情報ＰＡＴは、灯火部分の属性情報として「点滅」を含んでいてもよい。
例えば、黄色の円形の灯火部分（黄信号）が点滅する場合を考える。灯火パターン情報ＰＡＴは、黄色の円形の灯火部分の属性情報として「点滅」を示す。対象信号機ＳＸの検出部分が点滅している場合、点灯状態認識部４０は、当該検出部分は黄色の円形の灯火部分に相当すると判定する。
１ 車両
２ カメラ
１０ 信号認識システム
２０ 信号検出部
３０ パターン選択部
４０ 点灯状態認識部
１００ 車載装置
１１０ センサ群
１２０ 通信装置
１３０ 走行装置
１４０ 制御装置
１５０ プロセッサ
１６０ 記憶装置
２００ 外部装置
２２０ 通信装置
２４０ 制御装置
２５０ プロセッサ
２６０ 記憶装置
３００ 記憶装置
４００ 記憶装置
ＤＴＣ 信号検出情報
ＩＭＧ カメラ撮像情報
ＭＡＰ 地図情報
ＰＡＴ 灯火パターン情報
ＰＯＳ 位置情報
ＲＥＳ 認識結果情報
ＲＵＬ 点灯ルール情報
ＳＩＴ 周辺状況情報
ＳＴＡ 車両状態情報
ＭＡＰ＿ＤＢ 地図データベース
ＰＡＴ＿ＤＢ 灯火パターンデータベース
ＳＧ＿ＭＡＰ 信号機地図情報
２ カメラ
１０ 信号認識システム
２０ 信号検出部
３０ パターン選択部
４０ 点灯状態認識部
１００ 車載装置
１１０ センサ群
１２０ 通信装置
１３０ 走行装置
１４０ 制御装置
１５０ プロセッサ
１６０ 記憶装置
２００ 外部装置
２２０ 通信装置
２４０ 制御装置
２５０ プロセッサ
２６０ 記憶装置
３００ 記憶装置
４００ 記憶装置
ＤＴＣ 信号検出情報
ＩＭＧ カメラ撮像情報
ＭＡＰ 地図情報
ＰＡＴ 灯火パターン情報
ＰＯＳ 位置情報
ＲＥＳ 認識結果情報
ＲＵＬ 点灯ルール情報
ＳＩＴ 周辺状況情報
ＳＴＡ 車両状態情報
ＭＡＰ＿ＤＢ 地図データベース
ＰＡＴ＿ＤＢ 灯火パターンデータベース
ＳＧ＿ＭＡＰ 信号機地図情報
Claims (4)
- 車両に適用される信号認識システムであって、
１又は複数の記憶装置と、
１又は複数のプロセッサと
を備え、
前記１又は複数の記憶装置には、
前記車両に搭載されたカメラによって撮像され、前記車両の周囲の状況を示す画像を含むカメラ撮像情報と、
点灯及び消灯する灯火部分を複数有する信号機に関する情報であって、前記複数の灯火部分の間の相対位置関係、及び前記複数の灯火部分の各々の点灯時の外観を示す灯火パターン情報と
が格納され、
前記１又は複数のプロセッサは、前記カメラ撮像情報に基づいて、前記車両の周囲の対象信号機を検出し、検出された前記対象信号機のうち外観が異なる複数の検出部分に関する信号検出情報を取得し、
前記信号検出情報は、前記複数の検出部分の各々の前記外観、及び前記複数の検出部分の間の相対位置関係を示し、
前記対象信号機の前記複数の検出部分の各々の前記外観は、点灯しているか否かを含み、
前記１又は複数のプロセッサは、更に、前記信号検出情報と前記灯火パターン情報とを比較することによって前記対象信号機の点灯状態を認識する点灯状態認識処理を行い、
前記点灯状態認識処理において、前記１又は複数のプロセッサは、前記対象信号機の前記複数の検出部分の各々の前記外観及び前記複数の検出部分の間の前記相対位置関係と整合する前記複数の灯火部分の点灯状態を、前記対象信号機の前記点灯状態として認識する
信号認識システム。 - 請求項１に記載の信号認識システムであって、
前記複数の灯火部分の各々の点灯時の前記外観は、色を含み、
前記対象信号機の前記複数の検出部分の各々の前記外観は、色を含む
信号認識システム。 - 請求項２に記載の信号認識システムであって、
前記複数の灯火部分の各々の点灯時の前記外観は、更に、形状を含み、
前記対象信号機の前記複数の検出部分の各々の前記外観は、更に、点灯時の形状を含む
信号認識システム。 - 請求項１乃至３のいずれか一項に記載の信号認識システムであって、
灯火パターンデータベースは、絶対座標系における前記信号機の位置と前記灯火パターン情報とを関連付けて示し、
位置情報は、前記絶対座標系における前記車両あるいは前記カメラの位置及び向きを示し、
前記１又は複数のプロセッサは、前記灯火パターンデータベースと前記位置情報に基づいて、前記カメラによって撮像されていると想定される前記信号機を前記対象信号機として特定し、前記対象信号機の位置に関連付けられた前記灯火パターン情報を前記灯火パターンデータベースから選択する
信号認識システム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019116501A JP7268497B2 (ja) | 2019-06-24 | 2019-06-24 | 信号認識システム |
| DE102020112929.7A DE102020112929A1 (de) | 2019-06-24 | 2020-05-13 | Verkehrssignalerkennungssystem |
| US16/875,042 US11017247B2 (en) | 2019-06-24 | 2020-05-15 | Traffic signal recognition system |
| CN202010551712.8A CN112131922A (zh) | 2019-06-24 | 2020-06-17 | 信号识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019116501A JP7268497B2 (ja) | 2019-06-24 | 2019-06-24 | 信号認識システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021002275A JP2021002275A (ja) | 2021-01-07 |
| JP7268497B2 true JP7268497B2 (ja) | 2023-05-08 |
Family
ID=73654107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019116501A Active JP7268497B2 (ja) | 2019-06-24 | 2019-06-24 | 信号認識システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11017247B2 (ja) |
| JP (1) | JP7268497B2 (ja) |
| CN (1) | CN112131922A (ja) |
| DE (1) | DE102020112929A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7172441B2 (ja) * | 2018-10-25 | 2022-11-16 | トヨタ自動車株式会社 | 進行可能方向検出装置及び進行可能方向検出方法 |
| JP2022147209A (ja) * | 2021-03-23 | 2022-10-06 | トヨタ自動車株式会社 | 車両制御装置 |
| DE102021119319B4 (de) | 2021-07-26 | 2023-08-03 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Erkennung und/oder Repräsentation einer Signalisierungseinheit |
| JPWO2023037893A1 (ja) * | 2021-09-09 | 2023-03-16 | ||
| JP2023082783A (ja) | 2021-12-03 | 2023-06-15 | トヨタ自動車株式会社 | 車載通知装置 |
| JP2023140157A (ja) | 2022-03-22 | 2023-10-04 | トヨタ自動車株式会社 | 車両制御方法、車両制御システム、及び車両制御プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008242936A (ja) | 2007-03-28 | 2008-10-09 | Aisin Aw Co Ltd | 信号機データ作成方法、交差点通過情報取得方法、信号機データ作成システム及び交差点通過情報取得装置 |
| JP2009043068A (ja) | 2007-08-09 | 2009-02-26 | Honda Motor Co Ltd | 信号機認識装置 |
| JP2009244946A (ja) | 2008-03-28 | 2009-10-22 | Fujitsu Ltd | 信号機認識装置，信号機認識方法および信号機認識プログラム |
| JP2019053619A (ja) | 2017-09-15 | 2019-04-04 | 株式会社東芝 | 信号識別装置、信号識別方法、及び運転支援システム |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4915281B2 (ja) | 2007-05-24 | 2012-04-11 | アイシン・エィ・ダブリュ株式会社 | 信号機検出装置、信号機検出方法及びプログラム |
| JP5462609B2 (ja) * | 2009-12-09 | 2014-04-02 | 富士重工業株式会社 | 停止線認識装置 |
| JP5390636B2 (ja) * | 2009-12-16 | 2014-01-15 | パイオニア株式会社 | 信号認識装置、信号認識方法、及び信号認識プログラム |
| US9145140B2 (en) | 2012-03-26 | 2015-09-29 | Google Inc. | Robust method for detecting traffic signals and their associated states |
| US9158980B1 (en) * | 2012-09-19 | 2015-10-13 | Google Inc. | Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation |
| JP6200673B2 (ja) * | 2013-03-28 | 2017-09-20 | コイト電工株式会社 | 信号機判別装置 |
| JP6240475B2 (ja) * | 2013-11-05 | 2017-11-29 | 株式会社Ｓｕｂａｒｕ | 車外環境認識装置 |
| JP6325806B2 (ja) * | 2013-12-06 | 2018-05-16 | 日立オートモティブシステムズ株式会社 | 車両位置推定システム |
| US9365214B2 (en) * | 2014-01-30 | 2016-06-14 | Mobileye Vision Technologies Ltd. | Systems and methods for determining the status of a turn lane traffic light |
| EP3147884B1 (en) * | 2014-05-20 | 2019-12-11 | Nissan Motor Co., Ltd | Traffic-light recognition device and traffic-light recognition method |
| JP6299517B2 (ja) | 2014-08-08 | 2018-03-28 | 日産自動車株式会社 | 信号機認識装置及び信号機認識方法 |
| US9779314B1 (en) * | 2014-08-21 | 2017-10-03 | Waymo Llc | Vision-based detection and classification of traffic lights |
| JP6477883B2 (ja) * | 2015-07-13 | 2019-03-13 | 日産自動車株式会社 | 信号機認識装置及び信号機認識方法 |
| WO2017009933A1 (ja) * | 2015-07-13 | 2017-01-19 | 日産自動車株式会社 | 信号機認識装置及び信号機認識方法 |
| JP6604577B2 (ja) * | 2016-07-07 | 2019-11-13 | パナソニックＩｐマネジメント株式会社 | 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム |
| JP2020501423A (ja) * | 2016-12-06 | 2020-01-16 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法 |
| CN106781521B (zh) * | 2016-12-30 | 2020-12-25 | 东软集团股份有限公司 | 交通信号灯的识别方法和装置 |
| US10139832B2 (en) * | 2017-01-26 | 2018-11-27 | Intel Corporation | Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis |
| US10650257B2 (en) * | 2017-02-09 | 2020-05-12 | SMR Patents S.à.r.l. | Method and device for identifying the signaling state of at least one signaling device |
| DE102017203236A1 (de) * | 2017-02-28 | 2018-08-30 | Conti Temic Microelectronic Gmbh | Vorrichtung und Verfahren zum Detektieren einer Ampelphase für ein Kraftfahrzeug |
| US10380438B2 (en) * | 2017-03-06 | 2019-08-13 | Honda Motor Co., Ltd. | System and method for vehicle control based on red color and green color detection |
| US10614326B2 (en) * | 2017-03-06 | 2020-04-07 | Honda Motor Co., Ltd. | System and method for vehicle control based on object and color detection |
| JP7173042B2 (ja) * | 2017-11-30 | 2022-11-16 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
| JP6939615B2 (ja) * | 2018-02-02 | 2021-09-22 | トヨタ自動車株式会社 | 信号機認識装置 |
| CN109031306A (zh) * | 2018-06-29 | 2018-12-18 | 合肥东恒锐电子科技有限公司 | 一种用于视障人群的导航方法及系统 |
| US11087153B2 (en) * | 2018-10-31 | 2021-08-10 | Cognizant Technology Solutions India Pvt. Ltd. | Traffic light recognition system and method |
| CN109598244B (zh) * | 2018-12-07 | 2023-08-22 | 吉林大学 | 一种交通信号灯识别系统及其识别方法 |
-
2019
- 2019-06-24 JP JP2019116501A patent/JP7268497B2/ja active Active
-
2020
- 2020-05-13 DE DE102020112929.7A patent/DE102020112929A1/de active Pending
- 2020-05-15 US US16/875,042 patent/US11017247B2/en active Active
- 2020-06-17 CN CN202010551712.8A patent/CN112131922A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008242936A (ja) | 2007-03-28 | 2008-10-09 | Aisin Aw Co Ltd | 信号機データ作成方法、交差点通過情報取得方法、信号機データ作成システム及び交差点通過情報取得装置 |
| JP2009043068A (ja) | 2007-08-09 | 2009-02-26 | Honda Motor Co Ltd | 信号機認識装置 |
| JP2009244946A (ja) | 2008-03-28 | 2009-10-22 | Fujitsu Ltd | 信号機認識装置，信号機認識方法および信号機認識プログラム |
| JP2019053619A (ja) | 2017-09-15 | 2019-04-04 | 株式会社東芝 | 信号識別装置、信号識別方法、及び運転支援システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021002275A (ja) | 2021-01-07 |
| CN112131922A (zh) | 2020-12-25 |
| DE102020112929A1 (de) | 2020-12-24 |
| US20200401824A1 (en) | 2020-12-24 |
| US11017247B2 (en) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7268497B2 (ja) | 信号認識システム | |
| CN112400095B (zh) | 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置 | |
| JP5254102B2 (ja) | 環境認識装置 | |
| JP5363921B2 (ja) | 車両用白線認識装置 | |
| CN115867767A (zh) | 用于车辆导航的系统和方法 | |
| US11216689B2 (en) | Detection of emergency vehicles | |
| CN111223315B (zh) | 交通引导物识别装置、交通引导物识别方法及存储介质 | |
| CN112991791B (zh) | 交通信息识别和智能行驶方法、装置、设备及存储介质 | |
| JP5065172B2 (ja) | 車両灯火判定装置及びプログラム | |
| US20220357417A1 (en) | Sound source visualization device and method | |
| CN112400193B (zh) | 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置 | |
| JP7251582B2 (ja) | 表示制御装置および表示制御プログラム | |
| US11335099B2 (en) | Proceedable direction detection apparatus and proceedable direction detection method | |
| EP3779871A1 (en) | Arithmetic processing device, object identification system, object identification method, automobile, and vehicular lighting fixture | |
| CN112001235A (zh) | 车辆通行信息的生成方法、装置和计算机设备 | |
| CN110171415A (zh) | 车辆控制装置 | |
| CN109969077A (zh) | 车辆用照明系统及车辆 | |
| CN107111741B (zh) | 用于具有摄像机的机动车的方法，设备和系统 | |
| CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
| CN113989772A (zh) | 一种交通灯检测方法、装置、车辆和可读存储介质 | |
| CN103890777A (zh) | 用于估计道路走向的方法和用于控制车辆的至少一个大灯的光发射的方法 | |
| JP7255706B2 (ja) | 信号機認識方法及び信号機認識装置 | |
| US20210024082A1 (en) | Traffic signal interpretation system and vehicle control system | |
| JP7255707B2 (ja) | 信号機認識方法及び信号機認識装置 | |
| RU2779798C1 (ru) | Способ распознавания светофора и устройство распознавания светофора |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7268497 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |