KR101988811B1 - 신호기 인식 장치 및 신호기 인식 방법 - Google Patents
신호기 인식 장치 및 신호기 인식 방법 Download PDFInfo
- Publication number
- KR101988811B1 KR101988811B1 KR1020187001244A KR20187001244A KR101988811B1 KR 101988811 B1 KR101988811 B1 KR 101988811B1 KR 1020187001244 A KR1020187001244 A KR 1020187001244A KR 20187001244 A KR20187001244 A KR 20187001244A KR 101988811 B1 KR101988811 B1 KR 101988811B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- signal
- vehicle
- imaging
- section
- Prior art date
Links
- 230000011664 signaling Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 179
- 230000008859 change Effects 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 49
- 238000010586 diagram Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H04N5/225—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Atmospheric Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
차량 주위의 화상을 촬상하는 카메라(11)와, 차량 주위의 지도 정보를 취득하는 지도 정보 취득부(17)와, 차량의 지도상의 현재 위치를 검출하는 차량 현재 위치 검출부(12)와, 차량 현재 위치와 상기 지도 정보에 기초하여, 상기 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부(21)를 구비한다. 또한, 신호기의 화상 상의 위치와 신호기의 화상 상의 장래의 이동 방향에 기초하여, 카메라의 촬상 방향을 설정하는 촬상 자세 설정부(23)와, 카메라의 촬상 방향을, 촬상 방향 설정부에 의해 설정된 촬상 방향으로 변경하는 카메라 자세 제어부(24)와, 카메라가 촬상 방향에서 촬상한 화상으로부터 신호기를 인식하는 신호기 인식부(14)를 구비한다. 카메라의 자세에 영향을 받는 일 없이, 신호기의 점등 상태를 고정밀도로 검출할 수 있다.
Description
본 발명은, 차량에 탑재되어 신호기를 인식하는 신호기 인식 장치 및 신호기 인식 방법에 관한 것이다.
예를 들어, 자동 운전 기능이 탑재된 차량에서는, 차량의 주행로에 설치되는 신호기를 인식하고, 신호기의 점등색 등의 점등 상태를 검출함으로써, 정지, 주행 등의 운전을 제어한다.
종래에 있어서의 신호기 인식 장치로서, 예를 들어 특허문헌 1(일본 특허 공개 평11-306489호 공보)에 개시된 것이 알려져 있다. 당해 인용문헌 1에서는, 차량에 카메라를 탑재하여 전방의 신호기를 촬상한다. 이때, 카메라에 의해 촬상된 화상의 중심에 신호기가 위치하도록, 카메라의 수평 방향의 각도 및 수직 방향의 각도를 제어한다. 또한, 신호기의 화상이 원하는 크기가 되도록 확대율을 제어하고 있다.
그러나, 특허문헌 1에 개시된 종래예에서는, 카메라의 촬상 방향을 변경하고 있는 동안은, 당해 카메라에 의해 촬상되는 화상에 흔들림이 발생하여 화상 인식이 어려워진다. 그 결과, 카메라의 촬상 방향을 변경하고 있는 동안은 신호기의 점등 상태의 검출 정밀도가 저하될 우려가 있었다.
본 발명은, 이러한 종래의 과제를 해결하기 위해 이루어진 것이며, 그 목적으로 하는 점은, 차량이 신호기에 접근하였을 때, 촬상부의 촬상 방향의 변경을 불필요하게 하거나, 혹은 촬상 방향의 변경 횟수를 저감시키는 것이 가능한 신호기 인식 장치를 제공하는 데 있다.
본 발명의 일 태양에 관한 신호기 인식 장치는, 촬상부와, 지도 정보를 취득하는 지도 정보 취득부와, 차량의 지도상의 현재 위치를 검출하는 차량 현재 위치 검출부와, 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부를 갖는다. 또한, 신호기의 화상 상의 위치와, 신호기의 화상 상의 장래의 이동 방향에 기초하여, 촬상부의 촬상 방향을 설정하는 촬상 방향 설정부와, 촬상부의 촬상 방향을, 촬상 방향 설정부에 의해 설정된 촬상 방향으로 변경하는 촬상 방향 변경부와, 촬상부가 촬상 방향에서 촬상한 화상으로부터 신호기를 인식하는 신호기 인식부를 구비한다.
본 발명의 일 태양에 관한 신호기 인식 방법은, 촬상부에 의해 차량 주위의 화상을 촬상하고, 차량 주위의 지도 정보를 취득하고, 차량의 지도상의 현재 위치를 검출하고, 차량 현재 위치와 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정한다. 또한, 신호기의 화상 상의 위치와, 신호기의 화상 상의 장래의 이동 방향에 기초하여, 촬상부의 촬상 방향을 설정하고, 촬상부의 촬상 방향을, 촬상 방향 설정부에 의해 설정된 촬상 방향으로 변경하고, 촬상부가 촬상 방향에서 촬상한 화상으로부터 신호기를 인식한다.
도 1은 본 발명의 실시 형태에 관한 신호기 인식 장치 및 그 주변 기기의 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시 형태에 관한 신호기 인식 장치의 상세한 구성을 나타내는 블록도이다.
도 3은 제1 실시 형태에 관한 촬상 자세 설정부의 상세한 구성을 나타내는 블록도이다.
도 4는 제1 실시 형태에 관한 신호기 인식 장치의 처리 순서를 나타내는 흐름도이다.
도 5는 화상 내에 존재하는 신호기의, 현재의 위치 좌표를 나타내는 설명도이다.
도 6은 화상 내에 존재하는 신호기의, 과거의 위치 좌표 및 현재의 위치 좌표를 나타내는 설명도이다.
도 7은 카메라의 촬상 방향을 변경하여, 신호기의 위치 좌표가 화상의 좌측 하방으로 이동한 모습을 나타내는 설명도이다.
도 8은 제1 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 9는 제2 실시 형태에 관한 촬상 자세 설정부의 상세한 구성을 나타내는 블록도이다.
도 10은 제2 실시 형태에 관한 신호기 인식 장치의 처리 순서를 나타내는 흐름도이다.
도 11은 제2 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향 변경 후의 화상을 나타낸다.
도 12는 차량이 커브로를 주행하였을 때의, 화상 상에서의 신호기의 이동 궤적을 나타내는 설명도이다.
도 13은 제2 실시 형태를 채용하지 않은 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c), (d)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 14는 제3 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 15는 제3 실시 형태를 채용하지 않은 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 16은 제3 실시 형태의 변형예에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 17은 제4 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c), (d), (e)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 18은 제5 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 2는 본 발명의 실시 형태에 관한 신호기 인식 장치의 상세한 구성을 나타내는 블록도이다.
도 3은 제1 실시 형태에 관한 촬상 자세 설정부의 상세한 구성을 나타내는 블록도이다.
도 4는 제1 실시 형태에 관한 신호기 인식 장치의 처리 순서를 나타내는 흐름도이다.
도 5는 화상 내에 존재하는 신호기의, 현재의 위치 좌표를 나타내는 설명도이다.
도 6은 화상 내에 존재하는 신호기의, 과거의 위치 좌표 및 현재의 위치 좌표를 나타내는 설명도이다.
도 7은 카메라의 촬상 방향을 변경하여, 신호기의 위치 좌표가 화상의 좌측 하방으로 이동한 모습을 나타내는 설명도이다.
도 8은 제1 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 9는 제2 실시 형태에 관한 촬상 자세 설정부의 상세한 구성을 나타내는 블록도이다.
도 10은 제2 실시 형태에 관한 신호기 인식 장치의 처리 순서를 나타내는 흐름도이다.
도 11은 제2 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향 변경 후의 화상을 나타낸다.
도 12는 차량이 커브로를 주행하였을 때의, 화상 상에서의 신호기의 이동 궤적을 나타내는 설명도이다.
도 13은 제2 실시 형태를 채용하지 않은 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c), (d)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 14는 제3 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 15는 제3 실시 형태를 채용하지 않은 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 16은 제3 실시 형태의 변형예에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 17은 제4 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c), (d), (e)는 촬상 방향의 변경 후의 화상을 나타낸다.
도 18은 제5 실시 형태에 관한 신호기 인식 장치의, 촬상 방향의 변경 타이밍을 나타내는 설명도이며, (a)는 차량의 주행 경로를 나타내고, (b)는 촬상 방향의 변경 전의 화상을 나타내고, (c)는 촬상 방향의 변경 후의 화상을 나타낸다.
이하, 본 발명의 실시 형태에 대해 도면을 참조하여 설명한다.
[제1 실시 형태의 설명]
도 1은, 본 발명의 제1 실시 형태에 관한 신호기 인식 장치 및 그 주변 기기의 구성을 나타내는 블록도이다. 또한, 도 2는 도 1에 나타낸 신호기 인식 장치(100)를 상세하게 나타낸 블록도이다. 도 1에 나타낸 바와 같이, 신호기 인식 장치(100)는 차량(51)에 탑재되고, 당해 차량(51)에 탑재된 각종 기기로부터, 지도 정보(D02), 카메라 정보(D03), 차량 현재 위치 정보(D05) 및 화상 데이터(D07)가 입력된다. 그리고, 당해 신호기 인식 장치(100)에서 인식한 정보인 신호기 정보(D04)를 후단의 장치에 출력한다.
카메라 정보(D03)는, 차량(51)에 대한 카메라(11)(도 2 참조)의 설치 위치에 관한 정보이다. 차량(51)의 지도상의 방향을 나타내는 3차원 정보가 취득되면, 카메라 정보(D03)에 기초하여 카메라(11)에 의한 차량 주위의 촬상 영역을 추정하는 것이 가능해진다.
지도 정보(D02)는, 차량이 주행하는 주행로의 지도 데이터(차량 주위의 지도 정보)를 포함하는 지도 데이터베이스로부터 부여되는 정보이며, 주행로에 존재하는 지상 랜드마크 등의 물표의 위치 정보 및 신호기의 위치 정보 등이 포함되어 있다.
도 2에 나타낸 바와 같이 신호기 인식 장치(100)는, 카메라(11)(촬상부), 차량 현재 위치 검출부(12), 지도 정보 취득부(17), 촬상 방향 설정부(13), 신호기 인식부(14) 및 랜드마크 정보 취득부(18)를 구비하고 있다.
카메라(11)는, 예를 들어 CCD, CMOS 등의 고체 촬상 소자를 구비한 카메라이며, 차량(51)에 설치되고, 주행로의 주위를 촬상하여 주변 영역의 디지털 화상을 취득한다. 카메라(11)는, 촬상한 화상을 화상 데이터(D07)로서, 신호기 인식부(14)에 출력한다. 또한, 카메라(11)는, 차량(51)에 대한 카메라(11)의 설치 위치에 관한 정보를 기억하고 있고, 카메라 정보(D03)로서, 촬상 방향 설정부(13)에 출력한다. 카메라(11)의 설치 위치에 관한 정보는, 예를 들어 캘리브레이션용 마크 등을 차량(51)에 대해 기지의 위치에 설치하여, 카메라(11)에 의해 촬상된 화상 상의 위치로부터 설치 위치를 산출할 수 있다. 또한, 카메라(11)는, 차량(51)에 대해 팬, 틸트 방향으로 회전 가능한 기구를 통해 설치되어 있고, 팬, 틸트 방향의 회전 각도를 구동하는 구동 기구를 갖고, 팬, 틸트 방향의 회전 각도를 구동함으로써, 카메라(11)를 원하는 촬상 방향으로 되도록 카메라(11)의 자세를 제어할 수 있다.
지도 정보 취득부(17)는, 차량이 주행하는 주행로의 지도 정보(차량 주위의 지도 정보)를 포함하는 지도 데이터베이스로부터, 주행로의 주변에 존재하는 지상 랜드마크 등의 물표의 위치 정보 및 신호기의 위치 정보 등을 취득한다. 이 지도 정보를, 지도 정보(D02)로서, 차량 현재 위치 검출부(12)와 촬상 방향 설정부(13)에 출력한다.
랜드마크 정보 취득부(18)는, 예를 들어 차량 탑재된 센싱용 카메라 혹은 레이저 레이더 등이며, 지상 랜드마크(노면 표시(레인 마크, 정지선, 문자), 연석, 신호기, 표지 등)를 인식하여, 차량(51)에 대한 상대 위치의 정보를 취득한다. 취득한 정보를 랜드마크 정보(D01)로서, 차량 현재 위치 검출부(12)에 출력한다.
차량 현재 위치 검출부(12)는, 랜드마크 정보(D01) 및 지도 정보(D02)를 취득하고, 이들 정보에 기초하여, 차량(51)의 지도상의 현재 위치를 검출하고, 이것을 차량 현재 위치 정보(D05)로서 출력한다. 전술한 바와 같이, 랜드마크 정보(D01)에는, 지상 랜드마크의 차량(51)에 대한 상대적인 위치 관계를 나타내는 정보가 포함되어 있다. 따라서, 당해 랜드마크 정보(D01)의 위치 정보와, 지도 정보(D02)에 포함되는 지상 랜드마크의 위치 정보를 대조함으로써, 차량(51)의 지도상의 현재 위치를 검출할 수 있다. 여기서, 「위치」에는, 좌표 및 자세가 포함된다. 구체적으로는, 지상 랜드마크의 위치에는 그 좌표 및 자세가 포함되고, 차량(51)의 위치에는 그 좌표 및 자세가 포함된다. 차량 현재 위치 검출부(12)는, 기준이 되는 좌표계에 있어서의 좌표(x,y,z) 및 각 좌표축의 회전 방향인 자세(요, 피치, 롤)를 차량 현재 위치 정보(D05)로서 출력한다.
촬상 방향 설정부(13)는, 차량 현재 위치 정보(D05)와 지도 정보(D02)에 기초하여, 차량(51)의 주행로에 존재하는 신호기가 카메라(11)의 촬상 영역 내에 들어가도록 카메라(11)의 촬상 방향을 자세 제어한다. 구체적으로는, 카메라(11)의 팬, 틸트 방향의 회전 각도를 목표로 하는 촬상 방향으로 되도록 구동함으로써, 카메라(11)의 자세를 제어할 수 있다. 그리고, 이 촬상 방향에서 촬상된 화상으로부터, 신호기가 존재한다고 추정되는 검출 영역을 설정하고, 검출 영역 정보(D06)로서 출력한다. 즉, 카메라(11)의 자세가 결정되고, 촬상할 영역이 설정되면, 카메라(11)에 의해 촬상되는 화상 상에서 신호기가 존재할 위치를 특정할 수 있기 때문에, 이 위치를 포함하는 영역을 검출 영역으로서 설정할 수 있다. 이 검출 영역 정보(D06)는, 신호기 인식부(14)에 출력된다. 이때, 검출 영역은, 신호기가 차량 거동이나 차량 현재 위치 정보에 오차가 발생한 경우라도 각 신호기가 검출 영역 내로부터 프레임 아웃되지 않는 크기로 설정한다. 촬상 방향 설정부(13)는, 차량(51)의 위치와, 신호기 위치와, 신호기 위치의 변화량에 기초하여, 카메라(11)의 촬상 방향을 결정하는 기능을 구비하고 있다. 촬상 방향 설정부(13)의 상세에 대해서는, 도 3을 참조하여 후술한다.
신호기 인식부(14)는, 카메라(11)에 의해 촬상된 화상 데이터(D07)로부터, 상술한 검출 영역 정보(D06)에 기초하여 신호기를 인식한다. 구체적으로는, 카메라(11)로부터 출력되는 화상 데이터(D07) 및 촬상 방향 설정부(13)에 의해 설정된 검출 영역 정보(D06)에 기초하여, 검출 영역에 대해 신호기를 인식하기 위한 화상 처리를 실시한다. 화상 처리의 방법으로서는, 예를 들어 신호기가 갖는 신호등을, 상용 전원의 교류 주기에 동기한 점멸광을 사용하여 검출하는 방법, 혹은 적, 녹, 황의 색상 및 원 형상 등의 특징의 유사 판정을 하는 방법 등을 이용하여 검출할 수 있다. 그 밖에, 신호기를 검출하기 위한 기지의 화상 처리를 적용할 수 있다. 신호기의 인식 처리는, 카메라(11)에 의해 촬상된 화상 데이터(D07) 전체가 아니라, 그 일부분으로서 설정한 검출 영역에 대해 실시함으로써, 신호기 검출을 위한 정보 처리의 부하를 경감시켜 신속하게 신호기를 검출할 수 있다. 그리고, 신호기 인식부(14)는, 신호기의 인식 결과를 신호기 정보(D04)로서 출력한다. 또한, 신호기의 인식 처리는 상기한 방법에 한정되지 않고, 그 밖의 방법을 채용하는 것도 가능하다.
도 3은, 촬상 방향 설정부(13)의 상세한 구성을 나타내는 블록도이다. 도 3에 나타낸 바와 같이, 촬상 방향 설정부(13)는, 신호기 위치 추정부(21), 위치 변화량 산출부(22), 촬상 자세 설정부(23), 카메라 자세 제어부(24) 및 검출 영역 산출부(25)를 구비하고 있다.
신호기 위치 추정부(21)는, 지도 정보(D02)와 차량 현재 위치 정보(D05)를 입력하고, 검출 위치 정보(D08)를 출력한다. 지도 정보(D02)에는, 각 신호기의 좌표가 포함되어 있기 때문에, 신호기 위치 추정부(21)는, 각 신호기의 좌표와 차량(51)의 좌표 및 카메라(11)의 자세에 기초하여, 차량(51)에 대한 신호기의 상대 좌표를 구할 수 있다. 따라서, 카메라(11)가 주위를 촬상할 때의 자세가 결정되면, 촬상한 화상 상에서의 신호기가 촬상될 화상 상의 위치를 특정할 수 있다. 예를 들어, 도 5에 나타낸 바와 같이 화상(R1) 내에서, 신호기의 추정 위치(x2,y2)을 설정할 수 있다. 즉, 신호기 위치 추정부(21)은 차량(51)의 주위 지도 정보에 기초하여, 신호기의 위치를 추정하는 기능을 구비하고 있다.
위치 변화량 산출부(22)는 화상(R1) 내에서의 신호기 위치의 변화량을 산출한다. 즉, 도 6에 나타낸 바와 같이, 화상(R1) 내에 있어서, 과거의 검출 위치 좌표(x1,y1)와 현재의 검출 위치 좌표(x3,y3)를 취득하여, 신호기의 화상 상의 위치 변화량을 산출한다. 그리고, 연산한 신호기의 화상 상의 위치 변화량을 검출 위치 변화 정보(D09)로서 출력한다. 구체적으로는, x 좌표의 차분(x3-x1)＝dx 및 y 좌표의 차분(y3-y1)＝dy를 연산하여, 변화량(dx, dy)을 구한다. 이때, 과거의 검출 시와 현재의 검출 시에는, 카메라(11)의 자세가 동일하게 되어 있을 것이 조건이 된다. 또한, 과거의 검출 위치 좌표로서, 검출 주기의 1주기 전의 것을 사용할 수 있다. 혹은, 노이즈가 발생하지 않는다면, 2주기 이상 전의 것을 사용해도 된다. 즉, 위치 변화량 산출부(22)는, 신호기 위치 추정부(21)에서 추정된 신호기 위치의 시간 경과에 수반되는 변화량을 산출하는 기능을 구비하고 있다.
촬상 자세 설정부(23)는, 상기한 변화량(dx, dy)을 참조하여, 이 변화량으로부터 화상(R1) 내에서의 신호기의 이동 방향을 추정한다. 그리고, 추정한 이동 방향에 기초하여, 화상(R1) 내로부터 신호기가 프레임 아웃되지 않도록 카메라(11)의 촬상 방향을 결정한다. 구체적으로는, 상기한 변화량(dx, dy)으로부터, 화상(R1) 내에서의 신호기의 변화 방향을 구하여, 이 변화 방향과는 반대 방향의 측이 되는 화상(R1) 내의 적소에 신호기가 위치하도록 카메라(11)의 촬상 방향을 결정한다. 즉, 촬상 자세 설정부(23)는, 차량(51)의 위치와, 신호기 위치 추정부(21)에 의해 추정된 신호기 위치와, 신호기 위치의 변화량에 기초하여, 카메라(11)의 촬상 방향을 결정하는 촬상 방향 설정부로서의 기능을 구비하고 있다.
상술한 도 5에 나타낸 바와 같이, 화상(R1) 내의 우측의 부호 q1의 지점에 신호기가 존재하고, 또한 도 6에 나타낸 바와 같이, 이 신호기의 이동 방향이 우측 상부 방향인 경우, 즉, dx가 양의 값(dx＞0), dy가 음의 값(dy＜0)인 경우에는, 화상(R1) 내에서의 신호기는, 우측 상부 방향으로 이동할 것이라고 추정된다. 따라서, 도 7에 나타낸 바와 같이, 화상(R1) 내의 좌측 하방의 부호 q2의 위치에 신호기가 위치하도록 카메라(11)의 촬상 방향을 결정한다. 여기서, 이러한 경우라도, 차량이 신호기의 지점을 통과할 때까지의 동안, 차량 거동이나 차량 현재 위치 정보에 오차가 발생한 경우를 상정해도, 신호기가 프레임 아웃되지 않는 위치에 추정 위치(x2,y2)가 존재한다고 판단되는 경우에는, 카메라(11)의 촬상 방향을 변경하지 않고 현재의 상태를 유지한다.
카메라 자세 제어부(24)는, 촬상 자세 설정부(23)로부터 출력된 촬상 자세 정보(D10)에 기초하여, 화상(R1) 내로부터 신호기가 프레임 아웃되지 않도록 카메라(11)의 촬상 방향을 자세 제어한다. 구체적으로는, 카메라(11)의 팬, 틸트 방향의 회전 각도를 목표로 하는 촬상 방향으로 되도록 구동함으로써, 카메라(11)의 자세를 제어할 수 있다. 그리고, 자세 제어에 의해 설정된 카메라(11)의 자세 정보(D11)를 출력한다. 또한, 촬상 자세 정보(D10)가 금회의 연산 시와 1주기 전의 연산 시에 변화되지 않을 경우에는, 카메라(11)의 촬상 방향의 변경을 행하지 않고 현재의 촬상 방향을 유지한다. 카메라 자세 제어부(24)는, 카메라(11)에 의한 촬상 방향이 촬상 자세 설정부(23)에 의해 설정된 촬상 방향으로 되도록 촬상 방향을 변경하는 촬상 방향 변경부로서의 기능을 구비하고 있다.
검출 영역 산출부(25)는, 상기한 카메라(11)의 자세 정보(D11)와, 지도 정보(D02) 및 차량 현재 위치 정보(D05)에 기초하여 카메라(11)에 의해 촬상된 화상(R1)으로부터, 신호기를 검출하기 위한 검출 영역을 설정한다. 지도 정보(D02)에는, 미리 신호기의 위치가 지도상의 좌표로서 등록되어 있다. 지도상의 신호기의 위치 좌표와, 지도상의 차량(51)의 현재 위치의 좌표 및 자세에 기초하여, 차량(51)에 대한 신호기의 상대 위치를 구할 수 있다. 그리고, 이 상대 위치와, 카메라(11)의 차량(51)에 대한 자세 정보(D11)에 기초하여, 카메라(11)에 의해 촬상된 화상(R1)의 화상 상의 신호기의 위치를 구하고, 또한 이 화상 상의 신호기의 위치에 기초하여, 화상(R1) 내에 검출 영역을 설정한다. 검출 영역은, 차량 거동이나 차량 현재 위치 정보에 오차가 발생한 경우라도 신호기가 프레임 아웃되지 않는 크기로 정한다. 그리고, 설정한 검출 영역 정보(D06)를 출력한다. 이 검출 영역 정보(D06)는, 도 2에 나타낸 바와 같이 신호기 인식부(14)에 출력된다.
또한, 전술한 차량 현재 위치 검출부(12), 촬상 방향 설정부(13), 신호기 인식부(14)는, CPU, 메모리 및 입출력부를 구비하는 마이크로컨트롤러를 사용하여 실현할 수 있다. 구체적으로, CPU는, 미리 인스톨된 컴퓨터 프로그램을 실행함으로써, 마이크로컨트롤러가 구비하는 복수의 정보 처리부(12, 13, 14)를 구성한다. 마이크로컨트롤러가 구비하는 메모리의 일부는, 지도 정보(D02)를 기억하는 지도 데이터베이스를 구성한다. 또한, 마이크로컨트롤러는, 차량에 관계되는 다른 제어(예를 들어, 자동 운전 제어)에 사용하는 ECU와 겸용해도 된다.
다음으로, 상술한 제1 실시 형태에 관한 신호기 인식 장치(100)의 작용을, 도 4에 나타낸 흐름도를 참조하여 설명한다. 먼저, 스텝 S11에 있어서, 도 3에 나타낸 신호기 위치 추정부(21)는, 지도 정보(D02)와 차량 현재 위치 정보(D05)에 기초하여, 카메라(11)에 의해 촬상된 화상(R1) 내에서 신호기 위치를 산출한다. 구체적으로는, 도 5에 나타낸 부호 q1의 위치를 산출한다. 이 처리는, 소정의 연산 주기로 실행된다.
스텝 S12에 있어서, 위치 변화량 산출부(22)는, 화상(R1) 내에서의 신호기 위치의 변화량을 산출한다. 도 6에 나타낸 바와 같이, 신호기의 위치 좌표가 (x1,y1)로부터 (x3,y3)으로 이동한 경우에는, 이때의 변화량(dx,dy)을 산출한다.
스텝 S13에 있어서 촬상 자세 설정부(23)는, 화상(R1) 내의 신호기가, 당해 화상(R1)으로부터 프레임 아웃되는지 여부를 추정한다. 이 처리에서는, 도 6에 나타낸 바와 같이, 신호기의 추정 위치 좌표(x2,y2) 및 변화량(dx, dy)에 기초하여, 신호기가 화상(R1)으로부터 프레임 아웃되는지 여부를 추정한다.
그리고, 프레임 아웃될 것이라고 추정되는 경우에는(스텝 S13에서 "예"), 스텝 S14에 있어서, 카메라 자세 제어부(24)는, 화상(R1)으로부터 신호기가 프레임 아웃되지 않도록, 혹은 부득이하게 프레임 아웃되는 경우라도, 촬상 방향의 변경 횟수가 최소한에 그치도록 카메라(11)의 촬상 방향을 설정하여 자세 제어한다. 예를 들어, 도 6에 나타낸 바와 같이, 화상(R1) 내에서의 신호기가 좌표(x2,y2)에 존재한다고 추정되고, 또한 이 신호기가 우측 상방으로 이동한 경우에는, 이 상태로는 신호기는 화상(R1)으로부터 프레임 아웃될 것이라고 예상된다. 따라서, 도 7에 나타낸 바와 같이 화상(R1) 내의 좌측 하방에 나타낸 부호 q2의 위치에 신호기가 위치하도록, 카메라(11)의 촬상 방향을 설정한다. 스텝 S15에 있어서, 카메라 자세 제어부(24)는, 설정된 촬상 방향으로 되도록 카메라(11)의 자세를 제어한다.
한편, 프레임 아웃되지 않을 것이라고 추정되는 경우에는(스텝 S13에서 "아니오"), 스텝 S16으로 처리를 진행한다. 그 후, 스텝 S16에 있어서, 검출 영역 산출부(25)는, 카메라(11)에 의해 촬상된 화상(R1)으로부터, 신호기를 검출하기 위한 검출 영역을 설정한다. 그 결과, 차량(51)이 신호기가 설치되어 있는 교차점에 접근하였을 때, 당해 신호기가 화상(R1)으로부터 프레임 아웃되는 것을 피할 수 있다.
다음으로, 차량(51)이 신호기에 접근할 때의, 화상(R1) 내에서의 신호기 위치의 변화에 대해 설명한다. 도 8은, 차량(51)이 직선의 주행로(X1)를 주행하여 신호기(P1)에 접근하고 있는 모습을 모식적으로 나타내는 설명도이다. 도 8의 (a)는 차량과 신호기(P1)의 위치 관계를 나타내고, (b)는 카메라(11)의 촬상 방향을 변경하기 전의 화상(R1)을 나타내고, (c)는 카메라(11)의 촬상 방향을 변경한 후의 화상(R1)을 나타내고 있다.
도 8의 (a)에 나타낸 지점 Z1은, 차량(51)이 신호기(P1)로부터 충분히 떨어져 있어, 카메라(11)에 의해 촬상한 화상으로부터 신호기(P1)를 확인할 수 있는 지점이다. 또한, 지점 Z2는 차량(51)이 신호기(P1)에 접근한 지점이다. 지점 Z3은, 정지선이 설정되어 있는 지점이다. 따라서, 지점 Z2 내지 Z3의 영역은, 차량(51)이 제동을 행하는 영역, 즉, 정지 혹은 주행을 판단하여, 정지한다고 판단한 경우에는, 차량(51)을 감속시켜 차량(51)이 정지하도록 제동하는 영역이다. 이 때문에, 지점 Z2 내지 Z3으로 나타낸 영역은, 신호기(P1)의 점등 상태의 변화를 고정밀도로 인식할 필요가 있는 영역이다.
도 8의 (a)에 나타낸 바와 같이, 차량(51)이 지점 Z1을 주행하고 있는 경우에는, 도 8의 (b)의 부호 b1로 나타낸 바와 같이, 신호기(P1)는 카메라(11)에 의해 촬상되는 화상(R1) 내의 우측 하방에 존재하고 있다.
그 후, 차량(51)이 지점 Z2에 도달하면, 부호 b2로 나타낸 바와 같이, 신호기(P1)는 화상(R1) 내의 우측 상부 방향으로 이동한다. 이때, 차량(51)의 접근에 수반하여 신호기(P1)는 크게 표시되어 있다. 따라서, 이 상태 그대로라면 신호기(P1)는 화상(R1)으로부터 프레임 아웃되어 버린다.
본 실시 형태에서는, 차량(51)이 주행로의 지점 Z2에 도달한 시점에서, 카메라(11)의 촬상 방향을 변경한다. 구체적으로는, 카메라(11)에 의한 촬상 영역을 우측 상부 방향으로 이동시킨다. 이와 같이 함으로써, 도 8의 (c)의 부호 c1로 나타낸 바와 같이, 신호기(P1)가 화상(R1) 내의 좌측 하방으로 이동하게 된다. 따라서, 차량(51)이 더 진행하여 지점 Z3에 도달한 시점에서는, 부호 c2로 나타낸 바와 같이, 신호기(P1)가 화상(R1)으로부터 프레임 아웃되지 않고 확실하게 표시되어 있다. 즉, 신호기(P1)의 점등 상태를 고정밀도로 인식할 필요가 있는 지점 Z2 내지 Z3의 영역에 있어서, 카메라(11)의 촬상 방향을 변경하지 않고, 화상(R1) 내에 신호기(P1)를 그대로 둘 수 있다. 그리고, 이 화상(R1) 내에 검출 영역을 설정함으로써, 고정밀도의 신호기 인식이 가능해진다.
이와 같이 하여, 제1 실시 형태에 관한 신호기 인식 장치(100)에서는, 카메라(11)에 의해 촬상되는 화상(R1) 내에 존재하는 신호기(P1)를 검출할 때에는, 화상(R1) 내에서의 신호기(P1)의 이동 방향에 기초하여, 당해 신호기(P1)가 프레임 아웃되는지 여부를 추정한다. 그리고, 프레임 아웃될 것이라고 추정된 경우에는, 사전에 화상(R1) 내의 신호기(P1)의 위치가, 프레임 아웃되지 않는 위치로 되도록 카메라(11)의 촬상 방향을 변경한다.
따라서, 차량(51)이 도 8의 (a)에 나타낸 신호기(P1)에 접근하여, 지점 Z2에 도달한 후에는, 카메라(11)의 촬상 방향의 자세 제어를 하지 않고, 신호기(P1)가 화상(R1)으로부터 프레임 아웃되는 것을 피할 수 있다. 즉, 신호기(P1)의 점등 상태를 검출할 때에 가장 중요한 지점 Z2 내지 Z3의 영역에서, 카메라(11)의 촬상 방향의 변경이 불필요해지거나, 혹은 촬상 방향의 변경 횟수가 저감되므로, 카메라(11)에 의해 촬상되는 화상에 흔들림이 발생하는 것을 피할 수 있다. 따라서, 확실하게 신호기(P1)의 점등 상태를 검출하여, 자동 운전 등에 도움이 될 수 있다.
또한, 촬상 방향 설정부(13)는, 신호기의 화상 상의 위치와 신호기의 화상 상의 장래의 이동 범위로부터 촬상 방향의 변경량을 산출하여, 카메라(11)의 촬상 범위와, 촬상 방향의 변경량에 기초하여 촬상 방향을 설정하기 때문에, 신호기(P1)가 화상(R1)으로부터 프레임 아웃되는 것을 확실하게 회피할 수 있다.
[제1 실시 형태의 변형예의 설명]
다음으로, 제1 실시 형태에 관한 신호기 인식 장치(100)의 변형예에 대해 설명한다. 전술한 제1 실시 형태에서는, 차량의 차량 현재 위치 정보(D05) 및 지도 정보(D02)(도 3 참조)에 기초하여, 화상(R1) 내에 존재하는 신호기(P1)의 위치를 추정하고, 이 신호기(P1)의 이동 방향에 기초하여 카메라(11)의 촬상 방향의 자세 제어를 하는 구성으로 하였다.
이에 비해, 변형예에 관한 신호기 인식 장치에서는, 도 3에 나타낸 신호기 위치 추정부(21)가, 화상(R1) 내의 화상을 실제로 화상 처리함으로써, 신호기(P1)의 위치를 인식한다. 그리고, 위치 변화량 산출부(22)는, 과거에 인식한 신호기(P1)의 위치(x1, y1)와, 현재 인식한 신호기(P1)의 위치(x2, y2)를 화상 처리에 의해 검출하고, 검출한 위치 정보로부터 검출 위치 변화 정보(D09)를 구한다.
이와 같이, 변형예에 관한 신호기 인식 장치에서는, 화상(R1) 내의 화상 내에 존재하는 신호기(P1)를 화상 처리에 의해 인식하고, 이 신호기(P1)의 이동 방향에 기초하여 카메라(11)의 촬상 방향의 자세 제어를 하기 때문에, 더욱 고정밀도의 카메라(11)의 촬상 방향의 자세 제어가 가능해진다.
[제2 실시 형태의 설명]
다음으로, 본 발명의 제2 실시 형태에 대해 설명한다. 제2 실시 형태에 관한 신호기 인식 장치의 전체 구성은, 전술한 도 1과 동일하며, 촬상 방향 설정부(13)의 구성이 상이하다. 이하, 도 9에 나타낸 블록도를 참조하여, 제2 실시 형태에 관한 촬상 방향 설정부(13)의 구성에 대해 설명한다.
도 9에 나타낸 바와 같이, 촬상 방향 설정부(13)는, 주행 경로 결정부(26)와, 신호기 위치 추정부(21)와, 촬상 자세 설정부(23)와, 카메라 자세 제어부(24) 및 검출 영역 산출부(25)를 구비하고 있다. 도 3에 나타낸 「위치 변화량 산출부(22)」 대신에 「주행 경로 결정부(26)」가 설치되어 있는 점에서, 전술한 제1 실시 형태와 상이하다. 도 3과 동일한 구성 요소에 대해서는, 동일 부호를 붙이고 구성 설명을 생략한다.
주행 경로 결정부(26)에는, 지도 정보(D02) 및 차량 현재 위치 정보(D05)가 입력되고, 이들 정보를 사용하여, 차량(51)이 주행하는 경로를 구한다. 예를 들어, 지도 정보(D02)에 기초하여, 차량(51)이 현재 주행하고 있는 주행로를 검출하고, 또한 차량 현재 위치 정보(D05)로부터 차량(51)이 이 주행로 상의 어느 위치를 주행하고 있는지를 검출한다. 그리고, 이 검출 결과로부터 차량(51)이 금후 주행할 경로를 추정하여, 주행 경로 정보(D12)로서 출력한다. 예를 들어, 차량(51)이 커브로의 바로 앞을 주행하고 있고, 그 후, 이 커브로에 진입할 것이라고 추정되는 경우에는(후술하는 도 11의 (a)의 차량(51) 참조), 이 커브로의 커브 방향(좌측 또는 우측 방향) 및 곡률 반경의 정보를 주행 경로 정보(D12)로서 출력한다.
촬상 자세 설정부(23)는, 주행 경로 정보(D12) 및 신호기 위치 추정부(21)로부터 출력되는 검출 위치 정보(D08)에 기초하여, 카메라(11)의 촬상 방향을 결정한다. 구체적으로는, 촬상 자세 설정부(23)는, 차량(51)의 주행 상황에 따라서 카메라(11)가 신호기(P1)를 촬상할 때의 촬상 방향의 변화를 예측하여, 촬상 방향에 변화가 발생한 경우라도 신호기(P1)가 화상(R1)으로부터 프레임 아웃되지 않도록 카메라(11)의 촬상 방향을 결정한다.
다음으로, 제2 실시 형태에 관한 신호기 인식 장치의 작용을, 도 10에 나타낸 흐름도를 참조하여 설명한다. 먼저, 스텝 S31에 있어서, 도 9에 나타낸 신호기 위치 추정부(21)는, 지도 정보(D02)와 차량 현재 위치 정보(D05)에 기초하여, 카메라(11)에 의해 촬상된 화상(R1) 내에서 신호기 위치를 산출한다. 이 처리는, 소정의 연산 주기로 실행된다.
스텝 S32에 있어서, 주행 경로 결정부(26)는, 차량(51)이 장래 주행할 것이라고 추정되는 경로를 지도 정보(D02)로부터 취득하고, 또한 차량(51)의 차량 현재 위치 정보(D05)에 기초하여, 화상(R1) 내에서의 신호기의 움직임을 예측한다.
스텝 S33에 있어서 촬상 자세 설정부(23)는, 화상(R1) 내의 신호기가, 당해 화상(R1)으로부터 프레임 아웃되는지 여부를 추정한다. 이 처리에서는, 차량(51)의 주행 경로의 상황에 기초하여, 당해 차량(51)이 신호기가 설치되어 있는 교차점에 접근한 경우의, 차량(51)의 주행 방향 등의 정보로부터, 신호기가 화상으로부터 프레임 아웃되는지 여부를 추정한다.
그리고, 프레임 아웃될 것이라고 추정되는 경우에는(스텝 S33에서 "예"), 스텝 S34에 있어서, 카메라 자세 제어부(24)는 화상(R1)으로부터 신호기가 프레임 아웃되지 않도록, 혹은 부득이하게 프레임 아웃되는 경우라도, 촬상 방향의 변경 횟수가 최소한에 그치도록 카메라(11)의 촬상 방향을 설정하여 자세 제어한다. 카메라(11)의 촬상 방향의 자세 제어에 대해서는, 도 11 내지 도 13을 참조하여 후술한다. 스텝 S35에 있어서, 카메라 자세 제어부(24)는, 설정된 촬상 방향으로 되도록 카메라(11)의 촬상 방향의 자세 제어를 한다. 그 후, 스텝 S36으로 처리를 진행한다.
한편, 프레임 아웃되지 않을 것이라고 추정되는 경우에는(스텝 S33에서 "아니오"), 스텝 S36으로 처리를 진행한다. 스텝 S36에 있어서, 검출 영역 산출부(25)는, 카메라(11)에 의해 촬상된 화상(R1)으로부터, 신호기를 검출하기 위한 검출 영역을 설정한다. 이러한 설정에 의해, 차량(51)이 신호기가 설치된 교차점에 접근하였을 때, 당해 신호기가 화상(R1) 내로부터 프레임 아웃되는 것을 피할 수 있다.
다음으로, 전술한 스텝 S34의 처리 상세에 대해, 도 11 내지 도 13을 참조하여 설명한다. 예를 들어, 도 11의 (a)에 나타낸 바와 같이, 차량(51)이 우측 방향으로 커브되는 커브로(X2)를 주행하여, 신호기(P1)가 설치된 교차점을 향하는 경우를 예로 들어 설명한다. 도 11의 (a)에 나타낸 바와 같이, 차량(51)은 지점 Z1, Z2, Z3, Z4를 향해 진행한다.
여기서, 도 11의 (a)에 나타낸 지점 Z1에 있어서, 도 11의 (b)의 부호 b1로 나타낸 바와 같이, 화상(R1)의 좌측 하방에 신호기(P1)가 존재하고 있다고 하자. 이 확대도를 도 12에 나타낸다. 그리고, 차량(51)이 커브로(X2)를 주행함으로써 신호기(P1)는, 도 12에 나타낸 화상(R1)에 대해 곡선 L1과 같이 이동하게 된다. 또한, 도 12에 나타낸 Z1 내지 Z4는, 도 11의 (a)에 나타낸 지점 Z1 내지 Z4에 대응하고 있다. 따라서, 카메라(11)의 촬상 방향을 변화시켜 화상(R1)을 이동시키지 않으면, 신호기(P1)는 화상(R1)으로부터 프레임 아웃되어 버린다.
화상(R1) 내에서, 신호기(P1)가 곡선 L1로 나타낸 이동 궤적을 따라 이동하는 것은, 지도 정보(D02) 및 차량의 차량 현재 위치 정보(D05)로부터 미리 취득할 수 있는 정보이다. 그래서, 카메라 자세 제어부(24)는, 신호기(P1)가 도 12에 나타낸 곡선 L1과 같이 변화될 것을 추정하여, 곡선 L1과 같은 변화가 발생한 경우라도 신호기(P1)가 화상(R1)으로부터 프레임 아웃되지 않도록 카메라(11)의 촬상 방향의 자세 제어를 한다.
구체적으로는, 차량(51)이 도 11의 (a)에 나타낸 지점 Z1에 도달한 시점에서, 도 11의 (b)의 부호 b1로 나타낸 바와 같이, 신호기가 화상(R1)의 좌측 하방에 존재하는 경우에는, 도 11의 (c)의 부호 c1로 나타낸 바와 같이, 신호기가 화상(R1)의 중앙의 약간 좌측에 위치하도록 카메라(11)의 촬상 방향의 자세 제어를 한다.
그러면, 차량(51)이 지점 Z2에 도달하였을 때, 부호 c2로 나타낸 바와 같이 신호기(P1)가 화상(R1)의 좌측 단부에 위치한다. 또한, 차량(51)이 지점 Z3, Z4에 도달하면, 신호기(P1)는 부호 c3, c4로 나타낸 바와 같이 신호기(P1)가 화상(R1) 내에 위치한다. 즉, 차량(51)이 지점 Z1에 도달한 시점에서, 차량(51)의 장래의 주행 경로, 및 차량(51)의 차량 현재 위치 정보(D05)에 기초하여, 화상(R1) 내에서의 신호기의 움직임을 예측하고, 이 예측에 기초하여 미리 카메라(11)의 촬상 방향의 자세 제어를 해 둠으로써, 지점 Z1을 통과한 후에는, 카메라(11)의 촬상 방향의 자세 제어를 하지 않고, 화상(R1) 내에 신호기(P1)를 포착할 수 있다.
다음으로, 도 11에 나타낸 카메라(11)의 촬상 방향의 자세 제어와 대비하기 위해, 화상(R1) 내에서의 신호기(P1)의 이동 방향에만 기초하여 카메라(11)의 촬상 방향을 변경하는 경우, 즉, 차량(51)의 주행 경로를 추정하지 않고 카메라(11)의 촬상 방향을 변경하는 경우에 대해, 도 13을 참조하여 설명한다. 도 13의 (a)는 차량(51)의 위치와 당해 차량(51)의 주행 경로인 커브로(X2)를 나타내고 있고, 도 11의 (a)와 동일한 도면이다. 그리고, 도 13의 (b)의 부호 b1로 나타낸 바와 같이, 신호기(P1)가 화상(R1) 내의 좌측 하방에 존재하고, 또한 이 신호기(P1)가 좌측 방향으로 이동하는 경우에는, 도 13의 (c)의 부호 c1로 나타낸 바와 같이, 화상(R1)의 우측에 신호기(P1)가 위치하도록 카메라(11)의 촬상 방향을 변경한다.
그 후, 차량(51)이 지점 Z2에 도달하면, 이번에는 부호 c2로 나타낸 바와 같이, 신호기(P1)가 우측 상부 방향으로 이동하게 된다. 따라서, 차량(51)이 지점 Z3에 도달하면, 부호 c3으로 나타낸 바와 같이, 화상(R1) 내로부터 신호기(P1)가 프레임 아웃될 가능성이 높아진다. 따라서, 차량(51)이 지점 Z3에 도달한 시점에서 도 13의 (d)의 부호 d1로 나타낸 바와 같이, 신호기(P1)가 화상(R1)의 좌측에 위치하도록 카메라(11)의 촬상 방향을 변경한다. 그리고, 차량(51)이 지점 Z4에 도달한 시점에서는, 도 13의 (d)의 부호 d2로 나타낸 바와 같이, 신호기(P1)가 화상(R1)의 거의 중앙에 위치하게 된다.
이와 같이, 도 13에 나타낸 예에서는, 신호기(P1)가 화상(R1) 내로부터 프레임 아웃되는 것을 피할 수는 있지만, 차량(51)이 지점 Z1로부터 지점 Z4에 도달할 때까지의 동안에 2회의 촬상 방향의 변경을 행하고 있다. 그 결과, 카메라(11)의 촬상 방향의 자세 제어의 시간이 증가하여, 신호기(P1)의 점등 상태의 검출 정밀도가 저하될 가능성이 있다.
이에 비해, 제2 실시 형태에 관한 신호기 인식 장치에서는, 차량(51)의 주행 경로인 커브로(X2)에 기초하여 카메라(11)의 촬상 방향을 자세 제어하기 때문에, 도 11에 나타낸 바와 같이, 신호기(P1)로부터 충분히 떨어진 지점인 지점 Z1에 도달한 시점에서 카메라(11)의 촬상 방향을 변경하면, 그 후, 신호기(P1)가 화상(R1)으로부터 프레임 아웃되는 일이 없어진다. 따라서, 차량(51)이 신호기(P1)에 접근한 후에 있어서의 카메라(11)의 촬상 방향의 변경이 없어진다.
이와 같이 하여, 제2 실시 형태에 관한 신호기 인식 장치(100)에서는, 촬상 방향 설정부(13)가 주행 경로 결정부(26)를 구비하고 있고, 당해 주행 경로 결정부(26)에 의해, 차량(51)의 주행 경로를 미리 추정함으로써, 화상(R1) 내에서의 신호기(P1)의 이동 범위를 예측한다. 즉, 신호기의 화상 상의 장래의 이동 범위를 예측한다. 그리고, 이 이동 범위에 기초하여, 신호기가 프레임 아웃되지 않도록 카메라(11)의 촬상 방향을 변경한다.
따라서, 차량(51)이 커브로를 주행하는 경우 등에, 화상(R1) 내에서 신호기(P1)가 복잡하게 이동하는 경우라도, 필요 최소한의 촬상 방향의 변경에 의해 신호기(P1)의 프레임 아웃을 피할 수 있다. 그 결과, 신호기(P1)에 접근하는 지점 Z2 내지 Z4에서의 카메라(11)의 촬상 방향의 변경이 불필요해지므로, 신호기(P1)의 점등 상태의 변화를 확실하게 검출하여, 교차점에서 정지할지, 주행할지를 확실하게 판단하는 것이 가능해진다.
[제3 실시 형태의 설명]
다음으로, 본 발명의 제3 실시 형태에 대해 설명한다. 상술한 제1 실시 형태 및 제2 실시 형태에서는, 신호기(P1)가 존재하는 교차점으로부터 충분히 먼 지점인 지점 Z1에서 카메라(11)의 촬상 방향을 변경하고, 그 후, 카메라(11)의 촬상 방향의 변경을 불필요하게 하는 것에 대해 나타냈다.
제3 실시 형태에서는, 차량(51)이 자동 운전되고 있는 것으로 하고, 신호기(P1)의 앞쪽에, 카메라의 촬상 방향의 변경을 제한하는 영역(이하 「변경 제한 영역」이라고 함)을 설정한다. 그리고, 이 변경 제한 영역 내에서 카메라(11)의 촬상 방향을 변경하지 않고, 신호기(P1)가 화상(R1) 내로부터 프레임 아웃되지 않도록 제어한다. 이하, 도 14, 도 15를 참조하여 상세하게 설명한다. 또한, 장치 구성은, 제1 실시 형태에서 나타낸 도 1 내지 도 3과 마찬가지이므로, 설명을 생략한다.
도 14의 (a)는 신호기(P1)의 앞쪽에 설정한 변경 제한 영역(Q1)을 나타내는 설명도이다. 자동 운전되고 있는 차량(51)이 신호기(P1)에 접근하는 경우에는, 이 신호기(P1)의 점등 상태(적색, 녹색의 점등 상태 등)를 감시하고, 이 점등 상태에 따라서, 차량(51)을 정지시킬지, 혹은 그대로 주행을 계속할지를 판단한다. 이 판단이 필요한 영역을 상기한 변경 제한 영역(Q1)으로서 설정한다. 즉, 카메라(11)의 촬상 방향이 변경되면, 점등 상태의 검출 정밀도가 저하되므로, 이 판단이 필요한 영역에서는 신호기(P1)의 점등 상태를 고정밀도로 검출할 수 있도록 변경 제한 영역(Q1)으로서 설정한다. 여기서, 변경 제한 영역(Q1)은, 신호기(P1)에 대해 설치되는 정지 위치, 차량(51)의 주행 속도, 차량 현재 위치 정보(D05), 지도 정보(D02)에 기초하여 설정할 수 있다.
예를 들어, 도 14의 (a)에 나타낸 바와 같이, 변경 제한 영역(Q1)에 도달하지 않은 지점인 지점 Z1에서는, 차량(51)으로부터 신호기(P1)까지 충분한 거리가 있기 때문에, 카메라(11)의 촬상 방향을 변경해도 신호기(P1)의 점등 상태 검출에 영향은 없다. 또한, 변경 제한 영역(Q1)을 통과한 지점 Z2에서는, 차량(51)이 정지할지, 혹은 주행을 계속할지의 판단이 이미 종료되어 있으므로, 카메라(11)의 촬상 방향의 변경은 차량(51)의 자동 운전의 주행 제어에 큰 영향을 미치지 않는다.
따라서, 제3 실시 형태에서는, 변경 제한 영역(Q1)을 설정하고, 이 변경 제한 영역(Q1) 이외의 지점에서 카메라(11)의 촬상 방향을 변경하도록 카메라(11)의 자세를 제어한다.
구체적으로는, 도 14의 (b)의 부호 b1로 나타낸 바와 같이, 지점 Z1에서는 화상(R1)에 존재하는 신호기(P1)는, 중앙의 약간 우측에 존재하기 때문에, 이 시점에서는 신호기(P1)는 프레임 아웃되지 않는다고 판단된다. 그러나, 차량(51)이 변경 제한 영역(Q1)의 직전인 지점 Z1에 도달하였기 때문에, 이 시점에서 카메라(11)의 촬상 방향을 변경한다. 그 결과, 도 14의 (c)의 부호 c1로 나타낸 바와 같이, 신호기(P1)는 화상(R1) 내의 좌측 하방에 위치하도록 제어된다. 그 후, 차량(51)이 변경 제한 영역(Q1) 내를 통과하여 지점 Z2에 도달할 때까지의 동안에, 도 14의 (c)의 부호 c2, c3으로 나타낸 바와 같이, 신호기(P1)가 화상(R1) 내로부터 프레임 아웃되지 않고 포착된다.
이에 비해, 변경 제한 영역(Q1)을 설정하지 않는 경우에는, 도 15에 나타낸 바와 같이, 변경 제한 영역(Q1) 내에서 카메라(11)의 촬상 방향이 변경되게 된다. 즉, 도 15의 (a)에서 차량(51)이 지점 Z1에 도달한 시점에서는, 도 15의 (b)의 부호 b1로 나타낸 바와 같이, 신호기(P1)는 화상(R1)의 중앙의 약간 우측에 존재하기 때문에, 당해 신호기(P1)는 화상(R1) 내로부터 프레임 아웃된다고 판단되지 않는다. 그리고, 부호 b2로 나타낸 바와 같이, 신호기(P1)가 화상(R1)의 우측 단부에 위치한 시점(도 15의 (a)에서 차량(51)이 변경 제한 영역(Q1) 내의 위치)에서, 프레임 아웃된다고 판단되기 때문에, 이 시점에서 카메라(11)의 촬상 방향이 변경되게 된다.
그 결과, 도 15의 (c)의 부호 c1로 나타낸 바와 같이, 신호기(P1)가 화상(R1)의 좌측 하방에 오도록 제어된다. 또한, 차량(51)이 주행하면, 지점 Z2에 도달한 시점에서 도 15의 (c)의 부호 c2로 나타낸 바와 같이 신호기(P1)가 화상(R1) 내의 중앙 약간 우측에 위치한다. 이 경우, 신호기(P1)의 점등 상태의 인식 결과를 필요로 하는 변경 제한 영역(Q1) 내에서 카메라(11)의 촬상 방향이 변경되게 된다.
따라서, 차량(51)이 신호기(P1)의 점등 상태에 따라서 정지할지, 혹은 주행을 계속할지의 판단이 필요해지는 영역 내에서 카메라(11)의 촬상 방향이 변경되어, 이 촬상 방향의 변경에 의해 신호기(P1)의 검출 정밀도가 저하될 가능성이 있다.
제3 실시 형태에 관한 신호기 인식 장치(100)에서는, 도 14에 나타낸 바와 같이 신호기(P1)의 앞쪽에 변경 제한 영역(Q1)을 설정하고, 당해 변경 제한 영역(Q1) 내에서의 카메라(11)의 촬상 방향의 변경을 금지하고 있기 때문에, 화상(R1) 내로부터 신호기(P1)가 프레임 아웃되는 것을 방지하고, 또한 신호기(P1)의 점등 상태를 고정밀도로 검출할 수 있다. 그 결과, 차량(51)을 정지시킬지, 혹은 주행시킬지를 적절하게 판단할 수 있다.
또한, 변경 제한 영역(Q1)은, 차속과 감속(G)과 정지선까지의 거리에 따라서 변화된다. 이 변화에 따라서 변경 제한 영역(Q1)을 설정함으로써, 신호기(P1)의 인식 결과가 필요한 타이밍과, 카메라(11)의 촬상 방향을 변경할 타이밍을 확실하게 어긋나게 할 수 있다.
[제3 실시 형태의 변형예의 설명]
전술한 제3 실시 형태에서는, 신호기(P1)의 앞쪽에 카메라(11)의 촬상 방향의 변경을 금지하는 변경 제한 영역(Q1)을 설정하고, 차량(51)이 이 변경 제한 영역(Q1)에 도달하기 전의 시점에서 카메라(11)의 촬상 방향을 변경함으로써, 화상(R1) 내로부터 신호기(P1)가 프레임 아웃되는 것을 피하도록 제어하였다.
신호기(P1)의 점등 상태의 검출은, 소정의 연산 주기마다 실행되고 있고, 카메라(11)에 의해 촬상된 화상 중, 예를 들어 연산 주기의 개시 시점의 화상만 사용되는 경우가 있다. 이러한 경우에는, 이 연산 주기 내에서, 카메라(11)에 의해 촬상된 화상을 사용하지 않는 시간대에 있어서는, 카메라(11)의 촬상 방향을 변경해도, 신호기(P1)의 점등 상태의 검출에 영향을 미치지 않는다.
그래서, 변형예에 관한 신호기 인식 장치에서는, 차량(51)이 변경 제한 영역(Q1) 내를 주행하고 있을 때, 카메라(11)에 의해 촬상된 화상을 사용하는 시간대(이하, 「화상 사용 시간대」라고 함)와, 카메라(11)에 의해 촬상된 화상을 사용하지 않는 카메라(11)의 촬상 방향을 변경 가능한 시간대(이하, 「변경 시간대」라고 함)로 구분하여, 화상 사용 시간대에만 촬상 방향의 변경을 금지하도록 변경 금지 영역을 설정한다.
구체적으로는, 도 16의 (a)에 나타낸 바와 같이, 변경 제한 영역(Q1) 내에, 화상 사용 시간대에 대응하는 영역 Qa 및 변경 시간대에 대응하는 영역 Qb를 설정한다. 이들 영역 Qa, Qb는, 차량(51)의 주행 속도 및 신호기 인식부(14)에 있어서의 연산 주기에 기초하여 설정할 수 있다. 그리고, 영역 Qb에 대해서는, 카메라(11)의 촬상 방향의 변경을 허가한다.
따라서, 예를 들어 변경 제한 영역(Q1) 내에 있어서의 지점 Z2는 영역 Qb 내이므로, 카메라(11)의 촬상 방향을 변경하는 것이 가능하다. 따라서, 도 16의 (b)에 나타낸 바와 같이, 차량(51)이 지점 Z1을 주행하고 있는 경우에는, 도 16의 (b)의 부호 b1로 나타낸 바와 같이, 신호기(P1)는 프레임 아웃되지 않으므로, 카메라(11)의 촬상 방향을 변경하지 않는다. 그리고, 차량(51)이 지점 Z2에 도달한 시점에서, 부호 b2로 나타낸 바와 같이, 화상(R1)으로부터 신호기(P1)가 프레임 아웃된다고 판단되므로, 카메라(11)의 촬상 방향을 변경한다. 그 결과, 도 16의 (c)의 부호 c1로 나타낸 바와 같이, 화상(R1) 내의 좌측 하방에 신호기(P1)가 위치하게 되어, 그 후, 차량(51)이 지점 Z3에 도달하였을 때에 있어서도 도 16의 부호 c2로 나타낸 바와 같이, 화상(R1)으로부터 신호기(P1)는 프레임 아웃되지 않는다.
이와 같이 하여, 제3 실시 형태의 변형예에 관한 신호기 인식 장치(100)에서는, 신호기 인식부(14)의 연산 주기에 기초하여, 화상 사용 시간대에 대응하는 영역 Qa와, 변경 시간대에 대응하는 영역 Qb를 설정하고, 영역 Qb에 대해서는 카메라(11)의 촬상 방향의 변경을 허가하고 있다. 따라서, 차량(51)이 변경 제한 영역(Q1) 내에 진입한 경우라도, 영역 Qb 내의 주행 시에 카메라(11)의 촬상 방향을 변경하는 것이 가능해져, 신호기(P1)가 화상(R1) 내로부터 프레임 아웃되는 것을 더 확실하게 피하는 것이 가능해진다.
[제4 실시 형태의 설명]
다음으로, 본 발명의 제4 실시 형태에 대해 설명한다. 또한, 장치 구성은, 제1 실시 형태에서 나타낸 도 1 내지 도 3과 마찬가지이므로, 설명을 생략한다.
제4 실시 형태에서는, 감시 대상이 되는 신호기가 2개 존재하는 경우에, 양쪽의 신호기가 화상으로부터 프레임 아웃되지 않도록 카메라(11)의 촬상 방향의 자세 제어를 한다. 이하, 도 17을 참조하여 상세하게 설명한다. 도 17의 (a)에 나타낸 바와 같이, 차량(51)의 주행로(X3)에 2개의 신호기(P1, P2)가 존재하여 양쪽이 촬상 가능한 경우에는, 양쪽의 신호기(P1, P2)가 화상(R1)으로부터 프레임 아웃되지 않도록 카메라(11)의 촬상 방향의 자세 제어를 한다.
따라서, 차량(51)이 지점 Z1에 도달하였을 때, 도 17의 (b)의 부호 b1로 나타낸 바와 같이 2개의 신호기(P1, P2)가 존재하는 화상(R1)이 얻어진다. 그 후, 지점 Z2에 도달하면 부호 b2로 나타낸 바와 같이, 신호기 P2가 화상(R1)으로부터 프레임 아웃된다고 판단된다. 이 경우에는, 이 지점 Z2에서 카메라(11)의 촬상 방향을 변경한다. 그 결과, 도 17의 (c)의 부호 c1로 나타낸 바와 같이, 신호기(P1, P2)가 화상(R1) 내의 좌측에 위치하도록 카메라(11)의 촬상 방향을 설정하여 자세 제어한다. 즉, 2개의 신호기(P1, P2) 중 좌측의 신호기(P1)가, 화상(R1)의 좌측에 위치하도록 하여, 양쪽의 신호기(P1, P2)가 프레임 아웃되지 않도록 제어한다.
또한, 차량(51)이 지점 Z3에 도달하였을 때에는, 도 17의 (c)의 부호 c2로 나타낸 바와 같이, 신호기(P2)가 화상(R1)으로부터 프레임 아웃된다고 판단된다. 이 경우에는, 이 지점 Z3에서 카메라(11)의 촬상 방향을 변경한다. 그 결과, 도 17의 (d)의 부호 d1로 나타낸 바와 같이, 신호기(P1, P2)가 화상(R1) 내의 좌측에 위치하도록 카메라(11)의 촬상 방향을 설정하여 자세 제어한다.
그 후, 차량(51)이 지점 Z4에 도달하였을 때에는, 도 17의 (d)의 부호 d2로 나타낸 바와 같이, 신호기(P2)가 화상(R1) 내로부터 프레임 아웃된다고 판단된다. 이 경우에는, 이 지점 Z4에서 카메라(11)의 촬상 방향을 변경한다. 그 결과, 도 17의 (e)의 부호 e1로 나타낸 바와 같이, 신호기(P1, P2)가 화상(R1) 내의 좌측에 위치하도록 카메라(11)의 촬상 방향을 설정하여 자세 제어한다. 그리고, 차량(51)이 지점 Z5에 도달한 시점에서는, 양쪽의 신호기(P1, P2)는 화상(R1) 내로부터 프레임 아웃되지 않고 포착되게 된다.
이와 같이 하여, 제4 실시 형태에 관한 신호기 인식 장치(100)에서는, 2개의 신호기(P1, P2)가 존재하는 경우라도, 각 신호기(P1, P2)가 화상(R1)으로부터 프레임 아웃되지 않고 계속 표시시키는 것이 가능해진다. 여기서, 도 17에 나타낸 예에서는, 도 17의 (a)에 나타낸 지점 Z2, Z3, Z4의 3개소에서 카메라(11)의 촬상 방향의 자세 제어를 하고 있다. 이러한 카메라(11)의 촬상 방향의 자세 제어는, 전술한 도 16에 나타낸 바와 같이, 신호 인식 처리의 카메라(11)에 의해 촬상된 화상을 사용하지 않는 기간인 영역 Qb에서 실행함으로써, 신호기 상태의 검출 정밀도에 영향을 미치는 일 없이 카메라(11)의 촬상 방향을 변경하는 것이 가능해진다.
또한, 상기한 제4 실시 형태에서는, 2개의 신호기(P1, P2)가 존재하는 경우에, 이들 각 신호기(P1, P2)가 화상(R1)으로부터 프레임 아웃되지 않도록 카메라(11)의 촬상 방향을 설정하여 자세 제어하는 예에 대해 설명하였지만, 본 발명은 2개의 신호기에 한정되지 않고, 3개 이상의 신호기가 존재하는 경우에도 마찬가지로 적용하는 것이 가능하다.
[제5 실시 형태의 설명]
다음으로, 본 발명의 제5 실시 형태에 대해 설명한다. 또한, 장치 구성은 제1 실시 형태에서 나타낸 도 1 내지 도 3과 마찬가지이므로, 설명을 생략한다.
제5 실시 형태에서는, 감시 대상이 되는 신호기가 2개 존재하고, 또한 양쪽의 신호기가 동기하여 작동하는 경우에는, 이 중 화상(R1) 내에서의 이동량이 작은 쪽을 우선적으로 프레임 아웃되지 않도록 카메라(11)의 촬상 방향을 설정하여 자세 제어한다. 이하, 도 18을 참조하여 상세하게 설명한다. 도 18의 (a)에 나타낸 바와 같이, 차량(51)의 주행로에 2개의 신호기(P1, P2)가 존재하는 경우에는, 지점 Z1에 있어서 카메라(11)에 의해 촬상되는 화상(R1)은, 도 18의 (b)의 부호 b1로 나타낸 바와 같이, 화상(R1)의 중앙부에 각 신호기(P1, P2)가 포착되게 된다. 그리고, 각 신호기(P1, P2)가 동기하여 작동하는 경우, 즉, 점등색의 변화가 동일한 경우에는, 각 신호기(P1, P2) 중 화상(R1) 내에서의 이동량이 작다고 추정되는 신호기(P1)가, 화상(R1)으로부터 프레임 아웃되지 않도록 카메라(11)의 촬상 방향의 자세 제어를 한다.
즉, 차량(51)이 지점 Z2에 도달한 시점에서 도 18의 (b)의 부호 b2로 나타낸 바와 같이, 신호기(P2)가 프레임 아웃된다고 판단된 경우라도, 카메라(11)의 촬상 방향의 자세 제어를 하지 않는다. 그리고, 차량(51)이 지점 Z3에 도달한 시점에서 부호 b3으로 나타낸 바와 같이, 신호기(P1)가 프레임 아웃된다고 판단된 경우에, 카메라(11)의 촬상 방향의 자세 제어를 하여, 도 18의 (c)의 부호 c1로 나타낸 바와 같이 신호기(P1)가 화상(R1)의 좌측에 위치하도록 한다. 그 후, 차량(51)이 지점 Z4, Z5에 도달하였을 때에는, 각각 부호 c2, c3으로 나타낸 바와 같이, 신호기(P1)는 화상(R1)으로부터 프레임 아웃되지 않고 포착되게 된다. 그 결과, 신호기(P1)의 점등 상태를 확실하게 인식하는 것이 가능해진다. 물론, 신호기(P2)는, 신호기(P1)와 동기하여 작동하기 때문에, 점등 상태를 검출하지 못해도 문제는 발생하지 않는다.
또한, 지점 Z3에 있어서의 카메라(11)의 촬상 방향의 자세 제어는, 전술한 도 16에 나타낸 바와 같이, 신호 인식 처리의 카메라(11)에 의해 촬상된 화상을 사용하지 않는 기간인 영역 Qb에서 실행함으로써, 신호기 상태의 검출 정밀도에 영향을 미치는 일 없이 카메라(11)의 촬상 방향을 변경하는 것이 가능해진다.
이와 같이 하여, 제5 실시 형태에 관한 신호기 인식 장치에서는, 카메라(11)에 의해 촬상되는 화상(R1) 내에, 서로 동기하여 작동하는 2개의 신호기(P1, P2)가 존재하는 경우에는, 이 중 한쪽의 신호기(상기한 예에서는, 신호기(P1))가 화상(R1)으로부터 프레임 아웃되지 않도록 제어되기 때문에, 카메라(11)의 촬상 방향의 변경 횟수를 저감시키고, 또한 확실하게 신호기의 점등 상태를 검출하는 것이 가능해진다.
이상, 본 발명의 신호기 인식 장치 및 신호기 인식 방법을 도시한 실시 형태에 기초하여 설명하였지만, 본 발명은 이것에 한정되는 것은 아니며, 각 부의 구성은, 마찬가지의 기능을 갖는 임의의 구성의 것으로 치환할 수 있다.
11 : 카메라(촬상부)
12 : 차량 현재 위치 검출부
13 : 촬상 방향 설정부
14 : 신호기 인식부
21 : 신호기 위치 추정부
22 : 위치 변화량 산출부
23 : 촬상 자세 설정부
24 : 카메라 자세 제어부
25 : 검출 영역 산출부
26 : 주행 경로 결정부
51 : 차량
100 : 신호기 인식 장치
D01 : 랜드마크 정보
D02 : 지도 정보
D03 : 카메라 정보
D04 : 신호기 정보
D05 : 차량 현재 위치 정보
D06 : 검출 영역 정보
D07 : 화상 데이터
D08 : 검출 위치 정보
D09 : 검출 위치 변화 정보
D10 : 촬상 자세 정보
D11 : 자세 정보
D12 : 주행 경로 정보
P1, P2 : 신호기
Q1 : 변경 제한 영역
R1 : 화상
X1 : 주행로
X2 : 커브로
X3 : 주행로
12 : 차량 현재 위치 검출부
13 : 촬상 방향 설정부
14 : 신호기 인식부
21 : 신호기 위치 추정부
22 : 위치 변화량 산출부
23 : 촬상 자세 설정부
24 : 카메라 자세 제어부
25 : 검출 영역 산출부
26 : 주행 경로 결정부
51 : 차량
100 : 신호기 인식 장치
D01 : 랜드마크 정보
D02 : 지도 정보
D03 : 카메라 정보
D04 : 신호기 정보
D05 : 차량 현재 위치 정보
D06 : 검출 영역 정보
D07 : 화상 데이터
D08 : 검출 위치 정보
D09 : 검출 위치 변화 정보
D10 : 촬상 자세 정보
D11 : 자세 정보
D12 : 주행 경로 정보
P1, P2 : 신호기
Q1 : 변경 제한 영역
R1 : 화상
X1 : 주행로
X2 : 커브로
X3 : 주행로
Claims (9)
- 차량에 탑재되고, 차량 주위의 화상을 촬상하는 촬상부와,
상기 차량 주위의 지도 정보를 취득하는 지도 정보 취득부와,
상기 차량의 지도상의 현재 위치를 검출하는 차량 현재 위치 검출부와,
상기 차량 현재 위치와 상기 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부와,
상기 신호기의 화상 상의 위치와, 상기 신호기의 화상 상의 장래의 이동 방향에 기초하여, 상기 촬상부의 촬상 방향을 설정하는 촬상 방향 설정부와,
상기 촬상부의 촬상 방향을, 상기 촬상 방향 설정부에 의해 설정된 촬상 방향으로 변경하는 촬상 방향 변경부와,
상기 촬상부가 상기 촬상 방향에서 촬상한 화상으로부터 신호기를 인식하는 신호기 인식부를 구비하고,
상기 촬상 방향 변경부는, 상기 신호기의 화상 상의 위치와, 상기 신호기의 화상 상의 장래의 이동 방향에 기초하여, 상기 촬상부의 촬상 방향을 변경할 지점 혹은 영역을 설정하고,
상기 변경할 지점 혹은 영역에 상기 차량이 도달하였을 때, 미리 상기 촬상 방향을 변경하는 것을 특징으로 하는, 신호기 인식 장치. - 차량에 탑재되고, 상기 차량의 주위의 화상을 촬상하는 촬상부와,
상기 차량 주위의 지도 정보를 취득하는 지도 정보 취득부와,
상기 차량의 지도상의 현재 위치를 검출하는 차량 현재 위치 검출부와,
상기 차량 현재 위치와 상기 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부와,
상기 신호기의 화상 상의 위치와, 상기 신호기의 화상 상의 장래의 이동 방향에 기초하여, 상기 촬상부의 촬상 방향을 설정하는 촬상 방향 설정부와,
상기 촬상부의 촬상 방향을, 상기 촬상 방향 설정부에 의해 설정된 촬상 방향으로 변경하는 촬상 방향 변경부와,
상기 촬상부가 상기 촬상 방향에서 촬상한 화상으로부터 신호기를 인식하는 신호기 인식부를 구비하고,
상기 촬상 방향 설정부는, 동기하여 작동하는 복수의 신호기가 상기 촬상부에 의해 촬상 가능한 경우에는, 상기 동기하여 작동하는 복수의 신호기 중, 화상 상의 이동량이 최소가 되는 신호기의 이동 방향에 기초하여 상기 촬상부의 촬상 방향을 설정하는 것을 특징으로 하는, 신호기 인식 장치. - 제1항 또는 제2항에 있어서,
상기 촬상 방향 설정부는, 상기 신호기의 화상 상의 위치와, 상기 신호기의 화상 상의 장래의 이동 범위에 기초하여 상기 촬상부의 촬상 방향을 설정하는 것을 특징으로 하는, 신호기 인식 장치. - 제1항 또는 제2항에 있어서,
촬상 방향 설정부는, 상기 신호기의 화상 상의 위치와 상기 신호기의 화상 상의 장래의 이동 범위로부터 촬상 방향의 변경량을 산출하고, 상기 촬상부의 촬상 범위와 상기 변경량에 기초하여 촬상 방향을 설정하는 것을 특징으로 하는, 신호기 인식 장치. - 제3항에 있어서,
상기 촬상 방향 설정부는, 상기 차량의 장래의 주행 경로에 기초하여 상기 신호기의 화상 상의 장래의 이동 범위를 예측하는 것을 특징으로 하는, 신호기 인식 장치. - 제1항 또는 제2항에 있어서,
상기 촬상 방향 설정부는, 복수의 신호기가 상기 촬상부에 의해 촬상 가능한 경우에는, 상기 복수의 신호기가 화상 상에 포함되도록 상기 촬상부의 촬상 방향을 설정하는 것을 특징으로 하는, 신호기 인식 장치. - 제1항 또는 제2항에 있어서,
상기 촬상 방향 설정부는, 상기 신호기에 대해 설치되는 정지 위치로부터 상기 차량까지의 거리 및 상기 차량의 주행 속도에 기초하여, 상기 촬상부의 촬상 방향의 변경을 제한하는 변경 제한 영역을 설정하고, 상기 변경 제한 영역 내에 진입하기 전에, 상기 촬상부의 촬상 방향을 변경하는 것을 특징으로 하는, 신호기 인식 장치. - 제1항 또는 제2항에 있어서,
상기 촬상 방향 설정부는, 상기 신호기에 대해 설치되는 정지 위치로부터 차량까지의 거리, 차량의 주행 속도 및 상기 신호기 인식부에 의한 신호기 인식의 연산 주기에 기초하여, 상기 촬상부의 촬상 방향의 변경 시간대를 설정하고,
상기 촬상 방향 변경부는, 상기 변경 시간대에 상기 촬상부의 촬상 방향을 변경하는 것을 특징으로 하는, 신호기 인식 장치. - 촬상부에 의해 차량 주위의 화상을 촬상하는 스텝과,
차량 주위의 지도 정보를 취득하는 스텝과,
차량의 지도상의 현재 위치를 검출하는 스텝과,
차량 현재 위치와 상기 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 스텝과,
상기 신호기의 화상 상의 위치와, 상기 신호기의 화상 상의 장래의 이동 방향에 기초하여, 상기 촬상부의 촬상 방향을 설정하는 스텝과,
상기 촬상부의 촬상 방향을, 설정된 촬상 방향으로 변경하는 스텝과,
상기 촬상부가 상기 촬상 방향에서 촬상한 화상으로부터 신호기를 인식하는 스텝과,
상기 신호기의 화상 상의 위치와, 상기 신호기의 화상 상의 장래의 이동 방향에 기초하여, 상기 촬상부의 촬상 방향을 변경할 지점 혹은 영역을 설정하고, 상기 변경할 지점 혹은 영역에 상기 차량이 도달하였을 때, 미리 상기 촬상 방향을 변경하는 스텝을 구비한 것을 특징으로 하는, 신호기 인식 방법.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/070041 WO2017009933A1 (ja) | 2015-07-13 | 2015-07-13 | 信号機認識装置及び信号機認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180018732A KR20180018732A (ko) | 2018-02-21 |
| KR101988811B1 true KR101988811B1 (ko) | 2019-06-12 |
Family
ID=57757866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187001244A KR101988811B1 (ko) | 2015-07-13 | 2015-07-13 | 신호기 인식 장치 및 신호기 인식 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10339805B2 (ko) |
| EP (1) | EP3324383B1 (ko) |
| JP (1) | JP6447729B2 (ko) |
| KR (1) | KR101988811B1 (ko) |
| CN (1) | CN107851387B (ko) |
| BR (1) | BR112018000191B1 (ko) |
| CA (1) | CA2992080C (ko) |
| MX (1) | MX361911B (ko) |
| RU (1) | RU2693419C1 (ko) |
| WO (1) | WO2017009933A1 (ko) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018180245A1 (ja) * | 2017-03-28 | 2018-10-04 | パイオニア株式会社 | 出力装置、制御方法、プログラム及び記憶媒体 |
| JP6552064B2 (ja) * | 2017-03-31 | 2019-07-31 | 株式会社Ｓｕｂａｒｕ | 車両の走行制御システム |
| WO2018223882A1 (en) * | 2017-06-08 | 2018-12-13 | Zhejiang Dahua Technology Co., Ltd. | Methods and devices for processing images of traffic light |
| US10525903B2 (en) * | 2017-06-30 | 2020-01-07 | Aptiv Technologies Limited | Moving traffic-light detection system for an automated vehicle |
| JP6990137B2 (ja) * | 2018-03-28 | 2022-01-12 | 本田技研工業株式会社 | 車両制御装置 |
| US10567724B2 (en) * | 2018-04-10 | 2020-02-18 | GM Global Technology Operations LLC | Dynamic demosaicing of camera pixels |
| CN108897345A (zh) * | 2018-07-18 | 2018-11-27 | 北京小马智行科技有限公司 | 一种控制无人车摄像头旋转的方法及系统 |
| US10339400B1 (en) * | 2018-12-18 | 2019-07-02 | Chongqing Jinkang New Energy Automobile Co., Ltd. | Traffic light detection using multiple cameras |
| DE102018133441A1 (de) * | 2018-12-21 | 2020-06-25 | Volkswagen Aktiengesellschaft | Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs |
| CN110647605B (zh) * | 2018-12-29 | 2022-04-29 | 北京奇虎科技有限公司 | 一种基于轨迹数据挖掘红绿灯数据的方法及装置 |
| US10930145B2 (en) * | 2019-03-06 | 2021-02-23 | Avanti R&D, Inc. | Traffic system for predicting and providing traffic signal switching timing |
| JP7268497B2 (ja) * | 2019-06-24 | 2023-05-08 | トヨタ自動車株式会社 | 信号認識システム |
| JP7088137B2 (ja) * | 2019-07-26 | 2022-06-21 | トヨタ自動車株式会社 | 信号機情報管理システム |
| JP6979438B2 (ja) * | 2019-11-05 | 2021-12-15 | 三菱スペース・ソフトウエア株式会社 | データベース生成システムおよびデータベース生成プログラム |
| JP6965325B2 (ja) * | 2019-11-05 | 2021-11-10 | 三菱スペース・ソフトウエア株式会社 | 自動検出システムおよび自動検出プログラム |
| JP7226583B2 (ja) | 2019-11-12 | 2023-02-21 | 日産自動車株式会社 | 信号機認識方法及び信号機認識装置 |
| CN112489466B (zh) * | 2020-11-27 | 2022-02-22 | 恒大新能源汽车投资控股集团有限公司 | 交通信号灯识别方法和装置 |
| JP2022147209A (ja) * | 2021-03-23 | 2022-10-06 | トヨタ自動車株式会社 | 車両制御装置 |
| CN114332815B (zh) * | 2021-12-24 | 2023-08-29 | 广州小鹏自动驾驶科技有限公司 | 交通灯状态检测方法、装置、车辆及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007288444A (ja) * | 2006-04-14 | 2007-11-01 | Toyota Motor Corp | 車載カメラ制御装置および車載カメラ制御方法。 |
| WO2014162797A1 (ja) * | 2013-04-04 | 2014-10-09 | 日産自動車株式会社 | 信号認識装置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11306489A (ja) | 1998-04-16 | 1999-11-05 | Matsushita Electric Ind Co Ltd | カメラシステム |
| EP1220182A3 (en) * | 2000-12-25 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
| JP2003151042A (ja) * | 2001-11-13 | 2003-05-23 | Matsushita Electric Ind Co Ltd | 車両用ドライブレコーダ |
| US20150235094A1 (en) * | 2014-02-17 | 2015-08-20 | General Electric Company | Vehicle imaging system and method |
| JP2006163756A (ja) * | 2004-12-07 | 2006-06-22 | Honda Lock Mfg Co Ltd | 車両の視界補助装置 |
| JP4631750B2 (ja) * | 2006-03-06 | 2011-02-16 | トヨタ自動車株式会社 | 画像処理システム |
| JP4783431B2 (ja) * | 2006-09-28 | 2011-09-28 | パイオニア株式会社 | 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体 |
| JP5427203B2 (ja) * | 2011-03-30 | 2014-02-26 | 富士重工業株式会社 | 車両用運転支援装置 |
| BR112014001155B1 (pt) * | 2011-08-02 | 2021-06-01 | Nissan Motor Co., Ltd | Dispositivo de assistência à condução e método de assistência à condução |
| US8989914B1 (en) * | 2011-12-19 | 2015-03-24 | Lytx, Inc. | Driver identification based on driving maneuver signature |
| KR101361663B1 (ko) * | 2012-03-21 | 2014-02-12 | 주식회사 코아로직 | 차량용 영상 처리 장치 및 방법 |
| US9145140B2 (en) * | 2012-03-26 | 2015-09-29 | Google Inc. | Robust method for detecting traffic signals and their associated states |
| JP5761109B2 (ja) * | 2012-04-10 | 2015-08-12 | トヨタ自動車株式会社 | 運転支援装置 |
| US9176500B1 (en) * | 2012-05-14 | 2015-11-03 | Google Inc. | Consideration of risks in active sensing for an autonomous vehicle |
| US20130335579A1 (en) * | 2012-06-15 | 2013-12-19 | Palo Alto Research Center Incorporated | Detection of camera misalignment |
| US8988574B2 (en) * | 2012-12-27 | 2015-03-24 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information using bright line image |
| JP5886799B2 (ja) * | 2013-08-05 | 2016-03-16 | 富士重工業株式会社 | 車外環境認識装置 |
| GB2517788B (en) * | 2013-09-03 | 2016-06-08 | Jaguar Land Rover Ltd | Water depth estimation apparatus and method |
| JP6180968B2 (ja) * | 2014-03-10 | 2017-08-16 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
| RU144555U1 (ru) * | 2014-05-05 | 2014-08-27 | Павел Юрьевич Михайлов | Устройство для повышения безопасности движения транспортного средства |
| JP2016081359A (ja) * | 2014-10-20 | 2016-05-16 | クラリオン株式会社 | 情報提示装置 |
| JP6462328B2 (ja) * | 2014-11-18 | 2019-01-30 | 日立オートモティブシステムズ株式会社 | 走行制御システム |
| JP6361567B2 (ja) * | 2015-04-27 | 2018-07-25 | トヨタ自動車株式会社 | 自動運転車両システム |
-
2015
- 2015-07-13 CN CN201580081578.7A patent/CN107851387B/zh active Active
- 2015-07-13 KR KR1020187001244A patent/KR101988811B1/ko active IP Right Grant
- 2015-07-13 RU RU2018105099A patent/RU2693419C1/ru active
- 2015-07-13 CA CA2992080A patent/CA2992080C/en active Active
- 2015-07-13 WO PCT/JP2015/070041 patent/WO2017009933A1/ja active Application Filing
- 2015-07-13 US US15/743,072 patent/US10339805B2/en active Active
- 2015-07-13 MX MX2018000377A patent/MX361911B/es active IP Right Grant
- 2015-07-13 BR BR112018000191-0A patent/BR112018000191B1/pt active IP Right Grant
- 2015-07-13 EP EP15898246.2A patent/EP3324383B1/en active Active
- 2015-07-13 JP JP2017528037A patent/JP6447729B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007288444A (ja) * | 2006-04-14 | 2007-11-01 | Toyota Motor Corp | 車載カメラ制御装置および車載カメラ制御方法。 |
| WO2014162797A1 (ja) * | 2013-04-04 | 2014-10-09 | 日産自動車株式会社 | 信号認識装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6447729B2 (ja) | 2019-01-16 |
| CN107851387A (zh) | 2018-03-27 |
| EP3324383B1 (en) | 2021-05-19 |
| WO2017009933A1 (ja) | 2017-01-19 |
| BR112018000191A2 (pt) | 2018-09-11 |
| CN107851387B (zh) | 2021-04-27 |
| MX361911B (es) | 2018-12-19 |
| EP3324383A4 (en) | 2018-12-05 |
| BR112018000191B1 (pt) | 2023-02-14 |
| MX2018000377A (es) | 2018-03-14 |
| EP3324383A1 (en) | 2018-05-23 |
| KR20180018732A (ko) | 2018-02-21 |
| RU2693419C1 (ru) | 2019-07-02 |
| CA2992080C (en) | 2020-01-28 |
| US20180365991A1 (en) | 2018-12-20 |
| CA2992080A1 (en) | 2017-01-19 |
| US10339805B2 (en) | 2019-07-02 |
| JPWO2017009933A1 (ja) | 2018-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101988811B1 (ko) | 신호기 인식 장치 및 신호기 인식 방법 | |
| US10671859B2 (en) | Travel assistance device and travel assistance method using travel assistance device | |
| EP3324384B1 (en) | Traffic light recognition device and traffic light recognition method | |
| JP4654163B2 (ja) | 車両の周囲環境認識装置及びシステム | |
| US9177196B2 (en) | Vehicle periphery monitoring system | |
| EP2933790A1 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
| EP2963634B1 (en) | Stereo camera device | |
| WO2007111220A1 (ja) | 道路区画線検出装置 | |
| JP2011180982A (ja) | 区画線検出装置 | |
| JP2007164636A (ja) | 道路区画線検出装置 | |
| JP6299517B2 (ja) | 信号機認識装置及び信号機認識方法 | |
| KR101974772B1 (ko) | 신호기 검출 장치 및 신호기 검출 방법 | |
| JP2020187474A (ja) | 走行車線認識装置、走行車線認識方法およびプログラム | |
| WO2016009662A1 (ja) | 交通量計測装置、交通量計測方法、および交通量計測プログラム | |
| JP2020109560A (ja) | 信号機認識方法及び信号機認識装置 | |
| JP2016021712A (ja) | 画像処理装置、及び、運転支援システム | |
| US11663834B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
| US11679769B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
| JP6295868B2 (ja) | 車両用表示装置 | |
| JP2010018223A (ja) | 車両用走行路面検出装置 | |
| JP7344776B2 (ja) | 信号機認識方法及び信号機認識装置 | |
| JP2017084019A (ja) | 対象物検出装置、対象物検出方法、及び、対象物検出プログラム | |
| JP2020204842A (ja) | 情報処理装置及び運転支援システム | |
| JP2007164565A (ja) | 感応制御用車両感知システムおよび装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |