KR102447352B1 - 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 - Google Patents
교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 Download PDFInfo
- Publication number
- KR102447352B1 KR102447352B1 KR1020207029615A KR20207029615A KR102447352B1 KR 102447352 B1 KR102447352 B1 KR 102447352B1 KR 1020207029615 A KR1020207029615 A KR 1020207029615A KR 20207029615 A KR20207029615 A KR 20207029615A KR 102447352 B1 KR102447352 B1 KR 102447352B1
- Authority
- KR
- South Korea
- Prior art keywords
- traffic light
- processor
- state
- image
- delete delete
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000001514 detection method Methods 0.000 title claims description 63
- 238000012549 training Methods 0.000 claims description 60
- 230000004044 response Effects 0.000 claims description 34
- 239000003086 colorant Substances 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 description 44
- 230000008569 process Effects 0.000 description 15
- 230000001276 controlling effect Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18154—Approaching an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18159—Traversing an intersection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
본 개시내용의 실시예들은 교통 신호등 검출 방법 및 장치, 지능형 주행 방법 및 장치, 차량, 및 전자 디바이스를 개시한다. 이러한 교통 신호등 검출 방법은, 교통 신호등을 포함하는 비디오 스트림을 획득하는 단계; 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역을 결정하는 단계; 및 후보 영역에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하는 단계를 포함한다.
Description
<관련 출원들에 대한 상호 참조>
본 출원은 2018년 6월 29일자로 중국 특허청에 출원되고 발명의 명칭이 "TRAFFIC LIGHT DETECTION METHOD AND APPARATUS, INTELLIGENT DRIVING METHOD AND APPARATUS, VEHICLE, AND ELECTRONIC DEVICE"인 중국 특허 출원 제CN201810697683.9호에 대한 우선권을 주장하며, 이는 그 전체로 본 명세서에 참조로 원용된다.
<기술 분야>
본 개시내용은 컴퓨터 비전 기술들에, 특히, 교통 신호등 검출 방법 및 장치, 지능형 주행 방법 및 장치, 차량, 및 전자 디바이스에 관련된다.
교통 신호등 검출 및 그 상태 결정은 지능형 주행의 분야에서 중요한 문제들이다. 교통 신호등들은 중요한 교통 신호들이고 현대의 교통 시스템에서 대체불가능한 역할을 한다. 교통 신호등 검출 및 그 상태 결정은 차량의 안전 주행을 보장하기 위해 자율 주행에서 차량의 정지 또는 전진을 표시할 수 있다.
본 개시내용의 실시예들은 교통 신호등 검출 및 지능형 주행 기술을 제공한다.
본 개시내용의 실시예들의 하나의 양태에 따라 교통 신호등 검출 방법이 제공되고, 검출 네트워크는, R-FCN(Region-based Fully Convolutional Network) 및 다중-작업 식별 네트워크를 포함하고, 이러한 방법은,
교통 신호등을 포함하는 비디오 스트림을 획득하는 단계;
비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하는 단계; 및
후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하는 단계를 포함한다.
본 개시내용의 실시예들의 다른 양태에 따라 제공되는 지능형 주행 방법은,
차량 상에 제공되는 이미지 취득 장치에 기초하여 교통 신호등을 포함하는 비디오 스트림을 획득하는 단계;
비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하는 단계;
후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하는 단계;
이미지에서의 교통 신호등의 적어도 2개의 속성들에 기초하여 교통 신호등의 상태를 결정하는 단계; 및
교통 신호등의 상태에 따라 차량에 대해 지능형 제어를 수행하는 단계를 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따라 제공되는 교통 신호등 검출 장치는,
교통 신호등을 포함하는 비디오 스트림을 획득하도록 구성되는 비디오 스트림 획득 유닛;
비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하도록 구성되는 영역 결정 유닛; 및
후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하도록 구성되는 속성 식별 유닛을 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따라 제공되는 지능형 주행 장치는,
차량 상에 제공되는 이미지 취득 장치에 기초하여 교통 신호등을 포함하는 비디오 스트림을 획득하도록 구성되는 비디오 스트림 획득 유닛;
비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하도록 구성되는 영역 결정 유닛;
후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하도록 구성되는 속성 식별 유닛;
이미지에서의 교통 신호등의 적어도 2개의 속성들에 기초하여 교통 신호등의 상태를 결정하도록 구성되는 상태 결정 유닛; 및
교통 신호등의 상태에 따라 차량에 대해 지능형 제어를 수행하도록 구성되는 지능형 제어 유닛을 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따라 제공되는 차량은 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 장치 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 장치를 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따라 제공되는 전자 디바이스는 프로세서를 포함하고, 이러한 프로세서는 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 장치 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 장치를 포함한다.
본 개시내용의 실시예들의 다른 양태에 따라 제공되는 전자 디바이스는, 실행가능 명령어들을 저장하도록 구성되는 메모리;
및 메모리와 통신하여 실행가능 명령어들을 실행하도록 구성되어, 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 방법의 동작들을 완료하거나 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 방법의 동작들을 완료하는 프로세서를 포함한다.
본 개시내용의 실시예의 또 다른 양태에 따라 제공되는 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어를 저장하도록 구성되고, 이러한 명령어들이 실행될 때, 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 방법의 동작들 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 방법의 동작들이 실행된다.
본 개시 내용의 실시예들의 다른 양태에 따라 제공되는 컴퓨터 프로그램 제품은 컴퓨터 판독가능 코드를 포함하고, 이러한 컴퓨터 판독가능 코드가 디바이스에서 실행될 때, 이러한 디바이스에서의 프로세서는 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 방법 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 방법을 구현하기 위한 명령어들을 실행한다.
본 개시내용의 실시예들에 따라 제공되는 교통 신호등 검출 및 지능형 주행 방법 및 장치, 차량, 및 전자 디바이스에 기초하여, 교통 신호등을 포함하는 비디오 스트림이 획득되고; 이러한 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들이 결정되고; 이러한 후보 영역들에 기초하여 이러한 이미지에서의 교통 신호등의 적어도 2개의 속성들이 결정된다. 교통 신호등의 적어도 2개의 속성들을 획득하는 것에 의해, 교통 신호등의 다수의 정보의 식별이 실현되고, 그렇게 함으로써 교통 신호등의 식별 시간을 감소시키고 식별 정확도를 개선한다.
다음은 첨부 도면들 및 실시예들을 참조하여 본 개시내용의 기술적 해결책들을 상세히 추가로 설명한다.
명세서의 부분을 구성하는 첨부 도면들은 본 개시내용의 실시예들을 설명하고, 이러한 설명들과 함께 본 개시내용의 원리들을 설명하도록 의도된다.
다음의 상세한 설명에 따르면, 본 개시내용은 첨부 도면들을 참조하여 더 명확하게 이해될 수 있다.
도 1은 본 개시내용에 따라 제공되는 교통 신호등 검출 방법의 개략 흐름도이다.
도 2는 본 개시내용에 따라 제공되는 교통 신호등 검출 장치의 개략 구조도이다.
도 3은 본 개시내용에 따라 제공되는 지능형 주행 방법의 개략 흐름도이다.
도 4는 본 개시내용에 따라 제공되는 지능형 주행 장치의 개략 구조도이다.
도 5는 본 개시내용의 실시예들을 구현하기에 적합한, 단말 디바이스 또는 서버일 수 있는, 전자 디바이스의 개략 구조도이다.
다음의 상세한 설명에 따르면, 본 개시내용은 첨부 도면들을 참조하여 더 명확하게 이해될 수 있다.
도 1은 본 개시내용에 따라 제공되는 교통 신호등 검출 방법의 개략 흐름도이다.
도 2는 본 개시내용에 따라 제공되는 교통 신호등 검출 장치의 개략 구조도이다.
도 3은 본 개시내용에 따라 제공되는 지능형 주행 방법의 개략 흐름도이다.
도 4는 본 개시내용에 따라 제공되는 지능형 주행 장치의 개략 구조도이다.
도 5는 본 개시내용의 실시예들을 구현하기에 적합한, 단말 디바이스 또는 서버일 수 있는, 전자 디바이스의 개략 구조도이다.
본 개시내용의 다양한 예시적 실시예들이 첨부 도면들을 참조하여 상세히 이제 설명될 것이다. 구체적으로 달리 진술되지 않는 한, 이러한 실시예들에서 제시되는 컴포넌트들 및 단계들의 상대적 배열, 수치 표현들, 및 값들은 본 개시내용의 범위를 제한하도록 의도되지 않는다는 점이 주목되어야 한다.
또한, 설명의 용이함을 위해, 첨부 도면들에 도시되는 각각의 부분의 크기는 실제 비율로 그려지지 않는다는 점이 이해되어야 한다.
적어도 하나의 예시적인 실시예의 다음의 설명들은 실제로 단지 예시적이고, 본 개시내용 및 그 적용들 또는 사용들을 제한하도록 의도되지 않는다.
관련 기술분야에서의 통상의 기술자에게 알려진 기술들, 방법들 및 디바이스들은 상세히 논의되지 않을 수 있지만, 이러한 기술들, 방법들 및 디바이스들은 적절한 상황들에서 명세서의 부분으로서 고려되어야 한다.
다음의 첨부 도면들에서의 유사한 참조 수치들 및 문자들은 유사한 아이템들을 표현한다는 점이 주목되어야 한다. 따라서, 일단 아이템이 첨부 도면에서 정의되면, 이러한 아이템은 후속하는 첨부 도면들에서 추가로 논의될 필요가 없다.
본 개시내용의 실시예들은, 다수의 다른 범용 또는 특수-목적 컴퓨팅 시스템 환경들 또는 구성들로 동작할 수 있는, 컴퓨터 시스템/서버에 적용될 수 있다. 이러한 컴퓨터 시스템/서버와 함께 사용하기에 적합한 잘 알려진 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예들은, 이에 제한되는 것은 아니지만, 개인용 컴퓨터 시스템들, 서버 컴퓨터 시스템들, 씬 클라이언트들(thin clients), 씨크 클라이언트들(thick clients), 핸드헬드 또는 랩톱 디바이스들, 마이크로프로세서-기반 시스템들, 셋 톱 박스들, 프로그램가능 소비자 전자기기들, 네트워크 개인용 컴퓨터들, 소형 컴퓨터 시스템들, 대형 컴퓨터 시스템들, 전술한 시스템들 중 어느 하나를 포함하는 분산형 클라우드 컴퓨팅 환경들 등을 포함한다.
이러한 컴퓨터 시스템/서버는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템 실행가능 명령어들(예를 들어, 프로그램 모듈들)의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 이러한 프로그램 모듈들은 구체적인 작업들을 수행하거나 또는 구체적인 추상 데이터 타입들을 구현하기 위한 루틴들, 프로그램들, 타겟 프로그램들, 컴포넌트들, 로직들, 데이터 구조들 등을 포함할 수 있다. 이러한 컴퓨터 시스템/서버는 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산형 클라우드 컴퓨팅 환경들에서 실시될 수 있다. 분산형 컴퓨팅 환경들에서, 이러한 프로그램 모듈은 저장 디바이스들을 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치될 수 있다.
도 1은 본 개시내용에 따라 제공되는 교통 신호등 검출 방법의 개략 흐름도이다. 이러한 방법은, 단말 디바이스, 서버, 모바일 디바이스, 및 차량-장착형 디바이스와 같은, 임의의 전자 디바이스에 의해 수행될 수 있다. 도 1에 도시되는 바와 같이, 이러한 실시예들에서의 방법은 다음의 단계들을 포함한다.
단계 110에서, 교통 신호등을 포함하는 비디오 스트림이 획득된다.
선택적으로, 교통 신호등의 식별은 차량의 주행 프로세스에서 기록되는 차량-장착형 비디오에 기초하여 일반적으로 수행된다. 이러한 차량-장착형 비디오가 파싱되어 적어도 하나의 프레임의 이미지를 포함하는 비디오 스트림을 획득한다. 예를 들어, 차량의 전방 또는 주변 환경의 비디오는 차량 상에 장착되는 카메라 장치를 통해 촬영될 수 있고, 교통 신호등이 차량의 전방 또는 주변 환경에 존재하면, 교통 신호등은 카메라 장치에 의해 촬영될 수 있고, 촬영된 비디오 스트림은 교통 신호등을 포함하는 비디오 스트림이다. 비디오 스트림에서의 이미지에 대해, 각각의 프레임의 이미지가 교통 신호등을 포함하거나, 또는 적어도 하나의 프레임의 이미지가 교통 신호등을 포함한다.
하나의 선택적인 예에서, 단계 110은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 비디오 스트림 획득 모듈(21)에 의해 수행될 수 있다.
단계 120에서, 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들이 결정된다.
선택적으로, 교통 신호등을 포함하는 비디오 스트림의 이미지로부터 후보 영역들이 결정되고, 이러한 후보 영역들은 이미지에서의 교통 신호등을 포함할 수 있는 영역들을 지칭한다.
신경망 또는 다른 타입들의 검출 모델들에 기초하여 교통 신호등의 영역의 검출이 수행될 수 있다.
하나 이상의 선택적 실시예에서, 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들은 R-FCN을 사용하여 결정된다. 신호 이미지는 R-FCN을 통해 검출되고, 교통 신호등을 포함할 수 있는 후보 영역들이 획득된다. R-FCN은 Faster RCNN(Faster Region with CNN)의 개선된 버전으로서 간주될 수 있고, 그 검출 속도는 Faster RCNN보다 더 빠르다.
하나의 선택적인 예에서, 단계 120은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있고, 프로세서에 의해 실행되는 영역 결정 유닛(22)에 의해 또한 수행될 수 있다.
단계 130에서, 이미지에서의 교통 신호등의 적어도 2개의 속성들이 후보 영역들에 기초하여 결정된다.
교통 신호등의 속성들은 교통 신호등을 설명하기 위해 사용되고, 실제 필요에 따라 정의될 수 있다, 예를 들어, 교통 신호등의 절대적 위치 또는 상대적 위치를 설명하기 위한 위치 영역 속성, 교통 신호등의 (적색, 녹색, 및 황색과 같은) 색상들을 설명하기 위한 속성, 교통 신호등의 (원, 선형 화살표, 및 점선 화살표와 같은) 형상들을 설명하기 위한 속성, 및 교통 신호등의 다른 양태들을 설명하기 위한 다른 속성들을 포함할 수 있다.
선택적으로, 교통 신호등의 적어도 2개의 속성들은 위치 영역, 색상들, 및 형상 중 임의의 2개 이상을 포함한다.
선택적으로, 교통 신호등의 색상들은 적색, 황색 및 녹색을 포함하고, 그 형상은 화살표 형상, 원 또는 다른 형상들을 포함한다. 상이한 형상들인 교통 신호등들에 대해, 오직 교통 신호등의 위치만 인식되면, 신호는 정확하게 식별될 수 없다. 따라서, 실시예들은 위치 영역, 색상들, 및 형상 중 적어도 2개의 식별에 기초한다, 예를 들어, 교통 신호등의 위치 영역 및 색상이 결정될 때, (차량의 어느 방향에 대응하는) 이미지에서의 현재 교통 신호등의 위치가 결정될 수 있고, 교통 신호등의 디스플레이 상태(각각 상이한 상태들에 대응하는 적색, 녹색, 또는 황색)가 색상을 통해 결정될 수 있고, 교통 신호등의 상이한 상태들을 식별하는 것에 의해 보조 주행 또는 자율 주행이 실현될 수 있고; 교통 신호등의 위치 영역 및 형상이 결정될 때, (차량의 어느 방향에 대응하는) 이미지에서의 현재 교통 신호등의 위치가 결정될 수 있고, 교통 신호등의 디스플레이 상태(예를 들어, 상이한 방향들을 향하는 화살표들은 상이한 상태들에 있는 인체 그래프들을 표현하거나 또는 상이한 형상들은 상이한 상태들을 표현함)가 형상을 통해 결정될 수 있고; 교통 신호등의 색상 및 형상이 결정될 때, 색상 및 형상의 조합에 기초하여 현재 교통 신호등의 상태가 결정될 수 있고(예를 들어, 좌측을 가리키는 녹색 화살표는 좌측 회전을 표현하고, 전방을 가리키는 적색 화살표는 앞쪽 통과 금지를 표현함); 이미지에서의 교통 신호등의 위치가 획득되는 것에 기초하여, 교통 신호등의 위치 영역, 색상, 및 형상이 결정될 때, 색상 및 형상의 조합에 기초하여 현재 교통 신호등의 상태가 결정될 수 있다. 실시예들에 따르면, 3개의 속성들 중 2개 이상을 조합하는 것에 의해, 교통 신호등의 속성 특성들이 강조될 수 있고, 그렇게 함으로써 검출 및 식별과 같은 처리 효과들을 개선하는 것을 용이하게 한다.
하나의 선택적인 예에서, 단계 130은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 속성 식별 유닛(23)에 의해 수행될 수 있다.
본 개시내용의 실시예들에 따라 제공되는 교통 신호등 검출 방법에 기초하여, 교통 신호등을 포함하는 비디오 스트림이 획득되고; 이러한 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들이 결정되고; 이러한 후보 영역들에 기초하여 이러한 이미지에서의 교통 신호등의 적어도 2개의 속성들이 결정된다. 교통 신호등의 적어도 2개의 속성들을 획득하는 것에 의해, 교통 신호등의 다수의 정보의 식별이 실현되고, 그렇게 함으로써 교통 신호등의 식별 시간을 감소시키고 식별 정확도를 개선한다.
신경망 또는 다른 타입들의 식별 모델들에 기초하여 교통 신호등의 적어도 2개의 속성의 결정이 수행될 수 있다. 하나 이상의 선택적인 실시예에서, 이러한 동작(130)은,
다중-작업 식별 네트워크를 사용하여, 후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하는 단계를 포함할 수 있다.
이러한 실시예들에서, 교통 신호등의 적어도 2개의 속성들은, 네트워크를 통해 식별되고, 각각 적어도 2개의 네트워크들에 기초하여 적어도 2개의 속성들이 식별되는 조건과 비교되고, 네트워크의 크기가 감소되고, 교통 신호등의 속성 식별 효율이 개선된다.
교통 신호등을 포함할 수 있는 후보 영역들은 다중-작업 식별 네트워크를 통해 식별된다. 이러한 식별 프로세스는 특징 추출 및 속성 식별을 포함할 수 있다. 이러한 2개의 부분들의 기능들을 달성하기 위해, 다중-작업 식별 네트워크는 특징 추출 분기, 및 이러한 특징 추출 분기에 각각 접속되는 적어도 2개의 작업 분기들을 포함할 수 있고, 교통 신호등의 상이한 종류들의 속성들을 결정하기 위해 상이한 작업 분기들이 사용된다.
각각의 속성 식별 작업은 후보 영역들에 대해 특징 추출을 수행할 필요가 있다. 이러한 실시예들에서, 특징 추출 분기는 적어도 2개의 작업 분기들에 각각 접속되어, 적어도 2개의 작업 분기들의 특징 추출 동작들이 동일한 특징 추출 분기에서 조합되고, 특징 추출은 적어도 2개의 작업 분기들에 대해 각각 수행되도록 요구되지 않고, 그렇게 함으로써 다중-작업 식별 네트워크의 구조를 감소시키고 속성 식별의 속도를 가속시킨다.
선택적으로, 적어도 2개의 속성들을 획득하는 프로세스는,
특징 추출 분기에 기초하여 후보 영역들에 대해 특징 추출을 수행하여 후보 특징들을 획득하는 단계; 및
적어도 2개의 작업 분기들에 기초하여 후보 특징들을 각각 처리하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 획득하는 단계를 포함할 수 있다.
선택적으로, 특징 추출 분기는 콘볼루션 레이어의 적어도 하나의 레이어를 포함할 수 있고, 후보 영역들은 입력 이미지들로서 사용된다. 특징 추출 분기를 통해 후보 영역들에 대해 특징 추출이 수행되어 후보 영역들의 후보 특징들(특징 맵들 또는 특징 벡터들)을 획득한다. 후보 특징들에 기초하여, 적어도 2개의 작업 분기들을 통해 교통 신호등의 위치 및 색상 또는 교통 신호등의 위치 및 형상 또는 교통 신호등의 색상 및 형상이 획득될 수 있다. 양호한 효과를 갖는 하나의 실시예에서, 다중-작업 분기를 통해 교통 신호등의 색상, 위치, 및 형상이 동시에 획득된다. 교통 신호등의 위치가 체크될 때, 현재의 교통 신호등의 상태가 교통 신호등의 색상을 통해 식별되어, 자율 주행의 분야에서 양호한 애플리케이션이 획득될 수 있고, 교통 신호등의 형상을 식별하는 것에 의해 교통 신호등의 식별 정확도가 개선될 수 있다.
선택적으로, 적어도 2개의 작업 분기는, 이에 제한되는 것은 아니지만, 검출 분기, 식별 분기, 및 분류 분기를 포함한다.
적어도 2개의 작업 분기들에 기초하여 후보 특징들을 각각 처리하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 획득하는 단계는,
검출 분기를 통해 후보 특징들에 대해 위치 검출을 수행하여 교통 신호등의 위치 영역을 결정하는 단계;
분류 분기를 통해 후보 특징들에 대해 색상 분류를 수행하여 교통 신호등이 위치되는 위치 영역의 색상을 결정하고, 교통 신호등의 색상을 결정하는 단계; 및
식별 분기를 통해 후보 특징들에 대해 형상 식별을 수행하여 교통 신호등이 위치되는 위치 영역의 형상을 결정하고, 교통 신호등의 형상을 결정하는 단계를 포함한다.
이러한 실시예들에서, 교통 신호등의 위치 영역, 색상, 및 형상의 임의의 2개의 또는 3개의 속성들이 상이한 분기들을 통해 식별될 수 있어, 다중-작업 식별을 위한 시간이 절약되고, 검출 네트워크의 크기가 감소되고, 다중-작업 식별 네트워크는 트레이닝 및 애플리케이션 프로세스들에서 더 빠르다. 또한, 교통 신호등의 위치 영역이 먼저 획득되면, 교통 신호등의 색상 및 형상이 더 빠르게 획득될 수 있다. 교통 신호등은 일반적으로 오직 3개의 색상들(적색, 녹색, 및 황색)을 갖기 때문에, 색상의 식별은 트레이닝된 분류 분기를 사용하여 구현될 수 있다(공통 다중-작업 식별 네트워크에서의 콘볼루션 레이어 이외의 다른 네트워크 레이어들이 이용될 수 있다).
교통 신호등을 검출하고 실제 장면들에서 그 상태를 결정하는 것은 매우 어렵다. 먼저, 교통 신호등의 색상 결정은 조명 및 날씨와 같은 환경 인자들의 간섭으로 인해 매우 어렵다. 또한, 교통 신호등의 검출에 영향을 주는, 차량 라이트들 및 가로등들 같은, 복잡한 실제 장면들에 유사한 간섭이 존재한다. 본 개시내용의 실시예들에 따르면, 교통 신호등의 위치 영역, 색상, 및 형상 중 2개 이상이 동시에 검출되고, 그렇게 함으로써 검출 시간을 절약하면서 검출 정확도를 개선한다.
하나 이상의 선택적 실시예에서, 단계 120 전에, 이러한 방법은 추가로,
비디오 스트림에서의 적어도 하나의 프레임의 이미지에 대해 주요 지점 식별을 수행하여 이미지에서의 교통 신호등의 주요 지점을 결정하는 단계;
비디오 스트림에서의 교통 신호등의 주요 지점을 추적하여 추적 결과를 획득하는 단계; 및
추적 결과에 기초하여 교통 신호등의 위치 영역을 조정하는 단계를 포함한다.
비디오 스트림의 연속 프레임들 사이에 차이가 거의 존재하지 않을 수 있다. 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들에 오직 기초하여 교통 신호등의 위치 식별이 수행되면, 연속 프레임들에서의 위치 영역들은 동일한 위치 영역들인 것으로 식별될 수 있고, 따라서 식별된 위치 영역들은 정확하지 않다. 이러한 실시예들에서, 이미지에 대해 주요 지점 식별을 수행하는 것에 의해, 이미지에서의 교통 신호등의 위치 영역은 주요 지점에 기초하여 결정되고, 다중-작업 식별 네트워크에 의해 획득되는 교통 신호등의 위치는 주요 지점의 위치 영역에 기초하여 조정되고, 그렇게 함으로써 위치 영역 식별의 정확도를 개선한다.
주요 지점 식별 및/또는 추적은 종래 기술에서의 주요 지점 식별 및/또는 추적을 달성할 수 있는 기술들 중 어느 하나에 기초하여 실현될 수 있다. 선택적으로, 비디오 스트림에서의 교통 신호등의 주요 지점은 정적 주요 지점 추적 기술에 기초하여 추적될 수 있어, 교통 신호등의 주요 지점이 비디오 스트림에 위치될 수 있는 영역을 획득한다.
교통 신호등의 위치 영역은 검출 분기를 통해 획득된다. 연속 이미지들 사이의 작은 차이 및 임계값의 선택에 의해 특정 프레임들의 누락 검출이 용이하게 야기될 수 있고, 따라서, 정적 주요 지점 추적 기술에 기초하여 차량-장착형 비디오에 대한 검출 네트워크의 검출 효과가 개선된다.
이미지의 특징 지점들은, 코너 지점들 및 어두운 영역에서의 밝은 스폿들과 같은, 이미지에서의 상대적으로 현저한 지점들로서 단순히 이해될 수 있다. 먼저, 비디오 이미지에서의 ORB(Oriented FAST and Rotated BRIEF) 특징 지점들이 식별된다: ORB 특징 지점들의 정의는 특징 지점들 주위의 이미지 그레이 값에 기초하고; 검출 동안, 후보 특징 지점들의 주위의 픽셀 값들이 고려되고, 충분한 픽셀 지점들이 후보 지점들 주위의 필드에 존재하고 이러한 픽셀 지점들의 그레이 값들과 후보 특징 지점들 사이의 차이가 미리 결정된 값에 도달하면, 후보 지점들이 주요 특징 지점들로서 고려된다. 실시예들은 교통 신호등의 주요 지점의 식별에 관련된다. 따라서, 주요 지점은 교통 신호등의 주요 지점이다. 교통 신호등의 주요 지점에 의해 비디오 스트림에서의 교통 신호등의 정적 추적이 실현될 수 있다. 교통 신호등은 이미지에서의 하나보다 많은 픽셀 지점을 점유하기 때문에, 즉, 이러한 실시예들에서 획득되는 교통 신호등의 주요 지점은 적어도 하나의 픽셀 지점을 포함하기 때문에, 교통 신호등의 주요 지점이 하나의 위치 영역에 대응한다는 점이 이해될 수 있다.
선택적으로, 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하는 단계는,
2개의 연속 프레임들의 이미지들에서의 교통 신호등의 주요 지점들 사이의 거리에 기초하는 것; 및
교통 신호등의 주요 지점들 사이의 거리에 기초하여 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하는 단계를 포함한다.
이러한 실시예들에서, 2개의 연속 프레임은 비디오 스트림에서의 연속 시간 시퀀스들을 갖는 2개의 취득 프레임들, 또는 비디오 스트림에서의 연속 시간 시퀀스들을 갖는 2개의 검출 프레임들일 수 있고(프레임 단위 검출 또는 샘플링 검출이 비디오 스트림에서의 수행될 수 있기 때문에, 검출 프레임 및 취득 프레임의 의미가 완전히 동일하지는 않음); 비디오 스트림에서의 복수의 연속 2개의 프레임들의 이미지의 교통 신호등의 주요 지점이 상관되어, 교통 신호등의 주요 지점이 비디오 스트림에서 추적될 수 있고, 비디오 스트림에서의 적어도 하나의 프레임의 이미지의 위치 영역이 추적 결과에 기초하여 조정될 수 있다. 선택적으로, 비디오 스트림에서의 교통 신호등의 주요 지점은 교통 신호등의 주요 지점들 사이의 Hamming 거리, Euclidean 거리, Joint Bayesian 거리, 또는 코사인 거리에 기초하여 추적될 수 있다. 실시예들은 교통 신호등의 주요 지점들 사이의 어떤 거리에 기초하는지 제한하지 않는다.
Hamming 거리가 데이터 송신 에러 제어 코딩에서 사용된다. Hamming 거리는 2개의 (동일한 길이) 단어들에 대응하는 상이한 비트들의 수를 표현하는 개념이다. 배타적-OR 동작이 2개의 문자열들에 대해 수행되고, 결과가 1인 수가 카운트되고, 따라서 그 수가 Hamming 거리이다. 2개의 이미지들 사이의 Hamming 거리는 2개의 이미지들 사이의 상이한 데이터 비트들의 수이다. 2개 프레임의 신호 이미지들에서의 적어도 하나의 교통 신호등의 주요 지점들 사이의 Hamming 거리에 기초하여, 2개의 신호 이미지들 사이의 교통 신호등의 이동 거리를 알 수 있다, 즉, 교통 신호등의 주요 지점이 추적될 수 있다.
선택적으로, 교통 신호등의 주요 지점들 사이의 거리에 기초하여 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하는 단계는,
교통 신호등의 주요 지점들 사이의 거리에 기초하여 2개의 연속 프레임들의 이미지들에서의 동일한 교통 신호등의 주요 지점의 위치 영역을 결정하는 단계; 및
2개의 연속 프레임들의 이미지들에서의 동일한 교통 신호등의 주요 지점의 위치 영역에 따라 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하는 단계를 포함한다.
교통 신호등들은 일반적으로 개별적으로 출현하지 않고, 교통 신호등들은 이미지에서의 하나의 주요 지점에 의해 표현될 수 없고, 따라서, 이미지는 적어도 하나의 교통 신호등의 주요 지점을 포함한다. 또한, 상이한 교통 신호등들(예를 들어, 전방 교통 신호등 및 좌회전 교통 신호등이 동일한 이미지에 동시에 디스플레이될 수 있음)이 각각 추적될 필요가 있다. 이러한 실시예들에서, 연속 프레임들에서의 동일한 교통 신호등의 주요 지점을 추적하는 것에 의해, 상이한 교통 신호등들의 무질서한 추적의 문제점이 해결된다.
선택적으로, 적어도 하나의 교통 신호등의 주요 지점들 사이의 Hamming 거리의 더 낮은 값(예를 들어, 최소 값)에 기초하여 2개의 연속 프레임들의 이미지들에서의 동일한 교통 신호등의 주요 지점의 위치 영역이 결정될 수 있다.
예를 들어, 전방 프레임 및 후방 프레임에서의 이미지 좌표계의 더 낮은 Hamming 거리를 갖는 특징 지점(교통 신호등의 주요 지점)이 브루트 포스(brute force) 알고리즘을 통해 매칭될 수 있다, 즉, 각각의 쌍의 교통 신호등의 주요 지점들에 기초하여, 그 특징 지점들의 Hamming 거리가 계산되고, Hamming 거리의 더 낮은 값(예를 들어, 최소 값)을 갖는 교통 신호등의 주요 지점에 기초하여, 전방 프레임 및 후방 프레임에서의 ORB 특징 지점들의 매칭이 실현되고, 정적 특징 지점 추적이 실현된다. 또한, 교통 신호등의 주요 지점의 이미지 좌표계가 교통 신호등의 후보 영역들에 위치되기 때문에, 교통 신호등의 주요 지점이 교통 신호등 검출에서의 정적 주요 지점인 것으로 결정된다. 브루트 포스 알고리즘은 공통 모드 매칭 알고리즘이다. 브루트 포스 알고리즘은 타겟 스트링 S의 첫번째 문자를 패턴 스트링 T의 첫번째 문자와 매칭시키고, 동일하다면, S의 두번째 문자와 T의 두번째 문자를 계속 비교하고; 그렇지 않다면, S의 두번째 문자와 T의 첫번째 문자를 비교하고, 최종 매칭 결과가 획득될 때까지 이들을 순차적으로 비교한다. 브루트 포스 알고리즘은 일종의 브루트 포스 알고리즘이다.
하나 이상의 선택적 실시예에서, 추적 결과에 기초하여 교통 신호등의 위치 영역을 조정하는 단계는,
추적 결과에서의 위치 영역이 교통 신호등의 위치 영역과 중첩하는지를 비교하여 비교 결과를 획득하는 단계; 및
비교 결과에 기초하여 교통 신호등의 위치 영역을 조정하는 단계를 포함한다.
추적 결과에 기초하여 교통 신호등의 위치 영역이 조정되어, 교통 신호등의 위치 영역이 더 안정적이고, 비디오 장면들에 적용되기에 더 적합하다.
이러한 실시예들에서, 추적 결과에 기초하여 비디오 스트림에서의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 주요 지점에 대응하는 위치 영역이 결정될 수 있고, 추적 결과에서의 위치 영역과 교통 신호등의 위치 영역에서의 교통 신호등의 위치 영역 사이의 중첩 부분의 비율이 설정된 비율을 초과할 때, 추적 결과에서의 위치 영역이 교통 신호등의 위치 영역과 중첩하는 것으로 결정될 수 있고, 그렇지 않으면, 추적 결과에서의 위치 영역이 교통 신호등의 위치 영역과 중첩하지 않는 것으로 결정될 수 있다.
선택적으로, 비교 결과에 기초하여 교통 신호등의 위치 영역을 조정하는 단계는 다음을 포함한다:
교통 신호등의 위치 영역은 교통 신호등의 위치 영역과 중첩하지 않는 교통 신호등의 주요 지점에 대응하는 위치 영역에 응답하여 교통 신호등의 주요 지점에 대응하는 위치 영역으로 대체된다.
교통 신호등의 주요 지점에 대응하는 위치 영역이 교통 신호등 이미지에서의 교통 신호등의 위치 영역과 중첩하는지의 비교 결과가 획득된다. 다음의 3개의 상황들이 포함될 수 있다.
교통 신호등의 주요 지점에 대응하는 위치 영역이 교통 신호등의 위치 영역과 매칭되면(중첩), 즉, 전방 프레임 및 후방 프레임에서 매칭되는 교통 신호등의 주요 지점의 위치 영역이 검출된 교통 신호등의 위치 영역과 동일하면, 정정이 요구되지 않고; 교통 신호등의 주요 지점의 위치 영역이 검출된 교통 신호등의 위치 영역과 대략 매칭되면, 전방 프레임 및 후방 프레임에서의 교통 신호등의 주요 지점의 위치 영역의 오프셋에 따라, 검출된 교통 신호등의 위치의 폭 및 높이가 변경되지 않은 채로 유지된다는 전제로, 현재 프레임 검출 박스의 위치 영역이 교통 신호등의 주요 지점의 위치 영역의 이동에 따라 계산된다. 교통 신호등의 위치 영역이 현재 프레임에서 검출되지 않고, 교통 신호등의 위치 영역이 마지막 프레임에서 검출되면, 현재 프레임의 교통 신호등의 위치 영역이 교통 신호등의 주요 지점에 따른 카메라의 범위를 초과하지 않는 것으로 결정될 수 있고; 이러한 범위가 초과되지 않으면, 현재 프레임의 교통 신호등의 위치 영역이 교통 신호등의 주요 지점의 계산 결과에 기초하여 결정되어, 누락 검출을 감소시킨다.
하나 이상의 선택적 실시예에서, 동작 120 전에, 이러한 방법은 추가로,
취득된 트레이닝 이미지 세트에 기초하여 R-FCN을 트레이닝하는 단계- 트레이닝 이미지 세트는 주석 속성들을 갖는 복수의 트레이닝 이미지들을 포함함 -; 및
트레이닝 이미지 세트에 기초하여 R-FCN에서의 그리고 다중-작업 식별 네트워크에서의 파라미터들을 조정하는 단계를 포함할 수 있다.
실제 장면에서, 교통 신호등들에서의 황색 지시등은 오직 적색 지시등과 녹색 지시등 사이의 천이 상태이고, 따라서, 지속기간은 적색 지시등 및 녹색 지시등의 것보다 더 짧다. 종래 기술에서, R-FCN에 기초하는 검출 프레임은 오직 한번에 제한된 이미지를 입력하고, 이러한 이미지에서의 황색 지시등들의 수는 적색 지시등 및 녹색 지시등의 것 미만이고, 따라서 검출 네트워크가 효과적으로 트레이닝될 수 없고, 황색 지시등에 대한 모델의 감도가 개선될 수 없다. 따라서, 본 개시내용에서, 교통 신호등의 위치, 색상, 및/또는 형상은 R-FCN 및 다중-작업 식별 네트워크를 트레이닝하는 것에 의해 동시에 식별될 수 있다.
황색 지시등에 대한 검출 네트워크의 감도를 개선하기 위해, 선택적으로, 트레이닝 이미지 세트에 기초하여 R-FCN에서의 그리고 다중-작업 식별 네트워크에서의 파라미터들을 조정하기 전에, 이러한 방법은 추가로,
트레이닝 이미지 세트에 기초하여, 미리 결정된 비율을 따르는 교통 신호등의 색상 비율을 갖는 새로운 트레이닝 이미지 세트를 획득하는 단계; 및
새로운 트레이닝 이미지 세트에 기초하여 분류 네트워크를 트레이닝하는 단계- 분류 네트워크는 교통 신호등의 색상에 기초하여 트레이닝 이미지들을 분류하도록 구성됨 -를 포함할 수 있다.
선택적으로, 분류 네트워크는 후보 RPN(Region Proposal Network) 및 제안 레이어를 제거하는 것에 의해 종래 기술에서의 검출 네트워크에 의해 획득된다. 선택적으로, 분류 네트워크는 다중-작업 식별 네트워크에서의 특징 추출 분기 및 분류 분기를 대응하여 포함할 수 있다. 분류 네트워크는 단독으로 미리 결정된 비율을 갖는 새로운 트레이닝 이미지 세트에 기초하여 트레이닝되어, 교통 신호등들의 색상들에 대한 분류 네트워크의 분류 정확도가 개선될 수 있다.
트레이닝 네트워크의 트레이닝 이미지 세트는 수집에 의해 획득되고, 취득된 트레이닝 이미지 세트는 R-FCN을 트레이닝하기 위해 사용된다. 취득된 트레이닝 이미지 세트에서의 적색 지시등들, 녹색 지시등들, 및 황색 지시등들의 수가 조정된다. 선택적으로, 미리 결정된 비율에서의 상이한 색상들의 교통 신호등들의 수는 동일하거나 또는 그 수에서의 차이는 허용가능한 임계값 미만이다.
교통 신호등의 색상들은 적색, 황색, 및 녹색을 포함한다.
황색 지시등의 확률이 실제로 적색 지시등 및 녹색 지시등의 것보다 훨씬 더 낮기 때문에, 황색 지시등의 비율은 취득된 트레이닝 이미지들에서의 적색 지시등 및 녹색 지시등의 비율 훨씬 미만이다. 이러한 실시예들에서, 분류 네트워크의 정확도를 개선하기 위해, 적색, 황색 및 녹색의 비율들은 동일한 것으로 미리 결정되도록 선택될 수 있거나(예를 들어, 적색: 황색: 녹색은 1: 1: 1임), 또는 적색, 황색 및 녹색의 수들에서의 차이는 허용가능한 임계값 미만이도록 제어되어, 3개의 색상들의 비율은 1: 1: 1에 근접한다. 트레이닝 이미지 세트로부터 대응하는 색상으로서 교통 신호등을 갖는 트레이닝 이미지들을 추출하는 것에 의해 새로운 트레이닝 이미지 세트가 형성될 수 있거나, 또는 트레이닝 이미지 세트에서의 황색 지시등 이미지들이 반복적으로 호출되어, 황색 지시등 이미지들의 수 및 적색 지시등 이미지들 및 녹색 지시등 이미지들의 수가 미리 결정된 비율을 충족시킨다. 분류 네트워크는 조정된 새로운 트레이닝 이미지 세트에 의해 트레이닝되어, 황색 지시등 이미지들의 수가 적색 지시등 이미지들 및 녹색 지시등 이미지들의 것 훨씬 미만이라는 결함이 극복되고, 황색 지시등에 대한 분류 네트워크의 식별 정확도가 개선된다.
선택적으로, 트레이닝 이미지 세트에 기초하여 R-FCN에서 그리고 다중-작업 식별 네트워크에서의 파라미터들을 조정하기 전에, 이러한 방법은 추가로,
트레이닝된 분류 네트워크의 파라미터들에 기초하여 다중-작업 식별 네트워크에서의 파라미터들 중 적어도 일부를 초기화하는 단계를 포함한다.
선택적으로, 트레이닝된 분류 네트워크의 파라미터들에 기초하여 다중-작업 식별 네트워크에서의 파라미터들 중 일부 또는 전부가 초기화될 수 있고, 예를 들어, 트레이닝된 분류 네트워크의 파라미터들을 사용하여 다중-작업 식별 네트워크에서의 특징 추출 분기 및 분류 분기가 초기화되고, 이러한 파라미터들은, 예를 들어, 콘볼루션 커널의 크기, 콘볼루션 접속의 가중치 등을 포함할 수 있다.
황색 지시등의 식별 정확도를 개선하기 위한 분류 네트워크가 획득된 후, R-FCN 및 다중-작업 식별 네트워크를 트레이닝하기 위해 초기 트레이닝 이미지 세트가 사용된다. 트레이닝 전에, 검출 네트워크에서의 파라미터들 중 일부는 트레이닝된 분류 네트워크에서의 파라미터들로 초기화되고, 이러한 순간에, 획득된 특징 추출 분기 및 분류 분기는 교통 신호등들의 색상 분류에 대한 양호한 효과를 갖고, 황색 지시등의 분류 정확도가 개선된다.
본 개시내용에서, 교통 신호등 검출 방법은 지능형 주행, 고-정밀도 맵들 등의 분야들에 적용될 수 있다.
차량-장착형 비디오는, 차량의 안전한 주행을 용이하게 하기 위해, 교통 신호등의 위치 및 상태를 출력하기 위한 입력으로서 사용될 수 있다.
이러한 방법은 또한 고-정밀도 맵을 수립하고 고-정밀도 맵에서의 교통 신호등의 위치를 검출하기 위해 사용될 수 있다.
하나 이상의 선택적 실시예에서, 이러한 방법은 추가로,
이미지에서의 교통 신호등의 적어도 2개의 속성들에 기초하여 교통 신호등의 상태를 결정하는 단계; 및
교통 신호등의 상태에 따라 차량에 대해 지능형 주행 제어를 수행하는 단계를 포함한다.
이러한 실시예들에서, 교통 신호등의 적어도 2개의 속성들이 자동으로 식별되고, 비디오 스트림에서의 교통 신호등의 상태가 획득되고, 운전자가 주행 동안 산만해지고 교통 신호등을 관찰할 필요가 없어, 차량의 주행 안전성이 개선되고, 인간 에러들에 의해 야기되는 교통 위험이 감소된다.
선택적으로, 지능형 주행 제어는, 프롬프트 정보 또는 경고 정보를 전송하는 것, 및/또는 교통 신호등의 상태에 따라 차량의 주행 상태를 제어하는 것을 포함한다.
교통 신호등의 적어도 2개의 속성들의 식별은 지능형 주행을 위한 기초를 제공할 수 있다. 지능형 주행은 자율 주행 및 보조 주행을 포함한다. 자율 주행의 조건 하에서, 차량의 주행 상태(예를 들어, 정지, 감속, 또는 회전)는 교통 신호등의 상태에 따라 제어되고, 현재 교통 신호등의 상태를 운전자에게 통보하기 위해 프롬프트 정보 또는 경보 정보가 또한 전송될 수 있다. 그러나, 보조 주행의 조건 하에서, 오직 프롬프트 정보 또는 경보 정보가 전송되고, 차량을 제어하는 허가는 운전자에게 여전히 속하고, 운전자는 따라서 프롬프트 정보 또는 경보 정보에 따라 차량을 제어한다.
선택적으로, 이러한 방법은 추가로, 교통 신호등에 대응하는 이미지 뿐만 아니라 교통 신호등의 속성들 및 상태를 저장하는 단계를 포함한다.
이러한 실시예들에서, 교통 신호등에 대응하는 이미지 뿐만 아니라 교통 신호등의 속성들 및 상태를 저장하는 것에 의해, 교통 신호등의 더 많은 정보(속성들, 상태들 및 대응하는 이미지들)가 획득되어, 지능형 주행을 위한 더 많은 동작 기초들을 제공한다. 저장된 교통 신호등에 대응하는 시간 및 위치에 따라 고-정밀도 맵이 수립될 수 있고, 저장된 교통 신호등에 대응하는 이미지에 기초하여 고-정밀도 맵에서의 교통 신호등의 위치가 결정된다.
선택적으로, 교통 신호등의 상태는, 이에 제한되는 것은 아니지만, 통과-허가 상태, 통과-금지 상태, 또는 대기 상태를 포함한다.
이미지에서의 교통 신호등의 적어도 2개의 속성들에 기초하여 교통 신호등의 상태를 결정하는 단계는,
교통 신호등의 색상이 녹색인 것 및/또는 형상이 제1 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-허가 상태인 것으로 결정하는 단계;
교통 신호등의 색상이 적색인 것 및/또는 형상이 제2 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-금지 상태인 것으로 결정하는 단계; 또는
교통 신호등의 색상이 황색인 것 및/또는 형상이 제3 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 대기 상태인 것으로 결정하는 단계 중 적어도 하나를 포함한다.
기존의 교통 법규들 및 규정들을 고려하여, 교통 신호등 색상들은 적색, 녹색, 및 황색을 포함한다. 상이한 색상들은 상이한 통과 상태들에 대응하고, 적색은 차량들 및/또는 보행자들의 통과의 금지를 표현하고, 녹색은 차량들 및/또는 보행자들이 통과하도록 허가되는 점을 표현하고, 황색은 차량들 및/또는 보행자들이 정지하여 대기할 필요가 있다는 점을 표현한다. 또한, 색상들을 보조하기 위해 교통 신호등의 형상들이 또한 포함될 수 있다, 예를 들어, 플러스 부호 형상(선택적인 제1 미리 결정된 형상)은 통과가 허가되는 것을 표현하고, X 형상(선택적인 제2 미리 결정된 형상)은 통과가 금지되는 것을 표현하고, 마이너스 부호 형상(선택적인 제3 미리 결정된 형상)은 대기 상태를 표현한다. 상이한 교통 신호등들의 상태들에 대해 상이한 코딩 전략들이 제공되고, 자율 및 반-자율 지능형 주행이 실현되고, 주행 안전성이 개선된다.
선택적으로, 교통 신호등의 상태에 따라 차량에 대해 지능형 주행 제어를 수행하는 단계는,
교통 신호등의 상태가 통과-허가 상태인 것에 응답하여, 시동, 주행 상태 유지, 감속, 회전, 회전 지시등 점등, 브레이크 지시등 점등의 동작들, 및 차량 통과 동안 요구되는 다른 동작들 중 하나 이상의 동작을 실행하도록 차량을 제어하는 단계; 및
교통 신호등의 상태가 통과-금지 상태 또는 대기 상태인 것에 응답하여, 정지, 감속, 및 브레이크 지시등 점등의 동작들, 및 차량의 통과-금지 상태 또는 대기 상태 동안 요구되는 다른 동작들 중 하나 이상을 실행하도록 차량을 제어하는 단계를 포함할 수 있다.
예를 들어, 교통 신호등의 색상이 녹색이고 형상이 좌측을 가리키는 화살표일 때, 차량의 자율 회전(좌회전) 및/또는 회전 지시등(좌회전 지시등)의 자율 점등이 제어될 수 있고; 교통 신호등의 색상이 녹색이고 형상이 전방을 가리키는 화살표일 때, 차량은 감속으로 교차로를 통과하도록 제어될 수 있다. 물론, 차량이 어떻게 주행하는지에 관한 구체적인 제어는 현재 차량의 설정 목적지 및 현재 교통 신호등의 상태의 포괄적 결과에 기초한다. 교통 신호등의 상태에 대응하는 동작을 실행하도록 차량을 자동으로 제어하는 것에 의해, 더 높은 안전성을 갖는 지능형 주행이 실현될 수 있고, 주행의 안전성이 개선되고, 수동 동작 에러들에 의해 야기되는 잠재적 안전성 위험요소들이 감소된다.
해당 분야에서의 통상의 기술자는, 이러한 방법의 전술한 실시예들을 구현하는 모든 또는 일부 단계들이 관련 하드웨어에게 명령하는 것에 의해 프로그램에 의해 달성될 수 있고; 전술한 프로그램은 컴퓨터-판독가능 저장 매체에 저장될 수 있고; 이러한 프로그램이 실행될 때, 이러한 방법의 전술한 실시예들을 포함하는 단계들이 수행되고; 또한, 전술한 저장 매체는 ROM, RAM, 자기 디스크, 또는 광 디스크와 같은 프로그램 코드들을 저장할 수 있는 다양한 매체를 포함한다는 점을 이해할 수 있다.
도 2는 본 개시내용의 교통 신호등 검출 장치의 하나의 실시예의 구조 개략도이다. 이러한 실시예의 교통 신호등 검출 장치는 본 개시내용의 교통 신호등 검출 방법의 실시예들을 구현하기 위해 사용될 수 있다. 도 2에 도시되는 바와 같이, 이러한 실시예의 장치는,
교통 신호등을 포함하는 비디오 스트림을 획득하도록 구성되는 비디오 스트림 획득 유닛(21)을 포함한다.
선택적으로, 교통 신호등의 식별은 차량의 주행 프로세스에서 기록되는 차량-장착형 비디오에 기초하여 일반적으로 수행된다. 이러한 차량-장착형 비디오가 파싱되어 적어도 하나의 프레임의 이미지를 포함하는 비디오 스트림을 획득한다. 예를 들어, 차량의 전방 또는 주변 환경의 비디오는 차량 상에 장착되는 카메라 장치를 통해 촬영될 수 있고, 교통 신호등이 차량의 전방 또는 주변 환경에 존재하면, 교통 신호등은 카메라 장치에 의해 촬영될 수 있고, 촬영된 비디오 스트림은 교통 신호등을 포함하는 비디오 스트림이다. 비디오 스트림에서의 이미지에 대해, 각각의 프레임의 이미지가 교통 신호등을 포함하거나, 또는 적어도 하나의 프레임의 이미지가 교통 신호등을 포함한다.
영역 결정 유닛(22)은 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하도록 구성되고;
선택적으로, 교통 신호등을 포함하는 비디오 스트림의 이미지로부터 후보 영역들이 결정되고, 이러한 후보 영역들은 이미지에서의 교통 신호등을 포함할 수 있는 영역들을 지칭한다.
신경망 또는 다른 타입들의 검출 모델들에 기초하여 교통 신호등의 영역의 검출이 수행될 수 있다. 하나 이상의 선택적 실시예에서, 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들은 R-FCN을 사용하여 결정된다. 신호 이미지는 R-FCN을 통해 검출되고, 교통 신호등을 포함할 수 있는 후보 영역들이 획득된다. R-FCN은 Faster RCNN의 개선된 버전으로서 간주될 수 있고, 그 검출 속도는 Faster RCNN보다 더 빠르다.
속성 식별 유닛(23)은 후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하도록 구성된다.
교통 신호등의 속성들은 교통 신호등을 설명하기 위해 사용되고, 실제 필요에 따라 정의될 수 있다, 예를 들어, 교통 신호등의 절대적 위치 또는 상대적 위치를 설명하기 위한 위치 영역 속성, 교통 신호등의 (적색, 녹색, 및 황색과 같은) 색상들을 설명하기 위한 속성, 교통 신호등의 (원, 선형 화살표, 및 점선 화살표와 같은) 형상들을 설명하기 위한 속성, 및 교통 신호등의 다른 양태들을 설명하기 위한 다른 속성들을 포함할 수 있다.
본 개시내용의 실시예들에 따라 제공되는 교통 신호등 검출 장치에 기초하여, 교통 신호등의 적어도 2개의 속성들을 획득하는 것에 의해, 교통 신호등의 다수의 정보의 식별이 실현되고, 그렇게 함으로써 교통 신호등의 식별 시간을 감소시키고 식별 정확도를 개선한다.
선택적으로, 교통 신호등의 적어도 2개의 속성들은 위치 영역, 색상들, 및 형상 중 임의의 2개 이상을 포함한다.
신경망 또는 다른 타입들의 식별 모델들에 기초하여 교통 신호등의 적어도 2개의 속성의 결정이 수행될 수 있다. 하나 이상의 선택적 실시예에서, 속성 식별 유닛(23)은, 다중-작업 식별 네트워크를 사용하여, 후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하도록 구성된다.
이러한 실시예들에서, 교통 신호등의 적어도 2개의 속성들은, 네트워크를 통해 식별되고, 각각 적어도 2개의 네트워크들에 기초하여 적어도 2개의 속성들이 식별되는 조건과 비교되고, 네트워크의 크기가 감소되고, 교통 신호등의 속성 식별 효율이 개선된다.
선택적으로, 다중-작업 식별 네트워크는 특징 추출 분기 및 이러한 특징 추출 분기에 각각 접속되는 적어도 2개의 작업 분기들을 포함하고, 상이한 작업 분기들은 교통 신호등의 상이한 종류의 속성들을 결정하도록 구성된다.
속성 식별 유닛(23)은,
특징 추출 분기에 기초하여 후보 영역들에 대해 특징 추출을 수행하여 후보 특징들을 획득하도록 구성되는 특징 추출 모듈; 및
적어도 2개의 작업 분기들에 각각 기초하여 후보 특징들을 처리하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 획득하도록 구성되는 분기 속성 모듈을 포함한다.
선택적으로, 적어도 2개의 작업 분기는, 이에 제한되는 것은 아니지만, 검출 분기, 식별 분기, 및 분류 분기를 포함한다.
분기 속성 모듈은, 검출 분기를 통해 후보 특징들에 대해 위치 검출을 수행하여 교통 신호등의 위치 영역을 결정하도록; 분류 분기를 통해 후보 특징들에 대해 색상 분류를 수행하여 교통 신호등이 위치되는 위치 영역의 색상을 결정하고, 교통 신호등의 색상을 결정하도록; 그리고 식별 분기를 통해 후보 특징들에 대해 형상 식별을 수행하여 교통 신호등이 위치되는 위치 영역의 형상을 결정하고, 교통 신호등의 형상을 결정하도록 구성된다.
하나 이상의 선택적 실시예에서, 이러한 장치는 추가로,
비디오 스트림에서의 적어도 하나의 프레임의 이미지에 대해 주요 지점 식별을 수행하여 이미지에서의 교통 신호등의 주요 지점을 결정하도록 구성되는 주요 지점 결정 유닛;
비디오 스트림에서의 교통 신호등의 주요 지점을 추적하여 추적 결과를 획득하도록 구성되는 주요 지점 추적 유닛; 및
추적 결과에 기초하여 교통 신호등의 위치 영역을 조정하도록 구성되는 위치 조정 유닛을 포함한다.
비디오 스트림의 연속 프레임들 사이에 차이가 거의 존재하지 않을 수 있다. 각각의 프레임의 이미지에서의 교통 신호등의 후보 영역들에 오직 기초하여 교통 신호등의 위치 식별이 수행되면, 연속 프레임들에서의 위치 영역들은 동일한 위치 영역들인 것으로 식별될 수 있고, 따라서 식별된 위치 영역들은 정확하지 않다. 이러한 실시예들에서, 이미지에 대해 주요 지점 식별을 수행하는 것에 의해, 이미지에서의 교통 신호등의 위치 영역은 주요 지점에 기초하여 결정되고, 다중-작업 식별 네트워크에 의해 획득되는 교통 신호등의 위치는 주요 지점의 위치 영역에 기초하여 조정되고, 그렇게 함으로써 위치 영역 식별의 정확도를 개선한다.
주요 지점 식별 및/또는 추적은 종래 기술에서의 주요 지점 식별 및/또는 추적을 달성할 수 있는 기술들 중 어느 하나에 기초하여 실현될 수 있다. 선택적으로, 비디오 스트림에서의 교통 신호등의 주요 지점은 정적 주요 지점 추적 기술에 기초하여 추적될 수 있어, 교통 신호등의 주요 지점이 비디오 스트림에 위치될 수 있는 영역을 획득한다.
선택적으로, 주요 지점 추적 유닛은, 2개의 연속 프레임들의 이미지들에서의 교통 신호등의 주요 지점들 사이의 거리에 기초하도록; 그리고 교통 신호등의 주요 지점들 사이의 거리에 기초하여 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하도록 구성된다.
이러한 실시예들에서, 2개의 연속 프레임은 비디오 스트림에서의 연속 시간 시퀀스들을 갖는 2개의 취득 프레임들, 또는 비디오 스트림에서의 연속 시간 시퀀스들을 갖는 2개의 검출 프레임들일 수 있고(프레임 단위 검출 또는 샘플링 검출이 비디오 스트림에서의 수행될 수 있기 때문에, 검출 프레임 및 취득 프레임의 의미가 완전히 동일하지는 않음); 비디오 스트림에서의 복수의 연속 2개의 프레임들의 이미지의 교통 신호등의 주요 지점이 상관되어, 교통 신호등의 주요 지점이 비디오 스트림에서 추적될 수 있고, 비디오 스트림에서의 각각의 프레임의 이미지의 위치 영역이 추적 결과에 기초하여 조정될 수 있다. 선택적으로, 비디오 스트림에서의 교통 신호등의 주요 지점은 교통 신호등의 주요 지점들 사이의 Hamming 거리, Euclidean 거리, Joint Bayesian 거리, 또는 코사인 거리에 기초하여 추적될 수 있다. 실시예들은 교통 신호등의 주요 지점들 사이의 어떤 거리에 기초하는지 제한하지 않는다.
선택적으로, 주요 지점 추적 유닛은, 교통 신호등의 주요 지점들 사이의 거리에 기초하여 비디오 스트림에서의 교통 신호등의 주요 지점을 추적할 때, 교통 신호등의 주요 지점들 사이의 거리에 기초하여 2개의 연속 프레임들의 이미지들에서의 동일한 교통 신호등의 주요 지점의 위치 영역을 결정하도록; 그리고 2개의 연속 프레임들의 이미지들에서의 동일한 교통 신호등의 주요 지점의 위치 영역에 따라 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하도록 구성된다.
하나 이상의 선택적 실시예에서, 위치 조정 유닛은 추적 결과에서의 위치 영역이 교통 신호등의 위치 영역과 중첩하는지를 비교하여 비교 결과를 획득하도록; 그리고 비교 결과에 기초하여 교통 신호등의 위치 영역을 조정하도록 구성된다.
추적 결과에 기초하여 교통 신호등의 위치 영역이 조정되어, 교통 신호등의 위치 영역이 더 안정적이고, 비디오 장면들에 적용되기에 더 적합하다.
이러한 실시예들에서, 추적 결과에 기초하여 비디오 스트림에서의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 주요 지점에 대응하는 위치 영역이 결정될 수 있고, 추적 결과에서의 위치 영역과 교통 신호등의 위치 영역에서의 교통 신호등의 위치 영역 사이의 중첩 부분의 비율이 설정된 비율을 초과할 때, 추적 결과에서의 위치 영역이 교통 신호등의 위치 영역과 중첩하는 것으로 결정될 수 있고, 그렇지 않으면, 추적 결과에서의 위치 영역이 교통 신호등의 위치 영역과 중첩하지 않는 것으로 결정될 수 있다.
선택적으로, 위치 조정 유닛은, 비교 결과에 기초하여 교통 신호등의 위치 영역을 조정할 때, 교통 신호등의 주요 지점에 대응하는 위치 영역이 교통 신호등의 위치 영역과 중첩하지 않는 것에 응답하여 교통 신호등의 위치 영역을 교통 신호등의 주요 지점에 대응하는 위치 영역으로 대체하도록 구성되는 장치.
하나 이상의 선택적 실시예에서, 이러한 장치는 추가로,
취득된 트레이닝 이미지 세트에 기초하여 R-FCN을 트레이닝하도록 구성되는 사전-트레이닝 유닛- 트레이닝 이미지 세트는 주석 속성들을 갖는 복수의 트레이닝 이미지들을 포함함 -; 및
트레이닝 이미지 세트에 기초하여 R-FCN에서의 그리고 다중-작업 식별 네트워크에서의 파라미터들을 조정하도록 구성되는 트레이닝 유닛을 포함할 수 있다.
실제 장면에서, 교통 신호등에서의 황색 지시등은 오직 적색 지시등과 녹색 지시등 사이의 천이 상태이고, 따라서, 지속기간은 적색 지시등 및 녹색 지시등의 것보다 더 짧다. 종래 기술에서, R-FCN에 기초하는 검출 프레임은 오직 한번에 제한된 이미지를 입력하고, 이러한 이미지에서의 황색 지시등들의 수는 적색 지시등 및 녹색 지시등의 것 미만이고, 따라서 검출 네트워크가 효과적으로 트레이닝될 수 없고, 황색 지시등에 대한 모델의 감도가 개선될 수 없다. 따라서, 본 개시내용에서, 교통 신호등의 위치, 색상, 및/또는 형상은 R-FCN 및 다중-작업 식별 네트워크를 트레이닝하는 것에 의해 동시에 식별될 수 있다.
황색 지시등에 대한 검출 네트워크의 감도를 개선하기 위해, 선택적으로, 사전-트레이닝 유닛과 트레이닝 유닛 사이에 추가로 포함되는 것은,
트레이닝 이미지 세트에 기초하여, 미리 결정된 비율에 따르는 교통 신호등의 색상 비율을 갖는 새로운 트레이닝 이미지 세트를 획득하도록; 그리고 새로운 트레이닝 이미지 세트에 기초하여 분류 네트워크를 트레이닝하도록- 분류 네트워크는 교통 신호등의 색상에 기초하여 트레이닝 이미지들을 분류하도록 구성됨 - 구성되는 분류 트레이닝 유닛이다.
선택적으로, 미리 결정된 비율에서의 상이한 색상들의 교통 신호등들의 수는 동일하거나 또는 그 수에서의 차이는 허용가능한 임계값 미만이다.
교통 신호등의 색상들은 적색, 황색, 및 녹색을 포함한다.
황색 지시등의 확률이 실제로 적색 지시등 및 녹색 지시등의 것보다 훨씬 더 낮기 때문에, 황색 지시등의 비율은 취득된 트레이닝 이미지들에서의 적색 지시등 및 녹색 지시등의 비율 훨씬 미만이다. 이러한 실시예들에서, 분류 네트워크의 정확도를 개선하기 위해, 적색, 황색 및 녹색의 비율들은 동일한 것으로 미리 결정되도록 선택될 수 있거나(예를 들어, 적색: 황색: 녹색은 1: 1: 1임), 또는 적색, 황색 및 녹색의 수들에서의 차이는 허용가능한 임계값 미만이도록 제어되어, 3개의 색상들의 비율은 1: 1: 1에 근접한다. 트레이닝 이미지 세트로부터 대응하는 색상으로서 교통 신호등을 갖는 트레이닝 이미지들을 추출하는 것에 의해 새로운 트레이닝 이미지 세트가 형성될 수 있거나, 또는 트레이닝 이미지 세트에서의 황색 지시등 이미지들이 반복적으로 호출되어, 황색 지시등 이미지들의 수 및 적색 지시등 이미지들 및 녹색 지시등 이미지들의 수가 미리 결정된 비율을 충족시킨다. 분류 네트워크는 조정된 새로운 트레이닝 이미지 세트에 의해 트레이닝되어, 황색 지시등 이미지들의 수가 적색 지시등 이미지들 및 녹색 지시등 이미지들의 것 훨씬 미만이라는 결함이 극복되고, 황색 지시등에 대한 분류 네트워크의 식별 정확도가 개선된다.
선택적으로, 분류 트레이닝 유닛 후에, 이러한 장치는 추가로,
트레이닝된 분류 네트워크의 파라미터들에 기초하여 다중-작업 식별 네트워크에서의 파라미터들 중 적어도 일부를 초기화하도록 구성되는 초기화 유닛을 포함한다.
하나 이상의 선택적 실시예에서, 이러한 실시예들에서의 장치는 추가로,
이미지에서의 교통 신호등의 적어도 2개의 속성들에 기초하여 교통 신호등의 상태를 결정하도록 구성되는 상태 결정 유닛; 및
교통 신호등의 상태에 따라 차량에 대해 지능형 주행 제어를 수행하도록 구성되는 지능형 제어 유닛을 포함한다.
이러한 실시예들에서, 교통 신호등의 적어도 2개의 속성들이 자동으로 식별되고, 비디오 스트림에서의 교통 신호등의 상태가 획득되고, 운전자가 주행 동안 산만해지고 교통 신호등을 관찰할 필요가 없어, 차량의 주행 안전성이 개선되고, 인간 에러들에 의해 야기되는 교통 위험이 감소된다.
선택적으로, 지능형 주행 제어는, 프롬프트 정보 또는 경고 정보를 전송하는 것, 및/또는 교통 신호등의 상태에 따라 차량의 주행 상태를 제어하는 것을 포함한다.
선택적으로, 이러한 장치는 추가로,
교통 신호등에 대응하는 이미지 뿐만 아니라 교통 신호등의 속성들 및 상태를 저장하도록 구성되는 저장 유닛을 포함한다.
선택적으로, 교통 신호등의 상태는, 이에 제한되는 것은 아니지만, 통과-허가 상태, 통과-금지 상태, 또는 대기 상태를 포함한다.
상태 결정 유닛은, 교통 신호등의 색상이 녹색인 것 및/또는 형상이 제1 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-허가 상태라고 결정하도록;
교통 신호등의 색상이 적색인 것 및/또는 형상이 제2 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-금지 상태인 것으로 결정하도록; 그리고
교통 신호등의 색상이 황색인 것 및/또는 형상이 제3 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 대기 상태인 것으로 결정하도록 구성된다.
선택적으로, 지능형 제어 유닛은, 교통 신호등의 상태가 통과-허가 상태인 것에 응답하여, 시동, 주행 상태 유지, 감속, 회전, 회전 지시등 점등, 및 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 차량을 제어하도록; 그리고
교통 신호등의 상태가 통과-금지 상태 또는 대기 상태인 것에 응답하여, 정지, 감속, 및 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 차량을 제어하도록 구성된다.
본 개시내용의 실시예들에 의해 제공되는 교통 신호등 검출 장치의 임의의 실시예의 작업 프로세스 및 설정 모드에 대해, 본 개시내용의 대응하는 방법 실시예의 구체적인 설명들이 참조될 수 있고, 상세사항들은 공간 제한으로 인해 본 명세서에 다시 설명되지 않는다.
도 3은 본 개시내용의 지능형 주행 방법의 하나의 실시예의 흐름도이다. 도 3에 도시되는 바와 같이, 본 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 310에서, 차량 상에 제공되는 이미지 취득 장치에 기초하여 교통 신호등을 포함하는 비디오 스트림이 획득된다.
선택적으로, 차량의 주행 프로세스에서 기록되는 차량-장착형 비디오에 기초하여 교통 신호등의 식별이 수행된다. 이러한 차량-장착형 비디오가 파싱되어 적어도 하나의 프레임의 이미지를 포함하는 비디오 스트림을 획득한다. 예를 들어, 차량의 전방 또는 주변 환경의 비디오는 차량 상에 장착되는 카메라 장치를 통해 촬영될 수 있고, 교통 신호등이 차량의 전방 또는 주변 환경에 존재하면, 교통 신호등은 카메라 장치에 의해 촬영될 수 있고, 촬영된 비디오 스트림은 교통 신호등을 포함하는 비디오 스트림이다. 비디오 스트림에서의 이미지에 대해, 각각의 프레임의 이미지가 교통 신호등을 포함하거나, 또는 적어도 하나의 프레임의 이미지가 교통 신호등을 포함한다.
하나의 선택적인 예에서, 단계 310은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 비디오 스트림 획득 모듈(21)에 의해 수행될 수 있다.
단계 320에서, 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들이 결정된다.
하나의 선택적인 예에서, 단계 320은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있고, 프로세서에 의해 실행되는 영역 결정 유닛(22)에 의해 또한 수행될 수 있다.
단계 330에서, 이미지에서의 교통 신호등의 적어도 2개의 속성들이 후보 영역들에 기초하여 결정된다.
교통 신호등의 속성들은 교통 신호등을 설명하기 위해 사용되고, 실제 필요에 따라 정의될 수 있다, 예를 들어, 교통 신호등의 절대적 위치 또는 상대적 위치를 설명하기 위한 위치 영역 속성, 교통 신호등의 (적색, 녹색, 및 황색과 같은) 색상들을 설명하기 위한 속성, 교통 신호등의 (원, 선형 화살표, 및 점선 화살표와 같은) 형상들을 설명하기 위한 속성, 및 교통 신호등의 다른 양태들을 설명하기 위한 다른 속성들을 포함할 수 있다.
선택적으로, 교통 신호등의 적어도 2개의 속성들은 위치 영역, 색상들, 및 형상 중 임의의 2개 이상을 포함한다.
선택적으로, 교통 신호등의 색상들은 적색, 황색 및 녹색을 포함하고, 그 형상은 화살표 형상, 원 또는 다른 형상들을 포함한다. 상이한 형상들인 교통 신호등들에 대해, 오직 교통 신호등의 위치만 인식되면, 신호는 정확하게 식별될 수 없다. 따라서, 실시예들은 위치 영역, 색상들, 및 형상 중 적어도 2개의 식별에 기초한다, 예를 들어, 교통 신호등의 위치 영역 및 색상이 결정될 때, (차량의 어느 방향에 대응하는) 이미지에서의 현재 교통 신호등의 위치가 결정될 수 있고, 교통 신호등의 디스플레이 상태(각각 상이한 상태들에 대응하는 적색, 녹색, 또는 황색)가 색상을 통해 결정될 수 있고, 교통 신호등의 상이한 상태들을 식별하는 것에 의해 보조 주행 또는 자율 주행이 실현될 수 있고; 교통 신호등의 위치 영역 및 형상이 결정될 때, (차량의 어느 방향에 대응하는) 이미지에서의 현재 교통 신호등의 위치가 결정될 수 있고, 교통 신호등의 디스플레이 상태(예를 들어, 상이한 방향들을 향하는 화살표들은 상이한 상태들에 있는 인체 그래프들을 표현하거나 또는 상이한 형상들은 상이한 상태들을 표현함)가 형상을 통해 결정될 수 있고; 교통 신호등의 색상 및 형상이 결정될 때, 색상 및 형상의 조합에 기초하여 현재 교통 신호등의 상태가 결정될 수 있고(예를 들어, 좌측을 가리키는 녹색 화살표는 좌측 회전을 표현하고, 전방을 가리키는 적색 화살표는 앞쪽 통과 금지를 표현함); 이미지에서의 교통 신호등의 위치가 획득되는 것에 기초하여, 교통 신호등의 위치 영역, 색상, 및 형상이 결정될 때, 색상 및 형상의 조합에 기초하여 현재 교통 신호등의 상태가 결정될 수 있다.
하나의 선택적인 예에서, 단계 330은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 속성 식별 유닛(23)에 의해 수행될 수 있다.
단계 340에서, 이미지에서의 교통 신호등의 적어도 2개의 속성들에 기초하여 교통 신호등의 상태가 결정된다.
기존의 이미지 처리 방법은 오직 하나의 작업(예를 들어, 위치 식별 또는 색상 분류 중 하나)을 처리하기 위해서 사용될 수 있다. 그러나, 교통 신호등은 위치 영역, 색상들, 및 형상과 같은 정보를 포함하고, 교통 신호등의 상태가 결정될 필요가 있을 때, 교통 신호등의 위치 영역이 결정될 필요가 있고 그 색상 또는 형상 또한 결정될 필요가 있다. 따라서, 종래의 이미지 처리 방법이 적용되면, 비디오 스트림을 처리하기 위해 적어도 2개의 신경망들이 요구되고, 처리 결과들이 또한 조합될 필요가 있어, 현재의 교통 신호등의 상태가 결정될 수 있다. 이러한 실시예들에서, 교통 신호등의 적어도 2개의 속성들이 동시에 획득되고, 적어도 2개의 속성들에 기초하여 교통 신호등의 상태가 결정되고, 따라서 교통 신호등의 상태가 신속하게 그리고 정확하게 식별될 수 있다.
하나의 선택적인 예에서, 단계 340은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있고, 프로세서에 의해 실행되는 상태 결정 유닛(44)에 의해 또한 수행될 수 있다.
단계 350에서, 교통 신호등의 상태에 따라 차량에 대해 지능형 주행 제어가 수행된다.
하나의 선택적인 예에서, 단계 350은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있고, 프로세서에 의해 실행되는 지능형 제어 유닛(45)에 의해 또한 수행될 수 있다.
이러한 실시예들에서, 차량 상의 이미지 취득 디바이스를 통해 실시간으로 비디오 스트림이 획득될 수 있고, 교통 신호등의 상태를 결정하기 위해 실시간으로 교통 신호등의 속성들이 식별될 수 있다. 교통 신호등의 상태에 기초하여 지능형 주행이 실현된다. 주행 동안 운전자가 산만해지고 교통 신호등을 관찰할 필요가 없고, 이는 교통 안전성의 숨겨진 위험을 감소시킨다. 특정 정도까지, 인간 에러들에 의해 야기되는 교통 위험이 감소된다. 지능형 주행은 보조 주행 및 자율 주행을 포함할 수 있고, 일반적으로, 보조 주행은 조기 경고 프롬프트를 위해 교통 신호등을 이용하고, 자율 주행은 주행 제어를 위해 교통 신호등을 이용한다.
선택적으로, 지능형 주행 제어는, 프롬프트 정보 또는 경고 정보를 전송하는 것, 및/또는 교통 신호등의 상태에 따라 차량의 주행 상태를 제어하는 것을 포함한다.
교통 신호등의 적어도 2개의 속성들의 식별은 지능형 주행을 위한 기초를 제공할 수 있다. 지능형 주행은 자율 주행 및 보조 주행을 포함한다. 자율 주행의 조건 하에서, 차량의 주행 상태(예를 들어, 정지, 감속, 또는 회전)는 교통 신호등의 상태에 따라 제어되고, 현재 교통 신호등의 상태를 운전자에게 통보하기 위해 프롬프트 정보 또는 경보 정보가 또한 전송될 수 있다. 그러나, 보조 주행의 조건 하에서, 오직 프롬프트 정보 또는 경보 정보가 전송되고, 차량을 제어하는 허가는 운전자에게 여전히 속하고, 운전자는 따라서 프롬프트 정보 또는 경보 정보에 따라 차량을 제어한다.
선택적으로, 본 출원의 실시예들에 따라 제공되는 지능형 주행 방법은 추가로,
교통 신호등에 대응하는 이미지 뿐만 아니라 교통 신호등의 속성들 및 상태를 저장하는 단계를 포함한다.
이러한 실시예들에서, 교통 신호등에 대응하는 이미지 뿐만 아니라 교통 신호등의 속성들 및 상태를 저장하는 것에 의해, 교통 신호등의 더 많은 정보(속성들, 상태들 및 대응하는 이미지들)가 획득되어, 지능형 주행을 위한 더 많은 동작 기초들을 제공한다. 저장된 교통 신호등에 대응하는 시간 및 위치에 따라 고-정밀도 맵이 수립될 수 있고, 저장된 교통 신호등에 대응하는 이미지에 기초하여 고-정밀도 맵에서의 교통 신호등의 위치가 결정된다.
선택적으로, 교통 신호등의 상태는, 이에 제한되는 것은 아니지만, 통과-허가 상태, 통과-금지 상태, 및 대기 상태를 포함한다.
단계 340은,
교통 신호등의 색상이 녹색인 것 및/또는 형상이 제1 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-허가 상태인 것으로 결정하는 단계;
교통 신호등의 색상이 적색인 것 및/또는 형상이 제2 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-금지 상태인 것으로 결정하는 단계; 및
교통 신호등의 색상이 황색인 것 및/또는 형상이 제3 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 대기 상태인 것으로 결정하는 단계를 포함할 수 있다.
기존의 교통 법규들 및 규정들을 고려하여, 교통 신호등의 색상들은 적색, 녹색 및 황색을 포함한다. 상이한 색상들은 상이한 통과 상태들에 대응하고, 적색은 차량들 및/또는 보행자들의 통과의 금지를 표현하고, 녹색은 차량들 및/또는 보행자들이 통과하도록 허가되는 점을 표현하고, 황색은 차량들 및/또는 보행자들이 정지하여 대기할 필요가 있다는 점을 표현한다. 또한, 색상들을 보조하기 위해 교통 신호등의 형상들이 또한 포함될 수 있다, 예를 들어, 플러스 부호 형상(선택적인 제1 미리 결정된 형상)은 통과가 허가되는 것을 표현하고, X 형상(선택적인 제2 미리 결정된 형상)은 통과가 금지되는 것을 표현하고, 마이너스 부호 형상(선택적인 제3 미리 결정된 형상)은 대기 상태를 표현한다. 상이한 교통 신호등들의 상태들에 대해 상이한 코딩 전략들이 제공되고, 자율 및 반-자율 지능형 주행이 실현되고, 주행 안전성이 개선된다.
선택적으로, 단계 350은,
교통 신호등의 상태가 통과-허가 상태인 것에 응답하여, 시동, 주행 상태 유지, 감속, 회전, 회전 지시등 점등, 브레이크 지시등 점등의 동작들, 및 차량 통과 동안 요구되는 다른 동작들 중 하나 이상의 동작을 실행하도록 차량을 제어하는 단계; 및
교통 신호등의 상태가 통과-금지 상태 또는 대기 상태인 것에 응답하여, 정지, 감속, 및 브레이크 지시등 점등의 동작들, 및 차량의 통과-금지 상태 또는 대기 상태 동안 요구되는 다른 동작들 중 하나 이상을 실행하도록 차량을 제어하는 단계를 포함할 수 있다.
예를 들어, 교통 신호등의 색상이 녹색이고 형상이 좌측을 가리키는 화살표일 때, 차량의 자율 회전(좌회전) 및/또는 회전 지시등(좌회전 지시등)의 자율 점등이 제어될 수 있고; 교통 신호등의 색상이 녹색이고 형상이 전방을 가리키는 화살표일 때, 차량은 감속으로 교차로를 통과하도록 제어될 수 있다. 물론, 차량이 어떻게 주행하는지에 관한 구체적인 제어는 현재 차량의 설정 목적지 및 현재 교통 신호등의 상태의 포괄적 결과에 기초한다. 교통 신호등의 상태에 대응하는 동작을 실행하도록 차량을 자동으로 제어하는 것에 의해, 더 높은 안전성을 갖는 지능형 주행이 실현될 수 있고, 수동 동작 에러들에 의해 야기되는 잠재적 안전성 위험요소들이 감소된다.
해당 분야에서의 통상의 기술자는, 이러한 방법의 전술한 실시예들을 구현하는 모든 또는 일부 단계들이 관련 하드웨어에게 명령하는 것에 의해 프로그램에 의해 달성될 수 있고; 전술한 프로그램은 컴퓨터-판독가능 저장 매체에 저장될 수 있고; 이러한 프로그램이 실행될 때, 이러한 방법의 전술한 실시예들을 포함하는 단계들이 수행되고; 또한, 전술한 저장 매체는 ROM, RAM, 자기 디스크, 또는 광 디스크와 같은 프로그램 코드들을 저장할 수 있는 다양한 매체를 포함한다는 점을 이해할 수 있다.
도 4는 본 개시내용에 따른 지능형 주행 장치의 하나의 실시예의 개략 구조도이다. 이러한 실시예에서의 지능형 주행 장치는 본 개시내용의 지능형 주행 방법의 실시예들을 구현하기 위해 사용될 수 있다. 도 4에 도시되는 바와 같이, 이러한 실시예에서의 장치는,
차량 상에 제공되는 이미지 취득 장치에 기초하여 교통 신호등을 포함하는 비디오 스트림을 획득하도록 구성되는 비디오 스트림 획득 유닛(21)을 포함한다.
선택적으로, 차량의 주행 프로세스에서 기록되는 차량-장착형 비디오에 기초하여 교통 신호등의 식별이 수행된다. 이러한 차량-장착형 비디오가 파싱되어 적어도 하나의 프레임의 이미지를 포함하는 비디오 스트림을 획득한다. 예를 들어, 차량의 전방 또는 주변 환경의 비디오는 차량 상에 장착되는 카메라 장치를 통해 촬영될 수 있고, 교통 신호등이 차량의 전방 또는 주변 환경에 존재하면, 교통 신호등은 카메라 장치에 의해 촬영될 수 있고, 촬영된 비디오 스트림은 교통 신호등을 포함하는 비디오 스트림이다. 비디오 스트림에서의 이미지에 대해, 각각의 프레임의 이미지가 교통 신호등을 포함하거나, 또는 적어도 하나의 프레임의 이미지가 교통 신호등을 포함한다.
영역 결정 유닛(22)은 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하도록 구성된다.
속성 식별 유닛(23)은 후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하도록 구성된다.
교통 신호등의 속성들은 교통 신호등을 설명하기 위해 사용되고, 실제 필요에 따라 정의될 수 있다, 예를 들어, 교통 신호등의 절대적 위치 또는 상대적 위치를 설명하기 위한 위치 영역 속성, 교통 신호등의 (적색, 녹색, 및 황색과 같은) 색상들을 설명하기 위한 속성, 교통 신호등의 (원, 선형 화살표, 및 점선 화살표와 같은) 형상들을 설명하기 위한 속성, 및 교통 신호등의 다른 양태들을 설명하기 위한 다른 속성들을 포함할 수 있다.
상태 결정 유닛(44)은 이미지에서의 교통 신호등의 적어도 2개의 속성들에 기초하여 교통 신호등의 상태를 결정하도록 구성된다.
기존의 이미지 처리 방법은 오직 하나의 작업(예를 들어, 위치 식별 또는 색상 분류 중 하나)을 처리하기 위해서 사용될 수 있다. 그러나, 교통 신호등은 위치 영역, 색상들, 및 형상과 같은 정보를 포함하고, 교통 신호등의 상태가 결정될 필요가 있을 때, 교통 신호등의 위치 영역이 결정될 필요가 있고 그 색상 또는 형상 또한 결정될 필요가 있다. 따라서, 종래의 이미지 처리 방법이 적용되면, 비디오 스트림을 처리하기 위해 적어도 2개의 신경망들이 요구되고, 처리 결과들이 또한 조합될 필요가 있어, 현재의 교통 신호등의 상태가 결정될 수 있다. 이러한 실시예들에서, 교통 신호등의 적어도 2개의 속성들이 동시에 획득되고, 적어도 2개의 속성들에 기초하여 교통 신호등의 상태가 결정되고, 따라서 교통 신호등의 상태가 신속하게 그리고 정확하게 식별될 수 있다.
지능형 제어 유닛(45)은 교통 신호등의 상태에 따라 차량에 대해 지능형 주행 제어를 수행하도록 구성된다.
이러한 실시예들에서, 차량 상의 이미지 취득 디바이스를 통해 실시간으로 비디오 스트림이 획득될 수 있고, 교통 신호등의 상태를 결정하기 위해 실시간으로 교통 신호등의 속성들이 식별될 수 있다. 교통 신호등의 상태에 기초하여 지능형 주행이 실현된다. 주행 동안 운전자가 산만해지고 교통 신호등을 관찰할 필요가 없고, 이는 교통 안전성의 숨겨진 위험을 감소시킨다. 특정 정도까지, 인간 에러들에 의해 야기되는 교통 위험이 감소된다. 지능형 주행은 보조 주행 및 자율 주행을 포함할 수 있고, 일반적으로, 보조 주행은 조기 경고 프롬프트를 위해 교통 신호등을 이용하고, 자율 주행은 주행 제어를 위해 교통 신호등을 이용한다.
선택적으로, 지능형 주행 제어는, 프롬프트 정보 또는 경고 정보를 전송하는 것, 및/또는 교통 신호등의 상태에 따라 차량의 주행 상태를 제어하는 것을 포함한다.
선택적으로, 이러한 장치는 추가로,
교통 신호등에 대응하는 이미지 뿐만 아니라 교통 신호등의 속성들 및 상태를 저장하도록 구성되는 저장 유닛을 포함한다.
선택적으로, 교통 신호등의 적어도 2개의 속성들은 위치 영역, 색상들, 및 형상 중 임의의 2개 이상을 포함한다.
선택적으로, 교통 신호등의 상태는, 이에 제한되는 것은 아니지만, 통과-허가 상태, 통과-금지 상태, 및 대기 상태를 포함한다.
상태 결정 유닛(44)은, 교통 신호등의 색상이 녹색인 것 및/또는 형상이 제1 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-허가 상태라고 결정하도록;
교통 신호등의 색상이 적색인 것 및/또는 형상이 제2 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 통과-금지 상태인 것으로 결정하도록; 그리고
교통 신호등의 색상이 황색인 것 및/또는 형상이 제3 미리 결정된 형상인 것에 응답하여, 교통 신호등의 상태가 대기 상태인 것으로 결정하도록 구성된다.
선택적으로, 지능형 제어 유닛(45)은, 교통 신호등의 상태가 통과-허가 상태인 것에 응답하여, 시동, 주행 상태 유지, 감속, 회전, 회전 지시등 점등, 및 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 차량을 제어하도록; 그리고
교통 신호등의 상태가 통과-금지 상태 또는 대기 상태인 것에 응답하여, 정지, 감속, 및 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 차량을 제어하도록 구성된다.
본 개시내용의 실시예들에 의해 제공되는 지능형 주행 장치의 임의의 실시예의 작업 프로세스 및 설정 모드에 대해, 본 개시내용의 대응하는 방법 실시예의 구체적인 설명들이 참조될 수 있고, 상세사항들은 공간 제한으로 인해 본 명세서에 다시 설명되지 않는다.
본 개시내용의 실시예들의 다른 양태에 따라 제공되는 차량은 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 장치 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 장치를 포함한다.
본 개시내용의 실시예들의 다른 양태에 따라 제공되는 전자 디바이스는 프로세서를 포함하고, 이러한 프로세서는 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 장치 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 장치를 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따라 제공되는 전자 디바이스는, 실행가능 명령어들을 저장하도록 구성되는 메모리;
및 메모리와 통신하여 실행가능 명령어들을 실행하도록 구성되어, 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 방법의 동작들을 완료하거나 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 방법의 동작들을 완료하는 프로세서를 포함한다.
본 개시내용의 실시예들은, 예를 들어, 모바일 단말, PC(Personal Computer), 태블릿 컴퓨터, 서버 등인 전자 디바이스를 추가로 제공한다. 아래에 도 5를 참조하면, 본 개시내용의 실시예들을 구현하기에 적합한, 단말 디바이스 또는 서버인, 전자 디바이스(500)의 개략 구조도가 도시된다. 도 5에 도시되는 바와 같이, 전자 디바이스(500)는 하나 이상의 프로세서, 통신 부분 등을 포함한다. 하나 이상의 프로세서는, 예를 들어, 하나 이상의 CPU(Central Processing Units)(501) 및/또는 하나 이상의 GPU(Graphic Processing Units)(513)이고, ROM(Read-Only Memory)(502)에 저장되는 실행가능 명령어들 또는 저장 섹션(508)으로부터 RAM(Random Access Memory)(503)로 로딩되는 실행가능 명령어들에 따라 적절한 액션들 및 처리를 실행할 수 있다. 통신 부분(512)은, 이에 제한되는 것은 아니지만, 네트워크 카드를 포함할 수 있다. 네트워크 카드는, 이에 제한되는 것은 아니지만, IB(Infiniband) 네트워크 카드를 포함할 수 있다.
프로세서는 실행가능 명령어들을 실행하기 위해 ROM(502) 및/또는 RAM(503)과 통신할 수 있고, 버스(504)에 의해 통신 부분(512)에 접속되고, 통신 부분(512)에 의해 다른 타겟 디바이스들과 통신하여, 본 개시내용의 실시예들에 의해 제공되는 방법들 중 임의의 것의 대응하는 동작들, 예를 들어, 교통 신호등을 포함하는 비디오 스트림을 획득하는 단계; 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하는 단계; 및 후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하는 단계를 완료한다.
또한, RAM(503)은 이러한 장치의 동작들에 요구되는 다양한 프로그램들 및 데이터를 추가로 저장한다. CPU(501), ROM(502) 및 RAM(503)은 버스(504)를 통해 서로 접속된다. RAM(503)의 존재 시에, ROM(502)은 선택적 모듈이다. RAM(503)은 실행가능 명령어들을 저장하거나, 또는 실행 동안 이러한 실행가능 명령어들을 ROM(502)에 기입하고, 이러한 실행가능 명령어들은 CPU(501)로 하여금 전술한 통신 방법의 대응하는 동작들을 실행하게 한다. I/O(input/output) 인터페이스(505)가 버스(504)에 또한 접속된다. 통신 부분(512)은 집적될 수 있거나, 또는 버스에 접속되는 복수의 서브-모듈들(예를 들어, 복수의 IB 네트워크 카드들)을 갖도록 구성될 수 있다.
I/O 인터페이스(505)에 다음의 컴포넌트들: 키보드, 마우스 등을 포함하는 입력 섹션(506); CRT(Cathode-Ray Tube), LCD(Liquid Crystal Display), 스피커 등을 포함하는 출력 섹션(507); 하드 디스크 등을 포함하는 저장 섹션(508); 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신 섹션(509)이 접속된다. 통신 섹션(509)은 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 요건들에 따라 I/O 인터페이스(505)에 드라이브(510)가 또한 접속된다. 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등과 같은 제거가능 매체(511)가 요건들에 따라 드라이브(510) 상에 장착되어, 제거가능 매체로부터 판독되는 컴퓨터 프로그램이 요건들에 따라 저장 섹션(508) 상에 설치된다.
도 5에 예시되는 아키텍처는 단지 선택적 구현 모드라는 점이 주목되어야 한다. 구체적 실시 동안, 도 5에서의 컴포넌트들의 수 및 타입들은 실제 요건들에 따라 선택, 감소, 증가, 또는 대체된다. 상이한 기능적 컴포넌트들이 분리되거나 또는 집적되는 등이다. 예를 들어, GPU(513) 및 CPU(501)가 분리되거나, 또는 GPU(513)가 CPU(501) 상에 집적되고, 통신 부분(512)이 CPU(501) 또는 GPU(513) 등으로부터 분리되거나 또는 이들 상에 집적된다. 이러한 대안적인 구현들은 모두 본 개시내용의 보호 범위 내에 속한다.
특히, 본 개시내용의 실시예들에 따른 흐름도를 참조하여 위에 설명된 프로세스는 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 개시내용의 실시예들은, 머신-판독가능 매체 상에 유형적으로 포함되는 컴퓨터 프로그램을 포함하는, 컴퓨터 프로그램 제품을 포함한다. 이러한 컴퓨터 프로그램은 흐름도에 도시되는 방법을 실행하도록 구성되는 프로그램 코드를 포함한다. 이러한 프로그램 코드는 본 개시내용의 실시예들에 의해 제공되는 방법 단계들 방법을 대응하여 실행하기 위한 대응하는 명령어들을 포함할 수 있고, 이러한 단계들은, 예를 들어, 교통 신호등을 포함하는 비디오 스트림을 획득하는 단계; 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하는 단계; 및 후보 영역들에 기초하여 이미지에서의 교통 신호등의 적어도 2개의 속성들을 결정하는 단계를 포함한다. 이러한 실시예에서, 컴퓨터 프로그램은 통신 섹션(509)을 통해 네트워크로부터 다운로드되어 설치되고, 및/또는 제거가능 매체(511)로부터 설치된다. 컴퓨터 프로그램은, CPU(501)에 의해 실행될 때, 본 개시내용의 방법들에서 정의되는 전술한 기능들의 동작들을 실행한다.
본 개시내용의 실시예의 또 다른 양태에 따라 제공되는 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어를 저장하도록 구성되고, 이러한 명령어들이 실행될 때, 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 방법의 동작들 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 방법의 동작들이 실행된다.
본 개시내용의 실시예들의 또 다른 양태에 따라 제공되는 컴퓨터 프로그램 제품은 컴퓨터 판독가능 코드를 포함하고, 이러한 컴퓨터 판독가능 코드가 디바이스에서 실행될 때, 이러한 디바이스에서의 프로세서는 전술한 실시예들 중 어느 하나에 따른 교통 신호등 검출 방법 또는 전술한 실시예들 중 어느 하나에 따른 지능형 주행 방법을 구현하기 위한 명령어들을 실행한다.
본 명세서에서의 다양한 실시예들은 모두 점진적 방식으로 설명되고, 실시예들에서의 동일한 또는 유사한 부분들에 대해, 이러한 실시예들을 참조하고, 각각의 실시예는 다른 실시예들과의 차이에 초점을 맞춘다. 이러한 시스템 실시예들은 방법 실시예들에 실질적으로 대응하고, 따라서 오직 간단히 설명되며, 연관된 부분에 대해서는, 방법 실시예들의 설명들을 참조한다.
본 개시내용의 방법들 및 장치들은 많은 방식들로 구현된다. 예를 들어, 본 개시내용의 방법들 및 장치들은 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어, 및 펌웨어의 임의의 조합을 사용하여 구현될 수 있다. 달리 특별히 진술되지 않는 한, 이러한 방법들의 단계들의 전술한 시퀀스들은 단지 설명을 위한 것이고, 본 개시내용의 방법들의 단계들을 제한하려고 의도되지 않는다. 또한, 일부 실시예들에서, 본 개시내용은 기록 매체에 기록되는 프로그램들로서 구현될 수 있다. 이러한 프로그램들은 본 개시내용에 따른 방법들을 구현하기 위한 머신-판독가능 명령어들을 포함한다. 따라서, 본 개시내용은 본 개시내용에 따른 방법들을 수행하기 위한 프로그램들을 저장하는 기록 매체를 추가로 커버한다.
본 출원의 설명들은 예들 및 설명의 목적을 위해 제공되며, 철저하도록 또는 본 개시내용을 개시된 형태로 제한하도록 의도되지 않는다. 많은 수정들 및 변경들이 해당 분야에서의 통상의 기술자에게 명백하다. 본 개시내용의 원리 및 실제 적용을 더 잘 설명하기 위해, 해당 분야에서의 통상의 기술자가 본 개시내용을 이해하게 하기 위해 실시예들이 선택되고 설명되어, 특정 사용에 적용가능한 다양한 수정들로 다양한 실시예들을 설계하게 한다.
Claims (57)
- 교통 신호등 검출 방법으로서,
차량 상에 장착되는 카메라 장치에 의해, 교통 신호등을 포함하는 비디오 스트림을 획득하는 단계;
프로세서에 의해, 상기 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 후보 영역을 결정하는 단계; 및
상기 프로세서에 의해, 다중-작업 식별 네트워크를 사용하여 상기 후보 영역에 기초하여 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들을 결정하는 단계를 포함하고,
상기 교통 신호등의 적어도 2개의 속성들은 교통 신호등의 위치 영역과, 색상 및 형상 중 적어도 하나를 포함하고,
상기 프로세서에 의해, 상기 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역을 결정하는 단계 전에,
상기 프로세서에 의해, 상기 비디오 스트림에서의 상기 이미지에 대해 주요 지점 식별을 수행하여 상기 이미지에서의 교통 신호등의 주요 지점을 결정하는 단계;
상기 프로세서에 의해, 상기 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하여 추적 결과를 획득하는 단계;
상기 프로세서에 의해, 상기 추적 결과가 상기 교통 신호등의 위치 영역과 중첩하는지를 비교하는 단계; 및
상기 프로세서가 상기 교통 신호등의 주요 지점에 대응하는 위치 영역이 상기 교통 신호등의 위치 영역과 중첩하지 않는 것에 응답하여, 상기 교통 신호등의 위치 영역을 상기 교통 신호등의 주요 지점에 대응하는 위치 영역으로 대체하는 단계를 더 포함하는, 교통 신호등 검출 방법. - 제1항에 있어서, 상기 프로세서에 의해, 상기 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 후보 영역을 결정하는 단계는,
상기 프로세서에 의해, 영역-기반 완전 콘볼루션 네트워크를 사용하여 상기 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 후보 영역을 결정하는 단계를 포함하고,
상기 프로세서에 의해, 상기 후보 영역에 기초하여 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들을 결정하는 단계는,
상기 프로세서에 의해, 다중-작업 식별 네트워크를 사용하여, 상기 후보 영역에 기초하여 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들을 결정하는 단계를 포함하는 교통 신호등 검출 방법. - 제2항에 있어서, 상기 다중-작업 식별 네트워크는,
특징 추출 분기, 및
상기 특징 추출 분기에 각각 접속되는 적어도 2개의 작업 분기들- 상이한 작업 분기들이 상기 교통 신호등의 상이한 속성들을 결정하도록 구성됨 -을 포함하고;
상기 프로세서에 의해, 상기 다중-작업 식별 네트워크를 사용하여, 상기 후보 영역에 기초하여 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들을 결정하는 단계는,
상기 프로세서에 의해, 상기 특징 추출 분기에 기초하여 상기 후보 영역에 대해 특징 추출을 수행하여 후보 특징을 획득하는 단계; 및
상기 적어도 2개의 작업 분기들에 각각 기초하여 상기 후보 특징을 처리하여 상기 프로세서에 의해, 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들을 획득하는 단계를 포함하고,
상기 적어도 2개의 작업 분기들은, 검출 분기, 식별 분기, 및 분류 분기를 포함하고;
상기 적어도 2개의 작업 분기들에 각각 기초하여 상기 후보 특징을 처리하여 상기 프로세서에 의해, 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들을 획득하는 단계는,
상기 검출 분기를 통해 상기 후보 특징에 대해 위치 검출을 수행하여 상기 프로세서에 의해, 상기 교통 신호등의 위치 영역을 결정하는 단계; 상기 분류 분기를 통해 상기 후보 특징에 대해 색상 분류를 수행하여 상기 프로세서에 의해, 상기 교통 신호등이 위치되는 위치 영역의 색상을 결정하고, 상기 교통 신호등의 색상을 결정하는 단계; 및 상기 식별 분기를 통해 상기 후보 특징에 대해 형상 식별을 수행하여 상기 프로세서에 의해, 상기 교통 신호등이 위치되는 위치 영역의 형상을 결정하고, 상기 프로세서에 의해, 상기 교통 신호등의 형상을 결정하는 단계를 포함하는 교통 신호등 검출 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 방법은 추가로, 상기 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 후보 영역을 결정하는 단계 전에,
상기 프로세서에 의해, 상기 추적 결과에 기초하여 상기 교통 신호등의 위치 영역을 조정하는 단계를 포함하고,
상기 프로세서에 의해, 상기 비디오 스트림에서의 상기 교통 신호등의 주요 지점들을 추적하는 단계는,
2개의 연속 프레임들의 이미지들에서의 상기 교통 신호등의 주요 지점들 사이의 거리를 결정하는 단계; 및
상기 교통 신호등의 주요 지점들 사이의 거리에 기초하여, 상기 프로세서에 의해, 상기 비디오 스트림에서의 상기 교통 신호등의 주요 지점들을 추적하는 단계를 포함하고,
상기 교통 신호등의 주요 지점들 사이의 거리에 기초하여, 상기 프로세서에 의해, 상기 비디오 스트림에서의 상기 교통 신호등의 주요 지점들을 추적하는 단계는,
상기 교통 신호등의 주요 지점들 사이의 거리에 기초하여, 상기 프로세서에 의해, 상기 2개의 연속 프레임들의 이미지들에서의 상기 교통 신호등의 주요 지점들의 위치 영역들을 결정하는 단계; 및
2개의 연속 프레임들의 이미지들에서의 상기 교통 신호등의 주요 지점들의 위치 영역들에 따라, 상기 프로세서에 의해, 상기 비디오 스트림에서의 교통 신호등의 주요 지점들을 추적하는 단계를 포함하는 교통 신호등 검출 방법. - 제4항에 있어서, 상기 프로세서에 의해 상기 추적 결과에 기초하여 상기 교통 신호등의 위치 영역을 조정하는 단계는,
상기 프로세서에 의해 상기 추적 결과가 상기 교통 신호등의 위치 영역과 중첩하는지를 비교하여 비교 결과를 획득하는 단계; 및
상기 프로세서에 의해 상기 비교 결과에 기초하여 상기 교통 신호등의 위치 영역을 조정하는 단계를 포함하는 교통 신호등 검출 방법. - 제2항 또는 제3항에 있어서, 상기 방법은 추가로, 상기 프로세서에 의해, 상기 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 후보 영역을 결정하는 단계 전에,
상기 프로세서에 의해, 취득된 트레이닝 이미지 세트에 기초하여 상기 영역-기반 완전 콘볼루션 네트워크를 트레이닝하는 단계- 상기 트레이닝 이미지 세트는 주석 속성들을 갖는 복수의 트레이닝 이미지들을 포함함 -; 및
상기 프로세서에 의해, 상기 트레이닝 이미지 세트에 기초하여 상기 영역-기반 완전 콘볼루션 네트워크에서의 그리고 상기 다중-작업 식별 네트워크에서의 파라미터들을 조정하는 단계를 포함하는 교통 신호등 검출 방법. - 제6항에 있어서, 상기 방법은 추가로, 상기 프로세서에 의해, 상기 트레이닝 이미지 세트에 기초하여 상기 영역-기반 완전 콘볼루션 네트워크에서의 그리고 상기 다중-작업 식별 네트워크에서의 파라미터들을 조정하는 단계 전에,
상기 프로세서에 의해, 상기 트레이닝 이미지 세트에 기초하여, 미리 결정된 비율에 따르는 교통 신호등 색상 비율을 갖는 새로운 트레이닝 이미지 세트를 획득하는 단계; 및
상기 프로세서에 의해, 상기 새로운 트레이닝 이미지 세트에 기초하여 분류 네트워크를 트레이닝하는 단계- 상기 분류 네트워크는 교통 신호등 색상들에 기초하여 트레이닝 이미지들을 분류하도록 구성됨 -를 포함하고,
상기 미리 결정된 비율로 상이한 색상들을 갖는 교통 신호등들의 수가 동일하거나 또는 상기 수에서의 차이가 허용가능한 임계값 미만이고;
상기 교통 신호등 색상들은 적색, 황색, 및 녹색을 포함하는 교통 신호등 검출 방법. - 제7항에 있어서, 상기 방법은 추가로, 상기 프로세서에 의해, 상기 트레이닝 이미지 세트에 기초하여 상기 영역-기반 완전 콘볼루션 네트워크에서의 그리고 상기 다중-작업 식별 네트워크에서의 파라미터들을 조정하는 단계 전에,
상기 프로세서에 의해, 상기 트레이닝된 분류 네트워크의 파라미터들에 기초하여 상기 다중-작업 식별 네트워크에서의 파라미터들 중 적어도 일부를 초기화하는 단계를 포함하는 교통 신호등 검출 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 프로세서에 의해, 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들에 기초하여 상기 교통 신호등의 상태를 결정하는 단계; 및
상기 프로세서에 의해, 상기 교통 신호등의 상태에 따라 차량에 대해 지능형 주행 제어를 수행하는 단계를 추가로 포함하고,
상기 지능형 주행 제어는,
상기 프로세서에 의해, 프롬프트 정보 또는 경고 정보를 전송하는 단계, 및/또는
상기 교통 신호등의 상태에 따라 상기 차량의 주행 상태를 제어하는 단계를 포함하고,
상기 방법은,
상기 교통 신호등에 대응하는 상기 적어도 하나의 프레임의 이미지 뿐만 아니라 상기 교통 신호등의 속성들 및 상태를 저장하는 단계를 추가로 포함하는 교통 신호등 검출 방법. - 제9항에 있어서, 상기 교통 신호등의 상태는, 통과-허가 상태, 통과-금지 상태, 또는 대기 상태를 포함하고;
상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들에 기초하여 상기 교통 신호등의 상태를 결정하는 단계는,
상기 교통 신호등의 색상이 녹색인 것 및/또는 상기 교통 신호등의 형상이 제1 미리 결정된 형상인 것에 응답하여, 상기 프로세서에 의해, 상기 교통 신호등의 상태가 상기 통과-허가 상태인 것으로 결정하는 단계;
상기 교통 신호등의 색상이 적색인 것 및/또는 상기 교통 신호등의 형상이 제2 미리 결정된 형상인 것에 응답하여, 상기 프로세서에 의해, 상기 교통 신호등의 상태가 상기 통과-금지 상태인 것으로 결정하는 단계; 또는
상기 교통 신호등의 색상이 황색인 것 및/또는 상기 교통 신호등의 형상이 제3 미리 결정된 형상인 것에 응답하여, 상기 프로세서에 의해, 상기 교통 신호등의 상태가 대기 상태인 것으로 결정하는 단계 중 적어도 하나를 포함하고,
상기 교통 신호등의 상태에 따라 상기 차량에 대해 지능형 주행 제어를 수행하는 단계는,
상기 교통 신호등의 상태가 상기 통과-허가 상태인 것에 응답하여, 상기 프로세서에 의해, 시동, 주행 상태 유지, 감속, 회전, 회전 지시등 점등, 또는 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 상기 차량을 제어하는 단계; 및
상기 교통 신호등의 상태가 상기 통과-금지 상태 또는 상기 대기 상태인 것에 응답하여, 상기 프로세서에 의해, 정지, 감속, 또는 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 상기 차량을 제어하는 단계를 포함하는 교통 신호등 검출 방법. - 지능형 주행 방법으로서,
차량 상에 제공되는 이미지 취득 장치에 기초하여 교통 신호등을 포함하는 비디오 스트림을 획득하는 단계;
프로세서에 의해, 상기 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 후보 영역을 결정하는 단계;
상기 프로세서에 의해 다중-작업 식별 네트워크를 사용하여 상기 후보 영역에 기초하여 상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들을 결정하는 단계;
상기 프로세서에 의해, 상기 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들에 기초하여 상기 교통 신호등의 상태를 결정하는 단계; 및
상기 교통 신호등의 상태에 따라 상기 프로세서에 의해, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계를 포함하고,
상기 교통 신호등의 적어도 2개의 속성들은 신호등의 위치 영역과, 색상 및 형상 중 적어도 하나를 포함하고,
상기 프로세서에 의해 비디오 스트림의 적어도 하나의 프레임의 이미지에서의 교통 신호등의 후보 영역들을 결정하는 단계 전에,
상기 프로세서에 의해 상기 비디오 스트림에서의 상기 이미지에 대해 주요 지점 식별을 수행하여 상기 이미지에서의 교통 신호등의 주요 지점을 결정하는 단계;
상기 프로세서에 의해 상기 비디오 스트림에서의 교통 신호등의 주요 지점을 추적하여 추적 결과를 획득하는 단계;
상기 프로세서에 의해 상기 추적 결과가 상기 교통 신호등의 위치 영역과 중첩하는지를 비교하는 단계; 및
상기 프로세서가 상기 교통 신호등의 주요 지점에 대응하는 위치 영역이 상기 교통 신호등의 위치 영역과 중첩하지 않는 것에 응답하여, 상기 교통 신호등의 위치 영역을 상기 교통 신호등의 주요 지점에 대응하는 위치 영역으로 대체하는 단계를 더 포함하는 지능형 주행 방법. - 제11항에 있어서, 상기 지능형 주행 제어는,
상기 프로세서에 의해, 프롬프트 정보 또는 경고 정보를 전송하는 단계, 및/또는
상기 프로세서에 의해, 상기 교통 신호등의 상태에 따라 상기 차량의 주행 상태를 제어하는 단계를 포함하고,
상기 방법은,
상기 교통 신호등에 대응하는 상기 적어도 하나의 프레임의 이미지 뿐만 아니라 상기 교통 신호등의 속성들 및 상태를 저장하는 단계를 추가로 포함하는 지능형 주행 방법. - 제12항에 있어서, 상기 교통 신호등의 상태는, 통과-허가 상태, 통과-금지 상태, 또는 대기 상태를 포함하고;
상기 적어도 하나의 프레임의 이미지에서의 상기 교통 신호등의 적어도 2개의 속성들에 기초하여, 상기 프로세서에 의해, 상기 교통 신호등의 상태를 결정하는 단계는,
상기 교통 신호등의 색상이 녹색인 것 및/또는 상기 교통 신호등의 형상이 제1 미리 결정된 형상인 것에 응답하여, 상기 프로세서에 의해, 상기 교통 신호등의 상태가 상기 통과-허가 상태인 것으로 결정하는 단계;
상기 교통 신호등의 색상이 적색인 것 및/또는 상기 교통 신호등의 형상이 제2 미리 결정된 형상인 것에 응답하여, 상기 프로세서에 의해, 상기 교통 신호등의 상태가 상기 통과-금지 상태인 것으로 결정하는 단계; 및
상기 교통 신호등의 색상이 황색인 것 및/또는 상기 교통 신호등의 형상이 제3 미리 결정된 형상인 것에 응답하여, 상기 프로세서에 의해, 상기 교통 신호등의 상태가 대기 상태인 것으로 결정하는 단계를 포함하고,
상기 교통 신호등의 상태에 따라 상기 프로세서에 의해, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계는,
상기 교통 신호등의 상태가 상기 통과-허가 상태인 것에 응답하여, 상기 프로세서에 의해, 시동, 주행 상태 유지, 감속, 회전, 회전 지시등 점등, 또는 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 상기 차량을 제어하는 단계; 및
상기 교통 신호등의 상태가 상기 통과-금지 상태 또는 상기 대기 상태인 것에 응답하여, 상기 프로세서에 의해, 정지, 감속, 또는 브레이크 지시등 점등 중 하나 이상의 동작을 실행하도록 상기 차량을 제어하는 단계를 포함하는 지능형 주행 방법. - 전자 디바이스로서,
실행가능 명령어들을 저장하도록 구성되는 메모리; 및
상기 메모리와 통신하여 상기 실행가능 명령어들을 실행하도록 구성되어, 제1항 내지 제3항 중 어느 한 항에 따른 교통 신호등 검출 방법의 동작들을 완료하거나 또는 제11항 내지 제13항 중 어느 한 항에 따른 지능형 주행 방법의 동작들을 완료하는 프로세서를 포함하는 전자 디바이스. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810697683.9 | 2018-06-29 | ||
| CN201810697683.9A CN110660254B (zh) | 2018-06-29 | 2018-06-29 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
| PCT/CN2019/089062 WO2020001223A1 (zh) | 2018-06-29 | 2019-05-29 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200128145A KR20200128145A (ko) | 2020-11-11 |
| KR102447352B1 true KR102447352B1 (ko) | 2022-09-23 |
Family
ID=68985543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207029615A Active KR102447352B1 (ko) | 2018-06-29 | 2019-05-29 | 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20200353932A1 (ko) |
| JP (1) | JP7111827B2 (ko) |
| KR (1) | KR102447352B1 (ko) |
| CN (1) | CN110660254B (ko) |
| SG (1) | SG11202007333PA (ko) |
| WO (1) | WO2020001223A1 (ko) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11866046B2 (en) * | 2017-12-10 | 2024-01-09 | Anatoly S. Weiser | Smart traffic control devices and beacons, methods of their operation, and use by vehicles of information provided by the devices and beacons |
| US10836393B2 (en) * | 2017-12-10 | 2020-11-17 | Anatoly S. Weiser | Smart traffic control devices and beacons, methods of their operation, and use by vehicles of information provided by the devices and beacons |
| CN113987228A (zh) * | 2018-06-20 | 2022-01-28 | 华为技术有限公司 | 一种数据库构建方法、一种定位方法及其相关设备 |
| WO2020243484A1 (en) * | 2019-05-29 | 2020-12-03 | Mobileye Vision Technologies Ltd. | Systems and methods for vehicle navigation |
| CN112149697B (zh) * | 2019-06-27 | 2025-02-25 | 北京绝影智联科技有限公司 | 指示灯的指示信息识别方法及装置、电子设备和存储介质 |
| CN111292531B (zh) * | 2020-02-06 | 2022-07-29 | 阿波罗智能技术(北京)有限公司 | 交通信号灯的跟踪方法、装置、设备及存储介质 |
| CN111400531B (zh) * | 2020-03-13 | 2024-04-05 | 广州文远知行科技有限公司 | 目标标注方法、装置、设备与计算机可读存储介质 |
| JP7115502B2 (ja) | 2020-03-23 | 2022-08-09 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
| JP7388971B2 (ja) | 2020-04-06 | 2023-11-29 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
| JP7359735B2 (ja) * | 2020-04-06 | 2023-10-11 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
| US11328519B2 (en) | 2020-07-23 | 2022-05-10 | Waymo Llc | Detecting traffic signaling states with neural networks |
| CN112289021A (zh) * | 2020-09-24 | 2021-01-29 | 深圳一清创新科技有限公司 | 一种交通信号灯的检测方法、装置及自动驾驶汽车 |
| KR20220083945A (ko) * | 2020-12-11 | 2022-06-21 | 현대자동차주식회사 | 신호등 정보 제공 장치, 그를 포함한 차량 시스템 및 그 방법 |
| CN112507951B (zh) * | 2020-12-21 | 2023-12-12 | 阿波罗智联(北京)科技有限公司 | 指示灯识别方法、装置、设备、路侧设备和云控平台 |
| US11776281B2 (en) * | 2020-12-22 | 2023-10-03 | Toyota Research Institute, Inc. | Systems and methods for traffic light detection and classification |
| CN112699773B (zh) * | 2020-12-28 | 2023-09-01 | 阿波罗智联(北京)科技有限公司 | 交通灯识别方法、装置及电子设备 |
| CN112349101B (zh) * | 2021-01-08 | 2021-04-27 | 深圳裹动智驾科技有限公司 | 高精地图生成方法、以及识别交通灯的方法及系统 |
| CN113011251B (zh) * | 2021-02-03 | 2024-06-04 | 深圳大学 | 一种基于交通灯几何属性的行人交通灯识别方法 |
| US12014549B2 (en) | 2021-03-04 | 2024-06-18 | Toyota Research Institute, Inc. | Systems and methods for vehicle light signal classification |
| CN113033464B (zh) * | 2021-04-10 | 2023-11-21 | 阿波罗智联(北京)科技有限公司 | 信号灯检测方法、装置、设备以及存储介质 |
| CN113033493B (zh) * | 2021-04-27 | 2025-06-27 | 腾讯科技（深圳）有限公司 | 目标物巡检方法、装置、电子设备及存储介质 |
| CN113077630B (zh) * | 2021-04-30 | 2022-06-28 | 安徽江淮汽车集团股份有限公司 | 基于深度学习的红绿灯检测方法、装置、设备及存储介质 |
| CN113450588B (zh) * | 2021-06-28 | 2023-04-07 | 通视(天津)信息技术有限公司 | 交通信号灯时信息的处理方法、装置以及电子设备 |
| CN113469109B (zh) * | 2021-07-16 | 2022-09-13 | 阿波罗智联(北京)科技有限公司 | 交通灯识别结果处理方法、装置、路侧设备及云控平台 |
| CN113674544A (zh) | 2021-07-21 | 2021-11-19 | 阿波罗智联(北京)科技有限公司 | 信号机的报警方法、装置、电子设备和可读存储介质 |
| CN113989774B (zh) * | 2021-10-27 | 2024-11-08 | 广州小鹏自动驾驶科技有限公司 | 一种交通灯检测方法、装置、车辆和可读存储介质 |
| CN114067291B (zh) * | 2021-11-24 | 2025-06-27 | 智道网联科技(北京)有限公司 | 信号灯检测方法和装置 |
| CN114120286A (zh) * | 2021-12-01 | 2022-03-01 | 天津天瞳威势电子科技有限公司 | 一种交通信号灯的识别方法及装置 |
| KR102472649B1 (ko) * | 2021-12-28 | 2022-11-30 | 포티투닷 주식회사 | 객체를 트래킹하기 위한 방법 및 장치 |
| CN114782924B (zh) * | 2022-05-10 | 2024-07-12 | 智道网联科技(北京)有限公司 | 用于自动驾驶的交通灯检测方法、装置及电子设备 |
| CN114926815A (zh) * | 2022-05-16 | 2022-08-19 | 内蒙古工业大学 | 基于信号灯识别的驾驶行为预警方法及系统 |
| CN114973205B (zh) * | 2022-06-28 | 2024-08-13 | 深圳一清创新科技有限公司 | 一种红绿灯跟踪方法、装置、及无人驾驶汽车 |
| CN115984823B (zh) * | 2023-02-27 | 2023-06-09 | 安徽蔚来智驾科技有限公司 | 交通信号灯感知方法、车辆控制方法、设备、介质及车辆 |
| WO2024197629A1 (zh) * | 2023-03-29 | 2024-10-03 | 华为技术有限公司 | 检测方法、装置以及智能驾驶设备 |
| CN116681935B (zh) * | 2023-05-31 | 2024-01-23 | 国家深海基地管理中心 | 一种深海热液喷口自主识别定位方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150210276A1 (en) * | 2014-01-30 | 2015-07-30 | Mobileye Vision Technologies Ltd. | Systems and methods for determining the status of a turn lane traffic light |
| CN106650641A (zh) * | 2016-12-05 | 2017-05-10 | 北京文安智能技术股份有限公司 | 一种交通信号灯定位识别方法、装置及系统 |
| CN106837649A (zh) * | 2017-03-03 | 2017-06-13 | 吉林大学 | 基于信号灯倒计时识别的自学习智能起停系统 |
| US9892332B1 (en) | 2014-08-21 | 2018-02-13 | Waymo Llc | Vision-based detection and classification of traffic lights |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4357137B2 (ja) * | 2001-05-11 | 2009-11-04 | 富士通マイクロエレクトロニクス株式会社 | 移動体追跡方法及びシステム |
| US6999004B2 (en) * | 2002-06-17 | 2006-02-14 | Siemens Corporate Research, Inc. | System and method for vehicle detection and tracking |
| CN103489324B (zh) * | 2013-09-22 | 2015-09-09 | 北京联合大学 | 一种基于无人驾驶的实时动态红绿灯检测识别方法 |
| KR20150047214A (ko) * | 2013-10-24 | 2015-05-04 | 현대모비스 주식회사 | 카메라 센서를 이용한 ｓｃｃ 시스템 및 방법 |
| WO2015077514A1 (en) * | 2013-11-20 | 2015-05-28 | Certusview Technologies, Llc | Systems, methods, and apparatus for tracking an object |
| CN103729863B (zh) * | 2013-12-06 | 2016-05-25 | 南京金智视讯技术有限公司 | 基于自主学习的交通信号灯全自动定位识别的方法 |
| US9195895B1 (en) * | 2014-05-14 | 2015-11-24 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting traffic signs |
| CN105893971A (zh) * | 2016-04-01 | 2016-08-24 | 上海理工大学 | 一种基于Gabor和稀疏表示的交通信号灯识别方法 |
| CN107527511B (zh) * | 2016-06-22 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 一种智能车辆行车提醒方法及装置 |
| CN106023623A (zh) * | 2016-07-28 | 2016-10-12 | 南京理工大学 | 基于机器视觉的车载交通信号与标志的识别及预警方法 |
| CN106570494A (zh) * | 2016-11-21 | 2017-04-19 | 北京智芯原动科技有限公司 | 基于卷积神经网络的交通信号灯识别方法及装置 |
| CN106909937B (zh) * | 2017-02-09 | 2020-05-19 | 北京汽车集团有限公司 | 交通信号灯识别方法、车辆控制方法、装置及车辆 |
| CN106897742B (zh) * | 2017-02-21 | 2020-10-27 | 北京市商汤科技开发有限公司 | 用于检测视频中物体的方法、装置和电子设备 |
| WO2018175441A1 (en) * | 2017-03-20 | 2018-09-27 | Mobileye Vision Technologies Ltd. | Navigation by augmented path prediction |
| US10699142B2 (en) * | 2017-04-20 | 2020-06-30 | GM Global Technology Operations LLC | Systems and methods for traffic signal light detection |
| CN107978165A (zh) * | 2017-12-12 | 2018-05-01 | 南京理工大学 | 基于计算机视觉的交叉口标志标线与信号灯智能感知方法 |
| CN108108761B (zh) * | 2017-12-21 | 2020-05-01 | 西北工业大学 | 一种基于深度特征学习的快速交通信号灯检测方法 |
-
2018
- 2018-06-29 CN CN201810697683.9A patent/CN110660254B/zh active Active
-
2019
- 2019-05-29 SG SG11202007333PA patent/SG11202007333PA/en unknown
- 2019-05-29 WO PCT/CN2019/089062 patent/WO2020001223A1/zh active Application Filing
- 2019-05-29 KR KR1020207029615A patent/KR102447352B1/ko active Active
- 2019-05-29 JP JP2020550090A patent/JP7111827B2/ja active Active
-
2020
- 2020-07-31 US US16/944,234 patent/US20200353932A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150210276A1 (en) * | 2014-01-30 | 2015-07-30 | Mobileye Vision Technologies Ltd. | Systems and methods for determining the status of a turn lane traffic light |
| US9892332B1 (en) | 2014-08-21 | 2018-02-13 | Waymo Llc | Vision-based detection and classification of traffic lights |
| CN106650641A (zh) * | 2016-12-05 | 2017-05-10 | 北京文安智能技术股份有限公司 | 一种交通信号灯定位识别方法、装置及系统 |
| CN106837649A (zh) * | 2017-03-03 | 2017-06-13 | 吉林大学 | 基于信号灯倒计时识别的自学习智能起停系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200353932A1 (en) | 2020-11-12 |
| SG11202007333PA (en) | 2020-08-28 |
| JP7111827B2 (ja) | 2022-08-02 |
| JP2021519968A (ja) | 2021-08-12 |
| KR20200128145A (ko) | 2020-11-11 |
| WO2020001223A1 (zh) | 2020-01-02 |
| CN110660254B (zh) | 2022-04-08 |
| CN110660254A (zh) | 2020-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102447352B1 (ko) | 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 | |
| US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
| JP7106664B2 (ja) | 知的運転制御方法および装置、電子機器、プログラムならびに媒体 | |
| US11314973B2 (en) | Lane line-based intelligent driving control method and apparatus, and electronic device | |
| CN109635685B (zh) | 目标对象3d检测方法、装置、介质及设备 | |
| US20220076444A1 (en) | Methods and apparatuses for object detection, and devices | |
| US20210110180A1 (en) | Method and apparatus for traffic sign detection, electronic device and computer storage medium | |
| US20210001885A1 (en) | Method for predicting direction of movement of target object, vehicle control method, and device | |
| US12315181B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
| US20200089971A1 (en) | Sensor calibration method and device, computer device, medium, and vehicle | |
| CN112560684B (zh) | 车道线检测方法、装置、电子设备、存储介质以及车辆 | |
| KR20190026116A (ko) | 객체 인식 방법 및 장치 | |
| KR20210080459A (ko) | 차선 검출방법, 장치, 전자장치 및 가독 저장 매체 | |
| CN111767831B (zh) | 用于处理图像的方法、装置、设备及存储介质 | |
| CN115147809B (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
| Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
| Liu et al. | Real-time traffic light recognition based on smartphone platforms | |
| CN118711149A (zh) | 无人车小型光电转台的目标跟踪方法、装置及电子设备 | |
| CN111192290B (zh) | 行人图像检测的分块处理方法 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| KR102673546B1 (ko) | 선박 운항 데이터 처리 장치, 방법 및 시스템 | |
| CN116343152A (zh) | 车道线检测方法、装置及电子设备 | |
| CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
| CN111765892B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
| Kenk et al. | Driving perception in challenging road scenarios: an empirical study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20201015 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20201015 Comment text: Request for Examination of Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220224 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220829 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20220921 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20220921 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |