KR102570972B1 - 차량 주행 제어 방법, 장치 및 전자 기기 - Google Patents

차량 주행 제어 방법, 장치 및 전자 기기 Download PDF

Info

Publication number
KR102570972B1
KR102570972B1 KR1020210186503A KR20210186503A KR102570972B1 KR 102570972 B1 KR102570972 B1 KR 102570972B1 KR 1020210186503 A KR1020210186503 A KR 1020210186503A KR 20210186503 A KR20210186503 A KR 20210186503A KR 102570972 B1 KR102570972 B1 KR 102570972B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
indicator
determining
waiting area
Prior art date
Application number
KR1020210186503A
Other languages
English (en)
Other versions
KR20220004608A (ko
Inventor
얀 첸
강리 지앙
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20220004608A publication Critical patent/KR20220004608A/ko
Application granted granted Critical
Publication of KR102570972B1 publication Critical patent/KR102570972B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

본원 발명은 차량 주행 제어 방법, 장치 및 전자기기를 개시하는데, 이는 스마트 교통, 딥 러닝 기술분야에 관한 것이다. 구현 방식은, 차량이 주행 과정에서 획득한 이미지에 대해 차선 인식을 수행하여 이미지에 포함된 차선 정보를 결정하고, 어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 어느 하나의 이미지 중 지정된 유형 차선의 위치에 따라 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하며, 검출 대기 영역에 대해 신호등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정하고, 어느 하나의 이미지에 포함된 지시등 정보 및 차량 현재의 주행 상태에 따라 차량 현재의 주행 모드를 결정함으로써 신호등 신호 전송 기기에 의존하지 않고 신호등 인식을 구현할 수 있어 비용이 저렴하고 보급성이 강할 뿐만 아니라 처리가 필요한 이미지 데이터 량을 감소시킬 수 있어 신호등 인식의 속도를 향상시키고 운전 체험도를 개선한다.

Description

차량 주행 제어 방법, 장치 및 전자 기기{VEHICLE DRIVING CONTROL METHOD, DEVICE AND ELECTRONIC EQUIPMENT}
본원 발명은 이미지 처리 기술분야에 관한 것으로, 구체적으로는 스마트 교통, 딥 러닝 기술분야에 관한 것이고, 특히 차량 주행 제어 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램에 관한 것이다.
현재 스마트 교통은 새로운 인프라의 중요한 부분인 바, 그 중 신호등 인식은 스마트 교통과 안전한 외출에 있어서 매우 큰 의미가 있으므로 신호등을 인식하여 스마트 교통을 구현하는 기술은 특히 중요하다.
본원 발명은 차량 주행 제어 방법, 장치 및 전자기기를 제공한다.
본원 발명의 제1 양태에 따르면,
상기 차량이 주행 과정에서 획득한 이미지에 대해 차선 인식을 수행하여 상기 이미지에 포함된 차선 정보를 결정하는 단계;
어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 상기 어느 하나의 이미지 중 상기 지정된 유형 차선의 위치에 따라 상기 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 단계;
상기 검출 대기 영역에 대해 신호등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계; 및
상기 어느 하나의 이미지에 포함된 지시등 정보 및 상기 차량 현재의 주행 상태에 따라 상기 차량 현재의 주행 모드를 결정하는 단계를 포함하는 차량 주행 제어 방법을 제공한다.
본원 발명의 제2 양태에 따르면,
상기 차량이 주행 과정에서 획득한 이미지에 대해 차선 인식을 수행하여 상기 이미지에 포함된 차선 정보를 결정하는 제1 결정 모듈;
어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 상기 어느 하나의 이미지 중 상기 지정된 유형 차선의 위치에 따라 상기 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 제2 결정 모듈;
상기 검출 대기 영역에 대해 신호등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제3 결정 모듈; 및
상기 어느 하나의 이미지에 포함된 지시등 정보 및 상기 차량 현재의 주행 상태에 따라 상기 차량 현재의 주행 모드를 결정하는 제4 결정 모듈을 포함하는 차량 주행 제어 장치를 제공한다.
본원 발명의 제3 양태에 따르면, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 상기 제1 양태의 실시예에 따른 차량 주행 제어 방법이 수행되는 전자기기를 제공한다.
본원 발명의 제4 양태에 따르면, 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하고, 상기 컴퓨터 프로그램이 수행될 경우, 상기 제1 양태에 따른 차량 주행 제어 방법이 수행된다.
본원 발명의 제5 양태에 따르면, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 제1 양태에 따른 차량 주행 제어 방법이 구현된다.
본 명세서에서 설명한 내용은 본 발명의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고 본 발명의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 발명의 다른 특징은 아래의 명세서를 통해 더 용이하게 이해할 수 있을 것이다.
본원 발명은 차량 주행 제어 방법, 장치 및 전자기기를 제공한다.
첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본원 발명을 한정하지 않는다. 여기서,
도 1은 본 발명의 실시예에서 제공하는 차량 주행 제어 방법의 과정 모식도이다.
도 2는 본 발명의 실시예에서 제공하는 검출 대기 영역을 결정하는 과정 모식도이다.
도 3은 본 발명의 실시예에서 제공하는 지시등 정보를 결정하는 과정 모식도이다.
도 4는 본 발명의 실시예에서 제공하는 초기 지시등에 대해 조정 검증을 수행하여 지시등 정보를 결정하는 과정 모식도이다.
도 5는 본 발명의 실시예에서 제공하는 지시등 정보를 결정하는 다른 모식도이다.
도 6은 본 발명의 실시예에서 제공하는 신호등 인식의 원리 모식도이다.
도 7은 본 발명의 실시예에서 제공하는 차량 주행 제어 장치의 구조 모식도이다.
도 8은 본원 발명의 실시예의 차량 주행 제어 방법을 구현하는 전자 기기의 블록도이다.
이하, 첨부 도면을 결부하여 본원 발명의 예시적인 실시예들을 설명하고자 하며, 이해를 돕기 위해 본원 발명의 실시예들의 다양한 세부 사항들이 포함되는데, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본원 발명의 기술 분야의 통상 지식을 가진 자라면 본원 발명의 범위 및 사상을 벗어나지 않으면서 본 명세서에 설명된 실시예들에 대해 다양한 변경 및 수정이 이루어질 수 있음을 알아야 한다. 또한, 명확성 및 간결성을 위해, 공지된 기능 및 구조에 대한 설명은 아래 설명에서 생략된다.
스마트 운송 시스템이라고도 하는 스마트 교통은, 첨단 과학 기술(정보 기술, 컴퓨터 기술, 데이터 통신 기술, 센서 기술, 전자 제어 기술, 자동 제어 이론, 인공 지능 등)을 교통 운송, 서비스 제어 및 차량 제조에 효과적이고 종합적으로 적용하여 차량, 도로, 사용자 3자 간의 연계를 보강함으로써 하나의 안전 보장, 효율 향상, 환경 개선 및 에너지 절약을 구비하는 종합적인 운송 시스템을 형성한다.
딥 러닝은 기계 학습 분야의 하나의 새로운 연구 방향으로서, 기계 학습이 도입되어 가장 초기의 타깃인 인공 지능에 더욱 근접하도록 한다. 딥 러닝은 샘플 데이터의 내부적 규칙과 표현 수준을 학습하는 것으로, 이러한 학습 과정에서 획득한 정보는 문자, 이미지 및 소리 등과 같은 데이터의 해석에 매우 큰 도움을 주는 바, 이의 최종 타깃은 기계가 사람처럼 분석 학습 능력을 갖고 문자, 이미지 및 소리 등 데이터를 인식할 수 있도록 하는 것이다.
현재 스마트 교통은 새로운 인프라의 중요한 부분이고, 그 중 신호등 인식은 스마트 교통과 안전한 외출에 있어서 매우 큰 의미가 있으므로 신호등을 인식하여 스마트 교통을 구현하는 기술이 특히 중요하다.
관련 기술에서 신호등 인식은 주로 신호등 신호 전송 기기에 의존하여 무선 신호를 통해 정보를 상응한 지오펜싱 내의 차량에 전송하는데, 상기 기술은 기기 비용이 높고 기존 신호등 기기를 개조해야 하므로 접근 난이도가 높고 보급성이 미흡하다. 관련 기술에서는 또한 고정밀 지도 및 카메라 파라미터를 이용하여 신호등 이미지 공간 위치를 정확하게 포지셔닝한 다음, 신호등 신호를 인식하는데, 상기 기술은 고정밀 지도를 필요로 하고, 고정밀 지도는 업데이트가 늦어 비용이 높고 보급성이 떨어진다.
이를 위해, 본원 발명의 실시예는 차량 주행 제어 방법, 장치 및 전자기기를 제공한다. 본원 발명의 실시예는, 차선 정보에 따라 신호등 검출을 수행하여 지시등 정보를 결정하고, 지시등 정보에 따라 차량 현재의 주행 모드를 결정하므로 신호등 신호 전송 기기 및 고정밀 지도에 의존하지 않고 신호등 인식을 구현할 수 있어 비용이 저렴하고 보급성이 강할 뿐만 아니라 처리가 필요한 이미지 데이터 량을 줄일 수 있으므로 신호등 인식의 속도를 향상시키고 안전 운전에 이롭다.
아래에서는 첨부 도면을 참고하여 본원 발명의 실시예의 차량 주행 제어 방법, 장치 및 전자기기를 설명한다.
도 1은 본원 발명의 실시예에서 제공하는 차량 주행 제어 방법의 과정 모식도이다.
설명해야 할 것은, 본원 발명의 실시예의 차량 주행 제어 방법의 수행 주체는 전자기기(차량 탑재 기기일 수 있음)일 수 있고, 구체적으로, 전자기기는 서버, 단말기일 수 있으나 이에 제한되지 않으며, 단말기는 개인용 컴퓨터, 스마트 폰, IPAD 등일 수 있으나 이에 제한되지 않는다.
본원 발명의 실시예는 차량 주행 제어 방법이 차량 주행 제어 장치에 구성되는 것을 예로 들어 설명하고, 상기 장치는 전자기기에 응용되어, 상기 전자기기가 차량 주행 제어 방법을 수행하도록 할 수 있다.
도 1에 도시된 바와 같이, 상기 차량 주행 제어 방법은 단계 S101 내지 단계 S104를 포함한다.
단계 S101, 차량이 주행 과정에서 획득한 이미지에 대해 차선 인식을 수행하여 이미지에 포함된 차선 정보를 결정한다.
본원 발명의 실시예는, 차량 탑재 카메라 기기(스마트 백미러, 휴대폰, 전면 장착 카메라 등)를 통해 차량의 주행 과정에 이미지를 실시간으로 획득할 수 있고, 상기 이미지는 주행 과정 중 차량 주변의 도로 정보(도로 상의 차선을 포함) 및 차량 정보(전방 차량의 주행 상황과 후방 차량의 주행 상황 포함)를 반영할 수 있다. 설명해야 할 것은, 획득한 이미지의 개수는 적어도 하나일 수 있고, 그 중의 각각의 이미지에는 차선이 포함될 수 있고 차선이 포함되지 않을 수도 있으므로 차선의 인식을 수행해야 한다.
여기서, 차선은 차량 주행을 지시하는 도로 교통 지시선일 수 있는 바, 횡당보도선, 정지선 등을 포함할 수 있다.
구체적으로, 차량이 주행하는 과정에서 차량 탑재 카메라를 통해 이미지를 실시간으로 획득하여 적어도 하나의 이미지를 획득하고, 각각의 이미지에 대해 그레이스케일 처리와 같은 처리를 수행한 다음 차선 인식을 수행하여 이미지에 차선이 포함되는지 여부를 결정하고, 이미지에 차선이 포함될 경우, 그 중의 차선 정보를 인식하며, 차선 정보는 차선의 유형, 차선의 색상, 차선의 형상, 차선의 수량 등을 포함할 수 있다.
설명해야 할 것은, 본원 발명의 실시예에서 차선을 결정하는 방식은 관련 기술의 다른 방식일 수도 있으며, 단계 S101을 구현할 수 있기만 하면 되고, 본원 발명의 실시예는 이에 대해 한정하지 않는다.
단계 S102, 어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 어느 하나의 이미지 중 지정된 유형 차선의 위치에 따라 어느 하나의 이미지에 포함된 검출 대기 영역을 결정한다.
본원 발명의 실시예에서, "어느 하나의 "는 "각각" 이 아닌 "그 중 하나 또는 특정 하나"를 의미한다.
본원 발명의 실시예는 차량의 현재 위치가 교차로(예를 들어, 사거리)임을 지시하는 횡당보도선 또는 정지선 등과 같은 임의의 차선의 유형을 지정된 유형이라고 할 수 있다.
본원 발명의 실시예는, 지시등(신호등) 인식을 수행하도록, 차량에 있어서 신호등 검출이 필요한 영역을 검출 대기 영역이라고 할 수 있다.
설명해야 할 것은, 일반적인 경우 교차로에는 신호등 안내표시판이 설치되어 있으므로 본원 발명의 실시예는 차선 정보에 따라 차량이 교차로까지 주행함이 검출될 경우, 검출 대기 영역을 결정하여 신호등 검출을 수행할 수 있다.
구체적으로, 이미지에 따라 차선 정보를 결정한 후, 각 차선에 대응되는 유형을 결정할 수 있는 바, 유형이 지정된 유형(지정된 유형에 대응되는 차선은 지정된 유형 차선임)이면 지정된 유형 차선이 위치한 이미지에서의 위치를 결정할 수 있고, 나아가 상기 위치에 따라 지정된 유형 차선이 위치한 이미지에서 포함하는 검출 대기 영역을 결정하여 후속적으로 신호등 검출을 수행하도록 한다.
단계 S103, 검출 대기 영역에 대해 신호등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정한다.
여기서, 지시등 정보는 차량의 주행 방향(직진, 좌회전, 우회전, 유턴 등) 및 계속하여 주행할지 여부 등 주행 상태를 지시하는 신호등 지시 정보일 수 있으며, 지시등의 색상(빨간색, 노란색 또는 녹색), 지시등의 수량, 지시등의 형상(유형) 등을 포함할 수 있다.
구체적으로, 임의의 하나(어느 하나)의 이미지에 포함된 검출 대기 영역을 결정한 후, 검출 대기 영역의 신호등 정보를 검출하여 상기 이미지에 포함된 지시등 정보를 결정한다.
상기 단계 S101 내지 단계 S103에 대해 거리 설명을 하면, 예를 들어, 차량이 주행하는 과정에 이미지 1, 이미지 2, 이미지 3 및 이미지 4를 획득하고, 이미지 1, 이미지 2 및 이미지 3에 모두 차선이 포함되면 이미지 1에 포함된 차선 정보 1, 이미지 2에 포함된 차선 정보 2 및 이미지 3에 포함된 차선 정보 3을 각각 결정하며, 3개의 차선이 모두 횡단보도선 일 경우, 이미지 1 중의 횡단보도선의 위치에 따라 이미지 1에 포함된 검출 대기 영역을 결정하고, 이미지 2 중 횡단보도선의 위치에 따라 이미지 2에 포함된 검출 대기 영역을 결정하며, 이미지 3 중 횡단보도선의 위치에 따라 이미지 3에 포함된 검출 대기 영역을 결정하고, 3개의 검출 대기 영역에 대해 모두 신호등 검출을 수행하여 이미지 1에 포함된 지시등 정보, 이미지 2에 포함된 지시등 정보 및 이미지 3에 포함된 지시등 정보를 검출한다.
단계 S104, 어느 하나의 이미지에 포함된 지시등 정보 및 차량 현재의 주행 상태에 따라 차량 현재의 주행 모드를 결정한다.
본원 발명의 실시예는 차량의 주행 과정에서 주행 차량 속도, 주행 방향 등과 같은 차량의 주행 상태를 실시간으로 검출할 수 있다.
구체적으로, 어느 하나의 이미지에 포함된 지시등 정보를 결정한 후, 차량 현재의 주행 상태를 획득할 수 있고, 지시등 정보 및 차량 현재의 주행 상태에 따라 차량 현재의 주행 모드를 결정한다.
예를 들어, 이미지 1에 포함된 지시등이 좌회전 지시등(좌측 지시등이라고도 함)이고 색상이 녹색이며, 이미지 2에 포함된 지시등이 우회전 지시등이고 색상이 녹색이며, 이미지 3에 포함된 지시등이 직진 지시등(차량에 대한 정면 지시등이라고도 함)이고 색상이 빨간색이며, 차량이 현재 높은 속도로 주행 중이면 이때 차량이 감속 주행하도록 제어할 수 있는 동시에, 신호 위반을 경고할 수 있다.
설명해야 할 것은, 본원 발명의 실시예는 또한 지시등에 대응되는 카운트다운 시간을 획득하여 차량 현재의 모드를 결정할 경우, 지시등 정보, 차량 현재의 주행 상태 및 지시등의 카운트다운 시간에 따라 차량 현재의 주행 모드를 결정할 수 있다.
더 설명해야 할 것은, 획득한 이미지의 경우, 그 중의 그린 웨이브 차량 속도를 인식하여 그린 웨이브 차량 속도가 존재할 경우, 차량 현재의 주행 모드를 결정할 때 그린 웨이브 차량 속도를 고려하여 차량이 후속적으로 원활하게 주행할 수 있도록 할 수 있다.
다시 말해서, 본원 발명의 실시예는 시각 방법으로 신호등에 대해 포지셔닝 인식을 수행함으로써 기존 신호등 기기를 개조할 필요가 없고 고정밀도도 필요로 하지 않으며 차량 탑재 기기에 신호등을 인식하는 소프트웨어만 설치하면 상기 단계를 수행할 수 있으며, 상기 단계를 수행하여 지면 상의 차선에만 따라 신호등을 인식할 수 있고, 차선은 지면 위에 위치하므로 차선을 인식하여 차량 전방에 신호등이 존재하는지 여부 및 신호등 정보를 결정함으로써 처리가 필요한 이미지 데이터 량(일부 이미지만 인식)을 감소시킬 수 있을 뿐만 아니라 인식의 속도도 향상시킬 수 있다.
본원 발명의 실시예의 차량 주행 제어 방법, 차선 정보에 따라 신호등 검출을 수행하여 지시등 정보를 결정하고, 나아가 지시등 정보에 따라 차량 현재의 주행 모드를 결정하며, 신호등 신호 전송 기기에 의존하지 않고 신호등 인식을 구현할 수 있어 비용이 저렴하고 보급성이 강할 뿐만 아니라 처리가 필요한 이미지 데이터 량을 감소시킬 수 있어 신호등 인식의 속도를 향상시키고 운전 체험도를 개선한다.
상기 단계 S102에서 검출 대기 영역을 결정할 때, 검출 대기 영역의 유효성을 확보하기 위해, 차량과 차선 사이의 거리에 따라 검출 대기 영역을 결정할 수 있고, 이미지의 이미징 거리에 따라 검출 대기 영역을 결정할 수도 있다.
즉 본원 발명의 일 실시예에서, 도 2에 도시된 바와 같이, 상기 어느 하나의 이미지 중 지정된 유형 차선의 위치에 따라 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 단계 S102는 하기의 단계 S201 및 단계 S202를 포함할 수 있다.
단계 S201, 어느 하나의 이미지의 이미징 거리에 따라 검출 대기 영역과 차선 위치가 어느 하나의 이미지에서의 이격된 픽셀 수량을 결정한다.
구체적으로, 적어도 하나의 이미지에 대해 차선 인식을 수행하여 어느 하나의 이미지에 포함된 차선 정보를 결정한 후, 상기 어느 하나의 이미지를 촬영하는 카메라의 이미징 거리를 결정하여 어느 하나의 이미지의 이미징 거리를 결정할 수 있고, 나아가 상기 이미징 거리에 따라 검출 대기 영역(미지)과 차선 위치가 상기 어느 하나의 이미지에서의 이격된 픽셀 수량을 결정하며, 여기서, 차선 정보는 차선이 위치한 이미지에서의 위치를 포함할 수 있다.
단계 S202, 이격된 픽셀 수량 및 지정된 유형 차선이 어느 하나의 이미지에서의 위치에 따라 어느 하나의 이미지에 포함된 검출 대기 영역을 결정한다.
구체적으로, 이격된 픽셀 수량을 결정한 후, 어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 지정된 유형 차선이 상기 어느 하나의 이미지에서의 위치는 이미 결정되었기에, 이격된 픽셀 수량을 결정할 때, 상기 이격된 픽셀 수량(이미 알고 있음) 및 지정된 유형 차선이 이미지에서의 위치(이미 알고 있음)에 따라 상기 이미지에 포함된 검출 대기 영역을 결정할 수 있다.
설명해야 할 것은, 자동차 신호등 높이는 일반적으로 1.5m이고, 본원 발명의 실시예에서 50m의 거리에서 신호등 픽셀 크기는 약 5*15 픽셀이며, 이미징 크기와 거리가 반비례함에 따라 임의의 크기의 신호등과 차량 사이의 거리를 알 수 있어 신호등이 위치한 검출 대기 영역을 얻을 수 있다.
예를 들어, 이미지 2의 이미징 거리가 50m일 때, 결정해야 하는 검출 대기 영역과 차선 위치가 이미지 2에서의 이격된 픽셀 수량이 대략 5*15 픽셀임을 결정할 수 있고, 이미지 2에 지정된 유형 차선이 포함될 경우, 5*15 픽셀 및 지정된 유형 차선이 이미지 2에서의 위치에 따라 지정된 유형 차선의 이미징 거리가 예를 들어 48m임을 결정함으로써 상기 이미징 거리에 따라 검출 대기 영역이 차량으로부터 대략 48m 떨어진 위치에 있음을 얻을 수 있다.
이로부터, 이미지의 이미징 거리에 따라 검출 대기 영역을 결정함으로써 검출 대기 영역의 정확성 및 신뢰성을 향상시키고, 나아가 신호등 인식의 정확성을 향상시킨다.
상기 단계 S103에서 검출 대기 영역에 대해 신호등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정할 경우, 신호등 검출율 향상 및 오검출율 감소를 위해, 신호등 검출을 여러 차례 수행할 수 있고, 초보적으로 결정된 지시등 정보에 대해 조정 검증을 수행하여 정확도가 높은 지시등 정보를 얻을 수도 있다. 여기서, 차선 정보 및/또는 차량의 위치 정보를 기반으로, 지시등 정보에 대해 조정 검증을 수행할 수 있고, 아래에서는 두 개의 실시예를 통해 설명한다.
본원 발명의 일 실시예에서, 도 3에 도시된 바와 같이, 상기 단계 S103은 하기의 단계 S301 및 단계 S302를 포함할 수 있다.
단계 S301, 검출 대기 영역에 대해 사전 검출을 수행하여 어느 하나의 이미지에 포함된 초기 지시등 정보를 결정한다.
설명해야 할 것은, 신호등의 크기가 작고 응집 효과가 있기에, 먼저 간단한 신호등 검출 모델을 이용하여 신호등 검출 및 포지셔닝을 초보적으로 수행하여 지시등 수량, 지시등 유형 등과 같은 초기 지시등 정보를 결정할 수 있다.
설명해야 할 것은, 사전에 딥 러닝을 기반으로 간단한 신호등 검출 모델을 훈련해낼 수 있고, 상기 모델은 이미지를 입력으로 하고, 신호등 정보를 출력으로 할 수 있다.
구체적으로, 임의의 하나(어느 하나)의 이미지에 포함된 검출 대기 영역을 결정한 후, 간단한 신호등 검출 모델을 이용하여 검출 대기 영역에 대해 신호등 검출을 수행하여 어느 하나의 이미지에 포함된 초기 지시등 정보를 결정할 수 있다. 즉, 검출 대기 영역을 간단한 신호등 모델에 입력하여 간단한 신호등 모델에 의해 초기 지시등 정보를 출력한다.
단계 S302, 어느 하나의 이미지에 포함된 차선 정보에 따라 초기 지시등 정보에 대해 조정 검증을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정한다.
구체적으로, 어느 하나의 이미지에 포함된 초기 지시등 정보가 결정된 후, 어느 하나의 이미지에 포함된 차선 정보에 따라 초기 지시등 정보에 대해 조정 검증을 수행한다. 구체적으로, 어느 하나의 이미지 중의 차선 정보와 초기 지시등 정보를 대조하고, 양자가 매칭되는지 여부를 판정하며, 매칭되지 않을 경우 조정 검증을 수행함으로써 지시등 정보의 정확성을 보장할 수 있다.
이로부터, 차선 정보에 따라 초기 지시등 정보에 대해 조정 검증을 수행하여 신호등 검출율을 향상시키고 오검출율을 감소시킬 수 있어 지시등 정보의 정확성 및 신뢰성을 향상시킨다.
설명해야 할 것은, 상기 단계 S302에서 초기 지시등 정보에 대해 조정 검증을 수행할 경우, 효과적인 조정 검증을 위해, 지시등 수량 및 유형에 따라 조정 검증을 수행할 수 있다.
즉 본원 발명의 일 실시예에서, 지시등 정보는 지시등 수량 및 유형을 포함하고, 여기서 지시등 유형은 보행자 등, 비 자동차 등, 측면 지시등(좌측 신호등 및 우측), 배면 지시등 및 정면 지시등 등을 포함할 수 있다.
도 4에 도시된 바와 같이, 상기 단계 S302은 하기의 단계 S401 내지 단계 S403을 포함할 수 있다.
단계 S401, 어느 하나의 이미지에 포함된 차선 정보에 따라 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정한다.
본원 발명의 실시예는 어느 하나의 이미지에 포함된 차선 정보에 대응되는 지시등 수량 및 유형을 타깃 지시등 수량 및 타깃 유형이라고 할 수 있다. 차선 정보는 차선의 수량을 포함할 수 있고, 차선 수량이 많을수록 교차로가 더 넓고 신호등 유형도 더 많음을 설명할 수 있음을 이해할 수 있다.
구체적으로, 어느 하나의 이미지에 포함된 초기 지시등 정보가 결정된 후, 초기 지시등 정보 중의 지시등 수량 및 유형을 결정할 수 있고, 예를 들어, 3개의 지시등일 수 있으며 각각 좌측 지시등, 정면 지시등 및 우측 지시등이다. 아울러, 어느 하나의 이미지에 포함된 차선 정보에 따라 상기 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정할 수도 있고, 예를 들어, 차선에 횡단보도(횡단보도선) 또는 정지선 및 차량과 평행되는 2개의 흰색 실선이 포함될 때, 타깃 지시등 수량이 3개이고, 타깃 유형이 각각 좌측 지시등, 정면 지시등 및 우측 지시등임을 결정할 수 있다.
단계 S402, 초기 지시등 정보 중의 지시등 수량 및 유형이 각각 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성한다.
구체적으로, 지시등 정보 중의 지시등 수량과 유형, 및 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형이 결정된 후, 지시등 수량과 타깃 지시등 수량, 지시등 유형과 타깃 유형을 각각 대조하여 지시등 수량과 타깃 지시등 수량이 매칭되는지 여부, 지시등 유형과 타깃 유형이 매칭되는지 여부를 결정할 수 있고, 지시등 수량과 타깃 지시등 수량이 매칭되지 않고 및/또는 지시등 유형과 타깃 유형이 매칭되지 않으면 검출 대기 영역을 확장, 즉 검출 대기 영역의 범위를 증가시켜 확장된 검출 대기 영역을 생성한다. 여기서, 확장되는 정도는 구체적인 실제 상황에 따라 결정될 수 있다.
예를 들어, 지시등 수량이 3개이고 타깃 지시등 수량이 2개인 경우 양자가 매칭되지 않으면 검출 대기 영역을 확장시킨다. 지시등 유형이 좌측 지시등이고 타깃 유형이 정면 지시등인 경우 양자가 매칭되지 않으면 검출 대기 영역을 확장한다.
단계 S403, 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정한다.
설명해야 할 것은, 사전에 딥 러닝을 기반으로 간단한 신호등 검출 모델을 훈련해낼 수 있고, 상기 모델은 이미지를 입력으로 하고, 고정확도 신호등 정보를 출력으로 할 수 있다.
구체적으로, 확장된 검출 대기 영역이 생성된 후, 고정확도 신호등 검출 모델을 통해 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정할 수 있다.
구체적으로, 확장된 검출 대기 영역을 고정확도 신호등 검출 모델에 입력하여 고정확도 신호등 검출 모델에 의해 어느 하나의 이미지에 포함된 지시등 정보를 출력할 수 있다.
이로부터, 우선 간단한 모델을 이용하여 신호등 검출 및 포지셔닝을 초보적으로 수행한 다음, 차선 정보에 따라 검출된 신호등을 확장하고, 고정확도 모델을 이용하여 신호등에 대해 2차 검출을 수행함으로써 신호등 검출율을 향상시키고 오검출율을 감소시킬 뿐만 아니라, 비용이 저렴한 한계를 가지므로 보급이 용이하다.
설명해야 할 것은, 본원 발명의 실시예는 관련 기술의 다른 방식에 따라 지시등 정보에 대해 조정 검증 또는 교정을 수행할 수 있으며, 본원 발명의 상기 실시예는 예시적인 설명일 뿐이다.
상술한 내용은 차선 정보에 따라 검출 대기 영역에 대해 조정 검증을 수행하여 정확도가 높은 검출 대기 영역을 획득하는 것을 설명하였다. 설명해야 할 것은, 이를 제외하고도, 차량의 위치에 따라 검출 대기 영역에 대해 조정 검증을 수행하여 정확도가 높은 검출 대기 영역을 획득할 수 있으며, 아래에서는 하나의 실시예를 통해 설명한다.
본원 발명의 다른 실시예에서, 도 5에 도시된 바와 같이, 상기 단계 S103은 하기의 단계 S501 내지 S504를 포함할 수 있다.
단계 S501, 검출 대기 영역에 대해 사전 검출을 수행하여 어느 하나의 이미지에 포함된 초기 지시등의 수량 및 유형을 결정한다.
구체적으로, 임의의 하나(어느 하나)의 이미지에 포함된 검출 대기 영역이 결정된 후, 검출 대기 영역에 대해 사전 검출을 수행하여 초기 지시등 정보 중의 지시등 수량 및 유형을 결정할 수 있고, 예를 들어, 3개의 지시등일 수 있고 각각 좌측 지시등, 정면 지시등 및 우측 지시등이다. 아울러, 차량 현재의 위치에 대해 네비게이팅 또는 포지셔닝을 수행하여 차량의 위치 정보를 획득할 수도 있으며, 예를 들어, 차량 현재의 위치는 횡단보도선으로부터 2m 떨어진 위치이다.
단계 S502, 차량의 위치 정보에 따라 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정한다.
구체적으로, 차량의 위치 정보가 결정된 후, 차량의 위치 정보에 따라 타깃 지시등 수량 및 타깃 유형을 결정한다. 예를 들어, 차량 현재의 위치가 횡단보도선으로부터 2m 떨어진 위치이고 도로 중앙 부분에 위치하면 지시등 수량이 3개이고 타깃 유형이 정면 지시등임을 결정할 수 있다.
단계 S503, 초기 지시등의 수량 및 유형이 각각 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성한다.
구체적으로, 타깃 지시등 수량 및 타깃 유형, 초기 지시등의 수량 및 유형이 결정된 후, 초기 지시등의 수량과 타깃 지시등 수량, 초기 지시등 유형과 타깃 유형을 각각 대조하여 초기 지시등 수량과 타깃 지시등 수량이 매칭되는지 여부, 초기 지시등 유형과 타깃 유형이 매칭되는지 여부를 결정할 수 있고, 초기 지시등 수량과 타깃 지시등 수량이 매칭되지 않고 및/또는 초기 지시등 유형과 타깃 유형이 매칭되지 않으면 검출 대기 영역을 확장, 즉 검출 대기 영역의 범위를 증가시킴으로써 확장된 검출 대기 영역을 생성한다. 여기서, 확장되는 정도는 구체적인 실제 상황에 따라 결정될 수 있다.
예를 들어, 초기 지시등 수량이 3개이고 타깃 지시등 수량이 2인 경우 양자가 매칭되지 않으면 검출 대기 영역을 확장한다. 초기 지시등 유형이 좌측 지시등이고 타깃 유형이 정면 지시등인 경우 양자가 매칭되지 않으면 검출 대기 영역을 확장한다.
단계 S504, 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정한다.
고정확도 신호등 검출 모델을 통해 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정할 수 있는 바, 예를 들어, 3개의 지시등이고 각각 횡단보도 지시등, 정면 지시등 등일 수 있다.
이로부터, 차량의 위치에 따라 검출된 신호를 확장한 다음, 신호등에 대해 2차 검출을 수행함으로써 신호등 검출율을 향상시키고 오검출율을 감소시킨다.
설명해야 할 것은, 본원 발명의 실시예에서는 상기 단계 S102를 수행 완료한 후, 차량 주변의 다른 차량에 따라 예를 들어 차량 앞쪽의 차량(약칭: 앞 차량)에 따라 검출 대기 영역을 교정할 수도 있다.
즉 본원 발명의 일 실시예에서, 상기 단계 S102 후에, 어느 하나의 이미지에 앞 차량이 포함될 경우, 획득된 어느 하나의 이미지에 인접하는 각 다른 이미지에 따라 앞 차량 현재의 주행 상태를 결정하는 단계; 및 앞 차량이 현재 정지 상태일 경우, 앞 차량의 위치에 따라 검출 대기 영역을 교정하는 단계를 더 포함할 수 있다.
여기서, 앞 차량은 현재 차량 바로 앞의 차량을 가리킬 수 있고, 그 수량은 적어도 하나일 수 있다.
구체적으로, 어느 하나의 이미지에 포함된 검출 대기 영역이 결정된 후, 상기 어느 하나의 이미지에 적어도 하나의 앞 차량이 포함되는지 여부를 판정할 수 있고, 적어도 하나의 앞 차량에 포함되면 어느 하나의 이미지에 인접하는 각 다른 이미지를 획득하고, 각 다른 이미지에 따라 적어도 하나의 앞 차량 현재의 주행 상태를 결정하며, 앞 차량의 주행 상태가 정지 상태이면 앞 차량 현재의 위치를 획득할 수 있고, 앞 차량 현재의 위치에 따라 검출 대기 영역에 대해 교정을 수행한다.
구체적으로, 앞 차량의 위치에 대응되는 상측 위치를 획득하여 상기 상측 위치와 이미 결정된 검출 대기 영역이 매칭되는지 여부를 판정할 수 있고, 매칭되지 않거나 일치도가 높지 않으면 앞 차량의 상측 위치에 따라 검출 대기 영역에 대해 교정을 수행할 수 있다. 일반적으로, 신호등 안내표시판은 현재 차선 및 앞 차량의 상측 위치에 위치하므로 검출 대기 영역에 대해 교정을 수행할 경우, 검출 대기 영역을 앞 차량의 리포트 위치를 포함하는 영역으로 교정할 수 있다.
이로부터, 앞 차량이 존재할 경우, 앞 차량의 위치에 따라 검출 대기 영역에 대해 교정을 수행함으로써 교정의 유효성을 보장할 뿐만 아니라 검출 대기 영역의 정확성도 향상시킨다.
상기 실시예에 따라 신뢰성이 있고 정확한 지시등 정보를 획득한 후, 상기 어느 하나의 이미지에 포함된 지시등 정보 및 차량 현재의 주행 상태에 따라 차량 현재의 주행 모드를 결정하는 단계 S104를 수행한다.
본원 발명의 일 실시예에서, 지시등 정보는 지시등 유형 및 색상을 포함하고, 상기 차량 현재의 주행 모드를 결정하는 단계 S104는, 차량 현재의 주행 방향 및 지시등 유형 및 색상에 따라 차량에 현재 대응되는 타깃 지시등 및 색상을 결정하는 단계; 및 타깃 지시등의 색상, 어느 하나의 이미지의 이미징 거리 및 차량 현재의 주행 속도에 따라 차량 현재의 주행 모드를 결정하는 단계를 포함할 수 있다.
구체적으로, 어느 하나의 이미지에 포함된 지시등 정보가 결정된 후, 차량 현재의 주행 방향을 획득할 수 있고, 지시등 정보 중의 지시등 유형 및 색상을 획득할 수도 있으며, 주행 방향에 따라 지시등 유형 및 색상에서 차량에 현재 대응되는 타깃 지시등 및 색상을 결정한 후, 타깃 지시등의 색상, 어느 하나의 이미지의 이미징 거리 및 차량 현재의 주행 속도에 따라 차량 현재의 주행 모드를 결정하며, 예를 들어, 차량이 신호등을 통과할 때까지 계속하여 주행하거나 차량이 주행을 멈추되, 얼마나 오래동안 멈추는지 여부를 결정하여 차량이 현재의 주행 모드에 따라 주행할 경우, 안전 계수가 높고 운전 체험감이 양호하도록 한다.
설명해야 할 것은, 자동차 신호등 높이는 일반적으로 1.5m이고, 신호등과 차량 사이의 거리가 50m일 경우, 신호등 픽셀 크기는 약 5*15 픽셀이며, 이미징 크기와 거리가 반비례함에 따라 임의의 크기의 신호등과 차량 사이의 거리를 알 수 있다.
예를 들어, 타깃 지시등이 정면 지시등이고 빨간색이며, 어느 하나의 이미지의 이미징 거리가 40m이고, 차량 현재의 주행 속도가 빠르면 신호 위반 경고 알림을 수행하고, 현재 신호등의 최저 그린 웨이브 차량 속도를 통해 현재 적합한 차량 속도를 산출하여 현재 차량이 적합한 차량 속도에 따라 계속하여 주행하여 신호등 교차로에 위치할 때 마침 녹색등이 되어 통과하도록 할 수 있다. 또는, 전방 앞 차량이 알림 상태인 경우, 현재의 차량이 주행을 정지해야 한다고 결정할 수 있다.
설명해야 할 것은, 현재의 주행 모드가 결정될 경우, 주행 모드에 따라 신호등 위반 알림 프롬프트 또는 신호등 카운트다운 프롬프트를 수행할 수 있고, 그린웨이브 차량 속도 프롬프트를 수행할 수도 있다.
예를 들어, 현재 차량의 주행 속도가 60km/h(시속 킬로미터)이고 이미지를 인식한 후 현재 도로 구간의 그린웨이브 차량 속도가 50km/h임이 결정되면 운전자에게 현재 차량 속도를 50km/h로 줄이도록 프롬프트 하거나, 현재 차량 속도를 자동으로 조절하여 현재 차량이 50km/h를 만족하도록 함으로써 차량이 현재 도로 구간에서 원활하게 주행하도록 할 수 있다.
이로부터, 타깃 지시등의 색상, 이미지의 이미징 거리 및 차량 현재의 주행 속도에 따라 차량 현재의 주행 모드를 결정함으로써 안전 계수를 향상시킬 뿐만 아니라 운전 체험도를 개선시킨다.
종합하면, 본원 발명의 실시예는 차량 탑재 카메라만으로 차선을 획득하고, 차선 위치 및/또는 앞 차량 위치를 결부하여 신호등이 위치한 검출 대기 영역을 획득한(고정밀도 지도 및 카메라 파라미터를 통해 검출 대기 영역을 추정하는 것이 아님) 다음, 신호등 유형, 형상 및 색상의 인식을 수행하고, 신호등 정보에 따라 신호등 위반 경고 및 그린웨이브 차량 속도 알림을 수행한다. 아래에서는 도 6을 결부하여 더 설명한다.
도 6에 도시된 바와 같이, 우선 교차로 차선 포지셔닝 정보 및 앞 차량 검출 정보에 따라 신호등 검출 영역을 결정하고, 여기서, 교차로 차선 정보(예를 들어, 횡단보도선 또는 정지선)에 따라 신호등 검출 영역을 포지셔닝 하거나 축소할 수 있으며, 앞 차량 동작(예를 들어, 정지 동작)을 결합하여 신호등 신호의 인식을 개시할 수 있어 부하를 감소시킨다. 다음, 계속하여 신호등 신호의 변화를 추적하여 신호등 검출 영역과 차량 사이의 거리를 결정하여 신호등 검출 영역의 신호등의 색상, 형상, 유형 등 정보를 검출할 수 있고, 신호등 정보에 따라 차량 현재의 주행 모드를 결정하여 차량이 상기 형식의 모드로 주행할 때 안전 계수가 높도록 한다.
설명해야 할 것은, 본원 발명의 실시예는 또한 관련 기술의 다른 방식에 근거하여 지시등 정보에 따라 차량의 주행 모드를 결정할 수 있으며, 본원 발명의 상기 실시예는 예시적인 설명일 뿐이다.
본원 발명의 실시예는 차량 주행 제어 장치를 더 제공하고, 도 7은 본원 발명의 실시예에서 제공하는 차량 주행 제어 장치의 구조 모식도이다.
도 7에 도시된 바와 같이, 상기 차량 주행 제어 장치(700)는, 제1 결정 모듈(710), 제2 결정 모듈(720), 제3 결정 모듈(730) 및 제4 결정 모듈(740)을 포함한다.
여기서, 제1 결정 모듈(710)은 차량이 주행 과정에서 획득한 이미지에 대해 차선 인식을 수행하여 이미지에 포함된 차선 정보를 결정하고, 제2 결정 모듈(720)은 어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 어느 하나의 이미지 중 지정된 유형 차선의 위치에 따라 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하며, 제3 결정 모듈(730)은 검출 대기 영역에 대해 신호등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정하고, 제4 결정 모듈(740)은 어느 하나의 이미지에 포함된 지시등 정보 및 차량 현재의 주행 상태에 따라 차량 현재의 주행 모드를 결정한다.
본원 발명의 일 실시예에서, 제2 결정 모듈(720)은, 어느 하나의 이미지의 이미징 거리에 따라 검출 대기 영역과 차선 위치가 어느 하나의 이미지에서의 이격된 픽셀 수량을 결정하는 제1 결정 유닛; 및 이격된 픽셀 수량 및 지정된 유형 차선이 어느 하나의 이미지에서의 위치에 따라 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 제2 결정 유닛; 을 포함할 수 있다.
본원 발명의 일 실시예에서, 제3 결정 모듈(730)은, 검출 대기 영역에 대해 사전 검출을 수행하여 어느 하나의 이미지에 포함된 초기 지시등 정보를 결정하는 제3 결정 유닛; 및 어느 하나의 이미지에 포함된 차선 정보에 따라 초기 지시등 정보에 대해 조정 검증을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제4 결정 유닛; 을 포함할 수 있다.
본원 발명의 일 실시예에서, 지시등 정보는 지시등 수량 및 유형을 포함하고, 제4 결정 유닛(740)은, 어느 하나의 이미지에 포함된 차선 정보에 따라 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정하는 제1 결정 서브 유닛; 초기 지시등 정보 중의 지시등 수량 및 유형이 각각 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성하는 제1 생성 서브 유닛; 및 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제2 결정 서브 유닛; 을 포함할 수 있다.
본원 발명의 일 실시예에서, 제3 결정 모듈(730)은, 검출 대기 영역에 대해 사전 검출을 수행하여 어느 하나의 이미지에 포함된 초기 지시등의 수량 및 유형을 결정하는 제5 결정 유닛; 차량의 위치 정보에 따라 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정하는 제6 결정 유닛; 초기 지시등의 수량 및 유형이 각각 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성하는 제1 생성 유닛; 및 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제7 결정 유닛; 을 포함할 수 있다.
본원 발명의 일 실시예에서, 차량 주행 제어 장치(700)는, 어느 하나의 이미지에 앞 차량이 포함될 경우, 획득된 어느 하나의 이미지에 인접하는 각 다른 이미지에 따라 앞 차량 현재의 주행 상태를 결정하는 제5 결정 모듈; 및 앞 차량이 현재 정지 상태일 경우, 앞 차량의 위치에 따라 검출 대기 영역을 교정하는 제1 교정 모듈; 을 더 포함할 수 있다.
본원 발명의 일 실시예에서, 지시등 정보는 지시등 유형 및 색상을 포함하고, 제4 결정 모듈(740)은, 차량 현재의 주행 방향 및 지시등 유형 및 색상에 따라 차량에 현재 대응되는 타깃 지시등 및 색상을 결정하는 제8 결정 유닛; 및 타깃 지시등의 색상, 어느 하나의 이미지의 이미징 거리 및 차량 현재의 주행 속도에 따라 차량 현재의 주행 모드를 결정하는 제9 결정 유닛; 을 포함할 수 있다.
설명해야 할 것은, 본원 발명의 실시예의 차량 주행 제어 장치의 다른 구체적인 실시형태는 전술한 차량 주행 제어 방법의 구체적인 실시형태를 참조할 수 있으므로 중복을 피하기 위해 여기서 더이상 설명하지 않는다.
본원 발명의 실시예의 차량 주행 제어 장치는, 신호등 신호 전송 기기에 의존하지 않고 신호등 인식을 구현할 수 있어 비용이 저렴하고 보급성이 강할 뿐만 아니라 처리가 필요한 이미지 데이터 량을 감소시킬 수 있어 신호등 인식의 속도를 향상시키고 운전 체험도를 개선한다.
본원 발명의 실시예에 따르면, 본원 발명은 차량 주행 제어 방법의 전자기기, 판독 가능 저장매체 및 컴퓨터 프로그램을 더 제공한다. 아래에서는 도 8을 결부하여 설명한다.
도 8은 본원 발명의 실시예의 차량 주행 제어 방법의 전자기기의 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 벤치, 개인용 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등의 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자기기는 또한 개인용 정보 단말기, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 도시된 구성 요소, 그들의 연결 및 관계 및 그 기능은 단지 예시에 불과하며, 본 명세서에 기술되거나 및/또는 청구된 본원 발명의 구현을 한정하도록 의도되지 않는다.
도 8에 도시된 바와 같이, 전자기기(800)는 컴퓨팅 유닛(801)을 포함할 수 있는데 이는 읽기 전용 메모리(ROM)(802)에 저장된 컴퓨터 프로그램 또는 저장 유닛(808)으로부터 랜덤 액세스 메모리(RAM)(803)에 로딩된 컴퓨터 프로그램에 근거하여 여러 가지 적당한 동작과 처리를 수행할 수 있다. RAM(803)에는 기기(800)의 동작에 필요한 여러 가지 프로그램과 데이터가 더 저장될 수 있다. 컴퓨팅 유닛(801), ROM (802) 및 RAM(803)은 버스(804)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(805)도 버스(804)에 연결된다.
기기(800)에서의 다수의 부품은 키 보드, 마우스 등과 같은 입력 유닛(806); 여러 가지 유형의 디스플레이, 스피커 등과 같은 출력 유닛(807); 자기 디스크, 시디 롬 등과 같은 저장 유닛(808); 및 네트워크 카드, 모뎀, 무선 통신 트랜시버와 같은 통신 유닛(809)을 포함하는 I/O인터페이스(805)에 연결된다. 통신 유닛(809)은 기기(800)로 하여금 인터넷과 같은 컴퓨터 네트워크 및/또는 여러 가지 전신 네트워크를 통해 다른 기기와 정보/데이터를 교환하도록 허용한다.
컴퓨팅 유닛(801)은 처리 및 컴퓨팅 능력을 가지는 여러 가지 범용 및/또는 전용 처리 어셈블리일 수 있다. 컴퓨팅 유닛(801)의 일부 예시는 중앙 처리 유닛(CPU), 그래픽스 처리 유닛(GPU), 여러 가지 전용 인공 지능(AI) 컴퓨팅 칩, 여러 가지 기계 학습 모델 알고리즘을 운행하는 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적당한 프로세서, 제어기, 마이크로 제어기 등을 포함하나 이에 한정되지 않는다. 컴퓨팅 유닛(801)은 상기에서 설명한 각 방법과 처리, 예를 들어 차량 주행 제어 방법을 수행한다. 예를 들어, 일부 실시예에서, 차량 주행 제어 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 이는 저장 유닛(808)과 같은 기계 판독 가능 매체에 유형적으로 포함될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(802) 및/또는 통신 유닛(809)을 거쳐 기기(800)에 로딩되거나 및/또는 장착될 수 있다. 컴퓨터 프로그램이 RAM(803)에 로딩되어 컴퓨팅 유닛(801)에 의해 실행될 경우, 상기 내용에서 설명한 차량 주행 제어 방법에서의 하나 또는 다수의 단계를 수행할 수 있다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(801)은 다른 임의의 적당한 방식(예를 들어, 펌웨어)에 의해 차량 주행 제어 방법을 수행하도록 배치될 수 있다.
본 명세서에서 설명한 시스템과 기술적인 내용의 여러 가지 실시형태는 디지털 전자회로 시스템, 집적 회로 시스템, 필드 프로그램 가능 게이트 어레이(FPGA), 전용 집적 회로(ASIC), 특정 용도 표준 제품(ASSP), 시스템 온 칩 시스템(SOC), 복합 프로그래머블 논리 소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 여러 가지 실시형태는, 하나 또는 다수의 컴퓨터 프로그램에서 실시되되, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서의 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있고, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서로서, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신할 수 있고 데이터와 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치에 전송하는 방식을 포함할 수 있다.
본원 발명의 방법을 실시하기 위한 프로그램 코드는 하나 또는 다수의 프로그래밍 언어의 임의의 조합을 이용하여 프로그래밍 할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래밍 가능 데이터 처리 장치의 프로세서 또는 제어기에 제공되어 프로그램 코드로 하여금 프로세서 또는 제어기에 의해 실행될 때 흐름도 및/또는 블록도에서 규정한 기능/동작이 실시되도록 할 수 있다. 프로그램 코드는 완전히 기계에서 실행될 수도 있고 일부가 기계에서 실행될 수도 있으며, 독립적인 소프트웨어 패키지로서 일부가 기계에서 실행되는 동시에 일부가 원격 기계에서 실행되거나 또는 전부가 원격 기계 또는 서버에서 실행될 수 있다.
본 발명의 앞뒤 문장에서, 기계 판독 가능 매체는 유형적인 매체일 수 있는 바, 이는 명령 실행 시스템, 장치 또는 기기에 제공되어 사용하거나 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용하는 프로그램을 포함하거나 저장할 수 있다, 기계 판독 가능 매체는 기계 판독 가능 신호 매체 또는 기계 판독 가능 저장매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기 또는 상기 내용물의 임의의 적합한 조합일 수 있다. 기계 판독 가능 저장매체의 더 구체적인 예는 하나 또는 다수의 라인의 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능 읽기 전용 메모리 (EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리 (CD-ROM), 광학 저장 기기, 자기 저장 기기 또는 상기 내용물의 임의의 적합한 조합을 포함한다.
사용자와의 인터랙티브를 제공하기 위해, 여기에 설명된 시스템 및 기술을 컴퓨터에서 구현할 수 있는데, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터)와 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 정보를 입력하여 컴퓨터에 제공할 수 있다. 다른 종류의 장치를 사용하여 사용자와의 인터랙티브를 제공할 수도 있는 바, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의의 형태(음성 입력, 스피치 입력 또는 촉각 입력 포함)로 사용자에 의해 발송된 정보를 수신할 수 있다.
본 명세서에 설명된 시스템 및 기술은 백 엔드 구성 요소(예를 들어, 데이터 서버)를 포함하는 컴퓨팅 시스템 또는 미들웨어 구성 요소(예를 들어, 애플리케이션 서버)를 포함하는 컴퓨팅 시스템 또는 프론트 엔드 구성 요소(예를 들어, 예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 사용자 컴퓨터일 수 있으며, 사용자는 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기에 설명된 시스템 및 기술의 실시형태와 인터랙티브 할 수 있음)를 포함하는 컴퓨팅 시스템 또는 이러한 백 엔드 구성 요소, 미들웨어 구성 요소 또는 프론트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에 의해 구현될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷 및 블록 체인 네트워크가 포함될 수 있다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터랙티브한다. 클라이언트와 서버 간의 관계는 해당 컴퓨터에서 실행되고 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 발생된다. 서버는 클라우드 서버일 수 있고 클라우드 컴퓨팅 서버 또는 클라우드 호스트라고도 하는 바, 이는 클라우드 컴퓨팅 서비스 시스템에서의 하나의 호스트 제품으로서 전통적인 물리 호스트와 VPS (Virtual Private Server, 가상 전용 서버)서비스에서 관리 난이도가 크고 서비스 확장성이 약한 단점을 해결한다. 서버는 분산 시스템의 서버 또는 블록체인과 결합된 서버일 수도 있다.
이해해야 할 것은, 이상에서 설명한 여러 가지 형태의 과정을 다시 정렬시키고 증가 또는 삭제하는 단계를 사용할 수 있다. 예를 들면 본원 발명에서 기재한 각 단계는 동시에 수행할 수도 있고 순차적으로 수행할 수도 있으며 상이한 순서로 수행할 수도 있는 바, 본원 발명에서 개시한 기술적 해결수단에서 기대하는 결과를 실현할 수만 있다면 본 내용은 이에 대해 한정하지 않는다.
상기 구체적인 실시형태는 본원 발명의 보호범위를 한정하지 않는다. 본 기술분야에서 통상의 지식을 가진 자들은 설계 요구와 기타 요소에 근거하여 여러 가지 수정, 조합, 하위 조합과 대체를 진행할 수 있다는 것을 이해할 수 있다. 본원 발명의 정신과 원칙 내에서 진행한 그 어떤 수정, 균등한 대체와 개선은 모두 본원 발명의 보호범위 내에 포함된다.

Claims (17)

  1. 차량 주행 제어 방법에 있어서,
    상기 차량이 주행 과정에서 획득한 이미지에 대해 차선 인식을 수행하여 상기 이미지에 포함된 차선 정보를 결정하는 단계;
    어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 상기 어느 하나의 이미지 중 상기 지정된 유형 차선의 위치에 따라 상기 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 단계;
    상기 검출 대기 영역에 대해 신호등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계; 및
    상기 어느 하나의 이미지에 포함된 지시등 정보 및 상기 차량 현재의 주행 상태에 따라 상기 차량 현재의 주행 모드를 결정하는 단계;를 포함하고,
    상기 어느 하나의 이미지 중 상기 지정된 유형 차선의 위치에 따라 상기 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 단계는,
    상기 어느 하나의 이미지의 이미징 거리에 따라 상기 검출 대기 영역과 상기 차선 위치가 상기 어느 하나의 이미지에서의 이격된 픽셀 수량을 결정하는 단계; 및
    상기 이격된 픽셀 수량 및 상기 지정된 유형 차선이 상기 어느 하나의 이미지에서의 위치에 따라 상기 어느 하나의 이미지에 포함된 상기 검출 대기 영역을 결정하는 단계;를 포함하는,
    것을 특징으로 하는 차량 주행 제어 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 검출 대기 영역에 대해 신호등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계는,
    상기 검출 대기 영역에 대해 사전 검출을 수행하여 상기 어느 하나의 이미지에 포함된 초기 지시등 정보를 결정하는 단계; 및
    상기 어느 하나의 이미지에 포함된 차선 정보에 따라 상기 초기 지시등 정보에 대해 조정 검증을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계; 를 포함하는,
    것을 특징으로 하는 차량 주행 제어 방법.
  4. 제3항에 있어서,
    상기 지시등 정보는 지시등 수량 및 유형을 포함하고,
    상기 어느 하나의 이미지에 포함된 차선 정보에 따라 상기 초기 지시등 정보에 대해 조정 검증을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계는,
    상기 어느 하나의 이미지에 포함된 차선 정보에 따라 상기 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정하는 단계;
    상기 초기 지시등 정보 중의 지시등 수량 및 유형이 각각 상기 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 상기 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성하는 단계; 및
    상기 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계; 를 포함하는,
    것을 특징으로 하는 차량 주행 제어 방법.
  5. 제1항에 있어서,
    상기 검출 대기 영역에 대해 신호등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계는,
    상기 검출 대기 영역에 대해 사전 검출을 수행하여 상기 어느 하나의 이미지에 포함된 초기 지시등의 수량 및 유형을 결정하는 단계;
    상기 차량의 위치 정보에 따라 상기 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정하는 단계;
    상기 초기 지시등의 수량 및 유형이 각각 상기 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 상기 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성하는 단계; 및
    상기 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 단계; 를 포함하는,
    것을 특징으로 하는 차량 주행 제어 방법.
  6. 제1항에 있어서,
    상기 어느 하나의 이미지 중 상기 지정된 유형 차선의 위치에 따라 상기 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 단계 후에,
    상기 어느 하나의 이미지에 앞 차량이 포함될 경우, 획득된 상기 어느 하나의 이미지에 인접하는 각 다른 이미지에 따라 상기 앞 차량 현재의 주행 상태를 결정하는 단계; 및
    상기 앞 차량이 현재 정지 상태일 경우, 상기 앞 차량의 위치에 따라 상기 검출 대기 영역을 교정하는 단계; 를 더 포함하는,
    것을 특징으로 하는 차량 주행 제어 방법.
  7. 제1항, 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 지시등 정보는 지시등 유형 및 색상을 포함하고,
    상기 차량 현재의 주행 모드를 결정하는 단계는,
    상기 차량 현재의 주행 방향, 상기 지시등 유형 및 색상에 따라 상기 차량에 현재 대응되는 타깃 지시등 및 색상을 결정하는 단계; 및
    상기 타깃 지시등의 색상, 상기 어느 하나의 이미지의 이미징 거리 및 상기 차량 현재의 주행 속도에 따라 상기 차량 현재의 주행 모드를 결정하는 단계; 를 포함하는,
    것을 특징으로 하는 차량 주행 제어 방법.
  8. 차량 주행 제어 장치에 있어서,
    상기 차량이 주행 과정에서 획득한 이미지에 대해 차선 인식을 수행하여 상기 이미지에 포함된 차선 정보를 결정하는 제1 결정 모듈;
    어느 하나의 이미지에 포함된 차선의 유형이 지정된 유형일 경우, 상기 어느 하나의 이미지 중 상기 지정된 유형 차선의 위치에 따라 상기 어느 하나의 이미지에 포함된 검출 대기 영역을 결정하는 제2 결정 모듈;
    상기 검출 대기 영역에 대해 신호등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제3 결정 모듈; 및
    상기 어느 하나의 이미지에 포함된 지시등 정보 및 상기 차량 현재의 주행 상태에 따라 상기 차량 현재의 주행 모드를 결정하는 제4 결정 모듈;을 포함하고,
    상기 제2 결정 모듈은,
    상기 어느 하나의 이미지의 이미징 거리에 따라 상기 검출 대기 영역과 상기 차선 위치가 상기 어느 하나의 이미지에서의 이격된 픽셀 수량을 결정하는 제1 결정 유닛; 및
    상기 이격된 픽셀 수량 및 상기 지정된 유형 차선이 상기 어느 하나의 이미지에서의 위치에 따라 상기 어느 하나의 이미지에 포함된 상기 검출 대기 영역을 결정하는 제2 결정 유닛;을 포함하는,
    것을 특징으로 하는 차량 주행 제어 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 제3 결정 모듈은,
    상기 검출 대기 영역에 대해 사전 검출을 수행하여 상기 어느 하나의 이미지에 포함된 초기 지시등 정보를 결정하는 제3 결정 유닛; 및
    상기 어느 하나의 이미지에 포함된 차선 정보에 따라 상기 초기 지시등 정보에 대해 조정 검증을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제4 결정 유닛; 을 포함하는,
    것을 특징으로 하는 차량 주행 제어 장치.
  11. 제10항에 있어서,
    상기 지시등 정보는 지시등 수량 및 유형을 포함하고,
    상기 제4 결정 유닛은,
    상기 어느 하나의 이미지에 포함된 차선 정보에 따라 상기 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정하는 제1 결정 서브 유닛;
    상기 초기 지시등 정보 중의 지시등 수량 및 유형이 각각 상기 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 상기 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성하는 제1 생성 서브 유닛; 및
    상기 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제2 결정 서브 유닛; 을 포함하는,
    것을 특징으로 하는 차량 주행 제어 장치.
  12. 제8항에 있어서,
    상기 제3 결정 모듈은,
    상기 검출 대기 영역에 대해 사전 검출을 수행하여 상기 어느 하나의 이미지에 포함된 초기 지시등의 수량 및 유형을 결정하는 제5 결정 유닛;
    상기 차량의 위치 정보에 따라 상기 어느 하나의 이미지에 포함된 타깃 지시등 수량 및 타깃 유형을 결정하는 제6 결정 유닛;
    상기 초기 지시등의 수량 및 유형이 각각 상기 타깃 지시등 수량 및 타깃 유형에 매칭되지 않을 경우, 상기 검출 대기 영역을 확장하여 확장된 검출 대기 영역을 생성하는 제1 생성 유닛; 및
    상기 확장된 검출 대기 영역에 대해 지시등 검출을 수행하여 상기 어느 하나의 이미지에 포함된 지시등 정보를 결정하는 제7 결정 유닛; 을 포함하는,
    것을 특징으로 하는 차량 주행 제어 장치.
  13. 제8항에 있어서,
    상기 어느 하나의 이미지에 앞 차량이 포함될 경우, 획득된 상기 어느 하나의 이미지에 인접하는 각 다른 이미지에 따라 상기 앞 차량 현재의 주행 상태를 결정하는 제5 결정 모듈; 및
    상기 앞 차량이 현재 정지 상태일 경우, 상기 앞 차량의 위치에 따라 상기 검출 대기 영역을 교정하는 제1 교정 모듈; 을 더 포함하는,
    것을 특징으로 하는 차량 주행 제어 장치.
  14. 제8항, 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 지시등 정보는 지시등 유형 및 색상을 포함하고,
    상기 제4 결정 모듈은,
    상기 차량 현재의 주행 방향 및 상기 지시등 유형 및 색상에 따라 상기 차량에 현재 대응되는 타깃 지시등 및 색상을 결정하는 제8 결정 유닛; 및
    상기 타깃 지시등의 색상, 상기 어느 하나의 이미지의 이미징 거리 및 상기 차량 현재의 주행 속도에 따라 상기 차량 현재의 주행 모드를 결정하는 제9 결정 유닛; 을 포함하는,
    것을 특징으로 하는 차량 주행 제어 장치.
  15. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 포함하는 전자기기에 있어서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 경우, 제1항, 제3항 내지 제6항 중 어느 한 항에 따른 차량 주행 제어 방법이 수행되는,
    것을 특징으로 하는 전자기기.
  16. 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 프로그램이 수행될 경우, 제1항, 제3항 내지 제6항 중 어느 한 항에 따른 차량 주행 제어 방법이 수행되는,
    것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장매체.
  17. 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항, 제3항 내지 제6항 중 어느 한 항에 따른 차량 주행 제어 방법이 구현되는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020210186503A 2020-12-25 2021-12-23 차량 주행 제어 방법, 장치 및 전자 기기 KR102570972B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011573355.1 2020-12-25
CN202011573355.1A CN112580571A (zh) 2020-12-25 2020-12-25 车辆行驶的控制方法、装置及电子设备

Publications (2)

Publication Number Publication Date
KR20220004608A KR20220004608A (ko) 2022-01-11
KR102570972B1 true KR102570972B1 (ko) 2023-08-25

Family

ID=75139945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186503A KR102570972B1 (ko) 2020-12-25 2021-12-23 차량 주행 제어 방법, 장치 및 전자 기기

Country Status (5)

Country Link
US (1) US20220076038A1 (ko)
EP (1) EP3961582A3 (ko)
JP (1) JP2022043192A (ko)
KR (1) KR102570972B1 (ko)
CN (1) CN112580571A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620522B2 (en) * 2019-12-31 2023-04-04 Magna Electronics Inc. Vehicular system for testing performance of headlamp detection systems
CN113135193B (zh) * 2021-04-16 2024-02-13 阿波罗智联(北京)科技有限公司 输出预警信息的方法、设备、存储介质及程序产品
CN113593253A (zh) * 2021-07-29 2021-11-02 北京紫光展锐通信技术有限公司 车辆的闯红灯监测方法和装置
KR102373776B1 (ko) * 2021-09-06 2022-03-14 주식회사 라이드플럭스 신호등을 포함하는 영상 데이터 분석을 통한 신호 정보 추출 방법, 장치 및 컴퓨터프로그램
CN113780247B (zh) * 2021-11-09 2022-03-01 禾多科技（北京）有限公司 红绿灯检测方法、装置、电子设备和计算机可读介质
CN114475429B (zh) * 2022-02-21 2024-03-22 重庆长安汽车股份有限公司 一种结合用户行驶意图的红绿灯提醒方法、系统及汽车
CN114565889B (zh) * 2022-02-25 2023-11-14 阿波罗智联(北京)科技有限公司 车辆压线状态的确定方法、装置、电子设备和介质
CN114743395B (zh) * 2022-03-21 2024-03-08 中汽创智科技有限公司 一种信号灯检测方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048624A (ja) * 2004-07-09 2006-02-16 Aisin Aw Co Ltd 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP2016042226A (ja) * 2014-08-14 2016-03-31 日産自動車株式会社 信号機検出装置及び信号機検出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2570378B2 (ja) * 1988-04-18 1997-01-08 日本電装株式会社 車両用標識認識装置
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
JP6331811B2 (ja) * 2014-07-18 2018-05-30 日産自動車株式会社 信号機検出装置及び信号機検出方法
CN107891808B (zh) * 2016-09-30 2020-06-19 比亚迪股份有限公司 行车提醒方法、装置及车辆
KR20230054911A (ko) * 2016-10-31 2023-04-25 모빌아이 비젼 테크놀로지스 엘티디. 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
CN107316485A (zh) * 2017-07-07 2017-11-03 深圳中泰智丰物联网科技有限公司 道路通行状态的提示方法、提示装置及终端设备
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
CN110414399B (zh) * 2019-07-22 2020-09-04 北京三快在线科技有限公司 信号灯的检测方法、装置及智能驾驶设备
WO2021097599A1 (en) * 2019-11-18 2021-05-27 Airbus (China) Enterprise Management And Services Company Limited Storage area loading status measurement systems and methods
CN112488046B (zh) * 2020-12-15 2021-07-16 中国科学院地理科学与资源研究所 一种基于无人机高分辨率影像的车道线提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048624A (ja) * 2004-07-09 2006-02-16 Aisin Aw Co Ltd 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP2016042226A (ja) * 2014-08-14 2016-03-31 日産自動車株式会社 信号機検出装置及び信号機検出方法

Also Published As

Publication number Publication date
KR20220004608A (ko) 2022-01-11
EP3961582A2 (en) 2022-03-02
US20220076038A1 (en) 2022-03-10
CN112580571A (zh) 2021-03-30
EP3961582A3 (en) 2022-06-22
JP2022043192A (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
KR102570972B1 (ko) 차량 주행 제어 방법, 장치 및 전자 기기
WO2021023102A1 (zh) 地图更新方法、装置及存储介质
JP7292338B2 (ja) 自動運転機能制御方法、装置、電子機器及び記憶媒体
JP7003660B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10665105B2 (en) Dynamic-map constructing method, dynamic-map constructing system, and moving terminal
KR102107726B1 (ko) 협조 적응형 순항 제어 시스템의 속도 제어 장치 및 방법
US20220410939A1 (en) Collision detection method, electronic device, and medium
JP7314213B2 (ja) 車両測位方法、装置、電子デバイス、記憶媒体及びプログラム
US10345807B2 (en) Control system for and control method of autonomous driving vehicle
CN110632617A (zh) 一种激光雷达点云数据处理的方法及装置
KR102316654B1 (ko) 운전 안내 장치 및 그 제어 방법
CN112149460A (zh) 一种障碍物检测方法及装置
JP2016148547A (ja) 検知装置
Amaradi et al. Lane following and obstacle detection techniques in autonomous driving vehicles
JP2010132056A (ja) 検知装置、検知方法および車両制御装置
US20220153260A1 (en) Vehicle control system
CN115273477B (zh) 路口驾驶建议推送方法、装置、系统和电子设备
JP2021100847A (ja) 車両カーブ走行用情報処理方法及び装置
US20220204000A1 (en) Method for determining automatic driving feature, apparatus, device, medium and program product
WO2023273512A1 (zh) 预警方法、电子设备和计算机可读存储介质
KR102534960B1 (ko) 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
US20230126172A1 (en) Method of outputting prompt information, device, medium, and vehicle
CN116686028A (zh) 一种驾驶辅助的方法以及相关设备
KR20230009338A (ko) 차량-인프라 협력 정보를 처리하는 방법, 장치 및 시스템
CN114545424A (zh) 障碍物识别、模型训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant