KR20210099436A - 길 기하구조 추정을 위한 장치 및 방법 - Google Patents

길 기하구조 추정을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20210099436A
KR20210099436A KR1020200013304A KR20200013304A KR20210099436A KR 20210099436 A KR20210099436 A KR 20210099436A KR 1020200013304 A KR1020200013304 A KR 1020200013304A KR 20200013304 A KR20200013304 A KR 20200013304A KR 20210099436 A KR20210099436 A KR 20210099436A
Authority
KR
South Korea
Prior art keywords
vehicle
road
geometry
bounding box
feature
Prior art date
Application number
KR1020200013304A
Other languages
English (en)
Inventor
서영완
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200013304A priority Critical patent/KR20210099436A/ko
Priority to US17/007,650 priority patent/US11361558B2/en
Priority to CN202011242702.2A priority patent/CN113221609A/zh
Publication of KR20210099436A publication Critical patent/KR20210099436A/ko
Priority to US17/837,966 priority patent/US11631258B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06K9/00791—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/22—Conjoint control of vehicle sub-units of different type or different function including control of suspension systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/00201—
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

처리 장치는, 본 개시의 예시적 실시예에 따라, 이격(distant) 차량을 촬영함으로써 생성된 입력 이미지에서, 이격 차량의 경계 상자를 검출하고 이격 차량의 적어도 하나의 특징을 추출하도록 구성된, 제1 프로세서, 및 경계 상자의 적어도 일부에 대한 적어도 하나의 특징의 위치에 기초하여, 이격 차량이 위치한 길의 기하구조를 추정하도록 구성된 제2 프로세서를 포함할 수 있다.

Description

길 기하구조 추정을 위한 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING ROAD GEOMETRY}
본 개시의 기술적 사상은 주행을 위한 정보 수집에 관한 것으로서, 자세하게는 길 기하구조 추정을 위한 장치 및 방법에 관한 것이다.
자율 주행 및/또는 주행 보조를 위하여 다양한 정보가 수집될 수 있다. 예를 들면, 차량은 센서들은 차량의 상태, 차량 주변의 상태 등을 감지하는 다양한 센서들을 포함할 수 있고, 센서들의 출력들로부터 유용한 정보가 생성될 수 있다. 수집된 정보는, 예컨대 차량을 제어하는데 사용되거나 차량의 운전자에 제공되는 등 다양하게 활용될 수 있다. 차량의 주행에서는 사용자 편의성뿐만 아니라 안전성이 중대할 수 있고, 이에 따라 차량의 주행을 보조하기 위하여 수집된 정보는 높은 정확도를 가질 것이 요구될 수 있다.
본 개시의 기술적 사상은, 차량이 주행 중인 길의 기하구조를 용이하고 정확하게 추정하기 위한 장치 및 방법을 제공한다.
본 개시의 기술적 사상의 일측면에 따른 방법은, 이격(distant) 차량을 촬영함으로써 생성된 입력 이미지를 획득하는 단계, 입력 이미지에서 이격 차량의 경계 상자(bounding box)를 검출하는 단계, 입력 이미지로부터 이격 차량의 적어도 하나의 특징을 추출하는 단계, 및 경계 상자의 적어도 일부에 대한 적어도 하나의 특징의 위치에 기초하여, 이격 차량이 위치한 길의 기하구조를 추정하는 단계를 포함할 수 있다.
본 개시의 기술적 사상의 일측면에 따른 처리 장치는, 이격(distant) 차량을 촬영함으로써 생성된 입력 이미지에서, 이격 차량의 경계 상자를 검출하고 이격 차량의 적어도 하나의 특징을 추출하도록 구성된, 제1 프로세서, 및 경계 상자의 적어도 일부에 대한 적어도 하나의 특징의 위치에 기초하여, 이격 차량이 위치한 길의 기하구조를 추정하도록 구성된 제2 프로세서를 포함할 수 있다.
본 개시의 기술적 사상의 일측면에 따른 차량은, 이격(distant) 차량을 촬영함으로써 입력 이미지를 생성하도록 구성된 카메라 모듈, 입력 이미지에서 이격 차량의 경계 상자 및 적어도 하나의 특징을 검출하고, 경계 상자의 적어도 일부에 대한 적어도 하나의 특징의 위치에 기초하여 이격 차량이 위치한 길의 기하구조를 추정하도록 구성된 처리 장치, 및 길의 기하구조에 기초하여 차량 제어를 위한 제어 신호를 생성하도록 구성된 컨트롤러를 포함할 수 있다.
본 개시의 예시적 실시예에 따른 장치 및 방법에 의하면, 최소의 카메라 모듈만으로 길의 기하구조가 용이하게 추정될 수 있다.
또한, 본 개시의 예시적 실시예에 따른 장치 및 방법에 의하면, 길을 실제로 주행한 차량의 움직임에 기초하여 길의 기하구조가 정확하게 추정될 수 있다.
또한, 본 개시의 예시적 실시예에 따른 장치 및 방법에 의하면, 용이하고 정확하게 추정된 길의 기하구조에 기인하여, 차량에서 다양하고 유용한 기능들이 구현될 수 있다.
본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 차량을 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 데이터 및 경계 상자의 예시를 나타내는 도면이다.
도 4는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 5a 내지 도 5c는 본 개시의 예시적 실시예에 따른 경계 상자 및 특징의 예시들을 나타내는 도면들이다.
도 6은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 7a 내지 도 7c는 본 개시의 예시적 실시예들에 따라 길 기하구조 및 이미지 데이터의 예시들을 나타내는 도면들이다.
도 8은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 9는 본 개시의 예시적 실시예에 따라 이미지 데이터의 예시를 나타내는 도면이다.
도 10은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 11a 및 도 11b는 본 개시의 예시적 실시예들에 따라 추정된 길 기하구조의 예시들을 나타낸다.
도 12는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 13은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 14는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 15는 본 개시의 예시적 실시예에 따른 차량을 나타내는 블록도이다.
도 16은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다.
도 1은 본 개시의 예시적 실시예에 따른 차량을 나타내는 블록도이다. 차량(100)은 길 상에서 주행하는 임의의 이동가능한 대상을 지칭할 수 있다. 예를 들면, 차량(100)은, 자전거, 자동차, 모터사이클, 기차 등과 같이 사람이나 물건을 운반하도록 설계된 대상을 지칭할 수도 있고, 운반과 상이한 목적을 위하여 이동가능하도록 설계된 대상을 지칭할 수도 있다. 본 명세서에서, 차량(100)의 예시로서 자동차가 주로 설명될 것이나, 본 개시의 예시적 실시예들이 이에 제한되지 아니하는 점은 이해될 것이다. 도 1에 도시된 바와 같이, 차량(100)은 처리 장치(110), 카메라 모듈(120) 및 적어도 하나의 센서(130)를 포함할 수 있다. 일부 실시예들에서, 도 15를 참조하여 후술되는 바와 같이, 차량(100)은 주행을 위한 다양한 기계 부품들을 더 포함할 수 있다.
카메라 모듈(120)은 차량(100)으로부터 이격된 다른 차량을 촬영함으로써 이미지 데이터(IMG)를 생성할 수 있다. 예를 들면, 카메라 모듈(120)은 차량(100)의 전방을 촬영하도록 설치될 수 있고, 전방 차량을 포함하는 이미지에 대응하는 이미지 데이터(IMG)를 생성할 수 있다. 또한, 카메라 모듈(120)은 차량(100)의 후방을 촬영하도록 설치될 수도 있고, 후방 차량을 포함하는 이미지에 대응하는 이미지 데이터(IMG)를 생성할 수도 있다. 일부 실시예들에서, 카메라 모듈(120)은 가시광선을 감지할 수 있는 이미지 센서를 포함할 수 있고, 이미지 데이터(IMG)는 가시광선 이미지를 나타낼 수 있다. 또한, 일부 실시예들에서, 이미지 데이터(IMG)는 적외선 이미지, 그레이스케일 이미지, 깊이 이미지 등을 나타낼 수도 있다. 일부 실시예들에서, 차량(100)은 2이상의 카메라 모듈들을 포함할 수 있고, 다양한 이미지들에 대응하는 이미지 데이터가 생성될 수도 있다. 본 명세서에서, 차량(100)으로부터 이격되고 카메라 모듈(120)에 의해서 촬영되는 차량은, 이격(distant) 차량 또는 다른(another) 차량으로 지칭될 수 있고, 차량(100)의 전방에 위치한 이격 차량은 전방 차량으로 지칭될 수 있으며, 차량(100)의 후방에 위치한 이격 차량은 후방 차량으로 지칭될 수 있다. 또한, 이격 차량을 촬영하는 카메라 모듈(120)을 포함하는 차량(100)은 호스트 차량으로 지칭될 수 있다.
적어도 하나의 센서(130)는 차량(100)의 상태 또는 차량(100)의 주변 상태를 감지함으로써 감지 신호(SEN)를 생성할 수 있다. 일부 실시예들에서, 적어도 하나의 센서(130)는 이격 차량과의 거리를 측정하기 위한 거리 센서로서, 라이다(light detection and ranging; LIDAR) 센서, 레이더(radio detection and ranging; RADAR) 센서, ToF(Time of Flight) 센서, 초음파 센서, 적외선 센서 등을 포함할 수 있다. 또한, 일부 실시예들에서, 적어도 하나의 센서(130)는 차량(100)의 상태를 감지 하기 위하여, 지자기(geomagnetic) 센서, GPS(global positioning system) 센서, 가속도 센서, 자이로(gyro) 센서 등을 포함할 수도 있다. 또한, 일부 실시예들에서, 적어도 하나의 센서(130)는 기압 센서, 온도/습도 센서 등을 더 포함할 수도 있다. 후술되는 바와 같이, 일부 실시예들에서 센서 신호(SEN)는 처리 장치(110)에 의해서 길의 기하구조(geometry)를 추정하는데 사용될 수 있다.
처리 장치(110)는 카메라 모듈(120) 및 적어도 하나의 센서(130)와 통신할 수 있다. 예를 들면, 도 1에 도시된 바와 같이, 처리 장치(110)는 카메라 모듈(120)로부터 이미지 데이터(IMG)를 수신할 수도 있고, 적어도 하나의 센서(130)로부터 감지 신호(SEN)를 수신할 수도 있다. 본 명세서에서, 처리 장치(110)가 카메라 모듈(120)로부터 수신하는 이미지 데이터(IMG)는 입력 이미지로 지칭될 수도 있다. 처리 장치(110)는 데이터 및/또는 신호를 처리할 수 있는 임의의 전자 장치일 수 있다. 예를 들면, 처리 장치(110)는 반도체 공정에 의해서 제조되는 집적 회로일 수도 있고, 2이상의 반도체 패키지들 및 반도체 패키지들이 실장된 보드를 포함하는 모듈일 수도 있다. 도 1에 도시된 바와 같이, 처리 장치(110)는, 제1 프로세서(111), 제2 프로세서(112), 메모리(113) 및 입출력 인터페이스(114)를 포함할 수 있고, 제1 프로세서(111), 제2 프로세서(112), 메모리(113) 및 입출력 인터페이스(114)는 버스(115)를 통해서 상호 통신할 수 있다. 일부 실시예들에서, 제1 프로세서(111), 제2 프로세서(112), 메모리(113) 및 입출력 인터페이스(114) 중 적어도 2개는 버스(115)를 통하지 아니하고서 직접 통신할 수도 있고, 일부 실시예들에서, 버스(115)는 생략될 수도 있다.
제1 프로세서(111)는 이미지 데이터(IMG)를 처리할 수 있고, 이미지 프로세서로서 지칭될 수도 있다. 예를 들면, 제1 프로세서(111)는 이미지 데이터(IMG)에서 이격 차량의 경계 상자(bounding box)를 검출할 수 있다. 또한, 제1 프로세서(111)는 이미지 데이터(IMG)로부터 이격 차량의 적어도 하나의 특징(feature)을 추출할 수 있다. 일부 실시예들에서, 제1 프로세서(111)는 복수의 차량 이미지들에 의해서 학습된 모델에 기초하여 경계 상자를 검출하거나, 그리고/또는 적어도 하나의 특징을 추출할 수 있다. 이를 위하여, 일부 실시예들에서 제1 프로세서(111)는 NPU(neural network processing unit)를 포함할 수 있다. 후술되는 바와 같이, 제1 프로세서(111)에 의해서 검출된 경계 상자 및 추출된 적어도 하나의 특징으로부터 이격 차량의 자세가 판정될 수 있다.
제2 프로세서(112)는 이격 차량이 위치한 길의 기하구조를 추정할 수 있다. 예를 들면, 제2 프로세서(112)는 제1 프로세서(111)로부터 이격 차량의 경계 상자 및 적어도 하나의 특징을 획득할 수 있고, 경계 상자의 적어도 일부에 대한 적어도 하나의 특징의 위치에 기초하여 이격 차량의 자세를 판정할 수 있고, 이격 차량의 자세에 기초하여 이격 차량이 위치한 길의 기하구조를 추정할 수 있다. 또한, 제2 프로세서(112)는 차량(100)의 상태에 기초하여 추정된 길의 기하구조를 보상할 수도 있다. 도 15 및 도 16을 참조하여 후술되는 바와 같이, 제2 프로세서(112)에 의해서 추정된 길의 기하구조는 차량(100)의 주행에 유용한 다양한 기능들에 활용될 수 있고, 예컨대 제2 프로세서(112)는 추정된 길의 기하구조에 기초하여 차선 인식을 보조할 수 있다.
일부 실시예들에서, 제1 프로세서(111) 및 제2 프로세서(112) 각각은 논리 합성(logic synthesis)에 의해서 설계되는 하드웨어 로직을 포함할 수 있다. 또한, 일부 실시예들에서, 제1 프로세서(111) 및 제2 프로세서(112) 각각은, 제1 프로세서(111)의 내부 메모리 및/또는 메모리(113)에 저장된 명령어들을 실행할 수 있는, 적어도 하나의 코어를 포함할 수 있다. 예를 들면, 제1 프로세서(111) 및 제2 프로세서(112) 각각은, 프로그램에 포함된 명령어들 및/또는 코드로 표현되는 동작들을 포함하는 미리 정의된 동작들을 실행하기 위하여 물리적으로 구조화된 회로를 포함하는, 하드웨어적으로 구현된(hardware-implemented) 임의의 데이터 처리 장치를 지칭할 수 있다. 예를 들면, 데이터 처리 장치는, 마이크로프로세서, CPU(central processing unit), GPU(graphics processing unit), NPU(neural processing unit), 프로세서 코어, 멀티-코어 프로세서, 멀티 프로세서, ASIC(application-specific integrated circuit), ASIP(application-specific instruction-set processor) 및 FPGA(field programmable gate array)를 포함할 수 있다. 또한, 일부 실시예들에서, 처리 장치(110)는 도 1에 도시된 바와 상이하게, 제1 프로세서(111) 및 제2 프로세서(112)의 동작들을 모두 수행하는 하나의 프로세서를 포함할 수도 있다. 본 명세서에서, 제1 프로세서(111) 및/또는 제2 프로세서(112)에 의해서 수행되는 동작들은 처리 장치(110)에 의해서 수행되는 것으로도 지칭될 수 있다.
메모리(113)는 제1 프로세서(111) 및 제2 프로세서(112)에 의해서 처리되거나 처리된 데이터를 저장할 수도 있고, 입출력 인터페이스(114)를 통해서 수신되거나 외부로 송신될 데이터를 저장할 수도 있다. 예를 들면, 메모리(113)는, 카메라 모듈(120)로부터 제공된 이미지 데이터(IMG)를 저장할 수도 있고, 제1 프로세서(111)에 의해서 생성된, 이격 차량의 경계 상자 및 적어도 하나의 특징에 대한 데이터를 저장할 수도 있으며, 제2 프로세서(112)에 의해서 생성된 길 기하구조에 대한 데이터를 저장할 수도 있다. 일부 실시예들에서, 메모리(113)는 제1 프로세서(111) 및 제2 프로세서(112)에 의해서 실행되는 일련의 명령어들을 저장할 수도 있다. 일부 실시예들에서, 메모리(113)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 휘발성 메모리 장치를 포함할 수 있다. 일부 실시예들에서, 메모리(113)는 EEPROM(Electrically Erasable Programmable Read Only Memory), SONOS(Silicon-Oxide-Nitride-Oxide-Silicon) 메모리, 폴리머(polymer) 메모리, MRAM(Magnetic Random Access Memory), PRAM(Phase-change Random Access Memory), RRAM(Resistive Random Access Memory) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.
입출력 인터페이스(114)는 처리 장치(110) 외부 구성요소와의 인터페이스를 제공할 수 있다. 예를 들면, 도 1에 도시된 바와 같이, 입출력 인터페이스(114)는 카메라 모듈(120)에 대한 인터페이스를 제공할 수도 있고, 적어도 하나의 센서(130)에 대한 인터페이스를 제공할 수도 있다. 일부 실시예들에서, 입출력 인터페이스(114)는 제2 프로세서(112)에 의해서 추정된 길의 기하구조를 출력하기 위한 인터페이스를 제공할 수도 있다.
도 2는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다. 도 2에 도시된 바와 같이, 길 기하구조를 추정하기 위한 방법은, 복수의 단계들(S20, S40, S60, S80)을 포함할 수 있다. 일부 실시예들에서, 도 2의 방법은 도 1의 처리 장치(110)에 의해서 수행될 수 있고, 이하에서 도 2는 도 1을 참조하여 설명될 것이다.
단계 S20에서, 이미지 데이터(IMG)를 획득하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는, 카메라 모듈(120)이 이격 차량을 촬영함으로써 생성한 이미지 데이터(IMG)를 카메라 모듈(120)로부터 수신할 수 있다. 일부 실시예들에서, 단계 S20은 단계 S40이 수행된 후 수행될 수도 있고, 단계 S40과 병렬적으로 수행될 수도 있다.
단계 S40에서, 이격 차량의 경계 상자를 검출하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는, 이미지 데이터(IMG)에서 이격 차량의 경계 상자를 검출할 수 있다. 일부 실시예들에서, 이격 차량의 경계 상자는, 한 쌍의 수평 방향 라인들 및 한 쌍의 수직 방향 라인들로 구성될 수 있고, 이격 차량을 포함하는 최소 영역을 정의할 수 있다. 경계 상자의 예시들은 도 3 등을 참조하여 후술될 것이다. 이격 차량의 경계 상자는, 이미지로부터 특정한 객체를 검출하는 임의의 방식에 기초하여 이미지 데이터(IMG)로부터 검출될 수 있고, 단계 S40의 예시가 도 4를 참조하여 후술될 것이다.
단계 S60에서, 이격 차량의 특징을 추출하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는 이격 차량의 경계 상자 내에서 이격 차량의 적어도 하나의 특징을 추출할 수 있다. 일부 실시예들에서, 처리 장치(110)는 이격 차량의 특징으로서, 이격 차량의 전조등(headlamp), 미등(tail lamp), 번호판(license plate), 사이드 미러(side mirror), 바퀴(wheel) 등을 추출할 수 있다. 이격 차량의 특징은, 이미지로부터 특징을 추출하는 임의의 방식에 기초하여 이미지 데이터(IMG)로부터 추출될 수 있고, 추출된 특징의 예시들은 도 5a 내지 도 5c를 참조하여 후술될 것이다.
단계 S80에서, 길의 기하구조를 추정하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는, 이격 차량의 경계 상자의 적어도 일부에 대한 이격 차량의 적어도 하나의 특징의 위치에 기초하여, 이격 차량이 위치한 길의 기하구조를 추정할 수 있다. 적어도 하나의 특징의 위치는 이격 차량의 자세를 나타낼 수 있고, 처리 장치(110)는 이격 차량의 자세에 기초하여 길의 기하구조를 추정할 수 있다. 이에 따라, 하나의 이미지 데이터(IMG)로부터 길의 기하구조가 추정될 수 있고, 길의 기하구조를 추정하기 위하여 복수의 카메라 모듈들이 차량(100)에 포함되는 것이 방지될 수 있다. 또한, 이격 차량이 차량(100)이 주행 중인 경로 상에서 선행하고 있는 경우, 차량(100)이 주행할 길의 기하구조가 미리 추정될 수 있다. 또한, 이격 차량의 위치뿐만 아니라 이격 차량의 자세에 기초함으로써 길의 기하구조가 정확하게 추정될 수 있다. 일부 실시예들에서, 길의 기하구조는, 길의 고저를 나타내는 길의 프로파일(profile)(높이 프로파일로 지칭될 수도 있다) 및/또는 길의 횡단 경사(cross slope)(또는 수평각(road angle)로 지칭될 수도 있다)를 포함할 수 있다. 단계 S80의 예시들이 도 6, 도 8, 도 10, 도 12 및 도 13 등을 참조하여 후술될 것이다. 일부 실시예들에서, 단계 S80은, 도 6, 도 8, 도 10, 도 12 및 도 13에서 예시된 단계들을 모두 포함할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 데이터 및 경계 상자의 예시를 나타내는 도면이다. 도 1을 참조하여 전술된 바와 같이, 도 3의 이미지 데이터(IMG')는 카메라 모듈(120)이 이격 차량을 촬영함으로써 생성될 수 있고, 처리 장치(110)는 이미지 데이터(IMG')에서 이격 차량의 경계 상자를 검출할 수 있다. 이하에서, 도 3은 도 1을 참조하여 설명될 것이고, 카메라 모듈(120)은 차량(100)의 전방을 촬영하도록 배치되고 이격 차량은 전방 차량인 것으로 가정된다.
일부 실시예들에서, 이미지 데이터(IMG')는 복수의 전방 차량들을 촬영함으로써 생성될 수 있고, 처리 장치(110)는 복수의 전방 차량들에 각각 대응하는 복수의 경계 상자들을 검출할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 처리 장치(110)는 차량(100)과 동일한 차로에 위치하는 전방 차량들의 경계 상자들(BOX1, BOX5, BOX6)을 검출할 수도 있고, 차량(100)과 상이한 차로들에 위치하는 전방 차량들의 경계 상자들(BOX2, BOX3, BOX4, BOX7, BOX8)을 검출할 수도 있으며, 차량(100)과 반대 방향으로 주행 중인 전방 차량의 경계 상자(BOX9)를 검출할 수도 있다. 도 2를 참조하여 전술된 바와 같이, 경계 상자들(BOX1 내지 BOX9) 각각은 한 쌍의 수평 방향 라인들 및 한 쌍의 수직 방향 라인들에 의해서 구성될 수 있고, 이에 따라 대각선 방향으로 대향하는 한 쌍의 점들에 의해서 정의될 수 있다. 도 3에 도시된 바와 같이, 경계 상자들(BOX1 내지 BOX9)은, 차량(100)으로부터 전방 차량 사이 거리 및 전방 차량의 크기 등에 기인하여 상이한 크기들을 가질 수 있다.
도 4는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다. 구체적으로, 도 4의 순서도는 도 2의 단계 S40의 예시를 나타내고, 도 2를 참조하여 전술된 바와 같이, 도 4의 단계 S40a에서 이격 차량의 경계 상자를 검출하는 동작이 수행될 수 있다. 도 4에 도시된 바와 같이, 단계 S40a는 단계 S42 및 단계 S44를 포함할 수 있고, 도 4는 도 1을 참조하여 설명될 것이다.
도 4를 참조하면, 단계 S42에서, 차량 이미지들에 의해서 학습된 기계 학습 모델(ML)에 이미지 데이터(IMG)를 제공하는 동작이 수행될 수 있다. 즉, 이격 차량의 경계 상자는 기계 학습(machine learning)에 기초하여 이미지 데이터(IMG)로부터 검출될 수 있고, 차량 이미지들에 학습된 기계 학습 모델(ML)은 기계 학습을 위한 임의의 구조를 가질 수 있다. 예를 들면, 기계 학습 모델(ML)은, 인공 신경망(artificial neural network), 컨볼루션 신경망(convolution neural network), 심층 신경망(deep neural network), 결정 트리(decision tree), 서포트 벡터 머신(support vector machine), 베이즈 네트워크(Bayesian network) 및/또는 유전 알고리즘(genetic algorithm) 등을 포함할 수 있다. 일부 실시예들에서, 제1 프로세서(111)는 기계 학습 모델(ML)의 적어도 일부를 구현하기 위한 구성요소, 예컨대 NPU 등을 포함할 수 있다.
단계 S44에서, 기계 학습 모델(ML)로부터 경계 상자(BOX)를 획득하는 동작이 수행될 수 있다. 예를 들면, 기계 학습 모델(ML)은 이미지 데이터(IMG)에서 이격 차량의 경계 상자(BOX)를 정의하는 한 쌍의 점들에 대한 좌표값들을 생성할 수 있다. 일부 실시예들에서, 도 3을 참조하여 전술된 바와 같이, 이미지 데이터(IMG)에서 복수의 이격 차량들에 대응하는 복수의 경계 상자들이 기계 학습 모델(ML)로부터 획득될 수도 있다.
도 5a 내지 도 5c는 본 개시의 예시적 실시예에 따른 경계 상자 및 특징의 예시들을 나타내는 도면들이다. 구체적으로, 도 5a는 이격 차량의 후면에 대응하는 경계 상자(BOX5a) 및 특징들(F51a 내지 F55a)을 나타내고, 도 5b는 이격 차량의 전면에 대응하는 경계 상자(BOX5b) 및 특징들(F51b 내지 F55b)을 나타내며, 도 5c는 이격 차량의 후면 및 측면에 대응하는 경계 상자(BOX5c) 및 특징들(F51c 내지 F56c)을 나타낸다. 이하에서, 도 5a 내지 도 5c는 도 1을 참조하여 설명될 것이고, 도 5a 내지 도 5c에 대한 설명 중 상호 중복되는 내용은 생략될 것이다.
도 5a를 참조하면, 경계 상자(BOX5a)는 이격 차량의 후면을 포함할 수 있다. 예를 들면, 카메라 모듈(120)은 차량(100)의 전방을 촬영하도록 배치될 수 있고, 차량(100)에 선행하는 전방 차량의 후면을 촬영함으로써 이미지 데이터(IMG)를 생성할 수 있다. 이에 따라, 처리 장치(110)는 전방 차량의 후면을 포함하는 경계 상자(BOX5a)를 검출할 수 있고, 경계 상자(BOX5a) 내에서 특징들(F51a 내지 F55a)을 추출할 수 있다. 예를 들면, 처리 장치(110)는, 도 5a에 도시된 바와 같이, 사이드 미러에 대응하는 특징들(F51a, F52a), 미등에 대응하는 특징들(F53a, F54a) 및 번호판에 대응하는 특징(F55a)을 이미지 데이터(IMG)로부터 추출할 수 있다. 일부 실시예들에서, 처리 장치(110)는 도 5a의 특징들(F51a 내지 F55a) 중 일부만을 추출할 수도 있고, 도 5a의 특징들(F51a 내지 F55a)에 추가적인 특징(예컨대, 바퀴 등)을 더 추출할 수도 있다.
도 5b를 참조하면, 경계 상자(BOX5b)는 이격 차량의 전면을 포함할 수 있다. 예를 들면, 카메라 모듈(120)은 차량(100)의 후방을 촬영하도록 배치될 수 있고, 차량(100)에 후행하는 후방 차량의 전면을 촬영함으로써 이미지 데이터(IMG)를 생성할 수 있다. 이에 따라, 처리 장치(110)는 후방 차량의 전면을 포함하는 경계 상자(BOX5b)를 검출할 수 있고, 경계 상자(BOX5b) 내에서 특징들(F51b 내지 F55b)을 추출할 수 있다. 예를 들면, 처리 장치(110)는, 도 5b에 도시된 바와 같이, 사이드 미러에 대응하는 특징들(F51b, F52b), 전조등에 대응하는 특징들(F53b, F54b) 및 번호판에 대응하는 특징(F55b)을 이미지 데이터(IMG)로부터 추출할 수 있다. 일부 실시예들에서, 처리 장치(110)는 도 5b의 특징들(F51b 내지 F55b) 중 일부만을 추출할 수도 있고, 도 5b의 특징들(F51b 내지 F55b)에 추가적인 특징(예컨대, 바퀴, 안개등 등)을 더 추출할 수도 있다.
도 5c를 참조하면, 경계 상자(BOX5c)는 이격 차량의 측면 및 후면을 포함할 수 있다. 예를 들면, 카메라 모듈(120)은 차량(100)의 전방을 촬영하도록 배치될 수 있고, 차량(100)과 상이한 차로에서 주행 중이거나 길의 측면에 정차중인 이격 차량을 촬영함으로써 이미지 데이터(IMG)를 생성할 수 있다. 이에 따라, 처리 장치(110)는 이격 차량의 후면 및 측면을 포함하는 경계 상자(BOX5c)를 검출할 수 있고, 경계 상자(BOX5c) 내에서 특징들(F51c 내지 F56c)을 추출할 수 있다. 예를 들면, 처리 장치(110)는, 도 5c에 도시된 바와 같이, 미등에 대응하는 특징들(F51c, F52c), 사이드 미러에 대응하는 특징(F53c), 바퀴에 대응하는 특징들(F54c, F55c) 및 번호판에 대응하는 특징(F56c)을 이미지 데이터(IMG)로부터 추출할 수 있다. 일부 실시예들에서, 처리 장치(110)는 도 5c의 특징들(F51c 내지 F56c) 중 일부만을 추출할 수도 있고, 도 5c의 특징들(F51c 내지 F56c)에 추가적인 특징을 더 추출할 수도 있다.
이격 차량의 추출된 특징들은, 도 1 및 도 2를 참조하여 전술된 바와 같이, 이격 차량의 자세를 판정하는데 사용될 수 있고, 이격 차량이 위치한 길의 기하구조를 추정하는데 사용될 수 있다. 이하에서 이격 차량의 특징의 예시로서 번호판에 대응하는 특징이 주로 설명될 것이나, 본 개시의 예시적 실시예들이 이에 제한되지 아니하는 점은 이해될 것이다. 또한, 도 5a 내지 도 5c에 도시되지 아니하였으나, 일부 실시예들에서, 차량(100)의 후방을 촬영하도록 배치된 카메라 모듈(120)에 의해서 생성된 이미지 데이터(IMG)에서 이격 차량의 전면 및 측면을 포함하는 경계 상자가 검출될 수 있고, 경계 상자 내에서 특징이 추출될 수도 있다. 이하에서, 이격 차량의 특정 부분에 대응하는 특징은 해당 부분으로 단순하게 지칭될 수 있고, 예컨대 이격 차량의 번호판에 특징은 이격 차량의 번호판으로 단순하게 지칭될 수 있다.
도 6은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이고, 도 7a 내지 도 7c는 본 개시의 예시적 실시예들에 따라 길 기하구조 및 이미지 데이터의 예시들을 나타내는 도면들이다. 구체적으로, 도 6의 순서도는 도 2의 단계 S80의 예시를 나타내고, 도 7a 내지 도 7c는 호스트 차량들(71a, 73a, 71b, 73b, 71c, 73c) 및 전방 차량들(72a, 74a, 72b, 74b, 72c, 74c)의 배치의 예시들 및 그에 대응하는 경계 상자들(BOX7a, BOX7b, BOX7c) 및 특징들(F7a, F7b, F7c)을 나타낸다. 도 2를 참조하여 전술된 바와 같이, 도 6의 단계 S80a에서 길의 기하구조를 추정하는 동작이 수행될 수 있다. 이하에서, 도 7a 내지 도 7c의 호스트 차량들(71a, 73a, 71b, 73b, 71c, 73c)은 도 1의 처리 장치(110) 및 카메라 모듈(120)을 포함하는 것으로 가정되고, 도 6, 도 7a 내지 도 7c는 도 1을 참조하여 설명될 것이다.
도 6을 참조하면, 단계 S80a는 단계 S82a 및 단계 S84a를 포함할 수 있다. 단계 S82a에서, 경계 상자에서 특징의 세로 위치를 측정하는 동작이 수행될 수 있다. 이하에서 도 7a 내지 도 7c를 참조하여 후술되는 바와 같이, 이격 차량의 자세는 길의 기하구조에 기인하여 변동할 수 있고, 이에 따라 이격 차량의 특징의 세로 위치가 길의 프로파일에 기인하여 변동할 수 있다.
도 7a의 상부를 참조하면, 케이스 A에서 호스트 차량(71a) 및 전방 차량(72a)은 편평하고 수평적인 길을 주행할 수 있다. 또한, 케이스 B에서 호스트 차량(73a) 및 전방 차량(74a)은 편평하고 오르막인(uphill) 길을 주행할 수 있다. 즉, 도 7a의 케이스 A 및 케이스 B에서, 호스트 차량들(71a, 73a) 및 전방 차량들(72a, 74a)은 동일한 기하구조를 갖는 길에서 주행 중일 수 있고, 전방 차량들(72a, 74a)의 후면들은 호스트 차량들(71a, 73a)에서 유사한 이미지로 촬영될 수 있다.
도 7a의 하부를 참조하면, 처리 장치(110)는 도 7a의 케이스 A 및 케이스 B에서 전방 차량(72a 또는 74a)의 후면을 포함하는 경계 상자(BOX7a)를 검출할 수 있고, 번호판(F7a)을 특징으로서 추출할 수 있다. 경계 상자(BOX7a)는 높이(H7a)를 가질 수 있고, 처리 장치(110)는, 경계 상자(BOX7a)의 상단(top)로부터 번호판(F7a)의 하단(bottom)까지의 제1 거리(Y1a) 및/또는 경계 상자(BOX7a)의 하단으로부터 번호판(F7a)의 하단까지의 제2 거리(Y2a)를 측정할 수 있다. 일부 실시예들에서, 도 7a에 도시된 바와 상이하게, 처리 장치(110)는 경계 상자(BOX7a)에서 번호판(F7a)의 중심 또는 상단의 세로 위치를 측정할 수도 있다.
처리 장치(110)는 특징의 세로 위치를 다양한 수치(metric)로 정의할 수 있다. 예를 들면, 처리 장치(110)는 제1 거리(Y1a) 또는 제2 거리(Y2a)에 의해서 번호판(F7a)의 세로 위치를 정의할 수도 있고, 제1 거리(Y1a) 및 제2 거리(Y2a)의 비율에 의해서 번호판(F7a)의 세로 위치를 정의할 수도 있으며, 경계 상자(BOX7a)의 높이(H7a)에 대한 제1 거리(Y1a) 또는 제2 거리(Y2a)의 비율에 의해서 번호판(F7a)의 세로 위치를 정의할 수도 있다. 또한, 일부 실시예들에서, 처리 장치(110)는 복수의 특징들(예컨대, 번호판, 미등)의 세로 위치들을 각각 측정하고, 측정된 세로 위치들로부터 하나의 수치를 계산할 수도 있다. 이하에서, 처리 장치(110)는 제1 거리(Y1a)에 대한 제2 거리(Y2a)의 비율(Y2a/Y1a)을 번호판(F7a)의 세로 위치로서 측정하는 것으로 가정되나, 본 개시의 예시적 실시예들이 이에 제한되지 아니하는 점이 유의된다.
도 7b의 상부를 참조하면, 케이스 A에서, 호스트 차량(71b)은 길의 편평하고 수평적인 위치에서 주행 중일 수 있는 한편, 전방 차량(72b)은 길의 편평하고 오르막인 위치에서 주행 중일 수 있다. 또한, 케이스 B에서, 호스트 차량(73b)은 길의 편평하고 수평적인 위치에서 주행 중일 수 있는 한편, 전방 차량(74b)은 길의 돌출부(71) 상에서 주행 중일 수 있고, 전방 차량(74b)의 앞 바퀴가 돌출부(71) 상에 위치할 수 있다. 이에 따라, 전방 차량들(72b, 74b)은 앞부분이 상승한 자세를 가질 수 있고, 도 7b의 케이스 A 및 케이스 B에서, 전방 차량들(72b, 74b)의 후면들은 호스트 차량들(71b, 73b)에서 유사한 이미지로 촬영될 수 있다.
도 7b의 하부를 참조하면, 처리 장치(110)는 도 7b의 케이스 A 및 케이스 B에서 전방 차량(72b 또는 74b)의 후면을 포함하는 경계 상자(BOX7b)를 검출할 수 있고, 번호판(F7b)을 특징으로서 추출할 수 있다. 경계 상자(BOX7b)는 높이(H7b)를 가질 수 있고, 처리 장치(110)는, 경계 상자(BOX7b)의 상단으로부터 번호판(F7b)의 하단까지의 제1 거리(Y1b) 및/또는 경계 상자(BOX7b)의 하단으로부터 번호판(F7b)의 하단까지의 제2 거리(Y2b)를 측정할 수 있다. 도 7a의 경계 상자(BOX7a)와 비교할 때, 도 7b의 경계 상자(BOX7b)는, 전방 차량(72b 또는 74b)의 자세에 기인하여 전방 차량(72b 또는 74b)의 상면의 일부를 더 포함할 수 있다. 또한, 도 7a의 번호판(F7a)과 비교할 때, 도 7b의 번호판(F7b)은, 전방 차량(72b 또는 74b)의 자세에 기인하여 경계 상자(BOX7b)에서 상대적으로 아래에 위치할 수 있다. 이에 따라, 도 7b의 번호판(F7b)의 세로 위치(Y2b/Y1b)는, 도 7a의 번호판(F7a)의 세로 위치(Y2a/Y1a)보다 낮을 수 있다(Y2b/Y1b < Y2a/Y1a).
도 7c의 상부를 참조하면, 케이스 A에서, 호스트 차량(71c)은 길의 편평하고 수평적인 위치에서 주행 중일 수 있는 한편, 전방 차량(72c)은 길의 편평하고 내리막인(downhill) 위치에서 주행 중일 수 있다. 또한, 케이스 B에서, 호스트 차량(73c)은 길의 편평하고 수평적인 위치에서 주행 중일 수 있는 한편, 전방 차량(74c)은 길의 돌출부(72) 상에서 주행 중일 수 있고, 전방 차량(74c)의 뒷바퀴가 돌출부(72) 상에 위치할 수 있다. 이에 따라, 전방 차량들(72c, 74c)은 뒷부분이 상승한 자세를 가질 수 있고, 도 7c의 케이스 A 및 케이스 B에서, 전방 차량들(72c, 74c)의 후면들은 호스트 차량들(71c, 73c)에서 유사한 이미지로 촬영될 수 있다.
도 7c의 하부를 참조하면, 처리 장치(110)는 도 7c의 케이스 A 및 케이스 B에서 전방 차량(72c 또는 74c)의 후면을 포함하는 경계 상자(BOX7c)를 검출할 수 있고, 번호판(F7c)을 특징으로서 추출할 수 있다. 경계 상자(BOX7c)는 높이(H7c)를 가질 수 있고, 처리 장치(110)는, 경계 상자(BOX7c)의 하단으로부터 번호판(F7c)의 하단까지의 제1 거리(Y1c) 및/또는 경계 상자(BOX7c)의 하단으로부터 번호판(F7c)의 하단까지의 제2 거리(Y2c)를 측정할 수 있다. 도 7a의 경계 상자(BOX7a)와 비교할 때, 도 7c의 경계 상자(BOX7c)는, 전방 차량(72c 또는 74c)의 자세에 기인하여 전방 차량(72c 또는 74c)의 하면의 일부를 더 포함할 수 있다. 또한, 도 7a의 번호판(F7a)과 비교할 때, 도 7c의 번호판(F7c)은, 전방 차량(72c 또는 74c)의 자세에 기인하여 경계 상자(BOX7c)에서 상대적으로 위에 위치할 수 있다. 이에 따라, 도 7c의 번호판(F7c)의 세로 위치(Y2c/Y1c)는, 도 7a의 번호판(F7a)의 세로 위치(Y2a/Y1a)보다 높을 수 있다(Y2c/Y1c > Y2a/Y1a).
다시 도 6을 참조하면, 단계 S84a에서, 길의 프로파일을 추정하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는 도 7a 내지 도 7c를 참조하여 전술된 바와 같이, 전방 차량의 자세에 따라 변동하는 번호판의 세로 위치에 기초하여 길의 고저를 나타내는 길의 프로파일을 추정할 수 있다. 예를 들면, 처리 장치(110)는 도 7a의 번호판(F7a)의 세로 위치(Y2a/Y1a)에 기초하여, 전방 차량이 위치한 길의 프로파일이 호스트 차량과 동일한 것으로 추정할 수 있다. 또한, 처리 장치(110)는 도 7b의 번호판(F7b)의 세로 위치(Y2b/Y2a)에 기초하여, 전방 차량이 위치한 길에서 오르막(ascent) 또는 돌출부가 있는 것으로 추정할 수 있다. 또한, 처리 장치(110)는 도 7c의 번호판(F7c)의 세로 위치(Y2c/Y1c)에 기초하여, 전방 차량이 위치한 길에서 내리막 또는 돌출부가 있는 것으로 추정할 수 있다. 일부 실시예들에서, 처리 장치(110)는, 도 10을 참조하여 후술되는 바와 같이, 추정된 길의 프로파일의 전방 위치를 전방 차량과의 거리에 기초하여 추정할 수도 있고, 도 12를 참조하여 후술되는 바와 같이, 호스트 차량의 상태에 기초하여 길의 프로파일을 보상할 수도 있으며, 도 13을 참조하여 후술되는 바와 같이, 번호판의 이전 세로 위치 및 현재 세로 위치 사이 차이에 기초하여 길의 프로파일을 추정할 수도 있다.
도 8은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이고, 도 9는 본 개시의 예시적 실시예에 따라 이미지 데이터의 예시를 나타내는 도면이다. 구체적으로, 도 8의 순서도는 도 2의 단계 S80의 예시를 나타내고, 도 9는 전방 차량을 촬영함으로써 생성된 이미지 데이터에서 경계 상자(BOX9) 및 특징으로서 번호판(F9)을 나타낸다. 도 2를 참조하여 전술된 바와 같이, 도 8의 단계 S80b에서 길의 기하구조를 추정하는 동작이 수행될 수 있다. 이하에서, 도 8 및 도 9는 도 1을 참조하여 설명될 것이다.
도 8을 참조하면, 단계 S80b는 단계 S82b 및 단계 S84b를 포함할 수 있다. 단계 S82b에서, 경계 상자에서 특징의 기울기를 검출하는 동작이 수행될 수 있다. 예컨대 도 9를 참조하면, 전방 차량의 후면을 포함하는 경계 상자(BOX9)가 검출될 수 있고, 경계 상자(BOX9) 내에서 번호판(F9)이 특징으로서 추출될 수 있다. 도 9에 도시된 바와 같이, 번호판(F9)은 수평선(또는 경계 상자(BOX9)의 수평 라인)으로부터 시계 반대 방향으로 각 θ만큼 회전된 기울기를 가질 수 있고, 전방 차량 역시 수평선으로부터 시계 반대 방향으로 각 θ만큼 회전된 것으로 판정될 수 있다. 일부 실시예들에서, 처리 장치(110)는 번호판(F9)에 평행한 제1 라인(91)을 검출할 수 있고, 수평선에 대응하는 제2 라인(92)과 제1 라인(91)이 이루는 각 θ를 측정할 수 있다.
단계 S84b에서, 길의 횡단 경사를 추정하는 동작이 수행될 수 있다. 예컨대 도 9에 도시된 바와 같이 전방 차량이 시계 반대 방향으로 각 θ만큼 회전된 경우, 처리 장치(110)는 시계 반대 방향으로 θ만큼 기울어진 길의 횡단 경사를 추정할 수 있다. 일부 실시예들에서, 처리 장치(110)는, 도 10을 참조하여 후술되는 바와 같이, 길의 횡단 경사가 추정된 전방 위치를, 전방 차량과의 거리에 기초하여 추정할 수도 있고, 도 12를 참조하여 후술되는 바와 같이, 호스트 차량의 상태에 기초하여 길의 횡단 경사를 추정할 수도 있으며, 도 13을 참조하여 후술되는 바와 같이, 번호판의 이전 기울기 및 현재 기울기 사이 차이에 기초하여 길의 횡단 경사를 추정할 수도 있다.
도 10은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다. 구체적으로, 도 10의 순서도는 도 2의 단계 S80의 예시를 나타내고, 도 2를 참조하여 전술된 바와 같이, 도 10의 단계 S80c에서 길의 기하구조를 추정하는 동작이 수행될 수 있다. 도 10에 도시된 바와 같이, 단계 S80c는 단계 S82c 및 단계 S84c를 포함할 수 있고, 이하에서 도 10은 도 1을 참조하여 설명될 것이다.
단계 S82c에서, 이격 차량과의 거리를 획득하는 동작이 수행될 수 있다. 일부 실시예들에서, 적어도 하나의 센서(130)는 이격 차량과의 거리를 측정하는 거리 센서를 포함할 수 있고, 처리 장치(110)는 적어도 하나의 센서(130)로부터 제공되는 센서 신호(SEN)에 기초하여 이격 차량과의 거리를 획득할 수 있다. 일부 실시예들에서, 처리 장치(110)는 카메라 모듈(120)로부터 제공되는 이미지 데이터(IMG)로부터 이격 차량과의 거리를 추정할 수도 있다. 예를 들면, 이미지 데이터(IMG)에서 이격 차량의 경계 상자의 크기 및 위치는 이격 차량과의 거리에 의존할 수 있고, 이에 따라 처리 장치(110)는 경계 상자의 크기 및 위치 중 적어도 하나에 기초하여 이격 차량과의 거리를 추정할 수 있다. 일부 실시예들에서, 처리 장치(110)는 감지 신호(SEN) 및 이미지 데이터(IMG) 모두에 기초하여 이격 차량과의 거리를 획득할 수도 있다.
일부 실시예들에서, 처리 장치(110)는 이미지 데이터(IMG)를 탑 뷰(top view) 이미지에 대응하는 데이터로 변환할 수 있고, 탑 뷰 이미지에서 이격 차량들은 호스트 차량으로부터의 거리에 따라 배치될 수 있다. 예를 들면, 처리 장치(110)는, 호모그래피 매트릭스(homography matrix), 역원근 변환(inverse perspective mapping) 등에 기초하여 이미지 데이터(IMG)를 탑 뷰 이미지에 대응하는 데이터로 변환할 수 있다.
단계 S84c에서, 3차원 데이터를 생성하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는 추정된 길의 기하구조를 나타내는 3차원 데이터를 생성할 수 있고, 3차원 데이터를 메모리(113)에 저장할 수 있다. 전술된 바와 같이, 길 기하구조를 나타내는 3차원 데이터는 유용한 기능들에 사용될 수 있다. 3차원 데이터가 나타내는 길 기하구조의 예시들이 도 11a 및 도 11b를 참조하여 후술될 것이다.
도 11a 및 도 11b는 본 개시의 예시적 실시예들에 따라 추정된 길 기하구조의 예시들을 나타낸다. 구체적으로, 도 11a 및 도 11b는 도 10의 단계 S80c에 의해서 생성된 3차원 데이터가 나타내는 길의 기하구조의 예시들을 개략적으로 나타낸다. 도 10을 참조하여 전술된 바와 같이, 추정된 길 기하구조는 3차원 데이터로 표현될 수 있다. 이하에서, 도 11a 및 도 11b는 도 1을 참조하여 설명될 것이다.
도 11a를 참조하면, 추정된 길 기하구조(11a)는 길의 프로파일 및 횡단 경사를 나타낼 수 있다. 예를 들면, 도 11a에 도시된 바와 같이, 길 기하구조(11a)는 돌출부(11_2)를 포함할 수도 있고, 주행 방향의 좌측이 우측보다 높은 형상을 가질 수도 있다.
도 11b를 참조하면, 추정된 길 기하구조(11b)는 길의 상태 또는 노면(pavement)의 상태를 나타낼 수 있다. 예를 들면, 도 11b에 도시된 바와 같이, 길 기하구조(11b)는 자갈 노면(cobblestone pavement)을 나타내는 영역(11_4) 및 고른 노면(even pavement)을 나타내는 영역(11_6)을 포함할 수 있다.
도 12는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다. 구체적으로, 도 12의 순서도는 도 2의 단계 S80의 예시를 나타내고, 도 2를 참조하여 전술된 바와 같이, 도 12의 단계 S80d에서 길의 기하구조를 추정하는 동작이 수행될 수 있다. 도 12에 도시된 바와 같이, 단계 S80d는 단계 S82d 및 단계 S84d를 포함할 수 있고, 이하에서 도 12는 도 1을 참조하여 설명될 것이다.
단계 S82d에서, 이격 차량 촬영시 상태 정보를 획득하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는 적어도 하나의 센서(130)로부터 제공되는 감지 신호(SEN)에 기초하여 이격 차량 촬영시 차량(100)의 상태, 즉 카메라 모듈(120)의 상태를 획득할 수 있다. 도 7a의 케이스 A 및 케이스 B와 같이, 길의 상이한 기하구조에도 불구하고 이미지 데이터(IMG)에서 이격 차량은 동일하거나 유사하게 나타낼 수 있다. 이에 따라, 처리 장치(110)는 이격 차량이 위치한 길의 기하구조에서 차량(100)이 위치한 길의 기하정보를 보상하기 위하여, 이격 차량 촬영시 상태 정보를 획득할 수 있다. 예를 들면, 적어도 하나의 센서(130)는 차량(100)(또는 카메라 모듈(120))의 자세를 감지하는 가속도 센서, 자이로 센서 등을 포함할 수 있고, 처리 장치(110)는 감지 신호(SEN)에 기초하여 이격 차량 촬영시 차량(100)의 상태에 대한 정보를 획득할 수 있다.
단계 S84d에서, 추정된 길의 기하구조를 보상하는 동작이 수행될 수 있다. 일부 실시예들에서, 처리 장치(110)는 단계 S82d에서 획득된 상태 정보에 기초하여 차량(100)이 위치한 길의 프로파일을 판정할 수 있고, 이미지 데이터(IMG)에 기초하여 추정된 길의 프로파일을 판정된 프로파일에 기초하여 보상할 수 있다. 예를 들면, 도 7a의 케이스 B와 같이, 차량(100) 및 이격 차량이 모두 실질적으로 일치하는 경사도의 오르막 길을 주행중인 경우, 처리 장치(110)는 감지 신호(SEN)에 기초하여 차량(100)이 위치한 오르막 길의 제1 경사도를 판정할 수 있고, 이미지 데이터(IMG)에 기초하여 추정된 길의 제2 경사도(예컨대, 근사적으로 영)에 제1 경사도를 가산함으로써 이격 차량이 위치한 길의 경사도를 추정할 수 있다.
일부 실시예들에서, 처리 장치(110)는 단계 S83d에서 획득된 상태 정보에 기초하여 차량(100)이 위치한 길의 횡단 경사를 판정할 수 있고, 이미지 데이터(IMG)에 기초하여 추정된 길의 횡단 경사를 판정된 횡단 경사에 기초하여 보상할 수 있다. 예를 들면, 처리 장치(110)는 감지 신호(SEN)에 기초하여 차량(100)이 위치한 길의 제1 횡단 경사를 판정할 수 있고, 이미지 데이터(IMG)에 기초하여 추정된 길의 제2 횡단 경사(예컨대, 도 9의 각 θ)에 제1 횡단 경사를 가산함으로써 이격 차량이 위치한 길의 횡단 경사를 추정할 수 있다.
도 13은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다. 구체적으로, 도 13의 순서도는 도 2의 단계 S80의 예시를 나타내고, 도 2를 참조하여 전술된 바와 같이, 도 13의 단계 S80e에서 길의 기하구조를 추정하는 동작이 수행될 수 있다. 도 13에 도시된 바와 같이, 단계 S80e는 단계 S82e 및 단계 S84e를 포함할 수 있고, 이하에서 도 13은 도 1을 참조하여 설명될 것이다.
단계 S82e에서, 경계 상자에서 특징의 이전 위치를 획득하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(110)는 이미지 데이터(IMG)에서 검출된 경계 상자 및 경계 상자 내에서 추출된 특징에 대한 데이터를 메모리(113)에 저장할 수 있다. 처리 장치(110)는 현재 수신된 이미지 데이터(IMG)로부터 길의 기하구조를 추정하기 위하여, 이전에 수신된 이미지 데이터(IMG)에 의해서 생성된 데이터, 예컨대 경계 상자 및 특징에 대한 데이터를 메모리(113)로부터 독출할 수 있다. 이에 따라, 처리 장치(110)는 경계 상자의 적어도 일부에 대한 특징의 이전 위치를 획득할 수 있다.
단계 S84e에서, 특징의 이전 위치 및 현재 위치 사이 차이에 기초하여 길의 기하구조를 추정하는 동작이 수행될 수 있다. 일부 실시예들에서, 처리 장치(110)는 특징의 이전 위치로부터 현재 위치로의 변화량에 기초하여 길의 기하구조를 추정할 수 있다. 예를 들면, 이격 차량의 번호판의 세로 위치가 이전 위치보다 상승한 경우, 처리 장치(110)는 이전에 추정된 길의 프로파일에서 감소된 경사각을 갖는 길의 프로파일을 추정할 수 있고, 경사각의 감소분은 번호판의 이전 위치 및 현재 위치 사이 차이에 기초하여 판정할 수 있다.
도 14는 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다. 도 14의 방법은, 도 2의 방법과 유사하게 단계 S20', 단계 S40', 단계 S60' 및 단계 S80'을 포함할 수 있고, 추가적으로 단계 S90을 더 포함할 수 있다. 이하에서, 도 14에 대한 설명 중 도 2에 대한 설명과 중복되는 내용은 생략될 것이고, 도 14는 도 1을 참조하여 설명될 것이다.
단계 S20'에서, 이격 차량을 촬영함으로써 생성된 이미지 데이터(IMG)를 획득하는 동작이 수행될 수 있다. 단계 S40'에서, 이미지 데이터(IMG)에서 이격 차량의 경계 상자를 검출하는 동작이 수행될 수 있다. 단계 S60'에서, 이미지 데이터(IMG)로부터 이격 차량의 특징을 추출하는 동작이 수행될 수 있다. 단계 S80'에서, 경계 상자 및 특징에 기초하여, 이격 차량이 위치한 길의 기하구조를 추정하는 동작이 수행될 수 있다.
단계 S90에서, 차선 인식을 보조하는 동작이 수행될 수 있다. 차선 인식(lane detection)은 자율 주행, ACC(adaptive cruise control), LDW(lane departure warning), LKAS(lane keeping assistance system), LCC(lane centering control) 등과 같이 다양한 기능들에 활용될 수 있다. 이미지 데이터(IMG)에 나타내는 차선의 형상은 차선이 위치하는 길의 기하구조에 의존하여 변동할 수 있다. 이에 따라, 처리 장치(110)는, 단계 S80'에서 추정된 길의 구조에 기초하여 차선 인식이 보조할 수 있고, 결과적으로 차선 인식의 정확도가 향상될 수 있다.
도 15는 본 개시의 예시적 실시예에 따른 차량을 나타내는 블록도이다. 도 15에 도시된 바와 같이, 차량(200)은, 추진 장치(220), 전자 장치(240), 주변 장치(260) 및 주행 장치(280)를 포함할 수 있다.
추진 장치(220)는, 엔진/모터(221), 에너지원(222), 변속기(223), 휠/타이어(224), 서스펜션(225) 및 완충 장치(226)를 포함할 수 있다. 엔진/모터(221)는 내연 기관, 전기 모터, 증기 기관, 및 스털링 엔진(stirling engine) 간의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 차량(200)이 가스-전기 하이브리드 자동차(gas-electric hybrid car)인 경우, 엔진/모터(221)는 가솔린 엔진 및 전기 모터를 포함할 수 있다. 에너지원(222)은 엔진/모터(221)에 적어도 부분적으로 동력을 제공하는 에너지의 공급원일 수 있고, 엔진/모터(221)는 에너지원(222)을 운동 에너지로 변환할 수 있다.
에너지원(222)은, 비제한적인 예시로서 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리 및 다른 전기 전력원들 중 적어도 하나를 포함할 수 있다. 일부 실시예들에서, 에너지원(222)은 연료 탱크, 배터리, 커패시터 및 플라이휠(flywheel) 중 적어도 하나를 포함할 수도 있다. 또한, 에너지원(222)은 엔진/모터(221)뿐만 아니라 차량(200)의 다른 구성요소들에 에너지를 제공할 수 있다.
변속기(223)는, 기계적 동력을 엔진/모터(221)로부터 휠/타이어(224)에 전달할 수 있다. 예를 들면, 변속기(223)는 기어박스, 클러치, 차동 장치(differential) 및 구동축 중 적어도 하나를 포함할 수 있다. 변속기(223)가 구동축들을 포함하는 경우, 구동축들은 휠/타이어(224)에 결합되는 적어도 하나의 차축들을 포함할 수 있다. 휠/타이어(224)는 자전거, 모터 사이클, 사륜 형식의 자동차 등을 위한 다양한 구조를 가질 수 있고, 노면에 접촉할 수 있다.
서스펜션(225)은 차량(200)의 무게를 받쳐주는 장치로서, 노면으로부터 차량(200)의 지상고를 조절할 수 있고, 차량(200)에 전달되는 노면으로부터의 진동을 조절할 수도 있다. 완충 장치(226)는 주행 중 노면으로부터 전달받은 스프링 진동을 컨트롤할 수 있고, 스프링이 원상태로 복구하도록 도와줄 수 있다. 예를 들면, 완충 장치(226)는 스프링의 진동을 멈추기 위한 감쇠력을 발생시킴으로써 스프링의 탄성을 제어할 수 있다. 일부 실시예들에서, 완충 장치(226)는 서스펜션(225)에 포함될 수 있다.
전자 장치(240)는 컨트롤러(241), 처리 장치(242), 스토리지(243), 사용자 인터페이스(244), 적어도 하나의 센서(245) 및 전원(246)을 포함할 수 있다. 컨트롤러(241)는 차량(200)을 제어할 수 있고, ECU(electronic control unit)으로도 지칭될 수 있다. 예를 들면, 컨트롤러(241)는, 추진 장치(220) 및 주행 장치(280)를 제어함으로써 차량(200)의 주행을 제어할 수 있고, 주변 장치(260)를 제어할 수 있다. 일부 실시예들에서, 컨트롤러(241)는, 도 16을 참조하여 후술되는 바와 같이, 처리 장치(242)로부터 제공되는 길의 기하구조에 기초하여 차량(200)을 제어할 수 있다.
처리 장치(242)는 차량(200)의 주행을 보조하기 위한 다양한 동작들을 수행할 수 있다. 예를 들면, 도면들을 참조하여 전술된 바와 같이, 처리 장치(242)는 적어도 하나의 센서(245)에 포함된 이미지 센서로부터 이미지 데이터를 수신할 수 있고, 이미지 데이터에 기초하여 길의 기하구조를 추정할 수 있다. 또한, 처리 장치(242)는 추정된 길의 기하구조를 나타내는 데이터를 스토리지(243)에 저장할 수도 있고, 컨트롤러(241)에 제공할 수도 있다. 일부 실시예들에서, 처리 장치(242)는, 도 1을 참조하여 전술된 바와 같이, 제1 프로세서 및 제2 프로세서를 포함할 수 있다.
스토리지(243)는 데이터를 저장할 수 있고, 예컨대 비휘발성 반도체 메모리 장치, 휘발성 반도체 메모리 장치, 디스크 드라이브 등을 포함할 수 있다. 사용자 인터페이스(244)는 사용자 입력을 수신하기 위한 입력 장치 및 사용자에 출력 신호를 제공하기 위한 출력 장치를 포함할 수 있다. 예를 들면, 입력 장치는, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드, 조그 휠, 조그 스위치, 마이크 등을 포함할 수 있다. 또한, 출력 장치는, 오디오 신호를 출력하기 위한 스피커 및/또는 부저, 비디오 신호를 출력하기 위한 디스플레이 장치 및/또는 LED 등을 포함할 수 있다.
적어도 하나의 센서(245)는, 차량(200)의 상태를 감지하기 위한 센서를 포함할 수 있다. 예를 들면, 적어도 하나의 센서(245)는, 지자기 센서, 가속도 센서, 자이로 센서 등과 같이 움직임 센서를 포함할 수도 있고, 차량(200)의 위치를 추정하기 위한 GPS 센서를 포함할 수도 있다. 또한, 적어도 하나의 센서(245)는, 차량(200) 주변이 상태를 감지하기 위한 센서를 포함할 수 있다. 예를 들면, 적어도 하나의 센서(245)는, 무선(radio) 신호를 사용하여 차량(200) 주변의 물체들의 존재 및/또는 속도 등을 감지하는 RADAR 센서를 포함할 수 있고, 레이저를 사용하여 차량(200) 주변의 물체들의 존재 및/또는 속도 등을 감지하는 LIDAR 센서를 포함할 수도 있다. 또한, 적어도 하나의 센서(245)는 차량(200)의 주변을 촬영하는 적어도 하나의 이미지 센서(또는 이미지 센서를 포함하는 카메라 모듈)를 포함할 수 있고, 이미지 센서는 이격 차량을 촬영함으로써 생성된 이미지 데이터를 처리 장치(242)에 제공할 수 있다.
전원(246)은 차량(200)의 구성요소들 중 적어도 일부에 전력을 제공할 수 있다. 예를 들면, 전원(246)은 차량(200)의 주행에 의해서 전력을 생성하는 발전기를 포함할 수도 있고, 전력을 저장하기 위한 배터리를 포함할 수도 있다.
주변 장치(260)는, 전조등(261), 미등(262), 방향 지시등(263), 내부 조명(264), 와이퍼(265) 및 공조기(266)를 포함할 수 있다. 전조등(261)은 차량(200)의 전면에 배치될 수 있고, 미등(262)은 차량(200)의 후면에 배치될 수 있다. 도 5a 내지 도 5c를 참조하여 전술된 바와 같이, 전조등(261) 및/또는 미등(262)은 다른 차량에 의해서 특징으로서 추출될 수 있다. 방향 지시등(263)은, 차량(200)의 전면, 후면 및 측면 등에 배치될 수 있고, 내부 조명(264)은 운전자가 있는 공간에 배치될 수 있다. 와이퍼(265)는 차량(200)의 전면 및/또는 후면에 배치된 글라스 상에서 왕복 운동을 할 수 있고, 공조기(266)는 에어컨 및/또는 히터를 포함할 수 있다.
주행 장치(280)는 브레이크 유닛(281), 조향 유닛(282) 및 스로틀(283)을 포함할 수 있다. 브레이크 유닛(281)은 차량(200)을 감속시키도록 구성되는 매커니즘들의 조합으로 구현될 수 있다. 예를 들면, 브레이크 유닛(281)은 휠/타이어(224)의 회전 속도를 줄이기 위해 마찰을 사용할 수 있다. 조향 유닛(282)은 차량(200)의 주행 방향을 조절하도록 구성되는 매커니즘들의 조합으로 구현될 수 있다. 스로틀(283)은 엔진/모터(221)의 동작 속도를 제어하도록 구성되는 매커니즘들의 조합으로 구현될 수 있다. 예를 들면, 스로틀(283)은 엔진/모터(221)로 유입되는 연료공기의 혼합 가스 양을 조절할 수 있고, 동력 및 추력을 제어할 수 있다.
도 16은 본 개시의 예시적 실시예에 따라 길 기하구조를 추정하기 위한 방법을 나타내는 순서도이다. 구체적으로, 도 16의 순서도는 추정된 길의 기하구조에 기초한 차량의 제어 방법(S100)을 나타낸다. 도 16에 도시된 바와 같이, 차량의 제어 방법(S100)은 복수의 단계들(S110, S130, S150, S170, S190)을 포함할 수 있다. 일부 실시예들에서 차량의 제어 방법(S100)은 복수의 단계들(S110, S130, S150, S170, S190) 중 일부만을 포함할 수도 있다. 일부 실시예들에서, 차량의 제어 방법(S100)은 도 15의 컨트롤러(241)에 의해서 수행될 수 있고, 이하에서 도 16은 도 15를 참조하여 설명될 것이다.
단계 S110에서 서스펜션(225)을 조정(regulation)하는 동작이 수행될 수 있고, 단계 S130에서 완충 장치(226)의 댐퍼(damper)를 조정하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(242)에 의해서 상승하는 프로파일이 추정된 경우, 컨트롤러(241)는 차량(200)에 전달되는 노면으로부터의 진동이 감소하도록 서스펜션(225) 및 완충 장치(226)를 조정할 수 있다. 또한, 컨트롤러(241)는 돌출부가 추정된 경우, 차량(200)의 지상고가 상승하도록 서스펜션(225)을 조정할 수 있다.
단계 S150에서, 변속기(223)를 조정하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(242)에 의해서 상승하는 프로파일이 추정된 경우, 컨트롤러(241)는 변속비가 증가하도록 변속기(223)를 조정할 수 있다. 단계 S170에서, 조향 조정이 수행될 수 있다. 예를 들면, 처리 장치(242)에 의해서 횡단 경사를 가지는 굽은(curved) 길이 추정되는 경우, 컨트롤러(241)는 굽은 길에 따라 조향 유닛(282)을 조정할 수 있다. 단계 S190에서, 전조등(261)을 조정하는 동작이 수행될 수 있다. 예를 들면, 처리 장치(242)에 의해서 하강하는 프로파일이 추정된 경우, 컨트롤러(241)는 전조등(261)에서 방출되는 빛이 아래로 향하도록 전조등(261)을 조정할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 이격(distant) 차량을 촬영함으로써 생성된 입력 이미지를 획득하는 단계;
    상기 입력 이미지에서 상기 이격 차량의 경계 상자(bounding box)를 검출하는 단계;
    상기 입력 이미지로부터 상기 이격 차량의 적어도 하나의 특징을 추출하는 단계; 및
    상기 경계 상자의 적어도 일부에 대한 상기 적어도 하나의 특징의 위치에 기초하여, 상기 이격 차량이 위치한 길의 기하구조를 추정하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서,
    상기 경계 상자를 검출하는 단계는,
    복수의 차량 이미지들에 의해서 학습된 기계 학습 모델에 상기 입력 이미지를 제공하는 단계; 및
    상기 기계 학습 모델로부터 상기 경계 상자를 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 특징을 추출하는 단계는, 상기 이격 차량의 전조등(headlamp), 미등(tail lamp), 번호판(license plate), 사이드 미러(side mirror), 바퀴(wheel) 중 적어도 하나를 추출하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 청구항 1에 있어서,
    상기 길의 기하구조를 추정하는 단계는,
    상기 경계 상자에서 상기 적어도 하나의 특징의 세로 위치를 측정하는 단계; 및
    측정된 상기 세로 위치에 기초하여, 상기 길의 프로파일(profile)을 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 청구항 1에 있어서,
    상기 길의 기하구조를 추정하는 단계는,
    상기 적어도 하나의 특징의 기울기를 검출하는 단계; 및
    검출된 상기 기울기에 기초하여, 상기 길의 횡단 경사(cross slope)를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 청구항 1에 있어서,
    상기 이격 차량과의 거리를 획득하는 단계; 및
    상기 거리 및 상기 길의 기하구조에 기초하여, 3차원 데이터를 생성하는 단계를 더 포함하는 방법.
  7. 청구항 6에 있어서,
    상기 거리를 획득하는 단계는, 적어도 하나의 센서에 의해서 측정된 상기 거리를 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 청구항 6에 있어서,
    상기 거리를 획득하는 단계는, 상기 입력 이미지에서 상기 경계 상자의 위치 및 크기 중 적어도 하나에 기초하여 상기 거리를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 청구항 1에 있어서,
    상기 길의 기하구조를 추정하는 단계는,
    상기 이격 차량 촬영시 상태 정보를 획득하는 단계; 및
    상기 상태 정보에 기초하여 상기 길의 기하구조를 보상하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 청구항 1에 있어서,
    상기 길의 기하구조를 추정하는 단계는,
    상기 경계 상자의 적어도 일부에 대한 상기 적어도 하나의 특징의 이전 위치를 획득하는 단계; 및
    상기 적어도 하나의 특징의 상기 이전 위치 및 현재 위치 사이 차이에 기초하여 상기 길의 기하구조를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 이격(distant) 차량을 촬영함으로써 생성된 입력 이미지에서, 상기 이격 차량의 경계 상자를 검출하고 상기 이격 차량의 적어도 하나의 특징을 추출하도록 구성된, 제1 프로세서; 및
    상기 경계 상자의 적어도 일부에 대한 상기 적어도 하나의 특징의 위치에 기초하여, 상기 이격 차량이 위치한 길의 기하구조를 추정하도록 구성된 제2 프로세서를 포함하는 처리 장치.
  12. 청구항 11에 있어서,
    상기 경계 상자의 적어도 일부에 대한 상기 적어도 하나의 특징의 위치에 대한 정보를 저장하도록 구성된 메모리를 더 포함하고,
    상기 제2 프로세서는, 상기 메모리에 저장된 정보 및 상기 경계 상자의 적어도 일부에 대한 상기 적어도 하나의 특징의 현재 위치 사이 차이에 기초하여, 상기 길의 기하구조를 추정하도록 구성된 것을 특징으로 하는 처리 장치.
  13. 청구항 11에 있어서,
    상기 제2 프로세서는, 상기 길의 기하구조에 기초하여 차선 인식을 보조하도록 구성된 것을 특징으로 하는 처리 장치.
  14. 이격(distant) 차량을 촬영함으로써 입력 이미지를 생성하도록 구성된 카메라 모듈;
    상기 입력 이미지에서 상기 이격 차량의 경계 상자 및 적어도 하나의 특징을 검출하고, 상기 경계 상자의 적어도 일부에 대한 상기 적어도 하나의 특징의 위치에 기초하여 상기 이격 차량이 위치한 길의 기하구조를 추정하도록 구성된 처리 장치; 및
    상기 길의 기하구조에 기초하여 차량 제어를 위한 제어 신호를 생성하도록 구성된 컨트롤러를 포함하는 차량.
  15. 청구항 14에 있어서,
    상기 처리 장치는, 상기 경계 상자에서 상기 적어도 하나의 특징의 세로 위치에 기초하여 상기 길의 프로파일(profile)을 추정하도록 구성된 것을 특징으로 하는 차량.
  16. 청구항 14에 있어서,
    상기 처리 장치는, 상기 적어도 하나의 특징의 기울기에 기초하여, 상기 길의 횡단 경사(cross slope)를 추정하도록 구성된 것을 특징으로 하는 차량.
  17. 청구항 14에 있어서,
    상기 처리 장치는, 상기 이격 차량과의 거리 및 상기 길의 기하구조에 기초하여, 3차원 데이터를 생성하도록 구성되고,
    상기 컨트롤러는, 상기 3차원 데이터 및 상기 차량의 주행 거리에 기초하여 상기 제어 신호를 생성하도록 구성된 것을 특징으로 하는 차량.
  18. 청구항 14에 있어서,
    상기 차량의 자세를 감지하도록 구성된 가속도 센서 및 자이로 센서 중 적어도 하나를 포함하고,
    상기 처리 장치는, 상기 차량의 자세에 기초하여 상기 길의 기하구조를 보상하도록 구성된 것을 특징으로 하는 차량.
  19. 청구항 14에 있어서,
    상기 처리 장치는, 상기 경계 상자의 적어도 일부에 대한 상기 적어도 하나의 특징의 이전 위치 및 현재 위치 사이 차이에 기초하여 상기 길의 기하구조를 추정하도록 구성된 것을 특징으로 하는 차량.
  20. 청구항 14에 있어서,
    상기 컨트롤러는, 서스펜션(suspension) 조정, 완충 장치의 댐퍼 조정, 속도 조정, 변속기 조정, 조향 조정, 전조등 조정 중 적어도 하나를 위하여 상기 제어 신호를 생성하도록 구성된 것을 특징으로 하는 차량.
KR1020200013304A 2020-02-04 2020-02-04 길 기하구조 추정을 위한 장치 및 방법 KR20210099436A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200013304A KR20210099436A (ko) 2020-02-04 2020-02-04 길 기하구조 추정을 위한 장치 및 방법
US17/007,650 US11361558B2 (en) 2020-02-04 2020-08-31 Apparatus and method for estimating road geomeiry
CN202011242702.2A CN113221609A (zh) 2020-02-04 2020-11-09 用于估计道路几何形状的装置和方法
US17/837,966 US11631258B2 (en) 2020-02-04 2022-06-10 Apparatus and method for estimating road geometry

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200013304A KR20210099436A (ko) 2020-02-04 2020-02-04 길 기하구조 추정을 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210099436A true KR20210099436A (ko) 2021-08-12

Family

ID=77085774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200013304A KR20210099436A (ko) 2020-02-04 2020-02-04 길 기하구조 추정을 위한 장치 및 방법

Country Status (3)

Country Link
US (2) US11361558B2 (ko)
KR (1) KR20210099436A (ko)
CN (1) CN113221609A (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112240752B (zh) * 2019-07-17 2022-06-07 中车长春轨道客车股份有限公司 随车检验轨道车辆动态包络线的测试装置和测试方法
US11003919B1 (en) * 2020-10-16 2021-05-11 Hayden Al Technologies, Inc. Systems and methods for detecting traffic violations using mobile detection devices
US11164014B1 (en) * 2020-11-09 2021-11-02 Hayden Ai Technologies, Inc. Lane violation detection using convolutional neural networks
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置
CN118284910A (zh) * 2021-10-04 2024-07-02 埃沃哥有限责任公司 用于自主车辆的地形地图绘制方法
US11727795B1 (en) 2022-02-11 2023-08-15 Hayden Ai Technologies, Inc. Methods and systems for trusted management of traffic violation data using a distributed ledger
EP4254361A1 (en) * 2022-03-28 2023-10-04 TVS Motor Company Limited A system in a vehicle for detecting road anomalies and a method thereof
CN114898325B (zh) * 2022-07-12 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种车辆危险变道检测方法、装置及电子设备
US11776276B1 (en) 2022-11-14 2023-10-03 Hayden Al Technologies, Inc. System and methods for automatically validating evidence of traffic violations using automatically detected context features

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325700A (ja) 2000-05-18 2001-11-22 Nec Corp 車載用画像認識方法および装置
JP2005178531A (ja) * 2003-12-18 2005-07-07 Nissan Motor Co Ltd 路面形状検出装置及び路面形状検出方法
JP5262113B2 (ja) 2005-12-26 2013-08-14 旭硝子株式会社 硬化性組成物
JP5761451B2 (ja) * 2012-03-29 2015-08-12 トヨタ自動車株式会社 路面状態推定装置
US9758099B2 (en) 2013-03-15 2017-09-12 Gentex Corporation Display system and method thereof
KR102231560B1 (ko) 2014-11-24 2021-03-24 현대엠엔소프트 주식회사 차량 주행 영상을 통한 도로 경사도 추출 및 연비 개선 방법
KR20170030936A (ko) 2015-09-10 2017-03-20 주식회사 만도 차간거리 측정장치
KR101729482B1 (ko) 2015-11-25 2017-04-24 (주)엠씨넥스 차량용 스테레오 카메라의 오정보 방지 장치 및 방법
JP7044513B2 (ja) * 2017-10-23 2022-03-30 株式会社Soken 道路認識装置
CN112714913A (zh) * 2018-09-26 2021-04-27 法弗人工智能有限公司 结构注释
EP3757611A1 (en) * 2019-06-27 2020-12-30 Aptiv Technologies Limited Vertical road profile estimation

Also Published As

Publication number Publication date
US11361558B2 (en) 2022-06-14
US20220301321A1 (en) 2022-09-22
US11631258B2 (en) 2023-04-18
CN113221609A (zh) 2021-08-06
US20210241003A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
KR20210099436A (ko) 길 기하구조 추정을 위한 장치 및 방법
KR102409634B1 (ko) 차량 움직임에 기초한 센서 조절
US11299150B2 (en) Using wheel orientation to determine future heading
US20210039648A1 (en) Robust Method for Detecting Traffic Signals and their Associated States
US10347127B2 (en) Driving mode adjustment
US10181084B2 (en) Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
CN108688656B (zh) 车辆及用于控制车辆的方法
US8473144B1 (en) Controlling vehicle lateral lane positioning
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
KR101792985B1 (ko) 장애물 평가 기법
US9260092B1 (en) Methods and systems for steering-based oscillatory vehicle braking
JP2019535013A (ja) 自律乗物の知覚および計画のためのレーダによって生成される占有グリッド
US20140330479A1 (en) Predictive Reasoning for Controlling Speed of a Vehicle
CN116660871A (zh) 传感器偏差校正
US9043071B1 (en) Steering-based scrub braking
US20230419678A1 (en) Joint Detection and Grouping of Road Objects Using Machine Learning

Legal Events

Date Code Title Description
A201 Request for examination