KR20220021020A - 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어 - Google Patents

검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어 Download PDF

Info

Publication number
KR20220021020A
KR20220021020A KR1020227003640A KR20227003640A KR20220021020A KR 20220021020 A KR20220021020 A KR 20220021020A KR 1020227003640 A KR1020227003640 A KR 1020227003640A KR 20227003640 A KR20227003640 A KR 20227003640A KR 20220021020 A KR20220021020 A KR 20220021020A
Authority
KR
South Korea
Prior art keywords
vehicle
image
host vehicle
processing unit
images
Prior art date
Application number
KR1020227003640A
Other languages
English (en)
Other versions
KR102493878B1 (ko
Inventor
바락 코헨
기데온 스테인
Original Assignee
모빌아이 비젼 테크놀로지스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모빌아이 비젼 테크놀로지스 엘티디. filed Critical 모빌아이 비젼 테크놀로지스 엘티디.
Priority to KR1020237002352A priority Critical patent/KR20230017365A/ko
Publication of KR20220021020A publication Critical patent/KR20220021020A/ko
Application granted granted Critical
Publication of KR102493878B1 publication Critical patent/KR102493878B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

자율주행차를 주행제어하는 시스템과 방법이 기재된다. 일 실시예는 도어 개방 이벤트의 검출에 기반하여 호스트 차량을 주행제어하는 시스템과 방법에 관한 것이다. 다른 실시예는 호스트 차량이 운행중인 차로를 향한 타깃 차량의 이동에 기반하여 호스트 차량을 주행제어하는 시스템과 방법에 관한 것이다. 제3 실시예는 호스트 차량이 운행하는 도로가 일방통행도로인지 여부를 검출하는 시스템과 방법에 관한 것이다. 제4 실시예는 호스트 차량의 주변환경 내의 주차 차량의 예측 상태를 판단하는 시스템과 방법에 관한 것이다. 제5 실시예는 두 대의 정지 상태의 차량 사이의 간격에 기반하여 호스트 차량을 주행제어하는 시스템과 방법에 관한 것이다.

Description

검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어{controlling host vehicle based on detected spacing between stationary vehicles}
본 발명은 차량의 자율 주행에 관한 것이다. 또한, 본 발명은 도어 개방의 검출에 기반을 둔 호스트 차량의 주행, 타깃 차량의 호스트 차량 차선 진입의 검출에 기반을 둔 호스트 차량의 주행, 호스트 차량이 주행중인 도로가 일방통행인지 여부의 검출에 기반을 둔 호스트 차량의 주행, 및 주차 차량의 예측 상황 판단을 위한 시스템 및 방법에 관한 것이다.
기술의 지속적인 발전과 함께, 도로 위를 주행할 수 있는 완전 자율주행 자동차의 구현이 목전에 있다. 자율주행차는 의도한 목적지에 안전하고 정확하게 도착하기 위해 다양한 요소를 고려하고 그런 요소에 근거한 적절한 판단을 해야 할 수 있다. 예를 들어, 자율주행차는 시각 정보(예를 들면, 카메라가 촬영한 정보), 레이더 또는 라이더(LIdaR)로부터의 정보를 처리하고 해석해야 할 수 있고, 또한 기타 출처(예를 들면, gPS 장치, 속력 센서, 가속도계, 서스펜션 센서 등)로부터 획득한 정보를 이용할 수도 있다. 동시에, 자율주행차는, 목적지로 주행하기 위하여, 특정 도로 내의 위치(예를 들면, 다차선 도로상의 차선)를 식별하고, 다른 차량을 따라 주행하고, 장애물과 보행자를 회피하고, 신호등과 도로표지판을 관찰하고, 적절한 교차로나 분기점에서 한 도로에서 다른 도로로 이동하고, 차량의 작동 중에 발생하는 기타 상황에 대응할 필요가 있을 수도 있다.
자율주행차는 변화하는 상황에 대해 충분한 시간을 가지고 반응하여 차량의 주행 경로를 조정하거나 브레이크를 작동할 수 있어야 한다. 현존하는 브레이크 시스템에 사용되는 알고리즘과 같은 많은 전통적인 알고리즘의 반응 시간은 인간의 반응 시간에 비교가 되지 못하고 있는 실정이다. 이에 따라, 이러한 알고리즘은 완전 자율주행 자동차에 사용되지 못하고 인간 운전자의 백업으로 사용되는 것이 더 적합한 경우가 많다.
또한, 주차된 차량의 특징이 도로의 특징에 대한 훌륭한 지시자인 경우가 많다. 예를 들어, 주차 차량의 방향은 일방통행 도로인지 여부를 지시할 수 있고, 차량 사이의 간격은 보행자가 차량 사이에서 튀어나올 수 있는지 여부를 지시할 수 있다. 그러나 기존의 자율주행차 알고리즘은 이러한 특징을 활용하지 않는다.
자율주행차 시스템은 인간 운전자가 접근할 수 없는 부분까지의 측정을 활용할 수 있다. 예를 들면, 자율주행차 시스템은 적외선 카메라를 활용하여 주변환경에 접근하고 예측을 할 수 있다. 그러나 많은 기존 시스템은 시각 카메라와 적외선 카메라와 같은 조합의 측정을 활용하지 않는다. 본 발명의 실시예들은 앞서 설명한 기존 시스템의 단점들의 하나 이상을 처리할 수 있다.
본 발명은 도로 위를 주행할 수 있는 완전 자율주행 자동차의 구현에 목적이 있다.
또한, 차량의 주변환경을 모니터하는 하나, 둘, 또는 그 이상의 카메라에 의해 캡처된 영상의 분석에 근거하여 주행 반응을 제공하며, 자율 주행을 위한 시스템과 방법을 제공한다.
본 발명에 따른 실시예들은 자율 주행을 위한 시스템과 방법을 제공한다. 기재된 실시예는 카메라를 사용하여 자율 주행 특징을 제공할 수 있다. 예를 들면, 기재된 실시예에 따라, 기재된 시스템은 차량의 주변환경을 모니터하는 하나, 둘, 또는 그 이상의 카메라를 포함할 수 있다. 기재된 시스템은, 예를 들어, 하나 또는 그 이상의 카메라에 의해 캡처된 영상의 분석에 근거하여 주행 반응을 제공할 수 있다. 일부 실시예는 주변환경을 모니터하는 하나, 둘, 또는 그 이상의 적외선 카메라를 더 포함할 수 있다. 따라서 일부 실시예는, 예를 들어, 시각 이미지, 적외선 이미지, 또는 이들의 조합의 분석에 기반을 둔주행 반응을 제공할 수 있다.
상기 주행 반응은 또한, 예를 들어, gPS 데이터, 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 및/또는 기타 지도 데이터를 포함하는 기타 데이터를 고려할 수 있다.
일 실시예에서, 호스트 차량의 주변환경에서의 도어 개방 이벤트 검출에 기반을 두어 호스트 차량을 주행제어하는 네비게이팅 시스템은 적어도 하나의 프로세싱 처리장치를 포함할 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 호스트 차량의 주변환경과 연관된 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고 분석하여 주차 차량의 측면을 식별하도록 프로그램 될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 주차 차량의 측면의 전방 영역에서 주차 차량의 제1 구조적 특징과 주차 차량의 측면의 후방 영역에서 주차 차량의 제2 구조적 특징을 적어도 하나의 이미지에서 식별하고, 제1 및 제2 구조적 특징의 부근에서 주차 차량의 도어 에지를 적어도 하나의 이미지에서 식별하도록 더 프로그램 될 수 있다. 또한, 상기 적어도 하나의 프로세싱 처리장치는 이미지캡처장치로부터 수신된 하나 이상의 후속 이미지의 분석에 기반을 두어 주차 차량의 도어 에지의 이미지 특징의 변화를 판단하고, 주차 차량의 도어 에지의 이미지 특징의 변화에 적어도 부분적으로 기반을 두어 호스트 차량의 주행 경로를 변경하도록 프로그램될 수 있다.
다른 실시예에서, 호스트 차량의 주변환경에서의 도어 개방 이벤트 검출에 기반을 두어 호스트 차량을 주행제어하는 네비게이팅 방법은 호스트 차량의 주변환경과 연관된 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계와 상기 적어도 하나의 이미지를 분석하여 주차 차량의 측면을 식별하는 단계를 포함할 수 있다. 상기 방법은 주차 차량의 측면의 전방 영역에서 주차 차량의 제1 구조적 특징과 주차 차량의 측면의 후방 영역에서 주차 차량의 제2 구조적 특징을 적어도 하나의 이미지에서 식별하는 단계와 제1 및 제2 구조적 특징의 부근에서 주차 차량의 도어 에지를 상기 적어도 하나의 이미지에서 식별하는 단계를 더 포함할 수 있다. 상기 네비게이팅 방법은 또한 이미지캡처장치로부터 수신된 하나 이상의 후속 이미지의 분석에 기반을 두어 주차 차량의 도어 에지의 이미지 특징의 변화를 판단하는 단계와 주차 차량의 도어 에지의 이미지 특징의 변화에 적어도 부분적으로 기반하여 호스트 차량의 주행 경로를 변경하는 단계를 더 포함할 수 있다.
또 다른 실시예에서, 호스트 차량이 운행중인 차로를 향한 타깃 차량의 이동에 기반을 두어 호스트 차량을 주행제어하는 네비게이팅 시스템은 적어도 하나의 프로세싱 처리장치를 포함할 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 호스트 차량의 주변환경과 연관된 복수의 이미지를 이미지캡처장치로부터 수신하고 복수의 이미지의 적어도 하나를 분석하여 타깃 차량 및 타깃 차량 측면의 적어도 하나의 휠 요소(wheel component)를 식별하도록 프로그램 될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 복수의 이미지의 적어도 두 이미지에서 상기 타깃 차량의 적어도 하나의 휠 요소(wheel component)를 포함하는 영역을 분석하여 상기 타깃 차량의 적어도 하나의 휠 요소(wheel component)와 연관된 동작을 식별하고 상기 타깃 차량의 적어도 하나의 휠 요소(wheel component)와 연관된 식별된 동작에 기반을 두어 상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하도록 더 프로그램 될 수 있다.
또 다른 실시예에서, 호스트 차량이 운행중인 차로를 향한 타깃 차량의 이동에 기반을 두어 호스트 차량을 주행제어하는 네비게이팅 방법은 호스트 차량의 주변환경과 연관된 복수의 이미지를 이미지캡처장치로부터 수신하는 단계와 상기 복수의 이미지의 적어도 하나를 분석하여 타깃 차량 및 타깃 차량 측면의 적어도 하나의 휠 요소(wheel component)를 식별하는 단계를 포함할 수 있다. 상기 네비게이팅 방법은 상기 복수의 이미지의 적어도 두 이미지에서 상기 타깃 차량의 적어도 하나의 휠 요소(wheel component)를 포함하는 영역을 분석하여 상기 타깃 차량의 적어도 하나의 휠 요소(wheel component)와 연관된 동작을 식별하는 단계와 상기 타깃 차량의 적어도 하나의 휠 요소(wheel component)와 연관된 식별된 동작에 기반을 두어 상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계를 더 포함할 수 있다.
또 다른 실시예에서, 호스트 차량이 운행하는 도로가 일방통행 도로인지 여부를 검출하는 시스템은 적어도 하나의 프로세싱 처리장치를 포함할 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 호스트 차량의 주변환경과 연관된 적어도 하나의 이미지를 이미지캡처장치로부터 수신하고, 호스트 차량이 운행하는 도로의 제1측에 있는 복수의 제1차량을 상기 적어도 하나의 이미지의 분석에 기반을 두어 식별하고, 호스트 차량이 운행하는 도로의 제2측에 있는 복수의 제2 차량을 상기 적어도 하나의 이미지의 분석에 기반하여 식별하도록 프로그램 될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 복수의 제1차량과 연관된 제1 전방 방향을 판단하고, 상기 복수의 제2차량과 연관된 제2 전방 방향을 판단하고, 상기 제1 전방 방향과 제2 전방 방향이 모두 호스트 차량의 진행 방향과 반대인 경우에 호스트 차량의 적어도 하나의 주행 변경(navigational change)을 유발하도록 더 프로그램 될 수 있다.
또 다른 실시예에서, 호스트 차량이 운행하는 도로가 일방통행 도로인지 여부를 검출하는 방법은 호스트 차량의 주변환경과 연관된 적어도 하나의 이미지를 이미지캡처장치로부터 수신하는 단계, 호스트 차량이 운행하는 도로의 제1측에 있는 복수의 제1 차량을 상기 적어도 하나의 이미지의 분석에 기반을 두어 식별하는 단계, 및 호스트 차량이 운행하는 도로의 제2측에 있는 복수의 제2 차량을 상기 적어도 하나의 이미지의 분석에 기반을 두어 식별하는 단계를 포함할 수 있다. 상기 방법은 상기 복수의 제1차량과 연관된 제1 전방 방향을 판단하는 단계, 상기 복수의 제2차량과 연관된 제2 전방 방향을 판단하는 단계, 및 상기 제1 전방 방향과 제2 전방 방향이 모두 호스트 차량의 진행 방향과 반대인 경우에 호스트 차량의 적어도 하나의 주행 변경(navigational change)을 유발하는 단계를 더 포함할 수 있다.
다른 실시예에서, 호스트 차량을 주행제어하는 시스템은 적어도 하나의 프로세싱 처리장치를 포함할 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 호스트 차량이 운행중인 제1 도로에서 제2도로로 호스트 차량을 주행제어하기 위한 주행 명령을 수신하고 상기 제2도로의 환경과 연관된 적어도 하나의 이미지를 이미지캡처장치로부터 수신하도록 프로그램 될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 제2도로의 제1측에 있는 복수의 제1 차량을 상기 적어도 하나의 이미지의 분석에 기반을 두어 식별하고 상기 제2도로의 제2측에 있는 복수의 제2 차량을 상기 적어도 하나의 이미지의 분석에 기반을 두어 식별하도록 더 프로그램 될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 또한 상기 복수의 제1차량과 연관된 제1 전방 방향을 판단하고, 상기 복수의 제2차량과 연관된 제2 전방 방향을 판단하고, 상기 제1 전방 방향과 제2 전방 방향 모두가 상기 호스트 차량이 상기 제2도로로 진입할 경우에 상기 호스트 차량이 운행하게 될 진행 방향과 반대 방향임을 판단하도록 더 프로그램될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 제1 전방 방향과 제2 전방 방향 모두가 상기 호스트 차량이 상기 제2도로로 주행할 경우에 상기 호스트 차량이 운행하게 될 진행 방향과 반대 방향이라는 판단에 대응하여 주행 명령을 중단하도록 더 프로그램 될 수 있다.
또 다른 실시예에서, 호스트 차량의 주변환경 내의 주차 차량의 예측 상태를 판단하는 시스템은 이미지캡처장치, 적외선 이미지캡처장치, 및 적어도 하나의 프로세싱 처리장치를 포함할 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 호스트 차량의 주변환경과 연관된 복수의 이미지를 상기 이미지캡처장치로부터 수신하고, 상기 복수의 이미지의 적어도 하나를 분석하여 상기 주차 차량을 식별하고, 상기 복수의 이미지의 적어도 두 이미지를 분석하여 상기 주차 차량과 연관된 적어도 하나의 조명기구(light)의 조명 상태의 변화를 식별하도록 프로그램될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 주차 차량의 적어도 하나의 열 이미지(thermal image)를 상기 적외선 이미지캡처장치로부터 수신하고, 상기 주차 차량의 예측 상태를 상기 조명 상태의 변화와 상기 적어도 하나의 열 이미지(thermal image)의 분석에 기반을 두어 판단하고, 상기 주차 차량의 예측 상태에 기반을 두어 상기 호스트 차량에 적어도 하나의 주행 반응을 유발하도록 더 프로그램될 수 있다.
또 다른 실시예에서, 호스트 차량의 주변환경 내의 주차 차량의 예측 상태를 판단하는 방법은 호스트 차량의 주변환경과 연관된 복수의 이미지를 이미지캡처장치로부터 수신하는 단계, 상기 복수의 이미지의 적어도 하나를 분석하여 상기 주차 차량을 식별하는 단계, 및 상기 복수의 이미지의 적어도 두 이미지를 분석하여 상기 주차 차량과 연관된 적어도 하나의 등의 조명 상태의 변화를 식별하는 단계를 포함할 수 있다. 상기 방법은 상기 주차 차량의 적어도 하나의 열 이미지(thermal image)를 적외선 이미지캡처장치로부터 수신하는 단계, 상기 주차 차량의 예측 상태를 상기 조명 상태의 변화와 상기 적어도 하나의 열 이미지(thermal image)의 분석에 기반을 두어 판단하는 단계, 상기 주차 차량의 예측 상태에 기반을 두어 상기 호스트 차량에 적어도 하나의 주행 반응을 유발하는 단계를 더 포함할 수 있다.
또 다른 실시예에서, 호스트 차량의 주변환경 내의 주차 차량의 예측 상태를 판단하는 시스템은 이미지캡처장치와 적어도 하나의 프로세싱 처리장치를 포함할 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 호스트 차량의 주변환경과 연관된 복수의 이미지를 상기 이미지캡처장치로부터 수신하도록 프로그램될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 복수의 이미지의 적어도 하나를 분석하여 상기 주차 차량을 식별하고 상기 복수의 이미지의 적어도 두 이미지를 분석하여 상기 주차 차량과 연관된 적어도 하나의 등의 조명 상태의 변화를 식별하도록 더 프로그램될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 또한 상기 주차 차량의 예측 상태를 상기 조명 상태의 변화에 기반을 두어 판단하고, 상기 주차 차량의 예측 상태에 기반을 두어 상기 호스트 차량에 적어도 하나의 주행 반응을 유발하도록 프로그램 될 수 있다.
또 다른 실시예에서, 호스트 차량을 주행제어하는 시스템은 적어도 하나의 프로세싱 처리장치를 포함할 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 호스트 차량의 주변환경을 보여주는 복수의 이미지를 카메라로부터 수신하고 상기 복수의 이미지의 적어도 하나를 분석하여 적어도 두 대의 정지 상태의 차량을 식별하도록 프로그램될 수 있다. 상기 적어도 하나의 프로세싱 처리장치는 상기 두 대의 정지 상태의 차량 사이의 간격을 상기 복수의 이미지의 적어도 하나의 분석에 기반을 두어 판단하고 상기 두 대의 정지 상태의 차량 사이의 판단된 간격의 규모에 기반을 두어 상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하도록 더 프로그램 될 수 있다.
또 다른 실시예에서, 호스트 차량을 주행제어하는 방법은 호스트 차량의 주변환경을 보여주는 복수의 이미지를 카메라로부터 수신하는 단계와 상기 복수의 이미지의 적어도 하나를 분석하여 적어도 두 대의 정지 상태의 차량을 식별하는 단계를 포함할 수 있다. 상기 방법은 상기 두 대의 정지 상태의 차량 사이의 간격을 상기 복수의 이미지의 적어도 하나의 분석에 기반을 두어 판단하는 단계와 상기 두 대의 정지 상태의 차량 사이의 판단된 간격의 규모에 기반을 두어 상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계를 더 포함할 수 있다.
다른 기재된 실시예에 따라, 비일시적 컴퓨터 판독 가능한 매체는 적어도 하나의 프로세싱 처리장치에 의해 실행되고 상기 방법의 어느 하나 이상을 수행하는 프로그램 명령을 저장할 수 있다.
상기의 일반적인 설명과 하기의 상세한 설명은 예시와 설명을 위한 것일 뿐이며 본 발명의 청구범위를 제한하지 않는다.
일 실시예는 도어 개방 이벤트의 검출에 기반을 두어 호스트 차량을 주행제어하는 시스템과 방법을 제공한다.
다른 실시예는 호스트 차량이 운행중인 차로를 향한 타깃 차량의 이동에 기반을 두어 호스트 차량을 주행제어하는 시스템과 방법을 제공한다.
제3 실시예는 호스트 차량이 운행하는 도로가 일방통행도로인지 여부를 검출하는 시스템과 방법을 제공한다.
제4 실시예는 호스트 차량의 주변환경 내의 주차 차량의 예측 상태를 판단하는 시스템과 방법을 제공한다.
제5 실시예는 두 대의 정지 상태의 차량 사이의 간격에 기반을 두어 호스트 차량을 주행제어하는 시스템과 방법을 제공한다.
일부 실시 예에서, 두 대의 차량 사이의 간격이 타깃 차량이 횡단하기에 충분하다고 판단되는 경우에 주행 변경이 실행될 수 있다. 정지된 두 대의 차량 사이의 간격이 보행자가 횡단하기에 충분하다고 판단되는 경우에 상기 주행 변경이 실행될 수 있다.
일부 실시예에서, 이후, 처리부(110)는 복수의 이미지의 분석에 근거하여 두 대의 정지된 차량 사이의 간격 내에서 보행자를 검출할 수 있다. 이러한 검출 방법은 기존의 동작 검출을 개선할 수 있다.
도 1은 기재된 실시예에 따른 예시적인 시스템의 개략도이다.
도 2a는 기재된 실시예에 따른 시스템을 포함하는 예시적인 자동차의 측면도이다.
도 2b는 기재된 실시예에 따른 도 1a의 자동차와 시스템의 평면도이다.
도 2c는 기재된 실시예에 따른 시스템을 포함하는 자동차의 다른 실시예의 평면도이다.
도 2d는 기재된 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2e는 기재된 실시예에 따른 시스템을 포함하는 자동차의 또 다른 실시예의 평면도이다.
도 2f는 기재된 실시예에 따른 예시적인 자동차 제어 시스템의 개략도이다.
도 3a는 기재된 실시예에 따른 차량 이미징 시스템을 위한 백미러(rear view mirror)와 사용자 인터페이스를 포함하는 차량의 실내를 개략적으로 예시한 것이다.
도 3b는 기재된 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 3c는 기재된 실시예에 따른 도 3b의 카메라 마운트를 다른 시각에서 예시한 것이다.
도 3d는 기재된 실시예에 따른 백미러 뒤의 차량 전면 유리에 위치되도록 구성된 카메라 마운트의 일례이다.
도 4는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 예시적인 구성도이다.
도 5a는 기재된 실시예에 따른 단안 이미지(monocular image)분석에 근거한 하나 이상의 주행 반응을 야기하는 과정의 일례를 예시한 순서도이다.
도 5b는 기재된 실시예에 따른 일련의 영상에서 하나 이상의 차량 및/또는 보행자를 검출하는 예시적인 과정을 도시한 순서도이다.
도 5c는 기재된 실시예에 따른 일련의 영상에서 도로 표지 및/또는 차선 형상 정보를 검출하는 예시적인 과정을 도시한 순서도이다.
도 5d는 기재된 실시예에 따른 일련의 영상에서 신호등을 검출하는 예시적인 과정을 도시한 순서도이다.
도 5e는 기재된 실시예에 따른 차량 경로에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정을 도시한 순서도이다.
도 5f는 기재된 실시예에 따른 선두 차량이 차선 변경을 하는지를 판단하는 예시적인 과정을 도시한 순서도이다.
도 6은 기재된 실시예에 따른 입체 영상 분석에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정을 도시한 순서도이다.
도 7은 기재된 실시예에 따른 3개 집합의 영상에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정을 도시한 순서도이다.
도 8은 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 다른 예시적인 구성도이다.
도 9는 기재된 실시예에 따른 시스템의 시점에서 바라본 도로의 개략도이다.
도 10은 기재된 실시예에 따른 시스템의 시점에서 바라본 도로의 다른 개략도이다.
도 11은 기재된 실시예에 따른 시스템의 시점에서 바라본 주차 차량의 개략도이다.
도 12a는 기재된 실시예에 따른 시스템의 시점에서 바라본 도어 개방 이벤트의 개략도이다.
도 12b는 기재된 실시예에 따른 시스템의 시점에서 바라본 도어 개방 이벤트의 다른 개략도이다.
도 13은 기재된 실시예에 따른 시스템의 시점에서 바라본 도로의 다른 개략도이다.
도 14는 기재된 실시예에 따른 도어 개방 이벤트의 검출에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정을 도시한 순서도이다.
도 15는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 다른 예시적인 구성도이다.
도 16a는 기재된 실시예에 따른 시스템의 시점에서 바라본 주차 차량의 개략도이다.
도 16b는 기재된 실시예에 따른 시스템의 시점에서 바라본 주차 차량의 다른 개략도이다.
도 17은 기재된 실시예에 따른 호스트 차량의 차선으로 진입하는 타깃 차량의 검출에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정을 도시한 순서도이다.
도 18은 기재된 실시예에 따른 도로의 호모그래피를 뒤트는 예시적인 과정을 도시한 순서도이다.
도 19는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 다른 예시적인 구성도이다.
도 20a는 기재된 실시예에 따른 시스템의 시점에서 바라본 일방통행 도로의 개략도이다.
도 10b는 기재된 실시예에 따른 시스템의 시점에서 바라본 일방통행 도로의 다른 개략도이다.
도 21은 기재된 실시예에 따른 호스트 차량이 운행하는 도로가 일방통행 도로인지 여부의 검출에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정을 도시한 순서도이다.
도 22는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 다른 예시적인 구성도이다.
도 23a는 기재된 실시예에 따른 시스템의 시점에서 바라본 주차 차량의 개략도이다.
도 23b는 기재된 실시예에 따른 시스템의 시점에서 바라본 조명의 변화가 있는 주차 차량의 개략도이다.
도 23c는 기재된 실시예에 따른 시스템의 시점에서 바라본 주차 차량의 히트맵(heat map)의 개략도이다.
도 24는 기재된 실시예에 따른 주차 차량의 예측 상태를 판단하기 위한 예시적인 과정을 도시한 순서도이다.
도 25는 기재된 실시예에 따른 시스템으로부터 시각적 이미지와 적외선 이미지를 정렬하기 위한 예시적인 과정을 도시한 순서도이다.
도 26은 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령을 저장하도록 구성된 메모리의 다른 예시적인 구성도이다.
도 27a는 기재된 실시예에 따른 시스템의 시점에서 바라본 도로의 다른 개략도이다.
도 27b는 기재된 실시예에 따른 검출 핫스팟이 있는 도로의 다른 개략도이다.
도 28은 기재된 실시예에 따른 호스트 차량을 주행제어하기 위한 예시적인 과정을 도시한 순서도이다.
하기의 상세한 설명은 첨부한 도면에 관한 것이다. 가능한 모든 경우에, 도면과 설명에서 동일 또는 유사한 구성요소에 동일한 참조 번호를 사용한다. 여러 예시적인 실시예를 설명하였지만, 다양한 수정, 개조, 구현 등이 가능하다. 예를 들어, 도면에 예시된 구성요소를 치환, 또는 추가, 수정할 수 있고, 설명에 포함된 방법은 단계를 치환하거나 순서를 바꾸거나 추가하여 수정할 수 있다. 따라서, 하기의 상세한 설명은 기재한 실시예와 예시에 국한되지 않고, 본 발명의 청구 범위는 첨부한 청구항에 의해 정의된다.
[자율주행차의 개요]
본 발명의 설명에서 사용된 "자율주행차"라는 용어는 운전자의 입력 없이 적어도 하나의 주행 변경(navigational change)을 구현할 수 있는 차량을 의미한다. "주행 변경(navigational change)"이란 차량의 조향, 제동, 가속/감속의 하나 이상을 제어 변경하는 것을 의미한다. 차량이 자율이기 위해서는 완전 자동(예, 운전자나 운전자의 입력 없이 완전히 동작)이어야 한다. 반면, 자율주행차는 특정 시간 동안은 운전자의 제어 하에 작동할 수 있고 다른 시간 동안은 운전자의 제어 없이 작동할 수 있는 차량을 포함한다. 자율주행차는 조향(예, 차량 진로의 차선 사이 유지) 또는 특정 상황 하에서의(모든 상황 하에서가 아님) 일부 조향 동작과 같은 일부 주행 요소만을 제어하고 나머지 요소(예, 제동 또는 특정 상황 하에서의 제동)는 운전자에게 맡기는 차량도 포함할 수 있다. 일부 경우에, 자율주행차는 차량의 제동 및/또는 속도 제어, 조향의 일부 또는 모든 요소를 처리할 수 있다.
운전자들은 흔히 시각적 신호와 관찰에 의존해 차량을 제어하므로, 이에 따라 교통 인프라는 운전자들에게 시각 정보를 제공하도록 설계된 차선 표시, 교통 표지, 신호등을 포함하여 구축되었다. 교통 인프라의 이러한 설계 특징을 고려하여, 자율주행차는 카메라 및 차량의 주변으로부터 확보한 시각 정보를 분석하는 처리부를 포함할 수 있다. 시각 정보는, 예를 들어, 운전자가 눈으로 확인할 수 있는 교통 인프라의 구성요소(예, 차선 표시, 교통 표지, 신호등 등) 및 기타 장애물(예, 다른 차량, 보행자, 잔해 등)을 나타내는 이미지를 포함할 수 있다. 자율주행차는 또한, 적외선 카메라를 포함할 수 있다. 이러한 실시예에서, 처리부는 주변환경에서 캡처한 열정보를 개별적으로 또는 시각적 정보와 함께 분석할 수 있다.
또한, 자율주행차는 주행 시에 차량 주변의 모델을 제공하는 정보와 같은 저장 정보도 사용할 수 있다. 예를 들어, 차량은 이동 중의 차량 환경과 관련된 정보를 제공하기 위하여 GPS 데이터 및/또는 센서 데이터(예, 가속도계, 속력 센서, 서스펜션 센서 등으로부터의 데이터), 기타 지도 데이터를 활용할 수 있고, 차량(다른 차량도 함께)은 이런 정보를 이용하여 차량의 위치를 모델 상에서 알아낼 수 있다. 일부 차량들은 또한, 서로 통신하며 정보를 교환하고 차량 주변의 위험이나 변화에 대해 상대 차량을 우회하게 할 수 있다.
[시스템 개요]
도 1은 예시적으로 기재된 실시예에 따른 시스템(100)의 구성도이다. 시스템(100)은 해당 구현의 요구 조건에 따라 다양한 구성 요소를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 처리부(110), 이미지획득부(120), 위치센서(130), 하나 이상의 메모리부(140, 150), 지도 데이터베이스(160), 사용자 인터페이스(170), 무선 송수신기(172)를 포함할 수 있다. 처리부(110)는 하나 이상의 처리 장치를 포함할 수 있다. 일부 실시예에서, 처리부(110)는 애플리케이션 프로세서(180), 이미지 프로세서(190), 또는 기타 적합한 처리 장치를 포함할 수 있다. 이와 마찬가지로, 이미지획득부(120)는 특정 애플리케이션의 요구 조건에 따라 여러 개의 영상 획득 장치 및 소자를 포함할 수 있다. 일부 실시예에서, 이미지획득부(120)는 이미지캡처장치(122, 124, 126)와 같은 하나 이상의 이미지캡처장치(예, 카메라, CCD, 또는 기타 유형의 이미지 센서)를 포함할 수 있다. 일부 실시예에서, 이미지획득부(120)는 하나 이상의 적외선캡처장치(예, 적외선 카메라, 원적외선 검출기, 또는 기타 유형의 적외선 센서)를 더 포함할 수 있다. 예를 들어, 하나 이상의 이미지캡처장치(122, 124, 126)는 적외선이미지캡처장치를 포함할 수 있다.
시스템(100)은 또한 처리부(110)와 이미지획득부(120)를 서로 통신하도록 연결하는 데이터 인터페이스(128)를 포함할 수 있다. 예를 들어, 데이터 인터페이스(128)는 이미지획득부(120)가 획득한 영상 데이터를 처리부(110)로 전송하기 위한 단수 또는 복수의 유선 및/또는 무선 링크를 포함할 수 있다.
무선 송수신기(172)는 무선주파수, 또는 적외선주파수, 자기장, 전기장을 사용하여 무선 인터페이스를 통하여 전파를 하나 이상의 네트워크(예, 이동통신, 인터넷 등)와 주고받도록 구성된 하나 이상의 장치를 포함할 수 있다. 무선 송수신기(172)는 공지의 표준(예, Wi- Fi, Bluetooth®, Bluetooth Smart, 802.15.4, ZigBee 등)을 사용하여 데이터를 송신 및/또는 수신할 수 있다. 이러한 전파는 호스트 차량으로부터 원격에 위치한 하나 이상의 서버로 전송하는 통신을 포함할 수 있다. 이러한 전파는 또한 호스트 차량과 호스트 차량 주변환경 내에 있는 한 대 이상의 타깃 차량 사이의 (일방 또는 쌍방의) 통신(예, 호스트 차량 주변환경 내의 타깃 차량에 대한 또는 이 타깃 차량과 함께 호스트 차량의 주행을 조정하기 위한 통신) 또는 전파를 전송하는 차량의 주변의 불특정 수신인에게 보내는 방송 전파까지도 포함할 수 있다.
애플리케이션 프로세서(180)와 이미지 프로세서(190)는 모두 다양한 종류의 하드웨어 기반 처리 장치를 포함할 수 있다. 예를 들어, 애플리케이션 프로세서(180)와 이미지 프로세서(190) 중 하나 또는 모두는 마이크로프로세서, 전처리 장치(예, 이미지 전처리 장치), 그래픽 프로세서, 중앙 처리 장치(CPU), 보조 회로, 디지털 신호 프로세서, 집적 회로, 메모리, 그래픽 처리 장치(GPU) 또는 애플리케이션을 실행하고 영상을 처리 및 분석하기에 적합한 유형의 장치를 포함할 수 있다. 일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 단일 또는 멀티 코어 프로세서, 모바일 장치 마이크로컨트롤러, 중앙 처리 장치의 한 종류를 포함할 수 있다. 다양한 처리 장치들이 사용될 수 있으며, 여기에는, 예를 들면, Intel®, AMD® 등과 같은 업체가 제공하는 프로세서들 또는 NVIDIA®, ATI® 등과 같은 업체가 제공하는 GPU가 포함될 수 있고, 다양한 아키텍처(예, x86 프로세서, ARM® 등)가 포함될 수 있다.
일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 Mobileye®가 제공하는 EyeQ 시리즈의 프로세서 칩을 포함할 수 있다. 이러한 프로세서 설계는 로컬 메모리와 명령 집합을 가진 다중 처리 장치를 포함한다. 이러한 프로세서는 복수의 이미지 센서로부터 이미지 데이터를 수신하는 비디오 인풋을 포함할 수 있고 비디오 아웃풋 기능도 포함할 수 있다. 일례로, EyeQ2®는 332Mhz로 작동하는 90nm-마이크론 기술을 사용한다. EyeQ2® 아키텍처는 두 개의 부동 소수점(floating point) 하이퍼 스레드(hyper-thread) 32비트 RISC CPU(MIPS32® 34K® cores), 다섯 개의 Vision Computing Engines (VCE), 세 개의 Vector Microcode Processors(VMP® ), Denali 64비트 Mobile DDR Controller, 128비트 내부 Sonics Interconnect, 듀얼 16비트 비디오 인풋 및 18비트 비디오 아웃풋 제어 장치, 16채널 DMA 및 여러 주변 장치로 구성된다. MIPS34K CPU는 다섯 개의 VCE와 세 개의 VMP??, DMA, 두 번째 MIPS34K CPU, 다중 채널 DMA, 및 기타 주변 장치를 관리한다. 다섯 개의 VCE, 세 개의 VMP® 및 MIPS34K CPU는 다기능 묶음 애플리케이션이 요구하는 집중 영상 연산을 수행할 수 있다. 다른 일례에서, EyeQ2®보다 6배 강력한 3세대 프로세서인 EyeQ3®가 실시예에 사용될 수 있다. 다른 예에서, 기재된 실시예에 EyeQ4® 및/또는 EyeQ5®가 사용될 수 있다. 물론, 새로운 또는 미래의 EyeQ 처리 장치도 기재된 실시예와 함께 사용될 수 있다.
여기에 기재된 프로세싱 처리 장치는 각각 특정한 기능을 수행하도록 구성될 수 있다. 특정한 기능을 수행하도록 상기의 EyeQ 프로세서 또는 기타 제어 장치 또는 마이크로프로세서와 같은 처리 장치를 구성하는 것은 컴퓨터 실행 명령을 프로그램하고 이러한 명령을 처리 장치가 작동하는 동안에 처리 장치에 제공하여 실행하도록 하는 것을 포함할 수 있다. 일부 실시예에서, 처리 장치를 구성하는 것은 구조적 명령으로 처리 장치를 직접 프로그램하는 것을 포함할 수 있다. 예를 들어, FPGA(field-programmable gate array), ASIC(application-specific integrated circuit) 등과 같은 처리 장치가 하나 이상의 HDL(hardware description languages)을 사용하여 구성될 수 있다.
다른 실시예에서, 프로세싱 처리 장치를 구성하는 것은 작동 중에 처리 장치에 접속 가능한 메모리에 실행 가능한 명령을 저장하는 것을 포함할 수 있다. 예를 들어, 프로세싱 처리 장치는 작동 중에 메모리에 접속하여 저장된 명령을 획득하고 실행할 수 있다. 어느 경우이든, 여기에 기재된 감지, 이미지 분석, 및/또는 주행제어 기능을 수행하도록 구성된 처리 장치는 호스트 차량의 다중 하드웨어 기반 구성요소를 제어하도록 특화된 하드웨어 기반 시스템을 대표한다.
도 1에는 두 개의 프로세싱 처리 장치가 처리부(110)에 포함된 것을 예시하였지만, 이보다 많거나 적은 처리 장치가 사용될 수 있다. 예를 들면, 일부 실시예에서, 애플리케이션 프로세서(180)와 이미지 프로세서(190)의 작업을 수행하기 위하여 단일 처리 장치를 사용할 수 있다. 다른 실시예에서, 이러한 작업은 2개 이상의 프로세싱 처리 장치를 사용하여 수행될 수 있다. 또한, 일부 실시예에서, 시스템(100)은 하나 이상의 처리부(110)를 포함하되 이미지획득부(120) 등과 같은 다른 구성요소를 포함하지 않을 수도 있다.
처리부(110)는 다양한 유형의 장치를 포함할 수 있다. 예를 들어, 처리부(110)는 제어 장치, 이미지 전처리 장치, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 보조 회로, 디지털 신호 처리 장치, 집적 회로, 메모리, 또는 영상의 처리 및 분석을 위한 기타 유형의 장치 등과 같은 다양한 장치를 포함할 수 있다. 이미지 전처리 장치는 이미지 센서로부터 이미지를 촬영, 디지털화, 처리하기 위한 이미지 프로세서를 포함할 수 있다. CPU는 단수 또는 복수의 마이크로컨트롤러 또는 마이크로프로세서를 포함할 수 있다. GPU도 단수 또는 복수의 마이크로컨트롤러 또는 마이크로프로세서를 포함할 수 있다. 보조 회로는 캐시, 전원, 클락, 입/출력 회로 등과 같이 본 발명의 분야에서 일반적으로 공지된 단수 또는 복수의 회로를 포함할 수 있다. 메모리는 처리 장치에 의해 실행될 때 시스템의 동작을 제어하는 소프트웨어를 저장할 수 있다. 메모리는 단수 또는 복수의 RAM(random access memory), ROM(read only memory), 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치, 및 기타 유형의 저장 장치를 포함할 수 있다. 일례에서, 메모리는 처리부(110)와 분리되어 있을 수 있다. 다른 예에서, 메모리는 처리부(110)와 일체로 구성될 수 있다.
메모리(140, 150) 각각은 처리 장치(예, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190))에 의해 실행될 때 시스템(100)의 다양한 측면의 동작을 제어할 수 있는 소프트웨어 명령을 포함할 수 있다. 이러한 메모리 장치는 다양한 데이터베이스 및 이미지 처리 소프트웨어뿐만 아니라, 예를 들어, 신경망 또는 심층 신경망과 같은 학습 시스템을 포함할 수 있다. 이러한 메모리 장치는 RAM, ROM, 플래시 메모리, 디스크 드라이브, 광 저장 장치, 테이프 저장 장치, 탈착형 저장 장치 및/또는 기타 유형의 저장 장치를 포함할 수 있다. 일부 실시예에서, 메모리 장치(140, 150)는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)와 분리되어 있을 수 있다. 다른 실시예에서, 이러한 메모리 장치는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)와 일체로 구성될 수 있다.
위치센서(130)는 시스템(100)의 적어도 한 구성요소와 연관된 위치를 판단하기에 적합한 유형의 장치를 포함할 수 있다. 일부 실시예에서, 위치센서(130)는 GPS 수신기를 포함할 수 있다. 이러한 수신기는 GPS 위성이 송신하는 신호를 처리하여 사용자의 위치와 속도를 판단할 수 있다. 위치센서(130)로부터의 위치 정보는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)로 제공될 수 있다.
일부 실시예에서, 시스템(100)은 차량(200)의 속도를 측정하기 위한 속력 센서(예, 속도계)와 같은 구성요소를 포함할 수 있다. 시스템(100)은 또한 하나 이상의 축을 따라 차량(200)의 가속을 측정하기 위한 하나 이상의 가속도계(단일축 또는 다중축)를 포함할 수 있다.
메모리 장치(140, 150)는 알려진 랜드마크의 하나 이상의 지시자 및/또는 위치를 포함하는 데이터베이스 또는 기타 유형으로 구성된 데이터를 포함할 수 있다. 알려진 랜드마크에 대한 차량의 현위치를 판단하고 차량의 위치를 더욱 정확하게 하기 위하여, 주변환경의 감지 정보(예, 이미지, 레이더 신호, 둘 이상의 이미지의 스테레오 처리 또는 라이더의 깊이 정보)는 GPS 좌표, 차량 자신의 움직임 등과 같은 위치 정보와 함께 처리될 수 있다. 이러한 기술의 특정 측면은 본 출원의 양수인이 상용화하고 있는 REMTM으로 알려진 위치결정 기술에 포함된다.
사용자 인터페이스(170)는 시스템(100)의 한 명 이상의 사용자에게 정보를 제공하고 사용자로부터 입력을 수신하기 적합한 장치를 포함할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 예를 들어 터치스크린, 마이크, 키보드, 포인터 장치, 트랙휠, 카메라, 노브, 버튼 등의 사용자 입력 장치를 포함할 수 있다. 이러한 입력 장치는 사용자로 하여금 명령 또는 정보를 타이핑하거나, 음성 명령을 제공하거나, 버튼, 포인터, 또는 눈동자 추적 기능을 사용하여 화면상의 메뉴를 선택하거나, 시스템(100)과 정보를 교환하기 위한 기타 적합한 기술을 통하여 시스템(100)에 정보 입력 또는 명령을 제공할 수 있게 해준다.
사용자 인터페이스(170)는 사용자에게 정보를 제공하고 사용자로부터 정보를 수신하며 이러한 정보를 예를 들어 애플리케이션 프로세서(180)가 사용하게 처리하도록 구성된 하나 이상의 처리 장치를 구비할 수 있다. 일부 실시예에서, 이러한 처리 장치는 눈동자의 움직임을 인식 및 추적하고, 음성 명령을 수신 및 해석하고, 터치스크린 상의 터치 및/또는 제스처를 인식 및 해석하고, 키보드 입력 또는 메뉴 선택에 응답하는 등을 위한 지시를 수행할 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 디스플레이, 스피커, 촉감 장치, 및/또는 사용자에게 출력 정보를 제공하는 기타 장치를 포함할 수 있다.
지도 데이터베이스(160)는 시스템(100)에서 사용 가능한 지도 데이터를 저장하기 위한 모든 유형의 데이터베이스를 포함할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 도로, 하천 지형, 지리적 지형, 사업체, 관심 지점, 식당, 주유소 등의 다양한 항목의 기준 좌표계 상 위치와 관련된 데이터를 포함할 수 있다. 지도 데이터베이스(160)는 이런 항목의 위치뿐만 아니라, 예를 들면, 저장된 지점 관련 명칭 등을 포함하는 설명을 저장할 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 시스템(100)의 다른 구성요소와 함께 물리적으로 배치될 수 있다. 대안적으로, 또는 추가적으로, 지도 데이터베이스(160) 또는 지도 데이터베이스(160)의 일부는 시스템(100)의 다른 구성요소(예, 처리부(110))에 대하여 원격으로 배치될 수 있다. 이 경우, 지도 데이터베이스(160)로부터의 정보는 네트워크와의 유선 또는 무선 데이터 연결(예, 이동통신망 및/또는 인터넷 등)을 통하여 다운로드 될 수 있다. 일부 경우에, 지도 데이터베이스(160)는 특정 도로 특징(예, 차선 표시)의 다항식 표현 또는 호스트 차량의 목표 궤적을 포함하는 간략 데이터 모델을 저장할 수 있다. 지도 데이터베이스(160)는 또한 목표 궤적에 대한 호스트 차량의 알려진 위치의 판단 또는 업데이트에 활용될 수 있는 다양한 인지된 랜드마크의 저장된 표현을 포함할 수 있다. 랜드마크 표현은 잠재적 식별자 중에서 랜드마크 유형, 랜드마크 위치와 같은 데이터필드를 포함할 수 있다.
이미지캡처장치(122, 124, 126)는 각각 주변 환경으로부터 적어도 하나의 영상을 캡처하기에 적합한 유형의 장치를 포함할 수 있다. 또한, 이미지 프로세서로의 입력에 필요한 영상을 촬영하기 위하여 여러 개의 이미지캡처장치를 사용할 수 있다. 일부 실시예는 단일 이미지캡처장치를 포함할 수 있는 반면, 다른 실시예는 두 개, 세 개, 또는 4개 이상의 이미지캡처장치를 포함할 수 있다.
나아가, 앞서 설명한 바와 같이, 이미지캡처장치(122, 124, 126)는 각각 주변 환경으로부터 적어도 하나의 적외선 영상을 캡처하기에 적합한 유형의 장치를 포함할 수 있다. 다양한 수의 적외선 이미지캡처장치가 사용될 수 있다. 일부 실시예는 단일 적외선 이미지캡처장치를 포함할 수 있는 반면, 다른 실시예는 두 개, 세 개, 또는 4개 이상의 적외선 이미지캡처장치를 포함할 수 있다. 또한, 일부 실시예는 다양한 수의 적외선 이미지캡처장치와 다양한 수의 이미지캡처장치의 조합을 포함할 수 있다. 이미지캡처장치(122, 124, 126)는 도 1B 내지 도 1E를 참조하여 하기에 추가로 설명한다.
하나 이상의 카메라(예, 이미지캡처장치(122, 124, 126))는 차량에 포함된 감지 블록(sensing block)의 일부일 수 있다. 감지 블록은 하나 이상의 적외선 카메라를 하나 이상의 카메라와 별도로 또는 조합으로 더 포함할 수 있다.
다양한 기타 센서들이 감지 블록에 포함될 수 있으며, 센서들의 일부 또는 모두에 의존하여 차량의 주행 상태에 대한 파악을 구축할 수 있다. 카메라(전방, 측방, 후방 등) 외에도 레이더, 라이더, 음향 센서와 같은 기타 센서들이 감지 블록에 포함될 수 있다. 추가적으로, 감지 블록은 차량의 주변환경에 관한 정보를 통신 및 송수신하도록 구성된 하나 이상의 구성요소를 포함할 수 있다. 예를 들면, 이러한 구성요소는 호스트 차량에 관한 센서 기반 정보 또는 기타 유형의 정보를 호스트 차량에 대해 원격으로 위치한 소스로부터 수신할 수 있는 무선 송수신기(RF 등)를 포함할 수 있다. 이러한 정보는 호스트 차량이 아닌 다른 차량으로부터 수신한 센서 출력 정보 또는 관련 정보를 포함할 수 있다. 일부 실시예에서, 이러한 정보는 원격 컴퓨팅 장치, 중앙 서버 등으로부터 수신된 정보를 포함할 수 있다. 나아가, 카메라는 단일 카메라 장치, 복수의 카메라, 카메라 클러스터, 망원 시야, 근거리 시야, 광각, 어안 등, 다양한 구성을 가질 수 있다.
시스템(100), 혹은 시스템(100)의 다양한 구성요소는 다양한 플랫폼에 구현될 수 있다. 일부 실시예에서, 시스템(100)은, 도 1A에 예시된 바와 같이, 차량(200)에 포함될 수 있다. 예를 들면, 차량(200)에는 도 1에 설명한 처리부(110) 및 시스템(100)의 기타 구성요소가 구비될 수 있다. 일부 실시예의 차량(200)에는 단일 이미지캡처장치(예, 카메라) 및/또는 단일 적외선 이미지캡처장치만 구비될 수 있는 반면, 다른 실시예의 차량에는, 도 1B 내지 2e에 예시된 바와 같이, 여러 개의 이미지캡처장치 및/또는 여러 개의 적외선 이미지캡처장치가 사용될 수 있다. 예를 들어, 도 1A에 예시된 차량(200)의 이미지캡처장치(122, 124)는 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems; ADAS) 영상 세트의 일부일 수 있다.
이미지획득부(120)의 일부로서 차량(200)에 포함된 이미지캡처장치는 적합한 장소에 위치될 수 있다. 일부 실시예에서, 도 1A 내지 2e, 3a 내지 3c에 도시된 바와 같이, 이미지캡처장치(122)는 백미러 주위에 배치될 수 있다. 이 위치는 차량(200)의 운전자와 유사한 시선을 제공할 수 있으며, 이에 따라 운전자에게 보이는 것과 보이지 않는 것을 판단하는데 도움이 될 수 있다. 이미지캡처장치(122)는 백미러 주변의 임의의 위치에 배치될 수 있지만, 백미러의 운전자 측에 이미지캡처장치(122)를 배치하면 운전자의 시야 및/또는 시선을 나타내는 영상을 획득하는데 더욱 도움이 될 수 있다.
이미지획득부(120)의 이미지캡처장치는 다른 위치에 배치될 수도 있다. 예를 들면, 이미지캡처장치(124)는 차량(200)의 범퍼 내부 또는 상에 배치될 수 있다. 이런 위치는 광시야를 가진 이미지캡처장치에 특히 적합할 수 있다. 범퍼에 위치한 이미지캡처장치의 시선은 운전자의 시선과 다를 수 있기 때문에 범퍼에 위치한 이미지캡처장치와 운전자는 항상 같은 대상을 보는 것이 아닐 수 있다. 이미지캡처장치(예, 122, 124, 126)는 또한, 다른 위치에 배치될 수 있다. 예를 들어, 이미지캡처장치는 차량(200)의 일측 또는 양측의 사이드 미러 상 또는 내부에, 차량(200)의 지붕 상에, 차량(200)의 보닛 상에, 차량(200)의 측면에, 차량(200)의 윈도우 상, 후면 또는 전면에, 차량(200)의 전면 및/또는 후면 등화장치상에 또는 주변 등의 위치에 배치될 수 있다.
차량(200)은 이미지캡처장치 외에도 시스템(100)의 다양한 기타 구성요소를 포함할 수 있다. 예를 들면, 처리부(110)는 차량(200)의 엔진제어장치(engine control unit, ECU)와 일체 또는 분리된 형태로 차량(200)에 포함될 수 있다. 차량(200)은 또한, GPS 수신기 등과 같은 위치센서(130), 지도 데이터베이스(160), 메모리부(140, 150)도 포함할 수 있다.
앞서 설명한 바와 같이, 무선 송수신기(172)는 하나 이상의 네트워크(예, 이동통신망, 인터넷 등)를 통하여 데이터를 송신 및/또는 수신할 수 있다. 예를 들어, 무선 송수신기(172)는 시스템(100)이 수집한 데이터를 하나 이상의 서버로 업로드하고 하나 이상의 서버로부터 데이터를 다운로드할 수 있다. 시스템(100)은 무선 송수신기(172)를 통하여, 예를 들어, 지도 데이터베이스(160) 및/또는 메모리(140, 150)에 저장된 데이터의 주기적 또는 일시적 업데이트를 수신할 수 있다.
마찬가지로, 무선 송수신기(172)는 시스템(100)의 데이터(예, 이미지획득부(120)가 캡처한 이미지, 위치센서(130), 기타 센서, 또는 차량 제어 시스템이 수신한 데이터 등) 및/또는 처리부(110)에 의해 처리된 데이터를 하나 이상의 서버에 업로드할 수 있다.
시스템(100)은 개인정보보호 설정에 근거하여 서버(예, 클라우드)로 데이터를 업로드할 수 있다. 예를 들면, 시스템(100)은 개인정보보호 설정을 실행하여 서버로 보내지는 차량과 차량의 운전자/소유자를 개별적으로 확인해주는 데이터(메타데이터 포함)의 유형을 규제 또는 제한할 수 있다. 이런 설정은 예를 들어 사용자에 의해 무선 송수신기(172)를 통해 설정되거나, 공장설정으로 초기화되거나, 무선 송수신기(172)가 수신한 데이터에 의해 설정될 수 있다.
일부 실시예에서, 시스템(100)은 "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있으며, 이렇게 설정하면 시스템(100)은 특정 차량 및/또는 운전자/소유자 정보 없이 데이터(예, 경로 관련 위치정보, 캡처 이미지 등)를 전송할 수 있다. 예를 들어, "높은" 개인정보보호 수준에 의거하여 데이터를 업로드할 경우, 시스템(100)은 차대번호 또는 차량 운전자 또는 소유자의 이름을 포함하지 않을 수 있고, 그 대신 캡처 이미지 및/또는 경로와 관련된 제한된 위치 정보 등의 데이터를 전송할 수 있다.
다른 개인정보보호 수준도 가능하다. 예를 들어, 시스템(100)은 "중간" 개인정보보호 수준에 의거하여 서버로 데이터를 전송할 수 있으며, 이 경우, "높은" 개인정보보호 수준하에서 포함되지 않은 차량의 제조사 및/또는 모델 및/또는 차량 종류(예, 승용차, SUV, 트럭 등) 등의 추가 정보를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 "낮은" 개인정보보호 수준에 의거하여 데이터를 업로드할 수 있다. "낮은" 개인정보보호 수준하에서, 시스템(100)은 개별 차량, 소유자/운전자, 및/또는 차량이 이동한 전체 또는 일부 경로 등을 특정할 수 있는 정보를 포함하는 데이터를 업로드할 수 있다. 이러한 "낮은" 개인정보보호 수준 데이터는 예를 들어, 차대번호, 운전자/소유자 이름, 차량의 출발점, 차량의 목적지, 차량의 제조사 및/또는 모델, 차량의 종류 등을 포함할 수 있다.
도 2a는 기재된 실시예에 따른 예시적인 차량 영상 시스템의 측면도이다. 도 2b는 도 2a에 도시된 실시예의 평면도이다. 도 2b에 도시된 바와 같이, 본 실시예에 따른 차량(200)은 백미러 주변 및/또는 운전자 가까이 배치된 제1 이미지캡처장치(122), 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치된 제2 이미지캡처장치(124), 및 처리부(110)를 구비한 시스템(100)을 본체 내부에 포함한다. 도 2a와 도 2b에서, 제1 이미지캡처장치(122)와 제2 이미지캡처장치(124)의 하나 이상은 적외선 이미지캡처장치를 포함할 수 있다.
도 2c에 도시된 바와 같이, 이미지캡처장치(122, 124)는 모두 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 도 2c에서, 도 2a와 도 2b와 마찬가지로, 제1 이미지캡처장치(122)와 제2 이미지캡처장치(124)의 하나 이상은 적외선 이미지캡처장치를 포함할 수 있다.
또한, 도 2b와 2c에는 이미지캡처장치(122, 124)가 두 개로 예시되었지만, 다른 실시예에서는 세 개 이상의 이미지캡처장치가 포함될 수 있음은 당연할 것이다. 예를 들어, 도 2d와 2e에 도시된 실시예에서는, 제1, 제2, 제3 이미지캡처장치(122, 124, 126)가 차량(200)의 시스템(100)에 포함되어 있다. 도 2a, 도 2b, 도 2c와 유사하게, 도 2d와 도 2e의 제1, 제2, 제3 이미지캡처장치(122, 124, 126)의 하나 이상은 적외선 이미지캡처장치를 포함할 수 있다.
도 2d에 도시된 바와 같이, 이미지캡처장치(122)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있고, 이미지캡처장치(124, 126)는 차량(200)의 범퍼 영역(예, 범퍼 영역(210)의 일 영역) 상 또는 내부에 배치될 수 있다. 또한, 도 2e에 도시된 바와 같이, 이미지캡처장치(122, 124, 126)는 차량(200)의 백미러 주변 및/또는 운전자 가까이 배치될 수 있다. 본 실시예는 특정 수량 및 구성의 이미지캡처장치에 제한되지 않고, 이미지캡처장치는 차량의 내부 및/또는 상의 적절한 모든 위치에 배치될 수 있다.
기재한 실시예들은 차량에 한정되는 것이 아니라 당연히 다른 상황에도 적용될 수 있다. 또한, 기재한 실시예들은 특정 유형의 차량(200)에 한정되는 것이 아니라, 당연히 자동차, 트럭, 트레일러, 및 기타 유형의 차량 등, 모든 유형의 차량에 적용될 수 있다.
제1 이미지캡처장치(122)는 적합한 유형의 이미지캡처장치 또는 적외선 이미지캡처장치를 포함할 수 있다. 이미지캡처장치(122)는 광축을 포함할 수 있다. 일례에서, 이미지캡처장치(122)는 글로벌 셔터 방식의 Aptina M9V024 WVGA 센서를 포함할 수 있다. 다른 실시예에서, 이미지캡처장치(122)는 1280x960 픽셀의 해상도를 제공하고 롤링 셔터 방식을 포함할 수 있다. 이미지캡처장치(122)는 다양한 광학 소자를 포함할 수 있다. 일부 실시예에서, 하나 이상의 렌즈를 포함하여 이미지캡처장치가 요구하는 초점거리 및 시야 등을 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 6mm 렌즈 또는 12mm 렌즈와 결합될 수 있다.일부 실시예에서, 이미지캡처장치(122)는, 도 2d에 도시된 바와 같이, 필요한 시야(202)를 확보하도록 구성될 수 있다. 예를 들면, 이미지캡처장치(122)는, 46도 시야, 50도 시야, 52도 또는 그 이상의 시야 등과 같은, 40 내지 56도 범위의 일반 시야를 확보하도록 구성될 수 있다. 또는, 이미지캡처장치(122)는, 28도 시야 또는 36도 시야 등과 같은, 23 내지 40도 범위의 좁은 시야를 확보하도록 구성될 수 있다.
또한, 이미지캡처장치(122)는 100 내지 180도 범위의 넓은 시야를 확보하도록 구성될 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 광각 범퍼 카메라 또는 180도 시야까지 확보 가능한 카메라를 포함할 수 있다. 일부 실시예에서, 이미지캡처장치(122)는 약 2:1(예, HxV=3800x1900 픽셀)의 종횡비와 약 100도의 수평 시야를 가진 7.2 메가 픽셀 이미지캡처장치일 수 있다. 이러한 이미지캡처장치는 3개의 이미지캡처장치 구성을 대신할 수 있다. 방사상으로 대칭인 렌즈를 사용하는 이러한 이미지캡처장치의 수직 시야는 렌즈 왜곡으로 인하여 50도 이하로 구현될 수 있다. 예를 들어, 방사상으로 비대칭인 렌즈를 사용하여 수평 시야가 100도인 경우에 수직 시야가 50도 이상이 되게 할 수 있다.
제1 이미지캡처장치(122)는 차량(200)과 관련된 장면에 대한 복수의 제1 이미지를 획득할 수 있다. 복수의 제1 이미지 각각은 롤링 셔터를 사용하여 캡처 된 연속 주사선으로 획득될 수 있다. 각 주사선은 복수의 픽셀을 포함할 수 있다. 제1 이미지캡처장치(122)가 적외선 이미지캡처장치를 포함하는 실시예에서, 복수의 제1 이미지 각각은 전자 스캐닝 시스템을 활용하여 캡처 될 수 있는 연속 주사선으로 획득될 수 있다.
제1 이미지캡처장치(122)는 제1연속 주사선 획득 관련 주사율을 가질 수 있다. 주사율이란 이미지 센서가 특정 주사선에 포함된 각 픽셀과 관련된 이미지 데이터를 획득하는 속도를 의미할 수 있다. 제1 이미지캡처장치(122)가 적외선 이미지캡처장치를 포함하는 실시예에서, 주사율이란 적외선 이미지 센서가 특정 주사선에 포함된 각 픽셀과 관련된 열 데이터를 획득하는 속도를 의미할 수 있다.
이미지캡처장치(122, 124, 126)는, 예를 들어, CCD 센서 또는 CMOS 센서와 같은, 적합한 유형과 개수의 이미지 센서를 포함할 수 있다. 일 실시예에서, 롤링 셔터 방식의 CMOS 이미지 센서를 도입하여 한 열의 각 픽셀을 하나씩 읽고, 전체 이미지 프레임이 캡처 될 때까지 열별로 주사가 진행될 수 있다. 일부 실시예에서, 프레임에 대하여 각 열이 위에서 아래로 순차적으로 캡처 될 수 있다. 이미지캡처장치(122, 124, 126)의 하나 이상이 적외선 이미지캡처장치를 포함하는 실시예에서, UFPA(uncooled focal plane array)를 전자 스캐닝 시스템과 함께 활용하여 전체 히트맵(heat map)이 캡처 될 때까지 열별로(row-by-row) 주사가 진행될 수 있다.
일부 실시예에서, 여기에 기재된 이미지캡처장치(122, 124, 126)의 하나 이상은 고해상 이미저(imager)를 구성하고 5메가, 7메가, 10메가 또는 그 이상의 픽셀의 해상도를 가질 수 있다.
롤링 셔터를 사용하면, 서로 다른 열의 픽셀이 서로 다른 시간에 노출되고 촬영될 수 있어서, 캡처 된 이미지 프레임에 왜곡(skew)과 기타 이미지 결함(artifact)이 나타날 수 있다. 반면, 이미지캡처장치(122)가 글로벌 셔터 방식 또는 동기화 셔터(synchronous shutter) 방식으로 작동하도록 구성된 경우, 모든 픽셀은 동일 시간만큼 그리고 일반적인 노출 시간 동안 노출될 수 있다. 그 결과, 글로벌 셔터 방식을 적용한 시스템에서 수집된 프레임의 이미지 데이터는 특정 시간의 전체 시야(예, 202)의 스냅샷을 나타낸다. 반면, 롤링 셔터 방식에서는, 서로 다른 시간에 한 프레임의 각 열이 노출되고 데이터가 수집된다. 따라서, 롤링 셔터 방식 이미지캡처장치의 이미지 내의 움직이는 물체는 왜곡돼 보일 수 있다. 이 현상(적외선 이미지캡처장치의 전자 스캐닝을 사용하는 경우도 유사)에 대해서는 하기에서 더 자세히 설명한다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 적합한 유형의 이미지캡처장치 또는 적외선 이미지캡처장치일 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 광축을 포함할 수 있다. 일 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 글로벌 셔터 방식의 Aptina M9V024 WVGA 센서를 포함할 수 있다. 또는, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 롤링 셔터 방식을 포함할 수 있다. 제1 이미지캡처장치(122)와 마찬가지로, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 각각 다양한 렌즈와 광학 소자를 포함하도록 구성될 수 있다. 일부 실시예에서, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)와 관련된 렌즈는 제1 촬영 장치(122)와 관련된 시야(예, 122)와 동일하거나 이보다 좁은 시야(204, 206)를 제공할 수 있다. 예를 들어, 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)의 시야는 각각 40도, 30도, 26도, 20도, 또는 그 이하일 수 있다.
제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 차량(200)과 관련된 장면에 대한 복수의 제2 및 제3 이미지를 획득할 수 있다. 복수의 제2 및 제3 이미지 각각은 롤링 셔터를 사용하여 캡처 된 제2 및 제3연속 주사선으로 획득될 수 있다. 각 주사선 또는 열은 복수의 픽셀을 포함할 수 있다. 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)는 제2 및 제3연속 주사선에 포함된 각 주사선의 획득과 관련된 제2 및 제3 주사율을 가질 수 있다. 제2 이미지캡처장치(124)와 제3 이미지캡처장치(126)의 하나 이상이 적외선 이미지캡처장치를 포함하는 실시예에서, 복수의 제2 및 제3 이미지 각각은 전자 스캐닝 시스템을 사용하여 캡처 된 제2 및 제3 연속 열(heat) 주사선으로 획득될 수 있다. 이러한 실시예에서, 각 주사선 또는 열(row)은 복수의 픽셀을 포함할 수 있고, 제2 이미지캡처장치(124) 및/또는 제3 이미지캡처장치(126)는 제2 및 제3연속 주사선에 포함된 각 열 주사선의 획득과 관련된 제2 및 제3 주사율을 가질 수 있다.
이미지캡처장치(122, 124, 126)는 각각 차량(200)의 적합한 위치와 방향으로 배치될 수 있다. 이미지캡처장치(122, 124, 126)의 상대적 배치는 이미지캡처장치로부터 획득된 정보의 융합이 용이하도록 선택될 수 있다. 예를 들어, 일부 실시예에서, 제2 이미지캡처장치(124)의 시야(예, 204)는 제1 이미지캡처장치(122)의 시야(예, 202) 및 제3 이미지캡처장치(126)의 시야(예, 206)와 부분적으로 또는 완전히 겹칠 수도 있다.
이미지캡처장치(122, 124, 126)는 차량(200)의 적합한 상대 높이에 배치될 수 있다. 일례에서, 이미지캡처장치(122, 124, 126) 사이의 높이에 차이를 두어 입체 분석을 가능하게 하는 시차 정보를 제공할 수 있다. 예를 들면, 도 2a에 도시된 바와 같이, 이미지캡처장치(122)와 이미지캡처장치(124)는 서로 높이가 다르다. 이미지캡처장치(122, 124, 126) 사이에 횡 방향 변위도 있어 처리부(110) 등에 의한 입체 분석을 위한 추가 시차 정보도 제공할 수 있다. 도 2c와 도 2d에 도시된 바와 같이, 횡 방향 변위의 차이는 dx로 표시될 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126) 사이에 전방 또는 후방 변위(예, 범위 변위)가 있을 수 있다. 예를 들어, 이미지캡처장치(122)는 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 0.5 내지 2미터 후방에 배치될 수 있다. 이런 유형의 변위로 인해, 이미지캡처장치 중 하나가 나머지 이미지캡처장치의 사각지대를 보완할 수 있다.
유사하게, 이미지캡처장치(122, 124, 126) 사이에 높이 차이가 없을 수 있으며, 이는 이미지캡처장치의 하나 이상에 의해 생성된 히트맵을 이미지캡처장치의 하나 이상에 의해 생성된 시각 이미지와 정렬하는데 도움이 될 수 있다.
이미지캡처장치(122)는 적합한 해상도(예, 이미지 센서 관련 픽셀 수)를 가질 수 있고, 이미지캡처장치(122)와 연관된 이미지 센서의 해상도는 이미지캡처장치(124, 126)와 연관된 이미지 센서의 해상도와 비교하여 높거나, 낮거나, 같을 수 있다. 일부 실시예에서, 이미지캡처장치(122) 및/또는 이미지캡처장치(124, 126)와 연관된 이미지 센서의 해상도는 640 x 480, 1024 x 768, 1280 x 960, 또는 기타 적합한 해상도일 수 있다.
프레임 속도(frame rate, 즉, 이미지캡처장치가 다음 이미지 프레임의 픽셀 데이터 또는 열 데이터를 획득하기 위해 넘어가기 전에 한 이미지 프레임의 픽셀 데이터 또는 열 데이터 집합을 획득하는 속도)는 제어 가능하다. 이미지캡처장치(122)의 프레임 속도는 이미지캡처장치(124, 126)의 프레임 속도와 비교하여 높거나, 낮거나, 같을 수 있다. 이미지캡처장치(122, 124, 126)의 프레임 속도는 프레임 속도의 타이밍에 영향을 주는 다양한 요소에 의거할 수 있다. 예를 들면, 이미지캡처장치(122, 124, 126)의 하나 이상은 탑재한 이미지 센서의 하나 이상의 픽셀 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 픽셀 지연 기간(selectable pixel delay period)을 포함할 수 있다. 일반적으로, 각 픽셀에 상응하는 이미지 데이터는 해당 장치의 클락 속도(clock rate)에 의거하여(예, 클락 주파수(clock cycle) 당 1 픽셀) 획득된다. 또한, 롤링 셔터 방식을 포함하는 실시예에서, 이미지캡처장치(122, 124, 126)의 하나 이상은 탑재한 이미지 센서의 한 열의 픽셀 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 수평 귀선 기간(selectable horizontal blanking period)을 포함할 수 있다. 나아가, 이미지캡처장치(122, 124, 126)의 하나 이상은 이미지 프레임 관련 이미지 데이터를 획득하기 전 또는 후에 부과되는 선택적 수직 귀선 기간(selectable vertical blanking period)을 포함할 수 있다. 마찬가지로, 전자 스캐닝을 포함하는 실시예에서, 이미지캡처장치(122, 124, 126)의 하나 이상은 동적 가변 주사율을 포함할 수 있다.
이러한 타이밍 제어로 인해, 이미지캡처장치(122, 124, 126)의 선주사 속도(line scan rates)가 서로 다른 경우에도 이미지캡처장치(122, 124, 126)의 프레임 속도의 동기화가 가능하다. 또한, 하기에 더 자세히 설명하겠지만, 여러 요소(예, 이미지 센서 해상도, 최고 선주사 속도 등) 중에서 이러한 타이밍 제어로 인해, 이미지캡처장치(122)의 시야가 이미지캡처장치(124, 126)의 시야와 다른 경우에도, 이미지캡처장치(122)의 시야와 이미지캡처장치(124, 126)의 하나 이상의 시야가 겹치는 영역으로부터 촬영된 영상의 동기화가 가능할 수 있다.
이미지캡처장치(122, 124, 126)의 프레임 속도 타이밍은 상응하는 이미지 센서의 해상도에 의거할 수 있다. 예를 들어, 두 장치의 선주사 속도가 유사하다고 가정할 때, 한 장치의 이미지 센서의 해상도가 640 X 480이고 다른 장치의 이미지 센서의 해상도가 1280 X 960일 경우, 높은 해상도를 가진 이미지 센서로부터 이미지 데이터의 프레임을 획득하는데 더 많은 시간이 걸릴 것이다.
이미지캡처장치(122, 124, 126)의 이미지 데이터 획득 타이밍에 영향을 주는 또 다른 요소는 최고 선주사 속도(maximum line scan rate)이다. 예를 들면, 이미지캡처장치(122, 124, 126)에 포함된 이미지 센서로부터 한 열의 이미지 데이터를 획득하려면 최소 시간 이상이 걸릴 수 있다. 픽셀 지연 기간이 추가되지 않았다고 가정할 때, 한 열의 이미지 데이터를 획득하기 위한 최저 시간은 특정 장치의 최고 선주사 속도와 관계가 있을 것이다. 최고 선주사 속도가 높은 장치는 최고 선주사 속도가 낮은 장치보다 높은 프레임 속도를 제공할 가능성이 있다. 일부 실시예에서, 이미지캡처장치(124, 126)의 하나 이상의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 높을 수 있다. 일부 실시예에서, 이미지캡처장치(124 및/또는 126)의 최고 선주사 속도는 이미지캡처장치(122)의 최고 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높을 수 있다.
다른 실시예에서, 이미지캡처장치(122, 124, 126)의 최고 선주사 속도는 모두 동일하지만, 이미지캡처장치(122)는 최고 주사 속도 이하의 주사 속도로 동작될 수 있다.
시스템은 이미지캡처장치(124, 126)의 하나 이상이 이미지캡처장치(122)의 선주사 속도와 동일한 선주사 속도로 동작하도록 구성될 수 있다. 다른 예에서, 시스템은 이미지캡처장치(124 및/또는 126)의 선주사 속도가 이미지캡처장치(122)의 선주사 속도보다 1.25배, 1.5배, 1.75배, 2배, 또는 그 이상 높도록 구성될 수 있다.
일부 실시예에서, 이미지캡처장치(122, 124, 126)는 비대칭일 수 있다. 즉, 이미지캡처장치(122, 124, 126)는 시야와 초점거리가 서로 다른 카메라를 포함할 수 있다. 이미지캡처장치(122, 124, 126)의 시야는 차량(200)의 주변 등과 관련된 필요 영역을 포함할 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126)의 하나 이상은 차량(200)의 전방, 후방, 측방, 또는 그 조합의 환경으로부터 이미지 데이터를 획득하도록 구성될 수 있다.
또한, 각 장치가 차량(200)에 대한 특정 거리 범위에 있는 물체의 이미지를 획득하도록 각 이미지캡처장치(122, 124, 126)의 초점거리가 선택될(예, 적합한 렌즈 적용) 수 있다. 예를 들어, 일부 실시예에서, 이미지캡처장치(122, 124, 126)는 차량으로부터 몇 미터 내에 있는 물체의 클로즈업 이미지를 획득할 수 있다. 이미지캡처장치(122, 124, 126)는 차량으로부터 멀리 떨어진 범위(예, 25m, 50m, 100m, 150m, 또는 그 이상)에 있는 물체의 이미지를 획득하도록 구성될 수도 있다. 또한, 한 이미지캡처장치(예, 122)는 차량과 상대적으로 가까운(예, 10m 또는 20m 이내) 물체의 이미지를 획득하고 나머지 이미지캡처장치(예, 124, 126)는 이보다 멀리 있는(예, 20m, 50m, 100m, 150m 이상) 물체의 이미지를 획득하도록 이미지캡처장치(122, 124, 126)의 초점거리가 선택될 수 있다.
일부 실시예에 의하면, 하나 이상의 이미지캡처장치(122, 124, 126)의 시야는 광각일 수 있다. 예를 들면, 차량(200) 주변 영역의 이미지를 획득하기 위해 사용되는 이미지캡처장치(122, 124, 126)의 시야는 140도일 경우가 유리할 수 있다. 예를 들어, 이미지캡처장치(122)는 차량(200)의 우측 또는 좌측 영역의 이미지를 촬영하기 위해 사용될 수 있고, 이런 환경에서 이미지캡처장치(122)는 넓은 시야(예, 140도 이상)를 가지는 것이 바람직할 수 있다.
이미지캡처장치(122, 124, 126)의 시야는 각 초점거리에 의거할 수 있다. 예를 들어, 초점거리가 증가하면, 이에 상응하는 시야는 감소한다.
이미지캡처장치(122, 124, 126)는 적합한 시야를 가지도록 구성될 수 있다. 일례에서, 이미지캡처장치(122)의 수평 시야는 46도이고, 이미지캡처장치(124)의 수평 시야는 23도이며, 이미지캡처장치(126)의 수평 시야는 23도 내지 46도일 수 있다. 다른 예에서, 이미지캡처장치(122)의 수평 시야는 52도이고, 이미지캡처장치(124)의 수평 시야는 26도이며, 이미지캡처장치(126)의 수평 시야는 26도 내지 52도일 수 있다. 일부 실시예에서, 이미지캡처장치(122)의 시야 대 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야 비율은 1.5 내지 2.0일 수 있다. 다른 실시예에서, 이 비율은 1.25 내지 2.25일 수 있다.
시스템(100)은 이미지캡처장치(126)의 일부 또는 전체 시야가 이미지캡처장치(124) 및/또는 이미지캡처장치(126)의 시야와 겹치도록 구성될 수 있다. 일부 실시예에서, 시스템(100)은 이미지캡처장치(124, 126)의 시야가 이미지캡처장치(126)의 시야의 중심에 들어가고(예를 들어, 시야가 좁은 경우) 중심이 서로 맞도록 구성될 수 있다. 다른 실시예에서, 이미지캡처장치(122, 124, 126)는 인접하는 시야를 촬영하거나 인접하는 시야와 부분적으로 겹칠 수 있다. 일부 실시예에서, 이미지캡처장치(122, 124, 126)의 시야는 시야가 좁은 이미지캡처장치(124 및/또는 126)의 중심이 시야가 넓은 이미지캡처장치(122)의 시야의 하부에 배치되도록 정렬될 수 있다.
도 2f는 기재된 실시예에 따른 예시적인 자동차 제어 시스템의 개략도이다. 도 2f에 도시된 바와 같이, 차량(200)은 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)을 포함할 수 있다. 시스템(100)은 하나 이상의 데이터 링크(예, 데이터 송신용 유선 및/또는 무선 링크)를 통하여 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 입력(예, 제어신호)을 제공할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)가 획득한 이미지의 분석에 근거하여, 시스템(100)은 차량(200)을 주행(예, 가속, 회전, 차선 변경 등)하기 위한 제어 신호를 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로 제공할 수 있다. 또한, 시스템(100)은 차량(200)의 작동 상황(예, 속도, 제동 및/또는 회전 여부 등)을 나타내는 입력을 구동 시스템(220), 제동 시스템(230), 조향 시스템(240) 중 하나 이상으로부터 수신할 수 있다. 이에 대하여는 도 4 내지 7을 참조하여 하기에 자세히 설명한다.
도 3a에 도시된 바와 같이, 차량(200)은 또한 차량(200)의 운전자 또는 탑승자와 상호 작용하기 위한 사용자 인터페이스(170)를 포함한다. 예를 들어, 차량에 적용된 사용자 인터페이스(170)는 터치스크린(320), 다이얼(330), 버튼(340), 마이크(350)를 포함할 수 있다. 차량(200)의 운전자 혹은 탑승자는 또한 손잡이(예, 차량의 조향축 상 또는 주위에 배치된 방향등 손잡이 등), 버튼(예, 차량의 조향 핸들에 배치된 버튼 등) 등을 사용하여 시스템(100)과 상호 작용할 수도 있다. 일부 실시예에서, 마이크(350)는 백미러(310)에 인접하여 배치될 수 있다. 이와 유사하게, 일부 실시예에서, 이미지캡처장치(122)는 백미러(310) 부근에 배치될 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 또한 하나 이상의 스피커(360: 예, 차량 오디오 시스템의 스피커)도 포함할 수 있다. 예를 들어, 시스템(100)은 스피커(360)를 통하여 다양한 안내(예, 경보)를 제공할 수 있다.
도 3b 내지 3d는 기재된 실시예에 따른 백미러(예, 310) 뒤의 차량 전면 유리에 위치되도록 구성된 예시적인 카메라 마운트(370)를 도시한 것이다. 도 3b에 도시된 바와 같이, 카메라 마운트(370)는 이미지캡처장치(122, 124, 126)를 포함할 수 있다. 이미지캡처장치(124, 126)는, 차량 전면 유리에 맞닿아 있고 필름 및/또는 반사 방지 물질의 구조를 포함하는, 눈부심 가림막(380) 후면에 배치될 수 있다. 예를 들어, 눈부심 가림막(380)은 차량 전면 유리에 상응하는 기울기를 가지고 차량 전면 유리에 대해 정렬되도록 배치될 수 있다. 일부 실시예에서, 각 이미지캡처장치(122, 124, 126)는 도 3d에 도시된 바와 같이 눈부심 가림막(380)의 후면에 배치될 수 있다. 이미지캡처장치(122, 124, 126)의 하나 이상이 적외선 이미지캡처장치를 포함하는 실시예에서, 이러한 이미지캡처장치는 적외선의 진입이 방해받지 않도록 눈부심 가림막(380)의 전면에 배치될 수(또는 눈부심 가림막(380)이 적외선 이미지캡처장치 전면으로 연장되지 않을 수) 있다. 여기에 기재된 실시예들은 어느 특정한 구성의 이미지캡처장치(122, 124, 126), 카메라 마운트(370), 눈부심 가림막(380)으로 한정되지 않는다. 도 3c는 도 3b에 도시된 카메라 마운트(370)을 정면에서 바라본 예시이다.
상기 실시예들은 다양한 변형 및/또는 수정이 가능함을 본 발명의 당업자는 이해할 것이다. 예를 들어, 시스템(100)의 동작을 위하여 모든 구성요소가 반드시 필요한 것은 아니다. 또한, 기재된 실시예들의 기능을 제공하면서, 어느 구성요소라도 시스템(100)의 적합한 부분에 배치할 수 있으며, 구성요소들은 다양한 구성으로 재배치할 수 있다. 따라서, 상기 구성들은 예시에 불과하고, 시스템(100)은 상기 구성들과 무관하게 광범위한 기능을 제공하여 차량(200)의 주변환경을 분석하고 이 분석에 대응하여 차량(200)을 주행제어할 수 있다.
하기의 설명과 기재된 다양한 실시예에 따라, 시스템(100)은 자율 주행 및/또는 운전자 보조 기술과 관련된 다양한 특징을 제공할 수 있다. 예를 들면, 시스템(100)은 이미지 데이터, 적외선 이미지 데이터, 위치 데이터(예, GPS 위치 정보), 지도 데이터, 속도 데이터, 및/또는 차량(200)에 포함된 센서들로부터의 데이터를 분석할 수 있다. 시스템(100)은 분석할 데이터를, 예를 들어, 이미지획득부(120), 위치센서(130), 및 기타 센서들로부터 수집할 수 있다. 또한, 시스템(100)은 수집한 데이터를 분석하여 차량(200)이 특정 동작을 수행해야 할지 여부를 판단한 후, 판단한 동작을 인간의 개입 없이 자동으로 수행할지 여부를 판단할 수 있다. 예를 들어, 차량(200)이 인간의 개입 없이 주행하는 경우, 시스템(100)은 차량(200)의 제동, 가속, 및/또는 조향을 자동으로 제어(예, 구동 시스템(220), 제동 시스템(230), 조향 시스템(240)의 하나 이상에 제어신호를 전송)할 수 있다. 또한, 시스템(100)은 수집된 데이터를 분석하고 이 분석 결과에 따라 차량 탑승자들에게 주의 및/또는 경보를 제공할 수 있다. 시스템(100)이 제공하는 다양한 실시예들에 관해서는 하기에 추가로 설명한다.
[전방 다중 영상 시스템]
상기에 설명한 바와 같이, 시스템(100)은 다중 카메라 시스템을 사용하는 운전 보조 기능을 제공할 수 있다. 다중 카메라 시스템은 차량의 전방을 향하는 하나 이상의 카메라(및/또는 적외선 카메라)를 사용할 수 있다. 다른 실시예에서, 다중 카메라 시스템은 차량의 측방 또는 후방을 향하는 하나 이상의 카메라(및/또는 적외선 카메라)를 포함할 수 있다. 예를 들어, 일 실시예에서, 시스템(100)은 이중 카메라 영상 시스템을 사용하여, 제1 카메라와 제2 카메라(예, 이미지캡처장치(122, 124))가 차량(예, 200)의 전방 및/또는 측방에 배치될 수 있다. 기재된 실시예에 따른 다른 카메라 구성도 있으며, 여기에 기재된 구성은 예시일 뿐이다. 예를 들면, 시스템(100)은 다양한 개수의 카메라(예, 1개, 2개, 3개, 4개, 5개, 6개, 7개, 8개 등) 및 다양한 유형의 카메라 조합(예, 2개의 시각 카메라와 1개의 적외선 카메라, 1개의 시각 카메라와 2개의 적외선 카메라, 2개의 시각 카메라와 2개의 적외선 카메라 등)의 구성을 포함할 수 있다. 나아가, 시스템(100)은 카메라의 "클러스터"를 포함할 수 있다. 예를 들어, 카메라 클러스터(1개, 4개, 8개 등과 같은 다양한 개수의 카메라와 시각, 적외선 등의 적절한 유형의 카메라를 포함함)는 차량의 전방을 향하거나 다른 방향(예, 후방, 측방, 특정 각도 등)을 향하고 있을 수 있다. 이에 따라, 시스템(100)은 복수의 카메라 클러스터를 포함하고, 각 클러스터는 특정 방향을 향하여 차량 주변의 특정 영역으로부터 이미지를 캡처할 수 있다.
제1 카메라의 시야는 제2 카메라의 시야보다 넓거나, 좁거나, 부분적으로 겹칠 수 있다. 뿐만 아니라, 제1 카메라는 제1 이미지 프로세서와 연결되어 제1 카메라가 제공한 이미지의 단안 이미지(monocular image) 분석을 수행하고, 제2 카메라는 제2 이미지 프로세서와 연결되어 제2 카메라가 제공한 이미지의 단안 이미지(monocular image)분석을 수행할 수 있다. 제1 카메라와 제2 카메라의 하나 이상이 적외선 카메라를 포함하는 실시예에서, 제1 이미지 프로세서 및/또는 제2 이미지 프로세서는 적외선 카메라에 의해 제공된 히트맵의 히트맵 분석을 수행할 수 있다.
제1 및 제2 이미지 프로세서의 출력(예, 처리된 정보)은 합쳐질 수 있다.
일부 실시예에서, 제2 이미지 프로세서는 제1 및 제2 카메라 모두로부터 이미지를 수신하여 입체 분석을 수행하거나 정렬된 시각 및 적외선 이미지에 대한 분석을 수행할 수 있다. 다른 실시예에서, 시스템(100)은 각 카메라의 시야가 서로 다른 3중 카메라 이미징 시스템을 사용할 수 있다. 따라서, 이런 시스템은 차량의 전방 및 측방의 다양한 거리에 위치한 물체로부터 얻은 정보에 근거한 판단을 내릴 수 있다. 단안 이미지(monocular image)분석이란 단일 시야로부터 촬영한 이미지(예, 단일 카메라에서 캡처한 이미지)에 근거하여 이미지 분석을 수행하는 경우를 말할 수 있다. 입체 이미지 분석이란 하나 이상의 이미지 캡처 파라미터로 캡처한 두 개 이상의 이미지에 근거하여 이미지 분석을 수행하는 경우를 말할 수 있다.
예를 들면, 입체 이미지 분석에 적합한 캡처 이미지는 둘 이상의 위치로부터 캡처한 이미지, 서로 다른 시야로부터 캡처한 이미지, 서로 다른 초점 거리를 사용하여 캡처한 이미지, 시차 정보에 따라 캡처한 이미지 등을 포함할 수 있다. 하이브리드 이미지 분석은 하나 이상의 시각 이미지가 하나 이상의 적외선 이미지와 정렬되고 이 정렬된 이미지에 기반을 두어 이미지 분석이 수행되는 경우를 말할 수 있다. 예를 들어, 일 실시예에서, 시스템(100)은 이미지캡처장치(122, 124, 126)를 사용하여 3중 카메라 구성을 구현할 수 있다. 이런 구성에서, 이미지캡처장치(122)는 좁은 시야(예, 34도, 또는 약 20 내지 45도 범위에서 선택한 시야)를 제공할 수 있고, 이미지캡처장치(124)는 광시야(예, 150도 또는 약 100 내지 180도 범위에서 선택한 시야)를 제공할 수 있으며, 이미지캡처장치(126)는 중간 시야(예, 46도 또는 약 35 내지 60도 범위에서 선택한 시야)를 제공할 수 있다. 일부 실시예에서, 이미지캡처장치(126)는 주 카메라 역할을 할 수 있다. 이미지캡처장치(122, 124, 126)는 백미러(310) 후면에 배치되고 실질적으로 서로 나란히(예, 6cm 간격으로) 배치될 수 있다. 또한, 상기에 설명한 바와 같이, 일부 실시예에서, 하나 이상의 이미지캡처장치(122, 124, 126)는 차량(200)의 전면 유리에 맞닿아 있는 눈부심 가림막(380) 뒤에 탑재될 수 있다. 이러한 가림막은 차량 내부로부터의 반사가 이미지캡처장치(122, 124, 126)에 끼치는 영향을 최소화할 수 있다.
다른 실시예에서, 상기에 도 3b 내지 3c를 참조하여 설명한 바와 같이, 광시야 카메라(예, 상기 예에서의 이미지캡처장치(124))는 좁은 시야 카메라와 주 시야 카메라(예, 상기 예에서의 이미지캡처장치(122, 126)보다 낮은 위치에 탑재될 수 있다. 이런 구성은 광시야 카메라로부터 탁 트인 시선을 제공할 수 있다. 반사를 줄이기 위하여, 카메라들은 차량(200)의 전면 유리 가까이 탑재될 수 있고, 반사광을 완화하기 위하여 편광판을 포함할 수 있다.
3중 카메라 시스템은 특정 성능을 제공할 수 있다. 예를 들면, 일부 실시예는 한 카메라가 검출한 물체에 대해 다른 카메라의 검출 결과에 근거하여 검증하는 능력을 포함할 수 있다. 상기에 설명한 3중 카메라 구성에서, 처리부(110)는 예를 들어 3개의 처리 장치(예, 3개의 EyeQ 시리즈 프로세서 칩)를 포함하고, 각 처리 장치는 하나 이상의 이미지캡처장치(122, 124, 126)가 캡처한 이미지를 전용으로 처리할 수 있다.
3중 카메라 시스템에서, 제1 처리 장치는 주 카메라와 좁은 시야 카메라로부터 이미지를 수신하고, 좁은 시야 카메라의 비전 처리를 수행하여, 예를 들어, 다른 차량, 보행자, 차선 표시, 교통 표지, 신호등, 기타 도로 상의 물체 등을 검출할 수 있다. 나아가, 제1 처리 장치는 주 카메라와 좁은 시야 카메라 사이의 픽셀 차이를 산출하여 차량(200) 주변 환경의 3차원 재구성을 생성한 후, 3차원 재구성을 3차원 지도 데이터 또는 다른 카메라로부터 수신한 정보에 근거하여 계산한 3차원 정보와 조합할 수 있다.
제2 처리 장치는 주 카메라로부터 이미지를 수신하고, 비전 처리를 수행하여 다른 차량, 보행자, 차선 표시, 교통 표지, 신호등, 기타 도로 상의 물체 등을 검출할 수 있다. 뿐만 아니라, 제2 처리 장치는 카메라 변위를 계산하고, 계산된 변위에 근거하여 연속된 이미지 사이의 픽셀 차이를 계산하여 장면(예, 동작의 구조)의 3차원 재구성을 생성할 수 있다. 제2 처리 장치는 3차원 재구성에 근거한 동작의 구조를 제1 처리 장치에 전송하여 3차원 입체 이미지와 조합할 수 있다.
제3 처리 장치는 광시야 카메라로부터 이미지를 수신하고 처리하여 차량, 보행자, 차선 표시, 교통 표지, 기타 도로 상의 물체 등을 검출할 수 있다. 제3 처리 장치는 또한 이미지 분석을 위한 추가 처리 명령을 수행하여 차선을 변경하는 차량, 보행자 등과 같은 이미지 내의 움직이는 물체를 식별할 수 있다.
일부 실시예에서, 이미지 기반 정보의 스트림을 독립적으로 확보하고 처리함으로써, 시스템상의 중복성을 제공할 수 있다. 여기서, 중복성은, 예를 들면, 제1 이미지캡처장치와 이 장치로부터 처리된 이미지를 사용하여 적어도 제2 이미지캡처장치로부터 이미지 정보를 캡처하고 처리하여 획득된 정보를 검증 및/또는 보완하는 것을 포함할 수 있다.
일부 실시예에서, 시스템(100)은 2개의 이미지캡처장치(예, 122, 124)를 사용하여 차량(200)의 주행제어 지원을 제공하고 제3 이미지캡처장치(예, 126)을 사용하여 상기 2개의 이미지캡처장치로부터 수신한 데이터의 분석 결과의 중복성 및 검증을 제공할 수 있다. 예를 들면, 이런 구성에서, 이미지캡처장치(122, 124)는 차량(200)의 주행을 위해 시스템(100)에 의한 입체 분석을 위한 이미지를 제공하고, 이미지캡처장치(126)는 시스템(100)에 의한 단안 분석을 위한 이미지를 제공하여 이미지캡처장치(122 및/또는 126)가 캡처한 이미지에 근거하여 확보한 정보의 중복성 및 검증을 제공할 수 있다. 즉, 이미지캡처장치(126)(및 상응하는 처리장치)는 이미지캡처장치(122, 124)로부터 얻은 분석에 대한 확인을 제공(예, 자동긴급제동(AEB, automatic emergency braking) 제공) 하기 위한 중복 서브시스템을 제공하는 것으로 간주될 수 있다. 나아가, 일부 실시예에서, 수신 데이터의 중복성 및 검증은 하나 이상의 센서(예, 레이더, 라이더, 음향 센서, 차량 외부의 하나 이상의 송수신기로부터 수신한 정보 등)로부터 수신된 정보에 근거하여 보완될 수 있다.
상기 카메라의 구성, 배치, 개수, 위치 등은 예시에 불과하다는 것을 당업자는 인식할 수 있을 것이다. 전체적인 시스템과 연관하여 설명하는 이러한 구성요소들과 기타 구성요소들은 기재된 실시예들의 범위를 벗어나지 않고 다양한 구성으로 조합되고 사용될 수 있다. 운전자 보조 및/또는 자율 주행 기능을 제공하기 위한 다중 카메라 시스템의 사용과 관련된 내용은 하기에 설명한다.
도 4는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령이 저장/프로그램 될 수 있는 메모리(140 및/또는 150)의 예시적인 기능 구성도이다. 하기에는 메모리(140)에 관하여 설명하지만, 명령이 메모리(140) 및/또는 메모리(150)에 저장될 수 있음은 당업자에게 당연할 것이다.
도 4에 도시된 바와 같이, 메모리(140)는 단안 이미지(monocular image)분석 모듈(402), 입체 이미지 분석 모듈(404), 속도 및 가속 모듈(406), 주행 반응 모듈(408)을 저장할 수 있다. 여기에 기재된 실시예들은 메모리(14)의 어느 특정 구성으로 한정되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)는 메모리(140)에 포함된 모든 모듈(420, 404, 406, 408)에 저장된 명령을 실행할 수 있다. 본 발명의 기술분야의 당업자라면 하기의 설명에서 처리부(110)란 애플리케이션 프로세서(180) 및/또는 영상 프로세서(190)를 개별적으로 또는 총괄하여 지칭할 수 있다는 것을 이해할 것이다. 이에 따라, 하기에 설명한 과정의 단계들은 하나 이상의 처리 장치에 의해 수행될 수 있다.
일 실시예에서, 단안 이미지(monocular image)분석 모듈(402)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중의 하나가 확보한 이미지 세트(set)의 단안 이미지(monocular image)분석을 수행하는, 명령(예, 컴퓨터 시각 소프트웨어)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 이미지 세트(set)의 정보를 추가 감지 정보(예, 레이더, 라이더 등으로부터 얻은 정보)와 병합하여 단안 이미지(monocular image)분석을 수행할 수 있다. 하기에 도 5a 내지 5d를 참조하여 설명하겠지만, 단안 이미지(monocular image)분석 모듈(402)은 차선 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변환경과 연관된 기타 특성 등과 같은 특징들을 이미지 세트(set) 내에서 검출하기 위한 명령을 포함할 수 있다. 시스템(100)은 이 분석에 근거하여, 예를 들어 처리부(110)를 통하여, 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 주행 반응을 야기할 수 있으며, 이에 대해서는 하기에 주행 반응 모듈(408)에서 설명한다.
일 실시예에서, 입체 이미지 분석 모듈(404)은, 처리부(110)에 의해 실행될 경우 이미지캡처장치(122, 124, 126) 중에서 선택된 이미지캡처장치의 조합에 의해 확보된 제1 및 제2 이미지 세트(set)의 입체 이미지 분석을 수행하는, 명령(예, 컴퓨터 비전 소프트웨어)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 제1 및 제2 이미지 세트(set)의 정보를 추가 감지 정보(예, 레이다로부터 얻은 정보)와 병합하여 입체 이미지 분석을 수행할 수 있다. 예를 들어, 입체 이미지 분석 모듈(404)은 이미지캡처장치(124)가 확보한 제1 이미지 세트(set)와 이미지캡처장치(126)가 확보한 제2 이미지 세트(set)에 근거하여 입체 이미지 분석을 수행하기 위한 명령을 포함할 수 있다. 하기에 도 6을 참조하여 설명하겠지만, 입체 이미지 분석 모듈(404)은 차선 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 위험 물체, 및 차량의 주변환경과 연관된 기타 특성 등과 같은 특징들을 제1 및 제2 이미지 세트(set) 내에서 검출하기 위한 명령을 포함할 수 있다. 처리부(110)는 이 분석에 근거하여 차량(200)의 회전, 차선 변경, 가속 변화 등과 같은 하나 이상의 주행 반응을 야기할 수 있으며, 이에 대해서는 하기에 주행 반응 모듈(408)에서 설명한다. 나아가, 일부 실시예에서, 입체 이미지 분석 모듈(404)은, 감지 정보가 캡처 되고 처리된 환경 내에서 물체를 컴퓨터 비전 알고리즘을 사용하여 검출 및/또는 표식하도록 구성될 수 있는 시스템과 같은, 학습 시스템(신경망 또는 심층 신경망과 같은) 또는 비학습 시스템과 관련된 방식을 구현할 수 있다. 일 실시예에서, 입체 이미지 분석 모듈(404) 및/또는 기타 이미지 처리 모듈은 학습 시스템과 비학습 시스템의 조합을 활용하도록 구성될 수 있다.
일 실시예에서, 속도 및 가속 모듈(406)은 차량(200)의 속도 및/또는 가속 변화를 야기하도록 구성된 차량(200)에 구비된 하나 이상의 컴퓨팅 및 기전 장치로부터 수신한 데이터를 분석하도록 구성된 소프트웨어를 저장할 수 있다. 예를 들어, 처리부(110)는 속도 및 가속 모듈(406)과 연계된 명령을 수행함으로써 단안 이미지(monocular image)분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 실행하여 얻은 데이터에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 상기 데이터는 예를 들어 목표 위치, 속도, 및/또는 가속, 부근의 차량, 보행자 또는 도로 상의 물체에 대한 차량(200)의 위치 및/또는 속도, 도로의 차로 표시에 대한 차량(200)의 위치 정보 등을 포함할 수 있다. 또한, 처리부(110)는 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 차량(200)의 목표 속도를 산출할 수 있다. 산출된 목표 속도에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전자 신호를 전송하여, 예를 들면, 물리적으로 차량(200)의 브레이크 페달을 누르거나 가속 페달을 감압하여 속도 및/또는 가속의 변화를 일으킬 수 있다.
일 실시예에서, 주행 반응 모듈(408)은 단안 이미지(monocular image)분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 실행하여 얻은 데이터에 근거하여 필요한 주행 반응을 판단하기 위하여 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 상기 데이터는 부근의 차량, 보행자, 및 도로 상의 물체에 대한 위치 및 속도, 차량(200)의 목표 위치 정보 등을 포함할 수 있다. 뿐만 아니라, 일부 실시예에서, 주행 반응은 지도 데이터, 미리 설정한 차량(200)의 위치, 및/또는 단안 이미지(monocular image)분석 모듈(402) 및/또는 입체 이미지 분석 모듈(404)을 실행하여 얻은 차량(200)과 하나 이상의 물체 사이의 상대 속도 또는 상대 가속에 부분적으로 또는 전적으로 근거할 수 있다. 주행 반응 모듈(408)은 또한 감지 입력(예, 레이더로부터 얻은 정보) 및 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)과 같은 기타 시스템의 입력에 근거하여 필요한 주행 반응을 판단할 수 있다. 필요한 주행 반응에 근거하여, 처리부(110)는 차량(200)의 구동 시스템(220), 제동 시스템(230), 및/또는 조향 시스템(240)으로 전자 신호를 전송하여, 예를 들면, 차량(200)의 조향 핸들을 회전하여 미리 설정한 각도의 회전을 유도함으로써 필요한 주행 반응을 일으킬 수 있다. 일부 실시예에서, 처리부(110)는 주행 반응 모듈(408)의 출력(예, 필요 주행 반응)을 차량(200)의 속도 변경을 산출하기 위한 속도 및 가속 모듈(406)의 실행을 위한 입력으로 사용할 수 있다.
나아가, 여기에 기재된 일체의 모듈(예, 402, 404, 406)은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연관된 방식을 구현할 수 있다.
도 5a는 기재된 실시예에 따른 단안 이미지(monocular image)분석에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정(500a)을 도시한 순서도이다. 단계 510에서, 처리부(110)는 처리부(110)와 이미지획득부(120) 사이의 데이터 인터페이스(128)를 통하여 복수의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)에 포함된 카메라(예, 시야(202)를 가진 이미지캡처장치(122))는 차량(200)의 전방 영역(또는 측방 또는 후방 영역)의 복수의 이미지를 캡처하고 이 이미지를 데이터 연결(예, 디지털, 유선, USB, 무선, 블루투스 등)을 통하여 처리부(110)로 전송할 수 있다. 처리부(110)는 단계 520에서 단안 이미지(monocular image)분석 모듈(402)을 실행하여 복수의 이미지를 분석할 수 있다. 이에 대해서는 도 5b 내지 5d를 참조하여 상세히 설명한다. 분석을 수행함으로써, 처리부(110)는 이미지 세트(set)에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등 등의 특징들을 검출할 수 있다.
처리부(110)는 또한 단계 520에서 단안 이미지(monocular image)분석 모듈(402)을 실행하여, 예를 들면, 트럭 타이어 조각, 도로에 떨어진 표지판, 적재 불량 차량, 동물 등의 다양한 도로 상의 위험을 검출할 수 있다. 도로 상의 위험은 그 구조, 모양, 크기, 색 등이 다양하여 이런 위험을 검출하는 것은 더욱 어렵다. 일부 실시예에서, 처리부(110)는 단안 이미지(monocular image)분석 모듈(402)을 실행하여 복수의 이미지에 대한 다중 프레임 분석을 수행하여 도로상의 위험을 검출할 수 있다. 예를 들어, 처리부(110)는 연속 프레임 사이의 카메라 움직임을 예측하고 프레임 사이의 픽셀 차이를 계산하여 도로의 3차원 지도를 구축할 수 있다. 이후, 처리부(110)는 3차원 지도를 사용하여 도로면 뿐만 아니라 도로면 상에 존재하는 위험을 검출할 수 있다.
단계 530에서, 처리부(110)는 주행 반응 모듈(408)을 실행하여 단계 520에서 수행한 분석 및 상기에서 도 4를 참조하여 설명한 방법에 근거하여 차량(200)에 하나 이상의 주행 반응을 일으킬 수 있다. 주행 반응은 예를 들어 회전, 차선 변경, 가속 변경 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 얻은 데이터를 활용하여 하나 이상의 주행 반응을 야기할 수 있다. 또한, 복수의 주행 반응이 동시에, 순차적으로, 또는 결합된 형태로 일어날 수 있다. 예를 들면, 처리부(110)는 제어 신호를 차량(200)의 조향 시스템(240)과 구동 시스템(220)에 순차적으로 전송하여 차량(200)이 차로를 변경한 후 가속을 하게 할 수 있다. 또는, 처리부(110)는 차량(200)의 제동 시스템(230)과 조향 시스템(240)에 제어 신호를 동시에 전송하여 차량(200)이 제동을 하면서 동시에 차로를 변경하게 할 수 있다.
도 5b는 기재된 실시예에 따른 이미지 세트(set)에서 하나 이상의 차량 및/또는 보행자를 감지하는 예시적인 과정(500b)을 도시한 순서도이다. 처리부(110)는 단안 이미지(monocular image)분석 모듈(402)을 실행하여 이 과정(500b)을 구현할 수 있다. 단계 540에서, 처리부(110)는 차량 및/또는 보행자일 가능성을 나타내는 후보 물체 집단(sets)을 판단할 수 있다. 예를 들어, 처리부(110)는 하나 이상의 이미지를 스캔하고, 이 이미지를 하나 이상의 미리 설정한 패턴과 비교하여, 각 이미지 내에서 관심 물체(예, 차량, 보행자 등)가 있을만한 위치를 파악할 수 있다. 미리 설정한 패턴은 높은 비율의 오탐(false hits)과 낮은 비율의 누락(misses)을 달성하도록 설계될 수 있다. 예를 들어, 처리부(110)는 차량 또는 보행자일 가능성이 있는 후보 물체를 식별하기 위하여 미리 설정한 패턴에 낮은 유사 한계치를 사용할 수 있다. 이 결과, 처리부(110)가 차량 또는 보행자를 나타내는 후보 물체를 놓칠(즉, 식별하지 못할) 확률을 낮출 수 있다.
단계 542에서, 처리부(110)는 분류 기준에 근거하여 후보 물체 세트(set)를 필터링하여 특정 후보(예, 관련이 없거나 적은 물체)를 제외할 수 있다. 여기서, 기준은 데이터베이스(예, 메모리(140)에 저장된 데이터베이스)에 저장된 물체 유형의 다양한 성질로부터 확보할 수 있다. 여기서, 물체 유형의 성질은 물체의 모양, 크기, 질감, 위치(예, 차량(200)에 대한 위치) 등을 포함할 수 있다. 따라서, 처리부(110)는 하나 이상의 기준을 사용하여 후보 물체 세트(set) 중에서 거짓 후보를 제외시킬 수 있다.
단계 544에서, 처리부(110)는 이미지의 다중 프레임을 분석하여 후보 물체 세트(set)의 물체가 차량 및/또는 보행자를 나타내는지 여부를 판단할 수 있다. 예를 들면, 처리부(110)는 감지된 후보 물체를 연속 프레임에 걸쳐 추적하여 감지된 물체와 연관된 프레임 별 데이터(예, 차량(200)과 관련된 크기, 위치 등)를 축적할 수 있다. 또한, 처리부(110)는 감지된 물체의 파라미터를 추정하고 물체의 프레임 별 위치 데이터를 예측 위치와 비교할 수 있다.
단계 546에서, 처리부(110)는 감지된 물체의 측정치 세트(set)를 구성할 수 있다. 여기서, 측정치는 예를 들어 감지된 물체와 연계된 위치, 속도, 및 가속값(예, 차량(200)에 대한 상대적인 가속값)을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 칼만 필터(Kalman filters) 또는 선형 2차 곡선 추정(LQE, linear quadratic estimation) 등과 같은 시간 기준 관찰을 사용한 추정 방법 및/또는 기타 물체 유형(예, 차, 트럭, 보행자, 자전거, 도로 표지 등)에 대한 기존 모델링 데이터에 근거하여 측정치를 구성할 수 있다. 칼만 필터는 물체 크기의 측정치에 근거하고, 크기 측정치는 충돌까지의 시간(예, 차량(200)이 물체에 도달하는 시간)에 비례할 수 있다. 따라서, 단계 540, 542, 544, 546을 수행함으로써, 처리부(110)는 캡처 된 이미지 세트(set) 내에 등장하는 차량과 보행자를 식별하고 이 차량과 보행자와 관련된 정보(예, 위치, 속도, 크기)를 도출할 수 있다. 식별된 내용과 도출한 정보에 근거하여, 처리부(110)는 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 하나 이상의 주행 반응을 하도록 할 수 있다.
단계 548에서, 처리부(110)는 하나 이상의 이미지에 대한 광류(optical flow) 분석을 수행하여 차량 또는 보행자를 나타내는 후보 물체에 대한 오탐과 누락 확률을 낮출 수 있다. 여기서, 광류 분석이란, 예를 들어, 다른 차량과 보행자와 관련된 하나 이상의 이미지에서 차량(200)에 대한, 그리고 도로 표면 움직임과 다른, 동작 패턴을 분석하는 것을 의미할 수 있다. 처리부(110)는 후보 물체의 움직임을 계산하기 위하여 위치값 및 시간값을 수학적 모델의 입력으로 사용할 수 있다. 따라서, 광류 분석은 차량(200)에 근접한 차량과 보행자를 감지하는 또 다른 방법을 제공할 수 있다. 처리부(110)는 광류 분석을 단계 540, 542, 544, 546과 함께 수행함으로써 차량과 보행자를 탐지하는 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5c는 기재된 실시예에 따른 이미지 세트(set)에서 도로 표지 및/또는 차선 형상 정보를 검출하는 과정(500C)의 일례를 예시한 순서도이다. 처리부(110)는 단안 이미지(monocular image)분석 모듈(402)을 실행하여 본 과정(500C)을 구현할 수 있다. 단계 550에서, 처리부(110)는 하나 이상의 이미지를 스캔하여 물체 세트(set)를 검출할 수 있다. 차선 표시의 일부분, 차선 형상 정보, 및 기타 해당 도로 표지를 검출하기 위하여, 처리부(110)는 물체 세트(set)를 필터링하여 관련 없는 것으로 판단된 물체(예, 대수롭지 않은 포트홀, 자갈 등)를 제외시킬 수 있다. 단계 552에서, 처리부(110)는 동일 도로 표지 또는 차선 표시에 해당하는 단계 550에서 감지된 조각들을 함께 묶을 수 있다. 이러한 묶음에 근거하여, 처리부(110)는 검출된 조각들을 나타낼 모델, 예를 들면, 수학적 모델을 생성할 수 있다.
단계 554에서, 처리부(110)는 감지된 조각들에 상응하는 측정치 세트(set)를 구성할 수 있다. 일부 실시예에서, 처리부(110)는 감지된 조각들을 이미지 면으로부터 실세계 면(real-world plane)으로 투영할 수 있다. 여기서, 투영은 감지된 도로의 위치, 경사, 곡률, 및 곡률 미분 등과 같은 물리적 성질에 상응하는 계수를 가진 3차 다항식을 사용하는 특징이 있을 수 있다. 투영을 생성할 때, 처리부(110)는 도로면의 변화뿐만 아니라 차량(200)의 피치(pitch)와 롤(roll) 비율을 고려할 수 있다. 또한, 처리부(110)는 도로면에 존재하는 위치 및 모션 신호를 분석하여 도로의 높낮이를 추정할 수 있다. 나아가, 처리부(110)는 하나 이상의 이미지의 특징점 세트(set)을 추적하여 차량(200)의 피치 및 롤 비율을 추정할 수 있다.
단계 556에서, 처리부(110)는 예를 들어 검출된 조각들을 연속 이미지 프레임에 걸쳐 추적하고 검출된 조각과 관련된 프레임 별 데이터를 축적하여 다중 프레임 분석을 수행할 수 있다. 처리부(110)가 다중 프레임 분석을 수행함에 따라, 단계 554에서 구성된 측정치 세트(set)는 더욱 신뢰할 수 있게 되고 더욱 높은 신뢰 수준을 갖게 된다. 따라서, 단계 550 내지 556을 수행함으로써, 처리부(110)는 캡처 된 이미지 세트(set) 내에 등장하는 도로 표지를 식별하고 차선 형상 정보를 도출할 수 있게 된다. 이러한 식별과 도출된 정보에 근거하여, 처리부(110)는, 상기에서 도 5a를 참조하여 설명한 바와 같이, 차량(200)이 주행 반응을 취하게 할 수 있다.
단계 558에서, 처리부(110)는 추가 정보를 고려하여 차량(200) 주변에 관한 안전 모델을 생성할 수 있다. 처리부(110)는 안전 모델을 사용하여 시스템(100)이 차량(200)의 자율 제어를 안전하게 할 수 있는 환경을 정의할 수 있다. 일부 실시예에서, 안전 모델을 생성하기 위하여, 처리부(100)는 다른 차량의 위치와 움직임, 검출된 도로 에지 및 장벽, 및/또는 지도 데이터(예, 지도 데이터베이스(160)의 데이터)에서 추출한 일반적인 도로 형상 설명을 고려할 수 있다. 추가 정보를 고려함으로써, 처리부(110)는 도로 표지 및 차선 형상에 대한 중복성을 제공하고 시스템(100)의 신뢰도를 향상시킬 수 있다.
도 5d는 기재된 실시예에 따른 영상 세트(set)에서 신호등을 감지하는 예시적인 과정(500D)을 도시한 순서도이다. 처리부(110)는 단안 이미지(monocular image)분석 모듈(402)을 실행하여 본 과정(500D)을 구현할 수 있다. 단계 560에서, 처리부(110)는 이미지 세트(set)를 스캔하고 신호등 포함 가능성이 있는 이미지의 위치에 나타나는 물체를 식별한다. 예를 들면, 처리부(110)는 식별된 물체를 필터링하여 신호등에 상응할 가능성이 없는 물체들을 제외한 후보 물체 세트(set)를 구성할 수 있다. 필터링은 신호등의 모양, 크기, 질감, 위치(예, 차량(200)에 대한 상대적 위치) 등의 다양한 성질에 근거하여 수행될 수 있다. 이러한 성질은 데이터베이스에 저장된 신호등과 교통 제어 신호에 대한 복수의 예에 근거할 수 있다. 일부 실시예에서, 처리부(110)는 신호등 가능성이 있는 후보 물체 세트(set)에 대한 다중 프레임 분석을 수행할 수 있다. 예를 들어, 처리부(110)는 연속 이미지 프레임에 걸쳐 후보 물체를 추적하고, 후보 물체의 실세계 위치를 추정하고, 움직이는 물체(즉, 신호등일 가능성이 적은 물체)를 필터링할 수 있다. 일부 실시예에서, 처리부(110)는 후보 물체에 대한 색 분석을 실시하고 신호등 가능성이 있는 물체 내부에서 감지된 색의 상대 위치를 식별할 수 있다.
단계 562에서, 처리부(110)는 교차로의 기하를 분석할 수 있다. 이 분석은 (i) 차량(200) 양측에 검출된 차선의 수, (ii) 도로상에 검출된 표시(화살표 등), (iii) 지도 데이터(예, 데이터베이스(160)에 저장된 지도 데이터)에서 추출된 교차로 설명의 조합에 근거하여 수행될 수 있다. 처리부(110)는 단안 분석 모듈(402)을 실행하여 도출한 정보를 이용하여 분석을 수행할 수 있다. 또한, 처리부(110)는 단계 560에서 감지된 신호등이 차량(200) 부근에 보이는 차선과 상응하는지 판단할 수 있다.
차량(200)이 교차로에 접근함에 따라, 단계 564에서, 처리부(110)는 분석된 교차로 기하와 검출된 신호등에 관한 신뢰 수준을 업데이트 할 수 있다. 예를 들어, 교차로에 나타날 것으로 추정된 신호등의 수와 실제로 교차로에 나타난 신호등의 수를 비교하면 신뢰 수준을 파악할 수 있다. 따라서, 이 신뢰 수준에 근거하여, 처리부(110)는 안전 조건을 향상하기 위하여 차량(200)의 제어를 운전자에게 맡길 수 있다. 단계 560, 562, 564를 수행함으로써, 처리부(110)는 캡처 된 이미지 세트(set) 내에 나타나는 신호등을 식별하고 교차로 기하 정보를 분석할 수 있다. 이러한 식별과 분석을 근거로, 처리부(110)는 상기에 도 5a를 참조하여 설명한 하나 이상의 주행 반응을 차량(200)이 하도록 할 수 있다.
도 5e는 기재된 실시예에 따른 차량 경로에 근거한 하나 이상의 주행 반응을 차량(200)에 야기하는 예시적인 과정(500E)을 도시한 순서도이다. 단계 570에서, 처리부(110)는 차량(200)의 초기 차량 경로를 구성할 수 있다. 차량 경로는 좌표 (x, z)로 표현되는 점의 세트(set)로 나타낼 수 있고, 점의 세트(set)의 두 점 간의 간격인 d i 는 1 내지 5 미터의 범위 내에 있을 수 있다. 일 실시예에서, 처리부(110)는 좌측 도로 다항식과 우측 도로 다항식과 같은 두 개의 다항식을 사용하여 초기 차량 경로를 구성할 수 있다. 처리부(110)는 두 개의 다항식 사이의 중간점을 계산하고, 오프셋이 있는 경우(오프셋이 0인 경우는 차선 중앙 주행에 해당함), 차량 경로 결과에 포함된 각 점을 미리 설정한 오프셋(예, 스마트 차선 오프셋)만큼 오프셋 할 수 있다. 오프셋은 차량 경로 내의 두 점 사이의 구간에 수직인 방향일 수 있다. 다른 실시예에서, 처리부(110)는 하나의 다항식과 추정된 차선 폭을 사용하여 차량 경로의 각 점을 추정된 차선 폭에 미리 설정한 오프셋(예, 스마트 차선 오프셋)을 더한 값만큼 오프셋 할 수 있다.
단계 572에서, 처리부(110)는 단계 570에서 구성한 차량 경로를 업데이트 할 수 있다. 처리부(110)는 단계 570에서 구성한 차량 경로를 더 높은 해상도를 사용하여 재구성하여 차량 경로를 나타내는 점의 세트(set)의 두 점 사이의 거리 d k 가 상기에 설명한 거리 d i 보다 작도록 할 수 있다. 예를 들어, d k 는 0.1 내지 0.3 미터의 범위 내에 있을 수 있다. 처리부(110)는 차량 경로의 전체 길이에 해당하는(즉, 차량 경로를 나타내는 점들의 세트(set)에 근거한) 누적 거리 벡터 S를 산출하는 파라볼릭 스플라인 알고리즘(parabolic spline algorithm)을 사용하여 차량 경로를 재구성할 수 있다.
단계 574에서, 처리부(110)는 단계 572에서 구성된 업데이트된 차량 경로에 근거하여 예견점(look-ahead point)(좌표 (x l , z l )로서 표현)을 결정할 수 있다. 처리부(110)는 누적 거리 벡터 S로부터 예견점을 추출할 수 있고, 예견점은 예견 거리 및 예견 시간과 연계될 수 있다. 하한계가 10 내지 20미터일 수 있는 예견 거리는 차량(200)의 속도와 예견 시간을 곱한 값으로 산출될 수 있다. 예를 들어, 차량(200)의 속도가 감소하면, 예견 거리도 감소(예, 하한계에 도달할 때까지)할 수 있다. 범위가 0.5 내지 1.5초일 수 있는 예견 시간은 차량(200)에 주행 반응을 유도하는 것과 관계있는 하나 이상의 제어 루프(control loop)(예, 방위각 오차 추적 제어 루프)의 게인(gain)에 반비례할 수 있다. 예를 들어, 방위각 오차 추적 제어 루프의 게인은 요 레이트(yaw rate) 루프(yaw rate loop)의 대역폭, 조향 액추에이터 루프, 차량 측 방향 동역학 등에 따라 다를 수 있다. 따라서, 방위각 오차 추적 제어 루프의 게인이 클수록, 예견 시간은 작아질 수 있다.
단계 576에서, 처리부(110)는 단계 574에서 판단한 예견점에 근거하여 방위각 오차 및 요 레이트(yaw rate) 명령을 결정할 수 있다. 처리부(110)는 예견점의 역탄젠트, 예를 들어 arctan(x l / z l )를 산출하여 결정할 수 있다. 처리부(110)는 방위각 오차와 고레벨 제어 게인의 곱을 산출하여 요 레이트(yaw rate) 명령을 결정할 수 있다. 고레벨 제어 게인은, 예견 거리가 하한계에 있지 않은 경우, (2 / 예견 시간)과 같을 수 있다. 아니면, 고레벨 제어 게인은 (2 * 차량 속도 / 예견 거리)와 같을 수 있다.
도 5f는 기재된 실시예에 따른 선두 차량이 차선 변경을 하는지를 판단하는 예시적인 과정(500F)을 도시한 순서도이다. 단계 580에서, 처리부(110)는 선두 차량(예, 차량(200)에 앞서 주행하는 차량)에 대한 주행 정보를 판단할 수 있다. 예를 들면, 처리부(110)는, 상기의 도 5a와 도 5b를 참조하여 설명한 방법을 활용하여 선두 차량의 위치, 속도(예, 방향과 속력), 및/또는 가속도를 판단할 수 있다. 처리부(110)는 또한 상기의 도 5e를 참조하여 설명한 방법을 활용하여 하나 이상의 도로 다항식, 예견점(차량(200)과 관련된 예견점), 및/또는 스네일 트레일(snail trail: 선두 차량의 경로를 묘사하는 점의 세트(set))을 판단할 수 있다.
단계 582에서 처리부(110)는 단계 580에서 판단한 주행 정보를 분석할 수 있다. 일 실시예에서, 처리부(110)는 스네일 트레일과 도로 다항식(예, 스네일 트레일을 따라가는 다항식) 사이의 거리를 계산할 수 있다. 스네일 트레일을 따라가는 거리의 분산이 미리 설정한 임계치(예, 직선 도로에서 0.1 내지 0.2, 완만한 커브길에서 0.3 내지 0.4, 급커브길에서 0.5 내지 0.6)를 초과하는 경우, 처리부(110)는 선두 차량이 차선 변경 가능성이 있는 것으로 판단할 수 있다. 차량(200)의 앞에 여러 차량이 검출된 경우, 처리부(110)는 각 차량의 스네일 트레일을 비교할 수 있다. 처리부(110)는 비교 결과에 근거하여 다른 차량들의 스네일 트레일과 일치하지 않는 스네일 트레일의 차량이 차선 변경의 가능성이 있는 것으로 판단할 수 있다. 처리부(110)는 추가적으로 선두 차량의 스네일 트레일의 곡률과 선두 차량이 주행하고 있는 도로 구간의 예상 곡률을 비교할 수 있다. 예상 곡률은 지도 데이터(예, 데이터베이스(16)의 데이터), 도로 다항식, 다른 차량의 스네일 트레일, 도로에 대한 사전 지식 등으로부터 추출될 수 있다. 스네일 트레일의 곡률과 도로 구간의 예상 곡률의 차이가 미리 설정된 임계치를 초과하는 경우, 처리부(110)는 선두 차량이 차선 변경을 하고있을 가능성이 있는 것으로 판단할 수 있다.
다른 실시예에서, 처리부(110)는 특정 시간(예, 0.5 내지 1.5초)에 대한 선두 차량의 순간 위치와 예견점(차량(200)의 예견점)을 비교할 수 있다. 특정 시간 동안에 선두 차량의 순간 위치와 예견점 사이의 거리가 변화하고 변화의 누적 합이 미리 설정한 임계치(예, 직선도로 상 0.3 내지 0.4 미터, 완만한 커브길의 0.7 내지 0.8 미터, 급커브길의 1.3 내지 1.8 미터)를 초과할 경우, 처리부(110)는 선두 차량이 차선 변경을 하고있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 스네일 트레일을 따라 주행한 횡방향 거리와 스네일 트레일의 예상 곡률을 비교하여 스네일 트레일의 기하를 분석할 수 있다. 예상 곡률 반경은 수학식
Figure pat00001
을 통하여 판단할 수 있다. 여기서,
Figure pat00002
는 횡방향 주행 거리이고,
Figure pat00003
는 종방향 주행 거리이다. 횡방향 주행 거리와 예상 곡률 사이의 차이가 미리 설정한 임계치(예, 500 내지 700미터)를 초과하는 경우, 처리부(110)는 선두 차량이 차선 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 실시예에서, 처리부(110)는 선두 차량의 위치를 분석할 수 있다. 선두 차량의 위치가 도로 다항식을 안 보이게 하는 경우(예, 선두 차량이 도로 다항식의 상부에 덮어씌워 있는 경우), 처리부(110)는 선두 차량이 차선 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다. 다른 차량이 선두 차량의 앞에 검출되고 선두 차량과 앞 차량의 스네일 트레일이 서로 평행하지 않은 경우, 처리부(110)는 선두 차량(즉, 차량(200)과 가까운 차량)이 차선 변경을 하고 있을 가능성이 있는 것으로 판단할 수 있다.
단계 584에서, 처리부(110)는 단계 582에서 수행한 분석에 근거하여 선두 차량의 차선 변경 여부를 판단할 수 있다. 예를 들어, 처리부(110)는 단계 582에서 수행한 개별 분석의 가중 평균에 근거하여 판단을 할 수 있다. 이 방법에서, 예를 들면, 특정 유형의 분석에 근거하여 선두 차량이 차선 변경을 하고 있을 가능성이 있다는 판단을 처리부(110)가 내릴 경우, "1"의 값을 부여할 수 있다(선두 차량이 차선 변경을 하지 않고 있을 가능성 판단일 경우, "0"의 값 부여). 단계 582에서 수행되는 다른 분석에는 다른 가중치가 부여될 수 있으며, 본 실시예는 특정 조합의 분석 및 가중치에 한정되지 않는다. 나아가, 일부 실시예에서, 예를 들어 현 위치에서 캡처 된 이미지에 기반을 두어 차량의 현 위치 전방의 향후 경로를 추정할 수 있는, 학습 시스템(예, 머신러닝 시스템 또는 딥러닝 시스템)을 활용할 수 있다.
도 6은 기재된 실시예에 따른 입체 이미지 분석에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정(600)을 도시한 순서도이다. 단계 610에서, 처리부(110)는 복수의 제1 및 제2 이미지를 데이터 인터페이스(128)를 통하여 수신할 수 있다. 예를 들면, 이미지획득부(120, 시야(202, 204)를 가진 이미지캡처장치(122, 124) 등)에 포함된 카메라가 차량(200) 전면 영역의 복수의 제1 및 제2 이미지를 캡처하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 둘 이상의 데이터 인터페이스를 통해 복수의 제1 및 제2 이미지를 수신할 수 있다. 여기에 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜에 제한되지 않는다.
단계 620에서, 처리부(110)는 입체 이미지 분석 모듈(404)을 실행하여 복수의 제1 및 제2 이미지에 대한 입체 이미지 분석을 수행하여 차량 전면 도로의 3차원 지도를 생성하고, 이미지 내에서 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로 상의 위험물 등과 같은 특징을 검출할 수 있다. 입체 이미지 분석은 상기에서 도 5a 내지 5d를 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 입체 이미지 분석 모듈(404)을 실행하여 복수의 제1 및 제2 이미지 내에서 후보 물체(예, 차량, 보행자, 도로 표지, 신호등, 도로 상의 위험물 등)을 검출하고, 다양한 기준에 근거하여 후보 물체의 세트(set)를 필터링하고, 다중 프레임 분석을 수행하고, 측정치를 구성하고, 나머지 후보 물체에 대한 신뢰 수준을 판단할 수 있다. 상기 단계들을 수행함에 있어서, 처리부(110)는 한 집단의 이미지보다는 복수의 제1 및 제2 이미지 모두의 정보를 고려할 수 있다. 예를 들어, 처리부(110)는 복수의 제1 및 제2 이미지에 모두 등장하는 후보 물체에 대한 픽셀 단계 데이터(또는 두 스트림의 캡처 이미지 중의 기타 데이터 부분집합)의 차이를 분석할 수 있다. 다른 예로서, 처리부(110)는 후보 물체가 복수의 이미지 중 하나에 등장하지만 다른 이미지에 등장하지 않는다는 것을 관찰하거나, 두 이미지 스트림 내에 등장하는 물체와 관련하여 존재하는 다른 차이점들을 통하여, 후보 물체(예, 차량(200)에 대한 후보 물체)의 위치 및/또는 속도를 추정할 수 있다. 예를 들어, 차량(200)과 관련된 위치, 속도, 및/또는 가속도는 이미지 스트림의 하나 또는 모두에 등장하는 물체와 연관된 특징의 궤적, 위치, 동작 특성 등에 근거하여 판단될 수 있다.
단계 630에서, 처리부(110)는 주행 반응 모듈(408)을 실행하여 단계 620에서 수행한 분석 및 도 4를 참조하여 상기에 설명한 방법에 기반을 둔하나 이상의 주행 반응을 차량(200)에 발생시킬 수 있다. 주행 반응은, 예를 들어, 회전, 차선 변경, 가속도 변경, 속도 변경, 제동 등을 포함할 수 있다. 일부 실시예에서, 처리부(110)는 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 주행 반응을 발생시킬 수 있다. 뿐만 아니라, 다중 주행 반응이 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
도 7은 기재된 실시예에 따른 3개 집합의 이미지에 근거한 하나 이상의 주행 반응을 발생시키는 예시적인 과정(700)을 도시한 순서도이다. 단계 710에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 복수의 제1, 제2, 제3 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126) 등)에 포함된 카메라가 차량(200) 전면 및/또는 측면 영역의 복수의 제1, 제2, 제3 이미지를 캡처하고 디지털 연결(예, USB, 무선통신, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 일부 실시예에서, 처리부(110)는 셋 이상의 데이터 인터페이스를 통해 복수의 제1, 제2, 제3 이미지를 수신할 수 있다. 예를 들어, 이미지캡처장치(122, 124, 126)는 처리부(110)와 데이터를 통신하기 위해 각 장치에 연관된 데이터 인터페이스가 있을 수 있다. 여기에 기재된 실시예들은 특정 데이터 인터페이스 구성 또는 프로토콜에 제한되지 않는다.
단계 720에서, 처리부(110)는 복수의 제1, 제2, 제3 이미지를 분석하여 차로 표시, 차량, 보행자, 도로 표지, 고속도로 나들목, 신호등, 도로 상의 위험물 등과 같은 특징을 이미지 내에서 검출할 수 있다. 본 분석은 상기에서 도 5a 내지 5d 및 도 6을 참조하여 설명한 단계와 유사한 방법으로 수행될 수 있다. 예를 들어, 처리부(110)는 복수의 제1, 제2, 제3 이미지 각각에 대한 단안 이미지(monocular image)분석(예, 단안 이미지(monocular image)분석 모듈(402) 실행 및 도 5a 내지 5d를 참조하여 설명한 상기 단계)을 수행할 수 있다. 또는, 처리부(110)는 복수의 제1 및 제2 이미지, 복수의 제2 및 제3 이미지, 및/또는 복수의 제1 및 제3 이미지에 대한 입체 이미지 분석(예, 입체 이미지 분석 모듈(404) 실행 및 도 6을 참조하여 설명한 상기 단계)을 수행할 수 있다. 복수의 제1, 제2 및/또는 제3 이미지에 상응하는 처리 정보는 병합될 수 있다. 일부 실시예에서, 처리부(110)는 단안 이미지(monocular image)분석과 입체 이미지 분석을 조합하여 수행할 수 있다. 예를 들면, 처리부(110)는 복수의 제1 이미지에 대해 단안 이미지(monocular image)분석(예, 단안 이미지(monocular image)분석 모듈(402) 실행)을 수행하고, 복수의 제2 및 제3 이미지에 대해 입체 이미지 분석(예, 입체 이미지 분석 모듈(404) 실행)을 수행할 수 있다. 위치와 시야(202, 204, 206)를 각각 가진 이미지캡처장치(122, 124, 126)의 구성은 복수의 제1, 제2, 제3 이미지에 대해 수행되는 분석의 유형에 영향을 줄 수 있다. 여기에 기재된 실시예들은 특정 구성의 이미지캡처장치(122, 124, 126) 또는 복수의 제1, 제2, 제3 이미지에 수행되는 분석의 유형에 제한되지 않는다.
일부 실시예에서, 처리부(110)는 단계 710과 720에서 획득하고 분석한 이미지에 근거하여 시스템(100)의 검사를 수행할 수 있다. 이러한 검사는 이미지캡처장치(122, 124, 126)의 특정 구성을 위한 시스템(100)의 전체적인 성능에 대한 지시자를 제공할 수 있다. 예를 들어, 처리부(110)는 "오탐(false hits)"(예, 시스템(100)이 차량 또는 보행자가 존재하는 것으로 오판하는 경우) 및 "누락(misses)"의 비율을 판단할 수 있다.
단계 730에서, 처리부(110)는 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보에 근거하여 차량(200)에 하나 이상의 주행 반응을 발생시킬 수 있다. 복수의 제1, 제2, 제3 이미지 중 둘은, 예를 들어, 복수의 이미지 각각에 검출된 물체의 개수, 유형, 크기 등과 같은 다양한 요소에 의거하여 선택될 수 있다. 처리부(110)는 또한, 이미지의 품질 및 해상도, 이미지에 반영된 유효 시야, 촬영된 프레임의 수, 관심 물체가 프레임에 실제로 등장하는 정도(예, 물체가 등장하는 프레임의 퍼센트, 각 프레임에 등장하는 물체가 차지하는 비율 등) 등에 따라 이미지를 선택할 수 있다.
일부 실시예에서, 처리부(110)는 한 이미지 소스로부터 도출된 정보가 다른 이미지 소스로부터 도출된 정보와 어느 정도 일관되는지를 판단하여 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보를 선택할 수 있다. 예를 들어, 처리부(110)는 이미지캡처장치(122, 124, 126) 각각으로부터 도출(단안 분석, 입체 분석, 또는 이들의 조합)된 처리 정보를 병합하고 이미지캡처장치(122, 124, 126) 각각으로부터 캡처 된 이미지 전반에 걸쳐 일관된 시각적 지시자(예, 차선 표시, 감지된 차량 및 그 위치 및/또는 경로, 감지된 신호등 등)를 판단할 수 있다. 처리부(110)는 또한 캡처 된 이미지 전반에 걸쳐 일관되지 않은 정보(예, 차선을 변경하는 차량, 차량(200)과 너무 가까운 차량을 나타내는 차선 모델 등)를 제외시킬 수 있다. 따라서, 처리부(110)는 일관된 정보 및 일관되지 않은 정보의 판단에 근거하여 복수의 제1, 제2, 제3 이미지 중 둘로부터 도출된 정보를 선택할 수 있다.
주행 반응은, 예를 들면, 회전, 차선 변경, 가속도 변경 등을 포함할 수 있다. 처리부(110)는 단계 720에서 수행된 분석과 도 4를 참조하여 설명한 방법에 근거하여 하나 이상의 주행 반응을 발생시킬 수 있다. 처리부(110)는 또한 속도 및 가속 모듈(406)을 실행하여 도출한 데이터를 사용하여 하나 이상의 주행 반응을 발생시킬 수 있다. 일부 실시예에서, 처리부(110)는 차량(200)과 복수의 제1, 제2, 제3 이미지 중 어느 하나 내에서 검출된 물체 사이의 상대적 위치, 상대적 속도, 및/또는 상대적 가속도에 근거하여 하나 이상의 주행 반응을 발생시킬 수 있다. 다중 주행 반응은 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
캡처된 이미지 및/또는 히트맵을 분석함으로써 주차중인 차량과 이동중인 차량 모두의 특정 특성을 검출할 수 있다. 검출된 특성에 기반을 두어 주행 변경을 산출할 수 있다. 캡처 된 이미지 및/또는 히트맵의 하나 이상의 특정 분석에 기반을 두어 특정 특성을 검출하는 실시예는 하기에 도 8 내지 도 28을 참조하여 설명하기로 한다.
[차량 도어 개방 이벤트 검출]
예를 들면, 차량의 식별 후에 식별된 차량의 휠 요소(wheel component)를 식별함으로써 도어 개방 이벤트에 대한 타깃 모니터링(targeted monitoring)이 가능하다. 타깃 모니터링을 함으로써, 시스템은 기존의 동작 검출보다 짧은 반응 시간에 도어 개방 이벤트에 대한 식별 및 반응을 할 수 있다. 하기에 설명하는 본 기재의 실시예들은 타깃 모니터링을 활용하여 도어 개방 이벤트를 검출하는 시스템과 방법에 관한 것이다.
도 8은 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령이 저장/프로그램 될 수 있는 메모리(140 및/또는 150)의 예시적인 구성도이다. 하기에서는 메모리(140)에 대해 설명하지만, 당업자라면 명령이 메모리(140 및/또는 150)에 저장될 수 있음을 인지할 수 있을 것이다.
도 8에 도시된 바와 같이, 메모리(140)는 차량 측면 식별 모듈(802), 휠 식별 모듈(804), 도어 에지(door edge) 식별 모듈(806), 및 주행 반응 모듈(808)을 저장할 수 있다. 기재된 실시예들은 메모리(140)의 특정 구성으로 제한되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서 (190)는 메모리(140)에 포함된 모듈(802-808)의 하나 이상에 저장된 명령을 실행할 수 있다. 처리부(110)를 통해 설명하는 하기의 내용이 개별적으로 또는 집합적으로 애플리케이션 프로세서(180)와 이미지 프로세서(190)에도 해당될 수 있음은 당업자라면 이해할 수 있을 것이다. 따라서, 하기의 프로세스의 단계들은 하나 이상의 프로세싱 처리장치에 의해 수행될 수 있다.
일 실시예에서, 차량 측면 식별 모듈(802)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 도 9 내지 도 14를 참조하여 하기에 설명하겠지만, 차량 측면 식별 모듈(802)은 하나 이상의 차량의 측면을 표시하는 경계박스(bounding box)(bounding box)를 판단하기 위한 명령을 포함할 수 있다.
일 실시예에서, 휠 식별 모듈(804)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 도 9 내지 도 14를 참조하여 하기에 설명하겠지만, 휠 식별 모듈(804)은 하나 이상의 차량의 휠을 표시하는 타원을 판단하기 위한 명령을 포함할 수 있다.
일 실시예에서, 도어 에지 식별 모듈(806)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 도 9 내지 도 14를 참조하여 하기에 설명하겠지만, 도어 에지 식별 모듈(806)은 도어 에지의 출현을 식별하고 식별된 도어 에지의 움직임을 모니터하기 위한 명령을 포함할 수 있다.
일 실시예에서, 주행 반응 모듈(808)은 차량 측면 식별 모듈(802), 휠 식별 모듈(804), 및/또는 도어 에지 식별 모듈(806)을 실행하여 도출된 데이터에 근거하여 필요한 주행 반응을 판단하기 위해 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 예를 들어, 주행 반응 모듈(808)은 하기에 설명하는 도 14의 방법(1400)에 따라 주행 변경을 일으킬 수 있다.
나아가, 여기에 기재된 모듈(예, 802, 804, 806)의 하나 이상은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연계된 방식을 구현할 수 있다.
도 9는 기재된 실시예에 따른 호스트 차량에 포함된 시스템(예, 상기 설명한 시스템(100))의 시점에서 바라본 도로(902)의 개략도이다. 도 9에 도시된 바와 같이, 도로(902)에는 한 대 이상의 주차된 차량(예, 주차 차량(904) 또는 주차 차량(906))이 있을 수 있다.
예를 들어, 시스템(100)은 서스펙트 패치(suspect patch)를 돌려주고 이 서스펙트 패치를 더욱더 복잡한 대량의 분류기에 공급하여 이 패치가 실제로 차량인지를 판단하는 어텐션 메커니즘(attention mechanism)을 활용하여 주차 차량을 검출할 수 있다. 어텐션 메커니즘과 분류기는 하기의 설명과 같이 진위(true and false) 패치에 대해 학습될 수 있다.
예를 들면, 시스템(100)은 어텐션 메커니즘을 활용하여 주차 차량의 후위(예, 차량 후위(908, 910))를 검출할 수 있다. 검출된 차량 후위를 활용하여, 시스템(100)은 주차 차량의 측면(예, 차량 측면(912, 914))을 검출할 수 있다. 일단 검출이 된 차량 후위 및/또는 측면은 추적될 수 있다.
도 9에 도시된 경계박스(bounding box)를 검출하기 위해, 시스템(100)은 이미지(예, 이미지캡처장치(122, 124, 126)의 하나로부터 수신한 이미지)를 하나 이상의 학습된 알고리즘으로 입력할 수 있다. 입력 이미지는 예를 들어 원본이 1280x9560인 그레이스케일(grayscale) 이미지일 수 있다. 학습된 알고리즘은 축척된(예, 256x192) 어텐션 이미지를 출력할 수 있다. 이 어텐션 이미지로부터 서스펙트 패치가 식별될 수 있고 서스펙트 패치의 (x, y) 포인트가 축척되어(예, 5에 의해) 원본 이미지 좌표상에 매핑될 수 있다. 학습된 알고리즘은 (x, y) 좌표를 사용하여 서스펙트 패치의 중앙을 정의할 수 있다. 서스펙트 패치는 (x, y) 좌표 영역 내에서, 예를 들어 각 방향으로 +/- 5 픽셀씩, 스캔 될 수 있다. 본 예에서, 이후, 각 서스펙트 패치는 총 11×11의 후보 패치를 생성한다.
나아가, 본 예에서, 각 후보 패치는 2R+1 크기의 정사각형이며, 여기서 R은 경계 타원의 반경이다. 예를 들어, 도 10에 도시된 바와 같이, 차량(예, 차량(1002))에는 중심(예, 중심(1006))을 가진 연관된 경계 타원(예, 타원(1004))이 있을 수 있다.
후보 패치는 기본 사이즈(예, 40x40)로 축척될 수 있고 하나 이상의 학습망, 예를 들어 하기에 설명하는 컨볼루션 신경망(convolutional neural network 또는 CNN)의 하나 이상으로의 입력으로 사용된다. 예를 들면, 하나 이상의 학습망은 각각 입력 패치에 점수를 매길 수 있다. 이 점수를 사용하여, 각 후보 패치에는 가장 높은 점수에 기반하여 라벨이 배정될 수 있다. (본 예에서, 반경 R과 원 좌표 (x, y)를 사용하여 후보 패치를 다시 원본 이미지에 매핑할 수 있다.)
이후, 임계치(미리 설정되거나 가변일 수 있고 학습을 통해 학습될 수 있음)보다 높은 최고 점수를 가진 각 후보 패치는 최종 분류기로 입력될 수 있다. 최종 분류기는 경계박스(bounding box) 하단에 있는 세 점의 (x, y) 좌표를 출력할 수 있다. 이 좌표는 적절한 인수를 곱하여 원본 이미지 좌표로 다시 축척될 수 있다.
앞서 설명한 예에서, 적절한 축척 인수는 (2R + 1) / 40일 수 있다. 축척 인수의 사용 외에도, 축척 좌표 (x, y)에 실제 위치 (x0, y0)가 더해질 수 있다. 고유의 라벨을 사용하여, 시스템은 세 (x, y) 좌표 중의 어느 두 좌표가 측면(나아가 어느 측면)에 속하고 세 (x, y) 좌표 중의 어느 두 좌표가 후위 또는 전면에 속하는지 판단할 수 있다.
당업자라면 본 예시적인 알고리즘에 대한 변형이 가능함을 인지할 것이다. 예를 들면, 축척된 어텐션 이미지의 사이즈는 다양할 수 있고, 서스펙트 패치의 이동은 다양할 수 있으며, 후보 패치의 사이즈는 다양할 수 있다. 추가적인 예로서, 경계박스(bounding box)의 상부 좌표도 산출될 수 있다. (이러한 예에서, 최종 분류기는 추가적인 세 점의 (x, y) 좌표를 출력할 수 있다.) 또한, 다른 알고리즘도 앞서 설명한 예시적인 알고리즘을 대신하여 또는 병합하여 가능하다. 예를 들면, 다른 알고리즘은 다른 및/또는 추가적인 분류기를 포함할 수 있다.
앞서 설명한 바와 같이, 어텐션 메커니즘과 그 다음의 분류기는 학습될 수 있다. 예를 들면, 학습 메커니즘은 예를 들어 1280x960인 그레이 스케일 이미지일 수 있는 1백만 개 이상의 예시 이미지를 활용할 수 있다. 이러한 예시적인 학습 설정에서, 경계박스(bounding box)의 가시적 면은 좌측, 우측, 후위, 또는 전면으로 표시될 수 있다. 예를 들면, 각각 황색, 청색, 적색, 및 녹색으로 도시될 수 있다. 한 면이 부분적으로 가시적인 경우, 가려지지 않은 부분만 이미지 내에서 표시되고 데이터베이스 내에 부분적으로 가려짐이 기록될 수 있다.
본 학습 예에서, 각 경계박스(bounding box)에 대해, 시스템은 경계박스(bounding box)의 가장 멀리 떨어진 두 에지를 계산하고, 이 두 에지 사이에 중심이 위치하고 가장 먼 에지까지의 거리가 반경인 경계 타원을 구성할 수 있다.
본 학습 예에서, 이후에 시스템은 전체로부터 256×192 이미지(즉, 5의 인수에 의해 축소)인 어텐션 이미지를 추출할 수 있다. 학습 이미지에 표시된 각 차량은 5로 나눈 타원의 중심의 좌표에 위치한 어텐션 이미지 내의 한 점으로 교체될 수 있고, 이 점의 값은 경계 타원의 반경일 수 있다.
본 학습 예에서, 예시적인 이미지들은 CNN을 학습시키기 위해 사용될 수 있다. 당업자라면 CNN을 대신하여 또는 병합하여 다른 머신 학습 방법이 사용될 수 있음을 인지할 수 있을 것이다. 따라서 신경망은 원본 이미지를 약도화된(sparse) 저해상도 어텐션 이미지에 매핑할 수 있다. 이 방법은 장면 이해(예, 도로의 위치, 이미지 시점 등)를 차량으로 보이는 물체의 검출과 병합할 수 있다. 다른 설계적 선택도 가능하다. 예를 들면, 신경망은 차량이 예측되는 장소(예, 하늘이 아닌 장소)에서 차량을 검출하도록 설계된 필터 뱅크(filter bank)를 먼저 적용할 수 있다.
신경망은 각 가능 장면에 대해 점수를 매길 수 있는 제1 분류기로 서스펙트 패치를 전송할 수 있다. 예를 들면, 제1 분류기는 좌후(LeftRear), 좌전(LeftFront), 우후(RightRear), 우전(RightFront)의 4가지 주요 라벨 중에서 하나를 지정할 수 있다. 한 면만이 보이는 경우, 2가지 가능한 라벨 중의 하나는 임의로 지정될 수 있다. 각 주요 라벨은 더 나뉘어질 수 있다. 예를 들어, 각 주요 라벨은 패치에 "단(end)" 보다 "측(side)"이 더 많이 포함되는지 그 반대인지 더 나뉘어질 수 있다. 이러한 하위 분할은, 예를 들어, 표시된 측과 단면의 이미지 폭을 비교하여 수행될 수 있다. 폭이 동일한 경우, 하위 분할은 임의로 지정될 수 있다.
다른 예를 들면, 각 하위 분할은 3개의 하위 하위분할로 더 나뉘어질 수 있다. 예를 들어, 좌후(LeftRear)의 "측(side)" 하위 분할은 3개의 하위 하위분할을 포함할 수 있다. "단(end)" 좌후10(LeftRear10)은 후면이 좌면 폭의 10% 이하인 패치를 나타낼 수 있고, "단(end)" 좌후50(LearRear50)은 후면이 10% 초과이고 50% 미만인 패치를 나타낼 수 있고, "단(end)" 좌후(LearRear)는 후면이 50% 초과인 패치를 나타낼 수 있다.
다른 예를 들면, 각 하위 하위분할은 적어도 한 면이 가려지는지에 대해 더 표시될 수 있다. 이 예에서, 하위 하위분할과 라벨의 총 조합은 48이다. 당업자라면 동일한 또는 다른 수의 총 조합의 다른 수단의 분할 및 라벨이 가능함을 인지할 수 있을 것이다. 예를 들어, "측" 좌후20(LeftRear20)은 좌면이 전체의 20% 미만인 패치를 나타낼 수 있고, "측" 좌후50(LeftRear50)은 좌면이 전체의 20% 내지 50%인 패치를 나타낼 수 있고, "측" 좌후80(LeftRear80)은 좌면이 전체의 50% 내지 80%인 패치를 나타낼 수 있고, "측" 좌후100(LeftRear100)은 좌면이 전체의 80% 내지 100%인 패치를 나타낼 수 있다.
다른 예를 들면, 4가지 주요 라벨은 2가지 주요 라벨, 즉, 측면이 각각 단면의 좌측 또는 우측 상에 보이는지 여부에 따라 '측/단' 또는 '단/측'으로 대체될 수 있다. 분할과 라벨의 선택은 사용 가능한 데이터의 양에 의거하며, 이는 하위 분할과 라벨의 수가 증가할수록 학습에 필요한 예시의 수가 증가하기 때문이다.
따라서 신경망은 원본 이미지 좌표로 다시 축척되고 x 및 y 방향으로 철저히 +/-5 픽셀 이동된 어텐션 지도 내의 한 점을 중심으로 위치한 패치를 제1 분류기로 입력할 수 있다. 이러한 이동은 121개의 이동된 예시를 생성한다. 당업자라면 이동된 예시를 생성하는 다른 수단이 가능함을 인지할 수 있을 것이다. 예를 들면, 패치는 x 및 y 방향으로 철저히 +/- 4 픽셀(또는 +/- 3 픽셀 등) 이동될 수 있다.
본 예에서, 각 패치는 기본 사이즈(예, 40x40 픽셀)로 축척된 (2R + 1) x (2R + 1) 크기의 정사각형을 자르도록 경계 타원의 반경(R)을 활용하여 형성될 수 있다. 당업자라면 패치를 생성하는 다른 수단이 가능함을 인지할 수 있을 것이다. 예를 들어, (2R - 1) × (2R - 1) 크기의 정사각형을 자를 수 있다. 또 다른 예를 들면, 2R 대신에 하나 이상의 경계박스(bounding box) 길이가 사용될 수 있다.
신경망은 라벨이 지정된 각 패치를 최종 분류기로 입력할 수 있다. 최종 입력기는 경계박스(bounding box)의 하부를 정의하는 세 점 각각의, 라벨이 지정된 패치 내의, 위치 (x, y)를 출력할 수 있다. 출력된 (x, y) 좌표는 패치와 관련될 수 있다. 일부 실시예에서, 신경망은 하위 분할과 라벨의 각 조합에 대해 학습될 수 있다. 다른 실시예에서, 보다 적은 수의 신경망이 학습될 수 있다.
식별된 차량으로부터 더 많은 특정 특징을 추출하기 위해 유사한 학습 방법을 활용하여 분류기를 학습시킬 수 있다. 예를 들면, 분류기는 휠, 타이어, 'A' 필라, 사이드 미러 등을 식별하도록 학습될 수 있다. 도 11의 예에서, 차량(1106)의 휠(1102, 1104)이 타원으로 표시됐다. 시스템은, 예를 들어, 경계박스(bounding box)를 기본 사이즈(예, 40 픽셀 길이와 20 픽셀 높이)로 축척하고 적절한 분류기에 입력함으로써 타원을 그릴 수 있다.
휠의 식별에 기반하여, 시스템은 도어 개방 이벤트가 발생할 것으로 예측되는 식별된 차량 상의 하나 이상의 "핫스팟(hot spot)"을 판단할 수 있다. 예를 들면, 하나 이상의 핫스팟은 식별된 타이어 사이 및/또는 식별된 후륜 타이어 상부에 위치할 수 있다. 도 12a에 도시된 바와 같이, 하나 이상의 핫스팟은 차량(1204) 상의 수직 방향 줄무늬(1202)의 출현에 대해 관찰될 수 있다. 줄무늬(1202)의 출현은 도어 개방 이벤트의 시작을 의미할 수 있다.
일부 실시예에서, 시스템은 차량(1204) 상의 하나 이상의 특징을 기준점으로 사용하여 차량(1204)의 측면에 대한 줄무늬(1202) 에지의 움직임을 추적할 수 있다. 예를 들어, 하나 이상의 특징은 식별된 타이어 또는 차량(1204)의 전면 에지, 차량(1204)의 하나 이상의 후미등과 같은 기타 식별된 특징을 포함할 수 있다.
도 12b에 도시된 바와 같이, 줄무늬(1202)는 차량(1204)의 도어가 개방되면서 확장될 수 있다. 줄무늬(1202)의 에지(1202a)는 차량(1204)의 차체를 따라 고정된 반면, 줄무늬(1202)의 에지(1202b)는 차량(1204)의 전면을 향해 움직이는 것으로 보일 수 있다. 따라서, 시스템은 줄무늬(1202)의 관찰에 기반하여 도어 개방 이벤트가 있음을 확인할 수 있다.
도어 개방 이벤트의 존재에 근거하여, 호스트 차량은 주행 변경을 수행할 수 있다. 예를 들면, 도 13에 도시된 바와 같이, 호스트 차량의 요(yaw)(1301)가 변화했으며, 이는 호스트 차량이 도어 개방 이벤트로부터 멀어지고 있음을 의미한다.
도 14는 기재된 실시예에 따른 도어 개방 이벤트의 검출에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정(1400)을 도시한 순서도이다. 단계 1402에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 적어도 하나의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 적어도 하나의 이미지를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
단계 1404에서, 처리부(110)는 적어도 하나의 이미지를 분석하여 주차된 차량의 측면을 식별할 수 있다. 단계 1404는 적어도 하나의 경계박스(bounding box)를 주차된 차량의 측면의 형상과 연계하는 단계를 더 포함할 수 있다. 예를 들면, 상기 분석은 앞서 도 9와 도 10을 참조하여 설명한 학습 알고리즘을 활용하여 수행될 수 있다.
단계 1406에서, 처리부(110)는 주차된 차량의 구조적 특징을 식별할 수 있다. 일부 실시예에서, 처리부(110)는 주차된 차량의 측면의 전방 영역 내에서 주차된 차량의 제1 구조적 특징을 식별하고 주차된 차량의 측면의 후방 영역 내에서 주차된 차량의 제2 구조적 특징을 식별할 수 있다. 예를 들면, 구조적 특징은 휠 요소(wheel component)(예, 타이어, 휠 캡, 또는 휠 구조), 미러, 'A' 필라, 'B' 필라, 'C' 필라 등을 포함할 수 있다. 제1 및/또는 2 구조적 특징은 식별된 측면 부근의 영역 내에서 식별될 수 있다. 예를 들어, 상기 분석은 도 11을 참조하여 설명한 학습 알고리즘을 활용하여 수행될 수 있다.
단계 1408에서, 처리부(110)는 주차된 차량의 도어 에지를 식별할 수 있다. 도어 에지는 구조적 특징 주변의 영역 내에서 식별될 수 있다. 예를 들면, 처리부(110)가 앞바퀴의 휠 요소(wheel component)와 뒷바퀴의 휠 요소(wheel component)를 식별하는 실시예에서, 제1 휠과 제2 휠의 부근은 앞바퀴의 휠 요소(wheel component)와 뒷바퀴의 휠 요소(wheel component) 사이의 영역을 포함할 수 있다. 다른 예를 들면, 처리부(110)가 앞바퀴의 휠 요소(wheel component)와 뒷바퀴의 휠 요소(wheel component)를 식별하는 실시예에서, 제1 휠과 제2 휠의 부근은 뒷바퀴의 휠 요소(wheel component) 상부의 영역을 포함할 수 있다. 상기 분석은 도 12a를 참조하여 설명한 학습 알고리즘을 활용하여 수행될 수 있다.
단계 1410에서, 처리부(110)는 도어 에지의 이미지 특징의 변화를 판단할 수 있다. 예를 들면, 처리부(110)는 이미지캡처장치로부터 수신한 적어도 두 이미지에서 앞서 도 12b를 참조하여 설명한 바와 같이 제1 및 제2 휠 요소(wheel component)의 부근에서 수직 줄무늬가 보이는지 여부를 관찰할 수 있다. 본 예에서, 수직 줄무늬의 제1 에지는 주차된 차량의 차체를 따라 관찰된 이미지 내에서 고정되어 있고, 수직 줄무늬의 제2 에지는 관찰된 이미지 내에서 주차된 차량의 전방 영역을 향해 움직인다. 도어 에지가 보인 이후, 시간 경과에 따른 도어 에지의 폭(즉, 수직 줄무늬의 폭)을 추적할 수 있다. 일부 실시예에서, 도어 에지의 이미지 특징의 변화는 도어 에지의 폭 증가를 포함할 수 있다. 이러한 실시예에서, 도어 에지의 이미지 특징의 변화를 판단하는 단계는 수직 줄무늬의 확장을 관찰하는 단계를 포함할 수 있다.
일부 실시예에서, 처리부(110)는 도어 개방의 정도를 추정할 수 있다. 예를 들면, 처리부(110)는 고정된 에지의 세로줄을 경계박스(bounding box)와 교차하도록 연장하여 교차 지점의 y 좌표를 사용하여 도어까지의 거리를 추정할 수 있다. 본 예에서, 도어까지의 거리와 줄무늬의 폭을 활용하여 도어 개방의 정도를 추정할 수 있다. 이에 따라, 처리부(110)는 판단된 폭에 근거하여, 주차된 차량으로부터 도어 에지가 연장되어 멀어지는 거리를 판단할 수 있다. 이에 따라, 시간 경과에 따른 차량의 차체로부터의 도어 에지 분리(즉, 도어 개방의 정도)를 추적할 수 있다.
단계 1412에서, 처리부(110)는 호스트 차량의 주행 경로를 변경할 수 있다. 예를 들어, 주행 반응은 회전(도 13에 도시), 차선 변경, 가속도 변경 등을 포함할 수 있다. 처리부(110)는 단계 1410에서 수행된 판단에 기반하여 하나 이상의 주행 반응을 유발할 수 있다. 예를 들면, 처리부(110)는 호스트 차량을 도어 개방 이벤트로부터 이동 및/또는 도어 개방 이벤트에 대응하여 호스트 차량을 감속할 수 있다. 본 예에서, 처리부(110)는 주차된 차량으로부터 도어 에지가 연장되어 멀어지는 판단된 거리에 근거하여 호스트 차량에 대한 횡적 안전거리(lateral safety distance )를 판단하고, 호스트 차량의 주행 경로의 변경은 적어도 부분적으로는 판단된 횡적 안전거리(lateral safety distance )에 기반할 수 있다. 다른 예에서, 처리부(110)는 차량의 도어 개방과 관계된 일반적인 돌출 정도에 상응하는 값과 같은 미리 정의된 값에 기반하여 호스트 차량에 대한 횡적 안전거리(lateral safety distance )를 판단할 수 있다. 나아가, 다른 유형의 차량에 대해 다른 미리 정의된 값이 사용될 수 있고, 예를 들어, 트럭과 같은 다른 크기의 차량에 대해 작은 차량에 대해 사용되는 안전 거리값보다 큰 미리 정의된 안전 거리값이 사용될 수 있다.
처리부(110)는 또한 속도 및 가속 모듈(406)의 실행으로 도출된 데이터를 활용하여 하나 이상의 주행 반응을 일으킬 수 있다. 다중 주행 반응은 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다. 예를 들어, 주행 반응은 학습 시스템에 의해 판단될 수 있다. 나아가, 학습 시스템은 수행을 최적화하는 동안에 특정 안전 제약을 절충하지 못하도록 구성될 수 있고, 학습 시스템은 주행 변경을 일으킴으로써 도어 개방 검출에 반응하도록 구성될 수 있다. 다른 예에서, (주차된 차량의) 도어 개방 이벤트가 검출되는 경우에 일련의 규칙을 활용하여 필요한 반응을 판단할 수 있다.
[호스트 차량의 차선으로 진입하는 차량의 검출]
도로 호모그래피를 식별하고 차량의 휠 요소(wheel component)를 식별하는 시스템과 방법은 차량의 움직임에 대한 타깃 모니터링을 가능하게 할 수 있다. 타깃 모니터링을 함으로써, 시스템은 다른 차선으로부터 또는 주차된 위치로부터 호스트 차량의 차선으로 진입하는 동작에 대해 적어도 특정 상황 하에서는 기존의 동작 검출보다 짧은 반응 시간에 검출 및 반응할 수 있다. 하기에 설명하는 본 기재의 실시예들은 타깃 모니터링을 활용하여 호스트 차량의 차선으로 진입하는 차량을 검출하는 시스템 및 방법에 관한 것이다.
도 15는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령이 저장/프로그램될 수 있는 메모리(140 및/또는 150)의 예시적인 기능 구성도이다. 하기에서는 메모리(140)에 대해 설명하지만, 당업자라면 명령이 메모리(140 및/또는 150)에 저장될 수 있음을 인지할 수 있을 것이다.
도 15에 도시된 바와 같이, 메모리(140)는 도로 호모그래피 모듈(1502), 휠 식별 모듈(1504), 동작 분석 모듈(1506), 및 주행 반응 모듈(1508)을 저장할 수 있다. 기재된 실시예들은 메모리(140)의 특정 구성으로 제한되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서 (190)는 메모리(140)에 포함된 모듈(1502-1508)의 하나 이상에 저장된 명령을 실행할 수 있다. 처리부(110)를 통해 설명하는 하기의 내용이 개별적으로 또는 집합적으로 애플리케이션 프로세서(180)와 이미지 프로세서(190)에도 해당될 수 있음은 당업자라면 이해할 수 있을 것이다. 따라서, 하기의 프로세스의 단계들은 하나 이상의 프로세싱 처리장치에 의해 수행될 수 있다.
일 실시예에서, 도로 호모그래피 모듈(1502)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지 내의 도로의 호모그래피를 뒤트는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 예를 들면, 도로 호모그래피 모듈(1502)은 하기에 설명하는 도 18의 방법(1800)을 실행하기 위한 명령을 포함할 수 있다.
일 실시예에서, 휠 식별 모듈(1504)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 도 9 내지 도 14를 참조하여 상기에 설명한 바와 같이, 휠 식별 모듈(1504)은 하나 이상의 차량의 휠을 표시하는 타원을 판단하기 위한 명령을 포함할 수 있다.
일 실시예에서, 동작 분석 모듈(1506)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지(및/또는 도로 호모그래피 모듈(1502)에 의해 처리된 하나 이상의 이미지)의 분석을 수행하여 하나 이상의 식별된 차량 요소의 동작을 추적하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 예를 들면, 휠 식별 모듈(1504)과 합동하여, 동작 분석 모듈(1506)은 차량의 식별된 휠 요소(wheel component)의 시간 경과에 따른 동작을 추적할 수 있다.
일 실시예에서, 주행 반응 모듈(1508)은 도로 호모그래피 모듈(1502), 휠 식별 모듈(1504), 및/또는 동작 분석 모듈(1506)을 실행하여 도출된 데이터에 근거하여 필요한 주행 반응을 판단하기 위해 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 예를 들어, 주행 반응 모듈(1508)은 하기에 기재되는 도 17의 방법(1700)에 따라 주행 변경(navigational change)을 일으킬 수 있다.
나아가, 여기에 기재된 모듈(예, 1502, 1504, 1506)의 하나 이상은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연계된 방식을 구현할 수 있다.
도 16a는 기재된 실시예에 따른 시스템의 시점에서 바라본 주차 차량(1602)을 도시한 것이다. 도 16a의 예에서, 차량(1602)의 휠(1604, 1606)은 타원으로 표시돼 있다. 상기에 설명한 바와 같이, 시스템은, 예를 들어, 경계박스(bounding box)를 기본 사이즈(예, 40 픽셀 길이와 20 픽셀 높이)로 축척하고 적절한 분류기에 입력함으로써 타원을 그릴 수 있다.
도 16b는 주차 상태(즉, 움직이지 않는 상태)로부터 움직이기 시작하는 차량(1602)을 도시한 것이다. 도 16b의 예에서, 차량(1602)의 휠(1604, 1606)은 차량(1602)이 움직이면서 회전하고 있다. 시스템은 하기에 설명하는 바와 같이 휠(1604, 1606)의 회전을 추적하여 차량(1602)이 움직임을 판단할 수 있다.
도 17은 기재된 실시예에 따른 호스트 차량의 차선으로 진입하는 타깃 차량의 검출에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정(1700)을 도시한 순서도이다. 단계 1702에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 복수의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 복수의 이미지를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
복수의 이미지는 일정 시간에 걸쳐 수집될 수 있다. 예를 들면, 복수의 이미지는 t = 0인 시간에 캡처된 제1 이미지, t = 0.5초에 캡처된 제2 이미지, 및 t = 1.0초에 캡처 된 제3 이미지를 포함할 수 있다. 이미지 사이의 시간은 적어도 하나 이상의 이미지캡처장치의 주사율에 따라 다를 수 있다.
단계 1704에서, 처리부(110)는 적어도 하나의 이미지를 분석하여 타깃 차량을 식별할 수 있다. 예를 들어, 타깃 차량을 식별하는 단계는 적어도 하나의 경계박스(bounding box)를 타깃 차량의 측면 형상과 연관시키는 단계를 더 포함할 수 있다. 예를 들면, 앞서 도 9 및 도 10을 참조하여 설명한 바와 같은 학습 알고리즘을 활용하여 상기 분석이 수행될 수 있다. 일부 실시예에서, 단계 1704는 식별된 타깃 차량의 측면의 휠을 식별하는 단계를 더 포함할 수 있다. 예를 들어, 앞서 도 11을 참조하여 설명한 학습 알고리즘을 활용하여 상기 분석이 수행될 수 있다.
단계 1704는 휠로만 한정되지 않고 휠 요소(wheel component)를 포함할 수도 있다. 예를 들어, 처리부(110)는 타이어, 휠 캡, 및 휠 구조의 적어도 하나를 포함하는 휠 요소(wheel component)를 식별할 수 있다.
단계 1706에서, 처리부(110)는 식별된 휠과 연관된 동작을 식별할 수 있다. 예를 들면, 처리부는 타깃 차량의 적어도 하나의 휠 요소(wheel component)를 포함하는 영역(예, 도로면과 인접한 영역) 내에서 동작을 식별할 수 있다. 복수의 이미지의 적어도 두 이미지를 모니터함으로써, 처리부는 적어도 하나의 휠 요소(wheel component)의 회전을 확인하여 움직임을 식별할 수 있다.
다른 예를 들면, 처리부(110)는 적어도 하나의 휠 요소(wheel component)와 연관된 적어도 하나의 특징(예, 휠의 로고, 휠의 타이어 사이즈, 휠의 휠캡 사이즈, 픽셀의 특정 패치)을 식별할 수 있다. 이 적어도 하나의 특징을 활용하여, 처리부(110)는 이 적어도 하나의 특징의 위치 변경의 지시자(예, 로고의 흐릿해짐, 픽셀의 패치의 좌표 변화)를 식별할 수 있다.
다른 예를 들면, 처리부(110)는 하기의 도 18의 방법(1800)을 참조하여 설명하는 바와 같이 도로의 호모그래피를 뒤틀고, 식별된 휠과 뒤틀린 도로 사이의 접점(정지 상태일 수 있음)을 식별하고, 접점 상부의 점을 추적하여 움직임을 식별할 수 있다.
처리부(110)는 회전의 지시자, 적어도 하나의 특징의 위치 변경, 및/또는 추적된 점을 활용하여 타깃 차량이 이동하는 속도를 판단할 수 있다. 처리부(110)는 판단된 속도를 활용하여 하기의 단계 1708에서 주행 변경(navigational change) 을 일으킬 수 있다. 또한, 처리부(110)는 지평면 제약(ground plane constraint)을 활용하여 타이어까지의 거리를 추정하고, 추정된 거리에 기반하여 타깃 차량의 횡적 움직임을 추정할 수 있다.
단계 1708에서, 처리부(110)는 호스트 차량의 주행 변경(navigational change) 을 일으킬 수 있다. 예를 들어, 주행 반응은 호스트 차량의 진행 방향의 변경(도 13에 도시), 차선 변경, 가속도 변경(예, 호스트 차량의 브레이크 작동) 등을 포함할 수 있다. 처리부(110)는 단계 1706에서 수행된 판단에 기반하여 하나 이상의 주행 반응을 유발할 수 있다. 예를 들면, 처리부(110)는 타깃 차량의 움직임에 대응하여 호스트 차량을 타깃 차량으로부터 이동 및/또는 호스트 차량을 감속할 수 있다. 본 예에서, 처리부(110)는 타깃 차량의 판단된 속도(및/또는 추정된 횡적 움직임)에 근거하여 호스트 차량에 대한 횡적 안전거리(lateral safety distance )를 판단하고, 호스트 차량의 주행 경로의 변경은 적어도 부분적으로는 판단된 횡적 안전거리(lateral safety distance )에 기반할 수 있다.
처리부(110)는 또한 속도 및 가속 모듈(406)의 실행으로 도출된 데이터를 활용하여 하나 이상의 주행 반응을 일으킬 수 있다. 다중 주행 반응은 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
도 18은 기재된 실시예에 따른 도로의 호모그래피를 뒤트는 예시적인 과정(1800)을 도시한 순서도이다. 단계 1802에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 복수의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 복수의 이미지를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
복수의 이미지는 일정 시간에 걸쳐 수집될 수 있다. 예를 들면, 복수의 이미지는 t = 0인 시간에 캡처 된 제1 이미지 및 t = 0.5초에 캡처 된 제2 이미지를 포함할 수 있다. 이미지 사이의 시간은 적어도 하나 이상의 이미지캡처장치의 주사율에 따라 다를 수 있다.
단계 1804에서, 처리부(110)는 우선 복수의 이미지의 제1 이미지를 복수의 이미지의 제2 이미지를 향해 뒤틀 수 있다. 예를 들어, 호스트 차량의 요(yaw), 피치(pitch), 및 롤roll에 따라 제1 이미지와 제2 이미지 중 하나를 회전시킬 수 있다.
단계 1806에서, 처리부(110)는 제1 이미지 또는 제2 이미지 내의 포인트의 그리드(grid)를 기준 포인트의 그리드로 선택할 수 있다. 예를 들면, 그리드는 타원, 사각형, 사다리꼴 등의 모든 형상으로부터 형성될 수 있다. 또는, 포인트의 무작위 분포가 선택될 수 있다.
단계 1808에서, 처리부(110)는 선택된 그리드 주변의 패치들을 찾아낼 수 있다. 예를 들면, 패치들은 균일한 크기와 형상일 수 있다. 또는, 패치들은 다양할 수 있고/있거나 무작위로 다양할 수 있다.
단계 1810에서, 처리부(110)는, 예를 들어 패치들에 근거한 정규화된 상관도 계산(normalized correlation computations)를 활용하여, 선택된 포인트 그리드를 추적할 수 있다. 추적된 포인트로부터, 처리부(110)는 추적에 근거한 최고 점수를 가진 포인트의 부분집합을 선택할 수 있다.
단계 1812에서, 처리부(110)는 추적된 포인트를 호모그래피에 맞출 수 있다. 일부 실시예에서, 처리부(110)는 추적된 포인트의 무작위 부분집합을 활용하여 다중 호모그래피를 계산할 수 있다. 이러한 실시예에서, 처리부(110)는 최고 점수의 호모그래피를 가진 무작위 부분집합을 유지할 수 있다.
단계 1814에서, 처리부(110)는 단계 1812의 호모그래피를 활용하여 초기의 뒤틀림을 수정할 수 있다. 예를 들어, 처리부(110)는 복수의 이미지의 제1 이미지를 복수의 이미지의 제2 이미지를 향해 다시 뒤틀기 위해 최고 점수의 호모그래피를 가진 포인트의 무작위 부분집합을 활용할 수 있다. 처리부(110)는 재 뒤틀림 된 이미지로부터 직접 최소 제곱 호모그래피를 더 계산할 수 있다. 당업자라면 도로 호모그래피를 계산하기 위한 다른 알고리즘을 사용할 수도 있음을 인지할 수 있을 것이다.
[주차 차량의 방향에 기반을 둔 일방통행 도로 검출]
차량을 식별하고 식별된 차량의 전면 및/또는 후면을 식별하는 시스템과 방법은 일방통행 도로의 검출을 가능하게 할 수 있다. 차량의 식별된 전면 및/또는 후면을 활용함으로써, 표지판을 해석하지 않고도 또는 도로상에 운행중인 차량이 없는 경우에도 일방통행 도로를 검출할 수 있다. 하기에 설명하는 본 기재의 실시예들은 주차된 차량의 검출에 기반하여 일방통행 도로를 검출하기 위한 시스템 및 방법에 관한 것이다.
도 19는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령이 저장/프로그램 될 수 있는 메모리(140 및/또는 150)의 예시적인 기능 구성도이다. 하기에서는 메모리(140)에 대해 설명하지만, 당업자라면 명령이 메모리(140 및/또는 150)에 저장될 수 있음을 인지할 수 있을 것이다.
도 19에 도시된 바와 같이, 메모리(140)는 차량 식별 모듈(1902), 방향 판단 모듈(1904), 차량 측면 식별 모듈(1906) 및 주행 반응 모듈(1908)을 저장할 수 있다. 기재된 실시예들은 메모리(140)의 특정 구성으로 제한되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서 (190)는 메모리(140)에 포함된 모듈(1902-1908)의 하나 이상에 저장된 명령을 실행할 수 있다. 처리부(110)를 통해 설명하는 하기의 내용이 개별적으로 또는 집합적으로 애플리케이션 프로세서(180)와 이미지 프로세서(190)에도 해당될 수 있음은 당업자라면 이해할 수 있을 것이다. 따라서, 하기의 프로세스의 단계들은 하나 이상의 프로세싱 처리장치에 의해 수행될 수 있다.
일 실시예에서, 차량 식별 모듈(1902)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 상기의 도 9 내지 도 14와 연관하여 설명한 바와 같이, 차량 식별 모듈(1902)은 한 대 이상의 차량의 경계박스(bounding box)를 판단하기 위한 명령을 포함할 수 있다.
일 실시예에서, 방향 판단 모듈(1904)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 하기의 도 20a 및 도 20b와 연관하여 설명하는 바와 같이, 방향 판단 모듈(1904)은 식별된 차량의 전방 방향을 판단하기 위한 명령을 포함할 수 있다.
예를 들면, 전방 방향은 평행 주차되어 있는 식별된 차량이 호스트 차량의 전방이 호스트 차량을 향하고 있는지 여부를 가리킬 수 있다. 다른 예를 들면, 전방 방향 또는 "비스듬한 방향"은 비스듬한 주차 자리에 주차된 식별된 차량이 호스트 차량을 향해 비스듬한지 여부를 가리킬 수 있다. 이러한 예에서, 전방 방향은 식별된 차량이 비스듬한 주차 자리에 전방 주차를 했는지 또는 후방 주차를 했는지를 더 가리킬 수 있다.
일 실시예에서, 차량 측면 식별 모듈(1906)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 상기의 도 9 내지 도 14와 연관하여 설명한 바와 같이, 차량 측면 식별 모듈(1906)은 한 대 이상의 차량의 식별된 경계박스(bounding box)를 분류하기 위한 명령을 포함할 수 있다.
일 실시예에서, 주행 반응 모듈(1908)은 차량 식별 모듈(1902), 방향 판단 모듈(1904), 및/또는 차량 측면 식별 모듈(1906)을 실행하여 도출된 데이터에 근거하여 필요한 주행 반응을 판단하기 위해 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 예를 들어, 주행 반응 모듈(1908)은 하기에 기재되는 도 21의 방법(2100)에 따라 주행 변경을 일으킬 수 있다.
나아가, 여기에 기재된 모듈(예, 1902, 1904, 1906)의 하나 이상은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연계된 방식을 구현할 수 있다.
도 20a는 기재된 실시예에 따른 시스템의 시점에서 바라본 일방통행 도로(2002)를 도시한 것이다. 도로(2002)는 일측에 제1 복수의 정지된 차량(예, 제1 차량(2004))을 포함할 수 있고, 타측에 제2 복수의 정지된 차량(예, 제2 차량(2006))을 포함할 수 있다. 하기에 도 21의 방법(2100)에서 설명하는 바와 같이, 시스템은 제1 복수의 정지된 차량에서 차량의 전방 방향을 판단하고 제2 복수의 정지된 차량에서 차량의 전방 방향을 판단할 수 있다.
도 20a에 도시된 바와 같이, 시스템은 제1 복수의 정지된 차량과 제2 복수의 정지된 차량의 전방 방향이 모두 동일한 경우에 도로(2002)가 일방통행 도로라고 판단할 수 있다. 도로(2002)의 일측이 평행 주차 방식이 아닌 비스듬한 주차 방식인 다른 실시예에서, 시스템은 평행 주차 측의 전방 방향이 비스듬한 주차 측의 비스듬한 방향과 동일한 경우에 도로(2002)가 일방통행 도로라고 판단할 수 있다. 도로(2002)의 양측이 비스듬한 주차 방식인 또 다른 실시예에서, 시스템은 제1 복수의 정지된 차량과 제2 복수의 정지된 차량의 비스듬한 방향이 모두 동일한 경우에 도로(2002)가 일방통행 도로라고 판단할 수 있다. 특정 양상에서, 이러한 판단은 제1 및/또는 제2 복수의 정지된 차량의 비스듬한 주차 자리에 전방 주차를 했는지 또는 후방 주차를 했는지에 따라 다를 수 있다.
도 20b도 기재된 실시예에 따른 시스템의 시점에서 바라본 일방통행 도로(2008)를 도시한 것이다. 도로(2002)와 유사하게, 도로(2002)는 일측에 제1 복수의 정지된 차량(예, 제1 차량(2010))을 포함할 수 있고, 타측에 제2 복수의 정지된 차량(예, 제2 차량(2012))을 포함할 수 있다. 하기에 도 21의 방법(2100)과 관련하여 설명하는 바와 같이, 시스템은 제1 복수의 정지된 차량에서 차량의 전방 방향을 판단하고 제2 복수의 정지된 차량에서 차량의 전방 방향을 판단할 수 있다.
도 20b에 도시된 바와 같이, 시스템은 차량(예, 2010)의 전방 방향이 관련된 복수의 차량의 전방 방향과 다른 경우에 상기 차량이 잘못 주차돼 있다고 판단할 수 있다. 예를 들면, 다른 방향으로 향하고 있는 다른 차량의 수가 임계값 이상인 경우에 차량이 잘못 주차돼 있다고 판단할 수 있다. 다른 예를 들면, 시스템은 다른 방향으로 향하고 있는 다른 차량과 동일 방향으로 향하고 있는 차량의 비율이 임계값 이상인 경우에(예, 50% 이상, 60% 이상, 70% 이상 등) 차량이 잘못 주차돼 있다고 판단할 수 있다. 일부 실시예에서, 이러한 판단은 차량(2010)의 소유주 또는 운전자에게 교통위반딱지를 발급(또는 호스트 차량의 운전자에게 교통위반딱지를 발급하도록 명령)하는데 활용될 수 있다.
도 21은 기재된 실시예에 따른 호스트 차량이 운행하는 도로가 일방통행 도로인지 여부의 검출에 근거한 하나 이상의 주행 반응을 야기하는 예시적인 과정(2100)을 도시한 순서도이다. 단계 2102에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 적어도 하나의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 적어도 하나의 이미지를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
단계 2104에서, 처리부(110)는 적어도 하나의 이미지를 분석하여 도로의 일측의 제1 복수의 차량을 식별할 수 있다. 예를 들어, 제1 복수의 차량을 식별하는 단계는 경계박스(bounding box)를 제1 복수의 차량의 형상과 연계하는 단계를 더 포함할 수 있다. 예를 들면, 상기 분석은 앞서 도 9와 도 10을 참조하여 설명한 학습 알고리즘을 활용하여 수행될 수 있다.
단계 2104는 적어도 하나의 이미지의 분석에 기반하여 제1 복수의 차량의 적어도 한 대 또는 제2 복수의 차량의 적어도 한 대의 측면을 식별하는 단계를 더 포함할 수 있다. 예를 들어, 상기 분석은 앞서 도 9와 도 10을 참조하여 설명한 학습 알고리즘을 활용하여 수행될 수 있다. 일부 실시예에서, 측면의 식별은 제1 복수의 차량의 적어도 하나 또는 제2 복수의 차량의 적어도 하나와 연관된 적어도 두 개의 특징에 기반을 둘 수 있다. 예를 들면, 차량과 연관된 특징은 미러, 윈도우, 도어 손잡이, 도어 형상, 도어의 수, 전면 및/또는 후면 유리의 경사 등을 포함할 수 있다. 일부 실시예에서, 식별된 측면은 우측일 수 있다. 다른 실시예에서, 식별된 측면은 좌측일 수 있다.
단계 2106에서, 처리부(110)는 적어도 하나의 이미지를 분석하여 도로의 다른 측의 제2 복수의 차량을 식별할 수 있다. 단계 2106은 단계 2104와 유사하게 및/또는 동시에 수행될 수 있다. 단계 2108에서, 처리부(110)는 제1 복수의 차량에 대한 제1 전방 방향을 판단할 수 있다. 일부 실시예에서, 제1 복수의 차량은 모두 동일한 전방 방향일 수 있다. 다른 실시예에서, 전방 방향은 서로 다를 수 있다.
단계 2110에서, 처리부(110)는 제2 복수의 차량에 대한 제2 전방 방향을 판단할 수 있다. 일부 실시예에서, 제2 복수의 차량은 모두 동일한 전방 방향일 수 있다. 다른 실시예에서, 전방 방향은 서로 다를 수 있다.
단계 2112에서, 처리부(110)는 호스트 차량의 주행 변경을 일으킬 수 있다. 예를 들어, 주행 반응은 회전(도 13에 도시), 차선 변경, 가속도 변경(예, 호스트 차량의 브레이크 작동) 등을 포함할 수 있다. 처리부(110)는 단계 2112에서 수행된 판단에 기반하여 하나 이상의 주행 반응을 유발할 수 있다. 예를 들면, 처리부(110)는 제1 및 제2 전방 방향에 근거하여 도로가 일방통행도로임을 판단할 수 있다. 이러한 판단에 기반하여, 처리부는 호스트 차량의 감속 또는 정지 및/또는 유턴을 실행할 수 있다.
일부 실시예에서, 방법(2100)은 추가적인 단계를 포함할 수 있다. 예를 들어, 방법(2100)은 호스트 차량이 운행중인 제1 도로로부터 제2도로로 호스트 차량을 주행하도록 하는 주행 명령을 수신하는 단계를 포함할 수 있다. 주행 명령은 호스트 차량을 제2도로로 회전, 제2도로로 방향을 전환, 제2도로로 진입하는 램프로 병합 등을 하도록 하는 명령을 포함할 수 있다.
이러한 실시예에서, 방법(2100)은 제1 전방 방향과 제2 전방 방향이 모두 호스트 차량이 제2도로로 회전할 경우에 호스트 차량이 운행하게 될 진행 방향과 반대 방향임을 판단하는 단계를 더 포함할 수 있다. 예를 들어, 처리부(110)는 제2도로 상의 차량의 이미지를 분석하여 제1 및 제2 진행 방향을 판단한 후, 호스트 차량의 예상 진행 방향과 반대 방향인지 여부를 판단할 수 있다. 제1 전방 방향과 제2 전방 방향이 모두 호스트 차량이 제2도로로 회전할 경우에 호스트 차량이 운행하게 될 진행 방향과 반대 방향이라는 판단에 대하여, 주행 명령을 중단할 수 있다. 예를 들어, 처리부(110)는 제2 도로가 호스트 차량의 예상 진행 방향과 반대 방향인 일방통행도로라고 판단하였으므로 제2 도로로의 회전, 전환, 병합 등의 명령을 취소할 수 있다.
다른 실시예에서, 방법(2100)은 중단된 주행 명령을 재개하는 무시 명령(override instruction)을 수신하는 단계를 포함할 수 있다. 예를 들면, 무시 명령(override instruction)은 호스트 차량 내부의 사용자로부터 수신된 수동 확인, 지도 데이터에 접근, 제2도로의 운행 방향에 관한 크라우드 소싱된 데이터(crowdsourced data) 등에 기반하여 개시될 수 있다.
처리부(110)는 또한 속도 및 가속 모듈(406)의 실행으로 도출된 데이터를 활용하여 하나 이상의 주행 반응을 일으킬 수 있다. 다중 주행 반응은 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
[열 프로파일에 기반을 둔 주차 차량의 상태 예측]
열 프로파일(heat profile)에 기반하여 주차 차량의 상태를 예측하는 시스템과 방법은 주차 차량이 움직이기 시작하기 전에 차량의 움직임의 예측을 가능하게 한다. 이로 인해, 시스템은 기존의 동작 검출과 같이 동작이 실제로 검출될 때까지 기다리지 않고, 예측된 움직임을 식별하고 사전에 대응할 수 있다. 하기에 설명하는 본 기재의 실시예들은 열 프로파일에 기반하여 주차 차량의 상태를 예측하기 위한 시스템 및 방법에 관한 것이다.
도 22는 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령이 저장/프로그램 될 수 있는 메모리(140 및/또는 150)의 예시적인 기능 구성도이다. 하기에서는 메모리(140)에 대해 설명하지만, 당업자라면 명령이 메모리(140 및/또는 150)에 저장될 수 있음을 인지할 수 있을 것이다.
도 22에 도시된 바와 같이, 메모리(140)는 시각적-적외선 정렬 모듈(2202), 차량 식별 모듈(2204), 상태 예측 모듈(2206), 및 주행 반응 모듈(2208)을 저장할 수 있다. 기재된 실시예들은 메모리(140)의 특정 구성으로 제한되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서 (190)는 메모리(140)에 포함된 모듈(2202-2208)의 하나 이상에 저장된 명령을 실행할 수 있다. 처리부(110)를 통해 설명하는 하기의 내용이 개별적으로 또는 집합적으로 애플리케이션 프로세서(180)와 이미지 프로세서(190)에도 해당될 수 있음은 당업자라면 이해할 수 있을 것이다. 따라서, 하기의 프로세스의 단계들은 하나 이상의 프로세싱 처리장치에 의해 수행될 수 있다.
일 실시예에서, 시각적-적외선 정렬 모듈(2202)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 시각적 이미지를 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 적외선 이미지와 정렬하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 예를 들어, 시각적-적외선 정렬 모듈(2202)은 하기에 설명하는 도 25의 방법(2500)을 실행하기 위한 명령을 포함할 수 있다.
일 실시예에서, 차량 식별 모듈(2204)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 상기의 도 9 내지 도 14와 연관하여 설명한 바와 같이, 차량 식별 모듈(2204)은 한 대 이상의 차량의 경계박스(bounding box)를 판단하기 위한 명령을 포함할 수 있다.
일 실시예에서, 상태 예측 모듈(2206)은 처리부(110)에 의해 실행되는 경우에 시각적-적외선 정렬 모듈(2202)로부터의 하나 이상의 정렬된 이미지의 분석을 수행하여 한 대 이상의 식별된 차량의 상태를 예측하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 예를 들어, 상태 예측 모듈(2206)은 식별된 차량의 시각적 지시자와 열 지시자에 근거하여 예측 상태를 출력할 수 있다.
일 실시예에서, 주행 반응 모듈(2208)은 시각적-적외선 정렬 모듈(2202), 차량 식별 모듈(2204), 및/또는 상태 예측 모듈(2206)을 실행하여 도출된 데이터에 근거하여 필요한 주행 반응을 판단하기 위해 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 예를 들어, 주행 반응 모듈(2208)은 하기에 기재되는 도 24의 방법(2400)에 따라 주행 변경을 일으킬 수 있다.
나아가, 여기에 기재된 모듈(예, 2202, 2204, 2206)의 하나 이상은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연계된 방식을 구현할 수 있다.
도 23a는 기재된 실시예에 따른 시스템의 시점에서 바라본 주차 차량(2302)을 도시한 것이다. 예를 들면, 시스템은 차량(2302)의 조명 상태 변화 및/또는 온도 특징에 대해 모니터할 수 있다. 시스템은 예를 들어 도 24의 방법(2400)을 활용하여 조명 상태 변화 및/또는 온도 특징에 근거한 차량(2302)의 예측 상태를 판단할 수 있다.
도 23b는 조명 상태가 변화된 주차 차량(2302)을 도시한 것이다. 도 23b의 예에서, 차량(2302)의 후미등(2304a, 2304b)이 소등 상태에서 점등 상태로 변화하였다. 전조등의 조명 상태가 바뀐 다른 실시예도 가능하다. 또한 차량의 전조등 및/또는 후미등이 점등 상태에서 소등 상태로 바뀌는 다른 실시예도 가능하다.
도 23c는 엔진(2306)이 따뜻하고 타이어(2308a, 2308b)가 차가운 주차 차량(2302)(다른 각도에서 바라봄)을 도시한 것이다. 여기서, '따뜻하다.'와 '차갑다.'라는 표현은 미리 설정 및/또는 학습될 수 있는 예상 온도로부터의 편차를 의미하는 용어일 수 있다. 예를 들면, 엔진이 주위 온도보다 높으면 '따뜻하다.'라고 할 수 있고, 주위 온도보다 낮거나 같으면 '차갑다'고 할 수 있다. 본 기재의 실시예들에서, 엔진 또는 엔진 온도에 관한 설명은, 예를 들면, 차량의 전면에 위치한 엔진 후드와 같이, 온도가 엔진의 온도에 흔히 영향을 받는 차량의 특정 영역에 관한 것일 수 있다. '따뜻한' 및 '차가운' 온도의 임계값은 요구되는 특정 조건 하에서의 엔진 후드의 예상 온도를 반영하도록, 가능하면 긍정 오류 또는 부정 오류 검출을 줄이기 위한 약간의 공차를 허용하여, 선택될 수 있다. 일례에서, 화창한 조건하에서, 임계 온도는 햇볕에 의한 가열을 고려하여(예, 차량의 후드가 햇빛에 노출된다는 판단 후) 조절될 수 있다. 다른 예에서, 태양의 영향은 이미지의 스펙트럼 분석으로 판단될 수 있는 차량의 색깔을 감안하여 고려될 수 있다. 다른 예에서, 현재 모니터하고 있는 차량의 현지 지역 내의 이전에 검출된 주차 차량 및/또는 한 대 이상의 주차 차량의 특정 영역의 온도의 평균을 산출하여 임계값이 판단될 수 있다.
이와 유사하게, 타이어 온도를 차량의 상태에 대한 지시자로 활용할 수 있다. 예를 들면, 타이어가 도로 온도보다 높으면 '따뜻한' 것일 수 있고, 도로 온도보다 낮거나 같으면 '차가운' 것일 수 있다. 다른 예에서, 임계 온도(예, '따뜻한' 타이어와 '차가운' 타이어를 구분하는 온도)는 예상되거나 산출된 타이어의 작동 온도와 연관 있을 수 있다. 작동 온도 산출은 주위 조건 외에도 운전 모델과 운전 모델이 타이어 온도에 미치는 영향 등을 감안할 수 있다. 또 다른 예에서, 작동 온도 산출은 타이어 냉각 모델도 포함할 수 있다. 타이어 냉각 모델도 주위 조건을 감안할 수 있다. 도 23c의 예에서, 시스템은 예를 들어 도 24의 방법(2400)을 활용하여 엔진(2306)과 타이어(2308a, 2308b)의 온도에 근거한 차량(2302)의 예측 상태를 판단할 수 있다.
도 24는 기재된 실시예에 따른 주차 차량의 예측 상태를 판단하기 위한 예시적인 과정(2400)을 도시한 순서도이다. 단계 2402에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 복수의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 복수의 이미지를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
복수의 이미지는 일정 시간에 걸쳐 수집될 수 있다. 예를 들면, 복수의 이미지는 t = 0인 시간에 캡처 된 제1 이미지, t = 0.5초에 캡처 된 제2 이미지, 및 t = 1.0초에 캡처 된 제3 이미지를 포함할 수 있다. 이미지 사이의 시간은 적어도 하나 이상의 이미지캡처장치의 주사율에 따라 다를 수 있다.
단계 2404에서, 처리부(110)는 복수의 이미지를 분석하여 주차 차량을 식별할 수 있다. 예를 들어, 주차 차량을 식별하는 단계는 적어도 하나의 경계박스(bounding box)를 타깃 차량의 측면 형상과 연관시키는 단계를 더 포함할 수 있다. 예를 들면, 앞서 도 9 및 도 10을 참조하여 설명한 바와 같은 학습 알고리즘을 활용하여 상기 분석이 수행될 수 있다. 일부 실시예에서, 단계 2404는 식별된 타깃 차량 전면의 엔진 및/또는 식별된 타깃 차량 측면의 휠을 식별하는 단계를 더 포함할 수 있다. 예를 들어, 앞서 도 11을 참조하여 설명한 학습 알고리즘을 활용하여 상기 분석이 수행될 수 있다.
단계 2406에서, 처리부(110)는 복수의 이미지를 분석하여 주차 차량의 조명 상태의 변화를 식별할 수 있다. 예를 들면, 처리부(110)는 주차 차량의 후미등 및/또는 전조등을 식별하고 식별된 후미등 및/또는 전조등이 소등에서 점등으로(도 23b의 예) 또는 점등에서 소등으로 변하는지 모니터할 수 있다. 다른 실시예는, 예를 들어, 주차등만의 점등이 브레이크등의 점등으로 변화하는 것과 같은 더욱 상세한 변화를 포함할 수 있다.
일부 실시예에서, 방법(2400)은 주차 차량의 예측 상태를 조명 상태의 변화에 기반하여 판단하는 단계를 포함하고 단계 2412로 건너 뛸 수 있다(즉, 주차 차량의 예측 상태에 기반하여 호스트 차량에 적어도 하나의 주행 반응을 유발). 예를 들어, 주차 차량과 연계된 적어도 하나의 등의 조명 상태의 소등 상태에서 점등 상태로의 변화에 기반하여, 처리부(110)는 주차 차량의 예측 상태가 주차 차량의 엔진에 시동이 걸렸다는 표시를 포함한다고 판단할 수 있다. 이와 유사하게, 주차 차량과 연계된 적어도 하나의 등의 조명 상태의 점등 상태에서 소등 상태로의 변화에 기반하여, 처리부(110)는 주차 차량의 예측 상태가 주차 차량의 엔진에 시동이 꺼졌다는 표시를 포함한다고 판단할 수 있다. 이에 따라, 이러한 실시예에서, 이러한 판단은 열 이미지(thermal image)를 활용하지 않을 수 있다.
단계 2408에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 적어도 하나의 열 이미지(thermal image)(즉, 적외선 이미지)를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 적어도 하나의 열 이미지(thermal image)를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
단계 2408은 단계 2402와 별개로 또는 동시에 수행될 수 있다. 따라서, 일부 실시예에서, 시각적 이미지 및 적외선 이미지는 동시에 수신될 수 있다. 다른 실시예에서, 하나 이상의 이미지캡처장치와 하나 이상의 적외선 이미지캡처장치 사이의 주사율 및/또는 전송 속도를 다르게 함으로써 시각적 이미지와 적외선 이미지 사이에 지연이 있게 할 수 있다.
일부 실시예에서, 방법(2400)은 복수의 이미지의 적어도 하나와 적어도 하나의 열 이미지(thermal image)를 정렬하는 단계를 더 포함할 수 있다. 이러한 정렬에 따라, 방법(2400)은 정렬된 적어도 하나의 열 이미지(thermal image)에서 주차 차량의 엔진 영역 및 적어도 하나의 휠 요소(wheel component) 영역 중 적어도 하나를 식별하는 단계를 더 포함할 수 있다.
단계 2410에서, 처리부(110)는 단계 2406의 분석 및/또는 적어도 하나의 열 이미지(thermal image)의 분석에 기반하여 주차 차량의 예측 상태를 판단할 수 있다. 예를 들면, 예측 상태는 주차 차량의 엔진에 시동이 켜졌다는 표시 또는 주차 차량의 엔진에 시동이 꺼졌다는 표시를 포함할 수 있다. 다른 예를 들면, 예측 상태는 주차 차량이 미리 정해진 시간 이내에 움직이지 않을 것으로 예상된다는 표시, 주차 차량이 미리 정해진 시간 이내에 움직일 것으로 예상된다는 표시, 또는 주차 차량의 도어가 미리 정해진 시간 이내에 열릴 것으로 예상된다는 표시를 포함할 수 있다.
일부 실시예에서, 적어도 하나의 열 이미지(thermal image)의 분석은 주차 차량의 엔진 영역의 온도를 판단하는 단계를 포함할 수 있다. 예를 들어, 온도가 임계값보다 낮은 경우, 처리부(110)는 주차 차량이 미리 정해진 시간 이내에 움직이지 않을 것으로 예상된다는 표시를 포함하는 예측 상태를 판단할 수 있다. 미리 정해진 시간은 예를 들어 주차 차량 또는 주차 차량의 엔진의 알려진 특성에 따라 달라질 수 있다.
일부 실시예에서, 적어도 하나의 열 이미지(thermal image)의 분석은 주차 차량의 엔진 영역의 제1 온도와 주차 차량의 적어도 하나의 휠 요소(wheel component)의 제2 온도를 판단하는 단계를 포함할 수 있다. 이러한 실시예에서, 주차 차량의 예측 상태는 제1 온도와 제1 임계값의 비교 및 제2 온도와 제2 임계값의 비교에 기반하여 판단될 수 있다. 예를 들면, 제1 온도가 제1 임계값보다 높고 제2 온도가 제2 임계값보다 낮은 경우, 처리부(110)는 주차 차량이 미리 정해진 시간 이내에 움직일 것으로 예상된다는 표시를 포함하는 예측 상태를 판단할 수 있다.
다른 예를 들면, 제1 온도가 제1 임계값보다 높고 제2 온도가 제2 임계값보다 높은 경우, 처리부(110)는 주차 차량의 도어가 미리 정해진 시간 이내에 열릴 것으로 예상된다는 표시를 포함하는 예측 상태를 판단할 수 있다.
일부 실시예에서, 처리부(110)는 조명의 변화, 적어도 하나의 열 이미지(thermal image)의 분석, 또는 이들의 조합에 기반을 둔 예측 상태에 적어도 부분적으로 근거하여 수신 이미지의 추가 모니터링을 수행할 수 있다. 예를 들면, 예측 상태가 주차 차량의 엔진에 시동이 꺼진 것을 나타내고 및/또는 주차 차량의 도어가 미리 정해진 시간 이내에 열릴 것으로 예상되는 것을 나타내는 경우, 처리부(110)는 수신 이미지의 하나 이상의 부분을 모니터하여 주차 차량의 도어 에지의 이미지 특성에 변화가 있는지 여부를 확인할 수 있다. 이러한 모니터링의 예는 도 14의 방법(1400)과 관련하여 상기에 설명하였다. 다른 예를 들면, 예측 상태가 주차 차량의 엔진에 시동이 켜진 것을 나타내고 및/또는 주차 차량이 미리 정해진 시간 이내에 움직일 것으로 예상되는 것을 나타내는 경우, 처리부(110)는 수신 이미지의 하나 이상의 휠 요소(wheel component)를 모니터하여 휠 요소(wheel component)의 움직임을 확인할 수 있다. 이러한 모니터링의 예는 도 17의 방법(1700)과 관련하여 상기에 설명하였다.
단계 2412에서, 처리부(110)는 호스트 차량의 주행 변경을 일으킬 수 있다. 예를 들어, 주행 반응은 호스트 차량의 진행 방향의 변경(도 13에 도시), 차선 변경, 가속도 변경 등을 포함할 수 있다. 처리부(110)는 단계 2410에서 수행되어 판단된 예측 상태에 기반하여 하나 이상의 주행 반응을 유발할 수 있다. 예를 들면, 처리부(110)는 주차 차량이 미리 정해진 시간 이내에 움직일 것으로 예상된다고 나타내는 또는 주차 차량의 도어가 미리 정해진 시간 이내에 열릴 것으로 예상된다고 나타내는 예측 상태에 대응하여 호스트 차량을 주차 차량으로부터 이동 및/또는 호스트 차량을 감속할 수 있다.
도 25는 시각적 이미지와 적외선 이미지를 정렬하기 위한 예시적인 과정(2500)을 도시한 순서도이다. 단계 2502와 2504에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 적어도 하나의 시각적 이미지와 적어도 하나의 적외선 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 적어도 하나의 시각적 이미지와 적어도 하나의 적외선 이미지를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다.
일부 실시예에서, 시각적 이미지 및 적외선 이미지는 동시에 수신될 수 있다. 다른 실시예에서, 하나 이상의 이미지캡처장치와 하나 이상의 적외선 이미지캡처장치 사이의 주사율 및/또는 전송 속도를 다르게 함으로써 시각적 이미지와 적외선 이미지 사이에 지연이 있게 할 수 있다.
단계 2506에서, 처리부(110)는 적어도 하나의 적외선 이미지에서 한 세트의 기준점을 선택할 수 있다. 예를 들어, 한 세트의 기준점은 무작위로 선택되거나 알려진 특성에 기반을 둔 알려진 대상(예, 보행자, 나무, 차량 등)의 식별을 포함할 수 있다.
단계 2508에서, 처리부(110)는 기준점을 적어도 하나의 적외선 이미지로부터 적어도 하나의 시각적 이미지로 투사할 수 있다. 예를 들면, 처리부(110)는 기준점을 나타내는(예, 에워싸는) 형상(예, 타원, 사각형, 사다리꼴 등)을 적어도 하나의 시각적 이미지 내의 한 위치에 투사할 수 있다.
단계 2510에서, 처리부(110)는 기준점에 상응하는 시각적 이미지의 부분에 대한 게인(gain) 및/또는 노출을 최적화할 수 있다. 예를 들어, 최적화의 결과로 향상된 대비는 정렬의 신뢰성을 더욱 향상시킬 수 있다. 단계 2510은 선택 사항이며 모든 실시예에서 수행될 필요는 없다.
단계 2512에서, 처리부(110)는 적어도 하나의 적외선 이미지를 적어도 하나의 시각적 이미지와 정렬시킬 수 있다. 예를 들어, 이미지를 정렬하는(또는 일치시키는) 단계는 정렬의 정도를 최적화하는 거리를 등극선(epipolar laine)을 따라 검색하는 단계를 포함할 수 있다. 본 예에서, 정렬의 정도를 최적화함으로써, 기준점과 보는 사람 사이 및/또는 기준점과 다른 대상 사이의 거리가 시각적 이미지와 적외선 이미지에서 모두 동일하게 할 수 있다.
[차량 사이의 간격 검출에 기반을 둔 주행제어]
차량과 차량 사이의 간격을 식별하는 시스템과 방법은 검출된 간격에 기반을 둔 주행제어를 가능하게 할 수 있다. 이 방법을 통한 주행제어를 함으로써, 검출된 간격 내의 움직임에 대한 사전 모니터링과 반응을 기존의 동작 검출보다 짧은 반응 시간에 할 수 있다. 하기에 설명하는 본 기재의 실시예들은 차량 사이의 간격 검출에 기반을 둔 주행제어를 위한 시스템과 방법에 관한 것이다.
도 26은 기재된 실시예에 따른 하나 이상의 동작의 수행을 위한 명령이 저장/프로그램 될 수 있는 메모리(140 및/또는 150)의 예시적인 기능 구성도이다. 하기에서는 메모리(140)에 대해 설명하지만, 당업자라면 명령이 메모리(140 및/또는 150)에 저장될 수 있음을 인지할 수 있을 것이다.
도 26에 도시된 바와 같이, 메모리(140)는 이미지 분석 모듈(2602), 차량 식별 모듈(2604), 간격 계산 모듈(2606), 및 주행 반응 모듈(2608)을 저장할 수 있다. 기재된 실시예들은 메모리(140)의 특정 구성으로 제한되지 않는다. 또한, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 메모리(140)에 포함된 모듈(2602 ~ 2608)의 하나 이상에 저장된 명령을 실행할 수 있다. 처리부(110)를 통해 설명하는 하기의 내용이 개별적으로 또는 집합적으로 애플리케이션 프로세서(180)와 이미지 프로세서(190)에도 해당될 수 있음은 당업자라면 이해할 수 있을 것이다. 따라서, 하기의 프로세스의 단계들은 하나 이상의 프로세싱 처리장치에 의해 수행될 수 있다
일 실시예에서, 이미지 분석 모듈(2602)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 일부 실시예에서, 처리부(110)는 한 세트의 이미지로부터의 정보를 추가적인 감지 정보(예, 레이더, 라이더 등으로부터의 정보)와 병합하여 이이지 분석을 수행할 수 있다. 하기에 차량 식별 모듈(2604)과 관련하여 설명하는 바와 같이, 이미지 분석 모듈(2602)은 하나 이상의 특징(예, 전면, 후면, 측면 등)을 활용하여 차량을 검출하기 위한 명령을 포함할 수 있다.
일 실시예에서, 차량 식별 모듈(2604)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 상기의 도 9 내지 도 14와 연관하여 설명한 바와 같이, 차량 식별 모듈(2604)은 한 대 이상의 차량의 경계박스(bounding box)를 판단하기 위한 명령을 포함할 수 있다.
일 실시예에서, 간격 계산 모듈(2606)은 처리부(110)에 의해 실행되는 경우에 이미지캡처장치(122, 124, 126) 중의 하나에 의해 확보된 하나 이상의 이미지의 분석을 수행하는 명령(컴퓨터 비전 소프트웨어 등)을 저장할 수 있다. 하기의 도 27a와 도 27b와 관련하여 설명하는 바와 같이, 또한 차량 식별 모듈(2604)과 협력하여, 간격 계산 모듈(2606)은 식별된 차량 사이의 하나 이상의 간격을 계산하기 위한 명령을 포함할 수 있다.
일 실시예에서, 주행 반응 모듈(2608)은 이미지 분석 모듈(2602), 차량 식별 모듈(2604), 및/또는 간격 계산 모듈(2606)을 실행하여 도출된 데이터에 근거하여 필요한 주행 반응을 판단하기 위해 처리부(110)에 의해 실행 가능한 소프트웨어를 저장할 수 있다. 예를 들어, 주행 반응 모듈(2608)은 하기에 기재되는 도 28의 방법(2800)에 따라 주행 변경을 일으킬 수 있다.
나아가, 여기에 기재된 모듈(예, 2602, 2604, 2606)의 하나 이상은 학습 시스템(예, 신경망 또는 심층 신경망) 또는 비학습 시스템과 연계된 방식을 구현할 수 있다.
도 27a는 기재된 실시예에 따른 시스템의 시점에서 바라본 도로(2702)를 도시한 것이다. 도로(2702)는 복수의 정지된 차량(예, 2704, 2706)을 포함할 수 있다. 하기에 도 28의 방법(2800)을 참조하여 설명하는 바와 같이, 시스템은 정지된 차량의 측면에 대한 경계박스(bounding box), 예를 들면, 차량(2704)에 대한 측면 경계박스(bounding box)(2708)와 차량(2706)에 대한 측면 경계박스(bounding box)(2710)를 식별할 수 있다. 하기에 도 28의 방법(2800)을 참조하여 더 설명하는 바와 같이, 시스템은 한 경계박스(bounding box)의 맨 앞쪽과 인접한 경계박스(bounding box)의 맨 뒤쪽, 예를 들면, 경계박스(bounding box)(2708)의 앞쪽(2712)과 경계박스(bounding box)(2710)의 뒤쪽(2714)을 활용하여 식별된 경계박스(bounding box) 사이의 간격을 식별할 수 있다.
도 27b도 기재된 실시예에 따른 시스템의 시점에서 바라본 차량(2704)과 차량(2706)을 포함하는 도로(2702)를 도시한 것이다. 도 27a와 마찬가지로, 시스템은 차량(2704)에 대한 측면 경계박스(bounding box)(2708)와 차량(2706)에 대한 측면 경계박스(bounding box)(2710)를 식별하였다. 도 27b에 도시된 바와 같이, 경계박스(bounding box)(2708)의 앞쪽(2712)과 경계박스(bounding box)(2710)의 뒤쪽(2714) 사이에 식별된 간격에 근거하여 핫스팟(2716)이 식별되었다. 하기에 도 28의 방법(2800)을 참조하여 설명하는 바와 같이, 시스템은 식별된 핫스팟에 기반하여 호스트 차량의 주행 반응을 결정할 수 있다.
도 28은 기재된 실시예에 따른 차량 사이의 검출된 간격에 기반을 둔 주행제어를 위한 예시적인 과정(2800)을 도시한 순서도이다. 단계 2802에서, 처리부(110)는 데이터 인터페이스(128)를 통하여 호스트 차량의 주변환경의 복수의 이미지를 수신할 수 있다. 예를 들어, 이미지획득부(120)(예, 시야(202, 204, 206)를 가진 이미지캡처장치(122, 124, 126))에 포함된 카메라가 호스트 차량의 전방 구역 및/또는 측면의 복수의 이미지를 캡처하여 디지털 연결(예, USB, 무선, 블루투스 등)을 통해 처리부(110)로 전송할 수 있다. 레이더, 라이더, 음향 센서 등과 같은 기타 센서로부터의 추가 정보도 복수의 이미지를 대신하여 또는 병합하여 활용될 수 있다.
단계 2804에서, 처리부(110)는 복수의 이미지의 적어도 하나를 분석하여 적어도 두 대의 정지된 차량을 식별할 수 있다. 예를 들어, 정지된 차량을 식별하는 단계는 적어도 하나의 경계박스(bounding box)를 정지된 차량의 측면 형상과 연관시키는 단계를 더 포함할 수 있다. 예를 들면, 앞서 도 9 및 도 10을 참조하여 설명한 바와 같은 학습 알고리즘을 활용하여 상기 분석이 수행될 수 있다.
단계 2806에서, 처리부(110)는 식별된 차량 사이의 간격을 판단할 수 있다. 예를 들면, 처리부(110)는 적어도 하나의 이미지를 좌측에서 우측 방향으로(또는 우측에서 좌측 방향으로) 스캔하여 우측 에지 및 인접한 좌측 에지를 식별할 수 있다. 식별된 우측 에지와 식별된 좌측 에지는 한 경계박스(bounding box)의 맨 앞쪽과 다른 경계박스(bounding box)의 맨 뒤쪽을 포함할 수 있다. 우측 에지와 좌측 에지는 간격 쌍을 형성하고, 이 간격 쌍 사이의 간격이 계산될 수 있다. 이러한 실시예에서, 상기 간격은 정지된 차량 중 한 대의 앞쪽과 정지된 차량 중 다른 한 대의 뒤쪽 사이의 거리에 상응할 수 있다.
다른 실시예에서, 식별된 우측 에지와 식별된 좌측 에지는 도로 일측의 한 경계박스(bounding box)와 도로 타측의 다른 경계박스(bounding box)를 포함할 수 있다. 이러한 실시예에서, 상기 간격은 정지된 차량의 인접한 측면 사이의 거리에 상응할 수 있다.
일부 실시예에서, 단계 2806은 호스트 차량과 판단된 간격 사이의 거리를 계산하는 단계를 더 포함할 수 있다. 예를 들어, 처리부(110)는 호스트 차량의 이미지캡처장치(예, 카메라)의 높이와 초점거리에 기반하여 거리를 계산할 수 있다. 보행자 또는 기타 대상물의 알려진 특성(예, 키 또는 높이)에 근거하여, 처리부(110)는 계산된 간격 내부 및/또는 인근의 형상을 보행자 또는 기타 대상물이 등장할 수 있는 '핫스팟'으로 판단할 수 있다. 예를 들어, 이 형상은 사각형, 타원, 또는 기타 형상일 수 있다.
단계 2808에서, 처리부(110)는 호스트 차량의 주행 변경을 일으킬 수 있다. 예를 들어, 주행 반응은 회전(도 13에 도시), 차선 변경(예, 운행중인 차선 내에서 호스트 차량을 이동 또는 호스트 차량의 운행 차선을 변경), 가속도 변경(예, 호스트 차량의 감속) 등을 포함할 수 있다. 일부 실시예에서, 상기 적어도 하나의 주행 변경은 호스트 차량의 조향 메커니즘, 브레이크, 가속장치 중의 하나를 실행하여 수행될 수 있다.
처리부(110)는 단계 2806에서 계산된 간격에 근거하여 상기 적어도 하나의 주행 반응을 일으킬 수 있다. 예를 들면, 처리부(110)는 계산된 간격이 보행자를 수용하기에 충분하다고 판단할 수 있다. 이러한 판단에 근거하여, 처리부는 호스트 차량을 감속 및/또는 호스트 차량을 간격으로부터 멀어지게 이동할 수 있다. 다시 말해, 정지된 두 대의 차량 사이의 간격이 보행자가 횡단하기에 충분하다고 판단되는 경우에 상기 주행 변경이 실행될 수 있다.
다른 예를 들면, 처리부(110)는 계산된 간격이 차량을 수용하기에 충분하다고 판단할 수 있다. 이러한 판단에 근거하여, 처리부는 호스트 차량을 감속 및/또는 호스트 차량을 간격으로부터 멀어지게 이동할 수 있다. 다시 말해, 정지된 두 대의 차량 사이의 간격이 타깃 차량이 횡단하기에 충분하다고 판단되는 경우에 상기 주행 변경이 실행될 수 있다.
다른 예를 들면, 핫스팟의 모니터링에 근거하여, 처리부(110)는 보행자 또는 기타 대상물이 핫스팟 내부 또는 부근에서 식별되는 경우 또는 핫스팟 내부 또는 부근에서 동작이 검출되는 경우에 호스트 차량을 감속 및/또는 호스트 차량을 간격으로부터 멀어지게 이동할 수 있다.
일부 실시예에서, 이후, 처리부(110)는 복수의 이미지의 분석에 근거하여 두 대의 정지된 차량 사이의 간격 내에서 보행자를 검출할 수 있다. 예를 들어, 처리부(110)는 계산된 간격과 보행자의 예상 키를 활용하여 수신된 이미지 내에서 보행자의 머리가 등장할 것으로 예상될 수 있는 장소(예, 도 27b의 핫스팟(2716))를 판단할 수 있다.
보행자의 검출은, 앞서 차량 측면에 대해 학습된 분류기와 유사하게, 보행자에 대해 학습된 분류기를 활용하여 수행될 수 있다. 이러한 예에서, 핫스팟 내부의 검사 지점의 분류기 점수가 상한 임계값보다 높으면, 처리부(110)는 확인된 보행자를 그 지점에서 검출할 수 있다. 반면에, 핫스팟 내부의 검사 지점의 분류기 점수가 하한 임계값보다 높고 상한 임계값보다 낮으면, 처리부(110)는 보행의심자(suspect pedestrian)를 그 지점에서 검출할 수 있다. 보행의심자는 도로를 향해 움직이는지 여부를 더 추적할 수 있고, 도로를 향한 움직임이 추적되는 경우, 처리부는 보행의심자를 확인된 보행자로 재분류할 수 있다. 이러한 검출 방법은 기존의 동작 검출을 개선할 수 있다.
일부 실시예에서, 두 대의 정지된 차량 사이의 간격의 적어도 일부분은 카메라의 시야로부터 가려질 수 있다. 이러한 실시예에서, 처리부(110)는 가려진 부분을 보완하기 위해 추가적인 분석을 수행할 수 있다.
처리부(110)는 또한 속도 및 가속 모듈(406)의 실행으로 도출된 데이터를 활용하여 하나 이상의 주행 반응을 일으킬 수 있다. 다중 주행 반응은 동시에, 순차적으로, 또는 이들의 조합으로 발생될 수 있다.
상기의 설명은 예시의 목적으로 제시되었다. 이 설명은 모든 것을 망라한 것이 아니며 기재된 그대로의 형태 또는 실시예로 제한되는 것이 아니다. 수정 및 적응은 본 명세서를 고려하고 기재된 실시예를 실시함으로써 당업자에게 당연할 것이다. 또한, 기재된 실시예의 양상들이 메모리에 저장되는 것으로 설명되었지만, 당업자라면 이러한 양상들이, 예를 들어, 하드 디스크 또는 CD ROM, 또는 다른 유형의 RAM 또는 ROM, USB 매체, DVD, 블루레이, 4K UHD 블루레이, 또는 기타 광드라이브 매체 등의 2차 저장장치와 같은 다른 유형의 컴퓨터 판독 가능한 매체에 저장될 수도 있음을 이해할 것이다.
기재된 설명과 방법에 기반을 둔 컴퓨터 프로그램은 당업자에게는 당연한 기술이다. 다양한 프로그램 또는 프로그램 모듈이 당업자에게 공지인 기술을 사용하여 생성되거나 기존의 소프트웨어와 관련되어 설계될 수 있다. 예를 들어, 프로그램 섹션 또는 프로그램 모듈은 .Net Framework, .Net Compact Framework (및 Visual Basic, C 등과 같은 관련 언어), Java, C++, Objective-C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿(Java applet)을 포함하는 HTML로 설계될 수 있다.
또한, 예시된 실시예들을 여기에 설명하였지만, 모든 실시예의 범위는 균등한 구성요소, 수정, 누락, 조합(예, 다양한 실시예에 걸친 양상의 조합), 적응, 및/또는 변경을 가짐은 본 발명의 당업자에게 당연하다. 청구항의 한정은 청구항에 사용된 언어에 근거하여 넓게 해석되어야 하며 본 명세서에서 또는 본 발명의 출원 중에 설명된 예시에 한정되지 않는다. 예시들은 배타적이지 않은 것으로 이해되어야 한다. 나아가, 기재된 방법의 단계들은 단계들의 순서를 재배열 및/또는 단계를 삽입 또는 삭제하는 등의 다양한 방법으로 수정될 수 있다. 따라서, 본 명세서와 예시들은 예시의 목적으로만 고려되고, 진정한 범위와 기술적 사상은 하기의 청구항과 그 균등한 범위에 의해 정의된다.
100: 시스템
110: 처리부
120: 이미지획득부
122, 124, 126: 이미지캡처장치
130: 위치센서
140, 150: 메모리장치
160: 지도 데이터베이스
170: 사용자 인터페이스
172: 무선 송수신기
180: 애플리케이션 프로세서
190: 이미지 프로세서
200, 1106, 1204: 차량
1102, 1104, 1604, 1606: 휠
1502: 도로 호모그래피 모듈
1504: 휠 식별 모듈
1506: 동작 분석 모듈
1508: 주행 반응 모듈

Claims (20)

  1. 호스트 차량의 주행제어 시스템(navigation system)에 있어서,
    상기 시스템은,
    적어도 하나의 처리장치를 포함하고,
    상기 적어도 하나의 처리장치는:
    상기 호스트 차량의 주변환경을 보여주는 복수의 이미지를 카메라로부터 수신;
    상기 복수의 이미지의 적어도 하나를 분석하여 적어도 두 대의 정지 상태의 차량을 식별;
    상기 두 대의 정지 상태의 차량 사이의 간격을 상기 복수의 이미지의 적어도 하나의 분석에 기반하여 판단;
    상기 간격의 규모가 타깃 물체가 횡단하기에 충분한지 여부를 판단; 및
    상기 두 대의 정지 상태의 차량 사이의 판단된 상기 간격의 상기 규모가 상기 타깃 물체가 횡단하기에 충분한지 여부에 기반하여 상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하도록 프로그램 되는 것을 특징으로 하는, 시스템.
  2. 제1항에 있어서,
    상기 적어도 하나의 주행 변경(navigational change)은 상기 호스트 차량의 감속을 포함하는 것을 특징으로 하는 시스템.
  3. 제1항에 있어서,
    상기 적어도 하나의 주행 변경(navigational change)은 상기 호스트 차량의 운행중인 차선 내에서의 이동을 포함하는 것을 특징으로 하는 시스템.
  4. 제1항에 있어서,
    상기 적어도 하나의 주행 변경(navigational change)은 상기 호스트 차량의 운행 차선 변경을 포함하는 것을 특징으로 하는 시스템.
  5. 제1항에 있어서,
    상기 적어도 하나의 주행 변경(navigational change)을 유발하는 과정은 상기 호스트 차량의 조향 메커니즘, 브레이크, 가속장치 중의 하나를 작동하여 이루어지는 것을 특징으로 하는 시스템.
  6. 제1항에 있어서,
    상기 타깃 물체는 보행자인 것을 특징으로 하는 시스템.
  7. 제1항에 있어서,
    상기 타깃 물체는 타깃 차량인 것을 특징으로 하는 시스템.
  8. 제1항에 있어서,
    상기 간격은 상기 정지 상태의 차량의 인접한 측면 사이의 거리에 상응하는 것을 특징으로 하는 시스템.
  9. 제1항에 있어서,
    상기 간격은 상기 정지 상태의 차량 중 한 대의 앞쪽과 상기 정지 상태의 차량 중 다른 한 대의 뒤쪽 사이의 거리에 상응하는 것을 특징으로 하는 시스템.
  10. 제1항에 있어서,
    상기 적어도 하나의 처리장치는 상기 복수의 이미지의 분석에 기반하여 상기 두 대의 정지 상태의 차량 사이의 상기 간격 내에서 보행자를 검출하도록 더 프로그램 되는 것을 특징으로 하는 시스템.
  11. 제1항에 있어서,
    상기 두 대의 정지 상태의 차량 사이의 상기 간격의 적어도 일부분은 상기 카메라의 시야로부터 가려지는 것을 특징으로 하는 시스템.
  12. 호스트 차량을 주행제어하는 방법에 있어서,
    상기 호스트 차량의 주변환경을 보여주는 복수의 이미지를 카메라로부터 수신하는 단계;
    상기 복수의 이미지의 적어도 하나를 분석하여 적어도 두 대의 정지 상태의 차량을 식별하는 단계;
    상기 두 대의 정지 상태의 차량 사이의 간격을 상기 복수의 이미지의 상기 적어도 하나의 분석에 기반하여 판단하는 단계;
    상기 간격의 규모가 타깃 물체가 횡단하기에 충분한지 여부를 판단하는 단계; 및
    상기 두 대의 정지 상태의 차량 사이의 판단된 상기 간격의 상기 규모가 상기 타깃 물체가 횡단하기에 충분한지 여부에 기반하여 상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계는 상기 호스트 차량을 감속하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제12항에 있어서,
    상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계는 상기 호스트 차량을 운행중인 차선 내에서 이동하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제12항에 있어서,
    상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계는 상기 호스트 차량의 운행 차선을 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제12항에 있어서,
    상기 적어도 하나의 주행 변경(navigational change)을 유발하는 단계는 상기 호스트 차량의 조향 메커니즘, 브레이크, 가속장치 중의 하나를 작동하는 단계를 포함하는 것을 특징으로 하는 방법.
  17. 제12항에 있어서,
    상기 타깃 물체는 보행자인 것을 특징으로 하는 방법.
  18. 제12항에 있어서,
    상기 타깃 물체는 타깃 차량인 것을 특징으로 하는 방법.
  19. 적어도 하나의 처리장치에 의해 실행되는 경우에 방법을 수행하는 명령을 저장하는 비일시적 컴퓨터 가독 매체에 있어서, 상기 방법은:
    호스트 차량의 주변환경을 보여주는 복수의 이미지를 카메라로부터 수신하는 단계;
    상기 복수의 이미지의 적어도 하나를 분석하여 적어도 두 대의 정지 상태의 차량을 식별하는 단계;
    상기 두 대의 정지 상태의 차량 사이의 간격을 상기 복수의 이미지의 상기 적어도 하나의 분석에 기반하여 판단하는 단계;
    상기 간격의 규모가 타깃 물체가 횡단하기에 충분한지 여부를 판단하는 단계; 및
    상기 두 대의 정지 상태의 차량 사이의 판단된 상기 간격의 상기 규모가 상기 타깃 물체가 횡단하기에 충분한지 여부에 기반하여 상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계를 포함하는, 비일시적 컴퓨터 가독 매체.
  20. 제19항에 있어서,
    상기 호스트 차량에 적어도 하나의 주행 변경(navigational change)을 유발하는 단계는 상기 호스트 차량을 감속하는 단계, 상기 호스트 차량을 운행중인 차선 내에서 이동하는 단계, 및 상기 호스트 차량의 운행 차선을 변경하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는, 비일시적 컴퓨터 가독 매체.


KR1020227003640A 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어 KR102493878B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237002352A KR20230017365A (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662354946P 2016-06-27 2016-06-27
US62/354,946 2016-06-27
US201762445500P 2017-01-12 2017-01-12
US62/445,500 2017-01-12
PCT/US2017/039427 WO2018005441A2 (en) 2016-06-27 2017-06-27 Controlling host vehicle based on detected parked vehicle characteristics
KR1020187037446A KR102359806B1 (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037446A Division KR102359806B1 (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237002352A Division KR20230017365A (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어

Publications (2)

Publication Number Publication Date
KR20220021020A true KR20220021020A (ko) 2022-02-21
KR102493878B1 KR102493878B1 (ko) 2023-01-31

Family

ID=59315715

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227003640A KR102493878B1 (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
KR1020237002352A KR20230017365A (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
KR1020187037446A KR102359806B1 (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237002352A KR20230017365A (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
KR1020187037446A KR102359806B1 (ko) 2016-06-27 2017-06-27 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어

Country Status (6)

Country Link
US (7) US10127465B2 (ko)
EP (6) EP3614106B1 (ko)
JP (2) JP6997106B2 (ko)
KR (3) KR102493878B1 (ko)
CN (5) CN110345962B (ko)
WO (1) WO2018005441A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593769B1 (ko) * 2023-05-04 2023-10-25 박찬배 인공지능에 의한 무선형 객체 인식 시스템 및 이를 이용한 객체 인식 방법

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11609336B1 (en) * 2018-08-21 2023-03-21 Innovusion, Inc. Refraction compensation for use in LiDAR systems
US9898671B2 (en) 2015-05-11 2018-02-20 Magna Electronics Inc. Vehicle vision system with structure and motion estimation
US10846537B2 (en) * 2015-09-30 2020-11-24 Nec Corporation Information processing device, determination device, notification system, information transmission method, and program
DE102016102510A1 (de) * 2016-02-12 2017-08-17 Kiekert Aktiengesellschaft Verfahren und Vorrichtung zur Beaufschlagung einer Kraftfahrzeugtür im Sinne eines Abbremsens insbesondere zur Kollisionsvermeidung
US10127465B2 (en) * 2016-06-27 2018-11-13 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected movement of a target vehicle
US9984567B2 (en) * 2016-09-09 2018-05-29 Ford Global Technologies, Llc Detection of oncoming vehicles with IR light
US10629079B2 (en) * 2016-12-05 2020-04-21 Ford Global Technologies, Llc Vehicle collision avoidance
CN106650806B (zh) * 2016-12-16 2019-07-26 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN110325823B (zh) * 2017-01-12 2023-08-29 御眼视觉技术有限公司 基于规则的导航
US9988048B1 (en) * 2017-03-03 2018-06-05 GM Global Technology Operations LLC Lane detection systems and methods
US10160459B2 (en) * 2017-03-22 2018-12-25 Ford Global Technologies, Llc Vehicle lane direction detection
US10089872B1 (en) * 2017-05-11 2018-10-02 Here Global B.V. Vehicle communication system for vehicle boarding area
JP2019016188A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 移動体遠隔操作システムおよび移動体遠隔操作方法
US11112796B2 (en) * 2017-08-08 2021-09-07 Uatc, Llc Object motion prediction and autonomous vehicle control
US10656657B2 (en) * 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
WO2019049664A1 (ja) * 2017-09-08 2019-03-14 日本精工株式会社 自走装置、自走装置の走行制御方法及び走行制御プログラム
US20190094858A1 (en) * 2017-09-25 2019-03-28 Uber Technologies, Inc. Parking Location Prediction
US10949679B2 (en) * 2017-09-28 2021-03-16 Apple Inc. Nighttime sensing
US10997491B2 (en) * 2017-10-04 2021-05-04 Huawei Technologies Co., Ltd. Method of prediction of a state of an object in the environment using an action model of a neural network
US10534253B2 (en) 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
US10661725B2 (en) * 2017-11-10 2020-05-26 Denso Corporation Camera module
DE102018218986B4 (de) 2017-11-10 2023-02-16 Denso Corporation Kameramodul
US10406995B2 (en) 2017-11-10 2019-09-10 Denso Corporation Camera module
US10627606B2 (en) * 2017-11-10 2020-04-21 Denso Corporation Camera module
US10232800B1 (en) * 2017-11-10 2019-03-19 Denson Corporation Camera module
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
KR20190063750A (ko) * 2017-11-30 2019-06-10 주식회사 만도 3차원 차량 인식 기반의 차량 제어 장치 및 방법
US10699571B2 (en) * 2017-12-04 2020-06-30 Ford Global Technologies, Llc High definition 3D mapping
JP6922706B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
CN110248861B (zh) 2018-01-07 2023-05-30 辉达公司 在车辆操纵过程中使用机器学习模型来引导车辆
US10596958B2 (en) * 2018-01-30 2020-03-24 Toyota Research Institute, Inc. Methods and systems for providing alerts of opening doors
DE112019000065T5 (de) 2018-02-02 2020-03-05 Nvidia Corporation Sicherheitsprozeduranalyse zur hindernisvermeidung in einem autonomen fahrzeug
US11417107B2 (en) * 2018-02-19 2022-08-16 Magna Electronics Inc. Stationary vision system at vehicle roadway
DE112019000122T5 (de) 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
CN108482367B (zh) * 2018-03-13 2020-08-18 京东方科技集团股份有限公司 一种基于智能后视镜辅助驾驶的方法、装置及系统
DE112019000048T5 (de) 2018-03-15 2020-01-16 Nvidia Corporation Bestimmung eines befahrbaren freiraums für autonome fahrzeuge
US10685239B2 (en) * 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
US11080590B2 (en) 2018-03-21 2021-08-03 Nvidia Corporation Stereo depth estimation using deep neural networks
US11436484B2 (en) 2018-03-27 2022-09-06 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
EP3740737A1 (en) * 2018-04-03 2020-11-25 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
JP7039727B2 (ja) 2018-04-18 2022-03-22 モービルアイ ヴィジョン テクノロジーズ リミテッド カメラを用いた車両環境モデリング
CN108647638B (zh) 2018-05-09 2021-10-12 东软睿驰汽车技术（上海）有限公司 一种车辆位置检测方法及装置
US10706563B2 (en) * 2018-05-15 2020-07-07 Qualcomm Incorporated State and position prediction of observed vehicles using optical tracking of wheel rotation
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
JP2020021188A (ja) * 2018-07-31 2020-02-06 田中　成典 自動車の姿勢推定装置
US10663963B2 (en) * 2018-08-03 2020-05-26 Here Global B.V. Method and apparatus for visualizing future events for passengers of autonomous vehicles
CN109345512A (zh) * 2018-09-12 2019-02-15 百度在线网络技术（北京）有限公司 汽车图像的处理方法、装置及可读存储介质
US11040714B2 (en) * 2018-09-28 2021-06-22 Intel Corporation Vehicle controller and method for controlling a vehicle
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US12007783B2 (en) 2018-10-01 2024-06-11 EmergeX, LLC Methods and systems for navigating autonomous and semi-autonomous vehicles
CN111159833B (zh) * 2018-10-22 2024-06-18 阿波罗智能技术(北京)有限公司 无人驾驶车辆算法的评估的方法和装置
US11132586B2 (en) * 2018-10-29 2021-09-28 Nec Corporation Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
US10698415B2 (en) * 2018-10-31 2020-06-30 Trw Automotive U.S. Llc Vehicle assist system
US20200143546A1 (en) * 2018-11-05 2020-05-07 GM Global Technology Operations LLC Apparatus and method for detecting slow vehicle motion
US11610115B2 (en) 2018-11-16 2023-03-21 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US11105927B2 (en) * 2018-11-29 2021-08-31 Waymo Llc Localization initialization for autonomous vehicles
EP3663978A1 (en) 2018-12-07 2020-06-10 Thinkware Corporation Method for detecting vehicle and device for executing the same
JP7122589B2 (ja) * 2018-12-26 2022-08-22 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法、及び、コンピュータプログラム
CN113228042A (zh) 2018-12-28 2021-08-06 辉达公司 自主机器应用中障碍物检测的距离
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020140049A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11361557B2 (en) 2019-01-18 2022-06-14 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition
US10796206B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
DE102019202107B3 (de) * 2019-02-18 2020-04-23 Zf Friedrichshafen Ag Kollisionsvermeidung einer autonomen Landmaschine
WO2020185779A1 (en) 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
DE102019203334A1 (de) * 2019-03-12 2020-09-17 Robert Bosch Gmbh Verfahren zum Durchführen einer Reaktion auf Personen an Fahrzeugen
JP2020166479A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 運転支援装置
US11077846B2 (en) 2019-03-31 2021-08-03 Gm Cruise Holdings Llc Controlling an autonomous vehicle based upon a predicted imminent lane change
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
CN110084230B (zh) * 2019-04-11 2021-05-28 北京百度网讯科技有限公司 基于图像的车身方向检测方法和装置
US11618439B2 (en) * 2019-04-11 2023-04-04 Phantom Auto Inc. Automatic imposition of vehicle speed restrictions depending on road situation analysis
JP7156152B2 (ja) * 2019-04-17 2022-10-19 日本電信電話株式会社 危険予知方法及び危険予知装置
WO2020242945A1 (en) * 2019-05-24 2020-12-03 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation based on image analysis
JP7309480B2 (ja) * 2019-06-27 2023-07-18 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、及び車載装置の制御方法
US11636307B2 (en) * 2019-07-08 2023-04-25 Uatc, Llc Systems and methods for generating motion forecast data for actors with respect to an autonomous vehicle and training a machine learned model for the same
CN110262511B (zh) * 2019-07-12 2022-08-09 同济人工智能研究院(苏州)有限公司 基于深度强化学习的双足机器人自适应性行走控制方法
US10956776B2 (en) 2019-08-06 2021-03-23 Alibaba Group Holding Limited 2D convolutional accelerator that generates 3D results
US10922826B1 (en) 2019-08-07 2021-02-16 Ford Global Technologies, Llc Digital twin monitoring systems and methods
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US10993647B2 (en) 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11042350B2 (en) 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
US11361552B2 (en) * 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
WO2021042051A1 (en) 2019-08-31 2021-03-04 Nvidia Corporation Map creation and localization for autonomous driving applications
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
CN112572424B (zh) * 2019-09-11 2022-05-17 北京百度网讯科技有限公司 基于障碍物识别的车辆控制方法、装置、设备和介质
US10824882B1 (en) 2019-09-13 2020-11-03 Ford Global Technologies, Llc Systems and methods for improving vehicle parking skills
US20230005374A1 (en) 2019-09-17 2023-01-05 Mobileye Vision Technologies Ltd. Systems and methods for predicting blind spot incursions
DE102019125245A1 (de) 2019-09-19 2021-03-25 Ford Global Technologies, Llc System und Verfahren zum bedarfsorientierten Anpassen eines Durchlasses zwischen zwei Fahrzeugen
US11891057B2 (en) * 2019-09-24 2024-02-06 Seek Thermal, Inc. Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US11386670B2 (en) * 2019-10-03 2022-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for tracking non-connected vehicles
DE102019128253B4 (de) * 2019-10-18 2024-06-06 StreetScooter GmbH Verfahren zum Navigieren eines Flurförderzeugs
CN114616519A (zh) * 2019-11-07 2022-06-10 索尼半导体解决方案公司 成像设备
KR102155054B1 (ko) * 2019-11-28 2020-09-11 국민대학교산학협력단 인공지능을 활용한 주변차량 컷인 의도 예측 방법
US11180080B2 (en) 2019-12-13 2021-11-23 Continental Automotive Systems, Inc. Door opening aid systems and methods
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11195033B2 (en) 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
WO2022019747A1 (en) * 2020-07-24 2022-01-27 Mimos Berhad System and method for identification of text region in video
US20220024495A1 (en) * 2020-07-24 2022-01-27 Autobrains Technologies Ltd Open door predictor
JP7466396B2 (ja) * 2020-07-28 2024-04-12 株式会社Soken 車両制御装置
KR102176188B1 (ko) * 2020-08-07 2020-11-09 정만식 인공지능 기반의 도로 노후화 등급 판단을 위한 전자 장치 및 그 동작 방법
US11210533B1 (en) 2020-08-09 2021-12-28 Phantom AI, Inc. Method of predicting trajectory of vehicle
GB2599442A (en) * 2020-10-04 2022-04-06 Gerard Bailey Samuel Measuring vehicle speed in video capture
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
CN112277939B (zh) * 2020-10-30 2022-09-06 重庆长安汽车股份有限公司 一种对于避让前方压线车辆的偏移控制系统及方法
JP7452402B2 (ja) * 2020-12-18 2024-03-19 トヨタ自動車株式会社 車両ドア寄り掛かり検出システム
CN112644479B (zh) * 2021-01-07 2022-05-13 广州小鹏自动驾驶科技有限公司 一种泊车控制方法和装置
US11724641B2 (en) * 2021-01-26 2023-08-15 Ford Global Technologies, Llc Hazard condition warning for package delivery operation
CN113012441B (zh) * 2021-03-25 2023-01-13 北京百度网讯科技有限公司 车辆停车检测方法、系统、电子设备以及存储介质
US11794737B2 (en) 2021-04-07 2023-10-24 Ford Global Technologies, Llc Vehicle operation
US11919526B1 (en) * 2021-04-28 2024-03-05 Zoox, Inc. Model-based vehicle drive system monitors
CN113246968B (zh) * 2021-06-15 2021-10-22 成都信息工程大学 一种自动驾驶汽车精准停车控制方法及装置
DE102021209783A1 (de) 2021-09-06 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bereitstellen von Daten zum Erstellen einer digitalen Karte
JP7491279B2 (ja) * 2021-09-08 2024-05-28 トヨタ自動車株式会社 車両挙動予測装置
US11879610B2 (en) 2021-09-20 2024-01-23 Apple Inc. Multi-mode lights
US20230236313A1 (en) * 2022-01-26 2023-07-27 Motional Ad Llc Thermal sensor data vehicle perception
WO2023196288A1 (en) 2022-04-04 2023-10-12 Mobileye Vision Technologies Ltd. Detecting an open door using a sparse representation
US20230007914A1 (en) * 2022-09-20 2023-01-12 Intel Corporation Safety device and method for avoidance of dooring injuries
CN116580066B (zh) * 2023-07-04 2023-10-03 广州英码信息科技有限公司 一种低帧率场景下的行人目标跟踪方法及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004122844A (ja) * 2002-09-30 2004-04-22 Clarion Co Ltd 駐車支援システム
KR20100072386A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 차량의 자동 주차 방법 및 그 장치

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170352A (en) 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
JPH08177263A (ja) * 1994-12-21 1996-07-09 Mitsubishi Heavy Ind Ltd 車ドアの開閉検知方法
EP0913751B1 (de) * 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JP4110937B2 (ja) * 2002-11-18 2008-07-02 日産自動車株式会社 駐車支援装置
JP4752311B2 (ja) * 2004-04-13 2011-08-17 日産自動車株式会社 車線逸脱防止装置
JP2006113836A (ja) * 2004-10-15 2006-04-27 Fuji Heavy Ind Ltd 道路情報提供システム
JP2006268081A (ja) * 2005-03-22 2006-10-05 Denso Corp 前方車両ドア開き報知制御装置および前方車両ドア開き報知制御プログラム
US8381982B2 (en) * 2005-12-03 2013-02-26 Sky-Trax, Inc. Method and apparatus for managing and controlling manned and automated utility vehicles
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN100572169C (zh) * 2007-02-09 2009-12-23 财团法人车辆研究测试中心 虚拟道路边界的辅助驾驶装置
US9103671B1 (en) * 2007-11-29 2015-08-11 American Vehicular Sciences, LLC Mapping techniques using probe vehicles
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
DE102008004632A1 (de) * 2008-01-16 2009-07-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur Vermessung einer Parklücke
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
JP5225820B2 (ja) * 2008-11-25 2013-07-03 アイシン精機株式会社 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム
JP4614005B2 (ja) * 2009-02-27 2011-01-19 トヨタ自動車株式会社 移動軌跡生成装置
CN101823435B (zh) * 2009-03-03 2012-12-12 珠海市智汽电子科技有限公司 便于外置安装、便于手动/自动切换的车辆自动驾驶系统
FR2947223B1 (fr) * 2009-06-29 2015-05-01 Valeo Vision Procede de commande de faisceau d'eclairage pour vehicules
AT509438A1 (de) * 2010-01-18 2011-08-15 Zeno Track Gmbh Verfahren und system zum erfassen der position eines fahrzeuges in einem definierten bereich
JP5601453B2 (ja) * 2010-03-30 2014-10-08 マツダ株式会社 車両用運転支援装置
IT1399988B1 (it) * 2010-05-05 2013-05-09 Space S R L Con Unico Socio Sistema, e relativo metodo, di determinazione dell'allineamento delle ruote di un veicolo
CN101957176B (zh) * 2010-09-19 2012-05-02 天津大学 基于机器人结合相机定标的高精度汽车车门的检测方法
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8514099B2 (en) * 2010-10-13 2013-08-20 GM Global Technology Operations LLC Vehicle threat identification on full windshield head-up display
CN102175172B (zh) * 2010-12-30 2012-07-04 南京理工大学 一种基于图像识别的机动车辆外形尺寸检测系统
JP5482670B2 (ja) * 2011-01-12 2014-05-07 株式会社デンソー 物体検出装置
DE102011003881A1 (de) * 2011-02-09 2012-08-09 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
CN102692224B (zh) * 2011-03-24 2015-08-05 昆达电脑科技(昆山)有限公司 附于载具的导航系统及其导航方法
US9466000B2 (en) * 2011-05-19 2016-10-11 The Regents Of The University Of California Dynamic Bayesian Networks for vehicle classification in video
CN202230205U (zh) * 2011-08-06 2012-05-23 李良杰 车辆定位导航、防撞提醒及收费站免停自动收费系统
JP5616301B2 (ja) * 2011-08-10 2014-10-29 株式会社日本自動車部品総合研究所 車両検出装置
DE102011081382A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
JP5810843B2 (ja) * 2011-11-02 2015-11-11 アイシン・エィ・ダブリュ株式会社 レーン案内表示システム、方法およびプログラム
CN202582559U (zh) * 2011-12-07 2012-12-05 北京北方胜达机电科技发展有限公司 物流车北斗卫星导航定位监控系统
US9187117B2 (en) * 2012-01-17 2015-11-17 Ford Global Technologies, Llc Autonomous lane control system
US8855847B2 (en) * 2012-01-20 2014-10-07 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent navigation system
US9429943B2 (en) * 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US8849515B2 (en) * 2012-07-24 2014-09-30 GM Global Technology Operations LLC Steering assist in driver initiated collision avoidance maneuver
DE102012215093A1 (de) * 2012-08-24 2014-02-27 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zum Betreiben des Fahrerassistenzsystems
JP6119956B2 (ja) * 2012-10-10 2017-04-26 三菱自動車工業株式会社 車両の危険回避支援装置
CN102991504B (zh) * 2012-12-07 2015-06-03 长安大学 一种对驾驶员换道安全性进行判断并预警的方法
US9076034B2 (en) * 2012-12-07 2015-07-07 Analog Devices, Inc. Object localization using vertical symmetry
CN203047045U (zh) * 2013-01-09 2013-07-10 谢健良 车辆门把的光警示系统
JP6036371B2 (ja) * 2013-02-14 2016-11-30 株式会社デンソー 車両用運転支援システム及び運転支援方法
CN103204123B (zh) * 2013-03-25 2015-07-08 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
DE102013208763A1 (de) * 2013-05-13 2014-11-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Anfahrabsicht eines haltenden Fahrzeugs
CN103465828A (zh) * 2013-05-21 2013-12-25 麦特汽车服务股份有限公司 一种汽车转向预警方法及其车载智能终端装置
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9024787B2 (en) * 2013-09-18 2015-05-05 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Controlling vehicular traffic on a one-way roadway
US9150220B2 (en) * 2013-12-04 2015-10-06 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
JP6237214B2 (ja) * 2013-12-24 2017-11-29 株式会社デンソー 逆走検出装置
CN111199218A (zh) * 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统
US9547989B2 (en) * 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
CN103984950B (zh) * 2014-04-22 2017-07-14 北京联合大学 一种适应白天检测的运动车辆刹车灯状态识别方法
JP6190758B2 (ja) * 2014-05-21 2017-08-30 本田技研工業株式会社 物体認識装置及び車両
US9734583B2 (en) * 2014-06-30 2017-08-15 Collin Walker Systems and methods for controlling vehicle position and orientation
US9575184B2 (en) * 2014-07-03 2017-02-21 Continental Advanced Lidar Solutions Us, Inc. LADAR sensor for a dense environment
JP6325927B2 (ja) * 2014-07-18 2018-05-16 日立オートモティブシステムズ株式会社 物体検知装置及びそれを用いた車両制御システム
DE102014011630A1 (de) * 2014-08-01 2015-03-26 Daimler Ag Verfahren zur Reaktion eines Fahrzeuges auf einen haltenden Bus sowie ein Fahrzeug
WO2016024318A1 (ja) * 2014-08-11 2016-02-18 日産自動車株式会社 車両の走行制御装置及び方法
CN104156737B (zh) * 2014-08-19 2017-07-11 哈尔滨工程大学 一种公交车乘客安全下车自动检测方法
CN104260723B (zh) * 2014-09-29 2018-03-06 长安大学 一种后方车辆运动状态追踪预测装置及预测方法
JP6025268B2 (ja) * 2014-10-31 2016-11-16 富士重工業株式会社 車両の走行制御装置
US9672433B2 (en) * 2014-11-14 2017-06-06 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-directional vehicle maneuvering assistance
JP6126573B2 (ja) * 2014-12-25 2017-05-10 本田技研工業株式会社 衝突回避支援装置
US9475429B2 (en) * 2015-03-03 2016-10-25 Chengdu Haicun Ip Technology Llc Night detection of parked vehicles
US9557736B1 (en) * 2015-04-08 2017-01-31 Google Inc. Detecting street parked vehicles
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
CN105059190B (zh) * 2015-08-17 2018-05-29 上海交通大学 基于视觉的汽车开门碰撞预警装置及方法
US9740944B2 (en) * 2015-12-18 2017-08-22 Ford Global Technologies, Llc Virtual sensor data generation for wheel stop detection
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US10127465B2 (en) * 2016-06-27 2018-11-13 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected movement of a target vehicle
US10160459B2 (en) * 2017-03-22 2018-12-25 Ford Global Technologies, Llc Vehicle lane direction detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004122844A (ja) * 2002-09-30 2004-04-22 Clarion Co Ltd 駐車支援システム
KR20100072386A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 차량의 자동 주차 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593769B1 (ko) * 2023-05-04 2023-10-25 박찬배 인공지능에 의한 무선형 객체 인식 시스템 및 이를 이용한 객체 인식 방법

Also Published As

Publication number Publication date
EP4283563A2 (en) 2023-11-29
EP3475659B1 (en) 2020-05-20
CN110264500A (zh) 2019-09-20
US10262217B2 (en) 2019-04-16
KR20190028386A (ko) 2019-03-18
EP4283563A3 (en) 2024-05-29
EP3614106B1 (en) 2021-10-27
US20210056327A1 (en) 2021-02-25
CN110345962A (zh) 2019-10-18
CN109416257A (zh) 2019-03-01
US20170371340A1 (en) 2017-12-28
CN110345961B (zh) 2020-10-16
KR102359806B1 (ko) 2022-02-09
US10832066B2 (en) 2020-11-10
EP3614105A1 (en) 2020-02-26
JP6997106B2 (ja) 2022-01-17
EP3611472A1 (en) 2020-02-19
EP3598074A1 (en) 2020-01-22
US20170371343A1 (en) 2017-12-28
EP3614105C0 (en) 2023-10-18
JP2019524525A (ja) 2019-09-05
US20170371344A1 (en) 2017-12-28
CN109416257B (zh) 2020-07-07
US20190294897A1 (en) 2019-09-26
US10354157B2 (en) 2019-07-16
US10127465B2 (en) 2018-11-13
EP3611472B1 (en) 2021-11-24
EP3475659A2 (en) 2019-05-01
KR20230017365A (ko) 2023-02-03
US20170371345A1 (en) 2017-12-28
WO2018005441A2 (en) 2018-01-04
CN110345961A (zh) 2019-10-18
US20170371347A1 (en) 2017-12-28
EP3614105B1 (en) 2023-10-18
US11915491B2 (en) 2024-02-27
KR102493878B1 (ko) 2023-01-31
EP3614106A1 (en) 2020-02-26
US10055653B2 (en) 2018-08-21
CN110345963A (zh) 2019-10-18
EP3598074B1 (en) 2021-10-20
US10303959B2 (en) 2019-05-28
WO2018005441A3 (en) 2018-06-07
CN110345962B (zh) 2022-04-26
JP2022050427A (ja) 2022-03-30

Similar Documents

Publication Publication Date Title
KR102359806B1 (ko) 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
KR102524851B1 (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
US11029699B2 (en) Navigating a vehicle based on a detected barrier
EP3657130B1 (en) Navigation based on vehicle activity

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant