KR20210017525A - 거리 추정 장치 및 이의 동작 방법 - Google Patents

거리 추정 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR20210017525A
KR20210017525A KR1020190096914A KR20190096914A KR20210017525A KR 20210017525 A KR20210017525 A KR 20210017525A KR 1020190096914 A KR1020190096914 A KR 1020190096914A KR 20190096914 A KR20190096914 A KR 20190096914A KR 20210017525 A KR20210017525 A KR 20210017525A
Authority
KR
South Korea
Prior art keywords
width
world
target vehicle
distance
ratio
Prior art date
Application number
KR1020190096914A
Other languages
English (en)
Inventor
이상준
이재우
이원주
구자후
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190096914A priority Critical patent/KR20210017525A/ko
Priority to CN202010766769.XA priority patent/CN112435287A/zh
Priority to US16/987,452 priority patent/US11288833B2/en
Publication of KR20210017525A publication Critical patent/KR20210017525A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00259—Surveillance operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/30—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

거리 추정 장치의 동작 방법이 개시된다. 본 개시의 예시적 실시예에 따른 거리 추정 장치의 동작 방법은, 적어도 하나의 카메라를 통해 획득한 이미지에 기반하여, 타겟 차량에 대한 바운딩 박스(bounding box)를 획득하는 단계, 상기 타겟 차량과의 제1 직선 거리를 획득하는 단계, 상기 제1 직선 거리 및 상기 바운딩 박스의 너비(width)에 기반하여 제1 월드-폭(world-width)를 획득하는 단계, 미리 설정된 제1 비율에 기반하여 상기 바운딩 박스의 영역 중 상기 타겟 차량의 후면에 상응하는 영역에 대한 제2 비율을 획득하는 단계, 상기 제2 비율에 기반하여 상기 타겟 차량의 제2 월드-폭을 계산하는 단계를 포함하고, 상기 제1 비율은, 상기 타겟 차량의 측면 및 후면의 비율을 지시하는 것을 특징으로 할 수 있다.

Description

거리 추정 장치 및 이의 동작 방법 {DISTANCE ESTIMATING APPARATUS AND OPERATING METHOD THEREOF}
본 개시의 기술적 사상은 거리 추정 장치 및 이의 동작 방법에 관한 것으로, 보다 구체적으로는, 카메라를 이용하여 전방 차량과의 거리를 추정하는 장치 및 이의 동작 방법에 관한 것이다.
이미지 센서(image sensor)를 사용하는 영상 촬영 장치는, 스마트 폰, PC, 감시용 카메라, 그리고 자동차 등과 같은 다양한 유형의 전자 장치에 포함되거나, 하나의 독립된 전자 장치로 사용될 수 있다.
자율 주행이 가능한 차량에 있어서, 이미지 센서를 통해 주변 차와의 거리를 인식하고, 이에 따라 차량을 제어함으로써 안전한 주행을 수행할 수 있다.
다만, 주변 차량을 인식함에 있어서, 차량의 후미등(tail light), 번호판 등과 같은 특징 정보에 의존하는 경우가 많아, 기상 악화 또는 교통 상황에 따라 특징 정보가 가려지는 경우(occlusion), 주변 차량을 인식하는데 어려움이 있어, 이를 인식하고, 주변 차량과의 정확한 거리를 추정할 필요성이 증대되고 있다.
본 개시의 기술적 사상은 타겟 차량(target vehicle)에 대한 바운딩 박스(bounding box) 중 타겟 차량의 후면 영역의 비율을 계산하고, 계산된 후면 영역의 비율에 기반하여 타겟 차량과의 직선 거리 및 측면 거리를 정확하게 측정할 수 있는 거리 추정 장치 및 이의 동작 방법을 제공할 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 거리 추정 장치의 동작 방법은, 적어도 하나의 카메라를 통해 획득한 이미지에 기반하여, 타겟 차량에 대한 바운딩 박스(bounding box)를 획득하는 단계, 상기 타겟 차량과의 제1 직선 거리를 획득하는 단계, 상기 제1 직선 거리 및 상기 바운딩 박스의 너비(width)에 기반하여 제1 월드-폭(world-width)를 획득하는 단계, 미리 설정된 제1 비율에 기반하여 상기 바운딩 박스의 영역 중 상기 타겟 차량의 후면에 상응하는 영역에 대한 제2 비율을 획득하는 단계, 상기 제2 비율에 기반하여 상기 타겟 차량의 제2 월드-폭을 계산하는 단계를 포함하고, 상기 제1 비율은, 상기 타겟 차량의 측면 및 후면의 비율을 지시하는 것을 특징으로 할 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 거리 추정 장치는, 타겟 차량과 관련된 이미지를 획득하는 적어도 하나의 카메라, 및 타겟 차량에 대한 바운딩 박스(bounding box)를 획득하고, 상기 타겟 차량과의 제1 직선 거리를 획득하고, 상기 제1 직선 거리 및 상기 바운딩 박스의 너비(width)에 기반하여 제1 월드-폭(world-width)를 획득하고, 미리 설정된 제1 비율에 기반하여 상기 바운딩 박스의 영역 중 상기 타겟 차량의 후면에 상응하는 영역에 대한 제2 비율을 획득하고, 상기 제2 비율에 기반하여 상기 타겟 차량의 제2 월드-폭을 계산하는 이미지 신호 프로세서를 포함하고, 상기 제1 비율은, 상기 타겟 차량의 측면 및 후면의 비율을 지시하는 것을 특징으로 할 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 호스트 차량 장치는, 타겟 차량과 관련된 이미지를 획득하는 적어도 하나의 카메라, 타겟 차량에 대한 바운딩 박스(bounding box)를 획득하고, 상기 타겟 차량과의 제1 직선 거리를 획득하고, 상기 제1 직선 거리 및 상기 바운딩 박스의 너비(width)에 기반하여 제1 월드-폭(world-width)를 획득하고, 미리 설정된 제1 비율에 기반하여 상기 바운딩 박스의 영역 중 상기 타겟 차량의 후면에 상응하는 영역에 대한 제2 비율을 획득하고, 상기 제2 비율에 기반하여 상기 타겟 차량의 제2 월드-폭을 계산하고, 상기 제2 월드-폭 및 상기 제2 비율에 기반하여, 상기 타겟 차량과의 전방 거리 및 측방 거리를 추정하는 이미지 신호 프로세서, 및 상기 측정된 전방 거리 및 측방 거리에 기반하여, 상기 호스트 차량의 속도를 증가하거나, 감소시키는 차량 제어부를 포함하는 것을 특징으로 할 수 있다.
본 개시의 예시적 실시예에 따른 거리 추정 장치는, 카메라를 통해 검출된 타겟 차량의 바운딩 박스 중에서 후면 영역의 비율을 이용하여 타겟 차량과의 거리를 추정함으로써, 타겟 차량과의 거리를 추정하는 데에 정확성을 향상시킬 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 거리 추정 장치의 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 거리 추정 장치를 포함하는 호스트 차량의 측면도이다.
도 3은 본 개시의 예시적 실시예에 따른 거리 추정 장치에 투영되는 타겟 차량에 대한 이미지의 일 예를 도시한다.
도 4는 본 개시의 예시적 실시예에 따른 거리 추정 장치 및 타겟 차량의 측면의 일 예를 도시한다.
도 5는 본 개시의 예시적 실시예에 따른 버드아이 뷰(bird eye view)의 일 예를 도시한다.
도 6a은 본 개시의 예시적 실시예에 따른 버드아이 뷰의 다른 예를 도시한다.
도 6b는 본 개시의 예시적 실시예에 따른 버드아이 뷰의 또 다른 예를 도시한다.
도 7은 본 개시의 예시적 실시예에 따른 거리 추정 장치의 동작을 도시하는 순서도이다.
도 8은 본 개시의 예시적 실시예에 따른 복수의 거리 추정 장치들을 구비하는 호스트 차량의 버드아이 뷰를 도시한다.
도 9는 본 개시의 예시적 실시예에 따른 바운딩 박스에 대한 연속적인 보정(continuous refinement)의 예를 도시한다.
이하, 첨부한 도면을 참조하여 본 개시의 예시적 실시예들에 대하여 상세히 설명하기로 한다. 상세한 설명에 앞서, 용어들을 정리하면 하기와 같다.
호스트 차량(host vehicle)은, 본 개시의 예시적 실시예들에 따른 거리 추정 장치가 임베디드(embedded)된 차량(vehicle)을 지칭할 수 있다. 상기 호스트 차량은, 에고-비히클(ego-vehicle), 셀프-비히클(self-vehicle), 자율주행 차량(autonomous driving vehicle)을 포함한 다양한 용어들로 지칭될 수 있다.
타겟 차량(target vehicle)은 상기 호스트 차량을 제외한 나머지 차량들 중 적어도 하나의 차량을 지칭할 수 있다. 구체적으로, 타겟 차량은 본 개시의 예시적 실시예에 따른 거리 추정 장치에 포함되는 카메라에 의해 캡쳐(capture)되고, 거리 추정의 대상이 되는 차량을 지칭할 수 있다.
이미지 플레인(image plane)은 실제 세계(world)가 거리 추정 장치의 카메라를 통해 투영(projection)되는 2차원의 영역을 지칭할 수 있다. 이미지 플레인은 2차원의 영역이므로, 픽셀 단위로 구별되는 좌표계(coordinate)를 가질 수 있다. 상기 좌표계는 이미지 좌표계(image coordinate)로 지칭될 수 있다. 예를 들어, 이미지 플레인의 좌측 상단을 원점(origin)으로 설정하는 경우, 우측 방향은 x축으로, 아래 방향은 y축으로 표현될 수 있다.
월드 좌표계(world coordinate)는 거리 추정 장치의 카메라 외부 환경에 대응하는 실제 세계를 표현하기 위한 좌표계를 지칭할 수 있다. 다양한 실시예들에 따라, 거리 추정 장치의 카메라를 원점(origin)으로 설정하는 경우, 카메라 좌표계(camera coordinate)로 지칭될 수도 있다. 카메라 좌표계 또는 거리 추정 장치의 카메라를 원점으로 하는 월드 좌표계는 x축, y축 및 z축을 가질 수 있다. 예를 들어, x축은 카메라가 응시하는 정면(front) 방향에 대응될 수 있고, y축은 카메라의 정면을 기준으로 왼쪽(left) 방향에 대응될 수 있고, z축은 카메라의 정면을 기준으로 위쪽(upper) 방향에 대응될 수 있다.
전장(full length)은 차량의 전후 길이를 지칭할 수 있다. 즉, 전장은 타겟 차량을 측면 방향에서 응시하였을 때, 수평 길이를 지시할 수 있다.
전폭(full width)은 차량의 좌우 길이를 지칭할 수 있다. 즉, 전폭은 타겟 차량을 후면 방향에서 응시하였을 때, 수평 길이를 지시할 수 있다.
전고는 차량의 상하 길이를 지칭할 수 있다. 즉, 전고는 차량과 접촉하는 지면(ground)부터 차량의 상부 커버(cover)까지의 수직 길이를 지시할 수 있다. 일 예로, 거리 추정 장치의 카메라가 차량의 상부 커버에 배치될 수 있으며, 이 경우, 카메라의 고도(height)는 전고에 대응될 수 있다.
월드-폭(world-width)은 월드 좌표계에서 타겟 차량의 전폭에 대응될 수 있다. 또는, 월드-폭은 월드 좌표계에서 타겟 차량의 후면 영역의 가로 길이를 지칭할 수도 있다.
픽셀-폭(pixel width)는 이미지 플레인에 투영된 타겟 차량의 가로 길이를 지칭할 수 있다. 예를 들어, 카메라의 정면 방향에 타겟 차량이 위치하는 경우, 픽셀-폭은 타겟 차량의 후면에 대한 이미지의 가로 길이를 지칭할 수 있다. 다른 예를 들어, 카메라의 정면 방향으로부터 일정 각도만큼 벗어난 측면에 타겟 차량이 위치하는 경우, 픽셀-폭은 타겟 차량의 후면과 타겟 차량의 측면을 모두 포함하는 이미지의 가로 길이를 지칭할 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 거리 추정 장치의 블록도이다.
도 1을 참조하면, 거리 추정 장치(100)는 카메라(110) 및 이미지 신호 프로세서(image signal processor, ISP)(120)를 포함할 수 있다.
카메라(110)는 호스트 차량에 임베디드되어, 호스트 차량의 외부 환경을 인식할 수 있다. 예를 들어, 카메라(110)는 전방 또는 여러 방향의 외부 환경에 대한 빛을 전기적 에너지로 변환하여 이미지를 생성하고, 이미지 신호 프로세서(120)에게 전달할 수 있다. 카메라(110)는 전자 장치에 내장(embedded)되거나 또는 전자 장치로 구현될 수 있다. 전자 장치는 예를 들어, PC(personal computer), IoT (Internet of Things) 장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등일 수 있다.
이미지 신호 프로세서(120)는 카메라(110)로부터 획득한 이미지에 기초하여, 호스트 차량의 주변 차량들을 인식하고, 주변 차량들과의 거리를 추정할 수 있다. 예를 들어, 이미지 신호 프로세서(120)는 획득한 이미지에 포함된 다수의 오브젝트들 중에서, 차량을 인식하고, 인식된 차량을 표시하는 바운딩 박스를 생성할 수 있다. 또한, 이미지 신호 프로세서(120)는 바운딩 박스에 포함되는 차량의 후면에 대한 이미지의 비율을 계산하고, 이에 기반하여 바운딩 박스에 포함되는 차량과의 거리를 추정할 수도 있다. 이에 대한 구체적인 기재는 후술하기로 한다.
도 2는 본 개시의 예시적 실시예에 따른 거리 추정 장치를 포함하는 호스트 차량의 측면도이다. 도 1과 중복되는 기재는 생략하기로 한다.
도 1 및 도 2를 참조하면, 호스트 차량(200)은 거리 추정 장치(100) 및 차량 제어부(210)를 포함할 수 있다.
차량 제어부(210)는 호스트 차량의 전반적인 주행을 제어할 수 있다. 예를 들어, 거리 추정 장치(100)로부터 수신된 직선 거리를 지시하는 정보를 수신하고, 이에 기반하여 호스트 차량(200)의 속도를 제어할 수 있다. 상기 직선 거리는 타겟 차량과 호스트 차량(200)간에 거리를 지칭할 수 있다. 예를 들어, 직선 거리는 월드 좌표계에서 x축 성분으로 표현될 수 있다. 차량 제어부(210)는 타겟 차량과의 직선 거리가 임계 거리 이하인 것을 식별할 수 있다. 차량 제어부(210)는 임계 거리 이하의 직선 거리를 식별함에 응답하여, 호스트 차량(200)의 속도를 감소시키기 위한 제어를 수행할 수 있다. 이를 위하여, 차량 제어부(210)는 감속을 지시하는 제어 신호를 생성하고, 브레이크 시스템에게 제어 신호를 전달할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 거리 추정 장치에 투영되는 타겟 차량에 대한 이미지의 일 예를 도시한다.
도 3을 참조하면, 거리 추정 이미지(300)는 적어도 하나의 타겟 차량을 포함할 수 있다. 설명의 편의를 위하여, 타겟 차량(310)을 기준으로 설명하기로 한다. 다만, 이에 제한되는 것은 아니며, 복수의 타겟 차량들 각각에 대하여 거리 추정이 독립적으로 수행될 수 있음은 자명할 것이다.
일 실시예에 따라, 타겟 차량(310)은 호스트 차량(200)의 정면 방향에 위치할 수 있다. 즉, 거리 추정 이미지(300)에 포함되는 타겟 차량(310)은 타겟 차량(310)의 후면 이미지에 대응될 수 있다.
다양한 실시예들에 따라, 바운딩 박스(320)가 생성될 수 있다. 바운딩 박스(320)는 특정한(specific) 오브젝트나 객체의 위치 정보를 포함하는 사각형 형상의 영역을 지칭할 수 있다. 타겟 차량(310)을 검출하는 경우, 바운딩 박스(320)는 타겟 차량(310)을 적어도 포함하는 영역으로 표시될 수 있다. 예를 들어, 바운딩 박스(320)는 4개의 엣지로 표현될 수 있다. 4개의 엣지는, 바텀 엣지(bottom edge), 탑 엣지(top edge), 왼쪽 엣지(left edge), 오른쪽 엣지(right edge)를 포함할 수 있다. 바운딩 박스(320)는 영상처리, 패턴인식, 기계학습(machine learning), 딥러닝(deep learning)을 포함하는 객체 검출 알고리즘에 기반하여 형성될 수 있다. 일 실시예에 따라, 타겟 차량의 개수는 하나에 제한되지 않으므로, 바운딩 박스의 개수 또한 복수 개일 수 있다.
거리 추정 이미지(300)는 복수의 차선(lane)(360)들을 포함할 수 있다. 복수의 차선들 각각은 서로 평행(parallel)할 수 있다. 월드 좌표계에서 평행한 선들이 이미지 플레인(450)에 투영되는 경우, 평행한 선들은 하나의 점(point)에서 모일 수 있다. 평행한 선들이 모이는 하나의 점은 소실점(vanishing point)(370)으로 지칭될 수 있다.
다양한 실시예들에 따라, 타겟 차량(310)의 크기는 카메라와 타겟 차량(310)간에 물리적 거리에 기반하여 변경될 수 있다. 예를 들어, 타겟 차량(310)이 카메라(110)로부터 멀어질수록 소실점(370)에 가까워지므로 거리 추정 이미지(300)에 투영된 객체의 크기는 작아질 수 있다. 다른 예를 들어, 타겟 차량(310)이 카메라(110)에 가까워질수록 소실점(370)으로부터 멀어지므로, 거리 추정 이미지(300)에 투영되는 객체의 크기는 증가될 수 있다.
도 4는 본 개시의 예시적 실시예에 따른 거리 추정 장치 및 타겟 차량을 포함하는 월드 좌표계의 일 예를 도시한다.
도 4를 참조하면, 타겟 차량(310)의 형상이 카메라(110)의 렌즈(420)를 통해 이미지 센서(430)에 입사될 수 있다. 예를 들어, 카메라(110)를 월드 좌표계의 원점(origin)으로 설정하는 경우, 타겟 차량(310)은 렌즈(420)로부터 x축으로 초기 직선 거리 Z만큼 선행할 수 있다. 초기 직선 거리 Z를 나타내면 수학식 1과 같다.
Figure pat00001
여기서, f는 카메라의 고유 파라미터(intrinsic parameter)로서, 초점 거리에 상응하고, Hc는 렌즈(420)의 고도(height)에 상응할 수 있다.
Figure pat00002
는 이미지 플레인 상에서 소실점(370)과 타겟 차량(310)의 바운딩 박스(320) 중 바텀 엣지(330)간에 픽셀 거리에 상응할 수 있다.
렌즈(420)는 지면(200)으로부터 Hc 만큼 이격되어 배치될 수 있다. 예를 들어, 카메라(110)가 호스트 차량(도 2의 호스트 차량(200))의 상부 커버상에 배치되는 경우, 상기 일정 거리는 호스트 차량(도 2의 호스트 차량(200))의 전고에 대응될 수 있다. 다만 이에 제한되는 것은 아니며, 다른 예를 들어, 카메라(110)가 호스트 차량(200)의 내부에 배치되는 경우, 상기 일정 거리는 전고보다 작은 값에 대응될 수 있다.
이미지 센서(430)는 카메라(110)의 렌즈(420)를 통해 입사광을 수신하고, 이미지 플레인(예를 들어, 도 3의 거리 추정 이미지(300))을 생성할 수 있다. 예를 들어, 카메라(110)가 핀홀(pinhole) 카메라인 경우, 타겟 차량(310)의 상하 반전된 이미지가 투영될 수 있다. 상하 반전된 이미지는 타겟 차량(310)에 대한 바운딩 박스(320)로 표시될 수 있다. 렌즈(420)는 이미지 센서(430)와 물리적으로 이격될 수 있다. 상기 이격된 거리는 초점 거리 f에 대응될 수 있다.
렌즈(420)의 광 축(optical axis)을 따라 입사되는 빛(440)은 도 3의 소실점(370)을 형성할 수 있다. 즉, 도 3의 소실점(107)의 y축 성분의 크기는, 렌즈(420)의 고도(height)에 따라 결정될 수 있다.
다양한 실시예들에 따라, Hc는 하기의 수학식 2와 같이 표현될 수 있다.
Figure pat00003
여기서, R은 회전 매트릭스(rotation matrix)를 지칭하고, t는 전달 벡터(translation vector)를 지칭할 수 있다.
Figure pat00004
은 벡터의 세 번째 엘리먼트를 나타낼 수 있다.
다양한 실시예들에 따라, 상기 수학식 1에 기반하여 거리를 추정하는 방법은 고도 기반 방법(height based method)으로 지칭될 수 있다. 다만, 고도 기반 방법은 호스트 차량(200)과 타겟 차량(310)이 동일 평면 상에서 주행하는 가정을 포함하기 때문에, 실제 주행 환경에 적용하기에 오차를 야기할 수 있다. 따라서, 이미지 플레인에서 표시되는 바운딩 박수의 픽셀 폭과 월드 좌표계에서 타겟 차량의 전폭의 관계에 기반한 방법을 후술하기로 한다.
도 5는 본 개시의 예시적 실시예에 따른 버드아이 뷰(bird eye view)의 일 예를 도시한다.
도 5를 참조하면, 카메라(110)에 포함되는 렌즈(420)와 이미지 센서(430) 및 타겟 차량(310)이 도시된다. 도 5는 카메라(110)와 타겟 차량을 위에서 내려다 본 상황을 도시한 것으로, 도 3 내지 도 4와 중복되는 내용은 생략하기로 한다.
다양한 실시예들에 따라, 타겟 차량(310)은 직선 거리(Z)만큼 호스트 차량(200)에 선행할 수 있다. 타겟 차량(310)과 호스트 차량(200)이 동일한 차선을 따라 주행하는 경우, 직선 거리(Z)는 하기의 수학식 3을 이용하여 계산될 수 있다.
Figure pat00005
여기서, f는 초점 거리를 지칭할 수 있고, W는 타겟 차량(310)의 월드-폭을 지칭하고, w는 이미지 플레인에서 생성된 바운딩 박스의 픽셀-폭을 지칭할 수 있다.
다양한 실시예들에 따라, 상기 수학식 3을 이용하여 직선 거리를 추정하는 방법은 폭 기반 방법(width based method)으로 지칭될 수 있다. 다만, 타겟 차량(310)이 동일 차선을 따라 주행하지 않고, 이웃하는 차선을 따라 동일한 방향으로 주행하는 경우, 바운딩 박스(320)는 타겟 차량(310)의 후면에 대한 이미지뿐만 아니라, 타겟 차량(310)의 측면에 대한 이미지를 모두 포함할 수 있다. 즉, 바운딩 박스(320)의 픽셀-폭은 타겟 차량(310)의 후면에 대한 월드-폭에 완전히 매핑되지 않으며, 적어도 일부 길이는 타겟 차량(310)의 측면에 대한 픽셀 길이를 포함할 수 있다.
또한, 타겟 차량(310)과 호스트 차량(200)간에 직선 거리에 따라 바운딩 박스(320) 중 타겟 차량(310)의 측면에 대한 이미지와 타겟 차량(310)의 후면에 대한 이미지의 비율이 상이해질 수 있다. 예를 들어, 이웃하는 차선을 따라 주행하는 타겟 차량(310)이라도 직선 거리가 충분히 큰 경우, 즉 호스트 차량(200)으로부터 전방으로 멀리 떨어져 있는 경우, 바운딩 박스(320)의 크기는 작아질 수 있으나, 바운딩 박스(320) 중 타겟 차량(310)의 측면에 대한 이미지는 충분히 감소될 수 있다. 다른 예를 들어, 이웃하는 차선을 따라 주행하는 타겟 차량(310)과 직선 거리가 작은 경우, 즉 호스트 차량(200)과 거의 나란히 주행할 수 있다. 이 경우, 카메라(110)를 통해 획득한 이미지의 바운딩 박스(320)의 크기는 크지만, 바운딩 박스(320) 중 타겟 차량(310)의 측면에 대한 이미지의 비율은 타겟 차량(310)의 후면에 대한 이미지의 비율보다 충분히 클 수 있다. 즉, 바운딩 박스(320)는 타겟 차량(310)의 측면에 대한 이미지만을 포함할 수도 있다. 이웃하는 차선을 따라 주행중인 타겟 차량(310)의 월드-폭을 획득하기 위한 구체적인 방법은 후술하기로 한다.
도 6a은 본 개시의 예시적 실시예에 따른 버드아이 뷰의 다른 예를 도시한다.
도 6a은 호스트 차량(200)과 타겟 차량(310)을 위에서 내려다 본 상황을 도시한 것으로, 도 3 내지 도 5와 중복되는 내용은 생략하기로 한다.
도 6a을 참조하면, 동일한 방향을 따라 주행하는 호스트 차량(200) 및 타겟 차량(310)이 개시된다. 타겟 차량(310)은 호스트 차량(200)에 대하여, 전방으로 Z0만큼 선행(proceeding)하며, 호스트 차량(200)에 대하여 왼쪽으로 이웃하는 차선을 따라 주행하는 것으로 이해될 수 있다.
수학식 1을 참조하여, 직선 거리 Z0를 표현하면, 하기의 수학식 4, 수학식 5와 같다.
Figure pat00006
Figure pat00007
다양한 실시예들에 따라, w0는 타겟 차량(310)에 대한 바운딩 박스(320)의 픽셀-폭을 지칭할 수 있고, W0는 바운딩 박스(320)에 대응하는 월드 좌표계의 월드-폭을 지칭할 수 있다. 기하학적(geometrical) 비례 관계를 도시하면 하기의 수학식 6과 같으며, 호스트 차량(200)에게 투영되는 타겟 차량(310)에 대한 월드-폭은 수학식 7과 같이 표현될 수 있다.
Figure pat00008
Figure pat00009
다양한 실시예들에 따라, 호스트 차량(200)은 카메라(110)를 통해 획득된 이미지에 기반하여 타겟 차량(310)과 동일한 차선에서 주행 중인지 또는 이웃하는 차선에서 주행 중인지 여부를 결정할 수 있다. 도 3의 광 축을 따라 입사되는 광을 이미지 좌표계에서 표시하는 경우, 카메라(110)를 통해 획득된 이미지의 x축 센터(center)에 대응될 수 있다.
Figure pat00010
는 상기 x축 센터와 바운딩 박스(320)의 좌측 엣지(340) 또는 우측 엣지(350)까지의 픽셀 거리 중 작은 값으로 정의될 수 있다. 예를 들어, 타겟 차량(310)이 전방 좌측에서 주행중인 경우, 바운딩 박스(320)는 카메라(110)를 통해 획득된 이미지의 우측에 생성될 수 있으며, 따라서,
Figure pat00011
는 x축 센터로부터 바운딩 박스(320)의 좌측 엣지까지의 픽셀 거리에 대응될 수 있다. 다른 예를 들어, 타겟 차량(310)이 전방 우측에서 주행중인 경우, 바운딩 박스(320)는 카메라를 통해 획득된 이미지의 좌측에 생성될 수 있으며,
Figure pat00012
는 x축 센터로부터 바운딩 박스(320)의 우측 엣지(350)까지의 픽셀 거리에 대응될 수 있다. 다만, 타겟 차량(310)이 호스트 차량(200)과 동일한 차선의 전방에서 주행중인 경우, 바운딩 박스(320)는 카메라(110)에 의해 획득된 이미지의 센터 근방에 생성될 수 있다. 즉, x축 센터는 바운딩 박스(320)의 좌측 엣지(340)와 우측 엣지(350) 사이에 위치할 수 있고, 이 경우,
Figure pat00013
는 0으로 정의될 수 있다. 따라서, 호스트 차량(200)은 카메라(110)에 의해 획득된 이미지 내의 바운딩 박스(320)와 x축 센터의 위치를 비교함으로써
Figure pat00014
가 0인 경우, 타겟 차량(310)은 동일한 차선의 전방에서 주행 중임을 판단할 수 있고,
Figure pat00015
가 0이 아닌 경우, 타겟 차량(310)이 이웃하는 차선의 전방에서 주행 중임을 판단할 수 있다.
또한, 타겟 차량(310)이 호스트 차량(200)과 동일한 차선의 전방에서 주행중인 경우, 바운딩 박스(320)는 타겟 차량(310)의 후방에 대한 이미지만을 포함할 수 있다. 바운딩 박스(320) 중에서 타겟 차량(310)의 후면에 대한 이미지가 가지는 폭의 비율을
Figure pat00016
라고 정의하는 경우,
Figure pat00017
가 0인 경우,
Figure pat00018
는 1에 대응될 수 있다. 호스트 차량(200)은 타겟 차량(310)에 후행하며 타겟 차량(310)의 후면에 대한 이미지만을 획득하기 때문이다.
다만,
Figure pat00019
가 0이 아닌 경우, 즉 타겟 차량(310)이 호스트 차량(200)과 이웃하는 차선을 따라 전방에서 주행중인 경우,
Figure pat00020
는 1이 될 수 없으며, 0과 1 사이의 임의의 값을 가질 수 있다. 전술한 바에 따르면,
Figure pat00021
는 바운딩 박스(320) 중 타겟 차량(310)의 후면에 대한 이미지가 가지는 폭의 비율이므로, 타겟 차량의 측면에 대한 이미지가 가지는 폭의 비율은 1-
Figure pat00022
대응할 수 있다.
다양한 실시예들에 따라, 타겟 차량(310)의 전장 대비 전폭의 비율을 k라고 정의할 수 있다. 이 경우, 타겟 차량(310)이 투영된 이미지 중에서 타겟 차량(310)의 후면의 길이에 대응되는 월드-폭과 바운딩 박스(320)에서 타겟 차량(310)의 후면에 대한 이미지의 폭의 비율
Figure pat00023
의 비례 관계는 하기의 수학식 8과 같을 수 있다.
Figure pat00024
전술한 바에 따르면,
Figure pat00025
는 x축 센터(광 축)와 바운딩 박스(320)의 좌측 엣지(340) 또는 우측 엣지(350)까지의 픽셀 거리 중 짧은 거리로 정의하였으므로,
Figure pat00026
으로 표현할 수 있다. 수학식 8을 정리하면 하기의 수학식 9와 같이 나타낼 수 있다.
Figure pat00027
다양한 실시예들에 따라, k 값을 임의로 결정하는 경우,
Figure pat00028
값을 계산할 수 있다. k 값은 타겟 차량(310)의 전장 대비 전폭의 비율이며, 차량 제조사들에 따라 상이할 수 있다.
분류 전장[mm] 전폭[mm] k
소형 3595 1595 2.253918
준중형 4550 1775 2.56338
중형 4855 1865 2.603217
중형 SUV 4700 1880 2.5
대형 5155 1935 2.664083
버스 10975 2495 4.398798
냉동탑차 5440 1740 3.126437
트럭 10125 2495 4.058116
표 1을 참조하면, 차량 유형에 따라 전장 대비 전폭의 비율인 k 값은 각각 상이할 수 있으나, 전폭이 최대 2.5m를 초과하지 않는다는 것을 알 수 있다. 법규에 의해 최대 전폭 및 최소 전폭의 크기가 제한되기 때문이다. 따라서, 호스트 차량(200)은 k 값을 임의의 값으로 설정할 수 있다. 예를 들어, 호스트 차량(200)은 k 값을 2.5로 설정하고,
Figure pat00029
값을 계산할 수 있다.
다양한 실시예들에 따라, k 값을 임의의 값으로 고정하고,
Figure pat00030
값을 계산한 경우, 바운딩 박스(320)의 비례 관계에 기반하여 타겟 차량(310)의 월드-폭은 하기의 수학식 10과 같이 표현될 수 있다.
Figure pat00031
다양한 실시예들에 따라, 표 1을 참조하면 차량 유형에 따라 k 값의 범위가 상이한 것을 알 수 있다. 예를 들어, 소형, 준중형, 중형, 대형, 중형 SUV를 포함하는 일반 승용차의 경우, k 값의 범위는 2.2 내지 2.7 사이에 위치함을 알 수 있다. 다만, 트럭이나 버스 냉동 탑차의 경우, k 값은 3.1 내지 4.4 사이에 위치함을 알 수 있다. 따라서, 트럭이나 버스와 같은 특장차에 대하여 일반 승용차에 상응하는 k 값을 적용하는 경우, 타겟 차량의 인식에 오류가 발생할 수 있고, 이는 자율주행 시스템을 구비한 차량에 있어서 매우 치명적일 수 있다. 따라서, 차량의 유형에 대응되는 적절한 k 값이 설정되었는지 및 적절하지 않는 k 값이 설정된 경우, 이를 보정하기 위한 수단이 요구될 수 있다.
다양한 실시예들에 따라, k 값의 보정이 필요한지 여부를 판단하기 위하여, 표 1에 도시된 전폭의 범위를 이용할 수 있다. 즉, 실질적으로 도로의 폭은 제한되어 있는 점, 법규를 통해서 차량의 폭을 제한하고 있는 점을 고려하면, 적절한 범위의 윌드-폭을 설정함으로써 적절하지 않은 k 값을 이용한 거리 추정을 미연에 방지할 수 있다.
다양한 실시예들에 따라, 최소 월드-폭 및 최대 월드-폭이 설정될 수 있다. 예를 들어, 상기 표 1을 참조하면, 현재 출시된 차량이 가질 수 있는 최저 전폭인 1595mm를 상기 최저 월드-폭으로 설정하고, 현재 출시된 차량이 가질 수 있는 최대 진폭인 2495mm를 최대 월드-폭으로 설정할 수 있다. 만약, 타겟 차량(310)이 버스 또는 트럭과 같은 높은 k 값을 가지는 차량임에도 불구하고, 소형차나 중형차의 낮은 k 값을 임의로 설정하여
Figure pat00032
값 및 월드-폭을 계산하는 경우, 낮은 k 값에 기반하여 계산된 타겟 차량(310)의 월드-폭은 최소 월드-폭보다 작거나 최대 월드-폭을 초과할 수 있다. 타겟 차량(310)이 소형차 또는 중형차임에도 불구하고, 높은 k 값을 설정하는 경우에도 마찬가지이다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 임의의 k 값을 이용하여 타겟 차량(310)의 월드-폭을 계산하고, 계산된 월드-폭이 최소 월드-폭(Wmin) 내지 최대 월드-폭(Wmax) 사이에 포함되는지 여부를 판단할 수 있다. 이미지 신호 프로세서(120)는 계산된 월드-폭이 최소 월드-폭보다 크고, 최대 월드-폭보다 작은 경우, 계산된 월드-폭을 타겟 차량(310)의 월드-폭으로 결정할 수 있다. 다만, 계산된 월드-폭이 최소 월드-폭보다 작거나, 최대 월드-폭보다 큰 경우, k 값을 보정할 필요가 있다고 판단하고, 월드-폭을 업데이트할 것을 지시하는 신호 또는 k 값을 보정할 것을 지시하는 신호를 생성할 수 있다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 월드-폭을 업데이트할 수 있다. 즉, 계산된 월드-폭이 최소 월드-폭 내지 최대 월드-폭의 범위에 포함되지 않으므로, 계산된 월드-폭을 최소 월드-폭 또는 최대 월드-폭의 값으로 변경할 수 있다. 예를 들어, 부적절한 k 값에 기반하여 계산된 월드-폭이 3100mm인 경우, 이미지 신호 프로세서(120)는 계산된 월드-폭을 업데이트할 수 있으며, 업데이트되는 값은 최대 월드-폭 값인 2495mm에 대응될 수 있다. 다른 예를 들어, 부적절한 k 값에 기반하여 계산된 월드-폭이 1300mm인 경우, 이미지 신호 프로세서(120)는 계산된 월드-폭을 업데이트할 수 있으며, 업데이트되는 값은 최소 월드-폭 값인 1595mm에 대응될 수 있다.
일 실시예에 따라, 월드-폭을 최대 월드-폭 값으로 업데이트한 경우, 보정된 k 값은 하기의 수학식 11과 같다.
Figure pat00033
상기 수학식 11은 하기의 수학식 12 및 수학식 13을 통해 유도될 수 있다. 상기 수학식 11에서는 월드-폭을 최대 월드-폭 값으로 업데이트한 것을 기준으로 도시되어 있으나, 이에 제한되는 것은 아니다. 월드-폭을 최소 월드-폭 값으로 업데이트한 경우, 수학식 11 중 최대 월드-폭을 최소 월드-폭으로 대체할 수 있다.
Figure pat00034
Figure pat00035
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 타겟 차량(310)에 대한 월드-폭의 정보가 없는 경우, 업데이트 신호를 생성할 수 있다. 즉, 이미지 신호 프로세서(120)는 거리 추정 장치(100)로부터 획득한 이미지에 기반하여 타겟 차량(310)을 검출한 경우, 이전 프레임의 이미지에서 타겟 차량(310)이 검출되었는지 및 최소 월드-폭 내지 최대 월드-폭 사이의 월드-폭 값이 저장되어 있는지 판단하고, 검출된 타겟 차량(310)에 대한 월드-폭 값이 존재하지 않는 경우, 업데이트 신호를 생성할 수 있다. 거리 추정 장치(100)는 업데이트 신호에 응답하여, 월드-폭을 획득하기 위한 동작들을 수행할 수 있다. 이는 도 7에서 후술하기로 한다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 타겟 차량(310)에 대한 전장 대비 전폭의 비율 k와 월드-폭 W에 대한 정보를 가지고 있는 경우, 바운딩 박스(320) 중 타겟 차량(310)의 후면에 대한 이미지 폭의 비율
Figure pat00036
를 수학식 14를 이용하여 계산할 수 있다.
Figure pat00037
수학식 14에 따라
Figure pat00038
를 계산한 경우, 이미지 신호 프로세서(120)는 타겟 차량(310)의 바운딩 박스(320)의 픽셀 너비를 이용하여, 바운딩 박스(320) 중 타겟 차량(310)의 후면에 대응하는 이미지의 폭을 계산할 수 있다.
Figure pat00039
타겟 차량(310)과 호스트 차량(200)은 이웃하는 차선을 따라 주행 중이므로, 타겟 차량(310)과 호스트 차량(200)간에 거리는 전방 거리의 성분과 측방(lateral) 거리의 성분을 모두 포함할 수 있다. 상기 전방 거리의 성분은 하기의 수학식 16에 의해 계산될 수 있다.
Figure pat00040
또한, 상기 측방 거리의 성분은 하기의 수학식 17과 같이 표현될 수 있다.
Figure pat00041
상기 수학식 17에서
Figure pat00042
는
Figure pat00043
를 이용하여 획득될 수 있다.
Figure pat00044
전술한 실시예들에서, k의 값을 임의의 값으로 설정하는 것을 기준으로 기재하였으나, 이에 제한되는 것은 아니다. 이미지 신호 프로세서(120)는 이미지 처리(processing)을 통해 검출된 타겟 차량(310)의 유형을 식별할 수 있다. 예를 들어, 식별될 수 있는 차량의 유형은 승용차, 특장차, 버스 등을 포함할 수 있다. 승용차의 경우, 소형차, 중형차, 준중형차, 대형차, 중형 SUV 등을 포함할 수 있고, 특장차의 경우, 트럭, 냉동 탑차 등을 포함할 수 있다. 이미지 신호 프로세서(120)는 타겟 차량(310)의 유형을 식별하고, 식별된 유형에 따라 미리 설정된 k 값을 설정할 수 있다. 예를 들어, 이미지 신호 프로세서(120)는 식별된 유형이 승용차에 해당하는 경우, k 의 값을 2.2 내지 2.7 사이의 임의의 값으로 설정할 수 있다. 다른 예를 들어, 이미지 신호 프로세서(120)는 식별된 유형이 특장차 또는 버스인 경우, 3.1 내지 4.5 사이의 임의의 값을 k 값으로 설정할 수 있다. 이미지 신호 프로세서(120)에 의해 타겟 차량(310)의 유형을 식별하고, 식별된 유형에 대응되는 범위의 k 값을 설정하는 경우, 전술한 최소 월드-폭 내지 최대 월드-폭을 벗어나는 월드-폭이 계산될 가능성이 현저하게 줄어들 수 있다.
도 6b는 본 개시의 예시적 실시예에 따른 버드아이 뷰의 또 다른 예를 도시한다.
도 6b는 호스트 차량(200)과 타겟 차량(310)을 위에서 내려다 본 상황을 도시한 것으로, 도 3 내지 도 6a와 중복되는 내용은 생략하기로 한다.
도 6b를 참조하면, 타겟 차량(310)의 주행 방향은 호스트 차량(200)의 주행 방향과 상이할 수 있다. 도 6a를 참조하면, 타겟 차량(310)과 호스트 차량(200)은 서로 이웃하는 차선을 따라 주행하였으나, 주행 방향은 모두 월드 좌표계의 x축 방향으로 동일하였으나, 도 6b는 주행 방향이 상이할 수 있다. 예를 들어, 호스트 차량(200)이 월드 좌표계의 x축 방향으로 진행하는 동안, 타겟 차량(310)은 음의 y축 방향으로 45만큼 기울어져(tilting) 주행할 수 있다. 즉, 도 6b는 타겟 차량(310)이 호스트 차량(200)과 동일한 차선으로 진입하기 위하여 차선을 변경하는 시점에 대응하는 버드아이 뷰일 수 있다.
다양한 실시예들에 따라, 타겟 차량(310)이 주행 각도를 유지하면서 주행하는 경우, 이미지 신호 프로세서(120)는 도 6a의
Figure pat00045
에 상기 주행 각도를 더하거나 뺀 각도를 새로운
Figure pat00046
로 설정할 수 있다. 이미지 신호 프로세서(120)는 타겟 차량(310)의 주행 각도로 인하여 변경된 x 값 및
Figure pat00047
에 기반하여 새로운
Figure pat00048
를 계산할 수 있다. 타겟 차량(310)과의 전방 거리 및 측방 거리를 획득하기 위한 나머지 동작들은 도 6a와 중복되므로 생략하기로 한다.
전술한 실시예에서, 타겟 차량(310)의 주행 각도가 변경되는 예를 기준으로 설명하였으나, 이에 제한되는 것은 아니다. 호스트 차량(200) 및/또는 타겟 차량(310) 각각의 주행 각도가 모두 변경되는 경우에도 마찬가지로 적용될 수 있을 것이다.
도 7은 본 개시의 예시적 실시예에 따른 거리 추정 장치의 동작을 도시하는 순서도이다.
도 7을 참조하면, 이미지 신호 프로세서(120)는 동작 S701에서 타겟 차량(310)의 바운딩 박스(320)를 획득할 수 있다. 바운딩 박스(320)는 기계학습, 딥러닝을 포함하는 인공지능 알고리즘에 의해 수행될 수 있다.
동작 S702에서, 이미지 신호 프로세서(120)는 월드-폭의 값이 알려져 있는지 또는 업데이트 신호가 존재하는지 여부를 판단할 수 있다. 이미지 신호 프로세서(120)는 업데이트 신호를 수신한 경우, 검출된 차량에 대하여 부적절한 k 값을 이용한 월드-폭을 계산하였음을 결정할 수 있다. 또는, 이미지 신호 프로세서(120)는 바운딩 박스(320)에 대응하는 타겟 차량(310)의 월드-폭 값이 존재하는지 판단할 수 있다. 이미지 신호 프로세서(120)는 이전 프레임에서 타겟 차량(310)이 존재하였는지 여부를 판단할 수 있다. 이미지 신호 프로세서(120)는 현재 프레임에서 타겟 차량(310)이 카메라(110)의 시야에 진입하였음을 판단하고, 월드-폭 값이 없음을 결정할 수 있다.
동작 S703에서, 이미지 신호 프로세서(120)는 초기 직선 거리를 계산할 수 있다. 이미지 신호 프로세서(120)는 카메라(110)가 설치된 고도(예를 들어, 전고), 카메라(110)의 초점 거리, 및 바운딩 박스(320)의 바텀 엣지부터 소실점까지 y축의 픽셀 거리간에 기하학적 비례 관계에 기반하여 초기 직선 거리를 계산할 수 있다. 초기 직선 거리는, 타겟 차량(310)과 호스트 차량(200)이 동일한 차선을 따라 주행하는 것을 전제로 포함할 수 있다.
동작 S704에서, 이미지 신호 프로세서(120)는 초기 월드-폭을 계산할 수 있다. 이미지 신호 프로세서(120)는 바운딩 박스(320)의 가로 픽셀 거리, 카메라(110)의 초점 거리, 동작 S703에서 계산된 초기 직선 거리간에 기하학적 비례 관계에 기반하여 초기 월드-폭을 계산할 수 있다. 초기 월드-폭은 타겟 차량(310)과 호스트 차량(200)이 동일한 차선을 따라 주행하는 것을 전제로 포함할 수 있다.
동작 S705에서, 이미지 신호 프로세서(120)는 k 값을 임의의 값으로 설정하고, 이에 기반하여
Figure pat00049
값을 계산할 수 있다. 여기서, k 값은 타겟 차량(310)의 전장 대비 전폭의 비율을 지칭할 수 있고,
Figure pat00050
값은 바운딩 박스(320) 중 타겟 차량(310)의 후면에 대한 이미지가 차지하는 폭의 비율을 지칭할 수 있다.
동작 S706에서, 이미지 신호 프로세서(120)는 계산된
Figure pat00051
값에 기반하여 타겟 차량(310)의 월드-폭을 계산할 수 있다.
동작 S707에서, 이미지 신호 프로세서(120)는 계산된 월드-폭이 최소 월드-폭 내지 최대 월드-폭에 포함되는지 여부를 판단할 수 있다. 최소 월드-폭 내지 최대 월드-폭은 복수의 차량 스펙(spec)들을 참조하여 결정될 수 있다.
동작 S708에서, 이미지 신호 프로세서(120)는 계산된 월드-폭을 타겟 차량(310)의 월드-폭으로 결정할 수 있다. 이후, 미 도시되었지만, 이미지 신호 프로세서(120)는 계산된 월드-폭을 이용하여 바운딩 박스(320) 중 타겟 차량(310)의 후면에 대한 이미지가 차지하는 폭의 비율을 통해 타겟 차량(310)과 호스트 차량(200)간에 전방 거리 성분을 획득할 수도 있다.
동작 S709에서, 이미지 신호 프로세서(120)는 최소 월드-폭 또는 최대 월드-폭을 이용하여
Figure pat00052
값을 다시 계산할 수 있다. 예를 들어, 동작 S706에서 계산된 월드-폭이 최대 월드-폭을 초과하는 경우, 이미지 신호 프로세서(120)는 계산된 월드-폭의 값을 최대 월드-폭 값으로 설정하고,
Figure pat00053
값을 계산하고, k 값을 보정할 수 있다.
도 8은 본 개시의 예시적 실시예에 따른 복수의 거리 추정 장치들을 구비하는 호스트 차량의 버드아이 뷰를 도시한다.
도 8을 참조하면, 호스트 차량(200)은 복수의 거리 추정 장치들을 구비할 수 있다. 예를 들어, 호스트 차량(200)은 제1 거리 추정 장치(810) 및 제2 거리 추정 장치(820)를 구비할 수 있다. 전술한 실시예에서, 호스트 차량(200)은 2개의 거리 추정 장치들(810, 820)을 구비하는 것으로 도시되었으나, 이에 제한되는 것은 아니다. 다양한 실시예들에 따라, 호스트 차량(200)은 보다 많은 수의 거리 추정 장치들을 구비할 수 있으며, 상기 거리 추정 장치들 각각은 전방의 타겟 차량(310)뿐만 아니라, 측방 및 후방의 이미지들을 획득하도록 배치될 수도 있다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 제1 거리 추정 장치(810) 및 제2 거리 추정 장치(820)에 의해 각각 획득되는 정보들 중 적어도 하나에 기반하여 타겟 차량(310)과의 전방 거리를 추정할 수 있다. 예를 들어, 이미지 신호 프로세서(120)는 제1 거리 추정 장치(810) 및 제2 거리 추정 장치(820)로부터 각각 획득된 제1 월드-폭 및 제2 월드-폭 중 적어도 하나에 기반하여 타겟 차량(310)과의 전방 거리를 추정할 수 있다. 제1 거리 추정 장치(810)는 k1 값에 기반하여 타겟 차량(310)의 월드-폭을 계산할 수 있고, 제2 거리 추정 장치(820)는 k2 값에 기반하여 타겟 차량(310)의 월드-폭을 계산할 수 있다.
일 예로, 제1 거리 추정 장치(810)에서 k1 값에 기반하여 계산한 월드-폭의 값이 최소 월드-폭 내지 최대 월드-폭 사이일 수 있으며, 제2 거리 추정 장치(820)에서 k2 값에 기반하여 계산한 월드-폭의 값 또한 최소 월드-폭 내지 최대 월드-폭 사이일 수 있다. 이 경우, 이미지 신호 프로세서(120)는 제1 거리 추정 장치(810) 및/또는 제2 거리 추정 장치(820)에 의해 각각 획득되는 전방 거리 값을 사용할 수 있다. 즉, 이미지 신호 프로세서(120)는 제1 거리 추정 장치(810)에 의해 획득된 제1 전방 거리를 호스트 차량(200)과 타겟 차량(310)과의 거리로 결정할 수도 있고, 제2 거리 추정 장치(820)에 의해 획득된 제2 전방 거리를 호스트 차량(200)과 타겟 차량(310)과의 거리로 결정할 수도 있으며, 상기 제1 전방 거리 및 제2 전방 거리의 평균을 계산하여 계산된 값을 호스트 차량(200)과 타겟 차량(310) 사이의 거리로 결정할 수도 있다.
다른 예로, 제1 거리 추정 장치(810)에서 k1 값에 기반하여 계산한 월드-폭의 값이 최소 월드-폭보다 작거나, 최대 월드-폭보다 크게 계산될 수도 있다. 제2 거리 추정 장치(820)에서 k2 값에 기반하여 계산한 월드-폭의 값은 최소 월드-폭 내지 최대 월드-폭 사이에 포함될 수 있다. 이 경우, 이미지 신호 프로세서(120)는 제1 거리 추정 장치(810)의 k1 값은 부적절한 값으로 결정하고, 제2 거리 추정 장치(820)에 의해 획득된 월드-폭을 타겟 차량(310)의 월드-폭으로 결정할 수 있다. 이미지 신호 프로세서(120)는 상기 제2 거리 추정 장치(820)에서 계산된 월드-폭을 이용하여 타겟 차량(310)과의 전방 거리를 계산할 수 있을 것이다. 전술한 실시예에서는, 제1 거리 추정 장치(810)의 k1 값이 부적절하며, 제2 거리 추정 장치(820)의 k2 값은 적절한 것을 기준으로 도시하였으나, 이에 제한되는 것은 아니다. 예를 들어, 제2 거리 추정 장치(820)의 k2 값이 부적절하고, 제1 거리 추정 장치(810)의 k1 값이 적절한 경우, 이미지 신호 프로세서(120)는 제1 거리 추정 장치(810)에 의해 획득된 월드-폭을 타겟 차량(310)의 월드-폭으로 결정하고, 이에 기반하여 타겟 차량(310)과 호스트 차량(200) 사이의 거리를 추정할 수도 있을 것이다.
도 9는 본 개시의 예시적 실시예에 따른 바운딩 박스에 대한 연속적인 보정(continuous refinement)의 예를 도시한다.
도 9를 참조하면, 거리 추정 장치(100)는 연속적인 주행에 따른 연속적인 이미지들을 획득할 수 있다. 호스트 차량(200)은 차선을 따라 주행하는 동안, 카메라(110)를 통해 전방의 3개의 타겟 차량에 대한 연속적인 이미지들을 획득할 수 있다. 예를 들어, 호스트 차량(200)은 시간의 흐름에 따라 n-2번째 프레임부터 현재 프레임에 대응하는 n번째 프레임까지 연속적으로 전방의 타겟 차량들에 대한 이미지들을 획득할 수 있다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 현재 시점에 대응하는 n번째 프레임의 바운딩 박스(930)를 검출할 수 있다. 이전 시점들에 대응하는 n-2번째 프레임 또는 n-1번째 프레임에서 바운딩 박스들(910, 920)은 타겟 차량에 대응하는 최소한의 영역을 포함하도록 설정되는 반면, n번째 프레임의 바운딩 박스(930)는 타겟 차량에 상응하는 영역을 초과하여 타겟 차량의 주변(peripheral) 영역까지 포함하도록 설정될 수 있다. 이 경우, 전술한 바와 같이, 본 개시의 예시적 실시예에 따른 거리 추정 장치(100)는 검출된 바운딩 박스의 픽셀-폭을 고려하여 타겟 차량과의 전방 거리를 추정하므로, 바운딩 박스가 n번째 프레임의 바운딩 박스(930)와 같이 타겟 차량 주변의 불필요한 영역까지 포함하도록 설정되는 경우, 바운딩 박스(930)의 픽셀-폭의 크기가 부정확하게 되고, 따라서, 부정확한 픽셀-폭의 크기에 기반하여 추정된 전방 거리 또한 정확하지 않을 수 있다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 이전 시점의 프레임들에서 획득된 바운딩 박스들(예를 들어, n-2번째 프레임의 바운딩 박스(910), n-1번째 프레임의 바운딩 박스(920))의 픽셀-폭들의 평균 값을 이용하여, 현재 시점의 프레임에서 획득된 바운딩 박스(예를 들어, n번째 프레임의 바운딩 박스(930))의 신뢰도(credibility)를 판단할 수 있다. 이미지 신호 프로세서(120)는 이전 시점의 프레임들에서 검출된 바운딩 박스들의 픽셀-폭이 x에 대응되지만, 현재 시점의 프레임에서 검출된 바운딩 박스의 픽셀-폭은 y이며, x와 y의 차이가 임계 값을 초과하는 경우, 현재 시점의 프레임에서 검출된 바운딩 박스의 크기에 오류가 있음을 판단할 수 있다. 예를 들어, n-2번째 프레임에서 검출된 바운딩 박스(910) 및 n-1번째 프레임에서 검출된 바운딩 박스(920)의 픽셀-폭은 각각 90, 91이고, n번째 프레임에서 검출된 바운딩 박스(930)의 픽셀-폭은 120인 경우, 이미지 신호 프로세서(120)는 바운딩 박스(930)의 검출 과정에서 오류가 발생하였음을 판단할 수 있다. 연속적인 주행 과정에서, 나란히 주행하는 타겟 차량에 대한 바운딩 박스의 크기가 1개 내지 몇 개의 프레임 시간 간격 사이에 급격하게 증가하는 것은 불가능하기 때문이다. 또는 이미지 신호 프로세서(120)는 연속적인 시간 흐름에 상응하는 바운딩 박스들(910, 920, 930)의 픽셀-폭뿐만 아니라, 계산된 월드-폭에 기반하여 타겟 차량과의 전방 거리를 추정하는 데에 오류가 발생하였음을 판단할 수도 있다.
다양한 실시예들에 따라, 이미지 신호 프로세서(120)는 이전 시점에 상응하는 프레임들에 기반하여, 현재 시점의 프레임을 보정할 수 있다. 예를 들어, 이미지 신호 프로세서(120)는 현재 프레임에서 계산된 월드-폭에 대하여, 로우 패스 필터링(low pass filtering)을 수행하거나, 칼만 필터링(kalman filtering)을 수행할 수 있다. 상기 로우 패스 필터링 또는 칼만 필터링을 이용하는 경우, 이미지 신호 프로세서(120)는 n번째 프레임에서 실제보다 크거나 작게 검출된 바운딩 박스(930)의 픽셀-폭 또는 상기 실제보다 크거나 작게 검출된 바운딩 박스(930)의 픽셀-폭에 기반하여 계산된 월드-폭을 보정할 수 있다.
다양한 실시예들에 따라, 호스트 차량(200)은 타겟 차량(310)과의 전방 거리를 계산하고, 계산 결과에 기초하여 호스트 차량(200)을 제어할 수 있다. 예를 들어, 호스트 차량(200)은 차량 제어부(210) 뿐만 아니라, 자율 주행 제어부(automotive driving)(미도시)를 더 포함할 수 있다. 상기 자율 주행 제어부(미도시)는 호스트 차량(200)의 주행 경로를 생성하고, 주행 방향을 결정하고, 차선을 변경하거나 가속 또는 감속하는 데에 있어, 상기 계산된 결과를 반영할 수 있다.
다양한 실시예들에 따라, 자율 주행 제어부(미도시)는 타겟 차량(310)과의 전방 거리 및 측방 거리에 기반하여 타겟 차량(310)의 위험도를 판단하고, 상기 위험도에 따라 차량 제어부(210)를 통해 호스트 차량(200)의 속력을 조절할 수도 있고, 상기 위험도에 따라 타겟 차량(310)의 차선을 기준으로 호스트 차량(200)의 차선을 변경할 수도 있다. 자율 주행 제어부(미도시)는 타겟 차량(310)과의 전방 거리가 미리 정의된 거리보다 작은 경우,
Figure pat00054
에 기반하여 판단한 결과 타겟 차량(310)의 차선 변경 횟수가 많은 경우, 타겟 차량(310)이 적재 공간을 구비하여, 주행 도로 상에 적재된 물품이 추락할 가능성이 있는 차량 유형인 경우 등에 해당하는지 여부를 판단할 수 있고, 판단 결과들에 따라 타겟 차량(310)의 위험도를 계산할 수 있다. 자율 주행 제어부(미도시)는 위험도에 기반하여 호스트 차량(200)의 주행을 제어함으로써 주변 차량들로 인해 발생할 수 있는 갑작스러운 사고 위험성에 안전하게 대비할 수 있을 것이다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 적어도 하나의 카메라를 포함하는 거리 추정 장치의 동작 방법에 있어서,
    적어도 하나의 카메라를 통해 획득한 이미지에 기반하여, 타겟 차량에 대한 바운딩 박스(bounding box)를 획득하는 단계;
    상기 타겟 차량과의 제1 직선 거리를 획득하는 단계;
    상기 제1 직선 거리 및 상기 바운딩 박스의 너비(width)에 기반하여 제1 월드-폭(world-width)를 획득하는 단계;
    미리 설정된 제1 비율에 기반하여 상기 바운딩 박스의 영역 중 상기 타겟 차량의 후면에 상응하는 영역에 대한 제2 비율을 획득하는 단계;
    상기 제2 비율에 기반하여 상기 타겟 차량의 제2 월드-폭을 계산하는 단계를 포함하고,
    상기 제1 비율은, 상기 타겟 차량의 측면 및 후면의 비율을 지시하는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 동작 방법은,
    상기 제2 월드-폭의 값이 미리 정의된 최소 월드-폭보다 작거나, 또는 미리 정의된 최대 월드-폭을 초과하는지 여부를 판단하는 단계를 더 포함하는 거리 추정 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 동작 방법은,
    상기 제2 월드-폭이 상기 미리 정의된 최소 월드-폭보다 작은 경우, 상기 제2 월드-폭의 값을 상기 미리 정의된 최소 월드-폭의 값으로 변경하고, 상기 제2 월드-폭이 상기 미리 정의된 최대 월드-폭을 초과하는 경우, 상기 제2 월드-폭의 값을 상기 미리 정의된 최대 월드-폭의 값으로 변경하는 단계를 더 포함하는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 동작 방법은,
    상기 제2 월드-폭의 값이 상기 미리 정의된 최소 월드-폭의 값 또는 상기 미리 정의된 최대 월드-폭의 값으로 변경된 경우, 상기 변경된 제2 월드-폭 값에 기반하여 상기 제2 비율을 계산하는 단계를 더 포함하는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 제1 직선 거리 및 상기 제1 월드-폭은, 상기 타겟 차량이 전방(front)에 위치하는 경우에 기반하여 결정되는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  6. 제1항에 있어서,
    상기 제1 직선 거리는,
    상기 적어도 하나의 카메라가 지면으로부터 이격된 수직 거리, 상기 적어도 하나의 카메라의 초점 거리 및 상기 바운딩 박스 중 하단으로부터 소실점(vanishing point)까지 수직 거리에 기반하여 결정되는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 제1 월드-폭은,
    상기 초점 거리, 상기 바운딩 박스의 너비, 상기 제1 직선 거리에 기반하여 결정되는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 카메라의 광축(optical axis)이 상기 바운딩 박스의 좌우 범위 내에 포함되는 경우, 상기 타겟 차량과 상기 거리 추정 장치는 동일 차선(ego-lane)에 위치하는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  9. 제1항에 있어서,
    상기 동작 방법은,
    상기 획득된 이미지에 기반하여, 제1 차량 유형 및 제2 차량 유형 중 상기 타겟 차량에 정합하는 차량 유형을 식별하는 단계; 및
    식별된 차량 유형에 매핑된 측면 및 후면의 비율 값을 제1 비율의 값으로 변경하는 단계를 더 포함하고,
    상기 제1 차량 유형에 따른 측면 및 후면의 비율 값과 상기 제2 차량 유형에 따른 측면 및 후면의 비율 값은 서로 상이한 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  10. 제6항에 있어서,
    상기 동작 방법은,
    상기 제2 비율에 기반하여, 상기 바운딩 박스 중 상기 타겟 차량의 후면 영역이 차지하는 픽셀의 너비를 획득하는 단계;
    상기 획득한 픽셀의 너비, 상기 초점 거리 및 상기 제2 월드-폭에 기반하여 상기 거리 추정 장치와 상기 타겟 차량간에 거리 중 전방 성분의 거리를 획득하는 단계를 더 포함하는 것을 특징으로 하는 거리 추정 장치의 동작 방법.
  11. 거리 추정 장치에 있어서,
    타겟 차량과 관련된 이미지를 획득하는 적어도 하나의 카메라; 및
    타겟 차량에 대한 바운딩 박스(bounding box)를 획득하고, 상기 타겟 차량과의 제1 직선 거리를 획득하고, 상기 제1 직선 거리 및 상기 바운딩 박스의 너비(width)에 기반하여 제1 월드-폭(world-width)를 획득하고, 미리 설정된 제1 비율에 기반하여 상기 바운딩 박스의 영역 중 상기 타겟 차량의 후면에 상응하는 영역에 대한 제2 비율을 획득하고, 상기 제2 비율에 기반하여 상기 타겟 차량의 제2 월드-폭을 계산하는 이미지 신호 프로세서를 포함하고,
    상기 제1 비율은, 상기 타겟 차량의 측면 및 후면의 비율을 지시하는 것을 특징으로 하는 거리 추정 장치.
  12. 제11항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 제2 월드-폭의 값이 미리 정의된 최소 월드-폭보다 작거나, 또는 미리 정의된 최대 월드-폭을 초과하는지 여부를 더 판단하는 것을 특징으로 하는 거리 추정 장치.
  13. 제11항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 제2 월드-폭의 값이 미리 정의된 최소 월드-폭보다 작거나, 또는 미리 정의된 최대 월드-폭을 초과하는지 여부를 더 판단하는 것을 특징으로 하는 거리 추정 장치.
  14. 제13항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 제2 월드-폭의 값이 상기 미리 정의된 최소 월드-폭의 값 또는 상기 미리 정의된 최대 월드-폭의 값으로 변경된 경우, 상기 변경된 제2 월드-폭 값에 기반하여 상기 제2 비율을 더 계산하는 것을 특징으로 하는 거리 추정 장치.
  15. 제11항에 있어서,
    상기 제1 직선 거리 및 상기 제1 월드-폭은,
    상기 타겟 차량이 전방(front)에 위치하는 경우에 기반하여 결정되는 것을 특징으로 하는 거리 추정 장치.
  16. 제11항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 적어도 하나의 카메라가 지면으로부터 이격된 수직 거리, 상기 적어도 하나의 카메라의 초점 거리 및 상기 바운딩 박스 중 하단으로부터 소실점(vanishing point)까지 수직 거리에 기반하여 상기 제1 직선 거리를 결정하고,
    상기 초점 거리, 상기 바운딩 박스의 너비, 상기 제1 직선 거리에 기반하여 상기 제1 월드-폭을 결정하는 것을 특징으로 하는 거리 추정 장치.
  17. 제11항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 적어도 하나의 카메라의 광축(optical axis)이 상기 바운딩 박스의 좌우 범위 내에 포함되는 경우, 상기 타겟 차량과 상기 거리 추정 장치는 동일 차선(ego-lane)에 위치하는 것으로 결정하는 것을 특징으로 하는 거리 추정 장치.
  18. 제11항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 획득된 이미지에 기반하여, 제1 차량 유형 및 제2 차량 유형 중 상기 타겟 차량에 정합하는 차량 유형을 식별하고, 식별된 차량 유형에 매핑된 측면 및 후면의 비율 값을 제1 비율의 값으로 변경하고,
    상기 제1 차량 유형에 따른 측면 및 후면의 비율 값과 상기 제2 차량 유형에 따른 측면 및 후면의 비율 값은 서로 상이한 것을 특징으로 하는 거리 추정 장치.
  19. 제16항에 있어서,
    상기 이미지 신호 프로세서는,
    상기 제2 비율에 기반하여, 상기 바운딩 박스 중 상기 타겟 차량의 후면 영역이 차지하는 픽셀의 너비를 획득하고, 상기 획득한 픽셀의 너비, 상기 초점 거리 및 상기 제2 월드-폭에 기반하여 상기 거리 추정 장치와 상기 타겟 차량간에 거리 중 전방 성분의 거리를 획득하는 것을 특징으로 하는 거리 추정 장치.
  20. 호스트 차량 장치에 있어서,
    타겟 차량과 관련된 이미지를 획득하는 적어도 하나의 카메라;
    타겟 차량에 대한 바운딩 박스(bounding box)를 획득하고, 상기 타겟 차량과의 제1 직선 거리를 획득하고, 상기 제1 직선 거리 및 상기 바운딩 박스의 너비(width)에 기반하여 제1 월드-폭(world-width)를 획득하고, 미리 설정된 제1 비율에 기반하여 상기 바운딩 박스의 영역 중 상기 타겟 차량의 후면에 상응하는 영역에 대한 제2 비율을 획득하고, 상기 제2 비율에 기반하여 상기 타겟 차량의 제2 월드-폭을 계산하고, 상기 제2 월드-폭 및 상기 제2 비율에 기반하여, 상기 타겟 차량과의 전방 거리 및 측방 거리를 추정하는 이미지 신호 프로세서; 및
    상기 측정된 전방 거리 및 측방 거리에 기반하여, 상기 호스트 차량의 속도를 증가하거나, 감소시키는 차량 제어부를 포함하는 것을 특징으로 하는 호스트 차량 장치.
KR1020190096914A 2019-08-08 2019-08-08 거리 추정 장치 및 이의 동작 방법 KR20210017525A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190096914A KR20210017525A (ko) 2019-08-08 2019-08-08 거리 추정 장치 및 이의 동작 방법
CN202010766769.XA CN112435287A (zh) 2019-08-08 2020-08-03 距离估计设备及其操作方法和主车辆设备
US16/987,452 US11288833B2 (en) 2019-08-08 2020-08-07 Distance estimation apparatus and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190096914A KR20210017525A (ko) 2019-08-08 2019-08-08 거리 추정 장치 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20210017525A true KR20210017525A (ko) 2021-02-17

Family

ID=74501740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190096914A KR20210017525A (ko) 2019-08-08 2019-08-08 거리 추정 장치 및 이의 동작 방법

Country Status (3)

Country Link
US (1) US11288833B2 (ko)
KR (1) KR20210017525A (ko)
CN (1) CN112435287A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311236B1 (ko) * 2021-04-01 2021-10-13 주식회사 젠티 딥러닝 사물 인지 및 추적을 통한 속도 측정 방법 및 그 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11338807B2 (en) * 2019-01-30 2022-05-24 Allstate Insurance Company Dynamic distance estimation output generation based on monocular video
KR20210017525A (ko) * 2019-08-08 2021-02-17 삼성전자주식회사 거리 추정 장치 및 이의 동작 방법
US11753038B2 (en) * 2021-02-22 2023-09-12 Ford Global Technologies, Llc Enhanced vehicle and trailer operation
US11787323B2 (en) * 2021-03-04 2023-10-17 Gm Cruise Holdings Llc Conveyor system for delivery using autonomous vehicles
US20230206470A1 (en) * 2021-12-29 2023-06-29 Thinkware Corporation Electronic device, method, and computer readable storage medium for obtaining location information of at least one subject by using plurality of cameras
KR20230102019A (ko) * 2021-12-29 2023-07-07 팅크웨어(주) 타겟 차량의 후면 검출을 위한 전자 장치 및 이의 동작 방법
CN114419143A (zh) * 2022-01-18 2022-04-29 浙江吉利控股集团有限公司 深度测量方法、深度测量设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3861781B2 (ja) 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
EP1837803A3 (en) 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Headlight, taillight and streetlight detection
JP2008116357A (ja) 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
KR101356201B1 (ko) 2008-09-19 2014-01-24 현대자동차주식회사 차량용 후측방 감지시스템
JP5962193B2 (ja) 2012-05-09 2016-08-03 株式会社デンソー 車両光源検出装置および車両光源検出プログラム
US9758099B2 (en) 2013-03-15 2017-09-12 Gentex Corporation Display system and method thereof
KR101568683B1 (ko) 2013-11-13 2015-11-12 주식회사 하나비전테크 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
US10127662B1 (en) 2014-08-11 2018-11-13 D.R. Systems, Inc. Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images
JP6451565B2 (ja) 2015-09-09 2019-01-16 株式会社デンソー 運転支援装置、及び運転支援方法
KR20170030936A (ko) 2015-09-10 2017-03-20 주식회사 만도 차간거리 측정장치
KR20200040374A (ko) * 2018-10-10 2020-04-20 삼성전자주식회사 거리 추정 방법 및 장치
US11338807B2 (en) * 2019-01-30 2022-05-24 Allstate Insurance Company Dynamic distance estimation output generation based on monocular video
KR20210017525A (ko) * 2019-08-08 2021-02-17 삼성전자주식회사 거리 추정 장치 및 이의 동작 방법
CN112652173B (zh) * 2019-10-11 2022-05-03 深圳富泰宏精密工业有限公司 行车安全提示方法、车辆及存储介质
US11461915B2 (en) * 2020-01-06 2022-10-04 Qualcomm Incorporated Object size estimation using camera map and/or radar information
US11680813B2 (en) * 2020-01-21 2023-06-20 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
JP7067574B2 (ja) * 2020-01-30 2022-05-16 トヨタ自動車株式会社 距離推定装置及び距離推定用コンピュータプログラム
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311236B1 (ko) * 2021-04-01 2021-10-13 주식회사 젠티 딥러닝 사물 인지 및 추적을 통한 속도 측정 방법 및 그 시스템

Also Published As

Publication number Publication date
US11288833B2 (en) 2022-03-29
US20210042955A1 (en) 2021-02-11
CN112435287A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
KR20210017525A (ko) 거리 추정 장치 및 이의 동작 방법
USRE48106E1 (en) Detection of obstacles at night by analysis of shadows
JP3862015B2 (ja) 車載用レーダ装置
EP3057063B1 (en) Object detection device and vehicle using same
KR101143176B1 (ko) 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
US9594966B2 (en) Obstacle detection device and obstacle detection method
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
US20180224857A1 (en) Ecu, autonomous vehicle including ecu, and method of determining driving lane for the same
TWI595450B (zh) 物件偵測系統
KR101795270B1 (ko) 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치
CN108197590B (zh) 一种路面检测方法、装置、终端及存储介质
CN106183979A (zh) 一种根据车距对车辆进行提醒的方法和装置
WO2020125298A1 (en) Follow that car
KR20210148756A (ko) 경사 추정 장치 및 이의 동작 방법
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
CN111857135A (zh) 用于车辆的避障方法、装置、电子设备和计算机存储介质
WO2019031137A1 (ja) 路側物検出装置、路側物検出方法及び路側物検出システム
CN115705780A (zh) 关联被感知和映射的车道边缘以进行定位
JP2020056717A (ja) 位置検出装置
US20220171975A1 (en) Method for Determining a Semantic Free Space
KR20150063852A (ko) 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치
JP2014157469A (ja) 道路端検出システム、方法およびプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP7411108B2 (ja) 車両姿勢推定システムおよび車両姿勢推定方法
KR102241324B1 (ko) 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법

Legal Events

Date Code Title Description
A201 Request for examination