KR20200069040A - 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20200069040A
KR20200069040A KR1020180156143A KR20180156143A KR20200069040A KR 20200069040 A KR20200069040 A KR 20200069040A KR 1020180156143 A KR1020180156143 A KR 1020180156143A KR 20180156143 A KR20180156143 A KR 20180156143A KR 20200069040 A KR20200069040 A KR 20200069040A
Authority
KR
South Korea
Prior art keywords
vehicle
image
distance
width
size class
Prior art date
Application number
KR1020180156143A
Other languages
English (en)
Other versions
KR102622169B1 (ko
Inventor
김신형
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to KR1020180156143A priority Critical patent/KR102622169B1/ko
Priority to CN201911226519.0A priority patent/CN111289958B/zh
Priority to CN202310336732.7A priority patent/CN116338666A/zh
Priority to US16/703,489 priority patent/US11318957B2/en
Priority to EP19214016.8A priority patent/EP3663977A1/en
Publication of KR20200069040A publication Critical patent/KR20200069040A/ko
Priority to US17/388,222 priority patent/US11814063B2/en
Priority to US17/484,196 priority patent/US11814064B2/en
Priority to US18/388,612 priority patent/US20240075949A1/en
Priority to KR1020240000736A priority patent/KR20240006009A/ko
Application granted granted Critical
Publication of KR102622169B1 publication Critical patent/KR102622169B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

프로세서를 이용한 차간 거리 측정 방법이 개시된다. 본 방법은 제1 차량의 촬영 장치에서 촬영된 주행 영상을 획득하는 단계, 주행 영상으로부터 제2 차량을 검출하고, 검출된 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 단계, 산출된 비율을 기초로 복수의 크기 등급 중 상기 제2 차량의 크기 등급을 결정하는 단계, 결정된 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정하는 단계 및 결정된 제2 차량의 폭, 촬영 장치의 초점 거리 및 제2 차량의 영상 너비를 기초로 촬영 장치로부터 제2 차량까지의 거리를 산출하는 단계를 포함한다.

Description

주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체{METHOD, APPARATUS, ELECTRONIC DEVICE, COMPUTER PROGRAM AND COMPUTER READABLE RECORDING MEDIUM FOR MEASURING A DISTANCE BETWEEN FRONT VEHICLE AND REAR VEHICLE}
본 발명은 차량의 주행 중에 촬영된 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
차량의 주행 시 가장 중요한 것은 안전 주행 및 교통 사고의 예방이며, 이를 위해 차량의 자세 제어, 차량 구성장치들의 기능 제어 등을 수행하는 다양한 보조장치 및 안전 벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.
뿐만 아니라, 최근에는 블랙박스 등과 같이 차량에 위치하여 차량의 주행 영상 및 각종 센서들로부터 전송되는 데이터를 저장함으로써, 차량이 사고 발생시 차량의 사고 원인을 규명하는 장치들도 차량에 구비되는 추세이다. 스마트폰, 태블릿과 같은 휴대용 단말기들도 블랙박스 또는 네비게이션 어플리케이션 등이 탑재 가능하여 이와 같은 차량용 장치로 활용되고 있는 실정이다.
이에, 근래에는 차량의 주행 중에 촬영된 주행 영상을 이용하여 차량 운전자의 운전을 보조하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assistance Systems)이 개발 및 보급되어, 운전자의 안전한 운전뿐만 아니라 편의성을 높이고 있다.
이러한 ADAS에서 제공하는 기능들 중 전방 차량 충돌 안내 기능(FCWS : Forward Collision Warning System)은 차량의 주행 경로 전방에 위치한 전방 차량과의 거리를 측정하고, 거리에 따라 충돌 위험성이 있음을 운전자에게 안내하는 기능이다.
다만, 종래의 차간 거리 측정 방법에 따르면, 차량의 너비가 서로 다른 수많은 차량(예를 들어, 소형차, 중형차, 대형차)의 실제 차폭에 대한 고려 없이, 차폭을 미리 설정해놓은 특정 상수값으로 처리하여 차간 거리를 측정하기에, 측정된 차간 거리값이 정확하지 않다는 문제점이 있었다.
또한, ADAS 에서는 위험도 판단의 근거가 되는 측정값의 작은 오차가 시스템 동작에는 큰 문제가 될 수 있고, 이로 인하여 운전자의 편의 및 안정성을 저해하는 문제점이 있었다. 일 예로, 차량 사이의 거리가 전방 차량 추돌 알림을 할 정도로 크지 않음에도 불구하고 알림이 수행되어 ADAS 기능이 오히려 운전자의 안전 운전을 방해하는 사태까지 발생하고 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명은 전방 차량에 대한 영상 너비와 전방 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하고, 산출된 비율을 기초로 복수의 크기 등급(예를 들어, 소형차, 중형차, 대형차) 중 전방 차량의 크기 등급을 판단하는 것을 목적으로 한다.
또한, 본 발명은 전방 차량의 크기 등급을 기초로 전방 차량의 폭을 결정하고, 결정된 전방 차량의 폭을 이용하여 기준 차량과 전방 차량 사이의 차간 거리를 측정하는 것을 목적으로 한다.
또한, 본 발명은 측정된 차간 거리를 이용하여 정확한 전방 차량 충돌 알림 기능을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 프로세서를 이용한 차간 거리 측정 방법은, 주행 중인 제1 차량의 촬영 장치에서 촬영된 주행 영상을 획득하는 단계, 상기 주행 영상으로부터 제2 차량을 검출하고, 상기 검출된 제2 차량에 대한 영상 너비와 상기 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 단계, 상기 산출된 비율을 기초로 상기 제2 차량의 크기 등급을 결정하는 단계, 상기 결정된 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정하는 단계 및 상기 결정된 제2 차량의 폭, 상기 촬영 장치의 초점 거리 및 상기 제2 차량에 대한 영상 너비를 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하는 단계를 포함한다.
그리고, 상기 비율을 산출하는 단계는, 상기 주행 영상에 포함된 복수의 차량들 중 거리 측정 대상인 상기 제2 차량을 검출하는 단계, 상기 주행 영상에서 상기 제2 차량이 주행 중인 차로의 좌측 차선과 우측 차선을 식별하는 단계 및 상기 식별된 좌측 차선과 상기 식별된 우측 차선 사이의 영상 너비를 상기 제2 차량이 위치한 차로에 대한 영상 너비로 결정하는 단계를 포함한다.
또한, 상기 비율을 산출하는 단계는, 상기 검출된 제2 차량의 영상에서 상기 제2 차량의 좌측 경계와 우측 경계를 식별하는 단계 및 상기 식별된 좌측 경계와 상기 식별된 우측 경계 사이의 영상 너비를 상기 제2 차량에 대한 영상 너비로 결정하는 단계를 포함한다.
그리고, 상기 제2 차량의 크기 등급을 결정하는 단계는 상기 산출된 비율을 기초로 복수의 크기 등급 중 상기 제2 차량의 크기 등급을 결정하고, 상기 복수의 크기 등급은, 소형차에 대응되는 제1 크기 등급, 중형차에 대응되는 제2 크기 등급 및 대형차에 대응되는 제3 크기 등급 중 적어도 두 개를 포함할 수 있다.
또한, 상기 제2 차량의 크기 등급을 결정하는 단계는, 상기 산출된 비율이 제1 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제1 크기 등급으로 결정하는 단계, 상기 산출된 비율이 상기 제1 값 보다 크고 제2 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제2 크기 등급으로 결정하는 단계 및 상기 산출된 비율이 상기 제2 값 보다 큰 경우, 상기 제2 차량의 크기 등급을 상기 제3 크기 등급으로 결정하는 단계를 포함할 수 있다.
그리고, 복수의 크기 등급 각각에 대하여 차량의 폭을 저장하는 단계를 더 포함하고, 상기 제2 차량의 폭을 결정하는 단계는, 상기 저장된 차량의 폭 중 상기 결정된 차량 크기 등급에 대응되는 차량의 폭을 검출하는 단계 및 상기 검출된 차량의 폭을 상기 제2 차량의 폭으로 결정하는 단계를 포함할 수 있다.
또한, 상기 산출된 거리가 기 설정된 거리 보다 작은 경우, 상기 제1 차량과 상기 제2 차량 사이의 거리 차이에 대응되는 충돌 위험 레벨을 안내하기 위한 안내 데이터를 생성하는 단계를 더 포함할 수 있다.
그리고, 상기 제1 차량이 상기 차로에서 주행 중인 경우 상기 제2 차량을 검출하는 단계는, 상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량과 동일한 차로에 위치한 상기 제2 차량을 검출할 수 있다.
또한, 상기 제1 차량이 상기 차로에서 이탈 중인 경우 상기 제2 차량을 검출하는 단계는, 상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량의 전면이 향하는 차로에 위치한 상기 제2 차량을 검출할 수 있다.
그리고, 상기 거리를 산출하는 단계는, 아래의 수학식을 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하고,
[수학식]
Figure pat00001
상기 D는 상기 촬영 장치로부터 상기 제2 차량까지의 거리, 상기 W는 상기 제2 차량의 폭, 상기 f는 상기 촬영 장치의 초점 거리(focal length), 상기 w는 상기 제2 차량의 영상 너비일 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 차간 거리 측정 장치는, 주행 중인 제1 차량의 촬영 장치에서 촬영된 주행 영상을 획득하는 영상 획득부, 상기 주행 영상으로부터 제2 차량을 검출하는 검출부, 상기 검출된 제2 차량에 대한 영상 너비와 상기 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 비율 산출부, 상기 산출된 비율을 기초로 상기 제2 차량의 크기 등급을 결정하는 차량 크기 등급 산출부, 상기 결정된 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정하는 차량 너비 산출부 및 상기 결정된 제2 차량의 폭, 상기 촬영 장치의 초점 거리 및 상기 제2 차량에 대한 영상 너비를 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하는 거리 산출부를 포함한다.
그리고, 상기 검출부는 상기 주행 영상에서 포함된 복수의 차량들 중 거리 측정 대상인 상기 제2 차량을 검출하고, 상기 비율 산출부는 상기 주행 영상에서 상기 제2 차량이 주행 중인 차로의 좌측 차선과 우측 차선을 식별하고, 상기 식별된 좌측 차선과 상기 식별된 우측 차선 사이의 영상 너비를 상기 제2 차량이 위치한 차로에 대한 영상 너비로 결정할 수 있다.
또한, 상기 비율 산출부는, 상기 검출된 제2 차량의 영상에서 상기 제2 차량의 좌측 경계와 우측 경계를 식별하고, 상기 식별된 좌측 경계와 상기 식별된 우측 경계 사이의 영상 너비를 상기 제2 차량에 대한 영상 너비로 결정할 수 있다.
그리고, 상기 차량 크기 등급 산출부는 상기 산출된 비율을 기초로 복수의 크기 등급 중 상기 제2 차량의 크기 등급을 결정하고, 상기 복수의 크기 등급은, 소형차에 대응되는 제1 크기 등급, 중형차에 대응되는 제2 크기 등급 및 대형차에 대응되는 제3 크기 등급 중 적어도 두 개를 포함할 수 있다.
또한, 상기 차량 크기 등급 산출부는, 상기 산출된 비율이 제1 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제1 크기 등급으로 결정하고, 상기 산출된 비율이 상기 제1 값 보다 크고 제2 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제2 크기 등급으로 결정하며, 상기 산출된 비율이 상기 제2 값 보다 큰 경우, 상기 제2 차량의 크기 등급을 상기 제3 크기 등급으로 결정할 수 있다.
그리고, 복수 크기 등급 각각에 대하여 차량 폭을 저장하는 저장부를 더 포함하고, 상기 차량 크기 등급 산출부는 상기 저장된 차량 폭 중 상기 결정된 차량의 크기 등급에 대응되는 차량 폭을 검출할 수 있다.
또한, 상기 산출된 거리가 기 설정된 거리 보다 작은 경우, 상기 제1 차량과 상기 제2 차량 사이의 거리 차이에 대응되는 충돌 위험 레벨을 안내하기 위한 데이터를 생성하는 안내 데이터 생성부를 더 포함할 수 있다.
그리고, 상기 검출부는, 상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량과 동일한 차로에 위치한 상기 제2 차량을 검출할 수 있다.
또한, 상기 검출부는, 상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량의 전면이 향하는 차로에 위치한 상기 제2 차량을 검출할 수 있다.
그리고, 상기 거리 산출부는, 아래의 수학식을 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하고,
[수학식]
Figure pat00002
상기 D는 상기 촬영 장치로부터 상기 제2 차량까지의 거리, 상기 W는 상기 제2 차량의 폭, 상기 f는 상기 촬영 장치의 초점 거리(focal length), 상기 w는 상기 제2 차량의 영상 너비일 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 차간 거리를 기초로 운전자 보조를 위한 안내를 제공하는 전자 기기는, 상기 운전자 확인 가능한 안내 정보를 출력하는 출력부, 촬영 장치에서 촬영된 주행 영상을 획득하는 영상 획득부, 상기 주행 영상으로부터 전방 차량을 검출하고, 상기 검출된 전방 차량에 대한 영상 너비와 상기 전방 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 비율 산출부, 상기 산출된 비율을 기초로 상기 전방 차량의 크기 등급을 결정하는 차량 크기 등급 산출부, 상기 결정된 전방 차량의 크기 등급을 기초로 상기 전방 차량의 차폭을 결정하는 차폭 산출부, 상기 결정된 전방 차량의 차폭, 상기 촬영 장치의 초점 거리 및 상기 전방 차량의 영상 너비를 기초로 상기 촬영 장치로부터 상기 전방 차량까지의 거리를 산출하는 거리 산출부 및 상기 산출된 거리에 따라 전방 차량 충돌 알림을 출력하도록 상기 출력부를 제어하는 제어부를 포함한다.
그리고, 상기 출력부는 상기 촬영된 주행 영상과 안내 객체를 결합시켜 증강 현실 이미지를 출력하는 디스플레이부를 더 포함하고, 상기 제어부는, 상기 전방 차량 충돌 알림을 위한 안내 객체를 생성하고, 상기 생성된 전방차량 충돌 알림을 위한 안내 객체를 상기 증강 현실 이미지의 전방 차량 표시 영역에 겹쳐서 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체는 상술한 차간 거리 측정 방법을 실행시키기 위한 프로그램이 기록될 수 있다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 프로그램은 상술한 차간 거리 측정 방법을 실행시키기 위한 코드가 기록될 수 있다.
상술한 본 발명의 본 발명의 다양한 실시 예에 따르면, 전방 차량의 크기 등급을 산출하고, 산출된 크기 등급을 ADAS 안내시 입력 값으로 활용하여 ADAS의 성능을 개선할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예에 따르면, 기준 차량과 전방 차량 사이의 차간 거리의 오차를 줄임으로써, 보다 정확한 전방 추돌 경고가 수행되도록 할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차간 거리 측정 장치를 나타내는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 차간 거리 측정 장치를 보다 구체적으로 나타내는 블록도 이다.
도 3은 본 발명의 일 실시 예에 따른 차간 거리 측정 방법을 설명하기 위한 개념도 이다.
도 4는 본 발명의 일 실시 예에 따른 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 나타내는 도면이다.
도 5는 전방 차량이 소형차인 경우, 차량 영상 너비와 차로 영상 너비 사이의 비율을 산출하는 실제 예시를 나타내는 도면이다.
도 6은 전방 차량이 중형차인 경우, 차량 영상 너비와 차로 영상 너비 사이의 비율을 산출하는 실제 예시를 나타내는 도면이다.
도 7은 전방 차량이 대형차인 경우, 차량 영상 너비와 차로 영상 너비 사이의 비율을 산출하는 실제 예시를 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 제2 차량의 크기 등급 결정 과정을 설명하기 위한 개념도 이다.
도 9는 본 발명의 일 실시 예에 따른 제1 차량의 주행 상태에 따라 주행 영상에 포함된 복수의 차량들 중 거리 측정 대상인 제2 차량을 선택하는 방법을 설명하기 위한 개념도 이다.
도 10은 본 발명의 일 실시 예에 따른 차간 거리 측정 방법을 나타내는 흐름도 이다.
도 11은 본 발명의 일 실시 예에 따른 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 방법을 나타내는 흐름도 이다.
도 12는 본 발명의 일 실시 예에 따른 차량 크기 등급을 산출하는 방법을 나타내는 흐름도 이다.
도 13은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도이다.
도 14는 본 발명의 일 실시 예에 따른 전자 장치와 연결된 시스템 네트워크를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 전자 장치의 차량 충돌 방지 안내 화면을 나타내는 도면이다.
도 16은 본 발명의 일 실시 예에 따른 전자 장치가 촬영부를 구비하지 않는 경우의 구현 형태를 나타내는 도면이다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치가 촬영부를 구비하는 경우 구현 형태를 나타내는 도면이다.
도 18은 본 발명의 일 실시 예에 따른 HUD(Head-Up Display)를 이용한 구현 형태를 나타내는 도면이다.
도 19는 본 발명의 일 실시 예에 따른 자율 주행 시스템을 나타내는 블록도 이다.
도 20은 본 발명의 일 실시 예에 따른 자율 주행 차량의 구성을 나타내는 블록도이다.
도 21은 본 발명의 일 실시 예에 따른 제어 장치의 세부 구성을 나타내는 블록디이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 차간 거리 측정 장치를 나타내는 블록도 이다. 도 2는 본 발명의 일 실시 예에 따른 차간 거리 측정 장치를 보다 구체적으로 나타내는 블록도 이다.
도 1 내지 2를 참조하면, 차간 거리 측정 장치(10)는 영상 획득부(11), 검출부(12), 산출부(13), 저장부(14), 안내 데이터 생성부(15), 주행 제어 데이터 생성부(16) 및 제어부(17)의 전부 또는 일부를 포함할 수 있다. 여기서, 산출부(13)는 비율 산출부(13-1), 차량 크기 등급 산출부(13-2), 차량 폭 산출부(13-3), 거리 산출부(13-4)의 전부 또는 일부를 포함할 수 있다.
여기서, 차간 거리 측정 장치(10)는 거리 측정의 기준이 되는 제1 차량과 거리 측정의 대상이 되는 제2 차량 사이의 거리를 측정할 수 있다. 여기서, 제1 차량은 거리 측정의 기준이 되는 차량으로 다르게는 기준 차량으로 명명될 수도 있고, 제2 차량은 거리 측정의 대상이 되는 차량으로 다르게는 대상 차량으로 명명될 수도 있다. 또한, 제2 차량은 제1 차량의 근처에 위치한 차량으로, 제1 차량의 전방에 위치한 전방 차량 및 제1 차량의 후방에 위치한 후방 차량을 포함할 수 있다.
이러한, 차간 거리 측정 장치(10)는 제1 차량의 주행 중에 획득된 주행 영상을 이용하여 제1 차량과 제2 차량 사이의 차간 거리를 측정할 수 있다. 구체적으로, 차간 거리 측정 장치(10)는 제1 차량의 주행 영상으로부터 제2 차량을 검출하고, 검출된 대상 차량에 대한 영상 너비와 전방 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출할 수 있다. 그리고, 차간 거리 측정 장치(10)는 산출된 비율을 기초로 복수의 크기 등급 중 전방 차량의 크기 등급을 결정할 수 있다. 그리고, 차간 거리 측정 장치(10)는 결정된 전방 차량의 크기 등급을 기초로 전방 차량의 폭을 결정할 수 있다. 그리고, 차간 거리 측정 장치(10)는 결정된 제2 차량의 폭, 촬영 장치의 초점 거리 및 제2 차량의 영상 너비를 기초로 촬영 장치로부터 제2 차량까지의 거리를 산출할 수 있다.
여기서, 차간 거리 측정 장치(10)는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 구현될 수 있다. 일 예로, 하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
이하에서는, 설명의 편의를 위하여, 거리 측정의 대상이 되는 제2 차량이 전방 차량인 경우를 예로, 차간 거리 측정 장치(10)를 구성하는 각각의 구성 모듈에 대해서 보다 상세하게 설명하기로 한다.
영상 획득부(11)는 제1 차량의 촬영 장치에서 촬영된 주행 영상을 획득할 수 있다. 구체적으로, 영상 획득부(11)는 제1 차량의 주행 중에 제1 차량에 설치된 촬영 장치에서 촬영된 주행 영상을 실시간으로 획득할 수 있다. 여기서, 획득된 주행 영상에는 차선을 따라 구별되는 복수의 차로, 복수의 차로로 구성된 도로, 도로를 주행하고 있는 복수의 차량이 포함될 수 있다.
여기서, 차선은 차량이 위치한 차로(lane)를 형성하는 양측 선(line) 각각을 의미할 수 있다. 또한, 차로(lane)는 1 차로, 2 차로,.. N 차로 등과 같이 차선에 의해 형성되고, 차량이 주행하는 도로를 의미할 수 있다.
검출부(12)는 영상 획득부(11)에서 획득된 주행 영상으로부터 제2 차량을 검출할 수 있다. 구체적으로, 검출부(12)는 영상 획득부(11)에서 획득된 주행 영상에 포함된 복수의 차량들 중 거리 측정 대상인 제2 차량을 선택하고, 선택된 제2 차량을 검출할 수 있다. 여기서, 검출부(12)는 제1 차량의 특정 차로에서 정확히 주행 중인지 또는 특정 차로를 이탈 중인지를 나타내는 주행 상태 정보를 기초로 주행 영상에 포함된 복수의 차량들 중 거리 측정 대상인 제2 차량을 선택할 수 있다.
일 예로, 제1 차량이 특정 차로에서 주행 중인 경우, 검출부(12)는 주행 영상에서 포함된 복수의 차량들 중 제1 차량과 동일한 차로에 위치한 제2 차량을 선택하고, 선택된 제2 차량을 검출할 수 있다.
다른 예로, 제1 차량이 특정 차로에서 이탈 중인 경우, 검출부(12)는 주행 영상에서 포함된 복수의 차량들 중 이탈 중인 제1 차량의 전면이 향하는 차로에 위치한 제2 차량을 선택하고, 선택된 제2 차량을 검출할 수 있다.
비율 산출부(13-1)는 검출부(12)에서 검출된 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출할 수 있다. 여기서, 영상 너비는 영상면(image plane)에서 해당 객체의 영상이 차지하는 너비를 의미할 수 있다. 즉, 제2 차량에 대한 영상 너비는 영상 획득부(11)에서 획득된 주행 영상에서 제2 차량의 영상이 차지하는 너비일 수 있고, 제2 차량이 위치한 차로에 대한 영상 너비는 영상 획득부(11)에서 획득된 주행 영상에서 제2 차량이 위치한 차로의 영상이 차지하는 너비일 수 있다.
비율 산출부(13-1)는 영상 획득부(11)에서 획득된 주행 영상에서 제2 차량에 대한 영상 너비의 산출을 위한 기준선을 설정하고, 설정된 기준선을 기초로 제2 차량에 대한 영상 너비를 산출할 수 있다. 또한, 비율 산출부(13-1)는 영상 획득부(11)에서 획득된 주행 영상에서 제2 차량이 위치한 차로에 대한 영상 너비의 산출을 위한 기준선을 설정하고, 설정된 기준선을 기초로 제2 차량이 위치한 차로에 대한 영상 너비를 산출할 수 있다.
제2 차량이 위치한 차로에 대한 영상 너비를 산출하는 경우, 비율 산출부(13-1)는 영상 획득부(11)에서 획득된 주행 영상에서 제2 차량이 주행 중인 차로의 좌측 차선과 우측 차선을 식별할 수 있다. 일 예로, 비율 산출부(13-1)는 주행 영상을 그레이 영상으로 변환하고, 차선 검출 알고리즘을 수행하여 제2 차량의 양 측에 위치한 각 차선을 식별할 수 있다. 그리고, 비율 산출부(13-1)는 식별된 좌측 차선과 식별된 우측 차선 사이의 영상 너비를 제2 차량이 위치한 차로에 대한 영상 너비로 결정할 수 있다. 일 예로, 비율 산출부(13-1)는 제2 차량의 차로 내 위치를 나타내는 선과 식별된 좌측 차선이 만나는 제1 지점과 제2 차량의 차로 내 위치를 나타내는 선과 식별된 우측 차선이 만나는 제2 지점을 결정하고, 상기 제1 지점과 제2 지점 사이의 영상 너비를 제2 차량이 위치한 차로에 대한 영상 너비로 결정할 수 있다.
그리고, 제2 차량에 대한 영상 너비를 산출하는 경우, 비율 산출부(13-1)는 검출된 제2 차량의 영상에서 제2 차량의 좌측 경계와 우측 경계를 식별할 수 있다. 그리고, 비율 산출부(13-1)는 식별된 좌측 경계와 식별된 우측 경계 사이의 영상 너비를 제2 차량에 대한 영상 너비로 결정할 수 있다. 일 예로, 비율 산출부(13-1)는 식별된 좌측 경계에 대응되는 좌측 경계선과 식별된 우측 경계에 대응되는 우측 경계선 사이의 영상 너비를 제2 차량에 대한 영상 너비로 결정할 수 있다.
한편, 제2 차량이 위치한 차로에 대한 영상 너비와 제2 차량에 대한 영상 너비가 산출되면, 비율 산출부(13-1)는 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출할 수 있다. 일 예로, 비율 산출부(13-1)는 아래의 수학식 1을 기초로 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출할 수 있다.
Figure pat00003
여기서, VehicleW는 제2 차량에 대한 영상 너비를 의미하고, LaneW는 제2 차량이 위치한 차로에 대한 영상 너비를 의미하며, Ratio는 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 의미할 수 있다.
차량 크기 등급 산출부(13-2)는 비율 산출부(13-1)에서 산출된 비율을 기초로 복수의 크기 등급 중 제2 차량의 크기 등급을 결정할 수 있다. 여기서, 복수의 크기 등급은 소형차에 대응되는 제1 크기 등급, 중형차에 대응되는 제2 크기 등급 및 대형차에 대응되는 제3 크기 등급 중 적어도 두 개를 포함할 수 있다.
이 경우, 차량 크기 등급 산출부(13-2)는 산출된 비율이 제1 값 보다 작은 경우, 제2 차량의 크기 등급을 제1 크기 등급으로 결정할 수 있다. 그리고, 차량 크기 등급 산출부(13-2)는 산출된 비율이 제1 값 보다 크고 제2 값 보다 작은 경우, 제2 차량의 크기 등급을 제2 크기 등급으로 결정할 수 있다. 그리고, 차량 크기 등급 산출부(13-2)는 산출된 비율이 제2 값 보다 큰 경우, 제2 차량의 크기 등급을 제3 크기 등급으로 결정할 수 있다. 일 예로, 제1 값은 48%, 제2 값은 60% 일 수 있다.
다만, 이는 본 발명의 일 실시 예일 뿐, 구현 예에 따라서는 더욱 세분화되어 구성될 수도 있다. 일 예로, 복수의 크기 등급은 초소형차, 소형차, 중소형차, 중형차, 중대형차, 대형차 및 초대형차 등 각각에 대응되는 크기 등급을 포함하는 것으로 구성될 수도 있다.
한편, 차량 폭 산출부(13-3)는 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정할 수 있다. 구체적으로, 저장부(14)는 복수 크기 등급 각각에 대하여 차량 폭을 저장할 수 있다. 일 예로, 저장부(14)는 하기 표 1과 같이 복수 크기 등급 각각에 대하여 차량 폭을 매칭하여 저장할 수 있다.
제1 크기 등급 제2 크기 등급 제3 크기 등급
차량 폭 1,500mm 1,900mm 2,500mm
상기 <표 1>의 정보는 상기 저장부(14)에 미리 저장되어 있을 수도 있으며, 통신부(180)를 통해 접속된 통신망으로부터 제공받을 수도 있으며, 갱신될 수도 있다.
이 경우, 차량 폭 산출부(13-3)는 저장부(14)에 기 저장된 차량 폭 중 결정된 크기 등급에 대응되는 차량 폭을 검출함으로써, 제2 차량의 폭을 결정할 수 있다.
한편, 거리 산출부(13-4)는 결정된 제2 차량의 폭, 촬영 장치의 초점 거리 및 제2 차량에 대한 영상 너비를 기초로 촬영 장치로부터 제2 차량까지의 거리를 산출할 수 있다. 구체적으로, 거리 산출부(13-4)는 아래의 수학식 2를 기초로 제1 차량에 설치된 촬영 장치로부터 제2 차량까지의 거리를 산출할 수 있다.
Figure pat00004
여기서, D는 제1 차량에 설치된 촬영 장치로부터 제2 차량까지의 거리, W는 제2 차량의 폭, f는 촬영 장치의 초점 거리(focal length), w는 제2 차량의 영상 너비일 수 있다. 여기서, 제2 차량의 영상 너비 w는 상술한 수학식 1의 VehicleW 와 동일한 값일 수 있다.
한편, 촬영 장치(20)와 제2 차량(30) 사이의 거리가 산출되면, 거리 산출부(13-4)는 산출된 촬영 장치(20)와 제2 차량(30) 사이의 거리값을 적절히 보정함으로써 촬영 장치(20)가 설치된 제1 차량과 제2 차량(30) 사이의 거리값을 산출할 수 있다.
한편, 제어부(17)는 차간 거리 측정 장치(10)의 전반적인 동작을 제어한다. 구체적으로, 제어부(17)는 영상 획득부(11), 검출부(12), 산출부(13), 저장부(14) 및 안내 데이터 생성부(15), 주행 제어 데이터 생성부(16)의 전부 또는 일부를 제어할 수 있다.
특히, 제어부(17)는 영상 획득부(11)에서 획득된 제1 차량의 주행 영상으로부터 제2 차량을 검출하도록 검출부(12)를 제어할 수 있다. 그리고, 제어부(16)는 검출된 대상 차량에 대한 영상 너비와 전방 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하고, 산출된 비율을 기초로 복수의 크기 등급 중 전방 차량의 크기 등급을 결정하며, 결정된 전방 차량의 크기 등급을 기초로 전방 차량의 폭을 결정하도록 산출부(13)를 제어할 수 있다. 또한, 제어부(16)는 결정된 제2 차량의 폭, 촬영 장치의 초점 거리 및 제2 차량의 영상 너비를 기초로 촬영 장치로부터 제2 차량까지의 거리를 산출하도록 산출부(13)를 제어할 수 있다.
또한, 제어부(17)는 제1 차량과 제2 차량 사이의 차간 거리 정보가 획득되면, 이를 기초로 제1 차량 운전자의 안전 운전을 보조하기 위한 안내 데이터를 생성하도록 안내 데이터 생성부(15)를 제어할 수 있다. 구체적으로, 거리 산출부(13-4)에서 산출된 차간 거리가 기 설정된 거리 보다 작은 경우, 안내 데이터 생성부(15)는 제1 차량과 제2 차량 사이의 거리 차이를 안내하기 위한 안내 데이터를 생성할 수 있다. 일 예로, 안내 데이터 생성부(15)는 생성된 안내 데이터는 차간 거리가 주의가 필요함을 음성으로 경고하기 위한 데이터 또는 이미지로 안내하기 위한 데이터일 수 있다.
다른 예로, 거리 산출부(13-4)에서 산출된 차간 거리가 기 설정된 거리 보다 작은 경우, 안내 데이터 생성부(15)는 제1 차량과 제2 차량 사이의 거리 차이에 대응되는 충돌 위험 레벨을 안내하기 위한 데이터를 생성할 수 있다. 일 예로, 제1 차량과 제2 차량 사이의 거리 차이를 복수의 레벨로 나누어, 차간 거리가 제1 값 보다 작으면 제1 위험 레벨을 안내하기 위한 데이터를 생성하고, 차간 거리가 제1 값 보다 크고 제2 값 보다 작으면 제1 위험 레벨 보다 위험도가 높은 제2 위험 레벨을 안내하기 위한 데이터를 생성하며, 차간 거리가 제2 값 보다 크면 제2 위험 레벨 보다 위험도가 높은 제3 위험 레벨을 안내하기 위한 데이터를 생성할 수 있다.
한편, 제어부(17)는 제1 차량과 제2 차량 사이의 차간 거리 정보가 획득되면, 이를 기초로 제1 차량의 자율 주행을 제어하기 위한 주행 제어 데이터를 생성하도록 주행 제어 데이터 생성부(16)를 제어할 수 있다. 구체적으로, 제1 차량이 자율 주행 모드로 동작 중이고, 거리 산출부(13-4)에서 산출된 차간 거리가 기 설정된 거리 보다 작은 경우, 주행 제어 데이터 생성부(16)는 제1 차량의 자율 주행을 제어하기 위한 주행 제어 데이터(예를 들어, 제1 차량의 속도를 현재 속도에서 소정 속도로 줄이도록 제어하거나 또는 제1 차량을 멈추도록 제어하는 명령 데이터 등)를 생성하도록 주행 제어 데이터 생성부(16)를 제어할 수 있다. 여기서, 주행 제어 데이터 생성부(16)에서 생성된 주행 제어 데이터는 제1 차량의 자율 주행을 총괄 제어하는 자율 주행 제어부에 전송될 수 있고, 제1 차량의 자율 주행 제어부는 이 정보를 기초로 제1 차량에 구비된 각종 유닛(브레이크, 스티어링 휠, 전기 모터, 엔진 등)을 제어하여 제1 차량이 자율 주행되도록 제어할 수 있다.
이하에서는 도 3 내지 8을 참조하여 본 발명의 일 실시 예에 따른 차간 거리 측정 방법을 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 차간 거리 측정 방법을 설명하기 위한 개념도 이다. 도 3을 참조하면, 제1 차량(미도시)에는 제1 차량의 주행 영상을 촬영하는 촬영 장치(20)가 설치될 수 있다. 여기서, 촬영 장치(20)는 제1 차량에 설치되어 차량의 주행, 주차 등의 상황에서 차량 주변을 촬영하는 Car dash cam 또는 Car video recorder 등으로 구현될 수 있다. 또는, 촬영 장치(20)는 제1 차량의 운전자에게 경로 안내를 수행하는 내비게이션 장치에 형성된 카메라로 구현될 수도 있다.
이러한 촬영 장치(20)는 렌즈부(21)와 촬상 소자(22)를 포함할 수 있고, 도 3에 도시되지는 않았으나, 렌즈부 구동부, 조리개, 조리개 구동부, 촬상 소자 제어부(116) 및 이미지 프로세서의 전부 또는 일부를 더 포함할 수 있다. 여기서, 렌즈부(lens unit)(21)는 광학 신호를 집광하는 기능을 수행할 수 있고, 렌즈부(21)를 투과한 광학 신호는 촬상 소자(22)의 촬상 영역에 이르러 광학상을 결상한다. 여기서 촬상 소자(22)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device), CIS(Complementary Metal Oxide Semiconductor Image Sensor) 또는 고속 이미지 센서 등을 사용할 수 있다.
한편, 차간 거리 측정 장치(10)는 제1 차량의 촬영 장치(20)에서 촬영된 주행 영상을 이용하여 제1 차량에 설치된 촬영 장치(20)와 제2 차량(30) 사이의 거리를 상술한 수학식 2를 기초로 산출할 수 있다. 이를 위하여, 차간 거리 측정 장치(10)는 먼저 제1 차량의 촬영 장치(20)에서 획득된 주행 영상으로부터 제2 차량(30)에 대한 영상 너비와 제2 차량(30)이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하고, 산출된 비율을 기초로 복수의 크기 등급 중 제2 차량(30)의 크기 등급을 결정하며, 결정된 제2 차량의 크기 등급을 기초로 제2 차량(30)의 폭(W)을 산출할 수 있다. 이러한 차간 측정 장치(10)의 산출부(13)의 동작에 대해서는 도 4 내지 8을 참조하여 보다 구체적으로 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따라 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 나타내는 도면이다. 도 4를 참조하면, 제1 차량의 촬영 장치(20)에서 촬영된 주행 영상(50)에는 제1 차량의 전방에서 주행 중인 제2 차량(30)과 상기 제2 차량이 주행 중인 차로(40), 상기 차로(40)를 다른 차로와 구분되게 하는 좌측 차선(41) 및 우측 차선(42)이 포함될 수 있다.
이 경우, 비율 산출부(13-1)는 제2 차량(30)에 대한 영상 너비(VehicleW)를 산출할 수 있다. 구체적으로, 비율 산출부(13-1)는 제2 차량(30)의 영상에서 제2 차량(30)의 좌측 경계(31)와 우측 경계(32)를 식별할 수 있다. 그리고, 비율 산출부(13-1)는 식별된 좌측 경계(31)와 식별된 우측 경계(32) 사이의 영상 너비를 제2 차량에 대한 영상 너비(VehicleW)로 결정할 수 있다.
또한, 비율 산출부(13-1)는 획득된 주행 영상(50)에서 제2 차량(30)이 주행 중인 차로(40)의 좌측 차선(41)과 우측 차선(42)을 식별할 수 있다. 그리고, 비율 산출부(13-1)는 제2 차량(30)의 차로 내 위치를 나타내는 선(33)을 설정할 수 있다. 여기서, 제2 차량(30)의 차로 내 위치를 나타내는 선(33)은 주행 영상(50)에서 제2 차량(30)의 최하단을 연장한 선으로 구현될 수 있다. 일 예로, 제2 차량(30)의 좌측 바퀴 하단과 우측 바퀴 하단을 연장한 선으로 구현될 수 있다. 한편, 제2 차량(30)의 차로 내 위치를 나타내는 선(33)과 좌측 차선(41)이 만나는 제1 지점(43)과 우측 차선(42)이 만나는 제2 지점(44)을 결정하고, 제1 지점(43)과 제2 지점(44) 사이의 영상 너비(LaneW)를 제2 차량(30)이 위치한 차로에 대한 영상 너비(LaneW)로 결정할 수 있다.
한편, 제2 차량에 대한 영상 너비(VehicleW)와 제2 차량(30)이 위치한 차로에 대한 영상 너비(LaneW)가 산출되면, 비율 산출부(13-1)는 상술한 수학식 1에 적용하여 제2 전방 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출할 수 있다.
도 5는 전방 차량이 소형차인 경우, 차량 영상 너비와 차로 영상 너비 사이의 비율을 산출하는 실제 예시를 나타내는 도면이다. 도 5를 참조하면, 본 발명의 일 실시 예에 따른 검출부(12)는 제1 차량의 주행 중에 촬영된 주행 영상(51)으로부터 전방에 위치한 소형차를 검출할 수 있다. 그리고, 비율 산출부(13-1)는 소형차에 대한 영상 너비(VehicleW :46)와 소형차가 주행 중인 차로에 대한 영상 너비(LaneW : 115) 사이의 비율(ratio : 40)을 산출할 수 있다.
도 6은 전방 차량이 중형차인 경우, 차량 영상 너비와 차로 영상 너비 사이의 비율을 산출하는 실제 예시를 나타내는 도면이다. 도 6을 참조하면, 본 발명의 일 실시 예에 따른 검출부(12)는 제1 차량의 주행 중에 촬영된 주행 영상(52)으로부터 전방에 위치한 중형차를 검출할 수 있다. 그리고, 비율 산출부(13-1)는 중형차에 대한 영상 너비(VehicleW :88)와 중형차가 주행 중인 차로에 대한 영상 너비(LaneW : 191) 사이의 비율(ratio : 46.1)을 산출할 수 있다.
도 7은 전방 차량이 대형차인 경우, 차량 영상 너비와 차로 영상 너비 사이의 비율을 산출하는 실제 예시를 나타내는 도면이다. 도 7을 참조하면, 본 발명의 일 실시 예에 따른 검출부(12)는 제1 차량의 주행 중에 촬영된 주행 영상(53)으로부터 전방에 위치한 대형차를 검출할 수 있다. 그리고, 비율 산출부(13-1)는 대형차에 대한 영상 너비(VehicleW : 184)와 중형차가 주행 중인 차로에 대한 영상 너비(LaneW : 223) 사이의 비율(ratio : 70.4)를 산출할 수 있다.
이와 같이, 제1 차량과 제2 차량의 거리가 가까워지면 제2 차량의 영상 너비와 제2 차량이 위치한 차로의 영상 너비는 커지고, 제1 차량과 제2 차량의 거리가 멀어지면 제2 차량의 영상 너비와 제2 차량이 위치한 차로의 영상 너비는 작아질 수 있다. 다만, 상술한 비율은 제1 차량과 제2 차량 사이의 거리에 영향 없이 제2 차량의 크기에 비례하기에, 본 발명에 따르면 이를 제2 차량의 크기를 산출할 수 있는 지표로 이용할 수 있다.
한편, 위의 예시에 따라, 제2 차량의 영상 너비와 제2 차량이 위치한 차로의 영상 너비 사이의 비율이 산출되면, 차량 크기 등급 산출부(13-2)는 복수의 크기 등급 중 제2 차량의 크기 등급을 결정할 수 있다. 이에 대해서는 도 8을 참조하여 보다 구체적으로 설명하기로 한다.
도 8은 본 발명의 일 실시 예에 따른 제2 차량의 크기 등급 결정 과정을 설명하기 위한 개념도 이다. 도 8을 참조하면, 차량 크기 등급 산출부(13-2)는 비율값을 복수의 구간으로 분류하고, 복수의 구간 각각에 대하여 제2 차량의 크기 등급을 매칭해놓은 임계값 테이블을 기초로 차량의 크기 등급을 산출할 수 있다.
일 예로, 임계값 테이블은 제1 값과 제2 값을 기준으로 세 개의 구간으로 분류될 수 있고, 제1 값 보다 작은 경우에는 소형차에 대응되는 제1 크기 등급이 매칭되고, 산출된 비율이 제1 값 보다 크고 제2 값 보다 작은 경우 중형차에 대응되는 제2 크기 등급이 매칭되며, 산출된 비율이 제2 값 보다 큰 경우, 대형차에 대응되는 제3 크기 등급이 매칭되어 있을 수 있다.
이 경우, 차량 크기 등급 산출부(13-2)는 비율 산출부(13-1)에서 산출된 비율이 제1 값 보다 작은 경우, 제2 차량의 크기 등급을 제1 크기 등급으로 결정할 수 있다. 그리고, 차량 크기 등급 산출부(13-2)는 비율 산출부(13-1)에서 산출된 비율이 제1 값 보다 크고 제2 값 보다 작은 경우, 제2 차량의 크기 등급을 제2 크기 등급으로 결정할 수 있다. 그리고, 차량 크기 등급 산출부(13-2)는 비율 산출부(13-1)에서 산출된 비율이 제2 값 보다 큰 경우, 제2 차량의 크기 등급을 제3 크기 등급으로 결정할 수 있다. 일 예로, 제1 값은 48%, 제2 값은 60% 일 수 있다.
한편, 도 3으로 돌아와서, 차량 폭 산출부(13-3)는 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정할 수 있다. 구체적으로, 저장부(14)는 복수 크기 등급 각각에 대하여 차량 폭을 저장할 수 있고, 이 경우, 차량 폭 산출부(13-3)는 저장부(14)에 기 저장된 차량 폭 중 결정된 크기 등급에 대응되는 차량 폭을 검출함으로써, 제2 차량의 폭(VehicleW)을 결정할 수 있다.
그리고, 차간 거리 측정 장치(10)는, 상술한 수학식 2와 같이, 촬영 장치(20)의 초점 거리(focal length)(f)를 제2 차량(30)에 대한 영상 너비(w)로 나누고, 차량 폭 산출부(13-3)산출된 제2 차량(30)의 폭(W)를 곱함으로써, 촬영 장치(20)와 제2 차량(30) 사이의 거리를 산출할 수 있다.
한편, 촬영 장치(20)와 제2 차량(30) 사이의 거리가 산출되면, 차간 거리 측정 장치(10)의 거리 산출부(13-4)는 차량 간 거리의 정확한 산출을 위하여 촬영 장치(20)와 제2 차량(30) 사이의 거리값을 적절히 보정함으로써 촬영 장치(20)가 설치된 제1 차량과 제2 차량(30) 사이의 거리값을 산출할 수 있다.이러한 본 발명에 따르면, 제1 차량과 제2 차량 사이의 차간 거리의 오차를줄여 차간 거리를 보다 정확하게 측정할 수 있다.
즉, 제1 차량으로부터 동일한 거리 전방에 있으나 차 폭이 다른 소형차, 중형차, 대형차 각각에 대하여 위 수학식 2를 기초로 산출된 거리값이 동일하게 나오려면 각각의 차량의 폭을 알고 있어야 한다. 다만, 종래의 영상 인식 및 검출에 있어서 모든 차종에 따른 제원을 다 확인 할 수 없기에, 종래에는 차량의 폭이 서로 다른 수많은 차량(예를 들어, 소형차, 중형차, 대형차)의 실제 폭에 대한 고려 없이, 차폭을 미리 설정해놓은 특정 상수값으로 처리하여 차간 거리를 측정하기에, 측정된 차간 거리값이 정확하지 않다는 문제점이 있었다.
다만, 본 발명에 따르면, 이러한 문제를 해결하기 위해 전방 차량의 영상 너비와 차로 영상 너비 사이의 비율을 이용하여 전방 차량을 소형차, 중형차, 대형차로 구분하고, 구분된 결과를 기초로 소형차, 중형차, 대형차 각각에 할당된 평균 너비를 기초로 차간 거리를 측정함으로써, 오차를 줄이고 차간 거리를 보다 정확하게 측정할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 제1 차량의 주행 상태에 따라 주행 영상에 포함된 복수의 차량들 중 거리 측정 대상인 제2 차량을 선택하는 방법을 설명하기 위한 개념도 이다.
도 9(a)에 따르면, 거리 측정의 기준이 되는 기준 차량(1)이 제1 차로에서 주행 중이고, 전방 차량은 기준 차량(1)과 동일한 차로에서 주행 중인 제1 전방 차량(2)과 기준 차량(1)과 동일하지 않은 차로에서 주행 중인 제2 전방 차량(3)이 주행 중일 수 있다. 이 경우, 기준 차량(1)의 운전자에게는 동일한 차로에 위치한 제1 전방 차량(2)과의 충돌 위험성이 있는지 여부에 대한 안내가 필요할 뿐, 제2 전방 차량(3)과의 충돌 위험성이 대한 판단이 불필요하다. 따라서, 본 발명의 일 실시 예에 따르면, 기준 차량(1)이 특정 차로에서 주행 중인 경우, 검출부(12)는 주행 영상에서 포함된 복수의 차량들 중 기준 차량(1)과 동일한 차로에 위치한 제1 전방 차량(2)을 거리 측정 대상 차량으로 선택하고, 선택된 대상 차량을 검출할 수 있다.
도 9(b)에 따르면, 거리 측정의 기준이 되는 기준 차량(1)이 제1 차로에서 이탈 중이고, 전방 차량으로는 기준 차량(1)과 동일한 차로에서 주행 중인 제1 전방 차량(2)과 기준 차량(1)과 동일하지 않은 차로에서 주행 중인 제2 전방 차량(3)이 주행 중일 수 있다. 이 경우, 기준 차량(1)의 운전자에게는 주행 방향에 위치한 제2 전방 차량(3)과의 충돌 위험성이 있는지 여부에 대한 안내가 필요할 뿐, 제1 전방 차량(2)과의 충돌 위험성이 대한 판단을 불필요하다. 따라서, 본 발명의 일 실시 예에 따르면, 기준 차량(1)이 특정 차로에서 이탈 중인 경우, 검출부(12)는 주행 영상에서 포함된 복수의 차량들 중 기준 차량(1)의 전면이 향하는 차로에 위치한 제2 전방 차량(3)을 거리 측정 대상 차량으로 선택하고, 선택된 대상 차량을 검출할 수 있다.
한편, 거리 측정의 대상이 되는 대상 차량이 검출되면, 상술한 거리 측정 방법을 기초로 기준 차량과 대상 차량간의 거리를 측정할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 차간 거리 측정 방법을 나타내는 흐름도 이다. 도 10을 참조하면, 먼저 제1 차량의 촬영 장치에서 촬영된 주행 영상을 획득할 수 있다(S100).
그리고, 주행 영상으로부터 제2 차량을 검출하고, 검출된 제2 차량에 대한 영상 너비와 상기 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출할 수 있다(S110). 만약, 제1 차량이 차로에서 주행 중인 경우 제2 차량을 검출하는 단계는 주행 영상에서 포함된 복수의 차량들 중 제1 차량과 동일한 차로에 위한 상기 제2 차량을 검출할 수 있다. 다만, 제1 차량이 차로에서 이탈 중인 경우 제2 차량을 검출하는 단계는 주행 영상에서 포함된 복수의 차량들 중 제1 차량의 전면이 향하는 차로에 위치한 제2 차량을 검출할 수 있다.
그리고, 산출된 비율을 기초로 복수의 크기 등급 중 제2 차량의 크기 등급을 결정할 수 있다(S120). 여기서, 복수의 크기 등급은 소형차에 대응되는 제1 크기 등급, 중형차에 대응되는 제2 크기 등급 및 대형차에 대응되는 제3 크기 등급 중 적어도 두 개를 포함할 수 있다.
그리고, 결정된 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정할 수 있다(S130). 구체적으로, 본 방법은 복수 크기 등급 각각에 대하여 차량의 폭을 저장하는 단계를 더 포함하고, 제2 차량의 폭을 결정하는 단계(S130)는 저장된 차량의 폭 중 결정된 크기 등급에 대응되는 차량의 폭을 검출하고, 검출된 차량의 폭을 제2 차량의 폭으로 결정할 수 있다.
그리고, 결정된 제2 차량의 폭, 상기 촬영 장치의 초점 거리 및 상기 제2 차량의 영상 너비를 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출할 수 있다(S140). 구체적으로, 상술한 수학식 2를 기초로 제1 차량의 촬영 장치로부터 제2 차량까지의 거리를 산출할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 방법을 나타내는 흐름도 이다. 도 11을 참조하면, 비율을 산출하는 단계(S110)는 다음의 단계들로 구성될 수 있다.
구체적으로, 주행 영상에서 포함된 복수의 차량들 중 거리 측정 대상인 제2 차량을 검출할 수 있다(S111).
그리고, 주행 영상에서 제2 차량이 주행 중인 차로의 좌측 차선과 우측 차선을 식별할 수 있다(S112).
그리고, 식별된 좌측 차선과 식별된 우측 차선 사이의 영상 너비를 제2 차량이 위치한 차로에 대한 영상 너비로 결정할 수 있다(S113).
한편, 검출된 제2 차량의 영상에서 제2 차량의 좌측 경계와 우측 경계를 식별할 수 있다(S114).
그리고, 식별된 좌측 경계와 식별된 우측 경계 사이의 영상 너비를 제2 차량에 대한 영상 너비로 결정할 수 있다(S115).
한편, 상술한 단계에 의하여 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비가 결정되면, 이를 기초로 제2 차량에 대한 영상 너비와 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출할 수 있다(S116).
도 12는 본 발명의 일 실시 예에 따른 차량 크기 등급을 산출하는 방법을 나타내는 흐름도 이다. 도 12를 참조하면, 제2 차량의 크기 등급을 결정하는 단계(S120)는 다음의 단계들로 구성될 수 있다.
만약, 산출된 비율이 제1 값 보다 작은 경우(S121:Y), 제2 차량의 크기 등급을 상기 제1 크기 등급으로 결정할 수 있다(S122).
만약, 산출된 비율이 상기 제1 값 보다 크고(S121:N) 제2 값 보다 작은 경우(S123:Y), 제2 차량의 크기 등급을 상기 제2 크기 등급으로 결정할 수 있다(S124).
만약, 산출된 비율이 제2 값 보다 큰 경우(S123:N), 제2 차량의 크기 등급을 상기 제3 크기 등급으로 결정할 수 있다(S125).
한편, 이러한 차간 거리 측정 장치(10)는 운전자의 운전을 보조하기 위한 각종 안내 정보를 출력하는 전자 장치 또는 자율 주행을 위한 시스템의 일 모듈로 구현되어 경로 안내 기능을 수행할 수 있다. 이에 대해서는 도 13 내지 15를 참조하여 보다 구체적으로 설명하기로 한다.
도 13은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도이다. 도 13을 참조하면, 전자 장치(100)는 저장부(110), 입력부(120), 출력부(130), 차간 거리 측정부(140), 증강 현실 제공부(160), 제어부(170), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 포함한다.
여기서, 전자 장치(100)는 차량의 운전자에게 운전 관련 안내를 제공할 수 있는 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), PMP(portable multimedia player), 스마트 글래스, 프로젝트 글래스, 내비게이션(navigation), 차량용 영상 촬영 장치인 Car dash cam 또는 Car video recorder 등과 같은 다양한 장치로 구현될 수 있고, 차량에 구비될 수 있다.
운전 관련 안내는 경로 안내, 차선 이탈 안내, 차선 유지 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내, 차로 변경 안내, 차로 안내, 커브 안내 등과 같이 차량 운전자의 운전을 보조하기 위한 다양한 안내를 포함할 수 있다.
여기서, 경로 안내는 운행 중인 차량의 전방을 촬영한 영상에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 증강 현실 경로 안내, 2D(2-Dimensional) 또는 3D(3-Dimensional)의 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 2D(2-Dimensional) 또는 3D(3-Dimensional) 경로 안내를 포함할 수 있다.
뿐만 아니라, 경로 안내는 항공 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 항공 지도 경로 안내를 포함할 수 있다. 여기서, 경로 안내는 사용자가 차량에 탑승하여 운전하는 경우뿐만 아니라, 사용자가 걷거나 뛰어서 이동하는 경우의 경로 안내도 포함하는 개념으로 해석될 수 있다.
또한, 차선 이탈 안내는 주행 중인 차량이 차선을 이탈하였는지 여부를 안내하는 것일 수 있다.
또한, 차선 유지 안내는 차량이 본래 주행 중인 차로로 복귀하도록 안내하는 것일 수 있다.
또한, 전방 차량 출발 안내는 정차 중인 차량의 전방에 위치한 차량의 출발 여부를 안내하는 것일 수 있다. 여기서, 전방 차량 출발 안내는 차간 거리 측정부(140)에서 산출된 차간 거리를 이용하여 수행될 수 있다.
또한, 신호등 변경 안내는 정차 중인 차량의 전방에 위치한 신호등의 신호 변경 여부를 안내하는 것일 수 있다. 일 예로, 정지 신호를 나타내는 빨간 신호등이 켜진 상태에서 출발 신호를 나타내는 파란 신호등으로 변경되면, 이를 안내하는 것 일 수 있다.
또한, 전방 차량 추돌 방지 안내는 정차 또는 주행 중인 차량의 전방에 위치한 차량과의 거리가 일정 거리 이내가 되면 전방 차량과 추돌을 방지하기 위해 이를 안내하는 것일 수 있다. 여기서, 전방 차량 추돌 방지 안내는 차간 거리 측정부(140)에서 산출된 차간 거리를 이용하여 수행될 수 있다.
또한, 차로 변경 안내는 목적지까지의 경로 안내를 위하여 차량이 위치한 차로에서 다른 차로로 변경을 안내하는 것일 수 있다.
또한, 차로 안내는 현재 차량이 위치한 차로를 안내하는 것일 수 있다.
또한, 커브 안내는 소정 시간 이후에 차량이 주행할 도로가 커브임을 안내하는 것일 수 있다.
이러한, 다양한 안내의 제공을 가능하게 하는 차량의 전방 영상과 같은 운전 관련 영상은 차량에 거치된 카메라 또는 스마트 폰의 카메라에서 촬영될 수 있다. 여기서 카메라는 차량에 거치된 전자 장치(100)과 일체로 형성되어 차량의 전방을 촬영하는 카메라일 수 있다.
다른 예로, 카메라는 전자 장치(100)과 별개로 차량에 거치되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 차량의 전방을 향하여 거치된 별도의 차량용 영상 촬영 장치일 수 있고, 전자 장치(100)는 별도로 거치된 차량용 영상 촬영 장치와 유/무선 통신을 통하여 촬영 영상을 입력 받거나, 차량용 영상 촬영 장치의 촬영 영상을 저장하는 저장 매체가 전자 장치(100)에 삽입되면, 전자 장치(100)은 촬영 영상을 입력 받을 수 있다.
이하에서는, 상술한 내용을 기초로 본 발명의 일 실시 예에 따른 전자 장치(100)에 대해서 보다 구체적으로 설명하기로 한다.
저장부(110)는 전자 장치(100)의 동작에 필요한 다양한 데이터 및 어플리케이션을 저장하는 기능을 한다. 특히 저장부(110)는 전자 장치(100)의 동작에 필요한 데이터, 예를 들어 OS, 경로 탐색 어플리케이션, 지도 데이터 등을 저장할 수 있다. 또한 저장부(110)는 전자 장치(100)의 동작에 의하여 생성된 데이터, 예를 들어 탐색된 경로 데이터, 수신한 영상 등을 저장할 수 있다.
이러한 저장부(110)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USIM(Universal Subscriber Identity Module)등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈 가능한 형태의 저장소자로 구현될 수도 있다.
입력부(120)는 전자 장치(100)의 외부로부터의 물리적 입력을 특정한 전기 신호로 변환하는 기능을 한다. 여기서, 입력부(120)는 사용자 입력부(121)와 마이크부(123)의 전부 또는 일부를 포함할 수 있다.
사용자 입력부(121)는 터치, 푸쉬동작 등과 같은 사용자 입력을 수신할 수 있다. 여기서 사용자 입력부(121)는 다양한 버튼의 형태, 터치 입력을 수신하는 터치 센서, 접근하는 모션을 수신하는 근접 센서 중 적어도 하나를 이용하여 구현될 수 있다.
마이크부(123)는 사용자의 음성 및 차량의 내외부에서 발생한 음향을 수신할 수 있다.
출력부(130)는 전자 장치(100)의 데이터를 사용자에게 영상 및/또는 음성으로 출력하는 장치이다. 여기서, 출력부(130)는 디스플레이부(131)와 오디오 출력부(133)의 전부 또는 일부를 포함할 수 있다.
디스플레이부(131)는 사용자에게 시각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 디스플레이부(131)는 전자 장치(100)의 하우징 전면(前面)에 마련된 디스플레이부로 구현될 수 있다. 또한, 디스플레이부(131)는 전자 장치(100)과 일체로 형성되어 시각적 인식 데이터를 출력할 수 있고, HUD(Head Up Display)와 같이 시스템(100)과 별개로 설치되어 시각적 인식 데이터를 출력할 수도 있다.
오디오 출력부(133)는 전자 장치(100)가 청각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 오디오 출력부(133)는 전자 장치(100)의 사용자에게 알려야 할 데이터를 소리를 표현하는 스피커로 구현될 수 있다.
차간 거리 측정부(140)는 상술한 차간 거리 측정 장치(10)의 기능을 수행할 수 있다.
증강 현실 제공부(160)는 증강 현실 뷰 모드를 제공할 수 있다. 여기서, 증강 현실이란 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 부가 정보(예를 들면, 관심 지점(Point Of Interest: POI)을 나타내는 그래픽 요소, 전방 차량 충돌 위험성을 안내하는 그래픽 요소, 차량 간 거리를 나타내는 그래픽 요소, 커브를 안내하는 그래픽 요소, 운전자의 안전 운전을 돕기 위한 다양한 부가 정보 등)를 시각적으로 중첩하여 제공하는 방법일 수 있다.
이러한 증강 현실 제공부(160)는 캘리브레이션부, 3D 공간 생성부, 객체 생성부, 매핑부의 전부 또는 일부를 포함할 수 있다.
캘리브레이션부는 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 카메라 파라미터는 실사 공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터로, 카메라 외부 파라미터(extrinsic parameters), 카메라 내부 파라미터(intrinsic parameters)를 포함할 수 있다.
3D 공간 생성부는 카메라에서 촬영된 촬영 영상을 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로, 3D 공간 생성부는 캘리브레이션부가 추정한 카메라 파라미터를 2D의 촬영 영상에 적용하여 가상 3D 공간을 생성할 수 있다.
객체 생성부는 증강 현실 상에서 안내를 위한 객체, 예를 들어, 전방 차량 추돌 방지 안내 객체, 경로 안내 객체, 차로 변경 안내 객체, 차선 이탈 안내 객체, 커브 안내 객체 등을 생성할 수 있다.
매핑부는 3D 공간 생성부에서 생성된 가상 3D 공간에 객체 생성부에서 생성된 객체를 매핑할 수 있다. 구체적으로, 매핑부는 객체 생성부에서 생성된 객체의 가상 3D 공간에서의 위치를 결정하고, 결정된 위치에 객체의 매핑을 수행할 수 있다.
한편, 통신부(180)는 전자 장치(100)가 다른 디바이스와 통신하기 위하여 마련될 수 있다. 통신부(180)는 위치 데이터부(181), 무선 인터넷부(183), 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189)의 전부 또는 일부를 포함할 수 있다.
위치 데이터부(181)는 GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득하는 장치이다. GNSS는 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 의미한다. GNSS의 구체적인 예로는, 그 운영 주체에 따라서 GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등 일 수 있다. 본 발명의 일 실시 예에 따른 시스템의 위치 데이터부(181)는 전자 장치(100)가 사용되는 지역에서 서비스하는 GNSS 신호를 수신하여 위치 데이터를 획득할 수 있다. 또는, 위치 데이터부(181)는 GNSS 외에도 기지국 또는 AP(Access Point)와의 통신을 통해 위치 데이터를 획득할 수도 있다.
무선 인터넷부(183)는 무선 인터넷에 접속하여 데이터를 획득하거나 송신하는 장치이다. 무선 인터넷부(183)는 WLAN(Wireless LAN), Wibro(Wireless broadband), Wimax(World interoperability for microwave access), HSDPA(High Speed Downlink Packet Access)의 무선 데이터 송수신을 수행하도록 정의된 다양한 통신 프로토콜을 통해 인터넷 망에 접속할 수 있다.
방송 송수신부(185)는 각종 방송 시스템을 통하여 방송 신호를 송수신하는 장치이다. 방송 송수신부(185)를 통하여 송수신할 수 있는 방송 시스템은 DMBT(Digital Multimedia Broadcasting Terrestrial), DMBS(Digital Multimedia Broadcasting Satellite), MediaFLO(Media Forward Link Only), DVBH(Digital Video Broadcast Handheld), ISDBT(Integrated Services Digital Broadcast Terrestrial) 등일 수 있다. 방송 송수신부(185)를 통하여 송수신되는 방송 신호에는 교통 데이터, 생활 데이터 등을 포함할 수 있다.
이동 통신부(186)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 음성 및 데이터 통신할 수 있다.
근거리 통신부(187)는 근거리 통신을 위한 장치이다. 근거리 통신부(187)는, 전술한 바와 같이, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra WideBand), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity) 등을 통하여 통신할 수 있다.
유선 통신부(189)는 전자 장치(100)를 다른 디바이스와 유선으로 연결할 수 있는 인터페이스 장치이다. 유선 통신부(189)는, USB Port를 통하여 통신할 수 있는 USB 모듈일 수 있다.
이러한, 통신부(180)는 위치 데이터부(181)와, 무선 인터넷부(183)와, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 다른 디바이스와 통신할 수 있다.
일 예로, 전자 장치(100)가 카메라 기능을 포함하지 않는 경우, Car dash cam이나 Car video recorder와 같은 차량용 영상 촬영 장치에서 촬영된 영상을 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 수신할 수 있다.
다른 예로, 복수의 디바이스와 통신하는 경우에 어느 하나는 근거리 통신부(187)로 통신하고, 다른 하나는 유선 통신부(119)를 통하여 통신하는 경우도 가능하다.
센싱부(190)는 전자 장치(100)의 현재 상태를 감지할 수 있는 장치이다. 센싱부(190)는 모션 센싱부(191)와 광 센싱부(193)의 전부 또는 일부를 포함할 수 있다.
모션 센싱부(191)는 전자 장치(100)의 3차원 공간 상에서의 운동을 감지할 수 있다. 모션 센싱부(191)은 3축 지자기 센서 및 3축 가속도 센서를 포함할 수 있다. 모션 센싱부(191)을 통하여 획득한 운동 데이터를 위치 데이터부(181)를 통하여 획득한 위치 데이터와 결합하여, 전자 장치(100)를 부착한 차량의 궤적을 보다 정확하게 산출할 수 있다.
광 센싱부(193)는 시스템(100)의 주변 조도(illuminance)를 측정하는 장치이다. 광 센싱부(193)를 통하여 획득한 조도데이터를 이용하여, 디스플레이부(131)의 밝기를 주변 밝기에 대응되도록 변화시킬 수 있다.
전원부(195)는 전자 장치(100)의 동작 또는 전자 장치(100)과 연결된 다른 디바이스의 동작을 위하여 필요한 전원을 공급하는 장치이다. 전원부(195)는 전자 장치(100)에 내장된 배터리 또는 차량 등의 외부 전원에서 전원을 공급받는 장치일 수 있다. 또한, 전원부(195)는 전원을 공급받는 형태에 따라서 유선 통신 모듈(119)로 구현되거나, 무선으로 공급받는 장치로 구현될 수도 있다.
제어부(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로 제어부(170)는 저장부(110), 입력부(120), 출력부(130), 차간 거리 측정부(140), 증강 현실 제공부(160), 통신부(180), 센싱부(190), 전원부(195)의 전부 또는 일부를 제어할 수 있다.
구체적으로, 제어부(170)는 차간 거리 측정부(140)에서 산출된 차간 거리에 따라 전방 차량 충돌 알림을 출력하도록 출력부(130)를 제어할 수 있다. 일 예로, 출력부(130)는 촬영된 주행 영상과 안내 객체를 결합시켜 증강 현실 이미지를 출력하는 디스플레이부(131)를 포함할 수 있다. 이 경우, 제어부는(170)는 전방 차량 충돌 알림을 위한 안내 객체를 생성하고, 생성된 전방 차량 충돌 알림을 위한 안내 객체를 증강 현실 이미지의 전방 차량 표시 영역에 겹쳐서 표시하도록 디스플레이부(131)를 제어할 수 있다. 여기서, 표출되는 안내 객체는 제1 차량과 제2 차량 사이의 거리 차이에 대응되는 충돌 위험 레벨에 따라 서로 다른 안내 객체가 표시될 수 있다. 일 예로, 제1 차량과 제2 차량 사이의 거리 차이를 복수의 레벨로 나누어, 차간 거리가 제1 값 보다 작으면 제1 위험 레벨을 안내하기 위한 안내 객체를 표시하고, 차간 거리가 제1 값 보다 크고 제2 값 보다 작으면 제1 위험 레벨 보다 위험도가 높은 제2 위험 레벨을 안내하기 위한 안내 객체를 표시하며, 차간 거리가 제2 값 보다 크면 제2 위험 레벨 보다 위험도가 높으면 제3 위험 레벨을 안내하기 위한 안내 객체를 표시할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 전자 장치와 연결된 시스템 네트워크를 설명하기 위한 도면이다. 도 14를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 내비게이션, 차량용 영상 촬영 장치, 스마트 폰 또는 기타 차량용 증강 현실 인터페이스 제공 장치 등과 같은 차량에 구비되는 각종 장치로 구현될 수 있으며, 다양한 통신망 및 다른 전자 디바이스(61 내지 64)와 접속할 수 있다.
또한, 전자 장치(100)는 인공위성(70)으로부터 수신한 전파신호에 따라 GPS모듈을 연동하여 현재의 위치 및 현재 시간대를 산출할 수 있다.
각각의 인공위성(70)은 주파수 대역이 상이한 L밴드 주파수를 송신할 수 있다. 시스템(100)은 각각의 인공위성(70)에서 송신된 L밴드 주파수가 전자 장치(100)에 도달하기까지 소요된 시간에 기초하여 현재 위치를 산출할 수 있다.
한편, 전자 장치(100)는 통신부(180)을 통하여 제어국(80, ACR), 기지국(85, RAS), AP(Access Point) 등을 통하여 네트워크(90)에 무선으로 접속할 수 있다. 네트워크(90)에 전자 장치(100)가 접속하면, 네트워크(90)에 접속한 다른 전자 디바이스(61, 62)와도 간접적으로 접속하여 데이터를 교환할 수 있다.
한편, 전자 장치(100)는 통신 기능을 가진 다른 디바이스(63)를 통하여 간접적으로 네트워크(90)에 접속할 수도 있다. 예를 들어, 네트워크(90)에 접속할 수 있는 모듈이 전자 장치(100)에 구비되지 않은 경우에, 근거리 통신 모듈 등을 통하여 통신 기능을 가진 다른 디바이스(63)와 통신할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 전자 장치의 차량 충돌 방지 안내 화면을 나타내는 도면이다. 도 15를 참조하면, 전자 장치(100)는 차량 충돌 위험도를 나타내는 안내 객체를 생성하고, 생성된 안내 객체(1001)를 증강 현실을 통하여 출력할 수 있다.
여기서, 안내 객체(1001)는 사용자 주의가 필요한 상태임을 안내하는 객체일 수 있다. 즉, 차량 충돌 방지 안내는 차량이 전방 차량과 거리가 소정 거리 이내로 좁혀져 전방 차량과의 충돌 위험성이 있음을 안내하는 것일 수 있다. 본 실시예에서 안내 객체(1001)는 텍스처(texture) 이미지로 구현되어 증강 현실을 통하여 표출될 수 있다. 이에 따라 운전자는 자차가 주행 중인 도로를 용이하게 인식할 수 있다.
또한, 전자 장치(100)는 안내 객체(1001)를 음성을 통해서도 출력할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 전자 장치가 촬영부를 구비하지 않는 경우의 구현 형태를 나타내는 도면이다. 도 16을 참조하면, 전자 장치(100)와 별도로 마련된 차량용 영상 촬영 장치(200)가 유선/무선 통신 방식을 이용하여 본 발명의 일 실시 예에 따른 시스템을 구성할 수 있다.
전자 장치(100)는 하우징(191)의 전면에 마련된 디스플레이부(131)와, 사용자 입력부(121)와, 마이크(123)를 포함할 수 있다.
차량용 영상 촬영 장치 (200)는 카메라(222)와 마이크(224), 부착부(281)를 포함할 수 있다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치가 촬영부를 구비하는 경우 구현 형태를 나타내는 도면이다. 도 17을 참조하면, 전자 장치(100)가 촬영부(150)를 포함하는 경우, 사용자는 전자 장치(100)의 촬영부(150)가 차량의 전방을 촬영하고, 전자 장치(100)의 디스플레이 부분을 사용자가 인식 할 수 있도록 하는 장치일 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 시스템을 구현할 수 있다.
도 18은 본 발명의 일 실시 예에 따른 HUD(Head-Up Display)를 이용한 구현 형태를 나타내는 도면이다. 도 18을 참조하면, HUD는 다른 디바이스들과의 유/무선 통신을 통하여 증강 현실 안내 화면을 헤드업 디스플레이 상에서 표시할 수 있다.
일 예로, 증강 현실은 차량 앞유리를 이용한 HUD 또는 별도의 영상 출력 장치를 이용한 영상 오버레이 등을 통해 제공될 수 있으며, 증강 현실 제공부(160)는 이와 같이 현실 영상 또는 유리에 오버레이되는 인터페이스 이미지 등을 생성할 수 있다. 이를 통해 증강 현실 내비게이션 또는 차량 인포테인먼트 시스템 등이 구현될 수 있다.
도 19는 본 발명의 일 실시 예에 따른 자율 주행 시스템을 나타내는 블록도 이다. 도 19를 참조하면, 차량(1000)에 구비된 자율 주행 시스템(2000)은 차간 거리 측정 장치(10)와 자율 주행 제어 장치(300)를 포함할 수 있다.
여기서, 차간 거리 측정 장치(10)는 차량(1000)과 전방 차량 사이의 거리를 측정할 수 있고, 측정된 차간 거리값을 자율 주행 제어 장치(300)에 전송할 수 있다.
이 경우, 자율 주행 제어 장치(300)는 차간 거리 측정 장치(10)로부터 획득된 차간 거리 정보를 기초로 차량(1000)의 자율 주행을 제어할 수 있다. 구체적으로, 획득된 차간 거리가 기 설정된 거리 보다 작은 경우, 자율 주행 제어 장치(300)는 차량(1000)의 속도를 현재 속도에서 소정 속도로 줄이도록 제어하거나 또는 차량(1000)을 멈추도록 차량(1000)에 구비된 각종 유닛(브레이크, 스티어링 휠 등)을 제어할 수 있다. 즉, 차량(1000)은 차간 거리 측정 장치(10)로부터 획득된 차간 거리를 기초로 차량(1000)의 자율 주행을 제어할 수 있다.
또한, 본 발명의 또 다른 실시 예에 따른 자율 주행 제어 장치(300)는 상기 차간 거리 측정 장치(10)로부터 획득된 차간 거리가 미리 설정된 일정 거리를 유지하도록 차량(1000)의 구동 장치로 명령어를 발생하여 주행 속도를 제어할 수 도 있다.
또한, 본 발명의 또 다른 실시 예에 따른 자율 주행 제어 장치(300)는 검출된 전방 차량의 폭과 상기 전방 차량이 위치한 차로의 폭에 대한 비율이 일정한 값을 유지하도록 차량(1000)과 상기 전방 차량의 거리가 일정 거리를 유지하도록 차량(1000)의 속도를 제어할 수도 있다.
한편, 다른 실시 예로 본 발명에 따른 차간 거리 측정 방법은 자율 주행 차량(2000)의 제어 장치(2100) 내 모듈로 구성될 수 있다. 즉, 제어 장치(2100)의 메모리(2122)와 프로세서(2124)가 본 발명에 따른 차간 거리 측정 방법을 소프트웨어적으로 구현하도록 할 수 있다.
이하, 도 20을 참조하여 보다 상세히 설명한다.
도 20은 본 발명의 일 실시예에 따른 자율 주행 차량(2000)의 구성을 나타내는 블록도이다.
도 20을 참조하면, 본 실시예에 따른 자율 주행 차량(2000)은 제어 장치(2100), 센싱모듈(2004a, 2004b, 2004c, 2004d), 엔진(2006), 및 사용자 인터페이스(2008)를 포함할 수 있다.
본 실시예에서 제어 장치(2100)는 메모리(2122)와 프로세서(2124)를 포함하는 컨트롤러(2120), 센서(2110), 무선 통신 장치(2130), LIDAR(2140) 및 카메라 모듈(2150)를 포함할 수 있다.
본 실시예에서 컨트롤러(2120)는 차량의 제조사에 의해 제조 시 구성되거나 또는 제조 후에 자율 주행의 기능 수행을 위해 추가 구성될 수 있다. 또는 제조시 구성된 컨트롤러(2120)의 업그레이드를 통해 지속적인 부가 기능 수행을 위한 구성이 포함될 수 있다.
컨트롤러(2120)는 제어 신호를 차량 내 다른 구성들로 포함된 센서(2110), 엔진(2006), 사용자 인터페이스(2008), 무선 통신 장치(2130), LIDAR(2140), 및 카메라 모듈(2150)에 전달할 수 있다. 또한 도시되지는 않았으나 차량의 주행과 관련되는 가속 장치, 브레이킹 시스템, 조향 장치, 또는 네비게이션 장치에도 제어 신호를 전달할 수 있다.
본 실시예에서, 컨트롤러(2120)는 엔진(2006)을 제어할 수 있으며 예를 들어 자율 주행 차량(2000)이 주행 중인 도로의 제한 속도를 감지하고 주행 속도가 제한 속도를 초과하지 않도록 엔진(2006)을 제어하거나, 제한 속도를 초과하지 않는 범위 내에서 자율 주행 차량(2000)의 주행 속도를 가속하도록 엔진(2006)을 제어할 수 있다. 또한, 컨트롤러(2120)는 자율 주행 차량(2000)의 주행 중 전방에 위치한 차량과의 거리를 감지하고, 차간 거리에 따라 주행 속도를 제어하도록 엔진(2006)을 제어할 수 있다. 또한 부가적으로 차량 외부의 환경을 센싱모듈(2004a, 2004b, 2004c, 2004d) 이 감지하여 센서(2110)로 전달하면 컨트롤러(2120)는 이를 수신하여 엔진(2006) 또는 조향 장치(미도시)를 제어하는 신호를 생성하여 차량의 주행을 제어할 수 있다.
컨트롤러(2120)는 차량의 전방에 다른 차량 또는 방해물이 존재하는 경우에는 주행 차량을 감속하도록 엔진(2006) 또는 브레이킹 시스템을 제어할 수 있으며, 속도 외에도 궤적, 운행 경로, 조향 각을 제어할 수 있다. 또는 컨트롤러(2120)는 차량의 주행 차선, 주행 신호 등 기타 외부 환경의 인식 정보에 따라 필요한 제어 신호를 생성하여 차량의 주행을 제어할 수 있다.
컨트롤러(2120)는 자체적인 제어 신호의 생성 외에 주변 차량 또는 중앙 서버와의 통신을 수행하고 수신된 정보를 통해 주변 장치들을 제어하기 위한 명령을 전송함으로써, 차량의 주행을 제어하는 것도 가능하다.
본 실시예에서 컨트롤러(2120)는 메모리(2122)와 프로세서(2124)를 포함할 수 있다. 프로세서(2124)는 메모리(2122)에 저장된 소프트웨어를 컨트롤러(2120)의 제어 신호에 따라 실행시킬 수 있다. 구체적으로 컨트롤러(2120)는 본 발명에 따른 차간 거리 측정 방법을 수행하기 위한 데이터 및 명령들은 메모리(2122)에 저장하고, 명령들은 여기에 개시된 하나 이상의 방법들을 구현하기 위해 프로세서(2124)에 의해 실행될 수 있다.
이때, 메모리(2122)는 비 휘발성의 프로세서(2124)에서 실행 가능한 기록 매체에 저장될 수 있다. 메모리(2122)는 적절한 내 외부 장치를 통해 소프트웨어와 데이터를 저장할 수 있다. 메모리(2122)는 RAM(random access memory), ROM(read only memory), 하드디스크, 동글과 연결된 메모리(2122) 장치로 구성될 수 있다.
메모리(2122)는 운영체제(OS, Operating system), 사용자 어플리케이션, 실행 가능한 명령들을 적어도 저장할 수 있다. 메모리(2122)는 어플리케이션 데이터, 배열 데이터 구조들도 저장할 수 있다.
프로세서(2124)는 마이크로 프로세서 또는 적절한 전자적 프로세서로 컨트롤러, 마이크로 컨트롤러 또는 스테이트 머신 일 수 있다.
프로세서(2124)는 컴퓨팅 장치들의 조합으로 구현될 수 있으며, 컴퓨팅 장치는 디지털 신호 프로세서, 마이크로프로세서 이거나 이들의 적절한 조합으로 구성될 수 있다.
또한, 본 실시예에서 제어 장치(2100)는 적어도 하나 이상의 센서(2110)로 자율 주행 차량(2000)의 내외부의 특징을 모니터링하고 상태를 감지할 수 있다.
센서(2110)는 적어도 하나 이상의 센싱모듈(2004)로 구성될 수 있으며, 센싱모듈(2004)은, 감지 목적에 따라 자율 주행 차량(2000)의 특정 위치에 구현될 수 있다. 자율 주행 차량(2000)의 하부, 후단, 전단, 상단, 또는 측단에 위치할 수 있으며, 차량의 내부 부품 또는 타이어 등에도 위치될 수 있다.
이를 통해 센싱모듈(2004)은 차량의 내부 정보로서 엔진(2006), 타이어, 조향각, 속도, 차량의 무게 등 주행과 관련된 정보들을 감지할 수 있다. 또한, 적어도 하나 이상의 센싱모듈(2004)은 가속도 센서(2110), 자이로스코프, 이미지 센서(2110), RADAR, 초음파 센서, LiDAR 센서 등으로 구성될 수 있으며, 자율 주행 차량(2000)의 움직임 정보를 감지할 수 있다.
센싱모듈(2004)은 외부 정보로서 자율 주행 차량(2000)이 위치하는 도로의 상태 정보, 주변 차량 정보, 날씨 등 외부 환경 상태에 대한 특정 데이터를 수신하고, 이에 따른 차량의 파라미터를 감지하는 것도 가능하다. 감지된 정보는 일시적 또는 장기적으로 목적에 따라 메모리(2122)에 저장할 수 있다.
본 실시예에서 센서(2110)는 자율 주행 차량(2000)의 내 외부에서 발생되는 정보를 수집하기 위한 센싱모듈(2004)들의 정보를 통합하여 수집할 수 있다.
제어 장치(2100)는 무선 통신 장치(2130)를 더 포함할 수 있다.
무선 통신 장치(2130)는 자율 주행 차량(2000) 간의 무선 통신을 구현하기 위해 구성된다. 예를 들어, 사용자의 모바일 폰, 또는 다른 무선 통신 장치(2130), 다른 차량, 중앙 장치(교통 제어 장치), 서버 등과 자율 주행 차량(2000)이 통신할 수 있도록 한다. 무선 통신 장치(2130)는 무선 신호를 접속 무선 프로토콜에 따라 송수신할 수 있다. 무선 통신 프로토콜은 Wi-Fi, Bluetooth, Long-Term Evolution (LTE), Code Division Multiple Access (CDMA), Wideband Code Division Multiple Access (WCDMA), Global Systems for Mobile Communications (GSM)일 수 있으며, 통신 프로토콜은 이에 제한되지 않는다.
또한 본 실시예에서 자율 주행 차량(2000)은 무선 통신 장치(2130)를 통해 차량 간 통신을 구현하는 것도 가능하다. 즉, 무선 통신 장치(2130)는 차량 대 차량 간(V2V) 통신(vehicle-to-vehicle communication)으로 도로 상의 다른 차량 및 다른 차량들과 통신을 수행할 수 있다. 자율 주행 차량(2000)은 주행 경고, 교통 정보와 같은 정보를 챠량 간 통신으로 통해 송수신할 수 있으며, 다른 차량에게 정보를 요청하거나 요청을 수신하는 것도 가능하다. 예를 들어, 무선 통신 장치(2130)는 V2V 통신을 지정 단 거리 통신(DSRC, dedicated short-range communication) 장치 또는 C-V2V(Celluar-V2V) 장치로 수행할 수 있다. 또한 차량 간의 통신 외에 차량과 다른 사물(예컨대 보행자가 휴대하는 전자 기기 등) 간의 통신(V2X, Vehicle to Everything communication)도 무선 통신 장치(2130)를 통해 구현할 수 있다.
또한, 제어 장치(2100)는 LIDAR 장치(2140)를 포함할 수 있다. LIDAR 장치(2140)는 LIDAR 센서를 통해 센싱된 데이터를 이용하여 자율 주행 차량(2000) 주변의 객체를 동작 중에 탐지할 수 있다. LIDAR 장치(2140)는 탐지된 정보를 컨트롤러(2120)로 전송하고, 컨트롤러(2120)는 탐지 정보에 따라 자율 주행 차량(2000)을 동작시킬 수 있다. 예를 들어 컨트롤러(2120)는 탐지 정보에 저속 주행하는 전방 차량이 있는 경우 엔진(2006)을 통해 차량이 속도를 줄이도록 명령할 수 있다. 또는 차량이 진입하는 커브의 곡률에 따라 진입 속도를 줄이도록 명령할 수 있다.
제어 장치(2100)는 카메라 모듈(2150)을 더 포함할 수 있다. 컨트롤러(2120)는 카메라 모듈(2150)에서 촬영되는 외부 이미지로부터 객체 정보를 추출하고 이에 대한 정보를 컨트롤러(2120)가 처리하도록 할 수 있다.
또한, 제어 장치(2100)는 외부 환경을 인식하기 위한 이미징 장치들이 더욱 포함할 수 있다. LIDAR(2140) 외에 RADAR, GPS 장치, 주행 거리 측정 장치(Odometry) 및 기타 컴퓨터 비전 장치 들이 이용될 수 있으며, 이들의 장치는 필요에 따라 선택 또는 동시에 동작하여 보다 정밀한 감지가 가능하도록 한다.
자율 주행 차량(2000)은 상술한 제어 장치(2100)에 대한 사용자의 입력을 위한 사용자 인터페이스(2008)를 더 포함할 수 있다. 사용자 인터페이스(2008)는 적절한 상호작용으로 사용자가 정보를 입력하도록 할 수 있다. 예를 들어 터치스크린, 키패드, 조작 버튼 등으로 구현될 수 있다. 사용자 인터페이스(2008)는 입력 또는 명령을 컨트롤러(2120)에 전송하고, 컨트롤러(2120)는 입력 또는 명령에 대한 응답으로 차량의 제어 동작을 수행할 수 있다.
또한, 사용자 인터페이스(2008)는 자율 주행 차량(2000) 외부의 장치로 무선 통신 장치(2130)를 통해 자율 주행 차량(2000)과 통신을 수행하도록 할 수 있다. 예를 들어 사용자 인터페이스(2008)는 모바일 폰, 태블릿, 또는 기타 컴퓨터 장치와 연동 가능하도록 할 수 있다.
나아가, 본 실시예에서 자율 주행 차량(2000)은 엔진(2006)을 포함하는 것으로 설명하였으나, 다른 타입의 추진 시스템을 포함하는 것도 가능하다. 예를 들어 차량은 전기 에너지로 운행될 수 있으며, 수소 에너지 또는 이들을 조합한 하이브리드 시스템을 통해 운행될 수 있다. 따라서 컨트롤러(2120)는 자율 주행 차량(2000)의 추진 시스템에 따른 추진 메커니즘을 포함하고, 이에 따른 제어 신호를 각 추진 메커니즘의 구성들에 제공할 수 있다.
이하, 도 21을 참조하여 본 실시예에 따른 본 발명에 따른 차간 거리 측정 방법을 수행하는 제어 장치(2100)의 세부 구성에 대하여 보다 상세히 설명한다.
제어 장치(2100)는 프로세서(2124)를 포함한다. 프로세서(2124)는 범용 단일 또는 다중 칩 마이크로프로세서, 전용 마이크로프로세서, 마이크로제어기, 프로그램가능 게이트 어레이 등일 수도 있다. 프로세서는 중앙 처리 장치(CPU)로 지칭될 수도 있다. 또한 본 실시예에서 프로세서(2124)는 복수의 프로세서들의 조합으로 사용되는 것도 가능하다.
제어 장치(2100)는 또한 메모리(2122)를 포함한다. 메모리(2122)는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수도 있다. 메모리(2122) 역시 단일 메모리 외에 메모리(2122)들의 조합을 포함할 수 있다.
본 발명에 따른 차간 거리 측정 방법을 수행하기 위한 데이터 및 명령어(2122a)들은 메모리(2122)에 저장될 수도 있다. 프로세서(2124)가 명령어(2122a)들을 실행할 때, 명령어(2122a)들과 명령의 수행에 필요한 데이터(2122b)의 전부 또는 일부가 프로세서(2124)상으로 로딩(2124a, 2124b)될 수도 있다.
제어 장치(2100)는 신호들의 송신 및 수신을 허용하기 위한 송신기(2130a), 수신기(2130b) 또는 트랜시버(2130c)를 포함할 수도 있다. 하나 이상의 안테나(2132a, 2132b)들은 송신기(2130a), 수신기(2130b) 또는 각 트랜시버(2130c)에 전기적으로 연결될 수도 있으며 추가적으로 안테나들을 포함할 수도 있다.
제어 장치(2100)는 디지털 신호 프로세서(DSP)(2170)를 포함할 수도 있다. DSP(2170)를 통해 디지털 신호를 차량이 빠르게 처리할 수 있도록 할 수 있다.
제어 장치(2100)는 통신 인터페이스(2180)를 포함할 수도 있다. 통신 인터페이스(2180)는 다른 장치들을 제어 장치(2100)와 연결하기 위한 하나 이상의 포트들 및/또는 통신 모듈 들을 포함할 수도 있다. 통신 인터페이스(2180)는 사용자와 제어 장치(2100)가 상호 작용 할 수 있게 할 수 있다.
제어 장치(2100)의 다양한 구성들은 함께 하나 이상의 버스(2190)들에 의해 연결될 수도 있고, 버스(2190)들은 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수도 있다. 프로세서(2124)의 제어에 따라 구성들은 버스(2190)를 통해 상호 정보를 전달하고 목적하는 기능을 수행하도록 할 수 있다.
한편, 위 실시 예들에서는 설명의 편의를 위하여 기준 차량과 전방 차량과의 거리를 산출하는 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 본 발명에 따른 차간 거리 측정 방법은 기준 차량과 후방 차량과의 거리를 산출하는 것에도 동일하게 적용될 수 있다.
한편, 명세서 및 청구범위에서 "제 1", "제 2", "제 3" 및 "제 4" 등의 용어는, 만약 있는 경우, 유사한 구성요소 사이의 구분을 위해 사용되며, 반드시 그렇지는 않지만 특정 순차 또는 발생 순서를 기술하기 위해 사용된다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 시퀀스로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 마찬가지로, 여기서 방법이 일련의 단계를 포함하는 것으로 기술되는 경우, 여기에 제시된 그러한 단계의 순서는 반드시 그러한 단계가 실행될 수 있는 순서인 것은 아니며, 임의의 기술된 단계는 생략될 수 있고/있거나 여기에 기술되지 않은 임의의 다른 단계가 그 방법에 부가 가능할 것이다.
또한 명세서 및 청구범위의 "왼쪽", "오른쪽", "앞", "뒤", "상부", "바닥", "위에", "아래에" 등의 용어는, 설명을 위해 사용되는 것이며, 반드시 불변의 상대적 위치를 기술하기 위한 것은 아니다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 방향으로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 여기서 사용된 용어 "연결된"은 전기적 또는 비 전기적 방식으로 직접 또는 간접적으로 접속되는 것으로 정의된다. 여기서 서로 "인접하는" 것으로 기술된 대상은, 그 문구가 사용되는 문맥에 대해 적절하게, 서로 물리적으로 접촉하거나, 서로 근접하거나, 서로 동일한 일반적 범위 또는 영역에 있는 것일 수 있다. 여기서 "일실시예에서"라는 문구의 존재는 반드시 그런 것은 아니지만 동일한 실시예를 의미한다.
또한 명세서 및 청구범위에서 '연결된다', '연결하는', '체결된다', '체결하는', '결합된다', '결합하는' 등과 이런 표현의 다양한 변형들의 지칭은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로써, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한 본 명세서에서 사용된 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 차간 거리 측정 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 제어 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 차간 거리 측정 장치 11 : 영상 획득부
12 : 검출부 13 : 산출부
13-1 : 비율 산출부 13-2 : 차량 크기 등급 산출부
13-3 : 차량 폭 산출부 13-4 : 거리 산출부
14 : 저장부 15 :안내 데이터 생성부
16 : 주행 제어 데이터 생성부 17 : 제어부
100 : 전자 기기 110 : 저장부
120 : 입력부 130 : 출력부
140 : 차간 거리 측정부 160 : 증강현실 제공부
170 : 제어부 180 : 통신부
190 : 센싱부 195 : 전원부
300 : 자율 주행 제어 장치

Claims (24)

  1. 프로세서를 이용한 차간 거리 측정 방법에 있어서,
    주행 중인 제1 차량의 촬영 장치에서 촬영된 주행 영상을 획득하는 단계;
    상기 주행 영상으로부터 제2 차량을 검출하고, 상기 검출된 제2 차량에 대한 영상 너비와 상기 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 단계;
    상기 산출된 비율을 기초로 상기 제2 차량의 크기 등급을 결정하는 단계;
    상기 결정된 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정하는 단계; 및
    상기 결정된 제2 차량의 폭, 상기 촬영 장치의 초점 거리 및 상기 제2 차량에 대한 영상 너비를 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하는 단계;를 포함하는 차간 거리 측정 방법.
  2. 제1항에 있어서,
    상기 비율을 산출하는 단계는,
    상기 주행 영상에 포함된 복수의 차량들 중 거리 측정 대상인 상기 제2 차량을 검출하는 단계;
    상기 주행 영상에서 상기 제2 차량이 주행 중인 차로의 좌측 차선과 우측 차선을 식별하는 단계; 및
    상기 식별된 좌측 차선과 상기 식별된 우측 차선 사이의 영상 너비를 상기 제2 차량이 위치한 차로에 대한 영상 너비로 결정하는 단계;를 포함하는 차간 거리 측정 방법.
  3. 제1항에 있어서,
    상기 비율을 산출하는 단계는,
    상기 검출된 제2 차량의 영상에서 상기 제2 차량의 좌측 경계와 우측 경계를 식별하는 단계; 및
    상기 식별된 좌측 경계와 상기 식별된 우측 경계 사이의 영상 너비를 상기 제2 차량에 대한 영상 너비로 결정하는 단계;를 포함하는 차간 거리 측정 방법.
  4. 제1항에 있어서,
    상기 제2 차량의 크기 등급을 결정하는 단계는, 상기 산출된 비율을 기초로 복수의 크기 등급 중 상기 제2 차량의 크기 등급을 결정하고,
    상기 복수의 크기 등급은,
    소형차에 대응되는 제1 크기 등급, 중형차에 대응되는 제2 크기 등급 및 대형차에 대응되는 제3 크기 등급 중 적어도 두 개를 포함하는 것을 특징으로 하는 차간 거리 측정 방법.
  5. 제4항에 있어서,
    상기 제2 차량의 크기 등급을 결정하는 단계는,
    상기 산출된 비율이 제1 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제1 크기 등급으로 결정하는 단계;
    상기 산출된 비율이 상기 제1 값 보다 크고 제2 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제2 크기 등급으로 결정하는 단계; 및
    상기 산출된 비율이 상기 제2 값 보다 큰 경우, 상기 제2 차량의 크기 등급을 상기 제3 크기 등급으로 결정하는 단계;를 포함하는 것을 특징으로 하는 차간 거리 측정 방법.
  6. 제5항에 있어서,
    복수의 크기 등급 각각에 대하여 차량의 폭을 저장하는 단계;를 더 포함하고,
    상기 제2 차량의 폭을 결정하는 단계는,
    상기 저장된 차량의 폭 중 상기 결정된 차량 크기 등급에 대응되는 차량의 폭을 검출하는 단계; 및
    상기 검출된 차량의 폭을 상기 제2 차량의 폭으로 결정하는 단계;를 포함하는 것을 특징으로 하는 차간 거리 측정 방법.
  7. 제1항에 있어서,
    상기 산출된 거리가 기 설정된 거리 보다 작은 경우, 상기 제1 차량과 상기 제2 차량 사이의 거리 차이에 대응되는 충돌 위험 레벨을 안내하기 위한 안내 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 차간 거리 측정 방법.
  8. 제1항에 있어서,
    상기 제1 차량이 상기 차로에서 주행 중인 경우 상기 제2 차량을 검출하는 단계는,
    상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량과 동일한 차로에 위치한 상기 제2 차량을 검출하는 것을 특징으로 하는 차간 거리 측정 방법.
  9. 제1항에 있어서,
    상기 제1 차량이 상기 차로에서 이탈 중인 경우 상기 제2 차량을 검출하는 단계는,
    상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량의 전면이 향하는 차로에 위치한 상기 제2 차량을 검출하는 것을 특징으로 하는 차간 거리 측정 방법.
  10. 제1항에 있어서,
    상기 거리를 산출하는 단계는,
    아래의 수학식을 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하고,
    [수학식]
    Figure pat00005

    상기 D는 상기 촬영 장치로부터 상기 제2 차량까지의 거리, 상기 W는 상기 제2 차량의 폭, 상기 f는 상기 촬영 장치의 초점 거리(focal length), 상기 w는 상기 제2 차량의 영상 너비인 것을 특징으로 하는 차간 거리 측정 방법.
  11. 차간 거리 측정 장치에 있어서,
    주행 중인 제1 차량의 촬영 장치에서 촬영된 주행 영상을 획득하는 영상 획득부;
    상기 주행 영상으로부터 제2 차량을 검출하는 검출부;
    상기 검출된 제2 차량에 대한 영상 너비와 상기 제2 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 비율 산출부;
    상기 산출된 비율을 기초로 상기 제2 차량의 크기 등급을 결정하는 차량 크기 등급 산출부;
    상기 결정된 제2 차량의 크기 등급을 기초로 제2 차량의 폭을 결정하는 차량 너비 산출부; 및
    상기 결정된 제2 차량의 폭, 상기 촬영 장치의 초점 거리 및 상기 제2 차량에 대한 영상 너비를 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하는 거리 산출부;를 포함하는 차간 거리 측정 장치.
  12. 제11항에 있어서,
    상기 검출부는 상기 주행 영상에서 포함된 복수의 차량들 중 거리 측정 대상인 상기 제2 차량을 검출하고,
    상기 비율 산출부는 상기 주행 영상에서 상기 제2 차량이 주행 중인 차로의 좌측 차선과 우측 차선을 식별하고, 상기 식별된 좌측 차선과 상기 식별된 우측 차선 사이의 영상 너비를 상기 제2 차량이 위치한 차로에 대한 영상 너비로 결정하는 것을 특징으로 하는 차간 거리 측정 장치.
  13. 제11항에 있어서,
    상기 비율 산출부는,
    상기 검출된 제2 차량의 영상에서 상기 제2 차량의 좌측 경계와 우측 경계를 식별하고, 상기 식별된 좌측 경계와 상기 식별된 우측 경계 사이의 영상 너비를 상기 제2 차량에 대한 영상 너비로 결정하는 것을 특징으로 하는 차간 거리 측정 장치.
  14. 제11항에 있어서,
    상기 차량 크기 등급 산출부는 상기 산출된 비율을 기초로 복수의 크기 등급 중 상기 제2 차량의 크기 등급을 결정하고,
    상기 복수의 크기 등급은,
    소형차에 대응되는 제1 크기 등급, 중형차에 대응되는 제2 크기 등급 및 대형차에 대응되는 제3 크기 등급 중 적어도 두 개를 포함하는 것을 특징으로 하는 차간 거리 측정 장치.
  15. 제14항에 있어서,
    상기 차량 크기 등급 산출부는,
    상기 산출된 비율이 제1 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제1 크기 등급으로 결정하고,
    상기 산출된 비율이 상기 제1 값 보다 크고 제2 값 보다 작은 경우, 상기 제2 차량의 크기 등급을 상기 제2 크기 등급으로 결정하며,
    상기 산출된 비율이 상기 제2 값 보다 큰 경우, 상기 제2 차량의 크기 등급을 상기 제3 크기 등급으로 결정하는 것을 특징으로 하는 차간 거리 측정 장치.
  16. 제15항에 있어서,
    복수의 크기 등급 각각에 대하여 차량 폭을 저장하는 저장부;를 더 포함하고,
    상기 차량 크기 등급 산출부는 상기 저장된 차량 폭 중 상기 결정된 차량의 크기 등급에 대응되는 차량 폭을 검출하는 것을 특징으로 하는 차간 거리 측정 장치.
  17. 제11항에 있어서,
    상기 산출된 거리가 기 설정된 거리 보다 작은 경우, 상기 제1 차량과 상기 제2 차량 사이의 거리 차이에 대응되는 충돌 위험 레벨을 안내하기 위한 데이터를 생성하는 안내 데이터 생성부;를 더 포함하는 것을 특징으로 하는 차간 거리 측정 장치.
  18. 제11항에 있어서,
    상기 검출부는,
    상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량과 동일한 차로에 위치한 상기 제2 차량을 검출하는 것을 특징으로 하는 차간 거리 측정 장치.
  19. 제11항에 있어서,
    상기 검출부는,
    상기 주행 영상에서 포함된 복수의 차량들 중 상기 제1 차량의 전면이 향하는 차로에 위치한 상기 제2 차량을 검출하는 것을 특징으로 하는 차간 거리 측정 장치.
  20. 제11항에 있어서,
    상기 거리 산출부는,
    아래의 수학식을 기초로 상기 촬영 장치로부터 상기 제2 차량까지의 거리를 산출하고,
    [수학식]
    Figure pat00006

    상기 D는 상기 촬영 장치로부터 상기 제2 차량까지의 거리, 상기 W는 상기 제2 차량의 폭, 상기 f는 상기 촬영 장치의 초점 거리(focal length), 상기 w는 상기 제2 차량의 영상 너비인 것을 특징으로 하는 차간 거리 측정 장치.
  21. 차간 거리를 기초로 운전자 보조를 위한 안내를 제공하는 전자 기기에 있어서,
    상기 운전자 확인 가능한 안내 정보를 출력하는 출력부;
    촬영 장치에서 촬영된 주행 영상을 획득하는 영상 획득부;
    상기 주행 영상으로부터 전방 차량을 검출하고, 상기 검출된 전방 차량에 대한 영상 너비와 상기 전방 차량이 위치한 차로에 대한 영상 너비 사이의 비율을 산출하는 비율 산출부;
    상기 산출된 비율을 기초로 상기 전방 차량의 크기 등급을 결정하는 차량 크기 등급 산출부;
    상기 결정된 전방 차량의 크기 등급을 기초로 상기 전방 차량의 차폭을 결정하는 차폭 산출부;
    상기 결정된 전방 차량의 차폭, 상기 촬영 장치의 초점 거리 및 상기 전방 차량의 영상 너비를 기초로 상기 촬영 장치로부터 상기 전방 차량까지의 거리를 산출하는 거리 산출부; 및
    상기 산출된 거리에 따라 전방 차량 충돌 알림을 출력하도록 상기 출력부를 제어하는 제어부;를 포함하는 전자 기기.
  22. 제21항에 있어서,
    상기 출력부는 상기 촬영된 주행 영상과 안내 객체를 결합시켜 증강 현실 이미지를 출력하는 디스플레이부;를 더 포함하고,
    상기 제어부는,
    상기 전방 차량 충돌 알림을 위한 안내 객체를 생성하고, 상기 생성된 전방 차량 충돌 알림을 위한 안내 객체를 상기 증강 현실 이미지의 전방 차량 표시 영역에 겹쳐서 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자 기기.
  23. 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  24. 컴퓨터 판독 가능한 기록 매체에 저장되어 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 실행시키는 프로그램.
KR1020180156143A 2018-12-06 2018-12-06 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 KR102622169B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020180156143A KR102622169B1 (ko) 2018-12-06 2018-12-06 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN202310336732.7A CN116338666A (zh) 2018-12-06 2019-12-04 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
US16/703,489 US11318957B2 (en) 2018-12-06 2019-12-04 Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
CN201911226519.0A CN111289958B (zh) 2018-12-06 2019-12-04 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
EP19214016.8A EP3663977A1 (en) 2018-12-06 2019-12-06 Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
US17/388,222 US11814063B2 (en) 2018-12-06 2021-07-29 Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
US17/484,196 US11814064B2 (en) 2018-12-06 2021-09-24 Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
US18/388,612 US20240075949A1 (en) 2018-12-06 2023-11-10 Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
KR1020240000736A KR20240006009A (ko) 2018-12-06 2024-01-03 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180156143A KR102622169B1 (ko) 2018-12-06 2018-12-06 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020240000736A Division KR20240006009A (ko) 2018-12-06 2024-01-03 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20200069040A true KR20200069040A (ko) 2020-06-16
KR102622169B1 KR102622169B1 (ko) 2024-01-08

Family

ID=68808103

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180156143A KR102622169B1 (ko) 2018-12-06 2018-12-06 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR1020240000736A KR20240006009A (ko) 2018-12-06 2024-01-03 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020240000736A KR20240006009A (ko) 2018-12-06 2024-01-03 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Country Status (4)

Country Link
US (4) US11318957B2 (ko)
EP (1) EP3663977A1 (ko)
KR (2) KR102622169B1 (ko)
CN (2) CN116338666A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063578A1 (en) * 2021-10-13 2023-04-20 Samsung Electronics Co., Ltd. A method and system for generating mixed reality environment for indicating navigation events

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3403146A4 (en) * 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS
US11037002B2 (en) * 2019-02-08 2021-06-15 ANI Technologies Private Limited Calibration of fixed image-capturing device for depth estimation
JP7003972B2 (ja) * 2019-06-11 2022-01-21 トヨタ自動車株式会社 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN112652173B (zh) * 2019-10-11 2022-05-03 深圳富泰宏精密工业有限公司 行车安全提示方法、车辆及存储介质
JP2022172928A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム
CN113433537A (zh) * 2021-06-24 2021-09-24 东风汽车集团股份有限公司 一种影像式测距倒车雷达及测距方法
US11845439B2 (en) * 2021-09-29 2023-12-19 Canoo Technologies Inc. Prediction of target object's behavior based on world and image frames
US11794766B2 (en) * 2021-10-14 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for prediction-based driver assistance
US20230322248A1 (en) * 2022-04-06 2023-10-12 Gm Global Technology Operation Llc Collision warning system for a motor vehicle having an augmented reality head up display
CN115534801B (zh) * 2022-08-29 2023-07-21 深圳市欧冶半导体有限公司 车灯自适应调光方法、装置、智能终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101510050B1 (ko) * 2014-04-15 2015-04-07 현대자동차주식회사 차량 주행 제어 장치 및 방법
JP2017084417A (ja) * 2017-02-02 2017-05-18 株式会社東芝 車両監視装置、および車両監視方法
KR20170098488A (ko) * 2016-02-22 2017-08-30 주식회사 만도 운전지원장치 및 운전지원방법
KR20180081966A (ko) * 2017-01-09 2018-07-18 주식회사 만도 차량 인식을 통한 영상 교정 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590217A (en) * 1991-04-08 1996-12-31 Matsushita Electric Industrial Co., Ltd. Vehicle activity measuring apparatus
US6317691B1 (en) * 2000-02-16 2001-11-13 Hrl Laboratories, Llc Collision avoidance system utilizing machine vision taillight tracking
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4420011B2 (ja) 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
US9041806B2 (en) * 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
CN107092856A (zh) * 2011-03-14 2017-08-25 加州大学评议会 用于车辆分类的方法和系统
JP5752729B2 (ja) * 2013-02-28 2015-07-22 富士フイルム株式会社 車間距離算出装置およびその動作制御方法
DE102013022050A1 (de) 2013-12-23 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
KR20150140449A (ko) * 2014-06-05 2015-12-16 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102214604B1 (ko) * 2014-09-05 2021-02-10 현대모비스 주식회사 운전 보조 영상 표시 방법
US10071748B2 (en) * 2015-09-17 2018-09-11 Sony Corporation System and method for providing driving assistance to safely overtake a vehicle
KR101788183B1 (ko) 2015-12-28 2017-10-20 현대자동차주식회사 차량 및 그 제어방법
JP6380422B2 (ja) 2016-02-05 2018-08-29 トヨタ自動車株式会社 自動運転システム
US10203408B2 (en) * 2016-07-29 2019-02-12 Faraday & Future Inc. Method and apparatus for detection and ranging fault detection and recovery
DE102017106952A1 (de) 2017-03-31 2018-10-04 Connaught Electronics Ltd. Abstandssteuerung für ein fahrzeug mit anhänger
EP3663978A1 (en) * 2018-12-07 2020-06-10 Thinkware Corporation Method for detecting vehicle and device for executing the same
US11680813B2 (en) 2020-01-21 2023-06-20 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101510050B1 (ko) * 2014-04-15 2015-04-07 현대자동차주식회사 차량 주행 제어 장치 및 방법
KR20170098488A (ko) * 2016-02-22 2017-08-30 주식회사 만도 운전지원장치 및 운전지원방법
KR20180081966A (ko) * 2017-01-09 2018-07-18 주식회사 만도 차량 인식을 통한 영상 교정 방법
JP2017084417A (ja) * 2017-02-02 2017-05-18 株式会社東芝 車両監視装置、および車両監視方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063578A1 (en) * 2021-10-13 2023-04-20 Samsung Electronics Co., Ltd. A method and system for generating mixed reality environment for indicating navigation events

Also Published As

Publication number Publication date
CN111289958A (zh) 2020-06-16
US20200180656A1 (en) 2020-06-11
US11318957B2 (en) 2022-05-03
CN116338666A (zh) 2023-06-27
CN111289958B (zh) 2023-06-20
US20220009515A1 (en) 2022-01-13
EP3663977A1 (en) 2020-06-10
KR20240006009A (ko) 2024-01-12
US11814063B2 (en) 2023-11-14
US11814064B2 (en) 2023-11-14
US20240075949A1 (en) 2024-03-07
KR102622169B1 (ko) 2024-01-08
US20210354716A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
KR102622169B1 (ko) 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
US11680813B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
US11828615B2 (en) AR processing device, augmented reality-based route guidance method and electronic device
KR102233391B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US11727693B2 (en) Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
US11587435B2 (en) Method for guiding path by extracting guiding information in lane and electronic device for executing the method
KR20200069084A (ko) 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102406490B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US20230273033A1 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
KR20200070101A (ko) 차선 표시 방법 및 이를 수행하는 전자 기기
KR102371620B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20180076913A (ko) 차량 운전 보조장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant