KR20160134005A - 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템 - Google Patents

드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템 Download PDF

Info

Publication number
KR20160134005A
KR20160134005A KR1020150067352A KR20150067352A KR20160134005A KR 20160134005 A KR20160134005 A KR 20160134005A KR 1020150067352 A KR1020150067352 A KR 1020150067352A KR 20150067352 A KR20150067352 A KR 20150067352A KR 20160134005 A KR20160134005 A KR 20160134005A
Authority
KR
South Korea
Prior art keywords
image
vehicle
user
drones
dron
Prior art date
Application number
KR1020150067352A
Other languages
English (en)
Inventor
정연모
김상우
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020150067352A priority Critical patent/KR20160134005A/ko
Publication of KR20160134005A publication Critical patent/KR20160134005A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

본 발명은, 사용자차량에서 사용자차량의 전방영상을 획득하는 전방영상획득단계, 사용자차량 주위에서 비행하는 드론 및 주변차량 중 적어도 하나를 통하여 촬영된 외부영상을 수신하는 외부영상수신단계, 전방영상과 외부영상을 합성하는 영상처리단계, 영상처리로 합성된 합성영상을 표시하는 표시단계를 포함하여 구성되는 드론 및 주변차량을 이용한 시야 확보 방법 및 디스플레이 시스템에 관한 것이다.
본 발명은, 드론 및 주변차량에서 촬영된 영상을 합성하여 사용자차량에 표시함으로써 시야가 차단된 곳의 상황을 사용자가 인지할 수 있도록 도움을 준다. 따라서 전방에서 발생할 수 있는 사고의 위험을 인지할 수 있으므로 시야 차단에 의한 2차 사고를 예방할 수 있는 효과가 있다.

Description

드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템{THE METHOD OF ENSURING VISIBILITY USING DRONE AND ADJACENT VEHICLE AND THE DISPLAY SYSTEM USING THEM}
본 발명은 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템에 관한 것이며, 보다 상세하게는 차량과 함께 비행하는 드론 및 주변차량에서 촬영된 영상을 처리하여 사용자에게 제공하는 시야 확보 방법 및 이를 이용한 디스플레이 시스템에 관한 것이다.
최근 WAVE(Wireless Access in Vehicular Environments) 기반의 차량간 통신 기술(Vehicle to Vehicle - V2V) 및 차량과 인프라 간의 통신 기술(Vehicle to Infrastructure - V2I) 등을 이용하여 주행 차량의 주변에서 발생하는 교통 상황에 대한 정보 또는 주행 차량의 운전자에게 필요한 정보를 제공하여 교통안전을 도모하고 교통의 흐름을 효율적으로 제어하는 교통 시스템에 관한 기술들이 개발되고 있다. 특히 종래의 V2V 관련 서비스는 주로 차량의 사고(추돌, 충돌사고) 예방을 위한 사전 경고 및 제공 관련 기술에 초점이 맞춰져 있다.
대한민국 공개특허 제1998-0061107호에는 이러한 사전 경고시스템이 나타나 있으며, 이러한 시스템은 1차 사고의 예방에만 집중되어 있어 2차 사고의 예방이 부족한 문제점이 있다. 2차 사고를 예방하기 위한 전방 상황에 대한 정보를 운전자에게 전달하지 못하는 문제점이 있으며, 특히 전방의 차량에 의해 시야가 가려져 발생할 수 있는 2차 사고를 예방하지 못하는 문제점이 있었다.
대한민국 공개특허 제1998-0061107호
본 발명은 종래의 선행차량에 의해 시야가 차단되어 2차 사고를 유발할 수 있는 문제점을 해결하는 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템을 제공하는데 그 목적이 있다.
상기 과제의 해결 수단으로 사용자차량에서 사용자차량의 전방영상을 획득하는 전방영상획득단계, 사용자차량 주위에서 비행하는 드론 및 주변차량 중 적어도 하나를 통하여 촬영된 외부영상을 수신하는 외부영상수신단계, 전방영상과 외부영상을 합성하는 영상처리단계, 영상처리로 합성된 합성영상을 표시하는 표시단계를 포함하는 드론 및 주변차량을 이용한 시야 확보 방법이 제공될 수 있다.
이때, 영상처리단계는 전방영상 중 시야차단차량에 의한 시야차단영역 인식하고, 외부영상 중 시야차단영역에 대응하는 차단영상데이터를 추출하는 차단영상데이터 추출단계를 포함하며, 차단영상데이터와 전방영상을 합성할 수 있다.
한편, 외부영상수신단계는 사용자차량의 상측에서 사용자차량과 소정거리 내에서 비행하며 전방을 촬영하는 드론으로부터 수신된 드론영상을 포함한 외부영상을 수신할 수 있다.
또한, 외부영상수신단계는 주변차량으로부터 획득한 주변차량영상을 수신하며 영상처리단계는 주변차량영상으로부터 차단영상데이터를 추출하여 전방영상과 차단영상데이터를 합성할 수 있다.
그리고 차단영상데이터는 시야차단영역에 위치한 전방차량의 테두리일 수 있으며, 전방차량 중 시야차단차량과 가장 인접한 전방차량의 테두리일 수 있다.
한편, 외부영상수신단계 이전에 외부영상의 획득여부를 선택할 수 있도록 사용자로부터 입력을 받는 시작입력단계를 더 포함하여 구성될 수 있다.
그리고 시작입력단계는 사용자가 사용자차량에 적재되어 대기하는 드론이 비행을 시작여부를 선택할 수 있도록 사용자로부터 입력을 받는 드론작동 입력단계를 포함할 수 있다.
한편, 드론으로부터 촬영된 드론영상을 수신하는 중 높이에 따른 영상을 달리할 수 있도록 사용자의 입력에 따라 드론의 비행고도를 조작하는 드론높이조작단계를 더 포함할 수 있다.
나아가 드론이 작동 중 드론을 사용자차량으로 원위치 시킬 수 있도록 종료입력을 사용자로부터 입력받는 종료입력단계를 더 포함할 수 있다.
한편, 사용자차량과 시야차단차량의 거리가 소정거리 내로 가까워지는 경우 드론의 비행이 시작될 수 있도록 드론작동여부 판단단계를 더 포함할 수 있다.
이때, 드론작동여부 판단단계는 시야차단차량의 높이가 소정높이 이상인 경우 드론이 작동될 수 있도록 시야차단차량 판단단계를 더 포함할 수 있다.
또한, 드론작동여부 판단단계는 사용자차량이 소정속도 이하로 주행하는 경우 드론이 작동될 수 있도록 주행속도 판단단계를 더 포함하여 구성될 수 있다.
그리고 영상처리단계는 드론영상을 전방영상의 상측에 표시되도록 합성할 수 있다.
또한 영상처리단계는 드론영상의 소실점과 전방영상의 소실점이 동일한 가로축 좌표를 갖도록 영상을 정렬하는 정렬단계를 더 포함할 수 있다.
그리고, 외부영상수신단계는 시야차단차량으로부터 전방영상의 수신가능여부를 판단하며, 시야차단차량으로부터 전방영상의 수신이 불가능한 경우 드론을 작동시켜 드론영상을 획득하도록 구성될 수 있다.
나아가 표시단계는 합성영상을 HUD 방식으로 표시할 수 있다.
추가로 사용자차량에 설치되는 전방카메라, 사용자차량과 소정거리 내에서 비행하며 전방영상을 촬영하도록 구성되는 드론, 사용자차량의 전방에서 시야를 차단하는 시야차단차량 및 드론과 통신하여 각각 촬영된 영상을 수신하도록 구성되는 통신부, 전방카메라로 촬영된 전방영상, 드론으로 촬영한 드론영상, 시야차단차량에서 촬영된 시야차단차량영상을 합성하는 영상처리부, 영상처리부로부터 처리된 합성영상을 표시하는 디스플레이부를 포함하는 드론 및 주변차량을 이용한 디스플레이 시스템이 제공될 수 있다.
이때, 영상처리부는 전방영상 중 시야차단차량에 의한 시야차단영역을 인식하고, 드론영상 또는 시야차단차량영상 중 시야차단영역에 대응하는 차단영상데이터를 추출하며, 전방영상과 차단영상데이터를 합성하는 기능을 갖도록 구성될 수 있다.
그리고 사용자로부터 드론의 작동여부 및 영상처리부의 합성여부를 입력받도록 구성되는 입력부를 더 포함하여 구성될 수 있다.
본 발명에 따른 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템은 드론 및 주변차량에서 촬영한 영상으로 전방차량에 의해 차단되는 시야를 확보할 수 있으며, 운전자에게 전방의 상황을 인식하도록 영상을 제공하므로 시야 차단에 의한 2차사고를 예방할 수 있는 효과가 있다.
도 1은 본 발명에 따른 제1 실시예의 개념도이다.
도 2는 제1 실시예의 순서도이다.
도 3은 제1 실시예의 표시단계에서 표시되는 합성영상을 도시한 도면이다.
도 4는 제1 실시예의 표시단계에서 표시되는 다른 합성영상을 도시한 도면이다.
도 5는 제1 실시예의 정렬단계를 거친 영상을 도시한 도면이다.
도 6은 제1 실시예의 드론영상만을 합성한 영상을 도시한 도면이다.
도 7은 본 발명에 따른 제2 실시예의 순서도이다.
도 8은 제2 실시예의 시야차단차량으로 판단되지 않는 경우를 도시한 도면이다.
도 9는 본 발명에 따른 다른 실시예인 디스플레이 시스템을 도시한 도면이다.
이하, 본 발명의 실시 예에 따른 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템에 대하여, 첨부된 도면을 참조하여 상세히 설명한다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있다. 그러나 이들의 기능적 유사성 및 동일성이 있다면 변형된 실시예를 채용하더라도 균등한 구성으로 볼 수 있다. 또한 각각의 구성요소에 부가된 부호는 설명의 편의를 위하여 기재된다. 그러나 이들 부호가 기재된 도면상의 도시 내용이 각각의 구성요소를 도면내의 범위로 한정하지 않는다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성 및 동일성이 있다면 균등한 구성으로 볼 수 있다. 또한 당해 기술분야의 일반적인 기술자 수준에 비추어 보아, 당연히 포함되어야 할 구성요소로 인정되는 경우, 이에 대하여는 설명을 생략한다.
이하에서는 도 1 내지 도 6을 참고하여 본 발명에 따른 제1 실시예를 설명하기로 한다.
도 1은 본 발명에 따른 제1 실시예의 개념도이고, 도 2는 제1 실시예의 순서도이다.
도시된 바와 같이, 본 발명에 따른 제1 실시예는 전방 시야를 차단하는 선행차량에서 촬영된 영상 및 사용자의 차량과 함께 이동하면서 촬영된 영상 중 적어도 하나를 이용하여 전방의 시야를 확보하도록 구성될 수 있다.
도 2를 살펴보면, 본 발명에 따른 제1 실시예는 시작입력단계(S100), 드론작동 입력단계(S200), 전방영상 획득단계(S300), 외부영상 수신단계(S400), 영상처리단계(S500), 차단영상데이터 추출단계(S510)를 포함하여 구성될 수 있다.
시작입력단계(S100)는 사용자의 판단에 따라 외부영상을 획득하여 표시하고자 하는 경우 시야 확보 방법을 활성화 시키는 시작입력을 사용자로부터 받는 단계이다. 외부영상은 주변차량에서 촬영한 영상 또는 비행하는 드론으로부터 촬영된 영상이 될 수 있다. 시작입력단계(S100)는 시야확보의 필요 유무에 따라 사용자가 선택을 하도록 구성된다. 시야확보가 필요한 경우, 예를들어, 교통량이 많거나 전방에 대형차량으로 전방의 시야가 차단되는 경우에 시야확보 기능을 활성화 시킬 수 있으며, 이와 반대로 시야 확보가 필요하지 않은 경우, 예를 들어 도로에 교통량이 적고, 시야를 차단하는 시야차단차량(1)도 없는 경우에는 사용자 육안으로 전방을 주시하며 차량을 운전하는 것이 별도의 디스플레이를 보면서 운전하는 것보다 안전할 수 있다. 따라서 이러한 경우에는 시야확보를 하지 않더라도 안전한 주행이 가능하므로 사용자는 입력을 하지 않음으로써 기능을 활성화 시키지 않을 수 있다.
드론작동 입력단계(S200)는 드론(30)을 작동시켜 전방의 영상을 획득하기 위한 신호를 생성하는 단계이다. 드론작동 입력단계(S200)에서 사용자의 입력으로 드론(30)을 작동시키며, 사용자차량(3)의 일측에 구비되어 있던 드론(30)이 비행을 시작하게 된다. 드론(30)은 사용자차량(3)과 소정거리 내에서 비행하며 전방의 영상을 촬영하여 사용자차량(3)에 전송하도록 구성된다. 또한 드론은 사용자차량(3)이 이동하는 경우에도 사용자차량(3)의 상측에서 사용자차량(3)과 일정한 거리를 유지하며 비행할 수 있도록 제어될 수 있다.
전방영상 획득단계(S300)는 사용자차량(3)에 구비된 카메라를 이용하여 사용자차량(3)의 전방영상을 획득하는 단계이다. 이때 사용되는 카메라는 차량에 설치된 블랙박스 카메라일 수 있으며, 별도로 설치된 디지털 카메라가 될 수 있고, 이러한 구성은 일반적으로 널리 쓰이는 구성이므로 이에 대하여는 상세한 설명은 생략하기로 한다.
외부영상 수신단계(S400)는 전술한 바와 같이 드론이 비행하면서 촬영하는 실시간영상을 획득하거나 전방의 시야차단차량(1)에서 촬영되는 시야차단차량영상을 획득하는 단계이다. 사용자는 전방의 시야차단차량(1)에 의하여 앞의 도로상황을 파악할 수 없으므로, 이를 위해 시야차단차량영상, 드론영상을 각각 획득할 수 있으며, 둘 중 어느하나만을 획득할 수 있다. 예를 들어 드론작동 입력단계(S200)에서 사용자가 드론작동입력을 하지 않은 경우, 드론은 작동하지 않고 시야차단차량영상만을 획득할 수 있다. 다만 본 실시예에서는 전방의 시야차단차량(1)에서 획득된 영상만을 예로 하고 있으나, 이는 일예일 뿐 사용자차량(3)의 주변에서 주행하는 차량의 영상을 외부영상으로 수신하도록 구성될 수 있다.
한편, 전방영상 획득단계(S300)를 먼저 설명하였으나, 외부영상 수신단계(S400)는 순서에 상관없이 수행될 수 있다.
드론높이 조작단계(S201)는 사용자가 드론의 비행높이 및 드론에 구비된 카메라의 각도를 조절하여 드론영상의 시점을 변경하고자 하는 경우에 적용될 수 있다. 드론의 비행높이는 사용자차량(3)과 소정거리 이격된 높이로 비행될 수 있으나, 사용자의 편의를 위하여 드론의 비행높이를 조절할 수 있게 됨으로써 보다 파악하기 쉬운 시점으로 이동하도록 구성될 수 있다. 드론높이 조작단계(S201)는 사용자가 디스플레이부에 표시된 영상을 확인하면서 드론을 조작할 수 있도록 드론이 비행 중에 수행될 수 있다.
영상처리단계(S500)는 외부영상 수신단계(S400)에서 획득된 영상을 처리하여 하나의 영상으로 합성하는 단계이다. 영상처리단계(S500)는 차단영상데이터 추출단계(S510)를 포함하여 구성될 수 있다.
차단영상데이터 추출단계(S510)는 먼저 전방영상 중 시야차단차량(1)에 의한 시야차단영역(Ab)을 인식하도록 구성될 수 있다. 차단영상데이터 추출단계(S510)는 시야차단차량(1)을 인식한 뒤, 해당 영상에서 테두리(t) 데이터를 추출하고, 시야차단차량(1)의 테두리(t) 내측을 시야차단영역(Ab)으로 인식하도록 구성될 수 있다. 다만, 이와같은 영상에서 특정데이터를 인식하고 특정영역을 설정하는 알고리즘은 일반적으로 많이 사용되고 있는 구성이므로 상세한 설명은 생략하도록 한다.
영상처리단계(S500)에서는 차단영상데이터 추출단계(S510)를 거쳐 추출된 차단영상데이터와 전방영상을 합성하도록 구성될 수 있다. 전술한 바와 같이, 전방영상이 시야차단차량영상, 드론영상을 포함할 수 있으므로, 전방영상은 시야차단차량영상 또는 드론영상으로부터 추출된 차단영상데이터와 합성되거나, 시야차단영상 및 드론영상으로부터 추출된 차단영상데이터와 합성될 수 있다.
한편 이와같은 영상처리에 대하여는 차후 상세히 설명하기로 한다.
표시단계(S700)는 영상처리단계(S500)에서 처리된 영상이 디스플레이부에 표시된다. 디스플레이부는 차량에 탑재된 네비게이션을 이용할 수 있으며, HUD 타입으로 표시될 수 있다. 또한 스마트폰, 스마트패드 등과 같이 다양한 디스플레이 수단에 표시될 수 있다.
종료입력단계(S800)는 사용자가 시야 확보가 더 이상 필요하지 않은 경우, 즉 전방에 시야를 차단하는 차량이 없어진 경우에 시야 확보 방법을 중단하도록 사용자의 종료입력을 받는 단계이다. 사용자의 종료입력에 따라 드론은 사용자차량(3)으로 원위치될 수 있다.
이하에서는 도 3내지 도 8을 참고하여 영상처리단계(S500)에 대하여 상세히 설명하기로 한다.
도 3은 제1 실시예의 표시단계(S700)에서 표시되는 합성영상을 도시한 도면이고, 도 4는 제1 실시예의 표시단계(S700)에서 표시되는 다른 합성영상을 도시한 도면이다.
도시된 바와 같이, 영상처리단계(S500)는 외부영상과 전방영상을 다양하게 처리할 수 있도록 구성된다.
도 3을 다시 살펴보면, 전방에 대형트럭이 시야를 가리고 있고, 대형트럭의 전방에는 숨은차량(2)이 주행하고 있을 때 처리된 영상이 나타나 있다.
도 3 및 도 4에는 전방의 시야차단차량(1)에서 촬영되는 영상을 획득할 수 있는 경우가 예시되어 있다. 반대로 시야차단차량(1)에서 촬영되는 영상을 획득할 수 없는 경우는 도 8을 참조하여 차후 설명하기로 한다.
전술한 바와 같이 영상처리단계(S500)에서는 전방영상 획득단계(S300) 및 외부영상획득단계에서 획득된 드론영상, 시야차단차량영상, 전방영상을 합성하여 표시하게 된다. 영상의 상측과 하측을 분할한 모습이 나타나 있으며, 상측은 드론영상이 표시되는 드론영상표시영역(Ad), 하측은 전방영상 및 차단영상데이터가 함께 표시되는 전방영상표시영역(Af)이다. 드론영상과 전방영상은 시점의 높이가 다르고, 2차원 영상으로 표시하였을 때 소실점이 각각 다르다. 따라서 드론영상과 전방영상을 블랜딩 하는 경우 사용자에게 혼란을 줄 수 있기 때문에 도 3 등에 나타난 바와 같이 별도의 영역으로 분할하여 표시하는 것이 바람직하다.
드론영상표시영역(Ad)에는 대형트럭의 일부와 소형트럭의 일부가 나타나 있다. 이와같이 사용자의 눈높이 및 사용자차량(3)의 카메라높이에서 확인할 수 없는 전방의 상황을 보다 높은 곳에서 비행하고 있는 드론을 통하여 확인할 수 있게 된다. 한편, 합성영상을 표시하는 디스플레이부의 크기에는 제한이 있으므로, 일부만을 드론영상표시영역(Ad)으로 설정할 수 있으며, 사용자의 입력에 따라 드론영상표시영역(Ad)을 넓힐 수 있고, 디스플레이부 전체가 되도록 설정할 수 있다.
이때 전술한 드론높이 조작단계(S201)를 통하여 드론의 높이 및 드론에 구비된 카메라의 촬영각도를 변경할 수 있으므로, 사용자는 원하는 높이와 각도의 영상이 표시되도록 드론을 조작할 수 있게 된다.
전방영상표시영역(Af)을 살펴보면, 전방영상으로부터 전방차량이 차지하는 시각차단영역을 인식하고, 시각차단차량영상으로부터 시각차단영역에 대응하는 영상부분의 차단영상데이터를 전방영상에 블랜딩하여 화면에 표시되게 된다. 반투명하게 겹쳐진 대형트럭과 숨은차량(2)이 표시되므로 사용자는 대형트럭 너머의 상황을 인지할 수 있게 된다.
블랜딩시에는 사용자가 정확하게 숨은차량(2)과의 거리에 따른 크기로 나타내지 않더라고 사용자가 차단시야 내에 다른 차량이 존재하는 것을 인지하는 것을 목적으로 하므로, 차단영상데이터의 배율에 구애받지 않을 수 있다. 그러나 숨은차량(2)의 좌우 위치는 차선변경과 같은 혼란을 줄 수 있으므로, 전방영상과 차단영상데이터가 좌우로 정렬되는 것이 바람직하다. 예를 들어, 전방영상에서 획득한 차선의 소실점과 차단영상데이터의 소실점을 동일하게 하여 차단영역에 표시할 수 있다.
도 4를 살펴보면 차단영상데이터는 시각차단차량영상에서 차량을 인식하여 차량의 테두리(t)만을 나타내는 데이터가 될 수 있다. 따라서 시야차단영역(Ab)에 전방차량의 테두리(t)만을 표시함으로써 사용자에게 대략적인 위치를 나타내도록 구성될 수 있다. 한편, 시야차단차량영상에서는 복수의 차량이 인식될 수 있고, 그 중 가장 가까운 전방에서 주행하는 차량에 가장 관심이 있게 되므로, 차단영상데이터는 가장 인접한 전방차량의 테두리(t)에 따라 추출된 데이터가 될 수 있다.
다만, 이와같은 차단영상데이터는 일 예일뿐 전방영상과 블랜딩하여 전방차량을 나타낼 수 있는 다양한 방법으로 변형되어 적용될 수 있고, 사용자의 선택에 따라 블랜딩하는 차단영상데이터를 선택가능하도록 구성될 수 있다.
도 5는 제1 실시예의 정렬단계(S600)를 거친 영상을 도시한 도면이다.
도시된 바와 같이, 드론영상과 전방영상이 정렬단계(S600)를 거쳐 사용자가 용이하게 인식할 수 있도록 합성될 수 있다. 도 5 (a)는 정렬단계(S600)를 거치기 전의 영상을 도시한 것이다. 사용자차량(3)의 전방영상을 촬영하는 카메라는 사용자가 바라보는 시각과 차이가 있을 수 있으므로, 사용자차량(3)의 카메라에서 촬영되는 영상을 기준으로 드론영상과 정렬을 수행하게 된다. 전방영상과 드론영상은 각각 소실점을 갖게 되며, 이러한 소실점의 가로축 좌표(Xd, Xf)를 추출하여 정렬을 수행하게 된다.
도 5(b)는 정렬단계(S600)를 거친후의 영상이 도시되어 있다. 전술한 두 영상의 소실점의 가로축 좌표(Xd,Xf)가 동일한 가로축 좌표를 갖도록 구성될 수 있다. 드론영상표시영역(Ad)은 드론이 차량의 상측에서 촬영하는 경우에 디스플레이부의 상측에 표시되는 것이 사용자의 용이한 인식을 위해 바람직하며, 정렬단계(S600)를 통해 소실점의 가로축좌표를 동일하게 구성되면 사용자는 소실점을 기준으로 좌우측의 위치를 파악할 수 있게 된다.
도 6은 제1 실시예의 드론영상만을 합성한 영상을 도시한 도면이다.
전방에서 주행하는 차량 중 시야차단차량(1)으로부터 시야차단차량영상을 획득할 수 없는 경우, 즉 카메라가 구비되지 않거나 고장을 일으킨 경우에는 드론영상만을 이용하여 영상합성단계가 이루어 질 수 있다.
이때, 표시부에 표시되는 드론영상표시영역(Ad)의 표시범위의 비율을 늘려 용이하게 시각적으로 인식하도록 구성될 수 있다.
이하에서는 본 발명에 따른 제2 실시예인 드론 및 주변차량을 이용한 시야확보 방법에 대하여 설명하며, 전술한 제1 실시예와 동일한 구성요소에 대하여는 중복설명을 피하기 위해 설명을 생략하며, 차이점에 대하여만 설명하기로 한다.
도 7은 본 발명에 따른 제2 실시예의 순서도이며, 도 8은 제2 실시예의 시야차단차량(1)으로 판단되지 않는 경우를 도시한 도면이다.
도시된 바와 같이, 본 발명에 따른 제2 실시예인 드론 및 주변차량을 이용한 시야 확보 방법은 드론 작동 입력 단계 대신 드론 작동여부 판단단계를 포함하여 구성될 수 있다.
시작입력단계(S100)에 의해 시야 확보 방법의 수행이 활성화 된 경우, 드론은 사용자의 차량에서 대기하게 되며, 드론을 작동시키는 드론 작동여부 판단단계를 거치도록 구성될 수 있다.
드론 작동여부 판단단계는 시야차단차량(1) 판단단계, 시야차단차량영상 획득 여부 판단단계, 주행속도 판단단계를 포함할 수 있다.
시야차단차량(1) 판단단계는 사용자차량(3)에서 획득한 전방영상을 통하여 전방에 시야가 차단되는지 여부를 판단할 수 있도록 구성된다. 전방영상에서 최인접차량을 인식하고, 소형차와 같이 최인접한 전방에서 주행하더라도 전방의 시야가 확보되는 경우에는 시야확보가 필요하지 않을 수 있게 된다. 이러한 경우를 판단하여 불필요한 경우 시야 확보 방법을 수행하지 않도록 구성된다.
시야차단차량영상 획득여부 판단단계는 전방에서 시야를 차단하는 차량에서 영상을 획득할 수 없는 경우를 판단하게 된다.
주행속도 판단단계는 사용자차량(3) 및 시야차단차량(1)의 속도를 인식하고, 주행중 사고의 위험이 적은 경우, 즉 교통량이 매우 많아 전용도로의 최저속도 이하로 주행하는 경우와 같이 2차사고의 위험이 다소 줄어드는 경우를 제외하고 시야 확보 방법을 수행하기 위하여 구성된다.
전술한 드론 작동여부 판단단계에서는 시야차단차량(1) 판단단계에서 시야인식차량으로 판단되고, 시야차단차량영상 획득여부 판단단계에서 시야차단차량영상을 획득하지 못하며, 주행속도 판단단계에서 소정속도 이상으로 주행하는 것으로 판단되는 경우에 드론을 작동시키도록 구성될 수 있다. 따라서 불필요한 경우에 시야 확보를 수행하지 않으므로 효율적으로 운용할 수 있게 된다.
도 9는 본 발명에 따른 다른 실시예인 디스플레이 시스템을 도시한 도면이다. 도시된 바와 같이 본 발명에 따른 드론(30) 및 주변차량을 이용한 디스플레이 시스템은 입력부(10), 카메라(20), 드론(30), 통신부(40), 영상처리부(50), 디스플레이부(60)를 포함할 수 있다.
입력부(10)는 사용자로부터 드론(30)의 작동여부 및 영상처리부(50)의 수행여부의 시작신호를 입력받도록 구성된다.
카메라(20)는 사용자차량(3)에 설치되며 전방영상을 획득하도록 구성된다.
드론(30)은 사용자차량(3)과 소정거리 내에서 비행하며 전방영상을 촬영하도록 구성될 수 있다.
통신부(40)는 사용자차량(3)의 전방에서 시야를 차단하는 시야차단차량(1) 및 드론(30)과 통신하여 각각 촬영된 영상을 수신하도록 구성될 수 있으며, 드론(30)과 통신하여 드론(30)을 제어할 수 있도록 구성된다.
영상처리부(50)는 전방영상 및 드론(30)으로 촬영한 드론영상, 시야차단 영상을 합성하도록 구성된다. 영상처리부(50)에서 수행되는 기능은 전술한 제 1실시예의 영상처리단계(S500)가 포함될 수 있다.
디스플레이부(60)는 영상처리부(50)로부터 처리된 합성영상을 표시하도록 구성될 수 있다.
전술한 드론 및 주변차량을 이용한 시야 확보 방법 및 디스플레이 시스템은 드론 및 주변차량에서 촬영된 영상을 합성하여 사용자차량(3)에 표시함으로써 시야가 차단된 곳의 상황을 사용자가 인지할 수 있도록 도움을 준다. 따라서 전방에서 발생할 수 있는 사고의 위험을 인지할 수 있으므로 시야 차단에 의한 2차 사고를 예방할 수 있는 효과가 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징들이 변경되지 않고서 다른 구체적인 형태로 실시될 수 있다는 것으로 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
S100: 시작입력단계
S200: 드론작동 입력단계
S201: 드론높이 조작단계
S300: 전방영상 획득단계
S400: 외부영상 수신단계
S500: 영상처리단계
S510: 차단영상데이터 추출단계
S600: 정렬단계
S700: 표시단계
S800: 종료입력단계
S210: 드론작동여부 판단단계
S211: 시야차단차량 판단단계
S212: 시야차단차량영상의 획득여부 판단단계
S213: 주행속도 판단단계
Ab: 시야차단영역
Ad: 드론영상표시영역
Af: 전방영상표시영역
t: 테두리
1: 시야차단차량 2: 숨은차량
3: 사용자차량
10: 입력부 20: 카메라
30: 드론 40: 통신부
50: 영상처리부 60: 디스플레이부

Claims (20)

  1. 사용자차량에서 상기 사용자차량의 전방영상을 획득하는 전방영상획득단계;
    상기 사용자차량 주위에서 비행하는 드론 및 주변차량 중 적어도 하나를 통하여 촬영된 외부영상을 수신하는 외부영상수신단계;
    상기 전방영상과 상기 외부영상을 합성하는 영상처리단계; 및
    상기 영상처리로 합성된 합성영상을 표시하는 표시단계를 포함하는 드론 및 주변차량을 이용한 시야 확보 방법.
  2. 제1 항에 있어서,
    상기 영상처리단계는,
    상기 전방영상 중 시야차단차량에 의한 시야차단영역 인식하고, 상기 외부영상 중 상기 시야차단영역에 대응하는 차단영상데이터를 추출하는 차단영상데이터 추출단계를 포함하며,
    상기 차단영상데이터와 상기 전방영상을 합성하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  3. 제2 항에 있어서,
    상기 외부영상수신단계는,
    상기 사용자차량의 상측에서 상기 사용자차량과 소정거리 내에서 비행하며 전방을 촬영하는 상기 드론으로부터 수신된 드론영상을 포함한 상기 외부영상을 수신하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  4. 제3 항에 있어서,
    상기 외부영상수신단계는 상기 주변차량으로부터 획득한 주변차량영상을 수신하며,
    상기 영상처리단계는 상기 주변차량영상으로부터 상기 차단영상데이터를 추출하여 상기 전방영상과 상기 차단영상데이터를 합성하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  5. 제4 항에 있어서,
    상기 차단영상데이터는 상기 시야차단영역에 위치한 전방차량의 테두리인 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  6. 제5 항에 있어서,
    상기 차단영상데이터는 상기 전방차량 중 상기 시야차단차량과 가장 인접한 상기 전방차량의 테두리인 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  7. 제3 항에 있어서,
    상기 외부영상수신단계 이전에 상기 외부영상의 획득여부를 선택할 수 있도록 사용자로부터 입력을 받는 시작입력단계를 더 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  8. 제7 항에 있어서,
    상기 시작입력단계는,
    상기 사용자가 상기 사용자차량에 적재되어 대기하는 상기 드론이 비행을 시작여부를 선택할 수 있도록 상기 사용자로부터 입력을 받는 드론작동 입력단계를 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  9. 제3 항에 있어서,
    상기 드론으로부터 촬영된 드론영상을 수신하는 중 높이에 따른 영상을 달리할 수 있도록 상기 사용자의 입력에 따라 상기 드론의 비행고도를 조작하는 드론높이조작단계를 더 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  10. 제9 항에 있어서,
    상기 드론이 작동 중 상기 드론을 상기 사용자차량으로 원위치 시킬 수 있도록 종료입력을 상기 사용자로부터 입력받는 종료입력단계를 더 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  11. 제3 항에 있어서,
    상기 사용자차량과 상기 시야차단차량의 거리가 소정거리 내로 가까워지는 경우 상기 드론의 비행이 시작될 수 있도록 드론작동여부 판단단계를 더 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  12. 제11 항에 있어서,
    상기 드론작동여부 판단단계는 상기 시야차단차량의 높이가 소정높이 이상인 경우 상기 드론이 작동될 수 있도록 시야차단차량 판단단계를 더 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  13. 제12 항에 있어서,
    상기 드론작동여부 판단단계는 상기 사용자차량이 소정속도 이하로 주행하는 경우 상기 드론이 작동될 수 있도록 주행속도 판단단계를 더 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  14. 제3 항에 있어서,
    상기 영상처리단계는 상기 드론영상을 상기 전방영상의 상측에 표시되도록 합성하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  15. 제3 항에 있어서,
    상기 영상처리단계는,
    상기 드론영상의 소실점과 상기 전방영상의 소실점이 동일한 가로축 좌표를 갖도록 영상을 정렬하는 정렬단계를 더 포함하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  16. 제3 항에 있어서,
    상기 외부영상수신단계는,
    상기 시야차단차량으로부터 전방영상의 수신가능여부를 판단하며,
    상기 시야차단차량으로부터 전방영상의 수신이 불가능한 경우 상기 드론을 작동시켜 드론영상을 획득하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  17. 제3 항에 있어서,
    상기 표시단계는 상기 합성영상을 HUD 방식으로 표시하는 것을 특징으로 하는 드론 및 주변차량을 이용한 시야 확보 방법.
  18. 사용자차량에 설치되는 전방카메라;
    상기 사용자차량과 소정거리 내에서 비행하며 전방영상을 촬영하도록 구성되는 드론;
    상기 사용자차량의 전방에서 시야를 차단하는 시야차단차량 및 상기 드론과 통신하여 각각 촬영된 영상을 수신하도록 구성되는 통신부;
    상기 전방카메라로 촬영된 전방영상, 상기 드론으로 촬영한 드론영상, 상기 시야차단차량에서 촬영된 시야차단차량영상을 합성하는 영상처리부; 및
    상기 영상처리부로부터 처리된 합성영상을 표시하는 디스플레이부를 포함하는 드론 및 주변차량을 이용한 디스플레이 시스템.
  19. 제18 항에 있어서,
    상기 영상처리부는
    상기 전방영상 중 시야차단차량에 의한 시야차단영역을 인식하고,
    상기 드론영상 또는 상기 시야차단차량영상 중 상기 시야차단영역에 대응하는 차단영상데이터를 추출하며,
    상기 전방영상과 상기 차단영상데이터를 합성하는 기능을 갖는 것을 특징으로 하는 드론 및 주변차량을 이용한 디스플레이 시스템.
  20. 제18 항에 있어서,
    사용자로부터 상기 드론의 작동여부 및 상기 영상처리부의 합성여부를 입력받도록 구성되는 입력부를 더 포함하여 구성되는 드론 및 주변차량을 이용한 디스플레이 시스템.
KR1020150067352A 2015-05-14 2015-05-14 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템 KR20160134005A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150067352A KR20160134005A (ko) 2015-05-14 2015-05-14 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150067352A KR20160134005A (ko) 2015-05-14 2015-05-14 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템

Publications (1)

Publication Number Publication Date
KR20160134005A true KR20160134005A (ko) 2016-11-23

Family

ID=57541368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150067352A KR20160134005A (ko) 2015-05-14 2015-05-14 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템

Country Status (1)

Country Link
KR (1) KR20160134005A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093095A (ko) * 2019-01-11 2020-08-05 삼성전기주식회사 차량의 자율 주행 지원 장치 및 방법
KR102384404B1 (ko) * 2020-10-29 2022-04-08 주식회사 아이에이 카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법
EP3920159A4 (en) * 2019-01-31 2023-05-24 LG Electronics Inc. IMAGE OUTPUT DEVICE
US11790613B2 (en) 2019-01-31 2023-10-17 Lg Electronics Inc. Image output device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000044608A (ko) 1998-12-30 2000-07-15 김영환 반도체 소자의 캐패시터 전극용 백금막 형성방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000044608A (ko) 1998-12-30 2000-07-15 김영환 반도체 소자의 캐패시터 전극용 백금막 형성방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093095A (ko) * 2019-01-11 2020-08-05 삼성전기주식회사 차량의 자율 주행 지원 장치 및 방법
EP3920159A4 (en) * 2019-01-31 2023-05-24 LG Electronics Inc. IMAGE OUTPUT DEVICE
US11790613B2 (en) 2019-01-31 2023-10-17 Lg Electronics Inc. Image output device
KR102384404B1 (ko) * 2020-10-29 2022-04-08 주식회사 아이에이 카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법
WO2022092381A1 (ko) * 2020-10-29 2022-05-05 주식회사 아이에이 카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법

Similar Documents

Publication Publication Date Title
JP4134785B2 (ja) 表示装置
JP5817927B2 (ja) 車両用表示装置、車両用表示方法及び車両用表示プログラム
CN107710751B (zh) 显示控制装置、显示系统及显示控制方法
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
WO2016147547A1 (ja) 画像生成装置
JP6459205B2 (ja) 車両用表示システム
JP6744064B2 (ja) 自動車用画像表示システム
KR20200016958A (ko) 주차 지원 방법 및 주차 지원 장치
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
KR102227740B1 (ko) 수직 이착륙형 pav의 착륙지원 시스템
KR20180083623A (ko) 전자 장치 및 그 제어 방법
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
KR20170048781A (ko) 차량용 증강현실 제공 장치 및 그 제어방법
JP2009227245A (ja) 車載機器の操作装置
KR20160134005A (ko) 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템
JP2015226304A (ja) 車両用投影装置及びヘッドアップディスプレイシステム
JP6394940B2 (ja) 車両用表示システム
JP6448714B2 (ja) 情報表示システム
JP2016074410A (ja) ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP7202903B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
WO2016056199A1 (ja) ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
CN111497745A (zh) 显示系统、行驶控制装置、显示控制方法以及存储介质
JP2013200820A (ja) 画像送受信システム
KR20170056100A (ko) 헤드업 디스플레이의 물체 표시 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment