KR20160046480A - 차량 외부 영상 출력 제어 장치 및 방법 - Google Patents

차량 외부 영상 출력 제어 장치 및 방법 Download PDF

Info

Publication number
KR20160046480A
KR20160046480A KR1020140142393A KR20140142393A KR20160046480A KR 20160046480 A KR20160046480 A KR 20160046480A KR 1020140142393 A KR1020140142393 A KR 1020140142393A KR 20140142393 A KR20140142393 A KR 20140142393A KR 20160046480 A KR20160046480 A KR 20160046480A
Authority
KR
South Korea
Prior art keywords
image
vehicle
viewing angle
driver
marker
Prior art date
Application number
KR1020140142393A
Other languages
English (en)
Other versions
KR102270577B1 (ko
Inventor
유현우
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140142393A priority Critical patent/KR102270577B1/ko
Priority to CN201510684490.6A priority patent/CN105522971B/zh
Publication of KR20160046480A publication Critical patent/KR20160046480A/ko
Application granted granted Critical
Publication of KR102270577B1 publication Critical patent/KR102270577B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/10—Front-view mirror arrangements; Periscope arrangements, i.e. optical devices using combinations of mirrors, lenses, prisms or the like ; Other mirror arrangements giving a view from above or under the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 웨어러블 디바이스에 부착된 마커를 기초로 운전자의 시야각을 산출하여 차량 주변의 영상을 출력 제어하는 차량 외부 영상 출력 제어 장치 및 방법을 제안한다. 본 발명에 따른 차량 외부 영상 출력 제어 장치는 차량 외부에 대한 영상을 획득하는 영상 획득부; 운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 운전자의 시야각을 산출하는 시야각 산출부; 시야각을 기초로 차량 외부에 대한 영상에서 적어도 일방향의 영상을 추출하여 출력 대상 영상으로 생성하는 대상 영상 생성부; 및 출력 대상 영상을 웨어러블 디바이스에 디스플레이하는 영상 디스플레이부를 포함한다.

Description

차량 외부 영상 출력 제어 장치 및 방법 {Apparatus and method for controlling outputting external image of vehicle}
본 발명은 영상의 출력을 제어하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 차량의 외부에 대한 영상의 출력을 제어하는 장치 및 방법에 관한 것이다.
오늘날 차량에는 다양한 전자 장비가 탑재되고 있다. 그 장비로서 차량의 위치를 추적 및 표시해주고 차량이 주행하는 위치의 지도를 화면 출력해주는 내비게이션 장치, 차량의 내/외부를 촬영하여 영상을 획득하는 카메라 장치, 카메라에 의해 촬영된 영상을 저장하였다가 출력하거나 CD나 DVD 등의 재생 영상을 화면 출력하는 LCD 등을 들 수 있다.
그런데 차량에 탑재된 종래의 카메라 장치는 다음과 같은 문제점이 있다.
첫째, 화면을 수집하는 범위가 한정적이어서 제한된 영역의 이미지 정보만 수집하는 한계가 존재한다. 이에 따라 차체에 시야가 가려진 운전석 주변의 영상을 보여주지 못하는 문제점이 있다.
둘째, 차량 주변에 3차원 구조물이 있을 경우 영상 화면에서 일그러진 잘못된 정보의 이미지를 보여주는 단점이 있다.
한국공개특허 제2013-0013410호는 차량용 주변 영상을 출력하는 장치에 대하여 제안하고 있다. 그러나 이 장치는 차량의 주행 상태에 따라 차량 주변의 영상을 출력하는 것에 불과하기 때문에 상기한 문제점을 해결할 수 없다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 웨어러블 디바이스에 부착된 마커를 기초로 운전자의 시야각을 산출하여 차량 주변의 영상을 출력 제어하는 차량 외부 영상 출력 제어 장치 및 방법을 제안하는 것을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 차량 외부에 대한 영상을 획득하는 영상 획득부; 운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 상기 운전자의 시야각을 산출하는 시야각 산출부; 상기 시야각을 기초로 상기 차량 외부에 대한 영상에서 적어도 일방향의 영상을 추출하여 출력 대상 영상으로 생성하는 대상 영상 생성부; 및 상기 출력 대상 영상을 상기 웨어러블 디바이스에 디스플레이하는 영상 디스플레이부를 포함하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치를 제안한다.
바람직하게는, 상기 영상 획득부는 상기 차량 외부에 대한 영상으로 상기 차량의 전방을 제외한 나머지 방향들에 대한 영상을 획득하거나 상기 차량의 모든 방향들에 대한 영상을 획득한다.
바람직하게는, 상기 시야각 산출부와 상기 영상 디스플레이부는 상기 웨어러블 디바이스로 안경 형태의 디바이스를 이용한다.
바람직하게는, 상기 시야각 산출부는 상기 마커로 양측 안경테의 상단부에 부착된 마커들과 상기 양측 안경테의 하단부에 부착된 마커들을 이용한다.
바람직하게는, 상기 시야각 산출부는 상기 마커에 의해 획득된 운전자 눈의 위치와 이동 방향, 및 카메라에 의해 획득된 상기 마커의 위치를 기초로 상기 운전자의 시야각을 산출한다.
바람직하게는, 상기 시야각 산출부는 상기 마커를 이용하여 상기 차량의 전방을 기준으로 좌측과 우측 90도 범위 이내에서 운전자 눈의 움직임을 실시간으로 추적한다.
바람직하게는, 상기 시야각 산출부는 상기 마커로 상기 양측 안경테의 좌측단부에 부착된 마커들과 상기 양측 안경테의 우측단부에 부착된 마커들을 더 이용한다.
바람직하게는, 상기 대상 영상 생성부는 상기 출력 대상 영상을 스테레오 영상으로 생성하며, 상기 차량 외부에 대한 영상에서 적어도 두 방향에 대한 영상이 추출되면 상기 출력 대상 영상을 파노라마 영상으로 생성한다.
바람직하게는, 상기 대상 영상 생성부는 상기 시야각이 차량의 전방을 기준으로 좌측 방향으로 90도를 벗어나거나 우측 방향으로 90도를 벗어나는 것으로 판단되면 상기 출력 대상 영상을 생성한다.
또한 본 발명은 차량 외부에 대한 영상을 획득하는 단계; 운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 상기 운전자의 시야각을 산출하는 단계; 상기 시야각을 기초로 상기 차량 외부에 대한 영상에서 적어도 일방향의 영상을 추출하여 출력 대상 영상으로 생성하는 단계; 및 상기 출력 대상 영상을 상기 웨어러블 디바이스에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 차량 외부 영상 출력 제어 방법을 제안한다.
바람직하게는, 상기 획득하는 단계는 상기 차량 외부에 대한 영상으로 상기 차량의 전방을 제외한 나머지 방향들에 대한 영상을 획득하거나 상기 차량의 모든 방향들에 대한 영상을 획득한다.
바람직하게는, 상기 산출하는 단계와 상기 디스플레이하는 단계는 상기 웨어러블 디바이스로 안경 형태의 디바이스를 이용한다.
바람직하게는, 상기 산출하는 단계는 상기 마커로 양측 안경테의 상단부에 부착된 마커들과 상기 양측 안경테의 하단부에 부착된 마커들을 이용한다.
바람직하게는, 상기 산출하는 단계는 상기 마커에 의해 획득된 운전자 눈의 위치와 이동 방향, 및 카메라에 의해 획득된 상기 마커의 위치를 기초로 상기 운전자의 시야각을 산출한다.
바람직하게는, 상기 산출하는 단계는 상기 마커를 이용하여 상기 차량의 전방을 기준으로 좌측과 우측 90도 범위 이내에서 운전자 눈의 움직임을 실시간으로 추적한다.
바람직하게는, 상기 산출하는 단계는 상기 마커로 상기 양측 안경테의 좌측단부에 부착된 마커들과 상기 양측 안경테의 우측단부에 부착된 마커들을 더 이용한다.
바람직하게는, 상기 생성하는 단계는 상기 출력 대상 영상을 스테레오 영상으로 생성하며, 상기 차량 외부에 대한 영상에서 적어도 두 방향에 대한 영상이 추출되면 상기 출력 대상 영상을 파노라마 영상으로 생성한다.
바람직하게는, 상기 생성하는 단계는 상기 시야각이 차량의 전방을 기준으로 좌측 방향으로 90도를 벗어나거나 우측 방향으로 90도를 벗어나는 것으로 판단되면 상기 출력 대상 영상을 생성한다.
본 발명은 웨어러블 디바이스에 부착된 마커를 기초로 운전자의 시야각을 산출하여 차량 주변의 영상을 출력 제어함으로써 다음 효과를 얻을 수 있다.
첫째, 차량 주변의 영상을 상측에서 바라본 2차원적인 평면 이미지가 아닌 운전자 시야에서 360도 주변의 영상을 확인할 수 있다.
둘째, 운전자는 웨어러블 디스플레이(Wearable Display) 장비를 사용하여 차체에 시야가 가려진 운전석 주변의 영상을 직관적으로 볼 수 있다.
도 1은 본 발명의 일실시예에 따른 3D AVM 시스템의 내부 구성을 도시한 개념도이다.
도 2는 도 1의 3D AVM 시스템을 구성하는 웨어러블 디스플레이 장비의 사시도이다.
도 3은 도 1의 3D AVM 시스템을 구성하는 카메라의 영상 수집 방법을 설명하기 위한 참고도이다.
도 4는 본 발명의 일실시예에 따른 3D AVM 시스템의 작동 방법을 설명하는 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명은 안경형 웨어러블 디스플레이(Wearable Display) 장비를 이용한 3D AVM(Around View Monitor) 시스템에 관한 것으로서, 자동차 주변의 360도 영상을 수집하여 웨어러블 디스플레이 장비를 통한 주변 영상을 출력하는 것을 특징으로 한다.
도 1은 본 발명의 일실시예에 따른 3D AVM 시스템의 내부 구성을 도시한 개념도이다.
3D AVM 시스템(100)은 안경 형태의 웨어러블 디스플레이 장비를 사용하여 차체에 시야가 가려진 운전석 주변의 영상을 직관적으로 볼 수 있도록 하는 것을 특징으로 한다. 안경 형태의 웨어러블 디스플레이 장비에 대해서는 도 2를 참조하여 후술한다.
3D AVM 시스템(100)은 상기한 특징에 따라 다음 효과를 얻을 수 있다. 첫째, 운전자는 웨어러블 디스플레이 장비에 의해 주변을 바라보는 것만으로도 차량 밖의 영상을 확인 가능해진다. 둘째, 운전자는 마치 유리로 만들어진 차량에 탑승한 듯한 효과를 느끼며 차량 주변의 모습들을 확인하는 것이 가능해진다.
시야각 측정 로직부(110)는 운전자의 시야각을 산출하는 기능을 수행한다. 시야각 측정 로직부(110)는 운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 운전자의 시야각을 산출할 수 있다.
시야각 측정 로직부(110)는 마커에 의해 마킹 데이터가 입력되면(111) 이 마킹 데이터를 기초로 시야각을 측정하며 그 측정 데이터를 부가 정보 첨부 로직부(130)로 전달한다(112). 시야각 측정 로직부(110)는 미리 정해진 4개의 포인트로부터 마킹 데이터를 입력받을 수 있다(4 Point Marking).
시야각 측정 로직부(110)는 운전자의 시선 방향을 측정할 때 카메라를 이용한 시선 추적이 아닌, 마커를 이용한 시야각 측정 기법을 이용한다.
기존의 시선 추적 기법은 시스템 부하량으로 인해 딜레이가 발생하며 정확한 시선 추적이 어려운 문제점이 있다. 시야각 측정 로직부(110)는 4 point marking을 이용한 광학 마커로 시선을 추적하기 때문에 종래보다 상대적으로 적은 부하량 및 빠른 추적이 가능한 장점이 있다.
또한 시야각 측정 로직부(110)는 2ms 이내에 3차원 공간 상의 거리 각도를 측정 가능하다. 시야각 측정 로직부(110)는 예상 위치값을 산출하여 위치 추정을 종래보다 빠르게 진행할 수 있으며, 다음 시선각을 예측하여 반영함으로써 조건에 따라 바로 영상 매핑 단계로 이동할 수 있다.
영상 수집부(120)는 차량 외부에 대한 영상을 획득하는 기능을 수행한다. 영상 수집부(120)는 다음 로직에 따라 차량 외부에 대한 화면을 수집한다.
영상 수집부(120)는 차량의 전방에 위치한 카메라(121), 차량의 좌측에 위치한 카메라(122), 차량의 우측에 위치한 카메라(123), 차량의 후방에 위치한 카메라(124) 등을 이용하여 자동차 주변의 전/후/측방 영상을 취득한다.
도 3은 도 1의 3D AVM 시스템을 구성하는 카메라의 영상 수집 방법을 설명하기 위한 참고도이다. 영상 수집부(120)는 도 3에 도시된 바와 같이 카메라(310)를 이용하여 차량 주변(320a, 320b, 320c)에 대한 영상, 예컨대 차량 전방(320a)에 대한 영상, 차량 측방(320b)에 대한 영상, 차량 후방(320c)에 대한 영상 등을 획득할 수 있다.
영상 수집부(120)는 취득된 카메라 영상을 병합하여 360도 이미지를 생성한다(125). 영상 수집부(120)는 생성된 영상을 이미지 또는 동영상 포맷으로 저장한다. 웨어러블 디스플레이 장비를 착용한 운전자가 측방, 후방 등을 바라보았을 경우 영상 수집부(120)는 모니터(Monitor) 상에서 차량 내부에 가려져 보이지 않는 부분의 영상을 보여준다.
부가 정보 첨부 로직부(130)는 시야각 측정 로직부(110)에 의해 측정된 시야각을 기초로 영상 수집부(120)에 의해 생성된 영상을 변환하는 기능을 수행한다. 부가 정보 첨부 로직부(130)는 운전자의 시선 위치에 따라 모니터 영상을 합성한다(131).
웨어러블 디스플레이 영상 전송부(140)는 부가 정보 첨부 로직부(130)에 의해 변환된 영상을 모니터로 출력한다(141). 또한 웨어러블 디스플레이 영상 전송부(140)는 모니터로 출력되는 영상을 차량 영상으로 수집하고 저장한다(142).
이상 설명한 3D AVM 시스템(100)은 증강현실 기능과 합성을 함으로써 단순히 전방의 증강현실 데이터 서비스가 아닌, 측방 및 후방의 증강현실 영상 서비스가 가능하다. 이것은 운전자 주변의 사각 지대가 사라지기 때문이다.
또한 3D AVM 시스템(100)은 후방 주차 상황시 직관적인 주변의 영상 확인이 가능하다.
또한 3D AVM 시스템(100)은 차량에 장착된 카메라를 활용하여 블랙박스 영상 시스템을 대체하여 360도 이미지 수집 시스템 기능으로 활용 가능하다.
또한 3D AVM 시스템(100)은 운전자 시야각을 측정하기 위하여 4 point marker를 사용하였기 때문에 빠른 위치 추적 및 웨어러블 장비의 센서 IC 원가 절감에 효과적이다.
도 2는 도 1의 3D AVM 시스템을 구성하는 웨어러블 디스플레이 장비의 사시도이다.
안경 형태의 웨어러블 디스플레이 장비(200)를 이용하여 운전자의 시선을 인지하는 방법은 다음과 같다.
안경(200)의 전면에는 4 POINT MARKING(201, 202, 203, 204)이 부착되어 있다. 먼저 차량 실내에 운전자 얼굴을 촬영하는 카메라를 장착하여 안경에 부착된 4 POINT MARKING 영상 이미지를 취득한다.
이후 4 POINT MAKING(201, 202, 203, 204)의 각도 및 사이즈(SIZE)를 측정하여 운전자의 시선 각도, 얼굴의 위치 좌표 등을 계산한다. 이때 POINT MAKING은 영상 처리 인식률의 향상을 위하여 특정 COLOR를 지정한다. 여기서 특정 컬러는 주변의 색과 구분되어지는 COLOR를 의미한다.
이후 4 Point의 위치 및 사각형 영역(205) 안의 안경 테두리의 모양을 사용하여 운전자의 거리, 회전각 등을 계산한다.
도 4는 본 발명의 일실시예에 따른 3D AVM 시스템의 작동 방법을 설명하는 흐름도이다. 이하 설명은 도 1과 도 4를 참조한다.
먼저 영상 수집부(120)가 차량 주변의 영상을 취득하여 360도 영상 정보를 저장한다(S405).
이후 시야각 측정 로직부(110)를 구성하는 마커 위치 정보 산출부가 운전자가 착용한 웨어러블 장치의 마커 위치 정보를 수집하며, 마커 기억부가 이 마커 위치 정보를 저장한다(S410).
이후 마커 위치 정보 산출부가 웨어러블 장치에 장착된 마커의 초기 위치를 포함한 마커 위치 정보를 산출한다(S415).
이후 마커 위치 정보 산출부가 마커 위치 정보에 기초하여 웨어러블 장치의 현재 위치 및 현재 각도를 포함한 상대 정보를 산출한다(S420).
이후 시야각 측정 로직부(110)를 구성하는 웨어러블 장치 위치 연산부가 운전자의 시야각을 계산한다(S425).
이후 웨어러블 장치 위치 연산부가 운전자의 시야각을 기초로 운전자의 시선 방향이 측방 또는 후방인지 여부를 판단한다(S430).
운전자의 시선 방향이 측방 또는 후방인 것으로 판단되면, 부가 정보 첨부 로직부(130)가 시야각에 따른 주변 영상을 매칭한다(S435). 이후 부가 정보 첨부 로직부(130)가 주변 영상을 웨어러블 디스플레이에 출력한다(S440).
반면 운전자의 시선 방향이 측방 또는 후방이 아닌 것으로 판단되면, 부가 정보 첨부 로직부(130)를 구성하는 마커 넥스트 스텝(next step) 위치 추정부가 마커의 위치 정보에 기초하여 마커의 예상 이동 위치를 추정한다(S445).
마커 넥스트 스텝 위치 추정부가 넥스트 스텝(next step)에서 운전자의 시선 방향이 측방 또는 후방인지 여부를 판단한다(S450).
넥스트 스텝에서 운전자의 시선 방향이 측방 또는 후방인 것으로 판단되면, 마커 넥스트 스텝 위치 추정부가 Next step 이미지 영상 대기 후(S460) 바로 영상 매칭 단계(S435)로 이동하도록 하여 불필요한 웨어러블 위치 연산을 하지 않는다.
반면 넥스트 스텝에서 운전자의 시선 방향이 측방 또는 후방인 것으로 판단되면, 마커 넥스트 스텝 위치 추정부가 주변 영상을 저장소에 보관한다(S455).
이상 도 1 내지 도 4를 참조하여 본 발명의 일실시 형태에 대하여 설명하였다. 이하에서는 이러한 일실시 형태로부터 추론 가능한 본 발명의 바람직한 형태에 대하여 설명한다.
본 발명의 바람직한 실시예에 따른 차량 외부 영상 출력 제어 장치는 영상 획득부, 시야각 산출부, 대상 영상 생성부, 영상 디스플레이부, 전원부 및 주제어부를 포함한다.
전원부는 차량 외부 영상 출력 제어 장치를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 주제어부는 차량 외부 영상 출력 제어 장치를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다. 차량 외부 영상 출력 제어 장치가 차량에 장착되는 것임을 고려할 때 전원부와 주제어부는 본 실시예에서 구비되지 않아도 무방하다.
영상 획득부는 차량 외부에 대한 영상을 획득하는 기능을 수행한다. 영상 획득부는 도 1 및 도 4의 영상 수집부(120)에 대응하는 개념이다.
영상 획득부는 차량 외부에 대한 영상으로 차량의 전방을 제외한 나머지 방향들에 대한 영상을 획득하거나 차량의 모든 방향들에 대한 영상을 획득할 수 있다.
시야각 산출부는 운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 운전자의 시야각을 산출하는 기능을 수행한다. 시야각 산출부는 도 1 및 도 4의 시야각 측정 로직부(110)에 대응하는 개념이다.
시야각 산출부는 웨어러블 디바이스로 안경 형태의 디바이스를 이용할 수 있다. 본 실시예에서 웨어러블 디바이스(wearable device)는 스마트 글라스(smart glasses) 등 안경형 웨어러블 디바이스로 구현될 수 있다.
시야각 산출부는 마커로 양측 안경테의 상단부에 부착된 마커들과 양측 안경테의 하단부에 부착된 마커들을 이용할 수 있다.
시야각 산출부는 마커에 의해 획득된 운전자 눈의 위치와 이동 방향, 및 카메라에 의해 획득된 마커의 위치를 기초로 운전자의 시야각을 산출할 수 있다.
시야각 산출부는 마커를 이용하여 차량의 전방을 기준으로 좌측과 우측 90도 범위 이내에서 운전자 눈의 움직임을 실시간으로 추적할 수 있다. 시야각 산출부는 운전자의 시선이 차량의 전방(0도)을 기준으로 좌측 방향으로 90도를 벗어나거나 우측 방향으로 90도를 벗어나는 것으로 판단되면 운전자가 차량의 측방이나 후방을 쳐다보는 것으로 판단하고 더이상 운전자 눈의 움직임을 추적하지 않는다.
시야각 산출부는 마커로 양측 안경테의 좌측단부에 부착된 마커들과 양측 안경테의 우측단부에 부착된 마커들을 더 이용할 수 있다.
대상 영상 생성부는 운전자의 시야각을 기초로 차량 외부에 대한 영상에서 적어도 일방향의 영상을 추출하여 출력 대상 영상으로 생성하는 기능을 수행한다. 대상 영상 생성부는 도 1 및 도 4의 부가 정보 첨부 로직부(130)에 대응하는 개념이다.
대상 영상 생성부는 차량 외부에 대한 영상에서 적어도 일방향에 대한 영상이 추출되면 출력 대상 영상을 스테레오 영상으로 생성할 수 있다. 대상 영상 생성부는 차량 외부에 대한 영상에서 적어도 두 방향에 대한 영상이 추출되면 출력 대상 영상을 파노라마 영상으로 생성할 수 있다.
대상 영상 생성부는 시야각이 차량의 전방을 기준으로 좌측 방향으로 90도를 벗어나거나 우측 방향으로 90도를 벗어나는 것으로 판단되면 출력 대상 영상을 생성할 수 있다.
영상 디스플레이부는 출력 대상 영상을 웨어러블 디바이스에 디스플레이하는 기능을 수행한다. 영상 디스플레이부는 도 1 및 도 4의 웨어러블 디스플레이 영상 전송부(140)에 대응하는 개념이다.
영상 디스플레이부는 웨어러블 디바이스로 안경 형태의 디바이스를 이용할 수 있다.
다음으로 차량 외부 영상 출력 제어 장치의 작동 방법에 대하여 설명한다.
먼저 차량 외부에 대한 영상을 획득한다.
이후 운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 운전자의 시야각을 산출한다.
이후 운전자의 시야각을 기초로 차량 외부에 대한 영상에서 적어도 일방향의 영상을 추출하여 출력 대상 영상으로 생성한다.
이후 출력 대상 영상을 웨어러블 디바이스에 디스플레이한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 차량 외부에 대한 영상을 획득하는 영상 획득부;
    운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 상기 운전자의 시야각을 산출하는 시야각 산출부;
    상기 시야각을 기초로 상기 차량 외부에 대한 영상에서 적어도 일방향의 영상을 추출하여 출력 대상 영상으로 생성하는 대상 영상 생성부; 및
    상기 출력 대상 영상을 상기 웨어러블 디바이스에 디스플레이하는 영상 디스플레이부
    를 포함하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  2. 제 1 항에 있어서,
    상기 영상 획득부는 상기 차량 외부에 대한 영상으로 상기 차량의 전방을 제외한 나머지 방향들에 대한 영상을 획득하거나 상기 차량의 모든 방향들에 대한 영상을 획득하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  3. 제 1 항에 있어서,
    상기 시야각 산출부와 상기 영상 디스플레이부는 상기 웨어러블 디바이스로 안경 형태의 디바이스를 이용하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  4. 제 3 항에 있어서,
    상기 시야각 산출부는 상기 마커로 양측 안경테의 상단부에 부착된 마커들과 상기 양측 안경테의 하단부에 부착된 마커들을 이용하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  5. 제 1 항에 있어서,
    상기 시야각 산출부는 상기 마커에 의해 획득된 운전자 눈의 위치와 이동 방향, 및 카메라에 의해 획득된 상기 마커의 위치를 기초로 상기 운전자의 시야각을 산출하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  6. 제 1 항에 있어서,
    상기 시야각 산출부는 상기 마커를 이용하여 상기 차량의 전방을 기준으로 좌측과 우측 90도 범위 이내에서 운전자 눈의 움직임을 실시간으로 추적하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  7. 제 4 항에 있어서,
    상기 시야각 산출부는 상기 마커로 상기 양측 안경테의 좌측단부에 부착된 마커들과 상기 양측 안경테의 우측단부에 부착된 마커들을 더 이용하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  8. 제 1 항에 있어서,
    상기 대상 영상 생성부는 상기 출력 대상 영상을 스테레오 영상으로 생성하며, 상기 차량 외부에 대한 영상에서 적어도 두 방향에 대한 영상이 추출되면 상기 출력 대상 영상을 파노라마 영상으로 생성하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  9. 제 1 항에 있어서,
    상기 대상 영상 생성부는 상기 시야각이 차량의 전방을 기준으로 좌측 방향으로 90도를 벗어나거나 우측 방향으로 90도를 벗어나는 것으로 판단되면 상기 출력 대상 영상을 생성하는 것을 특징으로 하는 차량 외부 영상 출력 제어 장치.
  10. 차량 외부에 대한 영상을 획득하는 단계;
    운전자가 착용한 웨어러블 디바이스에 부착된 마커를 이용하여 상기 운전자의 시야각을 산출하는 단계;
    상기 시야각을 기초로 상기 차량 외부에 대한 영상에서 적어도 일방향의 영상을 추출하여 출력 대상 영상으로 생성하는 단계; 및
    상기 출력 대상 영상을 상기 웨어러블 디바이스에 디스플레이하는 단계
    를 포함하는 것을 특징으로 하는 차량 외부 영상 출력 제어 방법.
  11. 제 10 항에 있어서,
    상기 산출하는 단계와 상기 디스플레이하는 단계는 상기 웨어러블 디바이스로 안경 형태의 디바이스를 이용하는 것을 특징으로 하는 차량 외부 영상 출력 제어 방법.
  12. 제 11 항에 있어서,
    상기 산출하는 단계는 상기 마커로 양측 안경테의 상단부에 부착된 마커들과 상기 양측 안경테의 하단부에 부착된 마커들을 이용하는 것을 특징으로 하는 차량 외부 영상 출력 제어 방법.
  13. 제 10 항에 있어서,
    상기 산출하는 단계는 상기 마커를 이용하여 상기 차량의 전방을 기준으로 좌측과 우측 90도 범위 이내에서 운전자 눈의 움직임을 실시간으로 추적하는 것을 특징으로 하는 차량 외부 영상 출력 제어 방법.
  14. 제 10 항에 있어서,
    상기 생성하는 단계는 상기 출력 대상 영상을 스테레오 영상으로 생성하며, 상기 차량 외부에 대한 영상에서 적어도 두 방향에 대한 영상이 추출되면 상기 출력 대상 영상을 파노라마 영상으로 생성하는 것을 특징으로 하는 차량 외부 영상 출력 제어 방법.
  15. 제 10 항에 있어서,
    상기 생성하는 단계는 상기 시야각이 차량의 전방을 기준으로 좌측 방향으로 90도를 벗어나거나 우측 방향으로 90도를 벗어나는 것으로 판단되면 상기 출력 대상 영상을 생성하는 것을 특징으로 하는 차량 외부 영상 출력 제어 방법.
KR1020140142393A 2014-10-21 2014-10-21 차량 외부 영상 출력 제어 장치 및 방법 KR102270577B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140142393A KR102270577B1 (ko) 2014-10-21 2014-10-21 차량 외부 영상 출력 제어 장치 및 방법
CN201510684490.6A CN105522971B (zh) 2014-10-21 2015-10-20 车辆外部图像输出控制装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140142393A KR102270577B1 (ko) 2014-10-21 2014-10-21 차량 외부 영상 출력 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160046480A true KR20160046480A (ko) 2016-04-29
KR102270577B1 KR102270577B1 (ko) 2021-06-29

Family

ID=55765621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140142393A KR102270577B1 (ko) 2014-10-21 2014-10-21 차량 외부 영상 출력 제어 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102270577B1 (ko)
CN (1) CN105522971B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108556738A (zh) * 2018-03-30 2018-09-21 深圳市元征科技股份有限公司 汽车a柱盲区的显示装置和方法
CN112884941A (zh) * 2021-01-19 2021-06-01 中国人民解放军32212部队 一种用于坦克装甲车辆作战试验的车载信息采集系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105974586A (zh) * 2016-05-12 2016-09-28 上海擎感智能科技有限公司 一种智能眼镜、智能眼镜的操控方法及操控系统
CN106339980A (zh) * 2016-08-22 2017-01-18 乐视控股（北京）有限公司 基于汽车的vr显示装置、方法及汽车
CN107009962B (zh) * 2017-02-23 2019-05-14 杭州电子科技大学 一种基于姿态识别的全景观测方法
CN107745713A (zh) * 2017-09-25 2018-03-02 南京律智诚专利技术开发有限公司 一种基于环境分析的车辆自动行驶系统的工作方法
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
CN109624857B (zh) * 2018-11-30 2022-03-29 沈阳工业大学 支持变道预警的夜视汽车外后视镜及实施方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165102A (ja) * 2011-02-04 2012-08-30 Kokusai Kogyo Co Ltd 撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法
KR101332253B1 (ko) * 2011-12-13 2013-12-02 현대자동차주식회사 사각지대를 발생시키지 않는 영상출력장치
KR20140054926A (ko) * 2012-10-30 2014-05-09 현대모비스 주식회사 사이드 영상 제공 장치 및 이를 포함하는 차량
CN103802728A (zh) * 2013-11-08 2014-05-21 广东好帮手电子科技股份有限公司 基于头盔显示器进行自动选景显示的驾驶辅助系统及方法
KR20140079947A (ko) * 2012-12-20 2014-06-30 한국전자통신연구원 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003300514A1 (en) * 2003-12-01 2005-06-24 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
DE102011112717B4 (de) * 2011-09-07 2017-05-04 Audi Ag Verfahren zum Bereitstellen einer Darstellung in einem Kraftfahrzeug abhängig von einer Blickrichtung eines Fahrzeugführers und Kraftfahrzeug mit einer Einrichtung zum Bereitstellen einer Darstellung in einem Kraftfahrzeug
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
CN103358996B (zh) * 2013-08-13 2015-04-29 吉林大学 汽车a柱透视化车载显示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012165102A (ja) * 2011-02-04 2012-08-30 Kokusai Kogyo Co Ltd 撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法
KR101332253B1 (ko) * 2011-12-13 2013-12-02 현대자동차주식회사 사각지대를 발생시키지 않는 영상출력장치
KR20140054926A (ko) * 2012-10-30 2014-05-09 현대모비스 주식회사 사이드 영상 제공 장치 및 이를 포함하는 차량
KR20140079947A (ko) * 2012-12-20 2014-06-30 한국전자통신연구원 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
CN103802728A (zh) * 2013-11-08 2014-05-21 广东好帮手电子科技股份有限公司 基于头盔显示器进行自动选景显示的驾驶辅助系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108556738A (zh) * 2018-03-30 2018-09-21 深圳市元征科技股份有限公司 汽车a柱盲区的显示装置和方法
CN112884941A (zh) * 2021-01-19 2021-06-01 中国人民解放军32212部队 一种用于坦克装甲车辆作战试验的车载信息采集系统

Also Published As

Publication number Publication date
KR102270577B1 (ko) 2021-06-29
CN105522971A (zh) 2016-04-27
CN105522971B (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
KR102270577B1 (ko) 차량 외부 영상 출력 제어 장치 및 방법
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US9563981B2 (en) Information processing apparatus, information processing method, and program
US8773534B2 (en) Image processing apparatus, medium recording image processing program, and image processing method
US20070003162A1 (en) Image generation device, image generation method, and image generation program
JP2018535402A (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
CN108352056A (zh) 用于校正错误深度信息的系统和方法
IL308285A (en) System and method for augmentation and virtual reality
KR20080024545A (ko) 화상 표시 시스템, 화상 표시 방법 및 기록 매체
US12010288B2 (en) Information processing device, information processing method, and program
CN110895676B (zh) 动态对象跟踪
KR20110114114A (ko) 실사형 3차원 네비게이션 구현방법
US10573083B2 (en) Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system
CN112242009A (zh) 显示效果融合方法、系统、存储介质及主控单元
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
US20160037154A1 (en) Image processing system and method
KR20110136038A (ko) 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
CN110769245A (zh) 一种校准方法及相关设备
JP2012116400A (ja) コーナーポール投影装置
JP7029350B2 (ja) 画像処理装置および画像処理方法
JP4207519B2 (ja) 移動体周辺監視装置
JP2018067300A (ja) 情報処理装置及びその制御方法
JP4310987B2 (ja) 移動体周辺監視装置
JP2005258792A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
KR101633501B1 (ko) 사이드 간격 정보를 제공하는 avm 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant