KR102578517B1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102578517B1
KR102578517B1 KR1020170006147A KR20170006147A KR102578517B1 KR 102578517 B1 KR102578517 B1 KR 102578517B1 KR 1020170006147 A KR1020170006147 A KR 1020170006147A KR 20170006147 A KR20170006147 A KR 20170006147A KR 102578517 B1 KR102578517 B1 KR 102578517B1
Authority
KR
South Korea
Prior art keywords
output
image
gaze
area
depth
Prior art date
Application number
KR1020170006147A
Other languages
English (en)
Other versions
KR20180083623A (ko
Inventor
나태영
이재성
전강원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170006147A priority Critical patent/KR102578517B1/ko
Priority to US15/868,501 priority patent/US10810774B2/en
Publication of KR20180083623A publication Critical patent/KR20180083623A/ko
Application granted granted Critical
Publication of KR102578517B1 publication Critical patent/KR102578517B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B60K37/02—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

이동체(vehicle)에 장착되는 전자 장치가 개시된다. 전자 장치는, 이동체의 운행 정보를 출력하기 위한 출력부, 이동체에 탑승한 사용자의 시선을 감지하기 위한 센서 및 감지된 시선의 평면상의 위치가 특정 영역 내에 속하면, 운행 정보를 출력하도록 출력부를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법 {ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF }
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 차량의 윈드쉴드에 영상을 투영할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.
최근, 국내외 완성차 업체를 비롯한 차량 관련 업체들이 운전자의 안전을 고려한 첨단 기술들을 잇따라 선보이고 있다. 대표적인 예로 헤드업디스플레이(Head Up Display, HUD) 기술이 있다. HUD 기술은 차량 정보나 길 안내 등 기존의 계기판이 나타내던 것들을 운전자의 우리 앞 방향에 투영시켜 보여주는 기술로서, 운전자가 전방을 주시한 채 운전에만 집중할 수 있도록 돕는 역할을 하는 것으로, 항공기에 적용되었던 기술을 자동차에 적용시킨 것이다.
일반적으로 널리 쓰이는 HUD 방식은 대시보드에 투사기를 설치하여, 윈드쉴드(wind shield)에 운행 정보를 증강현실(Augmented Reality) 방식으로 투영시키는 방식으로 운전자에게 정보를 제공하는 방식이다. 그러나, 종래의 HUD 방식은 윈드쉴드의 뒷면에 비치는 주변 배경이 투영되는 운행 정보와 혼합되어 보이기 때문에, 운전자에게 전방에 대한 인지 부하(cognitive load)를 오히려 가중시킬 수 있다. 이러한 문제를 해결하기 위해 제스처 혹은 음성을 기반으로 윈드쉴드에 투영되는 운행 정보를 나타내거나 사라지게 할 수도 있으나 제스처 혹은 음성에 기반한 방법은 운전자의 주의력 분산 혹은 동승자의 불편함을 초래하는 문제가 있다. 뿐만 아니라, 운전자가 운전 중 윈드쉴드의 일정 영역에 투영된 운행 정보를 확인할 때마다, 시선 위치 및 초점의 변화를 수반하게 되므로, 시각주의력 분산 및 시각 피로도를 유발하게 되는 문제가 있다.
따라서, 운전자의 의도에 따라 적절한 시선 방향에 운행 정보를 디스플레이하거나 디스플레이되지 않도록 할 수 있는 방안이 요구된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 운전자의 3D 시선 추적 기술 등을 활용함으로써, 사용자의 시선 방향에 기초하여 운행 정보를 제공할 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른, 전자 장치는, 이동체(vehicle)의 운행 정보를 출력하기 위한 출력부, 상기 이동체에 탑승한 사용자의 시선을 감지하기 위한 센서 및 상기 감지된 시선의 평면상의 위치가 특정 영역 내에 속하면, 상기 운행 정보를 출력하도록 상기 출력부를 제어하는 프로세서를 포함한다.
이때, 상기 프로세서는, 가상의 평면상에서 상기 감지된 시선의 방향을 나타내는 시선 좌표가 상기 가상의 평면상에서 기설정된 특정 영역 내에 존재하는 경우, 상기 감지된 시선의 방향이 상기 특정 영역을 향하는 것으로 판단할 수 있다.
또한, 상기 프로세서는, 상기 감지된 시선의 평면상의 위치에 대응되는 오브젝트까지의 거리를 기초로, 상기 운행 정보가 출력될 깊이를 결정할 수 있다.
또한, 상기 프로세서는, 상기 감지된 시선의 초점의 깊이를 기초로, 상기 운행 정보가 출력될 깊이를 결정할 수 있다.
또한, 상기 프로세서는, 상기 감지된 시선의 방향이 상기 특정 영역의 외부에서 상기 특정 영역의 내부로 이동하는 경우, 상기 운행 정보를 상기 초점의 깊이에 기초하여 결정된 깊이로 출력할 수 있다.
또한, 상기 프로세서는, 상기 감지된 시선의 초점의 깊이에 비례하도록, 상기 운행 정보가 출력될 깊이를 결정할 수 있다.
또한, 상기 프로세서는, 상기 이동체의 윈드쉴드(windshield)에 있어서, 상기 특정 영역에 대응되는 영역을 상기 운행 정보를 출력할 출력 영역으로 결정할 수 있다.
또한, 상기 프로세서는, 상기 출력 영역이 상기 윈드쉴드의 일 영역에 고정되도록 상기 특정 영역을 설정할 수 있다.
또한, 상기 전자 장치는, 상기 이동체 외부의 오브젝트를 촬영하기 위한 카메라를 더 포함하고, 상기 프로세서는, 상기 카메라를 통해 촬영된 영상에 기초하여, 상기 이동체의 윈드쉴드에 있어서, 상기 오브젝트가 투과되는 영역과 인접한 영역을 상기 운행 정보를 출력할 출력 영역으로 결정할 수 있다.
또한, 상기 오브젝트는, 상기 이동체 전방에 존재하는 타 이동체를 포함하고, 상기 프로세서는, 상기 윈드쉴드에서 상기 타 이동체가 투과되는 영역의 하단을 상기 출력 영역으로 결정할 수 있다.
또한, 상기 프로세서는, 상기 감지된 시선의 방향이 특정 영역을 향하지 않는 경우, 상기 운행 정보의 투명도를 증가시켜 출력할 수 있다.
한편, 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법은, 이동체(vehicle)에 탑승한 사용자의 시선을 감지하는 단계, 상기 감지된 시선의 평면상의 위치가 특정 영역 내에 속하는지 여부를 판단하는 단계 및, 상기 감지된 시선의 평면상의 위치가 특정 영역 내에 속한다고 판단되면, 상기 이동체의 운행 정보를 출력하는 단계를 포함한다.
여기서, 상기 판단하는 단계는, 가상의 평면상에서 상기 감지된 시선의 방향을 나타내는 시선 좌표가 상기 가상의 평면상에서 기설정된 특정 영역 내에 존재하는 경우, 상기 감지된 시선의 방향이 상기 특정 영역을 향하는 것으로 판단할 수 있다.
또한, 상기 출력하는 단계는, 상기 감지된 시선의 평면상의 위치에 대응되는 오브젝트까지의 거리를 기초로, 상기 운행 정보가 출력될 깊이를 결정하고, 상기 결정된 깊이로 상기 운행 정보를 출력할 수 있다.
또한, 상기 출력하는 단계는, 상기 감지된 시선의 초점의 깊이를 기초로, 상기 운행 정보가 출력될 깊이를 결정하고, 상기 결정된 깊이로 상기 운행 정보를 출력할 수 있다.
또한, 상기 출력하는 단계는, 상기 감지된 시선의 방향이 상기 특정 영역의 외부에서 상기 특정 영역의 내부로 이동하는 경우, 상기 운행 정보를 상기 초점의 깊이에 기초하여 결정된 깊이로 출력할 수 있다.
또한, 상기 출력하는 단계는, 상기 감지된 시선의 초점의 깊이에 비례하도록, 상기 운행 정보가 출력될 깊이를 결정할 수 있다.
또한, 상기 제어 방법은, 상기 이동체의 윈드쉴드에 있어서, 상기 특정 영역에 대응되는 영역을 상기 운행 정보를 출력할 출력 영역으로 결정하는 단계를 더 포함할 수 있다.
또한, 상기 결정하는 단계는, 상기 출력 영역이 상기 윈드쉴드의 일 영역에 고정되도록 상기 특정 영역을 설정할 수 있다.
또한, 상기 결정하는 단계는, 상기 이동체 외부의 오브젝트를 촬영하기 위한 카메라를 통해 촬영된 영상에 기초하여, 상기 이동체의 윈드쉴드에 있어서, 상기 오브젝트가 투과되는 영역과 인접한 영역을 상기 운행 정보를 출력할 출력 영역으로 결정할 수 있다.
또한, 상기 오브젝트는, 상기 이동체 전방에 존재하는 타 이동체를 포함할 수 있으며, 이 경우, 상기 결정하는 단계는, 상기 윈드쉴드에서 상기 타 이동체가 투과되는 영역의 하단을 상기 출력 영역으로 결정할 수 있다.
또한, 상기 출력하는 단계는, 상기 감지된 시선의 방향이 특정 영역을 향하지 않는 경우, 상기 운행 정보의 투명도를 증가시켜 출력할 수 있다.
본 발명의 다양한 실시 예에 따르면, HUD 영상을 보기 위한 운전자의 시선 이탈을 최소화함으로써, 운전자의 편의성을 증대하고 안전한 운전 환경을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 전자 장치의 구성을 간략히 도시한 블록도,
도 2는 본 발명의 일 실시 예에 따른, 전자 장치가 운행 정보를 투사하는 방법을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른, 센서를 이용하여 운전자의 시선을 추적하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 운전자의 초점 거리 변화에 따른 운행 정보의 깊이 변화를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른, 운행 정보가 투사되는 영역 및 투사되는 운행 정보의 깊이룰 설명하기 위한 도면
도 6a 및 6b는 본 발명의 일 실시 예에 따른, 운행 정보의 시인성이 변경되는 것을 나타낸 도면,
도 7은 본 발명의 일 실시 예에 따른, 운전자와 선행 차량 사이의 거리에 따라 운행 정보가 출력되는 크기가 변경되는 것을 나타낸 도면,
도 8은 본 발명의 일 실시 예에 따라, 선행 차량이 운전자에게 지나치게 가까운 경우에 운행 정보가 투사되는 위치를 설명하기 위한 도면,
도 9는 본 발명의 일 실시 예에 따른, 선행차량이 존재하지 않을 때에 운행 정보가 디스플레이되는 영역의 위치를 설명하기 위한 도면,
도 10은 본 발명의 일 실시 예에 따른, 운전자의 시선에 따라 운행 정보의 시인성을 변경하는 과정을 설명하기 위한 흐름도,도 11은 본 발명의 다른 실시 예에 따른, 전자 장치의 세부 구성을 나타내는 블록도,
도 12는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 ‘제1’, ‘제2’ 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, ‘포함한다’ 또는 ‘구성한다’ 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 ‘모듈’, ‘유닛’, ‘부(Part)’ 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성 요소를 지칭하기 위한 용어이며, 이러한 구성 요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다. 또한, 복수의 ‘모듈’, ‘유닛’, ‘부(part)’ 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른, 전자 장치의 구성을 간략히 도시한 블록도이다. 도 1에 따르면 본 발명의 일 실시 예에 따른 전자 장치(100)는 출력부(110), 센서(120) 및 프로세서(130)를 포함한다.
본 발명에 있어서, 전자 장치(100)는 이동체의 현재 속도, 연료 잔량, 네비게이션 길 안내 정보 등의 운행 정보를 그래픽 이미지로 출력해줄 수 있는 장치를 의미하며, 헤드업 디스플레이(Head Up Display: HUD)로 명명될 수 있다. 여기서, 이동체는 오토바이, 자동차 등 이륜 또는 사륜으로 구동되는 운송수단을 의미하며, 이하에는 편의상 차량으로 명명하도록 한다.
출력부(110)는 차량의 운행 정보를 출력하기 위한 구성이다. 구체적으로, 출력부(110)는 차량의 운행 정보를 차량의 윈드쉴드(windshield)에 출력할 수 있다. 여기서, 윈드쉴드는 주로 차량에 탑승한 사용자가 바라보는 방향에 존재하는 전면 유리를 의미할 수 있다. 출력부(110)는 주로 차량의 운행 정보를 포함하는 영상을 윈드쉴드에 투사하는 형태로 구현될 수 있다. 여기서, 사용자는 일반적으로 차량의 운전자를 의미하며, 운전자 이외에도 차량의 조수석 등에 탑승한 탑승자, 무인 자동차의 탑승자 등 차량을 사용하는 사람을 포괄적으로 의미할 수 있다. 이하에서는 편의상 사용자를 운전자로 명명하도록 한다.
한편, 운행 정보는 속도 정보, 방향 정보, 표지판 정보, 신호등 정보, 목적지 정보, 목적지까지 남은 거리, 남은 연료, 경로 변경 등 운전자가 탑승한 차량의 운행과 관련된 정보를 의미한다. 운행 정보는 전자 장치(100)가 차량의 움직임을 감지하거나 위성 통신을 통해 위치 정보를 수신함으로써 생성될 수 있으며, 전자 장치(100)가 차량에 따로 구비된 네비게이션 장치와 연동되는 경우에는, 네비게이션 장치로부터 수신되는 다양한 정보일 수 있다. 운행 정보는 윈드쉴드상에 증강현실(augmented reality) 형태로 투사되어 표시됨으로써, 운전자가 운행 정보를 확인하기 위해서 별도의 단말기 방향으로 시선을 옮길 필요가 없고 운행 정보가 출력된 전방을 바라보면서 주행할 수 있으므로 운전자의 시선이 분산되는 것을 방지할 수 있다.
출력부(110)는 투과형 MEMS(Transparent Micro Electro Mechanical System) 디스플레이 소자를 포함할 수 있다. 투과형 MEMS는 운행 정보가 투사되는 영역, 즉 아이박스(eye box)의 크기를 다양하게 조절할 수 있다.
도 2를 참조하면, 출력부(110)는 운행 정보를 투사하는 투사부(111) 및 투사부(111)에서 투사되는 운행 정보의 광로를 변경하여 윈드쉴드(200)에 반사시키는 비구면 미러(112)를 포함할 수 있다. 또한, 출력부(110)는 투사부(111)에서 투사되는 운행 정보를 비구면 미러(112)에 반사시키는 적어도 하나의 미러(미도시)를 더 포함할 수 있다.
한편, 투사부(111)에서 투사된 운행 정보를 비구면 미러(112)를 통해 한번만 반사시키는 경우에는 운행 정보의 좌/우가 반전되기 때문에, 프로세서(120)는 투사부(111)를 통해 투사될 운행 정보의 좌/우가 미리 반전되도록 제어할 수 있다. 프로세서(120)는 출력부(110)에 포함된 비구면 미러(112)의 각도 또는 위치를 제어하거나 투사부(111)에서 투사되는 각도 또는 방향을 제어하여 윈드쉴드(200)에서 운행 정보가 투사되는 영역(21)을 조절할 수 있다.
센서(120)는 차량에 탑승한 운전자의 시선을 감지하기 위한 구성이다. 구체적으로, 센서(120)는 한 쌍의 카메라를 구비할 수 있으며, 한 쌍의 카메라를 통해 각각 촬영된 영상을 이용하여 운전자의 눈동자 위치, 시선 방향 및 초점 등을 분석할 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어하는 구성이다.
특히, 프로세서(130)는 감지된 시선의 평면상의 위치가 특정 영역 내에 속하면, 운행 정보를 출력하도록 출력부(110)를 제어할 수 있다.
구체적으로, 프로세서(130)는 감지된 시선의 방향을 나타내는, 가상의 평면상의 시선 좌표가 가상의 평면상에서 기설정된 특정 영역 내에 존재하는 경우, 감지된 시선의 방향이 특정 영역을 향하는 것으로 판단할 수 있다.
예를 들어, 사용자가 선행 차량(300) 후면의 하단에 위치하는 영역을 바라보는 경우, 프로세서(130)는 선행 차량(300) 후면의 하단에 위치하는 영역을 투과하는 윈드쉴드 영역(21)에 운행 정보(22)를 출력하도록 제어할 수 있다. 이에 대한 구체적인 설명은 후술하도록 한다.
도 3을 참조하면, 센서(120)는 복수의 제1 카메라(10-1, 10-2)를 포함할 수 있다. 복수의 제1 카메라(10-1, 10-2)는 각각 차량에 탑승한 운전자를 촬영하며, 프로세서(130)는 복수의 제1 카메라(10-1, 10-2)를 통해 각각 촬영된 영상을 이용하여 운전자의 눈동자 위치를 분석할 수 있다. 프로세서(130)는 운전자의 눈동자 위치의 분석 정보를 이용하여, 운전자의 시선에 대한 가상의 평면(30)상의 위치인 시선 좌표(x, y)를 도출할 수 있다. 여기서, 시선 좌표(x, y)는 가상의 평면(30)상에서 운전자의 시선이 통과하는 지점의 2차원 좌표를 의미한다. 이에 따라, 프로세서(130)는 도출된 시선 좌표(x, y)가 평면(30)상에서 기설정된 특정 영역 내에 존재하는지 여부를 판단하고, 도출된 시선 좌표(x, y)가 평면(30)상에서 기설정된 특정 영역 내에 존재한다고 판단되면, 감지된 시선의 방향이 특정 영역을 향하는 것이라고 판단할 수 있다.
프로세서(130)는 감지된 시선의 평면(30)상의 위치가 특정 영역 내에 속한다고 판단되면, 윈드쉴드(200)에 운행 정보를 출력할 수 있다. 이때, 특정 영역은 실시 예에 따라서 평면(30)상의 고정된 위치일 수도 있고, 운전자가 응시하는 오브젝트의 위치에 따라 달라지는 영역일 수도 있다.
여기서, 오브젝트는 차량의 외부에 존재하는 것으로서, 윈드쉴드(200)를 통해 운전자에게 보여지는 오브젝트일 수 있으며, 운전자가 탑승한 차량의 선행 차량, 나무, 표지판 등 다양한 종류의 오브젝트를 포함할 수 있으나, 일반적으로 운전자가 운전시에 주로 응시하게 되는 오브젝트임이 바람직하다. 운전자는 운전시에 주로 선행 차량의 후미를 응시하는 경우가 많으므로 이하에서는, 오브젝트가 선행 차량인 경우를 일 실시 예로 설명하도록 한다.
특정 영역은, 제2 카메라(11-1, 11-2)로부터 차량의 전방을 촬영한 영상에서의 선행 차량(300)의 위치에 대응되는 평면(30)상의 위치일 수 있다. 감지된 시선의 평면(30)상의 위치가 특정 영역 내에 속한다는 것은, 사용자가 선행 차량(300)을 응시하고 있다는 것을 의미한다. 제2 카메라(11-1, 11-2)는 운전자가 탑승한 차량 내부 또는 외부에 차량 전방을 촬영 방향으로 하여 설치될 수 있으며, 실시 예에 따라 전자 장치(100)에 포함되거나, 전자 장치(100)와 별도로 구성될 수 있다. 제2 카메라(11-1, 11-2)가 전자 장치(100)와 별도로 구성되는 경우에는, 제2 카메라(11-1, 11-2)로부터 촬영된 영상이 전자 장치(100)에 마련된 영상 수신부(미도시)로 실시간 전송되도록 구현될 수 있다. 실시 예에 따라서는, 차량에 설치된 블랙박스 카메라가 제2 카메라(11-1, 11-2)로 이용될 수도 있을 것이다.
프로세서(130)는 제2 카메라(11-1, 11-2)를 통해 촬영된 영상에서 기설정된 오브젝트인 선행차량(300)을 인식하고, 촬영된 영상에서의 선행 차량의 위치를 검출할 수 있다. 프로세서(130)는 촬영된 영상에 있어서, 감지된 운전자의 시선 좌표와 일대일로 매칭되는 영역을 탐색할 수 있으며, 촬영된 영상에서의 선행 차량의 위치 및 감지된 운전자의 시선 좌표를 이용하여, 운전자가 선행차량(300)의 후미를 응시하는지 여부를 판단할 수 있다. 운전자가 선행차량(300)의 후미를 응시한다고 판단되는 경우, 선행차량(300)이 제1 카메라(10-1, 10-2)를 통해 감지된 시선의 평면(30)상의 위치에 대응되는 오브젝트가 된다. 프로세서(130)는 감지된 시선의 평면(30)상의 위치가 특정 영역 내에 속하면, 운행 정보를 출력하도록 출력부(110)를 제어할 수 있다.
또한, 프로세서(130)는 감지된 시선의 평면(30)상의 위치에 대응되는 오브젝트까지의 거리를 기초로, 운행 정보가 출력될 깊이를 결정할 수 있다. 이는 운전자가 오브젝트를 응시하다가 출력되는 운행 정보를 확인할 때의 초점의 변화가 최소화되도록, 운전자와 오브젝트 사이의 거리에 기초하여 운행 정보의 출력 깊이를 변경하기 위한 것이다. 예를 들어, 도 4에 도시된 바와 같이, 선행 차량(300)이 운전자로부터 50m만큼 떨어져 있는 경우, 선행 차량(300)에 대한 시선의 초점 거리 a보다 선행 차량(300)이 운전자로부터 100m만큼 떨어져 있는 경우, 선행 차량(300)에 대한 시선의 초점 거리 b가 더 클 것이다. 따라서, 출력되는 운행 정보는 운전자가 응시하는 선행 차량(300)까지의 거리에 대응되도록 깊이가 결정될 수 있다. 이에 대한 구체적인 내용은 도 5와 관련하여 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른, 운행 정보가 투사되는 영역 및 투사되는 운행 정보의 깊이룰 설명하기 위한 도면이다.
프로세서(130)는 촬영된 영상에서의 선행 차량(300)의 위치가 검출되면, 운전자, 윈드쉴드(200) 및 차량의 전방에 대한 정보를 생성하는 제2 카메라(11-1, 11-2)의 상대적 위치에 대한 정보를 이용하여 운전자에게 윈드쉴드(200)에서 전방의 선행 차량(300)이 투과되어 보이는 영역(51)을 판단할 수 있다.
구체적으로, 프로세서(130)는 촬영된 영상의 배율을 제2 카메라(11-1, 11-2)의 위치에서 실제 보여지는 크기로 조정하여 제2 카메라(11-1, 11-2)의 위치에서 윈드쉴드(200)에서 선행 차량(300)이 투과되어 보이는 영역(51)을 판단할 수 있다. 이때, 프로세서(130)는 운전석에 탑승한 운전자의 눈동자와 제2 카메라(11-1, 11-2)의 상대적 위치 차이만큼, 윈드쉴드(200)에서 선행 차량(300)이 투과되어 보이는 영역의 위치를 조정하여 최종적으로 선행 차량(300)이 투과되어 보이는 영역(51)을 판단할 수 있다.
여기서, 운전자, 윈드쉴드(200) 및 제2 카메라(11-1, 11-2)의 절대적 위치 또는 상대적 위치, 선행 차량(300)을 인식하기 위한 선행 차량(300)의 후면과 관련된 정보(특히, 선행 차량의 후면의 형태 및 색상)과 관련된 다양한 정보는 프로세서(130) 내에 포함된 ROM(131), 전자 장치(100)에 포함된 저장부(140) 또는 별도의 탈착 가능한 메모리에 기 저장될 수 있다.
윈드쉴드(200)에서 전방의 선행 차량(300)이 투과되어 보이는 영역(51)이 판단되면, 프로세서(130)는 선행 차량(300)이 투과되어 보이는 영역(51)과 인접한 기 설정된 영역(52)을 운행 정보를 투사할 투사 영역으로 결정할 수 있다. 도 5에 도시된 실시 예에서, 프로세서(130)는 운전자에게 운전자가 탑승한 차량 및 선행 차량(300) 사이의 노면이 투과되어 보이는 영역 중 선행 차량(300)이 투과되어 보이는 영역을 기준으로 기 설정된 영역(52)을 운행 정보를 투사할 투사 영역(52)으로 결정할 수 있다. 특히, 운전자는 습관적으로 운전 중에 선행 차량(300)의 후면을 주시하므로, 운행 정보가 투사되는 영역(52)은 윈드쉴드(200)에서 운전자가 탑승한 차량 및 선행 차량(300) 사이의 노면이 투과되어 보이는 영역 중 선행 차량(300) 후면 하단(53)이 투과되어 보이는 영역으로 설정되는 것이 바람직하다. 이때, 운행 정보가 투사되는 영역(52)은 윈드쉴드(200)에서 선행 차량(300)이 투과되어 보이는 영역(51)을 기준으로 결정되므로, 선행 차량(300)의 위치에 따라 달라질 수 있다.
즉, 윈드쉴드(200)에서 운전자가 탑승한 차량 및 선행 차량(300) 사이의 노면이 보여지는 영역에서, 선행 차량(300)이 보여지는 영역(51)에 근접한 영역(52)에 운행 정보가 투사됨으로써, 선행 차량(300)의 후면을 주시하고 운전하는 운전자가 운행 정보를 확인할 때에도 운전자의 시선 분산을 최소화시킬 수 있게 된다.
다만, 상술한 실시 예에서, 운행 정보가 투사되는 영역(52)이 선행 차량(300)이 투과되어 보이는 영역(51)에 근접하도록 조정되어 운전자의 시선 이탈을 최소화하더라도, 운전자가 윈드쉴드(200)에 표시된 운행 정보를 볼 때마다 매번 눈동자의 초점을 변경해야 한다는 문제점이 남아 있다. 구체적으로, 운전자가 선행 차량(300)을 주시하다가 윈드쉴드(200)에 투사되는 운행 정보를 보기 위해서는 윈드쉴드(200) 너머에 있는 선행 차량(300)에 맞춰져 있는 눈동자의 초점을 윈드쉴드(200)의 운행 정보가 투사되는 영역(52)에 대응되도록 변경하여야 하는 불편이 존재한다. 이러한 불편을 최소화하기 위한 본 발명의 일 실시 예에 따르면, 윈드쉴드(200)에 투사되는 운행 정보의 깊이(depth)를, 선행 차량(300)을 바라보는 운전자의 눈동자 초점에 대응되도록 조정함으로써, 운행 정보를 확인하기 위한 운전자의 초점 변화를 최소화할 수 있다.
구체적으로, 프로세서(130)는 운전자와 선행 차량(300) 사이의 거리에 따라서 운행 정보의 출력 깊이를 조정할 수 있으며, 이를 위해 전방을 촬영한 영상을 분석하여 운전자와 선행 차량(300) 사이의 거리를 예측할 수 있다.
운전자로부터 선행 차량(300)까지의 거리를 측정하기 위한 본 발명의 일 실시 예에 따른 전자 장치(100)는 제2 카메라(11-1, 11-2)로부터 차량의 전방을 촬영한 영상을 이용하여 선행차량(300)까지의 거리를 측정할 수 있다.
프로세서(130)는 제2 카메라(11-1, 11-2)를 통한 삼각기법을 기반으로 운전자와 인식된 선행차량(300)까지의 거리를 측정할 수 있다. 이때, 프로세서(130)는 제2 카메라(11-1, 11-2) 사이의 간격, 제2 카메라(11-1, 11-2)의 초점 및 제2 카메라(11-1, 11-2)로부터 촬영된 두 영상의 시차(disparity) 값이 이용될 수 있다.
시차는, 제2 카메라(11-1, 11-2)를 통해 촬영된 각각의 영상 내의 선행 차량(300)이 대응되는 위치의 차이를 의미한다. 시차는 운전자와 선행 차량(300) 사이의 거리에 반비례하며, 따라서 선행 차량이 가까이 있으면 시차는 커지고, 선행 차량이 멀리 있으면 시차는 작아지게 된다. 시차는 제2 카메라(11-1, 11-2) 사이의 거리가 멀수록 커지고, 시차가 클수록 운전자와 선행 차량(300) 사이의 거리 정보를 보다 정확하게 측정할 수 있다. 따라서, 제2 카메라(11-1, 11-2)의 간격은 클수록 바람직하다.
초점 및 시차 값은 제2 카메라(11-1, 11-2)에서 촬영된 영상으로부터 획득될 수 있으며, 제2 카메라(11-1, 11-2) 사이의 간격은 전자 장치(100) 내에 기저장된 값 혹은 사용자로부터 미리 입력된 값일 수 있다.
거리 측정 과정에는 제2 카메라(11-1, 11-2)의 내/외부 변수를 추정하는 카메라 칼리브레이션 과정과 제2 카메라(11-1, 11-2)에서 각각 촬영된 영상 간의 시차를 이용하여 깊이 값을 추정하는 스테레오 정합(stereo-matching) 과정이 포함될 수 있다. 스테레오 정합은 세로 엣지(edge) 만을 매칭하거나 영상 전체를 매칭하는 방법에 의해 수행될 수 있으며, 예를 들어, SGM(Semi-Global Matching) 방법이 이용될 수 있다. 이와 같은 과정에 따라, 제2 카메라(11-1, 11-2)로부터 선행 차량까지의 거리가 측정되면, 차량 내의 운전석에 탑승한 사람의 평균적인 눈동자의 위치에서 선행 차량(300)까지의 거리가 도출될 수 있으며, 이에 따라 운전자와 선행 차량(300) 사이의 거리를 예측할 수 있다.
운전자와 선행 차량(300) 사이의 거리가 예측되면, 예측된 거리에 비례하도록, 운행 정보가 출력될 깊이가 결정될 수 있다. 즉, 프로세서(130)는 운전자와 선행 차량(300) 사이의 거리가 멀면, 운행 정보가 출력될 깊이값을 증가시키고, 운전자와 선행 차량(300) 사이의 거리가 가까워지면, 운행 정보가 출력될 깊이값을 감소시킬 수 있다. 이를 위하여, 전자 장치(100)는 운전자와 선행 차량(300) 사이의 거리 별로 이에 대응되는 운행 정보의 깊이가 매칭된 테이블을 기저장할 수 있으며, 프로세서(130)는 기저장된 테이블을 이용하여 출력될 운행 정보의 깊이를 실시간으로 조정할 수 있다.
한편, 운전자와 선행 차량(300) 사이의 거리를 측정하는 다른 방법으로서, 프로세서(130)는 전방을 촬영한 영상에서 선행 차량이 표시되는 크기에 기초하여 운전자와 선행 차량(300) 사이의 거리를 예측할 수 있다. 이때, 전자 장치(100)는 전방을 촬영한 영상에서 선행 차량(300)이 표시되는 크기별로 운전자와 선행 차량(300) 사이의 거리를 매칭시킨 테이블을 기저장할 수 있으며, 프로세서(130)는 기저장된 테이블을 이용하여 운전자와 선행 차량(300) 사이의 거리를 실시간으로 판단할 수 있다. 이러한 실시 예의 경우, 차량의 전방을 촬영하는 하나의 카메라(11-1 또는 11-2)로부터 촬영된 영상만이 이용될 수 있다.
이외에도, 운전자와 선행 차량(300) 사이의 거리는 제2 카메라(11-1, 11-2) 외에도 레이더 등 다양한 방법으로 측정될 수 있으며, 거리 측정 방법이 본 발명의 기술적 사상의 구현을 제한하지 않는다.
한편, 프로세서(130)는 제1 카메라(10-1, 10-2)를 통해 감지된 시선의 초점의 깊이를 판단하고, 초점의 깊이를 기초로, 운행 정보가 출력될 깊이를 결정할 수도 있다. 구체적으로, 프로세서(130)는 선행 차량을 바라보는 운전자의 초점의 깊이와 비례하도록, 투사되는 운행 정보의 깊이를 조정할 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 선행 차량(300)이 운전자로부터 50m에서 100m만큼 멀어지는 경우, 선행 차량을 바라보는 운전자의 초점의 깊이가 증가하게 되므로 프로세서(130)는 출력되는 운행 정보의 출력 깊이를 증가시킬 수 있다. 이 경우, 전자 장치(100)는 눈동자의 초점 깊이별로 이에 대응되는 운행 정보의 깊이가 매칭된 기저장된 테이블을 이용하여, 투사되는 운행 정보의 깊이를 실시간으로 조정할 수 있다. 한편, 프로세서(130)는 감지된 시선의 방향이 특정 영역의 외부에서 특정 영역의 내부로 이동되는지 여부를 판단하고, 감지된 시선의 방향이 특정 영역의 내부로 이동되는 경우 초점의 깊이에 기초하여 결정된 깊이를 가지는 운행 정보를 출력할 수 있다. 또는, 감지된 시선의 방향이 특정 영역의 내부로 이동되는 경우 출력되는 운행 정보의 가시도(visibility)가 증가할 수 있다. 이에 대한 구체적인 내용은 도 6a 및 6b와 관련하여 설명하도록 한다.
도 6a 및 6b는 본 발명의 일 실시 예에 따른 운행 정보의 시인성이 변경되는 것을 나타낸 도면이다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 제1 카메라(10-1, 10-2)를 통해 촬영되는 영상을 이용하여 운전자의 시선을 실시간으로 추적하고, 운전자의 시선이 윈드쉴드(200)에서 선행차량(300)이 투과되는 영역을 기준으로 설정된 특정 영역 내에 속하는지 여부에 따라 운행 정보의 투사 여부를 결정하거나 투사되는 운행 정보의 표시 속성을 조절할 수 있다.
구체적으로, 프로세서(130)는 제1 카메라(10-1, 10-2) 및 제2 카메라(11-1, 11-2)로부터 수신되는 영상에 기초하여 운전자의 시선을 추적한다. 이때, 프로세서(130)는 추적되는 운전자의 시선에 따라, 운전자의 시선이 운행 정보를 투사할 영역으로 결정된 특정 영역(81) 내에 속하는지 여부를 판단하고, 판단 결과에 따라 운행 정보의 투사하거나 투사하지 않을 수 있고, 운행 정보가 윈드쉴드(200)에 표시되는 상태를 변경하도록 제어할 수도 있다.
예를 들어, 도 6a에 도시된 바와 같이, 프로세서(130)는 운전자의 시선이 현재 윈드쉴드(200)에서 선행 차량(300)의 하단에 위치하는 노면이 투과되어 보이는 특정 영역(61) 내에 속하지 않는다고 판단되는 경우, 윈드쉴드(200)에 투사되는 운행 정보의 시인성이 낮아지도록 운행 정보의 투명도를 증가시킬 수 있다. 즉, 운전자가 선행 차량(300) 후면의 하단을 주시하지 않는 경우에는 운행 정보의 시인성이 낮아지도록 운행 정보의 표시속성을 조정하여, 운행 정보와 차량 전방의 배경이 혼합되어 운전자에게 인지 부하(cognitive load)가 가중되는 것을 방지할 수 있다. 또한, 프로세서(130)는 운전자의 시선이 특정 영역(61) 내에 속하지 않는다고 판단되는 경우, 윈드쉴드(200)에 운행 정보를 투사하지 않을 수도 있다.
또한, 프로세서(130)는 도 6a에 도시된 바와 같이, 윈드쉴드(200)에서 운행 정보가 표시되는 영역(61)의 외곽선(62)만 표시되도록 제어할 수 있다. 또한, 운행 정보가 표시되는 영역(61)은 운행 정보를 출력하기 위해 운전자가 바라보아야 하는 특정 영역과 일치할 수도 있으며, 특정 영역과 별개의 영역으로 구현될 수 있다.
도 6b에 도시된 바와 같이, 운전자의 시선이 윈드쉴드(200)에서 선행차량(300)이 투과되어 보이는 영역 주변의 기설정된 특정 영역(61)에 속하는 경우, 프로세서(130)는 운행 정보를 투사하거나, 투사되는 운행 정보의 시인성을 높게 조절할 수 있다. 예를 들어, 프로세서(130)는 운행 정보의 투명도를 감소시켜 운행 정보에 대한 시인성을 높일 수 있다.
이에 따라, 운전자는 운행 정보를 확인하고자 할 때에만 시선 방향 및 초점의 최소한의 변경만으로 운행 정보를 확인할 수 있게 되므로 운전자의 시각주의력 분산과 시각 피로도 유발을 최소화할 수 있게 된다.
한편, 본 발명의 일 실시 예에 따르면, 프로세서(130)는 차량의 전방을 촬영한 영상에 기초하여 선행 차량(300)과의 사이의 노면(63)의 색상을 판단하고, 노면(63)의 색상에 따라 운행 정보의 색상을 변경하여 투사하도록 제어할 수 있다. 구체적으로, 프로세서(130)는 투사되는 운행 정보의 색상을 판단된 노면(63)의 색상과 잘 구별될 수 있도록 하기 위하여 서로 다른 색상이 되도록 조정할 수 있다. 예를 들어, 노면(63)의 색상이 어두운 계통의 색상인 경우, 프로세서(130)는 운행 정보를 밝은 계통의 색상으로 변경할 수 있다. 또한, 노면(63)의 색상이 밝은 계통의 색상인 경우, 프로세서(130)는 운행 정보를 어두운 계통의 색상으로 변경할 수 있다. 다른 실시 예로는, 프로세서(130)는 투사되는 운행 정보를 노면(63)의 색상과 보색(complementary color)이 되는 색상으로 변경할 수도 있다.
도 7 및 8은 본 발명의 일 실시 예에 따른, 운전자와 선행차량 사이의 거리에 따라 투사되는 운행 정보의 위치 및 크기가 변경되는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 전자 장치(100)의 프로세서(130)는, 운전자가 탑승한 차량(1000)과 선행차량(300) 사이의 거리를 판단하고, 운전자와 선행 차량(300) 사이의 거리에 따라 표시될 운행 정보의 크기를 변경하여 투사하도록 제어할 수 있다. 이때, 프로세서(130)는 운전자와 선행 차량(300) 사이의 거리가 멀어지면, 투사되는 운행 정보의 크기를 감소시키고, 운전자와 선행 차량 사이의 거리가 가까워지면, 투사되는 운행 정보의 크기를 증가시킬 수 있다.
도 7에 도시된 바와 같이, 선행 차량(300)과 차량(1000)에 탑승한 운전자와의 간격이 클수록, 운전자에게 윈드쉴드(200)를 통해 보여지는 선행 차량(300)의 크기가 작아지게 된다. 이때, 투사되는 운행 정보의 크기는 운전자에게 보여지는 선행 차량(300)의 크기에 비례하여 변경될 수 있다. 따라서, 선행 차량(300)이 차량(1000)에 탑승한 운전자로부터 50미터 떨어진 경우에 윈드쉴드(200)의 특정 영역(71)에 투사되는 운행 정보의 크기(72)는 선행 차량(300)이 100미터 떨어진 경우에 투사되는 운행 정보의 크기(73)보다 상대적으로 크게 된다.
도 8은 본 발명의 일 실시 예에 따라, 선행 차량(300)이 운전자에게 지나치게 가까운 경우에 운행 정보가 투사되는 위치를 설명하기 위한 도면이다. 도 8에 도시된 바와 같이, 선행 차량(300)이 운전자와 가까운 경우에는 운전자가 탑승한 차량 및 선행 차량(300) 사이의 노면이 투과되어 보이는 영역이 존재하지 않게 되므로, 프로세서(130)는 윈드쉴드(200)에서 노면 대신 선행 차량(300)이 투과되어 보이는 영역 중 일 영역(81)에 운행 정보를 투사할 수 있다.
도 9는 본 발명의 일 실시 예에 따른, 선행차량이 존재하지 않을 때에 운행 정보가 디스플레이되는 위치를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 전자 장치(100)의 프로세서(130)는 윈드쉴드(200)에서 선행 차량이 투과되어 보이는 영역이 존재하지 않는 경우, 노면의 소실점(vanishing point)을 인식하고, 상기 윈드쉴드(200)에서 노면의 소실점이 투과되어 보이는 영역 주변의 특정 영역을 운행 정보를 투사할 영역으로 결정할 수 있다.
도 9에 도시된 바와 같이, 선행차량이 존재하지 않으면 운전자는 노면의 외곽을 이루는 평행한 직선들이 한 점에서 만나는 지점인 소실점(91)을 주시하는 경우가 많다. 이때, 프로세서(130)는 소실점(91)을 인식하기 위한 다양한 정보(지평선 아래의 노면과 지평선 위의 하늘 간의 색상 차이 등)에 기초하여 소실점(91)을 인식할 수 있다. 소실점(91)을 인식하기 위한 다양한 정보는 프로세서(130) 내에 포함된 ROM(131), 전자 장치(100)에 포함된 저장부(140) 또는 별도의 탈착 가능한 메모리에 기저장될 수 있다. 프로세서(130)는 윈드쉴드(200)에서 소실점(91)이 투과되어 보이는 영역 하단의 기설정된 크기로 설정된 특정 영역(92)에 운행 정보를 투사하도록 제어할 수 있다.
한편, 이와 같은 실시 예에 있어서도, 차량 운행에 따라 윈드쉴드(200)에서 소실점(91)이 투과되어 보이는 영역의 위치가 변경되면, 운행 정보가 투사되는 영역의 위치 또한 대응되도록 변경될 수 있으며, 운전자의 시선이 특정 영역(92) 내에 존재하지 않는 경우에는 운행 정보의 시인성이 낮게 조정될 수 있다. 이때, 프로세서(130)는 소실점(91)을 바라보는 운전자의 초점에 대응되도록, 투사되는 운행 정보의 깊이를 조정할 수 있다.
도 10은 본 발명의 일 실시 예에 따른, 운전자의 시선에 따라 운행 정보의 시인성을 변경하는 과정을 설명하기 위한 흐름도이다.
먼저, 차량의 전방을 촬영하는 카메라 및 운전자를 촬영하는 카메라로부터 각각 촬영되는 영상을 실시간으로 획득한다(S1210). 이후, 획득된 영상에 기초하여, 전방을 촬영한 영상 내에 포함된 선행차량을 인식하고, 운전자가 탑승한 차량과 선행차량과의 거리를 예측한다(S1220). 예측된 선행차량과의 거리 및 선행차량의 위치에 관한 정보에 기초하여, 윈드쉴드에서 운행 정보를 투사할 영역 및 투사할 운행 정보의 크기를 결정한다(S1230). 이때, 운행 정보는 윈드쉴드에서 전방의 선행차량이 투과되어 보이는 영역을 기준으로 결정되는 주변의 특정 영역에 투사될 수 있다. 또한, 운행 정보는 예측된 선행차량과의 거리에 대응되도록 깊이가 조정될 수 있다.
또한, 운전자를 촬영하는 카메라로부터 촬영되는 영상에 기초하여, 운전자의 시선 방향 및 초점을 포함하는 3차원 공간 상의 시선(이하, 3D 시선)을 추적할 수 있다(S1240). 만약 운전자의 3D 시선이 운행 정보가 투사되는 특정 영역 내에 위치하는 경우(S1250: Y), 운행 정보의 시인성을 최적화하여 투사할 수 있다(S1260). 그러나, 운전자의 3D 시선이 운행 정보의 투사 영역 내에 위치하지 않는 경우(S1250: N), 운행 정보의 시인성을 최소화하여 투사할 수 있다(S1270).
도 11은 본 발명의 다른 실시 예에 따른, 전자 장치의 세부 구성을 나타내는 블록도이다.
도 11에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른, 전자 장치(100’)는 센서(110), 출력부(120), 프로세서(130), 저장부(140), 운행정보 수신부(150), 오디오 처리부(160), 오디오 출력부(170), 비디오 처리부(180) 및 사용자 인터페이스부(190)를 포함한다. 이하에서는 도 1에서의 설명과 중복되는 구성에 대한 설명은 생략하기로 한다.
프로세서(130)는 RAM(131), ROM(132), CPU(133), 그래픽 처리부(134), 제1 인터페이스 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 포함한다. 여기서, ROM(131), RAM(132), CPU(133), 그래픽 처리부(134), 제1 인터페이스 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
ROM(131)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(131)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(132)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 애플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
CPU(133)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU(133)는 저장부(140)에 저장된 각종 프로그램, 콘텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
제1 내지 n 인터페이스(135-1 ~ 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(140)에 저장된 프로그램이 실행되어 이루어질 수 있다.
저장부(140)는 전자 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 콘텐츠와 같은 다양한 데이터를 저장할 수 있다. 구체적으로, 저장부(140)는 전자 장치(100’)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 보안 모듈, 통신 모듈, 그래픽 처리 모듈, 오디오 처리 모듈 등을 저장할 수 있다. 프로세서(130)는 저장부(140)에 저장된 각종 모듈을 이용하여 전자 장치(100’)의 전반적인 동작을 제어할 수 있다.
운행정보 수신부(150)는 차량 내에 설치된 네비게이션 장치 등 외부의 장치로부터 네비게이션 정보를 비롯한 운행 정보를 수신하는 구성이다. 그러나, 운행정보 수신부(150)가 자체적으로 위성, 외부의 서버 또는 사용자가 소지한 단말 장치와 통신하여 차량의 위치 정보 및 도로 상황 등을 포함하는 운행 정보를 수신할 수도 있다. 이 경우, 운행정보 수신부(150)는 무선 LAN, 셀룰러(cellular), D2D(Device to Device), Bluetooth, BLE(Bluetooth Low Energy), 3G, LTE, 애드혹 방식의 Wi-Fi Direct 및 LTE Direct, Zigbee, NFC(Near Field communication) 등과 같은 RF(Radio Frequency) 및 IR(Infrared) 등을 이용한 다양한 통신 방식을 이용할 수 있다.
오디오 처리부(160)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 다만, 오디오 데이터에 대한 처리는 저장부(140)에 저장된 오디오 처리 모듈에 의해 수행될 수도 있다.
오디오 출력부(170)는 오디오 처리부(160)에서 처리된 오디오 데이터를 출력하기 위한 구성이다. 오디오 출력부(170)는 리시버 단자(미도시) 및 스피커(미도시)를 포함할 수 있다.
비디오 처리부(180)는 콘텐츠에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행하는 구성요소이다. 다만, 비디오 처리는 저장부(140)에 저장된 비디오 처리 모듈에 의해 수행될 수도 있다.
사용자 인터페이스부(190)는 전자 장치(100')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소이다. 특히, 사용자 인터페이스부(190)는 마이크(미도시) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.
또한, 본 발명의 다른 실시 예에 따르면, 차량의 운전자를 촬영하는 적어도 복수의 제1 카메라 및 차량의 전방을 촬영하는 적어도 하나의 제2 카메라가 전자 장치(100’) 자체에 더 포함할 수도 있다.
도 12는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 이동체에 탑승한 사용자의 시선을 감지한다(S1110).
이후, 감지된 시선의 평면상의 위치가 특정 영역 내에 속하는지 여부를 판단한다(S1120). 이때, 가상의 평면상에서 감지된 시선의 방향을 나타내는 시선 좌표가 가상의 평면상에서 기설정된 특정 영역 내에 존재하는 경우, 감지된 시선의 방향이 특정 영역을 향하는 것으로 판단할 수 있다.
이후, 감지된 시선의 평면상의 위치가 특정 영역 내에 속한다고 판단되면, 이동체의 운행 정보를 출력한다(S1130). 여기서, 특정 영역은 사용자가 탑승한 차량의 윈드쉴드에서 사용자에게 사용자가 탑승한 차량 및 선행 차량 사이의 노면이 투과되어 보이는 영역 중 선행 차량이 투과되어 보이는 영역에 근접한 영역에 해당한다. 이때, 윈드쉴드에서 선행 차량이 투과되어 보이는 영역이 존재하지 않으면, 노면의 소실점에 근접한 영역을 특정 영역으로 결정할 수 있다.
또한, 감지된 시선의 평면상의 위치에 대응되는 오브젝트까지의 거리를 기초로, 운행 정보가 출력될 깊이를 결정하고, 결정된 깊이로 운행 정보를 출력할 수 있다. 또는, 감지된 시선의 초점을 기초로, 운행 정보가 출력될 깊이를 결정하고, 결정된 깊이로 운행 정보를 출력할 수도 있다.
또한, 감지된 시선의 방향이 특정 영역의 외부에서 특정 영역의 내부로 이동하는 경우, 운행 정보를 초점의 깊이에 기초하여 결정된 깊이로 출력할 수 있다. 이때, 감지된 시선의 초점의 깊이에 비례하도록, 운행 정보가 출력될 깊이를 결정할 수 있다.
상술한 다양한 실시 예에 따르면, 운전자의 시선의 초점 변화를 최소화하면서도 HUD를 통해 운행정보를 획득할 수 있으므로, 운전자의 시각주의력 분산과 시각 피로도 유발을 최소화할 수 있다. 또한, 운전자에게 편의를 제공하고 안전 운행 환경을 조성할 수 있다.
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 이동체에 탑승한 사용자의 시선을 감지하는 단계, 감지된 시선의 평면상의 위치가 특정 영역 내에 속하는지 여부를 판단하는 단계 및 감지된 시선의 평면상의 위치가 특정 영역 내에 속한다고 판단되면, 이동체의 운행 정보를 출력하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체한 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크 USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 출력부
120: 센서 130: 프로세서
200: 윈드쉴드

Claims (20)

  1. 전자 장치에 있어서,
    이동체(vehicle)의 운행 정보를 포함하는 이미지를 출력하기 위한 출력부;
    상기 이동체에 탑승한 사용자의 시선을 감지하기 위한 센서;
    상기 이동체 외부의 오브젝트를 촬영하기 위한 카메라; 및
    상기 감지된 시선의 x, y 위치가 가상의 x-y 평면상의 특정 영역 내에 속하면, 상기 이미지를 출력하도록 상기 출력부를 제어하고, 상기 이미지의 깊이(depth) 및 상기 이미지의 표시 속성을 변화시키도록 상기 출력부를 제어하는 프로세서;를 포함하고,
    상기 이미지의 표시 속성은 상기 이미지의 색상, 크기 또는 투명도 중 적어도 하나를 포함하고,
    상기 이미지가 출력되는 깊이는 상기 감지된 시선의 초점의 깊이에 대응되며,
    상기 프로세서는,
    상기 카메라를 통해 촬영된 영상에 기초하여, 상기 이동체의 윈드쉴드를 통해, 상기 오브젝트가 보여지는 영역과 인접한 영역을 상기 이미지를 출력할 출력 영역으로 결정하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 가상의 x-y 평면상에서 상기 감지된 시선의 방향을 나타내는 시선의 좌표가 상기 가상의 평면상에서 상기 특정 영역 내에 존재하는 경우, 상기 감지된 시선의 방향이 상기 특정 영역을 향하는 것으로 판단하는 것을 특징으로 하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 이동체와 상기 오브젝트까지의 거리를 기초로, 상기 이미지가 출력될 깊이를 결정하는 것을 특징으로 하는, 전자 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 감지된 시선의 방향이 상기 특정 영역의 외부에서 상기 특정 영역의 내부로 이동하는 경우, 상기 이미지를 상기 초점의 깊이에 기초하여 결정된 깊이로 출력하는 것을 특징으로 하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 감지된 시선의 초점의 깊이에 비례하도록, 상기 이미지가 출력될 깊이를 결정하는 것을 특징으로 하는, 전자 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 출력 영역이 상기 윈드쉴드의 일 영역에 고정되도록 상기 특정 영역을 설정하는 것을 특징으로 하는, 전자 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 오브젝트는, 상기 이동체의 전방에 존재하는 타 이동체를 포함하고,
    상기 프로세서는,
    상기 윈드쉴드에서 상기 타 이동체가 표시되는 영역의 하단을 상기 출력 영역으로 결정하는 것을 특징으로 하는, 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 감지된 시선의 방향이 상기 특정 영역을 향하지 않는 경우, 상기 이미지의 투명도를 증가시켜 출력하는 것을 특징으로 하는, 전자 장치.
  12. 전자 장치의 제어 방법에 있어서,
    이동체(vehicle)에 탑승한 사용자의 시선을 감지하는 단계;
    상기 감지된 시선의 x, y 위치가 가상의 x-y 평면 상의 특정 영역 내에 속하는지 여부를 판단하는 단계;
    상기 감지된 시선의 x,y 위치가 상기 특정 영역 내에 속한다고 판단되면, 상기 이동체의 운행 정보를 포함하는 이미지를 출력하는 단계; 및
    상기 이미지의 깊이(depth) 및 상기 이미지의 표시 속성을 변화시키는 단계;를 포함하고,
    상기 이미지의 표시 속성은 상기 이미지의 색상, 크기 또는 투명도 중 적어도 하나를 포함하고,
    상기 이미지가 출력되는 깊이는 상기 감지된 시선의 초점의 깊이에 대응되며,
    상기 이미지를 출력하는 단계는,
    상기 이동체 외부의 오브젝트를 촬영하기 위한 카메라를 통해 촬영된 영상에 기초하여, 상기 이동체의 윈드쉴드를 통해, 상기 오브젝트가 보여지는 영역과 인접한 영역을 상기 이미지를 출력할 출력 영역으로 결정하는 제어 방법.
  13. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 가상의 x-y 평면상에서 상기 x, y 위치가 상기 특정 영역 내에 존재하는 경우, 상기 감지된 시선의 방향이 상기 특정 영역을 향하는 것으로 판단하는 것을 특징으로 하는, 제어 방법.
  14. 제12항에 있어서,
    상기 출력하는 단계는,
    상기 이동체와 상기 오브젝트까지의 거리를 기초로, 상기 이미지가 출력될 깊이를 결정하고, 상기 결정된 깊이로 상기 이미지를 출력하는 것을 특징으로 하는, 제어 방법.
  15. 삭제
  16. 제12항에 있어서,
    상기 출력하는 단계는,
    상기 감지된 시선의 방향이 상기 특정 영역의 외부에서 상기 특정 영역의 내부로 이동하는 경우, 상기 이미지를 상기 초점의 깊이에 기초하여 결정된 깊이로 출력하는 것을 특징으로 하는, 제어 방법.
  17. 제12항에 있어서,
    상기 출력하는 단계는,
    상기 감지된 시선의 초점의 깊이에 비례하도록, 상기 운행 정보가 출력될 깊이를 결정하는 것을 특징으로 하는, 제어 방법.
  18. 삭제
  19. 제12항에 있어서,
    상기 결정하는 단계는,
    상기 출력 영역이 상기 윈드쉴드의 일 영역에 고정되도록 상기 특정 영역을 설정하는 것을 특징으로 하는, 제어 방법
  20. 삭제
KR1020170006147A 2017-01-13 2017-01-13 전자 장치 및 그 제어 방법 KR102578517B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170006147A KR102578517B1 (ko) 2017-01-13 2017-01-13 전자 장치 및 그 제어 방법
US15/868,501 US10810774B2 (en) 2017-01-13 2018-01-11 Electronic apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170006147A KR102578517B1 (ko) 2017-01-13 2017-01-13 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20180083623A KR20180083623A (ko) 2018-07-23
KR102578517B1 true KR102578517B1 (ko) 2023-09-14

Family

ID=62841036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170006147A KR102578517B1 (ko) 2017-01-13 2017-01-13 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US10810774B2 (ko)
KR (1) KR102578517B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3068481B1 (fr) * 2017-06-29 2019-07-26 Airbus Operations (S.A.S.) Systeme et procede d'affichage pour un aeronef
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
WO2020160168A1 (en) * 2019-01-31 2020-08-06 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
JP7240208B2 (ja) * 2019-03-07 2023-03-15 株式会社豊田中央研究所 車載表示装置、車載表示方法、および、コンピュータプログラム
KR102213095B1 (ko) 2019-05-30 2021-02-08 엘지전자 주식회사 자율 주행 차량 제어 방법
JP6737542B1 (ja) * 2019-10-07 2020-08-12 三菱電機株式会社 仮想カメラ制御装置、仮想カメラ制御方法、及び仮想カメラ制御プログラム
DE102019127170A1 (de) * 2019-10-09 2021-04-15 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel und Anordnung zur Information eines Anwenders eines Fortbewegungsmittels
CN113682315B (zh) * 2020-05-15 2023-06-23 华为技术有限公司 座舱系统调节装置和用于调节座舱系统的方法
DE102020209971A1 (de) * 2020-08-06 2022-02-10 Volkswagen Aktiengesellschaft Intelligentes Head-Up-Display
KR20220022340A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
KR102529835B1 (ko) * 2021-05-14 2023-05-08 주식회사 넥스트칩 차량의 운행 정보와 관련된 그래픽 객체 출력 방법 및 장치
WO2023003045A1 (ja) * 2021-07-22 2023-01-26 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
US11928379B2 (en) * 2022-02-08 2024-03-12 Citrix Systems, Inc. Information orientation and display in extended reality environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232665A1 (en) * 2002-03-15 2006-10-19 7Tm Pharma A/S Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US20100253493A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Recommended following distance on full-windshield head-up display
US20160085301A1 (en) * 2014-09-22 2016-03-24 The Eye Tribe Aps Display visibility based on eye convergence

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4852062B2 (ja) * 2008-03-28 2012-01-11 株式会社東芝 単眼用画像表示装置及び単眼用画像表示方法
JP2011073466A (ja) 2009-09-29 2011-04-14 Nippon Seiki Co Ltd 車両用表示装置
KR20130059650A (ko) 2011-11-29 2013-06-07 현대자동차일본기술연구소 헤드업 디스플레이의 컨텐츠 초점 제어 장치 및 방법
JP2015065614A (ja) 2013-09-26 2015-04-09 日産自動車株式会社 情報表示制御装置
DE102013016244A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
KR101646340B1 (ko) 2014-08-27 2016-08-05 현대자동차주식회사 차량정보 표시장치 및 그 표시방법
KR102309316B1 (ko) * 2015-06-02 2021-10-05 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 구비한 차량
KR101730321B1 (ko) * 2015-08-03 2017-04-27 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232665A1 (en) * 2002-03-15 2006-10-19 7Tm Pharma A/S Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US20100253493A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Recommended following distance on full-windshield head-up display
US20160085301A1 (en) * 2014-09-22 2016-03-24 The Eye Tribe Aps Display visibility based on eye convergence

Also Published As

Publication number Publication date
KR20180083623A (ko) 2018-07-23
US20180204365A1 (en) 2018-07-19
US10810774B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
KR102578517B1 (ko) 전자 장치 및 그 제어 방법
US11880909B2 (en) AR display apparatus and AR display method
EP2891953B1 (en) Eye vergence detection on a display
US20210070176A1 (en) Enhanced augmented reality experience on heads up display
US20160163108A1 (en) Augmented reality hud display method and device for vehicle
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
US8924150B2 (en) Vehicle operation and control system for autonomous vehicles on full windshield display
US20170011709A1 (en) Display control device, display device, display control program, display control method, and recording medium
US20150097866A1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
US10724872B2 (en) Vehicle navigation projection system and method thereof
US10339843B2 (en) Display device, display image projecting method and head up display
US11009781B2 (en) Display system, control device, control method, non-transitory computer-readable medium, and movable object
JP5866545B1 (ja) 表示制御装置および表示制御プログラム
US20220358840A1 (en) Motor Vehicle
US10885819B1 (en) In-vehicle augmented reality system
US20190339535A1 (en) Automatic eye box adjustment
KR20130089139A (ko) 차량용 증강현실 헤드업 디스플레이 장치 및 방법
US20200285884A1 (en) Display system and display method
JP2020071415A (ja) ヘッドアップディスプレイシステム
JP6186905B2 (ja) 車載表示装置およびプログラム
CN113165510A (zh) 显示控制装置、方法和计算机程序
US20210008981A1 (en) Control device, display device, display system, moving body, control method, and recording medium
KR101209796B1 (ko) 전경 투과 기능을 갖는 차량용 표시장치 및 이의 표시방법
JP6947873B2 (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム
KR20230034448A (ko) 차량 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant