KR20180016027A - 차량용 디스플레이 장치 및 이의 제어 방법 - Google Patents

차량용 디스플레이 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20180016027A
KR20180016027A KR1020160099866A KR20160099866A KR20180016027A KR 20180016027 A KR20180016027 A KR 20180016027A KR 1020160099866 A KR1020160099866 A KR 1020160099866A KR 20160099866 A KR20160099866 A KR 20160099866A KR 20180016027 A KR20180016027 A KR 20180016027A
Authority
KR
South Korea
Prior art keywords
driver
information
vehicle
display
driving information
Prior art date
Application number
KR1020160099866A
Other languages
English (en)
Inventor
우지환
이영윤
최원희
김세훈
이승헌
윤강진
전해인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160099866A priority Critical patent/KR20180016027A/ko
Priority to PCT/KR2017/008488 priority patent/WO2018026247A1/ko
Priority to US16/323,178 priority patent/US20190187790A1/en
Publication of KR20180016027A publication Critical patent/KR20180016027A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

차량용 디스플레이 장치 및 이의 제어 방법이 제공된다. 본 차량용 디스플레이 장치는 운전자를 촬영하는 카메라, 외부의 물체와의 거리를 측정하기 위한 센싱부, 차량의 운행 정보를 제공하는 디스플레이 및 카메라를 통해 촬영된 영상을 분석하여 운전자의 시선을 추적하며, 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 센싱부를 통해 판단된 물체와의 거리를 산출하며, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 표시하도록 디스플레이를 제어하기 위한 프로세서를 포함한다.

Description

차량용 디스플레이 장치 및 이의 제어 방법{A DISPLAY APPARATUS FOR CAR AND METHOD FOR CONTROLLING THE DISPLAY APPARATUS THEREOF}
본 발명은 차량용 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 더욱 상게하게는 운전자의 시선을 추적하여 운전자가 바라보는 방향에 차량의 운행 정보를 제공하는 차량용 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
현재 자동차에는 많은 전자 장치가 채용되고 있으며, 그 중요성 역시 증가하고 있다. 특히, 자동차의 전자 장치 중 하나인 차량용 디스플레이 장치(예를 들어, 헤드업 디스플레이 장치)는 네비게이션 기능, 엔터테인먼트 기능 등과 같은 다양한 기능에 활용될 수 있어 그 중요성이 점점 증가하고 있다.
기존의 차량용 디스플레이 장치는 고정된 위치나 뎁스로 운행 정보를 제공하였다. 따라서, 전방에 위치하는 물체를 바라보다가 고정된 위치 및 뎁스의 운행 정보를 보기 위해서는 시선의 이동이 필요하였다. 이때, 운전자의 초점 변화로 인해 시인성이 감소하여 위험성이 높아지며, 멀미감도 늘어날 수 있는 문제점이 발생하였다.
또한, 기존의 차량용 디스플레이 장치는 고정된 위치에 고정된 내용의 운행 정보(예를 들어, 현재 속도, 앞차의 속도 등)만을 표시하였다. 즉, 현재 운전자가 바라보는 물체와 상관없이 고정된 내용만을 제공함으로써, 정작 운전자가 필요한 정보를 제공하지 못하는 단점이 존재하였다.
본 발명의 목적은 운전자 시선을 바탕으로 운전자의 시선에 대응되는 위치에 운전자가 바라보는 물체에 대한 운행 정보를 제공할 수 있는 차량용 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치는, 운전자를 촬영하는 카메라; 외부의 물체와의 거리를 측정하기 위한 센싱부; 차량의 운행 정보를 제공하는 디스플레이; 및 상기 카메라를 통해 촬영된 영상을 분석하여 상기 운전자의 시선을 추적하며, 상기 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 상기 센싱부를 통해 상기 판단된 물체와의 거리를 산출하며, 상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 상기 운행 정보를 표시하도록 상기 디스플레이를 제어하기 위한 프로세서;를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른, 차량용 디스플레이 장치의 제어 방법은, 카메라를 통해 촬영된 운전자 영상을 분석하여 운전자의 시선을 추적하는 단계; 상기 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하는 단계; 센서를 이용하여 상기 판단된 물체와의 거리를 산출하는 단계; 및 상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 차량의 운행 정보를 표시하는 단계;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 운전자의 시선에 따라 운전자가 바라보는 물체에 대한 정보를 운전자의 시선이 머무는 곳에 표시함으로써, 운전자가 안전하게 운행 정보를 확인할 수 있을 뿐만 아니라, 멀미감도 줄어들 수 있게 된다. 또한, 운전자는 자신이 바라보는 물체에 대한 필요한 정보를 획득할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치가 탑재된 차량 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 구성을 상세히 도시한 블록도,
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른, 무안경 방식의 3D 영상을 표시할 수 있는 디스플레이를 설명하기 위한 도면들,
도 5는 본 발명의 일 실시예에 따른, 차량용 디스플레이의 제어 방법을 상세히 설명하기 위한 흐름도,
도 6은 본 발명의 일 실시예에 따른, 시선 추적을 위한 카메라를 도시한 도면,
도 7은 본 발명의 일 실시예에 따른, 운전자 시선에 따라 3D 영상을 복원하는 영역을 설명하기 위한 도면,
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른, 운전자 시선의 위치에 따라 운행 정보의 표시 영역을 결정하는 실시예를 설명하기 위한 도면,
도 9은 본 발명의 일 실시예에 따른, 운행 정보의 뎁스를 변경하는 실시예를 설명하기 위한 도면,
도 10a 내지 도 10c는 본 발명의 다양한 실시예에 따른, 운전자 시선에 따라 영상을 틸팅하는 실시예를 설명하기 위한 도면들,
도 11a 내지 도 11d는 본 발명의 다양한 실시예에 따른, 운전자 시선의 위치에 따라 영상을 틸팅하거나 이동하는 실시예를 설명하기 위한 도면들,
도 12는 본 발명의 일 실시예에 따른, 다양한 유형의 운행 정보를 설명하기 위한 도면,
도 13은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
본 개시의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시의 다양한 실시 예에서 사용될 수 있는 "포함한다" 또는"포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시 예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시 예에서 사용된 "제 1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 실시 예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 운전자 기기와 제 2 운전자 기기는 모두 운전자 기기이며, 서로 다른 운전자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 개시의 다양한 실시예에서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 개시의 다양한 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 다양한 실시예에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 다양한 실시 예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)가 탑재된 차량 시스템(10)을 도시한 도면이다.
차량용 디스플레이 장치(100)는 차량 시스템(10) 내에 탑재되며, 차량 시스템(10)의 앞유리창을 이용하여 운전자에게 운행 정보를 제공한다.
특히, 차량용 디스플레이 장치(100)는 카메라를 이용하여 운전자를 촬영하고, 촬영된 영상을 분석하여 운전자 시선을 추적할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 추적된 운전자 시선을 바탕으로 운전자 시선이 향하는 위치에 존재하는 외부 물체를 판단할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 차량용 디스플레이 장치(100)는 운전자 시선을 바탕으로 운전자가 바라보는 물체가 외부의 차량(20)임을 판단할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 센서를 이용하여 외부 물체와의 거리(d)를 산출할 수 있다. 이때, 차량용 디스플레이 장치(100)는 초음파 센서를 이용하여 외부 물체와의 거리를 산출할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 외부 물체를 인식하여 외부 물체에 대한 정보(특히, 운행 정보)를 획득할 수 있다. 구체적으로, 차량용 디스플레이 장치(100)는 외부 서버를 통해 외부 물체에 대한 정보를 획득할 수 있으며, 기 저장된 정보를 검색하여 외부 물체에 대한 정보를 획득할 수 있다. 또한, 차량용 디스플레이 장치(100)는 다양한 센서(예를 들어, 속도를 감지하기 위한 센서 등)를 이용하여 외부 물체에 대한 정보를 획득할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 외부 물체와의 거리 및 운전자 시선을 바탕으로 운행 정보를 포함하는 영상을 처리하여 표시할 수 있다. 이때, 차량용 디스플레이 장치(100)는 외부 물체와의 거리 및 운전자 시선을 바탕으로 운행 정보의 표시 영역, 표시 크기, 및 뎁스 정보를 판단하고, 판단된 표시 영역, 표시 크기 및 뎁스 정보를 바탕으로 운행 정보를 포함하는 영상을 처리하여 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치의 구성을 간략히 도시한 블록도이다. 도 2에 도시된 바와 같이, 차량용 디스플레이 장치(100)는 카메라(110), 센싱부(120), 디스플레이(130) 및 프로세서(140)를 포함한다.
카메라(110)는 차량 시스템(10) 내부에 구비되어 운전자를 촬영한다. 특히, 카메라(110)는 운전자 시선을 추적하기 위하여 운전자의 눈 및 얼굴을 촬영할 수 있다. 이때, 카메라(110)는 2대의 카메라를 포함하는 스테레오 카메라로 구현될 수 있다.
센싱부(120)는 외부 물체와의 거리를 측정한다. 구체적으로, 센싱부(120)는 적외선 센서 또는 초음파 센서와 같이 거리 측정을 위한 센서를 이용하여 외부 물체와의 거리를 측정할 수 있다. 이때, 센싱부(120)는 외부 물체의 속도를 측정하기 위한 센서를 포함할 수 있다.
디스플레이(130)는 차량 시스템(10)의 앞유리창에 차량 시스템(10)의 운행 정보를 표시한다. 이때, 차량 시스템(10)의 운행 정보는 운전자가 차량 시스템(10)을 운행하는데 필요한 정보(예를 들어, 네비게이션, 속도, 연료량, 도로 정보 등)로서, 차량 시스템(10) 자체의 운행 정보 및 외부 물체에 대한 운행 정보를 포함할 수 있다.
한편, 디스플레이(130)는 입체감을 가지는 3D 영상을 표시할 수 있는 3D 디스플레이로 구현될 수 있다. 차량 시스템(10)의 앞 유리창에 3D 영상을 표시하는 방법에 대해서는 추후에 상세히 설명하기로 한다.
프로세서(140)는 차량용 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(140)는 카메라(110)를 통해 촬영된 영상을 분석하여 운전자의 시선을 추적하며, 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 센싱부(120)를 통해 판단된 물체와의 거리를 산출하며, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다
구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 뎁스 정보를 결정할 수 있다. 그리고, 프로세서(140)는 결정된 표시 영역 및 뎁스 정보를 바탕으로 차량의 운행 정보를 렌더링하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 앞 유리창 중 운전자의 시선의 위치가 향하는 영역을 표시 영역으로 결정할 수 있다. 또한, 프로세서(140)는 외부 물체와의 거리가 멀수록 운행 정보가 멀리 보이도록 뎁스 정보를 결정하고, 외부 물체와의 거리가 짧을수록 운행 정보가 가깝게 보이도록 뎁스 정보를 결정할 수 있다.
또한, 프로세서(140)는 운전자의 시선 방향을 바탕으로 차량의 운행 정보의 뎁스 정보를 변경하여 차량의 운행 정보를 틸팅(tilting)하여 표시하도록 디스플레이(130)를 제어할 수 있다.
또한, 프로세서(140)는 촬영된 운전자 영상을 바탕으로 운전자의 눈의 위치를 판단하며, 차량 정보의 표시 영역 및 운전자의 눈의 위치를 바탕으로 운행 정보의 표시 영역 및 뎁스 정보 중 적어도 하나를 변경하여 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 운전자의 앉은 키에 따라 운전자의 눈의 위치가 상이해 질 수 있으므로, 프로세서(140)는 앉은 키를 고려하여 차량의 운행 정보를 제공할 수 있다. 한편, 상술한 실시예에서는 운전자의 눈의 위치를 판단하여 운전자의 앉은 키를 판단하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 기 저장된 운전자의 앉은 키에 대한 정보 또는 시트 포지션 등과 같은 다양한 정보를 이용하여 운전자의 앉은 키를 산출할 수 있다.
또한, 프로세서(140)는 다양한 유형의 운행 정보를 제공할 수 있다. 구체적으로, 프로세서(140)는 고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함할 수 있다. 이때, 운행 정보 내지 제3 운행 정보는 제공되는 운행 정보의 유형에 따라 결정될 수 있다. 예를 들어, 제1 운행 정보는 차량 시스템(10) 자체의 운행 정보일 수 있으며, 제2 운행 정보는 움직이지 않은 외부 물체에 대한 운행 정보일 수 있으며, 제3 운행 정보는 움직이는 외부 물체에 대한 운행 정보일 수 있다.
그리고, 프로세서(140)는 촬영된 운전자 영상을 분석하여 운전자의 눈 및 얼굴의 움직임을 판단하고, 판단된 움직임이 기설정된 시간 이상 지속된 경우, 운전자의 시선의 방향 정보를 획득할 수 있다. 즉, 운전자의 작은 움직임에도 운행 정보가 이동하면, 운전자는 어지러움을 느낄 뿐만 아니라 초점을 맞추는데도 시간을 걸릴 수 있다. 따라서, 프로세서(140)는 기설정된 시간 이상 동안의 움직임을 감지하였을 경우에만 운전자 시선의 방향 정보를 획득하여 운행 정보의 표시 영역 및 뎁스 정보를 결정할 수 있다.
또한, 프로세서(140)는 운전자 시선의 방향 정보를 바탕으로 기 정의된 각도 범위 내에 위치하는 물체를 판단할 수 있다. 즉, 프로세서(140)는 운전자 시선을 바탕으로 실제 운전자가 바라보는 일정 각도 범위 내의 물체만을 판단함으로써, 연산량을 감소시킬 수 있다.
그리고, 프로세서(140)는 판단된 물체에 대한 정보를 획득하며, 획득된 물체에 대한 정보를 차량의 운행 정보로 결정하여 표시하도록 디스플레이(130)를 제어할 수 있다. 구체적으로, 프로세서(140)는 외부 서버로부터 물체에 대한 정보를 획득할 수 있으며, 기 저장된 정보를 검색하여 물체에 대한 정보를 획득할 수 있으며, 센싱부(120)에 의해 감지된 센싱값을 바탕으로 물체에 대한 정보를 획득할 수 있다.
한편 상술한 실시예에서는 물체와의 거리를 바탕으로 차량의 운행 정보의 뎁스 정보를 결정하는 것을 설명하였으나, 이는 일 실시예에 불과할 뿐, 물체와의 거리를 바탕으로 차량의 운행 정보의 표시 크기를 결정할 수 있다. 구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 표시 크기를 결정하고, 결정된 표시 영역 및 표시 크기를 바탕으로 차량의 운행 정보를 렌더링하여 표시하도록 디스플레이(130)를 제어할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 따라, 운전자가 안전하게 운행 정보를 확인할 수 있을 뿐만 아니라, 멀미감도 줄어들 수 있게 된다. 또한, 운전자는 자신이 바라보는 물체에 대한 필요한 정보를 획득할 수 있게 된다.
도 3은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)의 구성을 상세히 도시한 블록도이다. 도 3에 도시된 바와 같이, 차량용 디스플레이 장치(100)는 카메라(110), 센싱부(120), 디스플레이(130), 메모리(150), 통신 인터페이스(160), 입력부(170) 및 프로세서(180)를 포함한다. 한편, 도 3에 도시된 구성은 일 실시예에 불과할 뿐, 구현예에 따라 새로운 구성 요소를 추가할 수 있고, 적어도 하나의 구성 요소를 삭제할 수 있다.
카메라(110)는 차량 시스템(10) 내에 배치되어 운전자를 촬영한다. 특히, 카메라(110)는 운전자의 시선을 추적하기 위하여 운전자의 상체, 얼굴, 눈을 촬영할 수 있다. 특히, 카메라(110)는 도 6에 도시된 바와 같이, 차량 시스템(10)의 앞 유리창의 상단부에 배치될 수 있으며, 두 개의 카메라(110-1,110-2)를 포함하는 스테레오 타입의 카메라일 수 있다.
한편, 카메라(110)가 차량 시스템(10)의 앞 유리창의 상단부에 배치되는 것은 일 실시예에 불과할 뿐, 차량의 대시보드 등과 같이 다른 영역 상에 배치될 수 있다. 또한, 카메라(110)는 컬러 영상을 촬영하는 일반적인 카메라일 수 있으나, 이는 일 실시예에 불과할 뿐, 적외선 카메라일 수 있다.
센싱부(120)는 외부 물체와의 거리를 측정하기 위한 구성이다. 특히, 센싱부(120)는 적외선 센서 또는 초음파 센서를 이용하여 외부 물체와의 거리를 측정할 수 있다. 구체적으로, 센싱부(120)가 적외선 센서를 포함하는 경우, 적외선 센서는 적외선을 발신하고 반사되는 적외선을 수신할 수 있다. 그리고, 프로세서(l40)는 발신된 적외선과 반사된 적외선 사이의 위상차를 이용해 거리 측정할 수 있다. 또한, 센싱부(120)가 초음파 센서를 포함하는 경우, 초음파 센서는 초음파를 발신하고 반사되는 초음파를 수신할 수 있다. 그리고, 프로세서(l40)는 발신시간과 수신시간 차를 이용하여 거리 측정할 수 있다. 예를 들어, 발신시간과 수신시간 차이가 0.1초인 경우, 프로세서(140)는 소리의 속도(340m/s)를 고려하여 외부 물체와의 거리를 17m로 산출할 수 있다.
한편, 센싱부(120)는 외부 물체에 대한 정보(예를 들어, 속도, 표지판 내용 등)을 획득하기 위한 센서(예를 들어, 속도 측정 센서, 카메라 등)를 포함할 수 있다.
디스플레이(130)는 차량 시스템(110)의 앞유리에 운행 정보를 표시할 수 있다. 이때, 디스플레이(130)는 헤드-업 디스플레이(Head Up Display)일 수 있다. 헤드-업 디스플레이는 차량이나 항공기 주행 중 운전자 정면 즉, 운전자의 주 시야선을 벗어나지 않는 영역(예를 들어, 차량의 앞 유리창 등)에 운해 정보나 기타 정보를 제공할 수 있는 디스플레이이다. 헤드 업 디스플레이는 투명 디스플레이 방식, 투사 방식, 직접 반사 방식 등과 같은 다양한 방식으로 구현될 수 있다. 투명 디스플레이 방식은 투명 디스플레이 패널을 이용하여 영상을 표시하는 방식이며, 투사 방식은 광원이 영상을 앞 유리창에 투사하는 방식이며, 직접 반사 방식은 별도의 디스플레이에 표시된 영상을 앞 유리창에 반사시키는 방식이다.
특히, 디스플레이(130)는 입체감 있는 3D 영상을 디스플레이하기 위한 3D 디스플레이로 구현될 수 있다. 특히, 디스플레이(130)는 운전자가 3D 영상을 시청하기 위해 안경을 쓸 필요가 없는 무안경 방식의 3D 디스플레이일 수 있다.
도 4a 및 도 4b는 본 발명의 이해를 돕기 위한 무안경 방식의 3D 디스플레이의 동작을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타내는 것으로, 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상을 포함한다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역(또는 광학 뷰)이라 한다. 이에 따라, 운전자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.
일 예로, 도 4a 및 도 4b는 총 2 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 4a 및 도 4b에 따르면, 무안경 방식의 3D 디스플레이는 2 시점의 다시점 영상을 디스플레이 패널(310)에 디스플레이하고, 패럴렉스 배리어(도 4a, 320) 또는 렌티큘러 렌즈(도 1b, 330)는 운전자의 좌안에 2 개의 시점 중 1 시점 영상에 해당하는 광이, 운전자의 우안에 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 운전자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.
도 4c는 본 발명의 일 실시예에 따른, 무안경 방식의 3D 디스플레이가 차량용 디스플레이 장치에 적용된 실시예를 설명하기 위한 도면이다. 도 4c에 도시된 바와 같이, 무안경 방식의 3D 디스플레이는 광원(400), 디스플레이 패널(410), 입체영상 필터(420), 허상 광학계(430)를 포함한다.
광원(400)은 적색 녹색 청색의 광을 발생한다. 그리고, 디스플레이 패널(410)은 실제 운전자가 필요로 하는 각종 운행 정보를 포함하는 영상을 생성하도록 광원(400)에 의해 발생된 광을 반사 또는 투과한다. 입체영상 필터(420)는 반사 또는 투과된 영상을 운전자가 입체감을 느껴질 수 있도록 시역을 분리할 수 있다. 허상 광학계(430)는 입체영상 필터(420)를 거친 영상을 차량의 앞유리창에 허상의 3D 영상(440)으로 표시할 수 있다.
이때, 광원(400)은 조명광원으로서, UHP Lamp, LED 및 레이저 등을 사용할 수 있으며, 디스플레이 패널(410)은 LCD, LOCS, MDM 등으로 구현될 수 있다. 또한, 입체영상 필터(420)는 렌티큘러 렌즈 또는 패럴렉스 배리어로 구현될 수 있으며, 허상 광학계(430)는 미러 및 컴바이너로 구현될 수 있다.
한편, 상술한 실시예에서는 무안경 방식의 3D 디스플레이로 3D 영상을 제공하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, Varying Focal Lens를 이용하여 3D 영상을 제공할 수 있다. 이때, 디스플레이(130)는 외부 전류에 의해 렌즈의 Focal length를 변화시켜 뎁스를 조절할 수 있다.
다시 도 3에 대해 설명하면, 메모리(150)는 프로세서(140) 또는 다른 구성요소들(예: 카메라(110), 센싱부(120), 디스플레이(130), 통신 인터페이스(160), 입력부(170) 등)로부터 수신되거나 프로세서(140) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 또한, 메모리(150)는 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 또는 어플리케이션 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
또한, 메모리(150)는 다양한 운행 정보를 저장할 수 있다. 예를 들어, 메모리(150)는 도로 정보, 표지판 정보 등과 같은 네비게이션 정보뿐만 아니라 차량 정보(차량용 디스플레이 장치(100)가 구비된 차량뿐만 아니라 외부의 차량 포함)를 저장할 수 있다.
한편, 메모리(150)는 다양한 메모리로 구현될 수 있다. 예를 들어, 메모리는 내장 메모리로 구현될 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(nonvolatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 내장 메모리는 Solid State Drive(SSD)의 형태를 취할 수도 있다. 또한 메모리(150)는 외장 메모리로 구현될 수 있다. 외장 메모리는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 MemoryStick 등을 더 포함할 수 있다.
통신 인터페이스(160)는 외부의 서버 또는 차량 시스템(10)과 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(160)는 외부의 서버로부터 다양한 운행 정보(예를 들어, 네비게이션 정보, 사고 정보 등)를 획득할 수 있다. 또한, 통신 인터페이스(160)는 차량 시스템(10) 내부의 구성과도 통신을 수행하여 차량 제어 정보를 송수신할 수 있다.
한편, 통신 인터페이스(160)는 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication)) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service)) 등을 지원할 수 있다.
입력부(170)는 차량용 디스플레이 장치(100)를 제어하기 위한 운전자 명령을 입력받는다. 이때, 입력부(170)는 포인팅 디바이스나 음성 입력부와 같이 차량 운행 중에도 안전하게 운전자 명령을 입력할 수 있는 입력 장치로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 입력 장치(예를 들어, 터치 스크린 등)로 구현될 수 있다.
특히, 입력부(170)는 차량용 디스플레이 장치(100) 또는 차량 시스템(10)을 제어하기 위한 운전자 명령을 입력받을 수 있다.
프로세서(140)는 버스(미도시) 등의 구성을 통해 다른 구성요소들로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
또한, 프로세서(140)는 메인 프로세서와 서브 프로세서를 포함할 수 있으며, 서브 프로세서는 저전력 프로세서로 구성할 수 있다. 이때, 메인 프로세서와 서브 프로세서는 하나의 원 칩(one chip) 형태로 구현될 수 있으며, 별도의 칩으로 구현될 수 있다. 또한, 서브 프로세서는 내부에 버퍼나 스택 형식의 메모리를 포함할 수 있다.
한편, 프로세서(140)는 GPU(Graphic Processing Unit), CPU(Central Processing Unit), AP(Application Processor) 중 적어도 하나로 구현될 수 있으며, 하나의 칩으로도 구현될 수 있다.
특히, 프로세서(140)는 카메라(110)를 통해 촬영된 영상을 분석하여 운전자의 시선을 추적하며, 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 센싱부(120)를 통해 판단된 물체와의 거리를 산출하며, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)의 제어 방법을 상세히 설명하기 위한 흐름도이다.
우선, 프로세서(140)는 카메라(110)를 이용하여 운전자 눈 및 얼굴의 움직임을 판단한다(S510). 구체적으로, 프로세서(140)는 카메라에 의해 촬영된 영상을 분석하여 운전자의 눈동자 및 얼굴을 인식하고, 인식된 눈동자의 움직임 및 얼굴의 움직임을 판단할 수 있다. 이때, 카메라(110)는 도 6에 도시된 바와 같이, 차량 시스템(10)의 앞 유리창의 상단부에 배치될 수 있다.
그리고, 프로세서(140)는 눈동자 및 얼굴 중 적어도 하나의 움직임이 기설정된 시간 지속되었는지 여부를 판단한다(S520). 즉, 프로세서(140)는 기설정된 시간 이내의 움직임에 대해서는 무시할 수 있다. 이는 기설정된 시간 이내의 움직임에 대해서도 운행 정보를 변경할 경우, 운행 정보의 표시 위치나 뎁스가 변경되어 운전자에게 멀미감을 줄 수 있을 뿐만 아니라 사고 가능성이 높아질 수 있기 때문이다. 한편, 프로세서(140)는 눈동자 및 얼굴 중 적어도 하나가 움직이는 시간을 판단할 수 있으나, 이는 일 실시예에 불과할 뿐, 눈동자 및 얼굴 중 적어도 하나가 움직이는 크기를 판단할 수 있다.
눈동자 및 얼굴 중 적어도 하나의 움직임이 기설정된 시간 지속된 경우(S520-Y), 프로세서(140)는 운전자 시선의 방향 정보를 획득한다(S530). 구체적으로, 프로세서(140)는 운전자의 눈 및 얼굴 중 적어도 하나가 기설정된 시간 이상 동안 움직인 이후 운전자가 바라보는 방향 정보를 획득할 수 있다.
그리고, 프로세서(140)는 운전자 시선에 위치하는 외부의 물체를 판단한다(S540). 구체적으로, 프로세서(140)는 운전자 시선의 방향 정보를 바탕으로 기정의된 범위 내에 위치하는 적어도 하나의 물체를 판단할 수 있다. 예를 들어, 프로세서(140)는 도 7에 도시된 바와 같이, 운전자 시선이 향하는 방향에 대응되는 기 정의된 범위 내의 영역(710)에 위치하는 물체를 판단할 수 있다. 이때, 프로세서(140)는 기 정의된 범위 이외의 영역(720-1,720-2)에 위치하는 물체를 무시할 수 있다.
특히, 프로세서(140)는 기 정의된 범위 내의 영역(710)에 위치하는 물체를 인식할 수 있다. 예를 들어, 프로세서(140)는 차량 시스템(10) 외부에 구비된 카메라를 통해 영역(710) 내에 위치하는 물체를 촬영하고, 촬영된 물체를 인식하여 물체의 유형을 판단할 수 있다. 예를 들어, 프로세서(140)는 영역(710) 내에 위치하는 물체의 유형이 자동차, 자전거, 표지판, 신호등, 사람 중 하나임을 판단할 수 있다.
그리고, 프로세서(140)는 판단된 물체와의 거리를 감지한다(S550). 구체적으로, 프로세서(140)는 센싱부(120)를 통해 기 정의된 범위 내의 영역(710)에 위치하는 물체들과의 거리를 판단할 수 있다. 이때, 프로세서(140)는 판단된 물체와의 거리뿐만 아니라 속도를 감지할 수 있다.
그리고, 프로세서(140)는 물체에 대한 정보를 획득한다(S560). 이때, 프로세서(140)는 외부의 서버로부터 물체에 대한 정보를 획득할 수 있으며, 기 저장된 운행 정보를 검색하여 물체에 대한 정보를 획득할 수 있으며, 센싱부(120)를 통해 감지된 정보를 통해 물체에 대한 정보를 획득할 수 있다. 예를 들어, 영역(710) 내에 멈춰있는 자동차가 있는 것으로 판단된 경우, 프로세서(140)는 외부의 서버로부터 멈춰있는 자동차에 대한 운행 정보(예를 들어, 사고 정보)를 수신하도록 통신 인터페이스(160)를 제어할 수 있다. 또 다른 예로, 영역(710) 내에 표시판이 있는 것으로 판단된 경우, 프로세서(140)는 메모리(150)에 저장된 네비게이션 정보 중 해당 표지판에 대응되는 운행 정보를 검색하여 획득할 수 있다. 또 다른 예로, 영역(710) 내에 움직이는 자동차가 존재하는 것으로 판단된 경우, 프로세서(140)는 센싱부(120)를 통해 자동차와의 거리 및 자동차의 속도를 획득할 수 있다.
그리고, 프로세서(140)는 물체와의 거리 및 운전자 시선에 따라 물체에 대한 운행 정보가 포함된 영상을 처리한다(S570). 여기서 운행 정보는, 차량 시스템(10) 자체의 운행 정보일 수 있으며, 외부 물체에 대한 운행 정보일 수 있다.
구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 뎁스 정보를 결정하고, 결정된 표시 영역 및 뎁스 정보를 바탕으로 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
더욱 구체적으로, 프로세서(140)는 운전자의 시선이 향하는 영역을 차량의 운행 정보의 표시 영역을 결정할 수 있다. 예를 들어, 도 8a에 도시된 바와 같이, 운전자의 시선이 앞 유리창의 중간 영역에 위치하는 경우, 프로세서(140)는 운전자 시선이 향하는 방향과 대응되도록 앞 유리창의 중간 영역에 운행 정보(810)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또 다른 예로, 도 8b에 도시된 바와 같이, 운전자의 시선이 앞 유리창의 하단 영역에 위치하는 경우, 프로세서(140)는 운전자 시선이 향하는 방향과 대응되도록 앞 유리창의 하단 영역에 운행 정보(820)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또 다른 예로, 도 8c에 도시된 바와 같이, 운전자의 시선이 앞 유리창의 상단 영역에 위치하는 경우, 프로세서(140)는 운전자 시선이 향하는 방향과 대응되도록 앞 유리창의 상단 영역에 운행 정보(830)를 표시하도록 디스플레이(130)를 제어할 수 있다.
또한, 프로세서(140)는 외부 물체와의 거리를 바탕으로 운행 정보의 뎁스 정보를 결정할 수 있다. 구체적으로, 프로세서(140)는 외부 물체와의 거리가 멀수록 뎁스값을 증가시키도록 결정하고, 외부 물체와의 거리가 가까울수록 뎁스값을 감소시키도록 결정할 수 있다. 이때, 뎁스값이 클수록 운행 정보는 멀리 있는 것처럼 표시되고, 뎁스값이 작을수록 운행 정보는 가까이 있는 것처럼 표시될 수 있다. 예를 들어, 외부 물체와의 거리가 제1 거리인 경우, 프로세서(140)는 도 9에 도시된 바와 같이, 제1 뎁스값을 가지는 운행 정보(910)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, 외부 물체와의 거리가 제1 거리보다 큰 제2 거리인 경우, 프로세서(140)는 도 9에 도시된 바와 같이, 제1 뎁스값보다 큰 제2 뎁스값을 가지는 운행 정보(920)를 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, 외부 물체와의 거리가 제1 거리보다 작은 제3 거리인 경우, 프로세서(140)는 도 9에 도시된 바와 같이, 제1 뎁스값보다 작은 제3 뎁스값을 가지는 운행 정보(930)를 표시하도록 디스플레이(130)를 제어할 수 있다. 이때, 프로세서(140)는 결정된 뎁스값을 바탕으로 다시점 3D 영상을 처리하여 외부 물체와의 거리에 대응되는 뎁스를 가지는 운행 정보(930)를 제공할 수 있다.
즉, 프로세서(140)는 운전자 시선이 향하는 물체와의 거리에 대응되도록 운행 정보의 뎁스값을 조절함으로써, 운전자로 하여금 멀미감을 저감시킬 수 있게 된다.
또한, 프로세서(140)는 운전자의 시선 방향을 바탕으로 차량의 운행 정보의 뎁스 정보를 변경하여 차량의 운행 정보를 틸팅(tilting)하여 표시하도록 디스플레이(130)를 제어할 수 있다.
구체적으로, 운전자 시선이 도 10a의 좌측에 도시된 바와 같이, 정면을 향할 경우, 프로세서(140)는 운전자 정면에 운행 정보(1010)를 표시하여, 도 10a의 우측에 도시된 바와 같이, 해당 운행 정보(1010)가 선명하게 보이도록 할 수 있다.
그러나, 도 10b의 좌측에 도시된 바와 같이, 운전자의 시선의 방향이 변경된 경우(즉, 운전자가 오른쪽을 바라보는 경우) 운행 정보(1020)를 정면을 향하도록 제공한다면, 도 10b의 우측에 도시된 바와 같이, 운행 정보(1020)에 크로스토크 및 이미지 왜곡 현상이 발생하게 된다.
따라서, 도 10c의 좌측에 도시된 바와 같이, 운전자의 시선의 방향이 변경된 경우, 프로세서(140)는 운행 정보(1030)의 뎁스 정보를 변경시켜 운행 정보(1030)를 틸팅(tilting)하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 운행 정보(1030)의 우측을 멀리 위치하도록 뎁스 정보를 결정하고, 운행 정보(1030)의 좌측을 가까이 위치하도록 뎁스 정보를 결정하며, 결정된 뎁스 정보를 바탕으로 운행 정보(1030)가 틸팅되어 표시되도록 디스플레이(130)를 제어할 수 있다. 이에 의해, 도 10c의 우측에 도시된 바와 같이, 운행 정보(1020)가 선명하게 보이도록 할 수 있다.
본 발명의 또 다른 실시예로, 프로세서(140)는 촬영된 운전자 영상을 바탕으로 운전자의 눈의 위치를 판단하며, 차량 정보의 표시 영역 및 운전자의 눈의 위치를 바탕으로 뎁스 정보를 변경하여 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
예를 들어, 운전자 시선이 도 11a에 도시된 바와 같이, 사용자의 눈의 위치가 앞 유리창의 중간 영역을 향할 경우, 프로세서(140)는 운전자 시선이 향하는 앞 유리창의 중간 영역에 운행 정보(1110)를 표시하도록 디스플레이(130)를 제어할 수 있다.
그러나, 사용자의 눈의 위치가 아래에 있어 운전자의 시선이 도 11b에 도시된 바와 같이, 위로 향할 경우, 프로세서(140)는 앞 유리 창의 상단 영역에 표시된 운행 정보(1120)의 뎁스 정보를 변경시켜 운행 정보(1120)를 틸팅하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 운행 정보(1120)의 상측이 가까이 위치하도록 뎁스 정보를 결정하고, 운행 정보(1120)의 하측이 멀리 위치하도록 뎁스 정보를 결정하며, 결정된 뎁스 정보를 바탕으로 운행 정보(1120)가 틸팅되어 표시되도록 디스플레이(130)를 제어할 수 있다.
또한, 사용자의 눈의 위치가 위에 있어 운전자의 시선이 도 11c에 도시된 바와 같이, 아래로 향할 경우, 프로세서(140)는 앞 유리 창의 하단 영역에 표시된 운행 정보(1130)의 뎁스 정보를 변경시켜 운행 정보(1130)를 틸팅하여 표시하도록 디스플레이(130)를 제어할 수 있다. 즉, 프로세서(140)는 운행 정보(1130)의 하측이 가까이 위치하도록 뎁스 정보를 결정하고, 운행 정보(1130)의 상측이 멀리 위치하도록 뎁스 정보를 결정하며, 결정된 뎁스 정보를 바탕으로 운행 정보(1130)가 틸팅되어 표시되도록 디스플레이(130)를 제어할 수 있다.
다시 도 5에 대해 설명하면, 디스플레이(130)는 차량의 운행 정보가 포함된 영상을 표시한다(S580).
한편, 본 발명의 일 실시예에 따르면, 차량의 운행 정보는 상이한 표시 방식을 가지는 복수의 유형을 포함할 수 있다. 구체적으로, 차량의 운행 정보는 고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함할 수 있다.
예를 들어, 프로세서(140)는 도 12에 도시된 바와 같이, 차량 시스템(10)의 속도, 연료량 등과 같은 차량 시스템(10) 자체에 대한 운행 정보(1210)가 고정된 위치 및 뎁스를 가지도록 처리할 수 있다. 또한, 프로세서(140)는 외부의 고정된 물체(예를 들어, 표지판, 신호등, 과속 방지턱 등)에 대한 운행 정보(1220)가 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되도록 처리할 수 있다. 또한, 프로세서(140)는 외부의 움직이는 물체(예를 들어, 자동차, 사람 등)에 대한 운행 정보(1230)가 시선의 위치 및 물체와의 거리에 따라 위치 및 뎁스가 변경되도록 처리할 수 있다.
즉, 프로세서(140)는 외부 물체를 인식한 후 인식된 외부 물체의 유형에 따라 상이한 표시 방식으로 운행 정보를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 외부 물체에 대한 정보를 획득한 경우, 프로세서(140)는 획득된 물체에 대한 정보를 차량의 운행 정보로 결정하여 표시하도록 디스플레이(130)를 제어할 수 있다. 이때, 프로세서(140)는 외부 물체 주위에 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 예를 들어, 외부 물체가 자동차인 경우, 자동차와의 거리 및 속도에 대한 정보를 획득하면, 프로세서(140)는 자동차 주위에 자동차와의 거리 및 속도에 대한 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
한편, 상술한 실시예에서는 외부 물체와의 거리에 따라 운행 정보의 뎁스를 조절하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 외부 물체와의 거리에 따라 운행 정보의 표시 크기를 조절할 수 있다. 구체적으로, 프로세서(140)는 운전자의 시선을 이용하여 차량의 운행 정보의 표시 영역을 결정하며, 물체와의 거리를 바탕으로 차량의 운행 정보의 표시 크기를 결정하고, 결정된 표시 영역 및 표시 크기를 바탕으로 차량의 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
상술한 바와 같이, 운전자의 시선 및 외부 물체와의 거리에 따라 운전자가 바라보는 물체에 대한 정보를 운전자의 시선이 머무는 위치 및 뎁스로 표시함으로써, 운전자가 안전하게 운행 정보를 확인할 수 있을 뿐만 아니라, 멀미감도 줄어들 수 있게 된다. 또한, 운전자는 자신이 바라보는 물체에 대한 필요한 정보를 획득할 수 있게 된다.
도 13은 본 발명의 일 실시예에 따른, 차량용 디스플레이 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 차량용 디스플레이 장치(100)는 카메라(110)를 통해 촬영된 운전자 영상을 분석하여 운전자 시선을 추적한다(S1310).
그리고, 차량용 디스플레이 장치(100)는 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단한다(S1320). 이때, 차량용 디스플레이 장치(100)는 운전자의 시선이 향하는 위치에 존재하는 외부 물체에 대한 정보를 획득할 수 있다.
그리고, 차량용 디스플레이 장치(100)는 센서(예를 들어, 초음파 센서 등)를 이용하여 판단된 물체와의 거리를 산출한다(S1330).
그리고, 차량용 디스플레이 장치(100)는 운전자의 시선 및 물체와의 거리를 바탕으로 차량의 운행 정보를 표시한다(S1340). 구체적으로, 차량용 디스플레이 장치(100)는 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보의 표시 영역 및 뎁스 정보를 결정하고, 결정된 표시 영역 및 뎁스 정보를 바탕으로 운행 정보를 표시할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보를 제공하는 모드를 HUD(Head up Display) 모드라고 할 수 있다. 즉, 차량용 디스플레이 장치(100)의 모드가 HUD 모드인 경우, 프로세서(140)는 운전자의 시선 및 물체와의 거리를 바탕으로 운행 정보의 표시 위치 및 뎁스 정보를 결정하여 운행 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 그러나, 사용자 설정에 의하거나 HUD 모드가 정상적으로 동작하기 어려운 경우(예를 들어, 카메라나 센서가 고장난 경우, 사용자 시선 범위에 기설정된 개수 이상의 물체가 있는 경우 등), 프로세서(140)는 차량용 디스플레이 장치(100)의 모드를 일반 모드로 전환하여 기설정된 영역에 입체감을 가지지 않은 2D 형태의 운행 정보를 제공할 수 있다. 이때, 2D 형태의 운행 정보는 차량의 속도, 연료량과 같은 기본 정보만이 포함될 수 있다. 즉, HUD 모드가 비정상적으로 동작하는 경우, 사용자의 시야를 어지럽게 하여 안전 운전에 위협이 될 수 있으므로, 프로세서(140)는 사용자에게 안전한 운행이 될 수 있도록 차량용 디스플레이 장치(100)의 모드를 일반모드로 전환할 수 있다.
한편, 본 발명에서는 다양한 흐름도에서 특정 순서로 동작이 개시되어 있으나, 이는 일 실시예에 불과할 뿐, 다른 방법에 의해 본 발명의 실시예가 구현될 수 있다. 예를 들어, 다른 실시예에서는 순서가 바뀌거나, 특정 순서가 조합되거나, 특정 순서가 중복되어 수행될 수 있다.
또한, 본 명세서에 설명된 발명의 실시예 및 모든 기능 동작들은 디지털 전자 회로 내에서 또는 본 명세서에서 개시된 구조들 및 이들의 균등 구조들을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어 내에서, 또는 이들의 하나 이상의 조합 내에서 실시될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 카메라 120: 센싱부
130: 디스플레이 140: 프로세서
150: 메모리 160: 통신 인터페이스
170: 입력부

Claims (18)

  1. 차량용 디스플레이 장치에 있어서,
    운전자를 촬영하는 카메라;
    외부의 물체와의 거리를 측정하기 위한 센싱부;
    차량의 운행 정보를 제공하는 디스플레이; 및
    상기 카메라를 통해 촬영된 영상을 분석하여 상기 운전자의 시선을 추적하며, 상기 추적된 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하고, 상기 센싱부를 통해 상기 판단된 물체와의 거리를 산출하며, 상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 상기 운행 정보를 표시하도록 상기 디스플레이를 제어하기 위한 프로세서;를 포함하는 차량용 디스플레이 장치.
  2. 제1항에 있어서,
    상기 디스플레이는, 3D 영상을 디스플레이할 수 있는 3D 디스플레이이며,
    상기 프로세서는,
    상기 운전자의 시선을 이용하여 상기 차량의 운행 정보의 표시 영역을 결정하며, 상기 물체와의 거리를 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 결정하고, 상기 결정된 표시 영역 및 뎁스 정보를 바탕으로 상기 차량의 운행 정보를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 운전자의 시선 방향을 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 변경하여 상기 차량의 운행 정보를 틸팅(tilting)하여 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 촬영된 운전자 영상을 바탕으로 상기 운전자의 눈의 위치를 판단하며, 상기 차량 정보의 표시 영역 및 상기 운전자의 눈의 위치를 바탕으로 상기 운행 정보의 표시 영역 및 뎁스 정보 중 적어도 하나를 변경하여 상기 차량의 운행 정보를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  5. 제1항에 있어서,
    상기 차량의 운행 정보는,
    고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영된 운전자 영상을 분석하여 상기 운전자의 눈 및 얼굴의 움직임을 판단하고, 상기 판단된 움직임이 기설정된 시간 이상 지속된 경우, 상기 운전자의 시선의 방향 정보를 획득하는 것을 특징으로 하는 차량용 디스플레이 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 운전자 시선의 방향 정보를 바탕으로 기 정의된 각도 범위 내에 위치하는 물체를 판단하는 것을 특징으로 하는 차량용 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 판단된 물체에 대한 정보를 획득하며, 상기 획득된 물체에 대한 정보를 상기 차량의 운행 정보로 결정하여 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 운전자의 시선을 이용하여 상기 차량의 운행 정보의 표시 영역을 결정하며, 상기 물체와의 거리를 바탕으로 상기 차량의 운행 정보의 표시 크기를 결정하고, 상기 결정된 표시 영역 및 표시 크기를 바탕으로 상기 차량의 운행 정보를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 차량용 디스플레이 장치.
  10. 차량용 디스플레이 장치의 제어 방법에 있어서,
    카메라를 통해 촬영된 운전자 영상을 분석하여 운전자의 시선을 추적하는 단계;
    상기 운전자의 시선이 향하는 위치에 존재하는 외부의 물체를 판단하는 단계;
    센서를 이용하여 상기 판단된 물체와의 거리를 산출하는 단계; 및
    상기 운전자의 시선 및 상기 물체와의 거리를 바탕으로 차량의 운행 정보를 표시하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 차량용 디스플레이 장치는 3D 영상을 디스플레이할 수 있는 디스플레이를 포함하며,
    상기 표시하는 단계는,
    상기 운전자의 시선을 이용하여 상기 차량의 운행 정보의 표시 영역을 결정하며, 상기 물체와의 거리를 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 결정하고, 상기 결정된 표시 영역 및 뎁스 정보를 바탕으로 상기 차량의 운행 정보를 표시하는 것을 특징으로 하는 제어 방법.
  12. 제10항에 있어서,
    상기 표시하는 단계는,
    상기 운전자의 시선 방향을 바탕으로 상기 차량의 운행 정보의 뎁스 정보를 변경하여 상기 차량의 운행 정보를 틸팅(tilting)하여 표시하는 것을 특징으로 하는 제어 방법.
  13. 제11항에 있어서,
    상기 운전자의 눈의 위치를 판단하는 단계;를 더 포함하며,
    상기 표시하는 단계는,
    상기 차량 정보의 표시 영역 및 상기 운전자의 눈의 위치를 바탕으로 상기 운행 정보의 표시 영역 및 뎁스 정보 중 적어도 하나를 변경하여 상기 차량의 운행 정보를 표시하는 것을 특징으로 하는 제어 방법.
  14. 제10항에 있어서,
    상기 차량의 운행 정보는,
    고정된 위치 및 뎁스를 가지는 제1 운행 정보, 고정된 위치에 물체와의 거리에 따라 뎁스만 변경되는 제2 운행 정보, 시선의 위치 및 물체와의 거리에 따라 위치와 뎁스가 변경되는 제3 운행 정보를 포함하는 것을 특징으로 하는 제어 방법.
  15. 제10항에 있어서,
    상기 추적하는 단계는,
    상기 카메라를 통해 운전자 영상을 촬영하는 단계;
    상기 촬영된 운전자 영상을 분석하여 상기 운전자의 눈 및 얼굴의 움직임을 판단하는 단계;
    상기 판단된 움직임이 기설정된 시간 이상 지속된 경우, 상기 운전자의 시선의 방향 정보를 획득하는 단계;를 포함하는 제어 방법.
  16. 제15항에 있어서,
    상기 판단하는 단계는,
    상기 운전자 시선의 방향 정보를 바탕으로 기 정의된 각도 범위 내에 위치하는 물체를 판단하는 것을 특징으로 하는 제어 방법.
  17. 제10항에 있어서,
    상기 판단된 물체에 대한 정보를 획득하는 단계;를 더 포함하며,
    상기 표시하는 단계는,
    상기 획득된 물체에 대한 정보를 상기 차량의 운행 정보로 결정하여 표시하는 것을 특징으로 하는 제어 방법.
  18. 제10항에 있어서,
    상기 표시하는 단계는,
    상기 운전자의 시선을 이용하여 상기 차량의 운행 정보의 표시 영역을 결정하며, 상기 물체와의 거리를 바탕으로 상기 차량의 운행 정보의 표시 크기를 결정하고, 상기 결정된 표시 영역 및 표시 크기를 바탕으로 상기 차량의 운행 정보를 표시하는 것을 특징으로 하는 제어 방법.
KR1020160099866A 2016-08-05 2016-08-05 차량용 디스플레이 장치 및 이의 제어 방법 KR20180016027A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160099866A KR20180016027A (ko) 2016-08-05 2016-08-05 차량용 디스플레이 장치 및 이의 제어 방법
PCT/KR2017/008488 WO2018026247A1 (ko) 2016-08-05 2017-08-07 차량용 디스플레이 장치 및 이의 제어 방법
US16/323,178 US20190187790A1 (en) 2016-08-05 2017-08-07 Vehicle display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160099866A KR20180016027A (ko) 2016-08-05 2016-08-05 차량용 디스플레이 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20180016027A true KR20180016027A (ko) 2018-02-14

Family

ID=61073838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160099866A KR20180016027A (ko) 2016-08-05 2016-08-05 차량용 디스플레이 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US20190187790A1 (ko)
KR (1) KR20180016027A (ko)
WO (1) WO2018026247A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113815623A (zh) * 2020-06-11 2021-12-21 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6834537B2 (ja) * 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
US11287651B2 (en) * 2018-05-04 2022-03-29 Harman International Industries, Incorporated Reconfigurable optics for multi-plane heads-up displays
KR20200113038A (ko) * 2019-02-13 2020-10-06 현대자동차주식회사 차량 제어 장치, 그를 포함한 시스템 및 그 방법
JP7005115B2 (ja) * 2019-04-05 2022-01-21 矢崎総業株式会社 車両用表示装置
CN113682315B (zh) * 2020-05-15 2023-06-23 华为技术有限公司 座舱系统调节装置和用于调节座舱系统的方法
JP2022185224A (ja) * 2021-06-02 2022-12-14 セイコーエプソン株式会社 回路装置、表示システム及び電子機器
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066472A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 전방 물체를 이용한 증강 현실 출력 장치 및 방법
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
KR101583950B1 (ko) * 2014-06-30 2016-01-08 현대자동차주식회사 차량정보 표시장치 및 그 표시방법
KR20160035687A (ko) * 2014-09-23 2016-04-01 현대모비스 주식회사 차량의 위험대상정보 제공장치
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113815623A (zh) * 2020-06-11 2021-12-21 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置

Also Published As

Publication number Publication date
US20190187790A1 (en) 2019-06-20
WO2018026247A1 (ko) 2018-02-08

Similar Documents

Publication Publication Date Title
KR20180016027A (ko) 차량용 디스플레이 장치 및 이의 제어 방법
CN105283794B (zh) 平视显示装置
CN108027511B (zh) 信息显示装置、信息提供系统、运动对象设备、信息显示方法和记录介质
US9544578B2 (en) Portable electronic equipment and method of controlling an autostereoscopic display
JP2020080485A (ja) 運転支援装置、運転支援システム、運転支援方法およびプログラム
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
JP2016210212A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
KR20190017383A (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
CN110547759A (zh) 鲁棒会聚信号
JP2019102936A (ja) 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム
EP3961353A1 (en) Method and apparatus for controlling head-up display based on eye tracking status
JP4929768B2 (ja) 視覚情報呈示装置及び視覚情報呈示方法
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
JP2019066564A (ja) 表示装置、表示制御方法、及びプログラム
CN111971197B (zh) 显示控制装置、平视显示设备
CN117242513A (zh) 显示控制装置、平视显示装置及显示控制方法
JP2018202927A (ja) ヘッドアップディスプレイ装置
WO2018109991A1 (ja) 表示装置、電子ミラー、表示装置の制御方法、プログラム、記録媒体
JP2019066562A (ja) 表示装置、表示制御方法、及びプログラム
JP2016122251A (ja) 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体
US11780368B2 (en) Electronic mirror system, image display method, and moving vehicle
WO2023054307A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
KR102627392B1 (ko) 청각 장애인용 인포테인먼트 시스템
JP2018207207A (ja) ヘッドアップディスプレイ装置
WO2023003045A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法