KR102179289B1 - 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법 - Google Patents

자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법 Download PDF

Info

Publication number
KR102179289B1
KR102179289B1 KR1020190064582A KR20190064582A KR102179289B1 KR 102179289 B1 KR102179289 B1 KR 102179289B1 KR 1020190064582 A KR1020190064582 A KR 1020190064582A KR 20190064582 A KR20190064582 A KR 20190064582A KR 102179289 B1 KR102179289 B1 KR 102179289B1
Authority
KR
South Korea
Prior art keywords
display
content
vehicle
display unit
motion
Prior art date
Application number
KR1020190064582A
Other languages
English (en)
Inventor
주다영
정소연
Original Assignee
연세대학교 산학협력단
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 한양대학교 에리카산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190064582A priority Critical patent/KR102179289B1/ko
Application granted granted Critical
Publication of KR102179289B1 publication Critical patent/KR102179289B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1434—Touch panels
    • B60K2370/1434—
    • B60K2370/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 엔터테인먼트 또는 차량의 주행 정보와 관련된 콘텐츠를 상기 차량의 탑승자에게 제공하는 확장된 디스플레이부, 상기 탑승자의 움직임을 감지하여 인식하는 센서 시스템, 상기 센서 시스템에서 감지된 모션에 포함된 행위를 분석하여, 상기 탑승자의 대화형 모션 데이터를 생성하는 모션 데이터 생성부 및 상기 대화형 모션 데이터에 따라 상기 확장된 디스플레이부의 동작을 제어하거나, 또는 상기 콘텐츠가 상기 확장된 디스플레이부에서 제공되는 양태를 제어하는 프로세서를 포함하는 차량의 대형 디스플레이 인터랙션 시스템이 개시된다.

Description

자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법{Large Display Interaction System and Method of Autonomous Vehicles}
본 발명은 차량의 대형 디스플레이 인터랙션 시스템 및 방법에 관한 것으로, 특히 인터랙션을 활용하여 자율주행차량의 대형 디스플레이를 사용하는 차량의 대형 디스플레이 인터랙션 시스템 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 차량은 차량 내 디스플레이의 크기가 넓어지고, 탑재되는 위치의 다양화 및 개수가 증가하고 있으며, 자율주행차량 내 인포테인먼트(Infotainment) 서비스에 대한 요구가 증가하면서 디스플레이의 역할 또한 커지게 되었다. 또한, 운전자의 편의 등을 위해 차량에 점차 많은 기능들이 부가되면서 늘어나는 차량 정보를 나타낼 수 있는 제공 수단의 필요성과 이것들을 설치할 수 있는 공간 확보가 요구되어 헤드업 디스플레이 장치가 개발되고 있다.
또한, 차량의 멀티미디어 시스템에 대한 입력 디바이스(Input Device)에 대한 연구가 많이 진행되고 있으며, 현재 출시되고 있는 많은 입력 디바이스는 접촉을 기반으로 하는 터치스크린(Touch Screen)을 활용한 제품들이 주를 이루고 있다.
종래에 접촉을 중심으로 하는 터치 인터랙션(Touch Interaction)의 경우에는 차량 운행 중 시선이 빼앗겨 사고의 위험이 있을 수 있으며, 간단한 조작조차도 운전자에게 많은 로딩(loading)을 주는 문제점이 있다. 따라서, 자율주행차량과 인포테인먼트의 중요성이 커지면서 디스플레이의 확장에 대한 선호도가 증가하고 있어, 이를 효과적으로 조작할 수 있는 차량의 대형 디스플레이 인터랙션 시스템 및 방법이 필요하다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 자율주행차량과 인포테인먼트의 중요성이 커지면서 디스플레이의 확장에 따른, 대형 디스플레이에서 멀티미디어 시스템의 각종 모드를 운전자의 모션을 이용하여 조작할 수 있는 인터랙션 방식을 적용하는 차량의 대형 디스플레이 인터랙션 시스템 및 방법을 제공함에 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상술한 목적을 달성하기 위하여, 본 발명은 엔터테인먼트 또는 차량의 주행 정보와 관련된 콘텐츠를 상기 차량의 탑승자에게 제공하는 확장된 디스플레이부, 상기 탑승자의 움직임을 감지하여 인식하는 센서 시스템, 상기 센서 시스템에서 감지된 모션에 포함된 행위를 분석하여, 상기 탑승자의 대화형 모션 데이터를 생성하는 모션 데이터 생성부 및 상기 대화형 모션 데이터에 따라 상기 확장된 디스플레이부의 동작을 제어하거나, 또는 상기 콘텐츠가 상기 확장된 디스플레이부에서 제공되는 양태를 제어하는 프로세서를 포함하는 차량의 대형 디스플레이 인터랙션 시스템을 제안한다.
바람직하게는, 상기 확장된 디스플레이부는 상기 차량의 계기판 정보, 드라이브 모드 또는 엔터테인먼트 기능을 제공하는 클러스터 디스플레이, 상기 차량의 공조 정보, 네비게이션 정보 또는 상기 엔터테인먼트를 제공하는 센터페시아 디스플레이, 상기 차량의 조수석 탑승자가 사용하는 상기 엔터테인먼트를 제공하는 조수석 디스플레이 및 상기 차량의 주행 정보와 상기 엔터테인먼트를 전방, 측방 또는 상방의 유리에 제공하는 투명 디스플레이를 포함한다.
바람직하게는, 상기 클러스터 디스플레이, 상기 센터페시아 디스플레이, 상기 조수석 디스플레이, 상기 투명 디스플레이는 서로 상기 콘텐츠의 이동 또는 공유가 가능하도록 마련된 것을 특징으로 한다.
바람직하게는, 프로세서는 상기 확장된 디스플레이부의 소정 영역이 소정 밝기를 형성하도록 제어하며, 상기 확장된 디스플레이부에 상기 엔터테인먼트 또는 상기 콘텐츠가 제공되도록 제어하는 디스플레이 제어부, 상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부를 다수로 분할하거나, 상기 확장된 디스플레이부의 적어도 일부를 서브 그룹으로 그룹핑하는 화면 관리부 및 상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부 내의 상기 콘텐츠를 원하는 위치 또는 크기로 조정하는 콘텐츠 이동부를 포함한다.
바람직하게는, 상기 디스플레이 제어부는 상기 차량의 주행 정보와 상기 엔터테인먼트를 형성하는 광을 조사하는 광원부 및 상기 광원부에서 발생된 빛을 집광시켜 상기 투명 디스플레이에 상기 엔터테인먼트 또는 상기 콘텐츠를 제공하는 화상을 형성하는 화상 형성부를 포함한다.
바람직하게는, 상기 콘텐츠 이동부는 상기 확장된 디스플레이부를 상기 대화형 모션 데이터를 기반으로 위 또는 아래, 좌 또는 우로 움직이고 확대 또는 축소가능하며, 상기 콘텐츠를 터치하여 드레그 후 원하는 위치에 드롭하는 드레그 앤 드롭을 하는 것을 특징으로 한다.
바람직하게는, 상기 드레그 앤 드롭은 상기 차량을 수동주행을 하는 경우, 운전 상황을 인지하여 상기 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 축소시켜 이동하여 제공하고, 상기 차량을 자율주행 하는 경우, 자율주행 상황을 인지하여 상기 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 동일하게 이동시켜 제공하고, 상기 차량이 자동주행 또는 수동주행에서 긴급모드로 변환되는 경우, 긴급 상황을 인지하여 상기 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 축소시켜 이동하여 제공하는 것을 특징으로 한다.
바람직하게는, 상기 센서 시스템은 상기 탑승자의 주변 또는 상기 확장된 디스플레이 주변에 위치하며, 상기 탑승자의 움직임을 감지하여 인식 신호를 생성하는 인식 센서부, 상기 탑승자의 접촉 또는 비접촉된 상태에서의 상기 탑승자의 모션을 입력 받는 터치패드 및 상기 차량의 탑승자의 모션을 인식하는 카메라를 적어도 하나 포함하는 것을 특징으로 한다.
바람직하게는, 상기 모션 데이터 생성부는 상기 인식 신호 또는 입력 받은 상기 탑승자의 모션을 기반으로 생성된 모션을 기 설정된 모션과 비교하여 일치 여부를 판단하며, 상기 생성된 모션과 상기 기 설정된 모션이 일치하는 경우 모션 데이터를 생성하는 것을 특징으로 한다.
바람직하게는, 상기 모션은 상기 탑승자의 손바닥 또는 손가락을 기반으로 상기 확장된 디스플레이부의 화면 전환 또는 화면 분할을 하며, 상기 손바닥 또는 손가락이 기 설정된 거리 이하로 상기 확장된 디스플레이부에 접근할 경우 인식되는 것을 특징으로 한다.
또한, 본 발명은 엔터테인먼트 또는 차량의 주행 정보와 관련된 콘텐츠를 탑승자에게 제공하는 단계, 상기 탑승자의 움직임을 센서 시스템에서 감지하는 단계, 상기 센서 시스템에서 감지된 모션에 포함된 행위를 분석하여, 상기 탑승자의 대화형 모션 데이터를 생성하는 단계 및 상기 대화형 모션 데이터에 따라 확장된 디스플레이부의 동작을 제어하거나, 콘텐츠가 확장된 상기 디스플레이부에서 제공되는 양태를 제어하는 단계를 포함하는 차량의 대형 디스플레이 인터랙션 방법을 제시한다.
바람직하게는, 상기 확장된 디스플레이부에서 제공되는 양태를 제어하는 단계는 상기 확장된 디스플레이부의 소정 영역이 소정 밝기를 형성하도록 제어하며, 상기 확장된 디스플레이부에 상기 엔터테인먼트 또는 상기 콘텐츠가 제공되도록 제어하는 단계, 상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부를 다수로 분할하는 단계 및 상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부 내의 상기 콘텐츠를 원하는 위치 또는 크기로 조정하는 단계를 포함한다.
바람직하게는, 상기 콘텐츠를 원하는 위치 또는 크기로 조정하는 단계는 상기 확장된 디스플레이부를 위 또는 아래, 좌 또는 우로 움직이고 확대 또는 축소가능하며, 상기 콘텐츠를 터치하여 드레그 후 원하는 위치에 드롭하는 드레그 앤 드롭을 하고, 상기 드레그 앤 드롭은 상기 차량을 수동주행을 하는 경우, 운전 상황을 인지하여 상기 콘텐츠를 축소하여 클러스터 디스플레이로 이동시켜 제공하고, 상기 차량을 자율주행 하는 경우, 자율주행 상황을 인지하여 상기 콘텐츠를 동일하게 클러스터 디스플레이로 이동시켜 제공하고, 상기 차량이 자동주행 또는 수동주행에서 긴급모드로 변환되는 경우, 긴급 상황을 인지하여 상기 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 축소시켜 이동하여 제공하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따르면 탑승자의 모션을 통해 디스플레이를 인터랙션 하며, 모션을 인식하는 센서 및 카메라 또는 터치패드를 사용하여 탑승자가 수행하는 모션을 인식하여 대형 디스플레이가 반응할 수 있다.
또한, 본 발명의 일 실시 예에 따르면 상황에 따라 디스플레이를 분할하여 다양한 콘텐츠 제공하여 1인 이상이 사용할 수 있으며, 디스플레이 안에서도 콘텐츠를 사용자가 원하는 대로 위치 및 크기로 커스터마이징(customizing)하여 레이아웃을 다양하게 할 수 있다.
또한, 본 발명의 일 실시 예에 따르면 차량에 1개 이상의 디스플레이가 탑재되었을 때에는 모션 인식으로 디스플레이간 콘텐츠 이동이 가능하고 운전자 전방 디스플레이로 콘텐츠를 이동시킬 경우 주행사항(일반 주행, 자율 주행)을 파악하여 제공할 정보의 양을 조절하여 디스플레이에 제공할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 확장된 디스플레이부의 위치를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 센서 시스템의 위치를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 확장된 디스플레이부 및 센서 시스템의 영역을 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 모션 인식 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 디스플레이 분할 방법을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 일반 디스플레이 모션을 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 2분할 디스플레이 모션을 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 3분할 디스플레이 모션을 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 화면 간/내 콘텐츠 이동 방법을 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 예시도이다.
도 12은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 방법을 도시한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 센서 시스템의 동작 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
도 1은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 구성을 도시한 블록도이다. 도 1에서 도시한 바와 같이, 차량의 대형 디스플레이 인터랙션 시스템(10)은 확장된 디스플레이부(100), 센서 시스템(200), 모션 데이터 생성부(300) 및 프로세서(400)를 포함한다. 차량의 대형 디스플레이 인터랙션 시스템(10)은 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
차량의 대형 디스플레이 인터랙션 시스템(10)은 차량의 내부에 들어가는 대형 디스플레이에 대한 사용과 인터랙션 방법에 관한 것으로, 모션을 기반으로 확장된 디스플레이부(100)와 인터랙션을 할 수 있다. 차량의 대형 디스플레이 인터랙션 시스템(10)은 모션을 인식하는 센서 시스템(200)을 포함한다. 센서 시스템(200)은 인식 센서부(210), 터치패드부(220) 및 카메라(230)를 포함할 수 있으며, 수행되는 모션을 인식하여 확장된 디스플레이부(100)가 반응한다.
차량의 대형 디스플레이 인터랙션 시스템(10)은 상황에 따라 디스플레이를 분할하여 다양한 콘텐츠를 제공할 수 있으며, 다수의 탑승자가 사용할 수 있다. 또한, 차량의 대형 디스플레이 인터랙션 시스템(10)은 확장된 디스플레이부(100) 안에서도 콘텐츠를 사용자가 원하는 대로 위치 또는 크기를 커스터마이징(customizing)하여 다양한 레이아웃을 할 수 있다.
차량의 대형 디스플레이 인터랙션 시스템(10)은 차량에 다수의 확장된 디스플레이부(100)가 탑재되었을 때에는 모션 인식으로 확장된 디스플레이부(100)간의 콘텐츠 이동이 가능하며, 운전자 전방 확장된 디스플레이부(100)로 콘텐츠를 이동시킬 경우 일반주행인지 자율주행인지 주행 상황을 파악하여 제공할 정보의 양 또는 크기를 조절하여 확장된 디스플레이부(100)에 제공할 수 있다.
차량의 대형 디스플레이 인터랙션 시스템(10)은 자율주행차량과 인포테인먼트(Infotainment)의 중요성이 커지면서 디스플레이의 확장에 대한 선호도가 증가하고 있어, 이를 효과적으로 조작할 수 있는 인터랙션 방식으로 적용 가능하다.
따라서, 차량의 대형 디스플레이 인터랙션 시스템(10)은 자율주행차량의 대형 확장된 디스플레이부(100)를 분할하여 사용 가능하며, 대형 확장된 디스플레이부(100)의 화면을 분할하여 한번에 다양한 콘텐츠를 사용 가능하며, 모션 인식으로 편리하게 화면 분할이 가능하다.
또한, 차량의 대형 디스플레이 인터랙션 시스템(10)은 화면을 분할하여 여러 명이 함께 동시에 확장된 디스플레이부(100)의 사용이 가능하며, 확장된 디스플레이부(100)에서 다른 확장된 디스플레이부(100)(멀티 디스플레이)로 콘텐츠 이동이 가능하고, 화면 안에서의 콘텐츠 이동이 가능하여 사용자가 원하는 인터페이스로 최적화가 가능하다.
본 발명의 일 실시 예에 따르면, 차량의 탑승자는 차량의 운전자 또는 조수석의 동승자일 수 있다. 또한, 차량의 탑승자는 차량의 대형 디스플레이 인터랙션 시스템(10)의 사용자이다.
콘텐츠는 각종 매체에서 제공하는 정보로서, 라디오, 미디어, 폰, 네비게이션, 정보 등을 나타내며, 차량의 탑승자에게 편의를 제공할 수 있는 저작물 또는 창작물이다.
확장된 디스플레이부(100)는 엔터테인먼트와 차량의 주행 정보를 콘텐츠로 제공한다. 확장된 디스플레이부(100)는 클러스터 디스플레이(Cluster Display)(110), 센터페시아 디스플레이(Centerfascia Display)(120), 조수석 디스플레이(130) 및 투명 디스플레이(140)를 포함한다.
상기 확장된 디스플레이부(100)는 확장되어 클러스터 디스플레이(110), 센터페시아 디스플레이(120), 조수석 디스플레이(130) 또는 투명 디스플레이(140) 간의 콘텐츠 이동 또는 공유가 가능할 수 있다.
본 발명의 일 실시 예에 따르면, 확장된 디스플레이부(100)는 상기 클러스터 디스플레이(110), 센터페시아 디스플레이(120), 조수석 디스플레이(130) 또는 투명 디스플레이(140)를 하나의 디스플레이로 볼 수 있으며, 서로 연결되어 상호작용을 하며, 각각의 디스플레이로 제공하는 것이 아닌 하나의 대형 디스플레이로 콘텐츠를 제공할 수 있다.
센서 시스템(200)은 주행 차량에 탑승한 탑승자의 움직임을 감지한다. 센서 시스템(200)는 인식 센서부(210), 터치패드부(220) 또는 카메라(230)를 적어도 하나 포함하며, 인식 센서부(210)는 클러스터 인식 센서(212), 센터페시아 인식 센서(214), 조수석 인식 센서(216) 및 추가 인식 센서(218)를 포함할 수 있으며, 투명 디스플레이 인식 센서 더 포함할 수 있다.
상기한 탑승자의 움직임은 확장된 디스플레이부(100)를 조작하기 위한 움직임으로서, 예를 들어 탑승자가 손으로 행하며 확장된 디스플레이부(100) 좌 또는 우, 상 또는 하로 움직이기 위한 직선의 움직임, 모양을 그리는 움직임 등의 확장된 디스플레이부(100)를 조작하기 위해 탑승자가 행하는 모든 움직임을 의미한다.
탑승자의 움직임의 감지는 상기한 손에 한정되지 않으며, 센서 시스템(200)의 위치에 따라 탑승자의 발 또는 다른 신체부위에 의해 감지할 수 있다.
인식 센서부(210)는 하나의 시스템에 의해 차량의 탑승자의 모션을 측정할 수 있으며, 상기한 바와 같이 다수의 인식 센서는 각각의 디스플레이의 주변에 설치하여 각각의 디스플레이에 대응되게 위치하여 동작할 수 있다.
본 발명의 일 실시 예에 따르면, 인식 센서부(210)는 마이크로파를 이용하여 탑승자의 움직임을 감지하는 모션 센서로 형성되어 탑승자의 움직임을 감지하여 인식 신호를 생성할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 인식 센서부(210)는 적외선으로 탑승자의 움직임을 감지하여 디지털 값을 출력하는 적외선 감지 센서로 형성되어 탑승자의 움직임을 감지하여 인식 신호를 생성할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 인식 센서부(210)는 탑승자의 움직임을 회전각을 통해 측정하는 자이로스코프 센서로 형성되어 탑승자의 움직임을 감지하여 인식 신호를 생성할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 인식 센서부(210)는 탑승자의 움직임을 3차원의 방향으로 가속도를 측정하는 가속도 센서로 형성되어 탑승자의 움직임을 감지하여 인식 신호를 생성할 수 있다.
또한, 인식 센서부(210)는 상기한 센서들로 형성되는 것으로 한정되지 않으며, 상기 탑승자의 움직임을 감지하여 인식 신호를 생성할 수 있는 센서로 형성될 수 있다.
인식 센서부(210)는 인식 신호가 생성되면 상기 인식 신호를 목적에 따라 유용한 정보를 선택하고 미약한 것은 증폭하는 등의 처리를 한다.
터치패드부(220)는 탑승자의 접촉 또는 비접촉된 상태에서의 탑승자의 모션을 입력 받을 수 있다. 모션은 탑승자의 손바닥 또는 손가락을 기반으로 확장된 디스플레이부(100)의 화면 전환 또는 화면 분할을 가능하게 한다. 터치패드부(220)는 손바닥 또는 손가락이 기 설정된 거리 이하로 확장된 디스플레이부(100)에 접근할 경우 인식될 수 있다.
기 설정된 거리는 터치패드부(220)에 인식되도록 차량의 대형 디스플레이 인터랙션 시스템(10)의 사용자가 설정할 수 있으며, 차량의 대형 디스플레이 인터랙션 시스템(10)을 사용하기 위한 동작 이외의 일반 동작들은 인식하지 못하도록 터치패드부(220)와 먼 거리를 유지하지 않도록 한다.
카메라(230)는 차량의 탑승자의 모션을 인식한다. 인식된 차량의 탑승자의 모션을 영상을 통해 분석하여 대화형 모션 데이터를 생성할 수 있다.
모션 데이터 생성부(300)는 센서 시스템(200)에서 감지된 모션에 포함된 행위를 분석하여, 탑승자의 대화형 모션 데이터를 생성한다. 모션 데이터 생성부(300)는 기존의 차량의 대형 디스플레이 인터랙션 시스템(10)에 설정되어 있는 모션과 인식 센서부(210), 터치패드부(220) 및 카메라(230)에 의해 입력 받은 인식 신호 또는 탑승자의 모션을 비교하여 일치 여부를 판단한다.
본 발명의 일 실시 예에 따르면, 모션에 포함된 행위의 분석은 센서 시스템(200)에서 감지된 모션과 차량의 대형 디스플레이 인터랙션 시스템(10)에 설정되어 있는 모션을 비교하여 분석하는 것으로, 두 모션의 일치 여부를 판단하는 과정이다. 따라서, 감지된 모션과 기 설정된 모션이 일치하는 경우 대화형 모션 데이터를 생성하며, 생성된 모션과 기 설정된 모션이 일치하지 않는 경우 대화형 모션 데이터를 생성하지 않는다.
본 발명의 또 다른 일 실시 예에 따르면, 모션에 포함된 행위의 분석은 탑승자에 의해 감지된 모션을 학습하며, 학습된 경험을 바탕으로 탑승자의 미래 행위를 예측하여 모션을 감지하는 과정일 수 있다.
따라서, 모션에 포함된 행위의 분석은 상기에 서술한 방법에 제한되지 않으며, 탑승자의 행위를 분석하여 확장된 디스플레이부(100)를 조작하기 위한 모션 데이터를 생성하는 방법으로 행위를 분석할 수 있다.
대화형 모션 데이터는 상기 모션에 포함된 행위를 분석하여 생성된 데이터로, 확장된 디스플레이부(100)를 조작하기 위해 프로세서(400)에 전달된다. 대화형 모션 데이터는 확장된 디스플레이부(100)를 조작하기 위한 정보를 포함하고 있으며, 탑승자가 설정한 모션을 기반으로 생성될 수 있다.
차량의 대형 디스플레이 인터랙션 시스템(10)에 기존에 설정되어 있는 모션은 차량의 사용자의 편의에 따라 설정되어 있는 모션을 변경할 수 있다.
프로세서(400)는 대화형 모션 데이터를 기반으로 확장된 디스플레이부(100)의 동작을 제어하거나, 또는 콘텐츠가 확장된 디스플레이부(100)에서 제공되는 양태를 제어한다. 프로세서(400)는 화면 관리부(410), 콘텐츠 이동부(420) 및 디스플레이 제어부(430)를 포함할 수 있으며, 예시적으로 구성한 구성요소 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
콘텐츠가 확장된 디스플레이부(100)에서 제공되는 양태는 콘텐츠의 이동, 재배치 등을 포함할 수 있으며, 콘텐츠가 확장된 디스플레이부(100)에서 제공되는 모든 실시예를 의미할 수 있다.
화면 관리부(410)는 대화형 모션 데이터를 기반으로 확장된 디스플레이부(100)를 다수로 분할할 수 있으며, 확장된 디스플레이부(100)의 적어도 일부를 서브 그룹으로 그룹핑할 수 있다.
서브 그룹은 상기 확장된 디스플레이부(100)에 포함되는 클러스터 디스플레이(110), 센터페시아 디스플레이(120), 조수석 디스플레이(130) 또는 투명 디스플레이(140)를 두 개 이상 엮어 하나의 그룹으로 콘텐츠를 제공할 수 있다.
본 발명의 일 실시 예에 따르면, 서브 그룹으로 그룹핑은 상기 투명 디스플레이(140)의 전방 디스플레이 및 측방(운전자의 왼쪽) 디스플레이를 서브 그룹으로 형성하여, 좌회전을 하는 경우 차량의 좌회전 정보를 상기 서브 그룹에 함께 제공할 수 있다.
콘텐츠 이동부(420)는 대화형 모션 데이터 생성부(300)에서 생성된 대화형 모션 데이터를 기반으로 확장된 디스플레이부(100) 내의 콘텐츠를 원하는 위치 및 크기로 조정할 수 있다. 콘텐츠 이동부(420)는 확장된 디스플레이부(100)를 위 또는 아래, 좌 또는 우로 움직이고 확대 또는 축소가능하며, 콘텐츠를 터치하여 드레그 후 원하는 위치에 드롭하는 드레그 앤 드롭을 할 수 있다.
본 발명의 일 실시 예에 따르면, 드레그 앤 드롭은 차량을 수동주행 하는 경우에 운전 상황을 인지하여 클러스터 디스플레이(110) 또는 투명 디스플레이(140)로 콘텐츠를 축소시켜 이동하여 제공한다.
본 발명의 또 다른 실시 예에 따르면, 드레그 앤 드롭은 차량을 자율주행 하는 경우에 자율주행 상황을 인지하여 상기 클러스터 디스플레이(110) 또는 투명 디스플레이(140)에 콘텐츠를 동일하게 이동시켜 제공할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 차량이 수동주행 또는 자율주행에서 긴급모드로 변환되는 경우에 긴급 상황을 인지하여 상기 클러스터 디스플레이(110) 또는 투명 디스플레이(140)로 콘텐츠를 축소시켜 이동하여 제공한다.
긴급모드는 예를 들어 긴급제동 시스템에 의해 전방 추돌이 예측되면 발생되는 모드로서, 차량의 운전하면서 예기치 못한 상황에 의해 발생되는 모드이다.
디스플레이 제어부(430)는 확장된 디스플레이부(100)의 소정 영역이 소정 밝기를 형성하도록 제어할 수 있으며, 확장된 디스플레이부(100)에 콘텐츠가 제공되도록 제어할 수 있다.
디스플레이 제어부(430)는 차량의 주행 정보와 엔터테인먼트를 형성하는 광을 조사하는 광원부 및 광원부에서 발생된 빛을 집광시켜 투명 디스플레이(140)에 화상을 형성하는 화상 형성부를 포함할 수 있다. 디스플레이 제어부(430)는 상기의 구성요소들 외의 일부 구성요소를 추가하여 형성될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 확장된 디스플레이부의 위치를 도시한 도면이다. 도 2에서 도시한 바와 같이, 차량의 대형 디스플레이 인터랙션 시스템(10)의 확장된 디스플레이부(100)는 클러스터 디스플레이(Cluster Display)(110), 센터페시아 디스플레이(Centerfascia Display)(120) 및 조수석 디스플레이(130)를 포함한다. 차량의 대형 디스플레이 인터랙션 시스템(10)의 확장된 디스플레이부(100)는 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
클러스터 디스플레이(110)는 터치 디스플레이를 사용하고 있으며, 차량의 운전자의 앞에 위치할 수 있다. 클러스터 디스플레이(110)는 차량의 계기판에 대한 정보, 드라이브 모드 및 선택적인 엔터테인먼트 기능(음악, 날씨 등)을 제공할 수 있으며, 이외에도 차량의 운전자가 운전하면서 필요한 기능들이 위치할 수 있다.
센터페시아 디스플레이(120)는 2인 이상이 사용할 수 있는 멀티 터치 디스플레이이며, 차량의 운전자 및 조수석의 동승자의 사이에 위치할 수 있다. 센터페시아 디스플레이(120)는 차량의 공조 정보 및 엔터테인먼트 콘텐츠를 제공하고 네비게이션 정보를 제공할 수 있으며, 이외에도 차량의 운전자 및 조수석의 동승자에게 모두 필요한 기능들이 위치할 수 있다.
조수석 디스플레이(130)는 터치 디스플레이를 사용하고 있으며, 조수석의 동승자 앞에 위치할 수 있다. 조수석 디스플레이(130)는 조수석의 동승자가 사용하고 싶어하는 콘텐츠(엔터테인먼트 등)를 제공할 수 있으며, 조수석의 동승자에게 필요한 기능들이 위치할 수 있다.
확장된 디스플레이부(100)의 클러스터 디스플레이(110), 센터페시아 디스플레이(120) 및 조수석 디스플레이(130)는 확장되어 디스플레이 간 콘텐츠 이동 및 공유가 가능하다. 본 발명의 일 실시 예에 따르면, 클러스터 디스플레이(110), 센터페시아 디스플레이(120) 및 조수석 디스플레이(130) 간의 이동 및 공유는 이동시킬 콘텐츠를 선택하여 이동하고자 하는 디스플레이의 방향으로 드레그하여 이동할 수 있다.
확장된 디스플레이부(100)는 차량 내에 디스플레이가 장착될 수 있는 모든 영역에 있는 디스플레이 사용이 가능하며, 장착된 멀티 디스플레이들을 확장하여 다중 디스플레이 환경이 가능하도록 하였다. 또한, 확장된 디스플레이부(100)는 반응형으로, 콘텐츠를 자유롭게 이동시킬 수 있고 콘텐츠를 인식하여 공간에 맞춰 크기, 모양, 형식이 자동으로 조정되도록 할 수 있으며, 터치, 멀티 터치, 모션 인식 등이 가능하다.
도 3은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 센서 시스템의 위치를 도시한 도면이다. 도 3에서 도시한 바와 같이, 차량의 대형 디스플레이 인터랙션 시스템(10)의 센서 시스템(200)은 인식 센서부(210)를 포함하고 있으며, 인식 센서부(210)는 클러스터 인식 센서(212), 센터페시아 인식 센서(214), 조수석 인식 센서(216) 및 추가 인식 센서(218)를 포함한다. 차량의 대형 디스플레이 인터랙션 시스템(10)의 센서 시스템(200)는 도 3에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
클러스터 인식 센서(212)는 클러스터 디스플레이(110)의 상단부에 위치하는 것으로 도시하고 있으나 반드시 이에 한정되는 것은 아니다. 클러스터 인식 센서(212)는 클러스터 디스플레이(110)와 관련된 조작 모션을 인식한다.
센터페시아 인식 센서(214)는 센터페시아 디스플레이(120)의 상단부에 위치하는 것으로 도시하고 있으나 반드시 이에 한정되는 것은 아니다. 센터페시아 인식 센서(214)는 센터페시아 디스플레이(120)와 관련된 조작 모션을 인식할 수 있다.
조수석 인식 센서(216)는 조수석 디스플레이(130)의 상단부에 위치하는 것으로 도시하고 있으나 반드시 이에 한정되는 것은 아니다. 조수석 인식 센서(216)는 조수석 디스플레이(130)와 관련된 조작 모션을 인식한다.
추가 인식 센서(218)는 차량의 기어 주위에 위치하는 것으로 도시하고 있으나 반드시 이에 한정되는 것은 아니다. 추가 인식 센서(218)는 클러스터 인식 센서(212), 센터페시아 인식 센서(214) 및 조수석 인식 센서(216)들이 인식을 못할 경우 추가적으로 모션을 인식할 수 있으며, 탑승자의 모션의 인식 오류를 방지할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 확장된 디스플레이부 및 센서 시스템의 영역을 도시한 도면이다. 차량의 대형 디스플레이 인터랙션 시스템(10)의 확장된 디스플레이부(100) 및 센서 시스템(200)는 도 4에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
도 4에서 도시한 바와 같이, 차량의 대형 디스플레이 인터랙션 시스템(10)은 사용하는 확장된 디스플레이부(100)와 근접한 위치에 인식 센서부(210)가 위치한다. 확장된 디스플레이부(100)와 인식 센서부(210)는 서로 대응되도록 위치하며, 인식 센서부(210)에서 모션을 인식함에 따라 확장된 디스플레이부(100)에서 변동이 일어난다.
도 4를 참조하면, 차량의 대형 디스플레이 인터랙션 시스템(10)은 도 2 및 도 3에 도시한 확장된 디스플레이부(100)와 인식 센서부(210) 외에 상기 차량의 주행 정보와 상기 엔터테인먼트를 전방, 측방 또는 상방의 유리에 제공하는 투명 디스플레이(140)를 추가로 더 도시하고 있다.
투명 디스플레이(140)는 도시한 바와 같이 차량의 전방 유리, 측방 유리 또는 차량 상방의 유리에 위치하여 콘텐츠가 제공할 수 있다.
투명 디스플레이(140)는 프로세서(400)의 디스플레이 제어부(430)를 통해 콘텐츠가 제공될 수 있다. 투명 디스플레이(140)는 전방에 위치하는 경우 제공되는 콘텐츠는 차량의 운전에 방해가 되지 않도록 제공되며, 상기 차량이 자율주행을 하는 경우에는 엔터테인먼트를 제공하여 이용할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 모션 인식 방법을 도시한 도면이다.
도 5를 참조하면, 차량의 대형 디스플레이 인터랙션 시스템(10)은 센서 시스템(200)에서 탑승자의 움직임을 감지하여 인식하며, 인식된 모션을 기반으로 모션 데이터 생성부(300)를 통해 대화형 모션 데이터가 생성되면 프로세서에서 그를 기반으로 화면을 분할하거나 콘텐츠를 이동할 수 있다.
모션 인식은 터치를 통해 모션을 인식하거나, 공중에서의 모션을 인식하는 것 모두 가능하며, 터치패드부(220)를 통해 탑승자의 모션을 입력할 수 있다. 또한, 터치패드부(220)는 공중에서의 터치를 인식하기 위해서 탑승자의 주변 또는 디스플레이 주변에서 모션을 인식할 수 있도록 위치할 수 있다.
차량의 대형 디스플레이 인터랙션 시스템(10)의 모션 인식은 자율주행차량의 확장된 디스플레이부(100)의 화면을 분할할 수 있으며, 확장된 디스플레이부(100)의 콘텐츠를 컨트롤할 수 있다. 또한, 차량의 대형 디스플레이 인터랙션 시스템(10)은 모션 인식을 통해 멀티 디스플레이 환경에서 콘텐츠 이동이 가능하며, 확장된 디스플레이부(100) 내에서의 자유로운 레이아웃 변화가 가능하다.
차량의 대형 디스플레이 인터랙션 시스템(10)의 모션 인식 방법은 손바닥을 통해 화면 전환 모션을 인식할 수 있다. 차량의 대형 디스플레이 인터랙션 시스템(10)은 모션 인식을 통해 화상 통화 시 손바닥 모션 인식으로 화면 전환이 가능하며, 화면 앞에서 손바닥을 우에서 좌로 움직일 때 화면이 전환될 수 있다.
차량의 대형 디스플레이 인터랙션 시스템(10)의 모션 인식 방법은 손가락을 통해 화면 전환 모션을 인식할 수 있다. 차량의 대형 디스플레이 인터랙션 시스템(10)은 모션 인식을 통해 화상 통화 시 손가락 모션 인식으로 문서 페이지 넘김이 가능하며, 화면 앞에서 손가락을 우에서 좌로 움직일 때 문서의 페이지가 넘어갈 수 있다.
차량의 대형 디스플레이 인터랙션 시스템(10)의 모션 인식 방법은 두 손가락은 통해 화면 분할 모션을 인식할 수 있다. 차량의 대형 디스플레이 인터랙션 시스템(10)의 모션 인식을 통해 화면 앞에서 손가락 검지와 엄지를 핀치(Pinch) 했다가 펴서 화면이 상하로 분할할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 디스플레이 분할 방법을 도시한 도면이다.
도 6을 참조하면, 본 발명은 확장된 디스플레이부(100)의 화면 분할을 최대 3분할까지 가능한 것으로 도시하고 있으나 반드시 이에 한정되는 것은 아니며, 3분할 이상으로 분할될 수 있다.
기존의 일반 확장된 디스플레이부(100)는 가장 기본 형태로 분할이 되지 않은 디스플레이이다.
2분할된 확장된 디스플레이부(100)는 우에서 좌로 스와이프(Swipe) 모션을 통해 2분할될 수 있으며, 우에서 좌로 확장된 디스플레이부(100)가 2분할되어 나타날 수 있다.
3분할된 확장된 디스플레이부(100)는 2분할된 확장된 디스플레이부(100)의 오른쪽 분할 영역에서 위에서 아래로 스와이프(Swipe) 모션을 통해 3분할될 수 있으며, 위에서 아래로 확장된 디스플레이부(100)가 3분할되어 나타날 수 있다.
본 발명의 일 실시 예에 따르면, 확장된 디스플레이부(100)를 분할하는 방법 및 분할 형태는 도 6과 같이 예시적으로 도시하고 있으나 반드시 이에 한정되는 것은 아니다.
도 7은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 일반 디스플레이 모션을 도시한 도면이다.
도 6에서의 분할되기 전 기존의 일반 확장된 디스플레이부(100)는 디스플레이의 화면을 위 또는 아래로 스크롤 할 때, 위에서 아래, 아래에서 위로 스크롤(Scroll) 모션을 사용한다. 스크롤(Scroll) 모션은 웹 페이지를 탐색하거나 문서 등을 볼 때 사용할 수 있다.
또한, 일반 확장된 디스플레이부(100)는 디스플레이 화면을 좌에서 우로, 우에서 좌로 움직이기 위해 스와이프(Swipe) 모션을 사용한다. 스와이프(Swipe) 모션은 페이지를 넘기거나 e-book을 읽을 때 또는 좌우 스크롤을 이용할 때 사용할 수 있다.
또한, 일반 확장된 디스플레이부(100)는 디스플레이의 콘텐츠를 선택하기 위해 일정 시간 동안 정지하고 있는 탭(Tap) 모션을 사용한다. 콘텐츠를 선택하기 위해 정지하고 있는 일정 시간은 2~3초 사이이며, 반드시 이에 한정되는 것은 아니며, 사용자의 편의에 의해 변경할 수 있다. 탭(Tap) 모션은 콘텐츠를 선택할 때 사용할 수 있다.
또한, 일반 확장된 디스플레이부(100)는 디스플레이 내 콘텐츠를 확대 또는 축소하기 위해 핀치(Pinch) 모션을 사용한다. 핀치(Pinch) 모션은 콘텐츠를 확대 또는 축소할 때 사용할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 2분할 디스플레이 모션을 도시한 도면이다.
도 6에서의 분할되어 2분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이의 영역 안에서 위 또는 아래로 스크롤 할 때, 위에서 아래, 아래에서 위로 스크롤(Scroll) 모션을 사용한다. 스크롤(Scroll) 모션은 웹 페이지를 탐색하거나 문서 등을 볼 때 사용할 수 있다.
또한, 2분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이 화면을 좌에서 우로, 우에서 좌로 움직이기 위해 스와이프(Swipe) 모션을 사용한다. 스와이프(Swipe) 모션은 페이지를 넘기거나 e-book을 읽을 때 또는 좌우 스크롤을 이용할 때 사용할 수 있다.
또한, 2분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이에서의 콘텐츠를 선택하기 위해 일정 시간 동안 정지하고 있는 탭(Tap) 모션을 사용한다. 콘텐츠를 선택하기 위해 정지하고 있는 일정 시간은 2~3초 사이이며, 반드시 이에 한정되는 것은 아니며, 사용자의 편의에 의해 변경할 수 있다. 탭(Tap) 모션은 콘텐츠를 선택할 때 사용할 수 있다.
또한, 2분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이 앞에서 콘텐츠를 확대 또는 축소하기 위해 핀치(Pinch) 모션을 사용한다. 핀치(Pinch) 모션은 콘텐츠를 확대 또는 축소할 때 사용할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 3분할 디스플레이 모션을 도시한 도면이다.
도 6에서의 분할되어 3분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이의 영역 안에서 위 또는 아래로 스크롤 할 때, 위에서 아래, 아래에서 위로 스크롤(Scroll) 모션을 사용한다. 스크롤(Scroll) 모션은 웹 페이지를 탐색하거나 문서 등을 볼 때 사용할 수 있다.
또한, 3분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이 화면을 좌에서 우로, 우에서 좌로 움직이기 위해 스와이프(Swipe) 모션을 사용한다. 스와이프(Swipe) 모션은 페이지를 넘기거나 e-book을 읽을 때 또는 좌우 스크롤을 이용할 때 사용할 수 있다.
또한, 3분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이에서의 콘텐츠를 선택하기 위해 일정 시간 동안 정지하고 있는 탭(Tap) 모션을 사용한다. 콘텐츠를 선택하기 위해 정지하고 있는 일정 시간은 2~3초 사이이며, 반드시 이에 한정되는 것은 아니며, 사용자의 편의에 의해 변경할 수 있다. 탭(Tap) 모션은 콘텐츠를 선택할 때 사용할 수 있다.
또한, 3분할된 확장된 디스플레이부(100)는 조작하고자 하는 디스플레이 앞에서 콘텐츠를 확대 또는 축소하기 위해 핀치(Pinch) 모션을 사용한다. 핀치(Pinch) 모션은 콘텐츠를 확대 또는 축소할 때 사용할 수 있다.
따라서, 분할된 화면의 확장된 디스플레이부(100)는 조작하고자 하는 분할 영역 내에서 기 설정된 모션을 사용하여 원하는 영역을 조작할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 화면 간/내 콘텐츠 이동 방법을 도시한 도면이다.
화면 간/내에서의 콘텐츠 이동을 설명하기 위해 클러스터 디스플레이(110) 및 센터페시아 디스플레이(120)를 예를 들어 설명한다. 본 발명은 클러스터 디스플레이(110) 및 센터페시아 디스플레이(120) 외의 조수석 디스플레이(130) 및 투명 디스플레이(140)와도 콘텐츠 이동이 가능하다.
화면 간/내에서의 콘텐츠 이동은 조작하고자 하는 센터페시아 디스플레이(120) 영역 안에서 위치를 이동시키고 싶은 콘텐츠를 선택한 후 이동하는 드레그 앤 드롭을 한다. 드레그 앤 드롭은 이동시킨 영역 크기에 맞춰서 자동으로 콘텐츠가 배치될 수 있다.
또한, 화면 간/내에서의 콘텐츠 이동은 조작하고자 하는 센터페시아 디스플레이(120)의 앞에서 이동시킬 콘텐츠를 선택하여 이동하고자 하는 클러스터 디스플레이(110)의 방향으로 드레그하여 이동하며 재배치하는 드레그 앤 리로케이트를 한다. 드레그 앤 리로케이트는 이동시킨 영역의 크기에 맞춰 자동으로 콘텐츠가 배치될 수 있다.
또한, 화면 간/내에서의 콘텐츠 이동은 운전자가 주행을 하고 잇는 상황에서 클러스터 디스플레이(110)로 콘텐츠를 이동시킬 경우, 운전상황(Driving Situation)인 것을 차량의 대형 디스플레이 인터랙션 시스템(10)에서 인지하여 콘텐츠를 축소하여 제공할 수 있다. 이는 일반주행상황임을 인지해야 드레그 앤 드롭을 통해 이루어질 수 있다.
또한, 화면 간/내에서의 콘텐츠 이동은 자율주행을 하고 잇는 상황에서 클러스터 디스플레이(110)로 콘텐츠를 이동시킬 경우, 자율주행상황(Autonomous Situation)인 것을 차량의 대형 디스플레이 인터랙션 시스템(10)에서 인지하여 콘텐츠를 동일하게 제공할 수 있다. 이는 자율주행상황임을 인지해야 드레그 앤 드롭을 통해 이루어질 수 있다.
모션 인식 방법은 상기한 바와 같이 설명한 방법 이외에 차량의 사용자가 설정한 모션으로 확장된 디스플레이(100)를 조작할 수 있으며, 상기한 모션 인식 방법에 한정되지 않는다.
도 11은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 예시도이다.
도 11a는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 원활한 정보 전송을 나타내는 예시도이며, 도 11b는 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 사용자 정의 가능한 디스플레이를 나타내는 예시도이다.
도 11a를 참조하면, 차량의 대형 디스플레이 인터랙션 시스템(10)의 원활한 정보 전송은 센터페시아 디스플레이(120)에 제공되는 콘텐츠를 클러스터 디스플레이(110)로 이동이 가능하며, 이동된 콘텐츠는 클러스터 디스플레이(110)에서 콘텐츠가 상황(일반주행 또는 자율주행)에 따라 다르게 제공될 수 있다.
도 11b를 참조하면, 차량의 대형 디스플레이 인터랙션 시스템(10)의 사용자 정의 가능한 디스플레이는 각각의 확장된 디스플레이부(100) 내의 콘텐츠들을 자유롭게 배치할 수 있다.
따라서, 차량의 대형 디스플레이 인터랙션 시스템(10)은 멀티 디스플레이 환경에서 콘텐츠 이동이 가능하며, 화면 안에서의 자유롭게 레이아웃을 변화시킬 수 있다.
도 12은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 방법을 도시한 흐름도이다. 차량의 대형 디스플레이 인터랙션 방법은 차량의 대형 디스플레이 인터랙션 시스템(10)이 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.
단계 S1210에서, 차량의 대형 디스플레이 인터랙션 시스템(10)은 엔터테인먼트 또는 차량의 주행 정보와 관련된 콘텐츠를 탑승자에게 제공할 수 있다.
단계 S1220에서, 차량의 대형 디스플레이 인터랙션 시스템(10)은 탑승자의 움직임을 센서 시스템(200)의 인식 센서부(210)에서 감지하여 인식할 수 있으며, 터치패드부(220)를 통해 탑승자의 접촉 또는 비접촉된 상태에서의 움직임을 입력 받을 수 있고, 카메라(230)를 통해 움직임을 감지하여 인식할 수 있다.
단계 S1230에서, 차량의 대형 디스플레이 인터랙션 시스템(10)은 센서 시스템(200)가 감지한 탑승자의 움직임에 포함된 행위를 분석하여, 탑승자의 대화형 모션 데이터를 생성할 수 있다. 따라서, 생성된 대화형 모션 데이터에 따라 확장된 디스플레이부(100)의 동작을 제어하거나, 또는 콘텐츠가 확장된 디스플레이부(100)에서 제공되는양태를 제어한다(S1240).
도 12에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 12에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
도 13은 본 발명의 일 실시 예에 따른 차량의 대형 디스플레이 인터랙션 시스템의 센서 시스템의 동작 방법을 도시한 흐름도이다.
단계 S1310에서, 센서 시스템(200)는 탑승자의 손 위치를 입력 받을 수 있다. 탑승자의 손 위치는 센서 시스템(200)에 탑승자의 움직임이 확인될 수 있는 위치에서 입력될 수 있다.
탑승자의 손 위치가 확인되면(S1320), 사용자의 모션을 입력 받을 수 있다(S1330). 탑승자의 모션 입력의 인식이 실패되는 경우, 탑승자의 손 위치를 입력 받는 단계 S1310으로 돌아갈 수 있다.
단계 S1330에서, 센서 시스템(200)는 탑승자의 모션이 입력되면, 모션 데이터 생성부(300)에서 센서 시스템(200)에서 감지된 모션에 포함된 행위를 분석하여, 일치 여부를 확인하여 모션을 확인할 수 있다(S1340). 모션은 각각 조작하고자 하는 바에 따라 미리 설정되어 있을 수 있으며, 조작하고자 하는 모션과 기 설정된 모션이 일치해야 모션을 확인할 수 있다.
단계 S1350에서, 모션이 확인되면, 차량의 대형 디스플레이 인터랙션 시스템(10)은 모션의 형태 및 방향에 맞는 인터랙션을 피드백 받을 수 있다.
도 13에서는 각각의 과정을 순차적으로 실행하는 것으로 개재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 13에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차량의 대형 디스플레이 인터랙션 시스템
100: 확장된 디스플레이부 200: 센서 시스템
300: 모션 데이터 생성부 400: 프로세서

Claims (13)

  1. 엔터테인먼트 또는 차량의 주행 정보와 관련된 콘텐츠를 상기 차량의 탑승자에게 제공하는 확장된 디스플레이부;
    상기 탑승자의 움직임을 감지하여 인식하는 센서 시스템;
    상기 센서 시스템에서 감지된 모션에 포함된 행위를 분석하여, 상기 탑승자의 대화형 모션 데이터를 생성하는 모션 데이터 생성부; 및
    상기 대화형 모션 데이터에 따라 상기 확장된 디스플레이부의 동작을 제어하거나, 또는 상기 콘텐츠가 상기 확장된 디스플레이부에서 제공되는 양태를 제어하는 프로세서를 포함하고,
    상기 프로세서는 상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부 내의 상기 콘텐츠를 원하는 위치 또는 크기로 조정하는 콘텐츠 이동부를 포함하고,
    상기 콘텐츠 이동부는 상기 콘텐츠를 터치하여 드래그 후 원하는 위치에 드롭하는 드래그 앤 드롭을 하고,
    상기 드래그 앤 드롭은 상기 탑승자의 전방에 위치하는 상기 확장된 디스플레이부로 상기 콘텐츠를 이동시키는 경우 주행 상황을 파악하여 상기 확장된 디스플레이부에 제공하는 상기 콘텐츠의 양을 조절하고,
    상기 주행 상황은 (i) 수동주행, (ii) 자율주행 및 (iii) 전방 추돌이 예측되면 발생되는 긴급모드를 포함하고,
    상기 차량을 수동주행 하는 경우, 운전 상황을 인지하여 상기 디스플레이부의 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 축소시켜 이동하여 제공하고,
    상기 차량을 자율주행 하는 경우, 자율주행 상황을 인지하여 상기 디스플레이부의 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 동일하게 이동시켜 제공하고,
    상기 차량이 자동주행에서 긴급모드로 변환되는 경우, 긴급 상황을 인지하여 상기 디스플레이부의 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 축소시켜 이동하여 제공하는 것을 특징으로 하는 차량의 대형 디스플레이 인터랙션 시스템.
  2. 제1항에 있어서,
    상기 확장된 디스플레이부는,
    상기 차량의 계기판 정보, 드라이브 모드 또는 엔터테인먼트 기능을 제공하는 클러스터 디스플레이;
    상기 차량의 공조 정보, 내비게이션 정보 또는 상기 엔터테인먼트를 제공하는 센터페시아 디스플레이;
    상기 차량의 조수석 탑승자가 사용하는 상기 엔터테인먼트를 제공하는 조수석 디스플레이; 및
    상기 차량의 주행 정보와 상기 엔터테인먼트를 전방, 측방 또는 상방의 유리에 제공하는 투명 디스플레이를 포함하는 차량의 대형 디스플레이 인터랙션 시스템.
  3. 제2항에 있어서,
    상기 클러스터 디스플레이, 상기 센터페시아 디스플레이, 상기 조수석 디스플레이, 상기 투명 디스플레이는 서로 상기 콘텐츠의 이동 또는 공유가 가능하도록 마련된 것을 특징으로 하는 차량의 대형 디스플레이 인터랙션 시스템.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 확장된 디스플레이부의 소정 영역이 소정 밝기를 형성하도록 제어하며, 상기 확장된 디스플레이부에 상기 엔터테인먼트 또는 상기 콘텐츠가 제공되도록 제어하는 디스플레이 제어부; 및
    상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부를 다수로 분할하거나, 상기 확장된 디스플레이부의 적어도 일부를 서브 그룹으로 그룹핑하는 화면 관리부를 더 포함하는 차량의 대형 디스플레이 인터랙션 시스템.
  5. 제4항에 있어서,
    상기 디스플레이 제어부는,
    상기 차량의 주행 정보와 상기 엔터테인먼트를 형성하는 광을 조사하는 광원부; 및
    상기 광원부에서 발생된 빛을 집광시켜 상기 투명 디스플레이에 상기 엔터테인먼트 또는 상기 콘텐츠를 제공하는 화상을 형성하는 화상 형성부를 포함하는 차량의 대형 디스플레이 인터랙션 시스템.
  6. 제4항에 있어서,
    상기 콘텐츠 이동부는 상기 확장된 디스플레이부를 상기 대화형 모션 데이터를 기반으로 위 또는 아래, 좌 또는 우로 움직이고 확대 또는 축소가능한 것을 특징으로 하는 차량의 대형 디스플레이 인터랙션 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 센서 시스템은,
    상기 탑승자의 주변 또는 상기 확장된 디스플레이의 주변에 위치하며, 상기 탑승자의 움직임을 감지하여 인식 신호를 생성하는 인식 센서부;
    상기 탑승자의 접촉 또는 비접촉된 상태에서의 상기 탑승자의 모션을 입력 받는 터치패드; 및
    상기 차량의 탑승자의 모션을 인식하는 카메라를 적어도 하나 포함하는 것을 특징으로 하는 차량의 대형 디스플레이 인터랙션 시스템.
  9. 제1항에 있어서,
    상기 모션 데이터 생성부는 상기 센서 시스템에서 감지된 모션과 기 설정된 모션을 비교하여 일치 여부를 판단하며,
    상기 감지된 모션과 상기 기 설정된 모션이 일치하는 경우 모션 데이터를 생성하는 것을 특징으로 하는 차량의 대형 디스플레이 인터랙션 시스템.
  10. 제1항에 있어서,
    상기 모션은 상기 탑승자의 손바닥 또는 손가락을 기반으로 상기 확장된 디스플레이부의 화면 전환 또는 화면 분할을 하며,
    상기 손바닥 또는 손가락이 기 설정된 거리 이하로 상기 확장된 디스플레이부에 접근할 경우 인식되는 것을 특징으로 하는 차량의 대형 디스플레이 인터랙션 시스템.
  11. 엔터테인먼트 또는 차량의 주행 정보와 관련된 콘텐츠를 탑승자에게 제공하는 단계;
    상기 탑승자의 움직임을 센서 시스템에서 감지하는 단계;
    상기 센서 시스템에서 감지된 모션에 포함된 행위를 분석하여, 상기 탑승자의 대화형 모션 데이터를 생성하는 단계; 및
    상기 대화형 모션 데이터에 따라 확장된 디스플레이부의 동작을 제어하거나, 콘텐츠가 상기 확장된 디스플레이부에서 제공되는 양태를 제어하는 단계를 포함하고,
    상기 제공되는 양태를 제어하는 단계는 상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부 내의 상기 콘텐츠를 원하는 위치 또는 크기로 조정하는 단계를 포함하고,
    상기 콘텐츠를 원하는 위치 또는 크기로 조정하는 단계는 상기 콘텐츠를 터치하여 드래그 후 원하는 위치에 드롭하는 드래그 앤 드롭을 하고,
    상기 드래그 앤 드롭은 상기 탑승자의 전방에 위치하는 상기 확장된 디스플레이부로 콘텐츠를 이동시키는 경우 주행 상황을 파악하여 상기 확장된 디스플레이부에 제공하는 콘텐츠의 양을 조절하고,
    상기 주행 상황은 (i) 수동주행, (ii) 자율주행 및 (iii) 전방 추돌이 예측되면 발생되는 긴급모드를 포함하고,
    상기 차량을 수동주행 하는 경우, 운전 상황을 인지하여 상기 확장된 디스플레이부의 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 축소시켜 이동하여 제공하고,
    상기 차량을 자율주행 하는 경우, 자율주행 상황을 인지하여 상기 확장된 디스플레이부의 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 동일하게 이동시켜 제공하고,
    상기 차량이 자동주행에서 긴급모드로 변환되는 경우, 긴급 상황을 인지하여 상기 확장된 디스플레이부의 클러스터 디스플레이 또는 투명 디스플레이로 상기 콘텐츠를 축소시켜 이동하여 제공하는 것을 특징으로 하는 차량의 대형 디스플레이 인터랙션 방법.
  12. 제11항에 있어서,
    상기 확장된 디스플레이부에서 제공되는 양태를 제어하는 단계는,
    상기 확장된 디스플레이부의 소정 영역이 소정 밝기를 형성하도록 제어하며, 상기 확장된 디스플레이부에 상기 엔터테인먼트 또는 상기 콘텐츠가 제공되도록 제어하는 단계; 및
    상기 대화형 모션 데이터를 기반으로 상기 확장된 디스플레이부를 다수로 분할하는 단계를 포함하는 차량의 대형 디스플레이 인터랙션 방법.
  13. 삭제
KR1020190064582A 2019-05-31 2019-05-31 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법 KR102179289B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190064582A KR102179289B1 (ko) 2019-05-31 2019-05-31 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190064582A KR102179289B1 (ko) 2019-05-31 2019-05-31 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102179289B1 true KR102179289B1 (ko) 2020-11-17

Family

ID=73642416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190064582A KR102179289B1 (ko) 2019-05-31 2019-05-31 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102179289B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102375003B1 (ko) * 2021-10-29 2022-03-16 주식회사 서연이화 모션 제스처 센싱 장치 및 이를 적용한 차량 탑재 장치의 조작 시스템
WO2022108379A1 (ko) * 2020-11-20 2022-05-27 삼성전자 주식회사 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
KR20230037424A (ko) 2021-09-09 2023-03-16 엘지전자 주식회사 탑승자의 행동 및 상태에 따라 차량의 동작을 제어하는 방법
WO2023038428A1 (ko) 2021-09-09 2023-03-16 엘지전자 주식회사 디스플레이 장치, 이를 구비한 차량 및 그 차량의 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072074A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 차량 제스처 인식 시스템 및 그 제어 방법
KR20160148958A (ko) * 2015-06-17 2016-12-27 엘지전자 주식회사 차량용 디스플레이 제어 장치 및 그 동작 방법
KR101737800B1 (ko) * 2015-04-07 2017-05-29 엘지전자 주식회사 차량 단말기 및 그 제어 방법
KR20180036556A (ko) * 2016-09-30 2018-04-09 도요타지도샤가부시키가이샤 차량용 조작 장치
JP2018195134A (ja) * 2017-05-18 2018-12-06 カルソニックカンセイ株式会社 車載用情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072074A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 차량 제스처 인식 시스템 및 그 제어 방법
KR101737800B1 (ko) * 2015-04-07 2017-05-29 엘지전자 주식회사 차량 단말기 및 그 제어 방법
KR20160148958A (ko) * 2015-06-17 2016-12-27 엘지전자 주식회사 차량용 디스플레이 제어 장치 및 그 동작 방법
KR20180036556A (ko) * 2016-09-30 2018-04-09 도요타지도샤가부시키가이샤 차량용 조작 장치
JP2018195134A (ja) * 2017-05-18 2018-12-06 カルソニックカンセイ株式会社 車載用情報処理システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108379A1 (ko) * 2020-11-20 2022-05-27 삼성전자 주식회사 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
US11996021B2 (en) 2020-11-20 2024-05-28 Samsung Electronics Co., Ltd. Electronic device including expandable display and content provision method
KR20230037424A (ko) 2021-09-09 2023-03-16 엘지전자 주식회사 탑승자의 행동 및 상태에 따라 차량의 동작을 제어하는 방법
WO2023038428A1 (ko) 2021-09-09 2023-03-16 엘지전자 주식회사 디스플레이 장치, 이를 구비한 차량 및 그 차량의 제어방법
KR20230037423A (ko) 2021-09-09 2023-03-16 엘지전자 주식회사 디스플레이 장치, 이를 구비한 차량 및 그 차량의 제어방법
KR102375003B1 (ko) * 2021-10-29 2022-03-16 주식회사 서연이화 모션 제스처 센싱 장치 및 이를 적용한 차량 탑재 장치의 조작 시스템

Similar Documents

Publication Publication Date Title
KR102179289B1 (ko) 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법
US10936108B2 (en) Method and apparatus for inputting data with two types of input and haptic feedback
JP5725259B2 (ja) 表示のための方法、装置、コンピュータ、及び携帯機器、並びに、その装置を有する車両
CN114416227A (zh) 窗口切换方法、电子设备及可读存储介质
US10179510B2 (en) Vehicle arrangement, method and computer program for controlling the vehicle arrangement
US20130097553A1 (en) Information display device and method for shifting operation of on-screen button
EP3305577B1 (en) Operating apparatus for vehicle
US20200215919A1 (en) System for controlling a main monitor of an autonomous vehicle
WO2020087964A1 (zh) 一种手势触控的多屏操作方法
KR101806172B1 (ko) 차량 단말기 조작 시스템 및 그 방법
CN108367679A (zh) 具有图像检测单元和用于对车辆的装置进行操作的操作系统的车辆以及用于运行该操作系统的方法
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
JP2018195134A (ja) 車載用情報処理システム
KR102675875B1 (ko) 터치 패드를 조작하여 차량 내의 표시화면을 제어하는 장치 및 방법
Biswas et al. Improving eye gaze controlled car dashboard using simulated annealing
KR101709129B1 (ko) 멀티모달 차량 제어 장치 및 그 방법
Meschtscherjakov The steering wheel: a design space exploration
EP2763013A1 (en) Display apparatus, display method, and program
KR101422060B1 (ko) 터치패드를 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
JP2023540568A (ja) 車両の計器盤の別個のディスプレイデバイスでのコンテンツの提示
JP2018128968A (ja) 車両用入力装置、及び、車両用入力装置の制御方法
CN108073312A (zh) 人车交互
KR101480775B1 (ko) 필기 인식을 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
KR20210131174A (ko) 제스처 인식 장치 및 그 방법
JP2016185720A (ja) 車両用入力システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant