KR101806172B1 - 차량 단말기 조작 시스템 및 그 방법 - Google Patents

차량 단말기 조작 시스템 및 그 방법 Download PDF

Info

Publication number
KR101806172B1
KR101806172B1 KR1020160031486A KR20160031486A KR101806172B1 KR 101806172 B1 KR101806172 B1 KR 101806172B1 KR 1020160031486 A KR1020160031486 A KR 1020160031486A KR 20160031486 A KR20160031486 A KR 20160031486A KR 101806172 B1 KR101806172 B1 KR 101806172B1
Authority
KR
South Korea
Prior art keywords
menu
touch
vehicle
touch screen
coordinates
Prior art date
Application number
KR1020160031486A
Other languages
English (en)
Other versions
KR20170107767A (ko
Inventor
김정환
심원선
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020160031486A priority Critical patent/KR101806172B1/ko
Publication of KR20170107767A publication Critical patent/KR20170107767A/ko
Application granted granted Critical
Publication of KR101806172B1 publication Critical patent/KR101806172B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B60K2350/1012—
    • B60K2350/1024—
    • B60K2350/1028—
    • B60K2350/2008—
    • B60K2350/2013—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

차량 단말기 조작 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른 운전자 주의 분산 방지를 위한 차량 단말기 조작 시스템은, 센터페시아에 위치하는 터치스크린을 통해 차량 단말기를 조작하는 디스플레이부; 카메라를 통해 사용자의 손이 상기 터치스크린에 근접하는 이벤트를 감지하고 비접촉 상태에서 상기 터치스크린 상의 손끝 근접 좌표를 추적하는 손동작 감지 모듈; 차량 운행에 필요한 정보를 프로젝터를 통해 운전자의 앞창 윈드실드에 표시하는 헤드업 디스플레이부(HUD); 및 상기 손끝 근접 좌표로 터치스크린 상에 선택된 메뉴와 그 주변의 피드백 영상을 돋보기 형태로 생성하여 상기 HUD에 표시하고, 터치 좌표를 감지하여 상기 선택된 메뉴의 기능을 동작시키는 메인 제어부를 포함하는 차량 단말기 조작 시스템.

Description

차량 단말기 조작 시스템 및 그 방법{VEHICLE TERMINAL CONTROL SYSTEM AND METHOD}
본 발명은 차량 단말기 조작 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 운전자 주의 분산 방지를 위한 차량 단말기 조작 시스템 및 그 방법에 관한 것이다.
일반적으로 센터페시아는 차량의 정보 기기(Audio Visual Navigation, AVN) 및 공조를 제어하고 관련 정보를 표시하는 차량 단말기의 주요 입출력 장치 및 제어기가 위치하는 영역이다.
차량 단말기의 조작은 기존 노브/버튼식 인터페이스에서 터치스크린 인터페이스로 진화하고 있다. 이러한 배경에는 버튼 입력 방식이 사용자 다양성과 편의성을 완벽하게 충족하지 못하고 있으며, 이와는 반대로 터치스크린 입력 방식은 버튼 인터페이스 방식에 비해 유연한 미적 시각과 사용자에게 쌍방향 대량정보 전달 기능을 제공할 수 있는 장점이 있기 때문이다.
하지만 터치스크린 입력방식은 기존의 버튼 입력 방식이 가지고 있는 고정식 배치 구조와 햅틱 피드백(Tactile Feedback)이 없어 운전자의 전방 주시율이 현격히 떨어지므로 운전 중 조작 시 사고의 위험성이 있다.
이를 해결하고자 음성 인식 및 제스처 인식 등의 다양한 다양한 인간-기계 인터페이스(Human-Machine Interface, HMI)기술이 제안되었다.
그러나, 음성 인식의 경우 자연어 처리에 한계가 있으며 차량 내부 소음, 언어마다 인식율 차이로 인해 활용도가 떨어지고, 2D/3D 제스처 인식의 경우도 의도치 않은 제스처로 인한 오동작, 다양한 입력 정보 인식 한계 및 운전자 학습의 어려움 등으로 활용도가 떨어지는 문제가 있다.
따라서, 차량 단말기의 조작에는 터치스크린이 주행 중 주의 분산으로 인한 위험성이 있으나 이를 제외하고는 다양한 입출력 정보에 대한 직관적인 인터페이스를 제공하고 있어 가장 편리하고 명확한 HMI 인터페이스로 인식되고 있다.
한편, 최근 LCD, LED, OLED 및 Flexible OLED 등 디스플레이 기술의 발달로 대화면 풀 터치스크린(Full Touch Screen) 적용에 대한 소비자 요구(Need)가 증가하는 반면에 미국 및 유럽을 중심으로 주행 중 운전자의 주의 분산으로 생길 수 있는 사고의 위험성을 방지하고자 규제 또는 법률 제정이 검토되고 있다.
특히, 터치스크린은 기존의 고정된 하드 키(Hard-Key) 타입과는 달리 효율적인 HMI 구성을 위해 트리 구조의 메뉴 형태를 갖고 있어 원하는 동작을 위해 2번 이상의 터치가 필요한 경우가 많고 그로 인해 스크린을 주시하는 시간이 길어 전방 주시율을 떨어트리는 문제점이 있다.
따라서, 터치스크린 인터페이스를 차량에 적용함에 있어서 운전자의 주의 분산을 방지하여 운전 중에도 안전한 차량 단말기의 조작이 가능한 방안이 절실히 요구된다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
특허문헌 1 : 한국공개특허 제2004-0108208호 (2004.12.23. 공개)
본 발명의 실시 예는 센터페시아에 위치한 터치스크린 인터페이스를 조작하는 운전자 손가락 끝 좌표를 추적하고, 그 손이 위치한 터치스크린의 일부 화면을 HUD(Head Up Display)를 통해 표시함으로써 운전자의 주의 분산을 방지하면서 기능 입력을 용이하게 하는 차량 단말기 조작 시스템 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 운전자 주의 분산 방지를 위한 차량 단말기 조작 시스템은, 센터페시아에 위치하는 터치스크린을 통해 차량 단말기를 조작하는 디스플레이부; 카메라를 통해 사용자의 손이 상기 터치스크린에 근접하는 이벤트를 감지하고 비접촉 상태에서 상기 터치스크린 상의 손끝 근접 좌표를 추적하는 손동작 감지 모듈; 차량 운행에 필요한 정보를 프로젝터를 통해 운전자의 앞창 윈드실드에 표시하는 헤드업 디스플레이부(HUD); 및 상기 손끝 근접 좌표로 터치스크린 상에 선택된 메뉴와 그 주변의 피드백 영상을 돋보기 형태로 생성하여 상기 HUD에 표시하고, 터치 좌표를 감지하여 상기 선택된 메뉴의 기능을 동작시키는 메인 제어부를 포함하는 한다.
상기 상기 터치스크린은, 대화면 풀 터치스크린으로 차량 단말기의 조작을 위한 메뉴를 표시하고 운전자의 터치 입력에 따른 터치 좌표를 감지하여 메인 제어부로 전달할 수 있다.
또한, 상기 메인 제어부는, 차량의 운전정보를 참조하여 정차 모드에서는 상기 손동작 감지 모듈을 오프(OFF)하고, 주행 모드에서만 상기 손동작 감지 모듈을 온(ON) 할 수 있다.
또한, 상기 메인 제어부는, 상기 피드백 영상 내 손끝 근접 좌표로 선택된 메뉴가 구별되도록 하일라이팅 하거나 메뉴 색상을 변경하여 시각적으로 표시할 수 있다.
또한, 상기 메인 제어부는, 터치 오동작 방지를 위해 상기 터치 좌표의 메뉴와 상기 손끝 근접 좌표를 통해 마지막으로 선택된 메뉴를 비교하여 두 메뉴의 일치 여부를 판단할 수 있다.
또한, 상기 메인 제어부는, 상기 터치 좌표로 입력된 메뉴와 상기 피드백 영상에서 마지막으로 선택된 메뉴가 상이하면 상기 터치 좌표로 입력된 메뉴가 오입력된 것으로 판단하고, 상기 마지막으로 선택된 메뉴의 기능을 동작시킬 수 있다.
또한, 상기 메인 제어부는, 상기 터치 감지 이전에 상기 피드백 영상에 선택된 메뉴의 유지시간을 파악하여 일정 유지시간을 충족하면 상기 마지막으로 선택된 메뉴로 판단할 수 있다.
또한, 상기 메인 제어부는, 차량의 운전정보를 참조하여 차량의 도로 상태 또는 차량 속도 조건에 따른 상기 손동작 감지 모듈의 손 동작 감지를 위한 민감도를 복수의 단계로 제어할 수 있다.
또한, 상기 메인 제어부는, 운전자의 집중도가 높아지는 주행환경에 있을수록 상기 민감도를 높게 제어하여 손 동작의 감지 거리를 증가시킬 수 있다.
또한, 상기 메인 제어부는, 상기 손끝 근접 좌표를 중심으로 일정 영역을 포함하는 손끝 근접 좌표 중심 피드백 영상을 생성할 수 있다.
또한, 상기 메인 제어부는, 상기 선택된 메뉴와 동일한 단위 그룹에 있는 메뉴를 한 화면에 표시하는 선택 단위 그룹 피드백 영상을 생성할 수 있다.
또한, 상기 메인 제어부는, 상기 터치스크린에 내비게이션, 오디오 및 공조의 다양한 메뉴가 배치된 메인 화면에서는 상기 손끝 근접 좌표 중심 피드백 영상을 생성하여 표시하고, 특정 메뉴의 터치 입력 후 나타나는 서브메뉴에서는 선택 단위 그룹 피드백 영상을 생성하여 표시할 수 있다.
한편, 본 발명의 일 측면에 따른, 차량 단말기 조작 시스템의 운전자 주의 분산 방지를 위한 차량 단말기 조작 방법은, a) 차량 속도에 따른 정차 또는 주행 여부를 판단하고, 차량의 정차 모드 시 터치스크린을 통해 입력된 터치 좌표를 검출하여 차량 단말기를 조작하는 단계; b) 차량의 주행 모드 시 카메라를 이용한 손동작 감지 모듈을 통해 사용자의 손이 상기 터치스크린에 근접하는 이벤트를 감지하고 비접촉 상태에서 상기 터치스크린 상의 손끝 근접 좌표를 추적하는 단계; c) 상기 손끝 근접 좌표로 상기 터치스크린 상에 선택된 메뉴와 그 주변의 피드백 영상을 돋보기 형태로 생성하여 헤드업 디스플레이부(HUD)를 통해 표시하는 단계; 및 d) 상기 터치스크린에 입력된 터치 좌표를 감지하여 상기 선택된 메뉴의 기능을 동작시키는 단계를 포함한다.
또한, 상기 b) 단계는, 차량이 자율 주행 모드거나 상기 카메라의 통신상태에 이상이 있으면 상기 손동작 감지 모듈의 작동을 오프(OFF)하고 상기 정차 모드 방식으로 차량 단말기를 조작할 수 있다.
또한, 상기 b) 단계는, 차량의 주행 환경 판단에 따른 도심 모드, 국도 모드 및 고속도로 모드 중 어나 하나에 해당되는 손동작 감지를 위한 민감도를 설정하는 단계를 포함할 수 있다.
또한, 상기 c) 단계는, 상기 피드백 영상에 상기 손끝 근접 좌표에 의해 선택된 메뉴가 구별되도록 시각적으로 표시하는 단계를 포함할 수 있다.
또한, 상기 d) 단계는, 상기 터치 좌표로 입력된 메뉴와 상기 손끝 근접 좌표를 통해 마지막으로 선택된 메뉴를 비교하여 상기 터치 좌표의 이상 여부를 판단하는 단계; 및 두 메뉴가 상이하면 상기 터치 좌표에 이상이 있는 것으로 판단하고, 상기 피드백 영상에서 일정 유지시간을 충족한 마지막으로 선택된 메뉴의 좌표를 터치 좌표로 보정하는 단계를 포함할 수 있다.
한편, 본 발명의 다른 일 측면에 따른, 운전자 주의 분산 방지를 위한 차량 단말기 조작 시스템은, 센터페시아에 위치하는 터치스크린을 통해 차량 단말기를 조작하는 디스플레이부; 사용자의 손이 터치스크린에 근접했을 때의 전류변화를 감지하여 비접촉 상태에서 상기 터치스크린 상의 손끝 근접 좌표를 추적하는 근접 감지 모듈; 차량 운행에 필요한 정보를 프로젝터를 통해 운전자의 앞창 윈드실드에 표시하는 헤드업 디스플레이부(HUD); 및 상기 손끝 근접 좌표로 터치스크린 상에 선택된 메뉴와 그 주변의 피드백 영상을 돋보기 형태로 생성하여 상기 HUD에 표시하고, 터치 입력을 감지하면 마지막으로 선택된 메뉴의 기능을 동작시키는 메인 제어부를 포함한다.
본 발명의 실시 예에 따르면, 차량의 주행 중에도 HUD를 활용한 시각적 피드백 영상을 제공하여 운전자가 조작하고자 하는 센터페시아 디스플레이 화면을 보지 않고도 차량 단말기의 조작을 용이하게 할 수 있으며, 이로 인해 전방 주시율을 향상 시켜 운전자 주의 분산을 방지하고 더 나아가 사고의 위험성을 줄일 수 있는 효과가 있다.
또한, 운전자의 터치 순간 의도하지 않은 메뉴를 잘못 터치하더라도 피드백 영상에서 일정시간 동안 마지막으로 선택된 메뉴를 터치한 것으로 판단함으로써 운전자의 터치 오동작을 방지하는 페일 세이프티(Fail-Safety) 기능을 제공하는 효과가 있다.
또한, 주행 모드와 정차 모드를 구분한 차량 단말기 조작 방식을 제공하고, 주행 모드에서만 운전자가 터치스크린을 주시해야 하는 부담 없이 피드백 영상 및 페일 세이프티 기능을 제공함으로써 기존 터치스크린 인터페이스에 학습된 사용자가 쉽게 적응할 수 있으며 그로 인한 고객 편의성을 향상시킬 수 있는 효과를 기대할 수 있다.
도 1은 본 발명의 실시 예에 따른 차량 단말기 조작 시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 제1 실시 예에 따른 HUD를 활용한 시각적 피드백 영상 표시 방법을 나타낸다.
도 3은 본 발명의 제2 실시 예에 따른 HUD를 활용한 시각적 피드백 영상 표시 방법을 나타낸다.
도 4 및 도 5는 본 발명의 실시 예에 따른 운전자 주의 분산 방지를 위한 차량 단말기 조작 방법을 나타낸 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 센터페시아 디플레이부의 구성을 나타낸 블록도이다.
도 7은 본 발명의 다른 실시 예에 따른 차량 단말기 조작 시스템을 나타낸다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
본 명세서에서 사용된 "차량", "차", "차량의", "자동차" 또는 다른 유사한 용어들은 스포츠 실용차(sports utility vehicles; SUV), 버스, 트럭, 다양한 상용차를 포함하는 승용차, 하이브리드 차량, 전기 차량, 플러그 인 하이브리드 전기 차량, 수소연료 차량 및 다른 대체 연료(예를 들어, 석유 외의 자원으로부터 얻어지는 연료) 차량을 포함한다.
이제 본 발명의 실시 예에 따른 차량 단말기 조작 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 차량 단말기 조작 시스템을 개략적으로 나타낸 블록도이다.
첨부된 도 1을 참조하면, 본 발명의 실시 예에 따른 차량 단말기 조작 시스템(100)은 운전 정보 수집부(110), 센터페시아 디스플레이부(120), 헤드업 디스플레이부(Head Up Display, HUD)(130) 및 메인 제어부(140)를 포함한다.
운전 정보 수집부(110)는 차량 내 구비되는 각종 센서와 연동하여 차량 시동정보, 차속 정보, 차량 위치(GPS/GIS) 정보, 도로 정보, 가/감속 정보, 자율주행 정보 등의 전반적인 차량 운전정보를 수집하여 메인 제어부(140)에 제공한다.
센터페시아 디스플레이부(120)는 센터페시아에 위치하여 차량의 정보통신 기기(예; AVN) 및 공조 제어를 위해 관련 정보를 표시하는 터치스크린 방식의 인터페이스이다.
센터페시아 디스플레이부(120)는 터치스크린(121), GUI(Graphic User Interface) 표시 모듈(122) 및 손동작 감지 모듈(123)을 포함하며, 도면에서는 생략되었으나 영상 및 데이터 송수신을 위한 통신 모듈과 자체 기능 제어를 위한 제어 모듈(Micro controller Unit, MCU)을 포함할 수 있다.
터치스크린(121)은 센터페시아에 형성된 대화면 풀 터치스크린으로 차량 단말기의 조작을 위한 메뉴를 표시하고, 운전자의 터치 입력에 따른 좌표를 감지하여 메인 제어부(140)로 전달한다.
여기서, 본 발명이 실시 예에서는 기존 센터페시아 영역에 존재하는 버튼/노브식 인터페이스를 생략하거나 그 복잡도를 줄일 수 있도록 센터페시아 영역에 대화면으로 구성된 터치스크린(121)을 위주로 설명하겠으나 그 실시가 이에 한정되는 것은 아니며 기존 터치스크린에도 적용 가능하다.
GUI 표시 모듈(122)은 터치스크린(121)상에 차량 단말기의 조작을 위한 메뉴를 표시한다. 이 때, GUI 표시 모듈(122)은 터치, 더블터치, 멀티터치, 드래그, 터치앤드래그 중 적어도 하나의 방식으로 입력 가능한 메뉴들을 표시할 수 있다.
손동작 감지 모듈(123)은 하나 이상의 카메라로 구성되어 운전자(사용자)의 손이 터치스크린(121)에 근접하는 근접 이벤트 발생을 감지한다.
손동작 감지 모듈(123)은 상기 근접 이벤트 발생에 따른 비접촉 상태에서 손가락이 터치스크린(121) 상에 근접하여 지정하고 있는 포인팅 좌표(이하, 손끝 근접 좌표라 명명함)를 추적한다.
이를 위해, 손동작 감지 모듈(123)은 센터페시아 디스플레이부(120) 즉, 터치스크린(121) 주변의 공간 좌표계를 설정하고 있으며, 추적된 상기 손끝 근접 좌표는 실시간으로 메인 제어부(140)에 전달된다. 이 때, 메인 제어부(140)로 전달된 상기 손끝 근접 좌표는 그 손끝 근접 좌표로 선택된 터치스크린(121)상의 메뉴와 그 주변의 일부 영상(이하, 피드백 영상이라 명명함)을 생성하는데 활용되며, 이에 대한 설명은 뒤에서 자세히 설명한다.
HUD(130)는 차량 운행에 필요한 정보를 프로젝터를 통해 운전자의 앞창 윈드실드에 표시하여 운전 중에도 운전자의 시선분산 없이 전방 주시를 유지한 상태에서 다양한 운전 정보를 제공한다.
HUD(130)는 그래픽 표시 모듈(131) 및 피드백 영상 표시 모듈(132)을 포함하며, 이 밖에도 프로젝터, 렌즈 및 거울 등으로 구성될 수 있음은 공지된 기술이므로 생략한다.
HUD(130)는 그래픽 표시 모듈(131)을 통해 차량 속도, AVN 실행 정보 등 운전자가 차량 운행에 필요한 정보를 간단한 그래픽으로 생성하여 표시한다.
특히, HUD(130)는 피드백 영상 표시 모듈(132)을 통해 메인 제어부(140)로부터 터치스크린(121) 상의 손끝 근접 좌표로 선택된 부분의 피드백 영상을 수신하여 표시한다.
이러한 HUD(130)는 운전자가 운전 중 차량 단말기를 조작 시 센터페시아 디스플레이부(120)을 보지 않고 전방 주시가 가능하도록 HUD(130)를 통해 시각적인 피드백 영상을 제공함으로써 운전자의 주의 분산을 방지하고 터치 입력을 용이하게 한다.
메인 제어부(140)는 운전자 주의 분산 방지를 위한 차량 단말기 조작을 위해 상기 각부의 전반적인 동작을 제어한다. 여기서, 제어부를 '메인 제어부'라 칭하는 것은 상기 각부의 구성에도 각각의 기능 제어를 위한 제어구성이 존재할 수 있으며, 메인 제어부는 이들을 통합 제어하는 상위 제어 구성임을 시사하는 것이다.
메인 제어부(140)는 센터페시아 디스플레이부(120)를 통해 차량 단말기를 조작할 수 있도록 메뉴 표시를 위한 그래픽 정보(GUI)를 생성한다.
메인 제어부(140)는 센터페시아 디스플레이부(120)를 통해 운전자의 터치 입력을 수신하면 입력된 기능을 실행하고, 그에 따른 기능 실행 정보를 센터페시아 디스플레이부(120) 및 HUD(130)를 통해 표시한다.
메인 제어부(140)는 운전 정보 수집부(110)에서 수집된 운전 정보를 참조하여 차량의 정차 또는 주행 여부를 파악하고, 차량의 정차 모드와 주행 모드로 구분된 차량 단말기 조작 방식을 제공한다.
먼저, 메인 제어부(140)는 차량의 정차 모드 시 운전자의 터치스크린(121) 조작에 따른 터치 이벤트를 처리한다. 이러한 정차 모드에서는 운전자의 손이 터치스크린(121)에 터치됨과 동시에 해당 메뉴 선택과 기능 실행(조작)이 동시에 이루어진다.
반면, 메인 제어부(140)는 차량의 주행 모드 시 손동작 감지 모듈(123)을 활성화하여 터치스크린(121)상의 비접촉 손끝 근접 좌표를 인식하고, 상기 손끝 근접 좌표가 선택하고 있는 피드백 영상을 돋보기 형태의 이미지로 생성하여 HUD(130)를 통해 표시한다. 그리고, 운전자의 손이 터치스크린(121)에 터치되면 마지막으로 선택된 메뉴의 기능이 동작된다.
이러한 주행 모드에서는 먼저 운전자의 손이 터치스크린(121)에 비접촉된 상태에서 손끝 근접 좌표 이동으로 현재 선택된 메뉴 정보를 HUD(130)를 통해 피드백 하고, 운전자가 원하는 메뉴가 선택된 상태에서의 터치로 실제 기능 실행(조작)이 이루어지는 점이 위와 상이하다.
다만, 예외적으로 자율 주행기능이 적용된 차량에서는 운전 정보 수집부(110)에서 수집된 운전 정보를 참조하여 차량이 주행 중이더라도 자율 주행 모드 상태인 경우 운전자의 핸즈프리가 보장되므로 상기 정차 모드와 동일한 터치 이벤트를 처리를 할 수 있다.
한편, 메인 제어부(140)는 운전 정보 수집부(110)에서 수집된 운전 정보를 참조하여 차량의 도로 상태 또는 차량 속도에 따른 손동작 감지 모듈(123)의 손동작 감지를 위한 민감도를 여러 단계로 제어할 수 있다. 상기 민감도는 손동작 감지 모듈(123)의 손끝 근접 좌표 인식을 위한 사용자의 손과 터치스크린(121)과의 거리일 수 있으며 운전자의 집중도가 높아지는 주행환경에 있을수록 상기 민감도를 높게 제어하여 손의 감지 거리를 증가시킬 수 있다.
이는 상대적으로 고도한 집중력이 요구되는 운전환경에 있을수록 손의 감지거리를 길게 하여 운전자의 조작편의를 향상시키고, 상대적 집중력이 낮은 운전환경에서는 손의 감지거리를 짧게 하여 운전자의 조작의도가 없는 손동작의 오감지를 줄일 수 있다.
하나의 예로, 메인 제어부(140)는 내비게이션 맵 상에 있는 현재 차량의 위치나 외부 카메라를 통해 획득한 주행 도로 상태를 파악하여 도심 모드(예; 민감도 60%), 국도 모드(예; 민감도 80%) 및 고속도로 모드(예; 민감도 100%) 순으로 손동작 감지 민감도 레벨을 높게 제어할 수 있다.
또 하나의 예로, 메인 제어부(140)는 현재 차량의 주행 속도를 파악하여 60km/h 미만(예; 민감도 60%), 80km/h 미만(예; 민감도 80%), 80km/h 이상(예; 민감도 100%) 순으로 손동작 감지 민감도 레벨을 높게 제어할 수 있다.
한편, 도 2 및 도 3을 통하여 주행 모드에서의 메인 제어부(140) 피드백 영상 생성 및 표시 방법을 구체적으로 설명한다.
도 2는 본 발명의 제1 실시 예에 따른 HUD를 활용한 시각적 피드백 영상 표시 방법을 나타낸다.
첨부된 도 2를 참조하면, 본 발명의 제1 실시 예에 따른 피드백 영상 표시 방법에서의 메인 제어부(140)는 차량의 주행 모드 시 손동작 감지 모듈(123)에서 추적된 손끝 근접 좌표를 인식하고, 상기 손끝 근접 좌표 인식에 따른 손끝 근접 좌표 중심 피드백 영상을 돋보기 형태의 이미지로 생성한다.
그리고, 메인 제어부(140)는 생성된 상기 피드백 영상을 HUD(130) 및 센터페시아 디스플레이부(120)에 전송하여 해당 표시 화면에 표시한다. 이 때, 도 2에서는 표시되는 피드백 영상의 가장자리를 직사각형으로 도시하였으나 이에 한정되지 않으며, 원형, 타원형, 다각형 등으로 자유롭게 설정하여 표시할 수 있다.
상기 피드백 영상은 손끝 근접 좌표로 선택된 메뉴가 구별되도록 도 3의 '메뉴#3'과 같이 하일라이팅 하거나 메뉴 색상을 변경하여 시각적으로 표시하고, 상기 손 끝 근접 좌표를 중심으로 그 부근의 일정 영역을 표시한다.
메인 제어부(140)는 상기 피드백 영상을 참조한 운전자가 원하는 메뉴로 손위치를 이동 시 이동되는 손끝 근접 좌표에 따른 피드백 영상을 실시간으로 표시할 수 있다.
이후, 메인 제어부(140)는 운전자가 원하는 메뉴를 선택한 상태에서의 터치스크린(121)의 터치가 입력되면 선택 입력된 해당 메뉴를 실행한다.
한편, 도 3은 본 발명의 제2 실시 예에 따른 HUD를 활용한 시각적 피드백 영상 표시 방법을 나타낸다.
첨부된 도 3을 참조하면, 본 발명의 제2 실시 예에 따른 피드백 영상 표시 방법은 앞서 설명한 제1 실시 예와 유사하므로 유사한 내용은 생략하고 다른 부분만을 설명한다.
메인 제어부(140)는 상기 피드백 영상에 상기 손끝 근접 좌표로 선택된 메뉴가 구별되도록 시각적으로 표시하되, 상기 손끝 근접 좌표 중심이 아닌 선택된 메뉴와 동일한 단위 그룹(프레임)에 있는 메뉴를 한 화면에 표시하는 선택 단위 그룹 피드백 영상을 생성하는 점만 다르다.
예컨대, 내비게이션, 오디오, 공조 메뉴는 동일한 선택 단위로 그룹핑될 수 있고, 내비게이션 메뉴의 서브 메뉴인 최근 목적지 검색 등으로 표시되는 프레임 항목들은 하나의 화면단위로 처리하여 피드백 영상을 생성할 수 있다.
본 발명의 실시 예에 따른 차량 단말기 조작 시스템(100)에서는 상기 도 2를 통해 설명된 손끝 근접 좌표 중심 피드백 영상 표시 방식과 도 3을 통해 설명된 선택 단위 그룹 피드백 영상 표시 방식을 각각 적용하거나 이를 혼용할 수 있다.
예컨대, 두 피드백 영상 표시 방식으로 혼용하는 경우 내비게이션, 오디오, 공조 등의 메인 화면에서 다양한 메뉴의 배치 구조를 탐색하는 경우 상기 손끝 근접 좌표 중심 피드백 영상 표시 방식을 적용할 수 있다. 그리고, 운전자가 선택한 특정 메뉴의 터치 입력 후 나타나는 서브메뉴의 검색 시에는 선택 단위 그룹 피드백 영상 표시 방식을 적용할 수 있다.
본 발명은 이러한 피드백 영상 표시 방법을 통해 운전자는 주행 모드 시 전방을 주시하면서도 HUD(130)를 활용한 피드백 영상을 통해 현재 선택된 메뉴와 그 주변 메뉴를 확인할 수 있으며, 손의 이동에 따라 변동되는 피드백 영상으로 터치스크린(121)의 어느 위치를 터치할지 시각적으로 파악할 수 있는 이점이 있다.
한편, 본 발명의 실시 예에 따른 메인 제어부(140)는 피드백 영상에서 선택된 메뉴와 실제 터치스크린(121)상의 터치 지점 간의 상이함을 보정하여 터치 오동작을 예방하는 페일 세이프티(Fail-Safety) 기능을 제공한다.
차량의 주행 모드에서 운전자는 HUD(130)에 표시된 피드백 영상을 통해 선택된 메뉴를 최종 확인하고 터치 입력을 하게 된다. 그러나, 사용자의 손과 터치스크린(121)과의 거리, 주행 중 차량의 흔들림 등의 요인으로 인해 선택된 메뉴를 정확히 터치하지 못하여 터치 좌표와 선택 메뉴가 서로 상이할 경우 오동작이 발생되는 문제가 있다.
이에 메인 제어부(140)는 터치 오동작 방지를 위하여 상기 터치 좌표로 입력된 메뉴와 손끝 근접 좌표를 통해 마지막으로 선택된 메뉴를 비교하여 두 메뉴의 일치 여부를 판단한다.
이 때, 메인 제어부(140)는 두 메뉴가 서로 상이한 경우 상기 마지막으로 선택된 메뉴의 유지시간을 파악하여 일정 유지시간을 충족하면, 상기 터치좌표로 입력된 메뉴가 오입력 된 것으로 판단하고 상기 마지막으로 선택된 메뉴가 터치된 것으로 보정하여 해당 기능을 동작시킨다.
따라서, 운전자가 터치스크린(121)을 터치하는 순간 의도치 않게 메뉴를 잘못 입력하더라도 피드백 영상에서 마지막으로 유지시간 동안 표시된 선택 메뉴를 터치한 것으로 판단함으로써 운전자의 터치 오동작 페일 세이프티(Fail-Safety) 기능을 제공할 수 있는 이점이 있다.
한편, 전술한 차량 단말기 조작 시스템(100)의 구성을 바탕으로 운전자 주의 분산 방지를 위한 차량 단말기 조작 방법을 다음의 도 4 및 도 5를 통해 설명한다.
도 4 및 도 5는 본 발명의 실시 예에 따른 운전자 주의 분산 방지를 위한 차량 단말기 조작 방법을 나타낸 흐름도이다.
먼저 첨부된 도 4를 참조하면, 본 발명의 실시 예에 따른 차량 단말기 조작 시스템(100)은 차량이 시동 ON 되면(S101), 차량의 운전 정보를 체크하여 차량 속도가 0이면(S102; 아니오), 정차 모드로 진입한다(S103).
이 때, 차량 단말기 조작 시스템(100)은 정차 모드 진입에 따른 센터페시아 디스플레이부(120)의 손동작 감지 모듈(123) 작동을 오프(OFF)하고(S104), 터치스크린(121)의 터치 센서 작동을 온(ON)으로 제어한다(S105).
차량 단말기 조작 시스템(100)은 운전자의 터치가 입력되면(S106; 예), 입력된 터치 좌표를 검출하고(S107), 상기 터치 좌표에 해당하는 메뉴의 기능을 실행 및 동작시킨다(S108).
한편, 차량 단말기 조작 시스템(100)은 상기 S102 단계에서 차량 속도가 0보다 크면(S102; 예), 차량의 운전 정보를 참조하여 차량이 자율주행 모드거나(S109; 예), 근접 이벤트 발생을 감지하는 카메라의 통신상태에 이상이 있으면(S110; 예), 앞서 설명된 정차 모드에서의 차량 단말기 조작 방법으로 제어한다. 여기서, 자율주행 기능 미적용 차량에서는 상기 S109단계를 생략할 수 있다.
이상의 도 4를 참조한 설명에서는 실질적인 차량의 정차 모드에서의 차량 단말기 조작 방법이며, 이어지는 도 5를 통해서 차량의 주행 모드에서의 차량 단말기 조작 방법에 대한 설명을 계속한다.
차량 단말기 조작 시스템(100)은 0보다 큰 차량 속도가 입력된 상태에서 차량이 자율주행 모드가 아니고(S109; 아니오), 상기 카메라의 통신상태에 이상이 없으면(S110; 아니오) 차량의 주행 모드로 진입한다(S111).
차량 단말기 조작 시스템(100)은 주행 모드 진입에 따른 센터페시아 디스플레이부(120)의 손동작 감지 모듈(123)을 작동 온(ON) 시킨다(S112).
이 때, 차량 단말기 조작 시스템(100)은 차량의 주행 환경을 판단하고(S113), 그 결과에 따른 도심 모드(예; 민감도 60%), 국도 모드(예; 민감도 80%) 및 고속도로 모드(예; 민감도 100%) 중 어느 하나에 해당되는 손동작 감지를 위한 민감도를 설정한다(S114 ~ S116). 여기서, 상기 주행 환경은 앞선 설명과 같이 도로 상태가 아닌 차량 속도 조건으로 설정될 수 있다.
차량 단말기 조작 시스템(100)은 손동작 감지 모듈(123)을 통해 운전자의 손동작이 감지하여(S117; 예), 터치스크린(121)상의 비접촉 손끝 근접 좌표를 추적한다(S118).
그리고, 차량 단말기 조작 시스템(100)은 상기 터치스크린(121)상에서 손끝 근접 좌표가 선택하고 있는 지점의 피드백 영상을 돋보기 형태의 이미지로 생성하여(S119), HUD(130)를 통해 피드백 영상을 표시한다(S120). 이 때, HUD(130)에 표시되는 피드백 영상은 손끝 근접 좌표에 의해 선택된 메뉴가 구별되도록 시각적으로 표시된다.
이후, 차량 단말기 조작 시스템(100)은 운전자의 터치 입력으로 터치 좌표가 검출되면(S121), 상기 터치 좌표로 입력된 메뉴와 상기 손끝 근접 좌표를 통해 마지막으로 선택된 메뉴를 비교하여 터치 좌표의 이상 여부를 판단한다(S122).
이 때, 차량 단말기 조작 시스템(100)은 두 메뉴가 일치하여 터치 좌표에 이상이 없는 것으로 판단되면(S122; 아니오), 해당 터치 좌표의 메뉴 실행 및 기능을 동작시킨다(S124).
반면, 차량 단말기 조작 시스템(100)은 상기 두 메뉴가 상이하여 터치 좌표에 이상이 있는 것으로 판단되면(S122; 예), 상기 피드백 영상에서 일정 유지시간을 충족한 마지막으로 선택된 메뉴의 좌표를 터치 좌표로 보정한다(S123).
그리고, 차량 단말기 조작 시스템(100)은 보정된 터치 좌표의 메뉴 실행 및 기능을 동작시킨다(S124).
이와 같이, 본 발명의 실시 예에 따르면, 차량의 주행 중에도 HUD를 활용한 시각적 피드백 영상을 제공하여 운전자가 조작하고자 하는 센터페시아 화면을 보지 않고도 용이한 입력이 가능하며 이로 인해 전방 주시율을 향상 시켜서 운전자 주의 분산을 방지하고 더 나아가 사고의 위험성을 줄일 수 있는 효과가 있다.
또한, 운전자가 의도하지 않은 메뉴를 잘못 터치하더라도 피드백 영상에서 마지막으로 일정시간 표시된 선택 메뉴를 터치한 것으로 판단함으로써 운전자의 터치 오동작을 방지하는 페일 세이프티(Fail-Safety) 기능을 제공하는 효과가 있다.
또한, 주행 모드와 정차 모드를 구분한 차량 단말기 조작 방식으로 주행 모드에서만 운전자가 터치스크린을 주시해야 하는 부담 없이 피드백 영상 및 페일 세이프티 기능을 제공함으로써 기존 터치스크린에 학습된 사용자가 쉽게 적응할 수 있으며 그로 인한 고객 편의성을 향상시킬 수 있는 효과가 기대된다.
이상에서는 본 발명의 실시 예에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 변경이 가능하다.
예컨대, 도 6은 본 발명의 다른 실시 예에 따른 센터페시아 디플레이부의 구성을 나타낸 블록도이다.
첨부된 도 6을 참조하면, 도1 에 도시한 본 발명의 실시 예에서는 센터페시아 디스플레이부(120)에 카메라 기반 손동작 감지 모듈(123)을 포함하는 것으로 설명하였으나 본 발명의 실시 예는 이에 한정되지 않으며, 터치스크린의 정전용량방식을 활용한 근접 감지 모듈(123')로 구성하여 운전자의 손끝 근접 좌표를 검출할 수 있다.
근접 감지 모듈(123')은 차량의 주행 모드 시 정전용량방식의 민감도를 높이고, 운전자의 손가락이 터치스크린(121)에 근접했을 때의 전류변화를 감지하여 손끝 근접 좌표를 검출할 수 있다.
이러한 본 발명의 다른 실시 에에 따르면, 별도의 손 동작 인식을 위한 카메라 등의 구성을 생략할 수 있는 이점이 있으며, 근접 감지 모듈(123') 이외의 구성은 전술한 실시 예와 동일하게 적용할 수 있음은 자명하므로 구체적인 설명을 생략한다.
또한, 도 7은 본 발명의 다른 실시 예에 따른 차량 단말기 조작 시스템을 나타낸다.
첨부된 도 7의 표를 참조하면, 좌측의 본 발명의 실시 예에 따른 터치스크린 기반 차량 단말기 조작 시스템이 터치스크린 상의 비접촉 인지방법을 사용하는 구성을 나타내고 있으며, 우측에는 프론트 콘솔 터치 패드가 더 구성된 차량 단말기 조작 시스템을 나타낸다.
우측의 차량 단말기 조작 시스템의 경우에도 프론트 콘솔(센터 콘솔)에 위치한 터치 패드를 활용하여 운전자가 현재 포인팅하고 있는 지점의 일부 영상을 피드백 영상으로 생성하고, 이를 HUD를 통해 표시함으로써 주행 중 운전자의 전방 주시율을 높일 수 있다.
마찬가지로, 프론트 콘솔에 마우스 방식의 조작계가 형성된 차량에서도 마우스의 커서가 현재 포인팅하고 있는 지점의 일부 영상을 피드백 영상으로 생성하여 HUD를 통해 표시함으로써 주행 중 운전자의 전방 주시율을 높일 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 차량 단말기 조작 시스템 110: 운전 정보 수집부
120: 센터페시아 디스플레이부 121: 터치스크린
122: GUI 표시 모듈 123: 손동작 감지 모듈
130: 헤드업 디스플레이부(HUD) 131: 그래픽 표시 모듈
132: 피드백 영상 표시 모듈 140: 메인 제어부

Claims (18)

  1. 운전자 주의 분산 방지를 위한 차량 단말기 조작 시스템에 있어서,
    센터페시아에 위치하는 터치스크린을 통해 차량 단말기를 조작하는 디스플레이부;
    카메라를 통해 사용자의 손이 상기 터치스크린에 근접하는 이벤트를 감지하고 비접촉 상태에서 상기 터치스크린 상의 손끝 근접 좌표를 추적하는 손동작 감지 모듈;
    차량 운행에 필요한 정보를 프로젝터를 통해 운전자의 앞창 윈드실드에 표시하는 헤드업 디스플레이부(HUD); 및
    상기 손끝 근접 좌표로 터치스크린 상에 선택된 메뉴와 그 주변의 피드백 영상을 돋보기 형태로 생성하여 상기 HUD에 표시하고, 터치 좌표를 감지하여 상기 선택된 메뉴의 기능을 동작시키는 메인 제어부를 포함하며,
    상기 메인 제어부는 터치 오동작 방지를 위해 상기 터치 좌표의 메뉴와 상기 손끝 근접 좌표를 통해 마지막으로 선택된 메뉴를 비교하여 두 메뉴의 일치 여부를 판단하는 차량 단말기 조작 시스템.
  2. 제 1 항에 있어서,
    상기 터치스크린은,
    대화면 풀 터치스크린으로 차량 단말기의 조작을 위한 메뉴를 표시하고 운전자의 터치 입력에 따른 터치 좌표를 감지하여 메인 제어부로 전달하는 차량 단말기 조작 시스템.
  3. 제 1 항에 있어서,
    상기 메인 제어부는,
    차량의 운전정보를 참조하여 정차 모드에서는 상기 손동작 감지 모듈을 오프(OFF)하고, 주행 모드에서만 상기 손동작 감지 모듈을 온(ON) 하는 차량 단말기 조작 시스템.
  4. 제 1 항에 있어서,
    상기 메인 제어부는,
    상기 피드백 영상 내 손끝 근접 좌표로 선택된 메뉴가 구별되도록 하일라이팅 하거나 메뉴 색상을 변경하여 시각적으로 표시하는 차량 단말기 조작 시스템.
  5. 삭제
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 메인 제어부는,
    상기 터치 좌표로 입력된 메뉴와 상기 피드백 영상에서 마지막으로 선택된 메뉴가 상이하면 상기 터치 좌표로 입력된 메뉴가 오입력된 것으로 판단하고, 상기 마지막으로 선택된 메뉴의 기능을 동작시키는 차량 단말기 조작 시스템.
  7. 제 6 항에 있어서,
    상기 메인 제어부는,
    상기 터치 감지 이전에 상기 피드백 영상에 선택된 메뉴의 유지시간을 파악하여 일정 유지시간을 충족하면 상기 마지막으로 선택된 메뉴로 판단하는 차량 단말기 조작 시스템.
  8. 제 1 항에 있어서,
    상기 메인 제어부는,
    차량의 운전정보를 참조하여 차량의 도로 상태 또는 차량 속도 조건에 따른 상기 손동작 감지 모듈의 손 동작 감지를 위한 민감도를 복수의 단계로 제어하는 차량 단말기 조작 시스템.
  9. 제 8 항에 있어서,
    상기 메인 제어부는,
    운전자의 집중도가 높아지는 주행환경에 있을수록 상기 민감도를 높게 제어하여 손 동작의 감지 거리를 증가시키는 차량 단말기 조작 시스템.
  10. 제 1 항에 있어서,
    상기 메인 제어부는,
    상기 손끝 근접 좌표를 중심으로 일정 영역을 포함하는 손끝 근접 좌표 중심 피드백 영상을 생성하는 차량 단말기 조작 시스템.
  11. 제 10 항에 있어서,
    상기 메인 제어부는,
    상기 선택된 메뉴와 동일한 단위 그룹에 있는 메뉴를 한 화면에 표시하는 선택 단위 그룹 피드백 영상을 생성하는 차량 단말기 조작 시스템.
  12. 제 11 항에 있어서,
    상기 메인 제어부는,
    상기 터치스크린에 내비게이션, 오디오 및 공조의 다양한 메뉴가 배치된 메인 화면에서는 상기 손끝 근접 좌표 중심 피드백 영상을 생성하여 표시하고, 특정 메뉴의 터치 입력 후 나타나는 서브메뉴에서는 선택 단위 그룹 피드백 영상을 생성하여 표시하는 차량 단말기 조작 시스템.
  13. 차량 단말기 조작 시스템의 운전자 주의 분산 방지를 위한 차량 단말기 조작 방법에 있어서,
    a) 차량 속도에 따른 정차 또는 주행 여부를 판단하고, 차량의 정차 모드 시 터치스크린을 통해 입력된 터치 좌표를 검출하여 차량 단말기를 조작하는 단계;
    b) 차량의 주행 모드 시 카메라를 이용한 손동작 감지 모듈을 통해 사용자의 손이 상기 터치스크린에 근접하는 이벤트를 감지하고 비접촉 상태에서 상기 터치스크린 상의 손끝 근접 좌표를 추적하는 단계;
    c) 상기 손끝 근접 좌표로 상기 터치스크린 상에 선택된 메뉴와 그 주변의 피드백 영상을 돋보기 형태로 생성하여 헤드업 디스플레이부(HUD)를 통해 표시하는 단계; 및
    d) 상기 터치스크린에 입력된 터치 좌표를 감지하여 상기 선택된 메뉴의 기능을 동작시키는 단계를 포함하되,
    상기 d) 단계는, 상기 터치 좌표로 입력된 메뉴와 상기 손끝 근접 좌표를 통해 마지막으로 선택된 메뉴를 비교하여 상기 터치 좌표의 이상 여부를 판단하는 단계; 및 두 메뉴가 상이하면 상기 터치 좌표에 이상이 있는 것으로 판단하고, 상기 피드백 영상에서 일정 유지시간을 충족한 마지막으로 선택된 메뉴의 좌표를 터치 좌표로 보정하는 단계를 포함하는 차량 단말기 조작 방법.
  14. 제 13 항에 있어서,
    상기 b) 단계는,
    차량이 자율 주행 모드거나 상기 카메라의 통신상태에 이상이 있으면 상기 손동작 감지 모듈의 작동을 오프(OFF)하고 상기 정차 모드 방식으로 차량 단말기를 조작하는 차량 단말기 조작 방법.
  15. 제 13 항에 있어서,
    상기 b) 단계는,
    차량의 주행 환경 판단에 따른 도심 모드, 국도 모드 및 고속도로 모드 중 어느 하나에 해당되는 손동작 감지를 위한 민감도를 설정하는 단계를 포함하는 차량 단말기 조작 방법.
  16. 제 13 항에 있어서,
    상기 c) 단계는,
    상기 피드백 영상에 상기 손끝 근접 좌표에 의해 선택된 메뉴가 구별되도록 시각적으로 표시하는 단계를 포함하는 차량 단말기 조작 방법.
  17. 삭제
  18. 운전자 주의 분산 방지를 위한 차량 단말기 조작 시스템에 있어서,
    센터페시아에 위치하는 터치스크린을 통해 차량 단말기를 조작하는 디스플레이부;
    사용자의 손이 터치스크린에 근접했을 때의 전류변화를 감지하여 비접촉 상태에서 상기 터치스크린 상의 손끝 근접 좌표를 추적하는 근접 감지 모듈;
    차량 운행에 필요한 정보를 프로젝터를 통해 운전자의 앞창 윈드실드에 표시하는 헤드업 디스플레이부(HUD); 및
    상기 손끝 근접 좌표로 터치스크린 상에 선택된 메뉴와 그 주변의 피드백 영상을 돋보기 형태로 생성하여 상기 HUD에 표시하고, 터치 입력을 감지하면 마지막으로 선택된 메뉴의 기능을 동작시키는 메인 제어부를 포함하며,
    상기 메인 제어부는 터치 오동작 방지를 위해 상기 터치 좌표의 메뉴와 상기 손끝 근접 좌표를 통해 마지막으로 선택된 메뉴를 비교하여 두 메뉴의 일치 여부를 판단하는 차량 단말기 조작 시스템.
KR1020160031486A 2016-03-16 2016-03-16 차량 단말기 조작 시스템 및 그 방법 KR101806172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160031486A KR101806172B1 (ko) 2016-03-16 2016-03-16 차량 단말기 조작 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160031486A KR101806172B1 (ko) 2016-03-16 2016-03-16 차량 단말기 조작 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170107767A KR20170107767A (ko) 2017-09-26
KR101806172B1 true KR101806172B1 (ko) 2018-01-10

Family

ID=60036922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160031486A KR101806172B1 (ko) 2016-03-16 2016-03-16 차량 단말기 조작 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101806172B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110581904B (zh) * 2018-06-11 2021-01-15 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质
KR102492858B1 (ko) 2018-09-12 2023-01-30 현대모비스 주식회사 자율 주행 시스템의 페일 세이프 기능 보장 장치 및 방법
US11314346B2 (en) 2018-11-30 2022-04-26 Lg Electronics Inc. Vehicle control device and vehicle control method
CN114537417A (zh) * 2022-02-27 2022-05-27 重庆长安汽车股份有限公司 一种基于hud和触摸设备的盲操作方法、系统和车辆
CN114764288B (zh) * 2022-04-21 2024-06-25 维沃移动通信有限公司 调整方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
JP2010521732A (ja) * 2007-03-14 2010-06-24 パワー２ビー，インコーポレイティド 表示装置および情報入力装置
JP2012155545A (ja) 2011-01-26 2012-08-16 Alpine Electronics Inc タッチパネル用赤外近接センサ校正装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521732A (ja) * 2007-03-14 2010-06-24 パワー２ビー，インコーポレイティド 表示装置および情報入力装置
WO2010064423A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
JP2012155545A (ja) 2011-01-26 2012-08-16 Alpine Electronics Inc タッチパネル用赤外近接センサ校正装置

Also Published As

Publication number Publication date
KR20170107767A (ko) 2017-09-26

Similar Documents

Publication Publication Date Title
US10120567B2 (en) System, apparatus and method for vehicle command and control
KR101806172B1 (ko) 차량 단말기 조작 시스템 및 그 방법
CN110045825B (zh) 用于车辆交互控制的手势识别系统
US9594472B2 (en) Method and array for providing a graphical user interface, in particular in a vehicle
KR102029842B1 (ko) 차량 제스처 인식 시스템 및 그 제어 방법
US10627913B2 (en) Method for the contactless shifting of visual information
US20140304636A1 (en) Vehicle's interactive system
JP2016088513A (ja) 自動車における情報伝送のためのシステム
US10346118B2 (en) On-vehicle operation device
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
CN105446172B (zh) 一种车载控制方法、车载控制系统及汽车
KR102084032B1 (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
CN105760096A (zh) 一种支持盲操作的汽车中控台方位手势操控方法及装置
Bilius et al. A synopsis of input modalities for in-vehicle infotainment and consumption of interactive media
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
US20240211126A1 (en) Human-machine interaction method, electronic device and storage medium
JP2017197015A (ja) 車載用情報処理システム
WO2017188098A1 (ja) 車載用情報処理システム
KR101709129B1 (ko) 멀티모달 차량 제어 장치 및 그 방법
JP2016099891A (ja) 表示操作装置
US11853469B2 (en) Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin
US12017530B2 (en) Human-machine interaction in a motor vehicle
JP2017187922A (ja) 車載用情報処理システム
US20230249552A1 (en) Control apparatus
CN113791713B (zh) 应用于车载智能座舱的多屏幕显示窗口分享方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant