KR101575650B1 - 단말기, 그를 가지는 차량 및 그 제어 방법 - Google Patents

단말기, 그를 가지는 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR101575650B1
KR101575650B1 KR1020140028262A KR20140028262A KR101575650B1 KR 101575650 B1 KR101575650 B1 KR 101575650B1 KR 1020140028262 A KR1020140028262 A KR 1020140028262A KR 20140028262 A KR20140028262 A KR 20140028262A KR 101575650 B1 KR101575650 B1 KR 101575650B1
Authority
KR
South Korea
Prior art keywords
gesture
input unit
recognized
unit
pad
Prior art date
Application number
KR1020140028262A
Other languages
English (en)
Other versions
KR20150106141A (ko
Inventor
이승환
김선준
이기혁
한재현
윤은혜
Original Assignee
현대자동차주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 한국과학기술원 filed Critical 현대자동차주식회사
Priority to KR1020140028262A priority Critical patent/KR101575650B1/ko
Priority to US14/553,742 priority patent/US10649587B2/en
Priority to DE102014225640.2A priority patent/DE102014225640A1/de
Priority to CN201410775819.5A priority patent/CN104914986B/zh
Publication of KR20150106141A publication Critical patent/KR20150106141A/ko
Application granted granted Critical
Publication of KR101575650B1 publication Critical patent/KR101575650B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B60K2360/1442—
    • B60K2360/146—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes

Abstract

본 발명은 물체의 접촉 및 물체의 위치를 검출하는 입력부; 물체가 접촉되면 입력부와 이격된 위치에서 검출되는 물체의 제스처를 인식하여 제어를 수행하는 제어부를 포함한다.
본 발명은 단말기의 표면에서 제스처가 시작되고 단말기의 표면 위의 공간에서 제스처가 이루어진 후 다시 단말기의 표면에서 종료됨으로써 사용자가 의도한 동작 명령을 완성할 수 있고
이와 같이 제스처의 시작 또는 시작/끝을 지정함으로써 사용자의 의도를 명확하게 제시하고, 인식율을 향상시킬 수 있다.
이에 따라 사용자가 운전 중에도 단말기나 각종 편의 장치를 용이하게 조작할 수 있다.

Description

단말기, 그를 가지는 차량 및 그 제어 방법 {Terminal, vehicle having the same and method for controlling the same}
본 발명은 사용자의 명령을 입력받기 위한 단말기, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
차량은 기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 내비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 부가적인 기능을 더 포함한다.
이러한 기능을 수행하기 위해 차량에는 하드 키(hard key) 방식, 터치 스크린 방식 또는 제스처 인식 방식에 따라 사용자로부터 원하는 메뉴의 선택을 입력 받거나 선택된 메뉴에 대한 동작 명령을 입력받고 메뉴 화면 또는 제어 화면을 표시하는 단말기가 마련된다.
이 단말기에 명령을 입력하기 위한 방식으로 하드 키 방식을 이용할 경우에는 다수의 하드 키를 구비하기 위해 물리적으로 넓은 공간이 소모되거나, 소수의 하드 키로 동작 명령을 입력받기 위해 사용자의 조작 부하가 늘어나는 문제가 있고 야간 시 물리적 버튼의 식별을 위한 버튼 조명 LED(light-emitting diode)과, 버튼 기구물이 필요하여 단말기의 제조 비용이 증가하는 문제가 발생한다.
단말기에 명령을 입력하기 위한 방식으로 터치 스크린 방식을 이용할 경우에는 운전자가 동작 명령을 입력하기 위해 단말기를 일일이 터치해야 하기 때문에 안전 운전에 영향을 미칠 수 있다.
단말기에 명령을 입력하기 위한 방식으로 제스처 인식 방식을 이용할 경우에는 제스처가 터치, 드래깅, 릴리즈 등의 동작으로 구성되기 때문에 조작이 항상 표면에 구속된 상태로 이루어져야 하는 제약사항이 있다.
또한, 터치 스크린의 터치 제스처와 공간 제스처를 인식하는 경우 특정한 손 모양을 이용하거나 일정 시간 멈춤 등의 동작을 이용하는데 이때 손의 동작이 부자연스럽거나 의도하지 않은 손의 움직임이 있으면 동작 명령을 오 인식할 수 있고, 연속적인 자연스러운 동작 가운데 제스처의 시작과 끝을 구분하는 것이 쉽지 않아 사용자가 의도한 제스처를 정확하게 인식하기 어려웠다.
이와 같이, 제스처 인식 방식을 이용하여 동작 명령을 입력하는 경우, 사용자가 의도한 동작 명령을 정확하게 인식하기 어려워 단말기가 오동작하는 문제가 있었다.
일 측면은 터치를 이용하여 제스처 인식의 시작 시점을 지정하고 인식된 제스처에 대응하는 동작 명령을 판단하는 단말기, 그를 가지는 차량 및 그 제어 방법을 제공한다.
다른 측면은 터치를 이용하여 제스처 인식의 시작 시점과 종료 시점을 지정하고 제스처 인식의 시작 시점과 종료 시점 사이에 인식된 제스처에 대응하는 동작 명령을 판단하는 단말기, 그를 가지는 차량 및 그 제어 방법을 제공한다.
일 실시 예에 따른 단말기는 물체의 접촉 및 물체의 위치를 검출하는 입력부; 물체가 접촉되면 입력부와 이격된 위치에서 검출되는 물체의 제스처를 인식하여 제어를 수행하는 제어부를 포함한다.
단말기는 제어부에서 전송된 제어 신호에 기초하여 동작을 수행하는 출력부를 더 포함한다.
제어부는, 입력부에서 물체가 분리된 시점부터 물체의 위치를 추종하여 물체의 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 판단한다.
제어부는, 입력부와 물체 사이의 거리가 일정 시간 동안 유지되면 물체의 형상을 인식하고, 인식된 물체의 형상에 대응하는 제스처를 인식한다.
입력부는, 물체가 접촉되는 패드; 패드와 인접하여 설치되고 물체의 접촉 여부 및 물체의 위치를 검출하는 검출부를 포함한다.
검출부는, 정전 용량 센서, 초음파 센서 및 광 센서 중 적어도 하나를 포함한다.
제어부는, 물체가 검출되지 않은 시점까지 물체의 제스처를 인식한다.
제어부는, 입력부가 재접촉되는 시점까지 물체의 제스처를 인식한다.
제어부는, 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고, 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 한다.
다른 측면에 따른 단말기는 물체의 접촉 및 물체의 위치를 검출하는 입력부; 물체가 접촉된 제1터치점과 물체가 재접촉된 제2터치점 사이에 검출된 제스처를 인식하여 제어를 수행하는 제어부를 포함한다.
물체의 위치는, 물체의 이동 방향 및 입력부와의 거리를 포함한다.
단말기는 제어부에서 전송된 제어 신호에 기초하여 동작을 수행하는 출력부를 더 포함한다.
제어부는, 물체가 접촉된 후 분리된 시점과 물체가 재접촉된 시점 사이의 물체의 위치를 추종하여 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 판단한다.
제어부는, 물체가 접촉된 후 물체가 입력부에서 분리된 시점부터 물체의 위치를 추종하고, 물체가 재접촉되면 물체의 위치 추종을 종료한다.
제어부는, 물체가 접촉된 후 물체가 입력부에서 분리된 시점부터 입력부와 물체 사이의 거리가 일정 시간 동안 유지되면 물체의 형상을 인식하고, 인식된 물체의 형상에 대응하는 제스처를 인식한다.
입력부는, 물체가 접촉되는 패드; 패드와 인접하여 설치되고 물체의 접촉 여부 및 물체의 위치를 검출하는 검출부를 포함한다.
검출부는, 정전 용량 센서, 초음파 센서 및 광 센서 중 적어도 하나를 포함한다.
제어부는, 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고, 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 판단한다.
또 다른 측면에 따른 단말기의 제어 방법은 물체가 입력부에 접촉되는지 판단하고, 물체가 입력부에 접촉되었다고 판단되면 물체가 입력부에서 분리되었는지 판단하고, 물체가 입력부에서 분리되었다고 판단되면 물체가 분리된 시점부터 검출되는 물체의 위치를 추종하여 물체의 제스처를 인식하고, 인식된 제스처에 대응하는 제어를 수행한다.
물체의 위치를 추종하는 것은, 물체가 검출되지 않는 시점까지 물체의 위치를 추종하는 것을 포함한다.
물체의 위치를 추종하는 것은, 물체가 입력부에 재접촉된 시점까지 물체의 위치를 추종하는 것을 포함한다.
물체의 제스처를 인식하는 것은, 추종된 물체의 위치를 시간의 흐름에 따라 연결하여 물체의 궤적을 생성하고, 생성된 궤적에 대응하는 제스처를 인식하는 것을 포함한다.
단말기의 제어 방법은 인식된 제스처에 대응하는 동작 명령을 인식하고, 인식된 동작 명령에 대응하는 제어 신호를 생성하고, 생성된 제어 명령을 출력부에 출력하는 것을 더 포함한다.
단말기의 제어 방법은 물체가 분리된 시점부터 입력부와 물체 사이의 거리가 일정 시간 동안 유지되는지 판단하고, 분리된 시점부터 입력부와 물체 사이의 거리가 일정 시간 동안 유지되었다고 판단되면 물체의 형상을 인식하고, 인식된 물체의 형상에 대응하는 제스처를 인식하는 것을 더 포함한다.
물체의 위치를 추종하는 것은, 입력부에서 출력되는 검출 신호의 신호 위치 및 신호 크기에 기초하여 물체의 위치를 연속적으로 확인하는 것을 포함한다.
검출 신호는, 정전용량 신호, 광신호 또는 초음파 신호이다.
단말기의 제어 방법은 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고, 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 판단하는 것을 더 포함한다.
차량은 내비게이션 기능, 오디오 기능, 비디오 기능을 수행하는 단말기를 가지는 차량에 있어서, 단말기는, 물체의 접촉 및 물체의 위치를 검출하는 입력부; 물체가 접촉되면 입력부와 이격된 위치에서 검출되는 물체의 제스처를 인식하여 제어를 수행하는 제어부; 제어부에서 전송된 제어 신호에 기초하여 동작을 수행하는 출력부를 포함한다.
입력부와 출력부는 분리 가능하게 장착된다.
차량의 제어부는, 입력부에서 물체가 분리된 시점부터 물체의 위치를 추종하여 물체의 제스처를 인식하고 인식된 제스처에 대응하는 동작 명령을 판단한다.
차량에서의 동작명령은 에어컨, 시트, 히터, 라디오, 와이퍼의 동작 명령을 포함한다.
차량의 제어부는, 입력부와 물체 사이의 거리가 일정 시간 동안 유지되면 물체의 형상을 인식하고, 인식된 물체의 형상에 대응하는 제스처를 인식한다.
차량의 제어부는, 물체가 검출되지 않은 시점까지 물체의 제스처를 인식한다.
차량의 제어부는, 입력부가 재접촉되는 시점까지 물체의 제스처를 인식한다.
차량의 제어부는, 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고, 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 판단한다.
본 발명은 단말기의 표면에서 제스처가 시작되고 단말기의 표면 위의 공간에서 제스처가 이루어진 후 다시 단말기의 표면에서 종료됨으로써 사용자가 의도한 동작 명령을 완성할 수 있고
이와 같이 제스처의 시작 또는 시작/끝을 지정함으로써 사용자의 의도를 명확하게 제시하고, 인식율을 향상시킬 수 있다.
이에 따라 사용자가 운전 중에도 단말기나 각종 편의 장치를 용이하게 조작할 수 있다.
또한 단말기의 표면에 접촉된 터치뿐만 아니라 표면에서 이격된 공간에서의 손가락을 트래킹함으로써, 단말기의 표면에 구속된 2차원 제스처의 제한된 조작에 대한 불편함을 해소할 수 있어서 보다 효율적이고, 3차원 공간 제스처의 시작 및 종료의 애매한 문제를 해소할 수 있다.
또한, 그래픽 유저 인터페이스(GUI)와 연계된 평면적인 조작에서 벗어나 공간 상에서의 조작이 가능하여 보다 풍부한 유저 인터페이스(UI)를 구성할 수 있다.
도 1은 일 실시 예에 따른 차량의 예시도이다.
도 2는 일 실시 예에 따른 차량에 장착된 단말기를 뒷좌석에서 바라본 외관도이다.
도 3은 일 실시 예에 따른 차량에 장착된 단말기를 조수석에서 바라본 외관도이다.
도 4는 일 실시 예에 따른 차량에 장착된 단말기의 제어 블록도이다.
도 5a 및 도 5b는 일 실시 예에 따른 차량에 장착된 단말기 내 복수의 광 센서를 포함하는 입력부의 예시도이다.
도 6은 일 실시 예에 따른 차량에 장착된 단말기 내 복수의 전극을 가진 정전 용량 센서를 포함하는 입력부의 예시도이다.
도 7a 및 7b는 일 실시 예에 따른 차량에 장착된 단말기의 패드의 표면 위에서 행해지는 제스처의 인식 예시도이다.
도 7a 및 7b는 일 실시 예에 따른 차량에 장착된 단말기의 패드의 표면 위에서 행해지는 제스처의 인식 예시도이다.
도 8은 일 실시 예에 따른 단말기의 제어 순서도이다.
도 9a 및 9b는 일 실시 예에 따른 단말기의 패드의 표면 위에서 행해지는 제스처의 예시도이다.
도 10a, 도10b, 도10c는 일 실시 예에 따른 단말기에서 인식된 제스처에 대응하는 출력부의 동작 변화 예시도이다.
도 11은 다른 실시 예에 따른 단말기의 제어 순서도이다.
도 12는 다른 실시 예에 따른 단말기의 패드의 표면 위에서 행해지는 제스처의 예시도이다.
도 13, 도 14, 도 15, 도 16 및 도 17은 다른 실시 예에 따른 단말기에서 인식된 제스처에 대응하는 출력부의 동작 변화 예시도이다.
도 18은 다른 실시 예에 따른 단말기에 접촉된 물체 인식 예시도이다.
도 19a 및 도 19b는 다른 실시 예에 따른 단말기에 인식된 형상 제스처의 예시도이다.
도 20a 및 도 20b는 다른 실시 예에 따른 단말기에 인식된 형상 제스처의 인식 이미지의 예시도이다.
도 21은 또 다른 실시 예에 따른 단말기의 제어 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1은 실시 예에 따른 차량의 예시도이고, 도 2는 차량에 장착된 단말기를 뒷좌석에서 바라본 외관도이며, 도 3은 차량에 장착된 단말기를 조수석에서 바라본 외관도이다.
차량(1)은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 기기로, 도로 위를 이동한다.
차량(1)은 내장과 외장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
도 1 에 도시된 바와 같이 차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 트렁크, 전후좌우 도어 등을 포함한다.
그리고 차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 트렁크, 전후좌우 도어 사이의 경계에 마련된 필러를 더 포함하고, 또한 전후좌우 도어에 설치된 사이드 윈도 글라스와, 필러와 필러 사이에 설치되되 개폐 불가능하게 설치된 쿼터 윈도 글라스, 후방 측에 설치된 리어 윈도 글라스, 전방 측에 설치된 프런트 윈도 글라스를 더 포함한다.
차체의 외장은 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러 등을 더 포함한다.
도 2에 도시된 바와 같이 차체의 내장은 탑승자가 앉는 시트와, 대시 보드, 대시 보드 상에 배치되고 주행과 관련된 정보를 출력하는 속도계, 연료계기, 자동변속 선택레버 표시등, 타코미터, 구간 거리계 등과 같은 계기판(210), 차량 방향을 조작하는 스티어링 휠, 오디오와 공기조화기의 조절판이 있는 센터 페시아 등으로 이루어진다.
여기서 시트는 운전자가 앉는 운전석(DS), 동승자가 앉는 조수석(PS), 차량 내 후방에 위치하는 뒷좌석을 포함한다.
그리고 센터 페시아는 대시 보드 중에서 운전석과 조수석 사이에 위치하고 컨트롤 패널이 마련된 부분으로, 오디오 기기, 공기 조화기 및 히터를 조정하기 위한 조작부, 송풍구, 시거잭 등이 설치된다.
차량의 차대는 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 전후좌우 차륜 등을 포함한다.
또한 차량에는 운전자 및 탑승자의 안전을 위하여 여러 가지 안전장치들이 마련되어 있다.
여기서 차량의 안정장치로는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 제어 장치와, 차량의 가속 또는 코너링 시 차량의 자세를 제어하는 차량자세 안정 제어 장치(ESC: Electronic Stability Control) 등 여러 종류의 안전장치들이 있다.
이외에도 차량(1)은 후방 또는 측방의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 더 포함하는 것도 가능하다.
또한 차량은 운전자의 편의를 위해 설치된 핸즈프리 장치, GPS, 오디오 기기 및 블루투스 장치, 후방 카메라 등을 더 포함하는 것도 가능하다.
도 2에 도시된 바와 같이 차량은 대시 보드의 중앙 영역인 센터 페시아에 장착되고, 오디오 기능, 비디오 기능, 내비게이션 기능 등을 수행하는 AVN 장치와 같은 단말기(100)를 더 포함하는 것도 가능하다.
여기서 내비게이션 기능은 복수의 위성에서 제공된 위치 정보에 기초하여 차량의 현재 위치를 계산하고, 현재 위치를 지도에 매칭시켜 표시하는 것으로, 사용자로부터 목적지를 입력받고 경로탐색 알고리즘에 기초하여 현재 위치부터 목적지까지의 경로탐색을 수행하고, 탐색된 경로를 지도에 매칭시켜 표시하고, 경로를 따라 사용자를 목적지까지 안내하는 것이다.
단말기(100)는 센터 페시아에 마련되고 차량 내의 각종 기기나 주행을 제어하는 컨트롤 패널을 포함할 수 있다.
이러한 단말기(100)는 정보의 입출력이 가능한 사용자 인터페이스를 포함하고, 사용자 인터페이스의 입력부를 통해 입력된 입력 정보에 대응하는 출력 정보를 출력부에 표시하거나, 또는 입력된 입력 정보에 대응하여 각종 기기의 동작을 제어한다.
또한 단말기(100)는 입력 정보에 대응하는 출력 정보나, 동작 명령을 외부의 장치로 전송하는 것도 가능하다.
도 3에 도시된 바와 같이, 단말기(100)는 서로 분리 장착된 입력부(110)와 출력부(130)를 포함하는 것도 가능하다.
이때 정보를 입력받는 입력부(110)는 암 레스트(arm rest)의 일 측 단부에 연장된 형태로 마련될 수 있고, 정보를 표시하는 출력부(130)는 대시 보드의 상 측에 마련될 수 있다.
이러한 입력부(110)는 패드를 포함하고, 패드에 인접한 손의 제스처를 인식한다.
이와 같이 사용자는 팔을 암 레스트에 올려놓은 상태에서 손(H)을 이용하여 입력부(110)에 정보를 입력할 수 있다. 이에 따라 사용자는 동작 명령을 입력하지 않는 경우에도 패드 위에 손을 올려놓은 상태를 편안하게 유지할 수 있다.
출력부(130)는 표시부를 포함하고, 이 표시부는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현 가능하다.
또한, 출력부(130)는 간단한 조작에 의해 사용자가 원하는 메뉴 아이콘을 표시함으로써 단축 키(hot key) 기능을 실행하도록 할 수 있다.
한편, 단말기(100)는 뒷 좌석의 암 레스트에 장착되어 뒷 좌석에 탑승한 동승자로부터 동작 명령을 입력 받는 것도 가능하다.
또한, 차량은 복수의 단말기(100)를 구비하는 것도 가능하고, 이때 하나의 단말기는 대시보드 상에 장착하고, 다른 하나의 단말기는 뒷 좌석의 암 레스트에 장착 가능하다. 이러한 단말기는 차량 내부에 매립 식으로 설치 가능하다.
단말기(100)는 차량으로부터 분리 가능하며 차량 내부에 선택적으로 위치시키는 것도 가능하고 차량과 별개로 독립적으로 동작 가능하다.
즉 본 실시 예에서 단말기의 예로 차량 등에 마련되는 AVN(Audio Video Navigation) 장치나, 센터 페시아 내 컨트롤 패널을 제시하였지만, 스마트 폰, 태블릿, 노트북, 퍼스널 컴퓨터, 텔레비전일 수도 있다.
도 4는 일 실시 예에 따른 단말기의 제어 블록도로, 단말기는 입력부(110), 제어부(120) 및 출력부(130)를 포함한다.
입력부(110)는 사용자로부터 동작 명령을 입력 받는다.
입력부(110)는 외관을 형성하고 물체가 접촉 또는 근접하는 패드(111)와, 패드(111)의 하부에 배치되고 패드(111)에 근접한 물체의 위치를 검출하는 검출부(112)를 포함한다. 여기서 물체는 사용자의 손 또는 터치 펜 등과 같은 조작체를 포함한다.
패드(111)는 사용자가 조작하지 않는 경우에도 사용자가 손을 올려놓을 수 있도록 마련되어 사용자에게 편의를 제공한다.
검출부(112)는 물체의 접촉 여부 및 패드(111)에 접촉된 물체의 위치를 검출하고, 패드(111)로부터 이격된 공간에 위치한 물체의 위치를 검출하며 검출된 검출 신호를 출력한다.
여기서 물체의 위치는, 방향 및 거리 정보를 포함한다. 즉 물체의 위치는 패드(111)를 기준으로 일정 범위의 공간에서의 위치로, X, Y, Z 좌표로 표현 가능하다.
이러한 검출부(112)는 패드(111)에 접촉된 물체뿐만 아니라 패드(111)로부터 일정 범위 내 공간에 위치한 물체도 검출할 수 있다.
검출부(112)는 근접 센서를 포함하고, 근접 센서는 정전 용량 센서, 초음파 센서 및 광 센서 중 어느 하나의 센서를 포함한다.
검출부(112)는 복수의 근접 센서가 2차원으로 배열된 형태를 가질 수 있는바, 제어부(120)는 복수의 근접 센서에서 각각 출력된 출력 신호의 크기에 기초하여 3차원 공간 상에서의 물체의 위치를 인식한다.
입력부(120)는 패드(111)에 인가된 압력 또는 패드(111)의 눌림을 감지하는 터치부(미도시)를 더 포함하는 것도 가능하다. 즉 입력부는 터치부를 통해 물체의 접촉 여부를 판단할 수 있다.
도 5a 및 도 5b는 복수의 광 센서를 포함하는 입력부의 예시도로, 도 5a 는 입력부의 측면도이고, 도 5b는 검출부의 평면도이다.
입력부(110)는 패드(111)와, 패드(111)의 일측에 마련된 검출부(112)를 포함한다.
검출부(112)는 일정 간격으로 이격 설치된 복수의 발광부(112a)와, 일정 간격으로 이격 설치된 복수의 수광부(112b)와, 복수의 발광부 및 수광부가 배열되는 기판(112c)을 포함한다.
발광부(112a)는 발광다이오드(LED)일 수 있고, 수광부(112b)는 광을 검출하는 포토 트랜지스터일 수 있다.
즉 복수의 발광부(112a)와 복수의 수광부(112b)는 기판(112c) 위에 2차원으로 배열될 수 있으며, 복수의 발광부(112a)는 매트릭스 방식으로 연결되어 개별적으로 점멸 가능하고, 포토 트랜지스터(112b)는 병렬로 연결되어 넓은 면을 가진 일종의 광 센서로서 동작할 수 있다.
발광부(112a)가 적외선 발광 다이오드(LED)로 구현되는 경우에는 발광부(112a)에서 발생된 적외선 외에 다른 외부 광원에서 발생된 적외선이 수광부(112b)로 입사되는 것을 방지하기 위한 적외선 필터(미도시)가 패드(111)와 검출부(112) 사이에 마련될 수 있다.
여기서, 포토 트랜지스터의 출력 단에서 출력되는 출력 신호(OUT)는 광이 없을 경우에는 전원 공급 전압(VCC)에 가까운 값을 유지하고, 광이 입사될 경우에는 그 양에 비례하여 전압을 강하한다.
도 6에 도시된 바와 같이, 검출부로 정전 용량 센서를 이용한 입력부의 경우, 검출부는 2차원으로 배열된 복수의 전극을 포함한다.
즉 검출부의 제1 패널에 복수의 전극이 X축 방향으로 배열되고, 제2 패널에 복수의 전극이 Y축 방향으로 배열된다. 즉 검출부의 제1, 2 패널의 전극은 매트릭스 형태로 나누어져 있고, X축과 Y축에서의 각 라인을 이용하여 좌표를 인식할 수 있도록 한다.
즉 신체 또는 물체가 인접하였을 때 전극 사이의 전계가 변화되고, 전계의 변화에 따라 정전 용량이 변화된다.
제어부(120)는 검출부(112)의 출력 신호에 기초하여 사용자의 동작 명령을 판단하고, 사용자가 의도한 동작 명령에 대응되는 제어 신호를 생성한다.
이러한 제어부(120)는 검출부(112)의 출력 신호에 기초하여 사용자의 제스처를 인식하는 인식부(121)와, 인식된 제스처에 대응하는 동작 명령을 판단하고 판단된 동작 명령에 대한 제어 신호를 생성하는 제어신호 생성부(122)를 포함한다.
제어부(120)는 입력부(110)에 마련될 수도 있고, 입력부(110)의 외부에 별도로 마련되는 것도 가능하다.
또한 제어부(120)는 출력부(130)에 마련될 수도 있다.
이러한 제어부(120)는 검출부(112)에 정전 용량 센서가 마련된 경우에는 물체가 접근함에 따라 달라지는 정전 용량 변화에 기초하여 물체의 위치를 인식하고, 또한 시간 경과에 대응하는 물체의 위치 변화를 인식한다.
제어부(120)는 검출부(112)에 초음파 센서가 마련된 경우에는 물체에 반사되어 돌아오는 초음파 신호의 세기에 기초하여 물체의 위치를 인식하고, 또한 시간 경과에 대응하는 물체의 위치 변화를 인식한다.
제어부(120)는 검출부(112)에 광 센서가 마련된 경우에는 물체에 반사되어 돌아오는 광 신호의 세기에 기초하여 물체의 위치를 인식하고, 또한 시간 경과에 대응하는 물체의 위치 변화를 인식한다.
제어부(120)는 포토 트랜지스터에서 출력된 출력 신호가 입력되고 점등된 발광다이오드(LED)의 위치와 포토 트랜지스터의 출력 신호에 기초하여 입력부(110)에 근접한 물체, 예를 들어 사용자의 손 또는 손가락의 위치, 입력부(110)와의 거리, 면적 등을 연산한다.
제어부(120)의 인식부(121)는 물체의 접촉 여부를 판단하고, 물체가 패드에 접촉되면 접촉된 물체의 블라브(Blob)를 확인하고, 패드로부터 물체 분리 시에 확인된 블라브를 트래킹하면서 물체의 위치를 판단한다.
인식부(121)는 물체가 패드에 접촉되면 물체가 패드에서 분리된 시점부터 변화되는 물체의 위치를 확인하고, 확인된 물체의 위치 변화에 대응하는 제스처를 인식한다.
여기서 변화되는 물체의 위치는, 물체가 패드의 면에 접촉된 상태에서 이동하는 물체의 궤적일 수 있고, 또한 물체가 패드로부터 이격된 상태에서 이동하는 물체의 궤적일 수도 있다.
인식부(121)는 물체가 패드에서 분리된 시점부터 물체가 검출되지 않는 시점 사이의 물체의 위치를 확인한다.
도 7a 에 도시된 바와 같이, 인식부(121)는 물체가 패드의 면에 접촉되면 사용자로부터 동작 명령이 입력되는 시점으로 판단하고, 패드와 이격된 상태에서 이동하는 물체의 위치를 확인하되 물체가 일정 범위를 벗어나면 위치 확인을 종료하고, 터치 점(P1)의 위치에서부터 시간의 흐름에 따라 이동한 물체의 위치를 연결하여 물체의 궤적을 생성하고, 생성된 물체의 궤적에 대응하는 사용자의 제스처(g)를 인식한다.
또한 제어부(120)는 물체가 패드에서 분리된 시점부터 패드에 재접촉된 시점 사이의 물체의 위치를 확인한다.
도 7b 에 도시된 바와 같이, 인식부(121)는 물체가 패드의 면에 접촉되면 사용자로부터 동작 명령의 입력이 시작되는 시점으로 판단하고, 패드와 이격된 상태에서 이동하는 물체의 위치를 확인하며, 물체가 패드의 면에 다시 접촉되면 사용자로부터 동작 명령의 입력이 종료되는 시점으로 판단하고, 시작 시점과 종료 시점 사이에 시간의 흐름에 따라 이동한 물체의 위치를 연결하여 물체의 궤적을 생성하고, 생성된 물체의 궤적에 대응하는 사용자의 제스처(g)를 인식한다.
또한 인식부(121)는 검출부의 출력 신호에 기초하여 손의 형상 및 패드로부터의 손의 거리를 인식하는 것도 가능하다.
즉, 인식부(121)는 패드가 접촉된 후 패드로부터 물체가 분리된 시점부터 일정 시간 내에 물체의 위치가 일정하게 유지되면 손의 형상을 인식한다.
물체의 위치가 일정하게 유지되는지 판단하는 것은, 물체의 위치 중 패드와의 거리의 변화가 미리 설정된 이동 범위 내에서 유지되는지를 판단하는 것이다.
제어신호 생성부(122)는 미리 저장된 복수의 기준 제스처와 인식된 제스처를 각각 비교하여 각각의 매칭율을 확인하고 확인된 매칭율 중 가장 높은 매칭율을 가지는 기준 제스처를 판단하고 판단된 기준 제스처에 대응하는 동작 명령을 판단하고 판단된 동작 명령에 대한 제어 신호를 생성한다.
여기서 제스처는 패드의 표면 위에서 이동하는 물체의 궤적일 수 있고, 또한 손의 형상일 수 있다.
출력부(130)는 동작 명령에 대응하는 정보를 출력하는 것으로, 정보를 문자, 이미지 등으로 출력하는 표시부(131) 및 정보를 소리로 출력하는 사운드부(132) 중 적어도 하나를 포함한다.
여기서 표시부(131)는 디스플레이 패널을 포함하고, 문자 및 이미지 등을 디스플레이 패널을 통해 표시한다.
사운드부(132)는 스피커를 포함하고, 통화음, 음악이나 내비게이션 동작과 관련된 사운드를 스피커를 통해 출력한다.
도 8은 일 실시 예에 따른 단말기의 제어 순서도이다.
단말기는, 차량에 매립 설치되는 AVN(Audio Video Navigation) 장치나, 센터 페시아 내 컨트롤 패널일 수 있고, 또는 휴대 가능하여 차량에 선택적으로 장착시킬 수 있는 스마트 폰, 태블릿, 노트북이거나, 또는 퍼스널 컴퓨터, 텔레비전일 수도 있다.
본 실시 예는 차량에 설치되는 AVN(Audio Video Navigation) 장치를 단말기의 예로 설명한다.
AVN(Audio Video Navigation) 장치의 입력부와 출력부는 대시 보드에 일체로 매립 설치되거나, 또는 서로 다른 위치에 분리 설치 가능하다.
AVN 장치의 입력부와 출력부가 분리 설치된 경우, 입력부는 암 레스트에 마련되고 출력부는 대시보드에 마련 가능하다.
단말기인 AVN 장치는 출력부가 비활성화되고 입력부가 활성화된 대기 상태를 유지하면서 입력부에 동작 개시를 위한 신호가 입력되는지 판단한다.
여기서 동작 개시를 위한 신호는 입력부의 패드에 접촉된 터치 신호일 수 있고, 또는 동작 개시 버튼의 온 신호일 수도 있다.
AVN 장치는 동작 개시를 위한 신호가 입력되면 메인 영상을 표시부에 표시한다. 여기서 메인 영상은 AVN 장치에서 수행되는 복수의 기능을 각각 대표화하는 아이콘들을 표시하는 영상일 수 있다.
AVN 장치는 동작 명령을 입력하기 위한 사용자의 패드 접촉 여부를 판단(201)한다.
AVN 장치는 물체가 패드의 면에 접촉되었다고 판단되면 동작 명령을 입력하기 위한 시작 시점으로 판단하고, 물체가 접촉된 터치 점의 위치를 확인한다.
AVN 장치는 패드에 접촉된 이후 물체와 패드의 분리 여부를 판단하고 물체가 패드에서 분리된 시점부터 패드와 이격된 상태에서 이동하는 물체의 위치를 확인(202)한다.
AVN 장치는 물체의 위치를 확인하면서 물체의 검출 여부를 판단(203)함으로써 동작 명령 입력의 종료 시점인지를 판단한다.
여기서 동작 명령 입력의 종료 시점은 사용자가 의도한 제스처가 완성된 시점으로, 물체의 위치가 미리 설정된 일정 범위를 벗어나서 물체가 검출되지 않는 시점이다.
아울러, 동작 명령 입력의 종료 시점은 검출부의 출력 신호인 물체의 검출 신호가 일정 크기 미만이거나, 또는 검출부의 출력 신호인 물체의 검출 신호가 검출되지 않는 시점인 것도 가능하다.
AVN 장치는 동작 명령 입력의 시작 시점과 동작 명령 입력의 종료 시점 사이에 확인된 물체의 위치를 연결한다.
즉, AVN 장치는 동작 명령 입력의 시작 시점에 접촉된 터치 점의 위치에서부터 시간의 흐름에 따라 이동한 물체의 위치를 연결하여 물체의 궤적을 생성(204)하고, 생성된 물체의 궤적에 대응하는 사용자의 제스처를 인식(205)한다.
여기서 물체의 위치는, 패드에서 이격된 물체의 거리 및 물체의 이동 방향을 포함한다. 이에 따라, AVN 장치는 물체가 패드와 어느 정도의 거리를 두고 어느 방향으로 이동하였는지를 알 수 있다.
AVN 장치는 물체가 일정 시간 동안 패드와 일정 거리를 유지하고 있다고 판단되면 물체가 연속적으로 이동한 제스처가 아닌 형상을 이용한 제스처라고 판단하고, 물체의 형상에 대응한 제스처를 인식한다.
아울러, 제스처는 물체의 형상과, 형상을 이루는 부분별 패드와의 거리 정보를 함께 갖는 것도 가능하다.
AVN 장치는 미리 저장된 복수의 기준 제스처와 인식된 제스처를 각각 비교하여 각각의 매칭율을 확인하고 확인된 매칭율 중 가장 높은 매칭율을 가지는 기준 제스처를 판단하고 판단된 기준 제스처에 대응하는 동작 명령을 판단(206)하고 판단된 동작 명령에 대한 제어 신호를 생성하며 생성된 제어 신호를 부하로 출력(207)하여 부하를 동작시킨다.
여기서 부하는, 표시부 및 사운드부 중 적어도 하나를 포함한다.
이를 도 9 및 도 10을 참조하여 설명한다.
도 9에 도시된 바와 같이, AVN 장치에는 일정 영역(r) 내에서 행해진 기준 제스처에 대응하는 동작 명령이 저장되어 있다.
여기서 기준 제스처는 한 방향으로 일정 거리 움직이는 제스처가 될 수도 있고, 원을 반복해서 그리는 제스처일 수 있으며 복잡하게는 글자를 의미하는 제스처일 수도 있다.
도 9의 (a)에 도시된 바와 같이 터치 점(p1)을 기준으로 왼쪽으로 이동하는 곡선의 제스처(g1)에 대응하는 동작명령은 이전 곡 재생이고, (b)에 도시된 바와 같이 터치 점(p1)을 기준으로 오른쪽으로 이동하는 곡선의 제스처(g2)에 대응하는 동작 명령은 다음 곡 재생이라고 가정한다.
아울러, 음악의 저장 순은 'No. 9', 'My life', 'It's not you' 라고 가정한다.
도 10에 도시된 바와 같이 AVN 장치(100)는 오디오 재생 기능을 수행하고 있는 상태에서, 표시부(131)를 통해 현재 재생 중인 음악에 대한 정보를 표시한다.
즉 (a)에 도시된 바와 같이, AVN 장치(100)는 표시부(131)를 통해 현재 재생 중인 음악에 대한 정보를 표시하면서 사운드부를 통해 음악을 출력하고, 이때 입력부의 패드에 접촉 이벤트가 발생하는지 판단한다.
AVN 장치는 입력부의 패드가 접촉되었다고 판단되면 접촉된 터치 점의 위치를 확인하고, 확인된 터치점의 위치에서부터 변화되는 물체의 위치를 확인한다.
AVN 장치는 일정 범위 내에 물체가 검출되지 않으면, 터치점의 위치부터 시간의 흐름에 따라 변화되는 물체의 위치를 연결하여 물체의 궤적을 생성하고, 생성된 물체의 궤적에 대응하는 제스처를 인식한다.
AVN 장치는 인식된 제스처와 미리 저장된 기준 제스처를 각각 비교하고 비교 결과 매칭율이 가장 높은 제스처를 판단한다.
AVN 장치는 인식된 제스처와 도 9의 (a)의 기준 제스처의 매칭율이 가장 높다고 판단되면 도 10의 (b)에 도시된 바와 같이 이전 곡인 'No. 9'에 대한 정보를 표시부에 표시하고, 사운드부를 통해 음악 'No. 9'을 출력한다.
반면 AVN 장치는 인식된 제스처와 도 9의 (b)의 기준 제스처의 매칭율이 가장 높다고 판단되면 도 10의 (c)에 도시된 바와 같이 다음 곡인 'It's not you'에 대한 정보를 표시부에 표시하고, 사운드부를 통해 음악 'It's not you'을 출력한다.
도11은 다른 실시 예에 따른 단말기의 제어 순서도이다.
본 실시 예는 차량에 설치되는 AVN(Audio Video Navigation) 장치를 단말기의 예로 설명한다.
AVN(Audio Video Navigation) 장치의 입력부와 출력부는 대시 보드에 일체로 매립 설치되거나, 또는 서로 다른 위치에 분리 설치 가능하다.
AVN 장치의 입력부와 출력부가 분리 설치된 경우, 입력부는 암 레스트에 마련되고 출력부는 대시보드에 마련 가능하다.
단말기인 AVN 장치는 출력부가 비활성화되고 입력부가 활성화된 대기 상태를 유지하면서 입력부에 동작 개시를 위한 신호가 입력되는지 판단한다.
여기서 동작 개시를 위한 신호는 입력부의 패드에 접촉된 터치 신호일 수 있고, 또는 동작 개시 버튼의 온 신호일 수도 있다.
AVN 장치는 동작 개시를 위한 신호가 입력되면 메인 영상을 표시부에 표시한다. 여기서 메인 영상은 AVN 장치에서 수행되는 복수의 기능을 각각 대표화하는 아이콘들을 표시하는 영상일 수 있다.
AVN 장치는 동작 명령을 입력하기 위한 사용자의 패드 접촉 여부를 판단(211)한다.
AVN 장치는 물체가 패드의 면에 접촉되었다고 판단되면 동작 명령을 입력하기 위한 시작 시점으로 판단하고, 물체가 접촉된 터치 점의 위치를 확인한다.
AVN 장치는 패드에 접촉된 이후 물체와 패드의 분리 여부를 판단하고 물체가 패드에서 분리된 시점부터 패드와 이격된 상태에서 이동하는 물체의 위치를 확인(212)한다.
AVN 장치는 물체의 위치를 확인하면서 물체의 재접촉 여부를 판단(213)함으로써 동작 명령 입력의 종료 시점인지를 판단한다.
여기서 동작 명령 입력의 종료 시점은 사용자가 의도한 제스처가 완성된 시점이다.
AVN 장치는 동작 명령 입력의 시작 시점과 동작 명령 입력의 종료 시점 사이에 확인된 물체의 위치를 연결한다.
즉, AVN 장치는 동작 명령 입력의 시작 시점에 접촉된 터치 점의 위치에서부터 동작 명령 입력의 종료 시점에 접촉된 터치 점의 위치까지 시간의 흐름에 따라 이동한 물체의 위치를 연결하여 물체의 궤적을 생성(214)하고, 생성된 물체의 궤적에 대응하는 사용자의 제스처를 인식(215)한다.
여기서 물체의 위치는, 패드에서 이격된 물체의 거리 및 물체의 이동 방향을 포함한다. 이에 따라, AVN 장치는 물체가 패드와 어느 정도의 거리를 두고 어느 방향으로 이동하였는지를 알 수 있다.
AVN 장치는 미리 저장된 복수의 기준 제스처와 인식된 제스처를 각각 비교하여 각각의 매칭율을 확인하고 확인된 매칭율 중 가장 높은 매칭율을 가지는 기준 제스처를 판단하고 판단된 기준 제스처에 대응하는 동작 명령을 판단(216)하고 판단된 동작 명령에 대한 제어 신호를 생성하며 생성된 제어 신호를 부하로 출력(217)하여 부하를 동작시킨다.
여기서 부하는, 표시부 및 사운드부 중 적어도 하나를 포함한다.
이를 도 12 내지 도 20을 참조하여 설명한다.
도 12에 도시된 바와 같이, AVN 장치에는 일정 영역 내에서 행해진 기준 제스처에 대응하는 동작 명령이 저장되어 있다.
(a)에 도시된 바와 같이 패드(111)에 터치된 제1터치 점(p1)과 제2터치점(p2) 사이에 형성된 M형상의 제스처(g3)에 대응하는 동작명령은 메뉴 표시이고, (b)에 도시된 바와 같이 패드(111)에 터치된 제1터치 점(p1)과 제2터치점(p2) 사이에 형성된 하트 형상의 제스처(g4)에 대응하는 동작명령은 전화 통화 기능 실행이며, (c)에 도시된 바와 같이 패드(111)에 터치된 제1터치 점(p1)과 제2터치점(p2) 사이에 형성된 별 형상의 제스처(g5)에 대응하는 동작명령은 내비게이션 기능 실행이고, (d)에 도시된 바와 같이 패드(111)에 터치된 제1터치 점(p1)과 제2터치점(p2) 사이에 형성된 삼자(3) 형상의 제스처(g6)에 대응하는 동작명령은 3차원 표시 기능 실행이라고 가정한다.
도 13에 도시된 바와 같이 AVN 장치(100)는 오디오 재생 기능을 수행하고 있는 상태에서, 표시부(131)를 통해 현재 재생 중인 음악에 대한 정보 및 그 외 오디오 기능 설정에 대한 정보를 표시한다.
AVN 장치(100)는 표시부(131)를 통해 현재 재생 중인 음악 'My life'에 대한 정보를 표시하면서 사운드부를 통해 음악을 출력하고, 또한 입력부의 패드에 접촉 이벤트가 발생하는지 판단한다.
AVN 장치는 입력부의 패드가 물체나 사용자의 손에 의해 접촉되었다고 판단되면 접촉된 제1터치 점의 위치를 확인하고, 확인된 제1터치점의 위치에서부터 변화되는 물체의 위치를 확인하되, 패드가 재접촉되는 시점까지 물체의 위치를 확인한다.
아울러 공간상에서 물체 이동 후에 일정 시간이 지나도 패드가 재 접촉되지 않으면 동작 명령 입력을 위한 제스처가 취소되었다고 판단한다.
AVN 장치는 물체가 처음 접촉된 제1터치점과 물체가 재접촉된 제2터치점 사이에 검출되는 물체의 위치를 확인하되, 제1터치점의 위치에서부터 제2터치점의 위치 사이에 시간의 흐름에 따라 변화되는 물체의 위치를 연결하여 물체의 궤적을 생성하고, 생성된 물체의 궤적에 대응하는 제스처를 인식한다.
AVN 장치는 인식된 제스처와 미리 저장된 기준 제스처를 각각 비교하고 비교 결과 매칭율이 가장 높은 제스처를 판단한다.
AVN 장치는 인식된 제스처와 도 12의 (a)의 기준 제스처의 매칭율이 가장 높다고 판단되면 도 14에 도시된 바와 같이 표시부의 음악 재생에 대한 실행 화면 위에 메뉴 화면을 오버랩 시켜 표시한다. 이때 음악은 계속적으로 재생 가능하다.
아울러, 표시부의 화면을 메뉴 화면으로 전환하여 표시하는 것도 가능하다. 이때 음악의 재생은 정지 가능하다.
또한 AVN 장치는 인식된 제스처와 도 12의 (b)의 기준 제스처의 매칭율이 가장 높다고 판단되면 도 15에 도시된 바와 같이 표시부에 전화 통화와 관련된 영상을 표시한다. 아울러, AVN 장치는 표시부에 표시된 주소록 목록 상에 어느 하나의 전화번호를 제스처를 통해 선택받을 수 있다.
또한 AVN 장치는 인식된 제스처와 도 12의 (c)의 기준 제스처의 매칭율이 가장 높다고 판단되면 내비게이션 기능을 실행하고, 도 16에 도시된 바와 같이 표시부에 내비게이션과 관련된 영상을 표시한다.
AVN 장치는 2차원으로 내비게이션과 관련된 영상을 표시하면서 사용자에 의해 또 다른 동작 명령이 입력되는지 판단한다. 즉 AVN 장치는 2차원으로 내비게이션과 관련된 영상을 표시하면서 입력부의 패드에 제스처가 입력되는지 판단하고, 인식된 제스처가 도 12의 (d)의 기준 제스처라고 판단되면 도 17에 도시된 바와 같이 표시부에 표시된 2차원의 내비게이션 영상을 3차원으로 전환하여 표시한다.
도 18에 도시된 바와 같이, AVN 장치는 물체의 위치를 확인할 때, 입력부의 패드에 터치된 물체의 블라브(b: Blob)을 인식하고, 인식된 물체의 블라브를 추종하면서 물체의 위치를 확인한다.
이와 같이, 제스처를 이용한 정보 입력 방식은 메뉴, 전화, 내비게이션, 라디오, 오디오, 사진 등을 실행하기 위한 핫 키 기능으로 이용 가능하다.
여기서 핫 키 기능은 단말기가 수행 중인 기능과 무관하게 사용자가 원하는 기능을 바로 호출할 수 있는 기능이다.
또한 AVN 장치는 물체가 일정 시간 동안 패드와 일정 거리를 유지하고 있다고 판단되면 물체가 연속적으로 이동한 제스처가 아닌 형상을 이용한 제스처라고 판단하고, 물체의 형상에 대응한 제스처를 인식한다.
아울러, 제스처는 물체의 형상과, 형상을 이루는 부분별 패드와의 거리 정보를 함께 갖는 것도 가능하다.
이를 도 19 및 도 20을 참조하여 설명한다.
AVN 장치에는 일정 영역 내에서 행해진 기준 제스처에 대응하는 동작 명령이 저장되어 있다.
도 19의 (a)에 도시된 바와 같이 패드(111)에 터치된 제1터치 점(p1)과 제2터치점(p2) 사이에 형성된 손 형상의 제스처에 대응하는 동작명령은 3차원 표시 명령이고, (b)에 도시된 바와 같이 패드(111)에 터치된 제1터치 점(p1)과 제2터치점(p2) 사이에 형성된 손 형상의 제스처에 대응하는 동작명령은 2차원 표시 명령이라고 가정한다.
AVN 장치는 2차원으로 내비게이션과 관련된 영상을 표시하면서 사용자에 의해 또 다른 동작 명령이 입력되는지 판단한다.
즉 AVN 장치는 입력부의 패드가 물체에 의해 접촉되는지 판단하고, 패드에 물체가 접촉되면 물체의 위치를 확인하며, 물체의 위치가 시간에 흐름에 따라 변화되는 것이 아니라고 판단되면 패드와 이격된 물체의 형상을 인식한다.
AVN 장치는 물체가 검출되는 위치별 물체 사이의 거리를 인식한다.
좀 더 구체적으로, 도 19의 (a) 및 (b)에 도시된 바와 같이AVN 장치는 패드(111)에 접촉한 손가락(F) 끝부분과 손가락 마디(J) 사이의 거리를 연산할 수 있다. 그리고 손가락(F) 끝부분과 손가락 마디(J) 사이의 거리는 손가락(F)을 구부린 정도에 따라 달라지는바, 손가락을 많이 구부릴수록 그 거리가 짧아진다.
따라서, AVN 장치는 손가락(F)과 입력부(110) 사이의 거리를 연산할 수 있고, 손가락(F) 끝부분과 손가락 마디(J) 사이의 거리 및 손가락 마디(J)와 입력부(110) 사이의 거리에 기초하여 손가락(F)의 각도를 연산할 수 있다.
이러한 물체의 검출 위치 및 패드와의 거리에 기초하여 제스처의 영상(I)을 생성하는 것도 가능하다.
AVN 장치는 도 20(a)과 같은 형상이 인식되었다고 판단되면, 도 19의 (a)의 기준 제스처라고 판단하고 표시부에 표시된 2차원의 내비게이션 영상을 3차원으로 전환하여 표시한다.
그리고 AVN 장치는 3차원으로 내비게이션과 관련된 영상을 표시하면서 입력부의 패드가 물체에 의해 접촉되는지 판단하고, 패드에 물체가 접촉되면 물체의 위치를 확인하며, 물체의 위치가 시간에 흐름에 따라 변화되는 것이 아니라고 판단되면 패드와 이격된 물체의 형상을 인식한다.
AVN 장치는 물체가 검출되는 위치별 물체 사이의 거리를 인식한다.
AVN 장치는 도 20(b)와 같은 형상이 인식되었다고 판단되면, 도 19의 (b)의 기준 제스처라고 판단하고 표시부에 표시된 3차원의 내비게이션 영상을 2차원으로 전환하여 표시한다.
이러한 AVN 장치는 펼친 손가락의 개수에 대응하는 동작 명령을 저장하는 것도 가능하다.
단말기(100)는 AVN 장치 외에도 차량(1)에 마련된 각종 편의 장치를 제어할 수 있다.
예를 들어 차량에 마련된 에어컨의 온도를 높이거나 낮추는 것도 가능하고 라디오의 채널 및 음량을 변경하는 것도 가능하다.
또한, 차량(1)에 장착된 단말기(100)는 좌석의 위치나 각도를 제어하는데 사용될 수도 있다.
이와 같이 단말기를 이용하여 차량을 제어하면, 사용자의 조작감 및 편의성이 향상되고, 사용자에게 시각적 및 촉각적인 피드백을 제공함으로써 조작의 정확도를 향상시킬 수 있다.
또한, 간단한 조작 방식으로 핫 키 기능을 수행함으로써, 다수의 하드 키를 구비하지 않아도 되며 이로 인해 공간 절약 효과를 얻을 수 있고, 주행 중에도 안정적으로 동작 명령을 입력할 수 있다.
다만, 제1터치점인 시작점과 제2터치점인 종료점이 패드 표면으로 고정되어 있기 때문에 제스처의 회전이나 시작점을 찾기 위한 일련의 과정을 제외하더라도 높은 인식율을 보장할 수 있다.
도 21은 또 다른 실시 예에 따른 단말기의 제어 블록도로, 또 다른 실시 예에 따른 단말기는 제어 장치(300)로서, 입력부(310)와 제어부(320)를 포함한다.
입력부(310)는 사용자로부터 동작 명령을 입력 받는다.
입력부(310)는 외관을 형성하고 물체가 접촉 또는 근접하는 패드(311)와, 패드(311)의 하부에 배치되고 패드(311)로부터 일정 범위 내에 근접한 물체의 위치를 검출하여 검출 신호를 출력하는 검출부(312)를 포함한다. 여기서 물체는 사용자의 손 또는 터치 펜 등과 같은 조작체를 포함한다.
즉 검출부(312)에서 출력된 검출 신호의 발생 위치 및 검출 신호의 크기에 기초하여 물체의 위치를 확인할 수 있다.
여기서 물체의 위치는, 물체의 방향 및 패드와의 거리 정보를 포함한다. 즉 물체의 위치는 패드(311)를 기준으로 일정 범위의 공간에서의 위치로, X, Y, Z 좌표로 표현 가능하다.
이러한 검출부(312)는 근접 센서를 포함하고, 근접 센서는 정전 용량 센서를 포함한다.
검출부(312)는 복수의 정전용량 센서가 2차원으로 배열된 형태를 가질 수 있는바, 제어부(320)는 복수의 근접 센서에서 각각 출력된 검출 신호의 크기에 기초하여 3차원 공간 상에서의 물체의 위치를 확인할 수 있다.
입력부(310)는 패드(311)에 인가된 압력 또는 패드(311)의 눌림을 감지하는 터치부(미도시)를 더 포함하는 것도 가능하다. 즉 입력부는 터치부를 통해 물체의 접촉 여부를 판단할 수 있다.
예를 들어, 검출부(312)의 제1 패널에 복수의 전극이 X축 방향으로 배열되고, 제2 패널에 복수의 전극이 Y축 방향으로 배열된다. 즉 검출부(312)의 제1, 2 패널의 전극은 매트릭스 형태로 나누어져 있고, X축과 Y축에서의 각 라인을 이용하여 좌표를 인식할 수 있도록 한다.
즉 패드에 신체 또는 물체가 인접하였을 때 두 전극 사이의 전계가 변화되고, 전계의 변화에 따라 정전 용량이 변화된다.
제어부(320)는 검출부(312)에서 출력된 검출 신호에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 사용자의 동작 명령을 판단한다.
이러한 제어부(320)는 검출부(312)에서 출력된 검출 신호에 기초하여 사용자의 제스처를 인식하는 인식부(321)와, 인식된 제스처에 대응하는 동작 명령을 판단하고 판단된 동작 명령에 대한 제어 신호를 생성하는 제어신호 생성부(322)를 포함한다.
제어부(320)는 입력부(310)에 마련될 수도 있고, 입력부(310)의 외부에 별도로 마련되는 것도 가능하다.
이러한 제어부(320)는 물체가 접근함에 따라 달라지는 정전 용량 변화에 기초하여 물체의 위치를 확인하고, 또한 시간 경과에 대응하는 물체의 위치 변화를 확인한다.
또한 제어부(320)는 물체가 일정 시간 동안 패드와 일정 거리를 유지하고 있다고 판단되면 물체가 연속적으로 이동하는 제스처가 아닌 형상을 이용한 제스처라고 판단하고, 물체의 형상에 대응한 제스처를 인식한다.
여기서 일정 거리인지를 판단하는 것은, 패드와 물체 사이의 거리 변화가 일정 범위 내인지를 판단하는 것을 포함한다.
이러한 제어부(320)는 물체의 형상을 이용하여 제스처 인식 시, 검출 신호에 기초하여 입력부(310)에 근접한 물체, 예를 들어 사용자의 손 또는 손가락의 위치, 입력부(310)와의 거리, 면적 등을 연산하는 것도 가능하다.
제어부(320)의 인식부(321)는 물체의 접촉 여부를 판단하고, 물체가 패드에 접촉되면 접촉된 물체의 블라브(Blob)를 확인하고, 패드로부터 물체 분리 시에 확인된 블라브를 트래킹하면서 물체의 위치를 확인한다.
인식부(321)는 물체가 패드에 접촉되면 물체가 패드에서 분리된 시점부터 변화되는 물체의 위치를 확인하고, 확인된 물체의 위치 변화에 대응하는 제스처를 인식한다.
여기서 변화되는 물체의 위치는, 물체가 패드로부터 이격된 상태에서 이동하는 물체의 궤적일 수도 있다.
인식부(321)는 물체가 패드에 분리된 시점부터 물체가 검출되지 않는 시점 사이의 물체의 위치를 추종하여 제스처를 인식한다.
여기서 물체가 검출되지 않는 시점은, 검출부에 물체 검출에 따른 검출 신호가 발생되지 않은 시점 또는 검출부에 검출된 검출 신호의 크기가 일정 신호 미만일 때의 시점이다.
인식부(321)는 물체가 패드에서 분리된 시점부터 물체가 패드에 재접촉된 시점 사이의 물체의 위치를 추종하여 제스처를 인식하는 것도 가능하다.
이러한 제어부(320)는 유무선을 통해 연결된 외부 장치로 동작 명령에 대응하는 제어 신호를 출력한다. 여기서 제어 신호를 출력하는 것은, 유선 또는 무선 통신을 통해 출력 가능하다.
1 : 차량 100 : 단말기
110 : 입력부 111 : 패드
112 : 검출부 120 : 제어부
130: 출력부 300: 제어 장치
310: 입력부 320: 제어부

Claims (35)

  1. 물체의 접촉 및 상기 물체의 위치를 검출하는 입력부;
    상기 물체가 접촉되면 상기 입력부에서 상기 물체가 분리된 시점부터 상기 물체의 위치를 추종하여 상기 물체의 제스처를 인식하고, 상기 인식된 제스처에 대응하는 동작 명령을 판단하여 제어를 수행하는 제어부를 포함하는 단말기.
  2. 제 1 항에 있어서,
    상기 제어부에서 전송된 제어 신호에 기초하여 동작을 수행하는 출력부를 더 포함하는 단말기.
  3. 삭제
  4. 제 1 항에 있어서, 상기 제어부는,
    상기 입력부와 물체 사이의 거리가 일정 시간 동안 유지되면 상기 물체의 형상을 인식하고, 인식된 물체의 형상에 대응하는 제스처를 인식하는 단말기.
  5. 제 1 항에 있어서, 상기 입력부는,
    상기 물체가 접촉되는 패드;
    상기 패드와 인접하여 설치되고 상기 물체의 접촉 여부 및 상기 물체의 위치를 검출하는 검출부를 포함하는 단말기.
  6. 제 5 항에 있어서, 상기 검출부는,
    정전 용량 센서, 초음파 센서 및 광 센서 중 적어도 하나를 포함하는 단말기.
  7. 제 1 항에 있어서, 상기 제어부는,
    상기 물체가 검출되지 않은 시점까지 상기 물체의 제스처를 인식하는 단말기.
  8. 제 1 항에 있어서, 상기 제어부는,
    상기 입력부가 재접촉되는 시점까지 상기 물체의 제스처를 인식하는 단말기.
  9. 제 1 항에 있어서, 상기 제어부는,
    상기 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고, 상기 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 판단하는 단말기.
  10. 물체의 접촉 및 상기 물체의 위치를 검출하는 입력부;
    상기 물체가 접촉된 제1터치점과 상기 물체가 재접촉된 제2터치점 사이에 검출된 제스처를 인식하되, 상기 물체가 상기 제1터치점에서 분리된 시점과 상기 물체가 상기 제2터치점에서 재접촉된 시점 사이의 물체의 위치를 추종하여 상기 제스처를 인식하고 상기 인식된 제스처에 대응하는 동작 명령을 판단하여 제어를 수행하는 제어부를 포함하는 단말기.
  11. 제 10 항에 있어서, 상기 물체의 위치는,
    상기 물체의 이동 방향 및 상기 입력부와의 거리를 포함하는 단말기.
  12. 제 10 항에 있어서,
    상기 제어부에서 전송된 제어 신호에 기초하여 동작을 수행하는 출력부를 더 포함하는 단말기.
  13. 삭제
  14. 삭제
  15. 제 10 항에 있어서, 상기 제어부는,
    상기 물체가 접촉된 후 상기 물체가 상기 입력부에서 분리된 시점부터 상기 입력부와 물체 사이의 거리가 일정 시간 동안 유지되면 상기 물체의 형상을 인식하고, 인식된 물체의 형상에 대응하는 제스처를 인식하는 단말기.
  16. 제 10 항에 있어서, 상기 입력부는,
    상기 물체가 접촉되는 패드;
    상기 패드와 인접하여 설치되고 상기 물체의 접촉 여부 및 상기 물체의 위치를 검출하는 검출부를 포함하는 단말기.
  17. 제 16 항에 있어서, 상기 검출부는,
    정전 용량 센서, 초음파 센서 및 광 센서 중 적어도 하나를 포함하는 단말기.
  18. 제 10 항에 있어서, 상기 제어부는,
    상기 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고, 상기 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 판단하는 단말기.
  19. 물체가 입력부에 접촉되는지 판단하고,
    상기 물체가 상기 입력부에 접촉되었다고 판단되면 상기 물체가 상기 입력부에서 분리되었는지 판단하고,
    상기 물체가 상기 입력부에서 분리되었다고 판단되면 상기 물체가 분리된 시점부터 검출되는 물체의 위치를 추종하여 상기 물체의 제스처를 인식하고,
    상기 인식된 제스처에 대응하는 제어를 수행하는 단말기의 제어 방법.
  20. 제 19 항에 있어서, 상기 물체의 위치를 추종하는 것은,
    상기 물체가 검출되지 않는 시점까지 물체의 위치를 추종하는 것을 포함하는 단말기의 제어 방법.
  21. 제 19 항에 있어서, 상기 물체의 위치를 추종하는 것은,
    상기 물체가 입력부에 재접촉된 시점까지 물체의 위치를 추종하는 것을 포함하는 단말기의 제어 방법.
  22. 제 19 항에 있어서, 상기 물체의 제스처를 인식하는 것은,
    상기 추종된 물체의 위치를 시간의 흐름에 따라 연결하여 물체의 궤적을 생성하고,
    상기 생성된 궤적에 대응하는 제스처를 인식하는 것을 포함하는 단말기의 제어 방법.
  23. 제 19 항에 있어서
    상기 인식된 제스처에 대응하는 동작 명령을 인식하고,
    상기 인식된 동작 명령에 대응하는 제어 신호를 생성하고,
    상기 생성된 제어 명령을 출력부에 출력하는 것을 더 포함하는 단말기의 제어 방법.
  24. 제 19 항에 있어서,
    상기 물체가 분리된 시점부터 상기 입력부와 물체 사이의 거리가 일정 시간 동안 유지되는지 판단하고,
    시점부터 상기 입력부와 물체 사이의 거리가 일정 시간 동안 유지되었다고 판단되면 상기 물체의 형상을 인식하고,
    상기 인식된 물체의 형상에 대응하는 제스처를 인식하는 것을 더 포함하는 단말기의 제어 방법.
  25. 제 19 항에 있어서, 상기 물체의 위치를 추종하는 것은,
    상기 입력부에서 출력되는 검출 신호의 신호 위치 및 신호 크기에 기초하여 상기 물체의 위치를 연속적으로 확인하는 것을 포함하는 단말기의 제어 방법.
  26. 제 25 항에 있어서, 상기 검출 신호는,
    정전용량 신호, 광신호 또는 초음파 신호인 단말기의 제어 방법.
  27. 제 19 항에 있어서,
    상기 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고,
    상기 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 판단하는 것을 더 포함하는 단말기의 제어 방법.
  28. 내비게이션 기능, 오디오 기능, 비디오 기능을 수행하는 단말기를 가지는 차량에 있어서,
    상기 단말기는,
    물체의 접촉 및 상기 물체의 위치를 검출하는 입력부;
    상기 물체가 접촉되면 상기 입력부에서 상기 물체가 분리된 시점부터 상기 물체의 위치를 추종하여 상기 물체의 제스처를 인식하고 상기 인식된 제스처에 대응하는 동작 명령을 판단하여 제어를 수행하는 제어부;
    상기 제어부에서 전송된 제어 신호에 기초하여 동작을 수행하는 출력부를 포함하는 차량.
  29. 제 28 항에 있어서,
    상기 입력부와 출력부는 분리 가능하게 장착되는 차량.
  30. 삭제
  31. 제 28 항에 있어서,
    상기 동작명령은 에어컨, 시트, 히터, 라디오, 와이퍼의 동작 명령을 포함하는 차량.
  32. 제 28 항에 있어서, 상기 제어부는,
    상기 입력부와 물체 사이의 거리가 일정 시간 동안 유지되면 상기 물체의 형상을 인식하고, 인식된 물체의 형상에 대응하는 제스처를 인식하는 차량.
  33. 제 28 항에 있어서, 상기 제어부는,
    상기 물체가 검출되지 않은 시점까지 상기 물체의 제스처를 인식하는 차량.
  34. 제 28 항에 있어서, 상기 제어부는,
    상기 입력부가 재접촉되는 시점까지 상기 물체의 제스처를 인식하는 차량.
  35. 제 28 항에 있어서, 상기 제어부는,
    상기 인식된 제스처와 미리 저장된 기준 제스처를 비교하여 매칭율을 확인하고, 상기 확인된 매칭율 중 가장 높은 매칭율을 갖는 기준 제스처에 대응하는 동작 명령을 판단하는 차량.
KR1020140028262A 2014-03-11 2014-03-11 단말기, 그를 가지는 차량 및 그 제어 방법 KR101575650B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140028262A KR101575650B1 (ko) 2014-03-11 2014-03-11 단말기, 그를 가지는 차량 및 그 제어 방법
US14/553,742 US10649587B2 (en) 2014-03-11 2014-11-25 Terminal, for gesture recognition and operation command determination, vehicle having the same and method for controlling the same
DE102014225640.2A DE102014225640A1 (de) 2014-03-11 2014-12-12 Endgerät, Fahrzeug, welches dieses besitzt, und Verfahren für das Steuern desselben
CN201410775819.5A CN104914986B (zh) 2014-03-11 2014-12-15 终端设备、具有终端设备的车辆及控制终端设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140028262A KR101575650B1 (ko) 2014-03-11 2014-03-11 단말기, 그를 가지는 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150106141A KR20150106141A (ko) 2015-09-21
KR101575650B1 true KR101575650B1 (ko) 2015-12-08

Family

ID=54066871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028262A KR101575650B1 (ko) 2014-03-11 2014-03-11 단말기, 그를 가지는 차량 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10649587B2 (ko)
KR (1) KR101575650B1 (ko)
CN (1) CN104914986B (ko)
DE (1) DE102014225640A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
US10146317B2 (en) * 2014-12-12 2018-12-04 Ford Global Technologies, Llc Vehicle accessory operation based on motion tracking
CN104898844B (zh) * 2015-01-23 2019-07-09 瑞声光电科技(常州)有限公司 基于超声波定位的手势识别与控制装置及识别与控制方法
CN105292019A (zh) * 2015-10-08 2016-02-03 奇瑞汽车股份有限公司 一种智能车机及控制方法
CN105978922A (zh) * 2015-10-22 2016-09-28 乐视致新电子科技（天津）有限公司 车辆信息的调整方法及系统
CN105459761A (zh) * 2015-11-18 2016-04-06 上海小糸车灯有限公司 一种行车途中远程视频的使用方法及触控显示车窗系统
WO2017124480A1 (zh) * 2016-01-23 2017-07-27 刘建兵 调节座椅时的技术信息展示方法以及手势系统
WO2017124479A1 (zh) * 2016-01-23 2017-07-27 刘建兵 手势调节座椅技术的信息采集方法以及手势系统
US10082877B2 (en) * 2016-03-15 2018-09-25 Ford Global Technologies, Llc Orientation-independent air gesture detection service for in-vehicle environments
CN106095267A (zh) * 2016-06-01 2016-11-09 惠州市德赛西威汽车电子股份有限公司 基于用户意图识别的车载设备操控方法及其系统
KR101882202B1 (ko) * 2016-07-11 2018-08-24 현대자동차주식회사 사용자 인터페이스 장치, 이를 포함하는 차량 및 차량의 제어 방법
CN107885429A (zh) * 2017-11-01 2018-04-06 上海飞乐智能技术有限公司 灯控模型的构建方法及灯控方法、系统、装置和存储介质
KR102518551B1 (ko) * 2018-10-16 2023-04-07 현대자동차주식회사 차량용 조작 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2012118991A (ja) * 2010-12-01 2012-06-21 Adobe Syst Inc ラジアル入力ジェスチャのための方法及びシステム
KR101297144B1 (ko) * 2008-03-19 2013-08-21 가부시키가이샤 덴소 차량용 조작 입력 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575906B1 (ko) 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US20090167719A1 (en) * 2007-11-02 2009-07-02 Woolley Richard D Gesture commands performed in proximity but without making physical contact with a touchpad
JP5802667B2 (ja) 2010-07-20 2015-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ジェスチャ入力装置およびジェスチャ入力方法
KR101560341B1 (ko) 2010-08-17 2015-10-19 구글 인코포레이티드 터치 감응 장치를 위한 터치 기반의 제스처 검출
US9268431B2 (en) 2010-08-27 2016-02-23 Apple Inc. Touch and hover switching
KR20120085392A (ko) 2011-01-24 2012-08-01 삼성전자주식회사 터치 스크린을 구비한 단말기 및 그 단말기에서 터치 이벤트 확인 방법
JP5452566B2 (ja) * 2011-10-31 2014-03-26 本田技研工業株式会社 車両用入力装置
KR101338564B1 (ko) * 2011-12-07 2013-12-06 현대자동차주식회사 터치 패턴을 이용한 경적 제어 장치 및 그 방법
JP5565421B2 (ja) * 2012-02-07 2014-08-06 株式会社デンソー 車載操作装置
JP2013196047A (ja) 2012-03-15 2013-09-30 Omron Corp ジェスチャ入力装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器、ジェスチャ入力システム、および、ジェスチャ入力装置の制御方法
CN102819352B (zh) * 2012-08-22 2016-03-02 华为终端有限公司 控制终端设备的方法和装置
US20140189579A1 (en) * 2013-01-02 2014-07-03 Zrro Technologies (2009) Ltd. System and method for controlling zooming and/or scrolling
KR20140100761A (ko) * 2013-02-07 2014-08-18 한국전자통신연구원 터치식 입력장치에서의 제스처 입력 구분 방법 및 제스처 입력 구분 장치
US20140267130A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
KR101297144B1 (ko) * 2008-03-19 2013-08-21 가부시키가이샤 덴소 차량용 조작 입력 장치
JP2012118991A (ja) * 2010-12-01 2012-06-21 Adobe Syst Inc ラジアル入力ジェスチャのための方法及びシステム

Also Published As

Publication number Publication date
US20150261350A1 (en) 2015-09-17
DE102014225640A1 (de) 2015-10-01
KR20150106141A (ko) 2015-09-21
CN104914986A (zh) 2015-09-16
US10649587B2 (en) 2020-05-12
CN104914986B (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
KR101575650B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
CN108430819B (zh) 车载装置
KR101561917B1 (ko) 차량 제어 장치 및 그 제어 방법
CN107107841B (zh) 信息处理装置
KR101500130B1 (ko) 스티어링 휠에 설치된 차량용 제어장치
US10133357B2 (en) Apparatus for gesture recognition, vehicle including the same, and method for gesture recognition
CN107150643B (zh) 车辆及其控制方法
KR20170109283A (ko) 차량 및 차량의 제어방법
KR20170029180A (ko) 차량, 및 그 제어방법
KR20160033001A (ko) 사용자 인터페이스 장치, 그를 가지는 차량 및 그의 제어 방법
US20190250776A1 (en) Vehicular display apparatus
CN111497612A (zh) 一种车辆交互方法和装置
KR20200093091A (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
JP6009583B2 (ja) 電子機器
US20160154488A1 (en) Integrated controller system for vehicle
KR101542502B1 (ko) 차량 제어 장치 및 그 제어 방법
KR101614731B1 (ko) 차량 및 그 제어방법
KR20180070086A (ko) 차량, 및 그 제어방법
CN108241450A (zh) 车辆及其控制方法
KR102441509B1 (ko) 단말기, 차량 및 단말기 제어방법
KR20170124487A (ko) 차량, 및 그 제어방법
KR101556520B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
KR101500413B1 (ko) 차량용 제스처 인식 장치
KR20180105065A (ko) 차량용 사용자 인터페이스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191127

Year of fee payment: 5