KR102635976B1 - 제스처 인식 장치 - Google Patents

제스처 인식 장치 Download PDF

Info

Publication number
KR102635976B1
KR102635976B1 KR1020160184320A KR20160184320A KR102635976B1 KR 102635976 B1 KR102635976 B1 KR 102635976B1 KR 1020160184320 A KR1020160184320 A KR 1020160184320A KR 20160184320 A KR20160184320 A KR 20160184320A KR 102635976 B1 KR102635976 B1 KR 102635976B1
Authority
KR
South Korea
Prior art keywords
gesture recognition
gesture
recognition area
partial
unit
Prior art date
Application number
KR1020160184320A
Other languages
English (en)
Other versions
KR20180078997A (ko
Inventor
전병철
손정권
강동욱
김종필
최형산
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020160184320A priority Critical patent/KR102635976B1/ko
Publication of KR20180078997A publication Critical patent/KR20180078997A/ko
Application granted granted Critical
Publication of KR102635976B1 publication Critical patent/KR102635976B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
    • G01R29/12—Measuring electrostatic fields or voltage-potential
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0402—Recording geometries or arrangements
    • G03H1/0406—Image plane or focused image holograms, i.e. an image of the object or holobject is formed on, in or across the recording plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B60K2350/1024—
    • B60K2350/1052—
    • B60K2350/2026—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 제스처 인식 장치는 차량 전원을 인가 받아 전기장을 발생시키는 송신 전극; 상기 송신 전극에서 발생된 전기장을 수신하는 수신 전극; 상기 발생된 전기장의 왜곡을 감지하여 제스처를 인식하는 제스처 인식부; 상기 적어도 하나의 수신 전극이 상기 제스처를 인식할 수 있는 부분 제스처 인식 영역을 판단하는 부분 제스처 인식 영역 판단부; 상기 부분 제스처 인식 영역을 합성하여 하나의 합성 제스처 인식 영역을 생성하는 합성 제스처 인식 영역 생성부를 포함하되, 상기 부분 제스처 인식 영역 판단부는, 상기 전기장의 왜곡 발생 위치가 특정 시간 이상 고정되면, 상기 부분 제스처 인식 영역의 범위의 변화를 판단하고, 상기 합성 제스처 인식 영역 생성부는, 상기 복수의 부분 제스처 인식 영역 중에서 가장 범위가 좁은 부분 제스처 인식 영역을 기준으로, 상기 합성 제스처 인식 영역을 생성한다.

Description

제스처 인식 장치{The Apparatus For Recognizing Gesture}
본 발명은 제스처 인식 장치에 관한 것으로서, 보다 상세하게는 특정 공간에 홀로그램을 투영하여, 사용자의 제스처 신호를 인식할 수 있는 제스처 인식 영역을 입체적으로 표시할 수 있는 제스처 인식 장치에 관한 것이다.
일반적으로 운전자는 차량 내 각종 기능들을 동작시킬 수 있다. 예를 들어, 음악을 재생시키거나 볼륨을 조절하거나 열선 시트를 켜는 등의 동작이 있을 수 있다. 이러한 많은 기능들을 동작시키기 위해 차량의 도어 측 또는 센터페시아 측에 많은 버튼 또는 스위치가 구비된다. 그러나, 운전자가 주행 중일 때는 차량의 도어 측 또는 센터페시아 측으로 시선과 손을 이동시켜 버튼 또는 스위치를 조작하여야 한다. 이러한 경우, 운전자의 주의가 분산되어 운전에 집중을 할 수가 없게 된다.
이를 해결하기 위해 차량의 스티어링 핸들에 다양한 버튼 또는 스위치가 구비되기도 한다. 그러나, 차량의 스티어링 핸들에 구비되는 버튼 또는 스위치의 개수가 제한적이므로, 차량의 다양한 기능들을 동작시키는 데에 한계가 있다.
따라서, 최근에는 차량에도 제스처 인식 시스템이 장착되고 있다. 제스처 인식, 특히 공간 제스처를 인식하는 시스템을 통해 사용자는 3차원 공간 내에서 다양한 공간 제스처를 취함으로써, 그에 대응되는 차량 내의 기능들을 용이하게 동작시킬 수 있다.
일반적으로 제스처 인식 시스템에는 사용자의 공간 제스처를 인식할 수 있는 일정한 영역이 있다. 사용자가 이러한 제스처 인식 영역 내에서 제스처를 취할 때, 제스처 신호의 인식률이 높다. 그런데 사용자가 이러한 제스처 인식 영역을 벗어나 제스처를 취하는 경우가 있다. 특히, 차량에 장착된 제스처 인식 시스템을 처음 접하는 사용자 또는 첨단 디지털 기기에 익숙하지 않은 고령자들은 이러한 제스처 인식 영역을 곧바로 인지하지 못하고, 제스처 인식 영역을 벗어난 위치에서 제스처를 취할 수도 있다. 이러한 경우에는 제스처 신호의 인식률이 저하되어, 정상적으로 기능들이 동작하지 못하게 되는 문제점이 있다.
한편, 공간 제스처 신호를 인식하기 위해 전기장을 이용하는 방법이 있다. 제스처 인식부가 외부로 전기장을 방출하여 다시 수신하면서 주파수의 변화를 통해 제스처를 인식하는 것이다. 그런데, 제스처 신호를 인식하기 위해 전기장을 이용하면, 외부의 장애물의 영향을 받을 수 있다. 예를 들어, 주변에 알루미늄 캔과 같은 도전체가 존재하면, 제스처 인식 영역의 범위가 좁아질 수 있다.
그런데, 사용자는 이러한 제스처 인식 영역 범위의 변화를 인지할 수가 없다. 따라서 제스처 인식 영역 내의 평소에 제스처를 취하는 위치에서 제스처를 취하더라도, 상기와 같이 제스처 인식 영역의 범위가 좁아진 경우에는 사용자가 제스처를 취하는 위치가 제스처 인식 영역을 벗어나게 되는 문제점이 있다.
한국공개공보 제2012-0123487호 한국공개공보 제2016-0021425호
본 발명이 해결하고자 하는 과제는, 특정 공간에 홀로그램을 투영하여, 사용자의 제스처 신호를 인식할 수 있는 제스처 인식 영역을 입체적으로 표시할 수 있는 제스처 인식 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 제스처 인식 장치는 차량 전원을 인가 받아 전기장을 발생시키는 송신 전극; 상기 송신 전극에서 발생된 전기장을 수신하는 수신 전극; 상기 발생된 전기장의 왜곡을 감지하여 제스처를 인식하는 제스처 인식부; 상기 적어도 하나의 수신 전극이 상기 제스처를 인식할 수 있는 부분 제스처 인식 영역을 판단하는 부분 제스처 인식 영역 판단부; 상기 부분 제스처 인식 영역을 합성하여 하나의 합성 제스처 인식 영역을 생성하는 합성 제스처 인식 영역 생성부를 포함하되, 상기 부분 제스처 인식 영역 판단부는, 상기 전기장의 왜곡 발생 위치가 특정 시간 이상 고정되면, 상기 부분 제스처 인식 영역의 범위의 변화를 판단하고, 상기 합성 제스처 인식 영역 생성부는, 상기 복수의 부분 제스처 인식 영역 중에서 가장 범위가 좁은 부분 제스처 인식 영역을 기준으로, 상기 합성 제스처 인식 영역을 생성한다.
또한, 상기 수신 전극은, 복수로 형성된다.
또한, 특정 공간에 홀로그램을 투영하여 상기 합성 제스처 인식 영역을 입체적으로 표시하는 홀로그램 투영부를 더 포함한다.
또한, 상기 제스처에 대한 제스처 설정 정보; 및 상기 제스처 설정 정보와 매칭되는 차량 내 기능에 대한 매칭 정보를 저장하는 저장부를 더 포함한다.
또한, 상기 제스처 인식부가 상기 제스처의 패턴에 의한 신호를 수신하면, 상기 수신된 제스처의 패턴에 의한 신호를 분석하여 상기 제스처를 파악하는 신호 분석부를 더 포함한다.
또한, 상기 분석된 제스처의 패턴에 의한 신호와 상기 저장부에 저장된 상기 제스처 설정 정보를 비교하여 사용자의 명령을 파악하고, 상기 명령에 대응되는 기능을 수행하도록 타 장치들을 제어하는 기능 동작부를 더 포함한다.
또한, 상기 제스처 설정 정보는, 상기 제스처 인식부가 상기 사용자 명령에 해당하는 제스처 인식을 시작하기 위해 설정된 시동 제스처를 포함한다.
또한, 동작을 시작한 후 특정 시간이 경과하면 동작을 종료한다.
또한, 상기 제스처 인식부가 다시 상기 시동 제스처를 인식하면 동작을 종료한다.
또한, 상기 제스처 인식부는, 상기 수신 전극에서 발생되는 신호의 주파수의 변화를 통해 상기 전기장의 왜곡을 감지한다.
또한, 상기 제스처가 완료된 이후, 오브젝트가 정지된 상태로 상기 합성 제스처 인식 영역 내에 특정 시간 이상 체류하면, 동작을 시작한다.
또한, 동작을 시작 및 종료시키는 시동 버튼을 더 포함한다.
또한, 음성 신호를 입력받는 마이크를 더 포함한다.
또한, 사용자의 특정 음성 신호를 입력받으면 동작을 시작 또는 종료한다.
또한, 상기 홀로그램 투영부는, 상기 합성 제스처 인식 영역 내 오브젝트의 유무에 따라 상기 특정 공간에 투영하는 상기 홀로그램의 색상을 변경한다.
또한, 상기 홀로그램 투영부는, 상기 공간 제스처의 인식의 성공 및 실패에 따라 상기 특정 공간에 투영하는 상기 홀로그램의 색상을 변경한다.
또한, 상기 홀로그램 투영부는, 주변의 밝기에 따라 상기 특정 공간에 투영하는 상기 홀로그램의 색상 또는 밝기를 변경한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
특정 공간에 홀로그램을 투영하여, 제스처 인식 영역을 입체적으로 표시할 수 있다. 따라서, 사용자가 자신이 공간 제스처를 취해야 하는 영역을 인지하고 해당 영역에서 공간 제스처를 취할 수 있으므로, 제스처 신호의 인식률을 증가시킬 수 있으며, 사용자의 편의성도 개선할 수 있다.
또한, 주변의 장애물이 존재하여 제스처 인식 영역이 변하더라도 이를 반영하여 홀로그램이 투영된다. 따라서, 사용자는 용이하게 변화된 제스처 인식 영역을 인지하여 해당 영역에서 공간 제스처를 취할 수 있고, 주변의 장애물의 존재도 인지하여 빠르게 장애물의 처리 등의 조치를 취할 수 있다.
또한, 사용자의 움직임이 제스처를 취하기 위한 움직임인지 여부를 판단하여, 제스처 인식의 오인식률을 감소시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식 장치(1)가 설치된 차량의 시프트 레버 하우징을 나타낸 사시도이다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식 장치(1)를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제스처 인식부(11)의 구성을 나타내는 측면도이다.
도 4는 본 발명의 일 실시예에 따른 제스처 인식부(11)의 구성을 나타내는 평면도이다.
도 5는 본 발명의 일 실시예에 따른 제스처 인식부(11)의 상방에 전기장이 방출되는 모습을 나타낸 개념도이다.
도 6은 도 5에서 방출된 전기장에 사용자의 손(2)이 인입되는 모습을 나타낸 개념도이다.
도 7은 도 5에서 제스처 인식부(11)의 수신 전극(111)이 전기장을 수신하면 발생시키는 신호의 주파수를 나타낸 도면이다.
도 8는 도 6에서 제스처 인식부(11)의 수신 전극(111)이 전기장을 수신하면 발생시키는 신호의 주파수를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 수신 전극(111)에 수직인 방향으로 사용자의 손(2)이 이동하는 모습을 나타낸 도면이다.
도 10은 도 9에서 수신 전극(111)이 수신한 손의 움직임에 따른 신호 편차 그래프이다.
도 11은 본 발명의 일 실시예에 따른 수신 전극(111)에 평행한 방향으로 오브젝트가 이동하는 모습을 나타낸 도면이다.
도 12는 도 11에서 수신 전극(111)이 수신한 손의 움직임에 따른 감도 그래프이다.
도 13은 본 발명의 일 실시예에 따른 전자 제어 유닛(ECU, 12)의 자세한 구성을 나타낸 블록도이다.
도 14는 본 발명의 일 실시예에 따른 제스처 인식부(11)의 수신 전극(111) 각각의 상방에 부분 제스처 인식 영역(1141)들이 존재하는 모습을 나타낸 사시도이다.
도 15는 본 발명의 일 실시예에 따른 부분 제스처 인식 영역(1141)들이 합성되어 하나의 합성 제스처 인식 영역(1142)이 생성되는 모습을 나타낸 사시도이다.
도 16은 도 15의 합성 제스처 인식 영역(1142)을 입체적으로 표시하기 위해, 본 발명의 일 실시예에 따른 제스처 인식부(11)의 상부 공간에 홀로그램이 투영되는 모습을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 제스처 인식 장치(1)의 부근에 마련된 컵홀더에 알루미늄 캔이 삽입된 모습을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 수신 전극(111) 각각의 상방에 존재하는 부분 제스처 인식 영역(1141)들의 범위가 좁아지는 모습을 나타낸 도면이다.
도 19는 도 18에서 작아진 부분 제스처 인식 영역(1141)들을 그대로 합성하여 합성 제스처 인식 영역(1142)이 생성되는 모습을 나타낸 도면이다.
도 20은 도 18에서 가장 범위가 좁은 부분 제스처 인식 영역(1141)을 기준으로 합성하여 하나의 합성 제스처 인식 영역(1142)이 생성되는 모습을 나타낸 도면이다.
도 21은 도 20의 합성 제스처 인식 영역(1142)을 입체적으로 표시하기 위해, 본 발명의 일 실시예에 따른 제스처 인식부(11)의 상부 공간에 홀로그램이 투영되는 모습을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 제스처 인식 장치(1)가 설치된 차량의 시프트 레버 하우징을 나타낸 사시도이고, 도 2는 본 발명의 일 실시예에 따른 제스처 인식 장치(1)를 나타낸 블록도이다.
본 발명의 일 실시예에 따른 제스처 인식 장치(1)를 사용하면, 사용자가 제스처를 취할 때 제스처 인식 장치(1)가 제스처의 신호를 인식할 수 있는 제스처 인식 영역(114)이 홀로그램으로 표시된다. 또한, 주변에 장애물이 존재하는 등의 원인으로 제스처 인식 영역(114)이 변화하면, 홀로그램도 이를 반영하여 변화된 제스처 인식 영역(114)을 표시한다.
본 발명의 일 실시예에 따른 제스처 인식 장치(1)는 도 1에 도시된 바와 같이, 운전자 또는 동반 탑승자가 제스처를 취하기 용이하기 위해 차량의 앞 좌석 사이의 시프트 레버 하우징에 설치될 수 있다. 다만, 이에 제한되지 않고 제스처 인식 장치(1)는 센터페시아에 설치되거나, 콘솔 박스에 설치될 수도 있는 등 다양한 위치에 설치될 수 있다.
본 발명의 일 실시예에 따른 제스처 인식 장치(1)는 제스처 인식부(11), 전자 제어 유닛(ECU,12), 홀로그램 투영부(13)를 포함한다.
제스처 인식부(11)는 사용자가 취하는 제스처를 인식함으로써 사용자로부터 명령을 입력받는다. 제스처에는 사용자가 터치 패널에 손가락 또는 스타일러스 펜 등을 직접 터치하며 제스처를 취하는 터치 제스처(Touch Gesture), 패널에 터치를 하지 않고 3차원 공간 상에서 사용자의 손(2) 등과 같은 오브젝트를 움직이면서 제스처를 취하는 공간 제스처가 있다. 터치 제스처는 패널에 직접 터치를 수행하므로, 공간 제스처보다 인식률이 좋다. 그러나, 차량의 주행 중에는 차량이 많이 흔들릴 수 있으므로, 차량의 내부의 운전자 또는 동반 탑승자들이 터치 패널의 정확한 위치에 터치하기가 상당히 어렵다. 특히, 운전자는 주행 도중에 터치 패널의 정확한 위치에 터치를 하기 위해 터치 패널로 시선을 이동하게 되면, 주의가 분산되어 운전에 집중을 할 수가 없게 된다. 따라서 차량의 내부에 포함되는 제스처 인식 장치(1)는, 차량이 흔들리더라도 제스처를 취하기 용이하도록 사용자의 편의성을 고려하여, 공간 제스처를 인식하는 것이 바람직하다.
공간 제스처를 인식하는 방법으로는, 크게 카메라를 이용하는 방법과 전기장을 이용하는 방법이 있다. 카메라를 이용하는 방법은 다양한 제스처를 인식할 수 있다는 장점이 있다. 카메라가 손가락을 촬영하여 영상을 획득하면, 영상 분석을 통해 손가락의 마루 및 골 등을 특징점으로 추출한다. 그리고 사용자가 제스처를 취한 손의 특정 모양을 그대로 구현할 수 있다.
그러나, 차량의 주행 중 터널을 지날 때 또는 야간 주행시에는 주변이 어두워져 카메라의 인식률이 급감하는 문제가 발생한다. 이를 해결하기 위해, 주변이 어두워진 경우 광을 조사하여 카메라가 사용자의 손(2)을 더욱 밝고 선명하게 촬영하도록 LED 등의 광원을 더 장착하는 기술이 제안되었다. 그러나, 주변이 어두운 상황에서 광을 조사하면, 운전자 또는 동반 탑승자들의 눈이 부셔 불편함을 유발하고, 운전자의 시야 확보에 방해가 되는 문제점이 있다. 나아가, 카메라로 사용자의 손(2)을 촬영한 후 이를 영상 분석을 통해 제스처를 인식해야 하므로 연산이 많아 내부의 전자 제어 유닛(ECU, 12)에 많은 부하가 걸리며, 많은 비용이 소모되었다.
따라서, 본 발명의 일 실시예에 따른 제스처 인식부(11)는, 전기장을 이용하는 방법을 사용하여 공간 제스처를 인식하는 것이 바람직하다.
전자 제어 유닛(ECU, 12)은 차량에 탑재된 각종 센서의 입력을 수신하고, 차량의 구동을 전체적으로 제어한다. 특히, 제스처 인식부(11)가 제스처 신호를 입력받으면, 상기 제스처 신호에 대응되는 기능을 수행하도록 제어한다. 또한, 제스처 인식부(11)가 제스처 신호를 인식할 수 있는 제스처 인식 영역(114)을 감지한다. 만약 제스처 인식 영역(114)이 변한 경우에는, 사용자가 제스처 인식 영역(114)을 용이하게 인지하고 제스처를 취할 수 있도록, 가장 범위가 작은 부분 제스처 인식 영역(1141)을 기준으로 합성 제스처 인식 영역(1142)을 합성한다. 그리고, 홀로그램 투영부(13)가 상기 합성 제스처 인식 영역(1142)에 홀로그램을 투영하도록, 홀로그램 투영부(13)를 제어한다. 전자 제어 유닛(ECU, 12)의 기능에 대한 자세한 설명은 후술한다.
홀로그램 투영부(13)는 특정 공간에 홀로그램을 투영하여, 제스처 인식부(11)의 제스처 인식 영역(114)을 입체적으로 표시한다. 만약 제스처 인식 영역(114)의 범위가 변한 경우에는, 홀로그램 투영부(13)는 이를 반영하여 범위가 변한 제스처 인식 영역(114)을 표시하도록 특정 공간에 홀로그램을 투영한다.
도 3은 본 발명의 일 실시예에 따른 제스처 인식부(11)의 구성을 나타내는 측면도이고, 도 4는 본 발명의 일 실시예에 따른 제스처 인식부(11)의 구성을 나타내는 평면도이다.
본 발명의 일 실시예에 따른 제스처 인식부(11)는 전기장을 생성하여 방출한다. 이러한 전기장은 제스처 인식부(11)를 중심으로 특정 공간에 방출되며, 사용자가 상기 전기장 내에 손을 인입하여 제스처를 취하면 전기장이 교란되어 왜곡이 발생한다. 그리고, 수신 전극(111)이 전기장의 왜곡을 감지하여 사용자의 손(2)의 위치를 검출한다.
제스처 인식부(11)는 도 3 및 도 4에 도시된 바와 같이, 비전도성 기판(113), 송신(Tx) 전극(112) 및 수신(Rx) 전극(111)을 포함한다.
본 발명의 일 실시예에 따르면 도 3에 도시된 바와 같이, 송신 전극(112)의 위에 비전도성 기판(113)이 마련된다. 여기서, 비전도성 기판(113)으로는 인쇄 회로 기판(Printed Circuit Board, PCB)일 수 있다. 그리고, 송신 전극(112)은 비전도성 기판(113)의 하면을 커버하도록 형성된다.
비전도성 기판(113)의 상면에는 복수의 수신 전극(111)이 안착된다. 그럼으로써, 송신 전극(112)과 수신 전극(111)간에 전기적인 접촉을 방지하면서, 송신 전극(112)의 위에 수신 전극(111)을 배치할 수 있다. 이 때, 수신 전극(111)은 도 3에 도시된 바와 같이 복수로 형성되고, 길이가 긴 바(Bar) 형태를 가지는 스트립(Strip, 띠강)인 것이 바람직하다.
도 3에 도시된 바와 같이, 비전도성 기판(113)은 대략 사각형의 형상을 가진다. 그리고, 비전도성 기판(113)의 4개의 모서리의 근방에 4개의 수신 전극(111)들이 각각 배치된다. 이 때, 수신 전극(111)들의 길이 방향과 비전도성 기판(113)의 모서리 방향이 대략 평행이 되도록 배치되는 것이 바람직하다.
4개의 수신 전극(111)들이 배치되면, 상기 수신 전극(111)들이 비전도성 기판(113)의 중심 영역을 포위한다. 상기 중심 영역에는 센터 전극이 형성된다. 이 때, 수신 전극(111)은 구리 스트립일 수 있으며, 센터 전극은 그물 구조를 가질 수 있다.
다만 이에 제한되지 않고, 비전도성 기판(113)이 다층 기판인 경우에는, 송신 전극(112)은 비전도성 기판(113)의 하면이 아니라 중간층에 배치될 수 있다. 또한, 송신 전극(112)은 복수로 형성될 수도 있고, 그물 구조를 가질 수도 있다. 나아가, 수신 전극(111)이 하나로 형성되거나, 둥근 원형의 형태를 가질 수도 있다. 즉, 제스처 인식부(11)는 전기장을 생성하여 외부로 방출하고 이를 다시 수신할 수 있다면, 다양한 형태를 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 제스처 인식부(11)의 상방에 전기장이 방출되는 모습을 나타낸 개념도이며, 도 6은 도 5에서 방출된 전기장에 사용자의 손(2)이 인입되는 모습을 나타낸 개념도이다.
제스처 인식부(11)의 송신 전극(112)은 대략 10kHz 내지 300kHz의 주파수의 교류 전력에 의해 전기장을 생성하여 방출한다. 전기장은 전하들에 의해 생성되어 도 5에 도시된 바와 같이 특정 공간, 구체적으로 제스처 인식부(11)의 상방에 분포한다. 전하에는 플러스(+)와 마이너스(-)의 극성을 가지는 두 종류의 전하가 있다. 이러한 전하들 사이에는, 극성이 동일한 경우에는 척력, 극성이 상이한 경우에는 인력이 작용하며, 이러한 힘을 전기력이라 한다. 전기장이란 이러한 전기력이 미치는 공간을 말한다. 그리고 도 5에 도시된 바와 같이, 극성을 띠는 전하들이 전기장 내에서 하나의 가상의 선을 따라 이동하는 것으로 볼 수 있다. 이러한 선을 전기력선이라 한다. 도 5에 도시된 바와 같이, 제스처 인식부(11)의 송신 전극(112)에서 전기력선이 출발하여 외부로 퍼져나간다. 그리고 그 중의 일부의 전기력선은 수신 전극(111)으로 들어간다. 이를 통해, 송신 전극(112)이 전기장을 외부로 방출하고, 수신 전극(111)이 전기장을 수신한다는 것을 알 수 있다.
이 때 도 6에 도시된 바와 같이, 전기장 내에 사용자의 손(2) 등과 같은 오브젝트가 인입할 수 있다. 사용자가 상기 전기장 내에 손을 인입하여 제스처를 취하면 전기장이 교란되어 왜곡이 발생한다. 극성을 띤 전하들은 전기장 내에서 전기력선을 따라 이동한다. 그런데, 사용자의 손(2)도 전기가 통하는 물질이므로 사용자의 손(2)이 전기장 내에 인입되면, 사용자의 손(2)이 접지로 션트(Shunt)되어 전하의 이동 경로가 변한다. 즉, 전기력선이 변형되면서 전기장이 왜곡된다. 수신 전극(111)은 이러한 전기장의 왜곡을 감지하여 사용자의 손(2)의 위치를 검출한다. 그리고 사용자가 상기 전기장 내에서 손을 이동시킨다면, 전기장의 왜곡이 발생하는 지점도 함께 이동한다. 수신 전극(111)은 이러한 전기장의 왜곡 발생 지점을 토대로 사용자의 손(2)의 이동 경로를 파악하고, 사용자가 취한 공간 제스처를 인식할 수 있다.
도 7은 도 5에서 제스처 인식부(11)의 수신 전극(111)이 전기장을 수신하면 발생시키는 신호의 주파수를 나타낸 도면이고, 도 8는 도 6에서 제스처 인식부(11)의 수신 전극(111)이 전기장을 수신하면 발생시키는 신호의 주파수를 나타낸 도면이다.
수신 전극(111)이 전기장을 수신하게 되면, 전기장에 의해 수신 전극(111)에서 도 7에 도시된 바와 같이, 주파수를 가진 신호가 발생된다. 전자 제어 유닛(ECU, 12)은 수신 전극(111)으로부터 발생된 주파수 신호를 수신하여, 전기장의 세기를 파악할 수 있다. 만약, 전기장의 왜곡이 전혀 발생하지 않았다면, 수신 전극(111)으로부터 발생된 신호의 주파수는, 송신 전극(112)으로 인가된 신호의 주파수와 동일하다.
그런데, 사용자가 상기 전기장 내에 손을 인입하여 제스처를 취하면 전기장이 교란되어 왜곡이 발생한다. 따라서, 수신 전극(111)이 수신하는 전기장의 세기가 변화하며, 이에 따라 도 8에 도시된 바와 같이, 수신 전극(111)으로부터 발생된 주파수 신호도 변화한다. 바람직하게는, 전기장의 왜곡이 발생하면 수신 전극(111)으로부터 발생된 신호의 주파수는, 송신 전극(112)으로 인가된 신호의 주파수보다 작다. 그러면 수신 전극(111)들과 각각 연결된 부하가 변하게 되어, 전자 제어 유닛(ECU, 12)은 전기장의 왜곡을 감지할 수 있다.
한편, 상기 기술한 바와 같이, 본 발명의 일 실시예에 따른 제스처 인식부(11)는 4개의 수신 전극(111)을 포함한다. 그리고, 제스처 인식부(11)의 모서리의 근방에, x 방향(가로 방향)으로 2 개의 수신 전극(111)을 배치하고, y 방향(세로 방향)으로 두 개의 수신 전극(111)을 배치한다. x 방향으로 배치된 2 개의 수신 전극(111)은 오브젝트의 y 좌표, y 방향으로 배치된 2 개의 수신 전극(111)은 오브젝트의 x 좌표를 계산할 수 있으며, 4개의 수신 전극(111)은 각각이 감지한 전기장의 세기를 조합하여 오브젝트의 z 좌표를 계산할 수 있다. 다만 이에 제한되지 않고, 제스처 인식부(11)가 사용자의 손(2)의 위치를 검출할 수 있다면 다양한 방법을 사용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 수신 전극(111)에 수직인 방향으로 사용자의 손(2)이 이동하는 모습을 나타낸 도면이고, 도 10은 도 9에서 수신 전극(111)이 수신한 손의 움직임에 따른 신호 편차 그래프이다.
수신 전극(111)이 수신하는 전기장 세기는 거리의 제곱에 반비례한다. 즉, 다음 수학식 1을 만족한다.
Figure 112016129795879-pat00001
여기서 d는 전기장 내에 인입된 사용자의 손(2)과, 수신 전극(111) 간의 수직 거리이다. 상기 기술한 바와 같이, 사용자의 손(2)이 전기장 내에 인입되면, 전기장이 왜곡된다. 이 때 도 9에 도시된 바와 같이, 사용자의 손(2)이 수신 전극(111)에 수직인 방향으로 이동하게 되면, 도 10에 도시된 바와 같이, 신호 편차는 거리의 제곱에 반비례한다. 여기서 신호 편차란, 전기장 내에 사용자의 손(2)이 존재하는 경우와 존재하지 않는 경우 각각에 대하여, 수신 전극(111)이 전기장을 수신하여 발생시키는 주파수 신호들의 편차이다. 제스처 인식부(11)가 사용자의 손(2)의 위치를 정확하게 검출하기 위해, 상기 거리가 너무 멀지 않은 것이 바람직하다. 상기 거리가 너무 멀어지면, 도 10에 도시된 바와 같이 거리에 따른 신호 편차의 크기 변화가 작다. 즉, 상기 신호 편차를 통해 사용자의 손(2)의 위치를 검출할 때, 오차가 커지고 인식률이 저하될 수 있다. 따라서 사용자는, 최적의 인식률을 가질 수 있는 거리 내에서 손을 이용하여 제스처를 취하는 것이 바람직하다. 하기 기술할 바, 최적의 인식률을 가질 수 있는 거리의 최대값을 문턱값(Threshold)으로 설정하여, 그 문턱값 이내의 거리를 가지는 영역을 제스처 인식 영역(114)으로 정한다. 제스처 인식 영역(114)에 대한 자세한 설명은 후술한다.
도 11은 본 발명의 일 실시예에 따른 수신 전극(111)에 평행한 방향으로 오브젝트가 이동하는 모습을 나타낸 도면이고, 도 12는 도 11에서 수신 전극(111)이 수신한 손의 움직임에 따른 감도 그래프이다.
도 11에 도시된 바와 같이, 사용자의 손(2)이 수신 전극(111)에 평행한 방향으로 이동하게 되면, 도 12에 도시된 바와 같이, 사용자의 손(2)이 수신 전극(111)의 일단에서 중심으로 이동할 때는 신호 편차가 어느 정도 증가한다. 그리고, 상기 중심을 지나 수신 전극(111)의 타단으로 이동할 때는 다시 신호 편차가 감소한다. 따라서, 사용자의 손(2)이 수신 전극(111)의 중심에 위치할 때에 신호 편차가 최대값을 갖는다.
상기 기술한 바와 같이 제스처 인식부(11)의 모서리의 근방에, x 방향(가로 방향)으로 두 개의 수신 전극(111), y 방향(세로 방향)으로 두 개의 수신 전극(111)을 배치한다. 그리고, 사용자의 손(2)이 이동하면, 상기 4개의 수신 전극(111)에서 각각 신호 편차를 도출할 수 있다. 도 10 및 도 12에 도시된 그래프에 따라 각각의 수신 전극(111)에서의 신호 편차를 분석하면, 사용자의 손(2)의 위치를 정확하게 검출할 수 있다.
도 13은 본 발명의 일 실시예에 따른 전자 제어 유닛(ECU, 12)의 자세한 구성을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 전자 제어 유닛(ECU, 12)은 도 13에 도시된 바와 같이, 부분 제스처 인식 영역 판단부(121), 합성 제스처 인식 영역 생성부(122), 저장부(123), 신호 분석부(124), 기능 동작부(125)를 포함한다.
부분 제스처 인식 영역 판단부(121)는 제스처 인식부(11)의 복수의 수신 전극(111)마다 존재하는 부분 제스처 인식 영역(1141) 각각의 범위를 판단한다. 본 발명의 일 실시예에 따르면, 제스처 인식부(11)에는 수신 전극(111)이 4개가 형성되므로, 이러한 부분 제스처 인식 영역(1141)도 4개가 존재한다. 상기 기술한 바와 같이, 복수의 수신 전극(111)은 송신 전극(112)으로부터 방출되는 전기장을 각각 수신한다. 이 때 전자 제어 유닛(ECU, 12)은, 수신 전극(111)이 수신하여 발생시키는 주파수 신호를 통해, 전기장의 왜곡을 측정할 뿐만 아니라, 부분 제스처 인식 영역(1141)의 범위도 판단할 수 있다. 제스처 인식 영역(114)에 대한 자세한 설명은 후술한다.
합성 제스처 인식 영역 생성부(122)는 상기 복수의 부분 제스처 인식 영역(1141)을 합성하여 하나의 합성 제스처 인식 영역(1142)을 생성한다. 만약, 제스처 인식부(11)의 근방에 장애물이 존재한다면, 전기장이 장애물의 영향을 받으므로 제스처 인식 영역(114)의 범위가 좁아진다. 이 때, 각각의 수신 전극(111)에 대한 부분 제스처 인식 영역(1141)의 범위가 상이할 수 있다. 이 때, 합성 제스처 인식 영역 생성부(122)는, 각각 범위가 상이한 부분 제스처 인식 영역(1141)들을 합성할 때, 가장 범위가 좁은 부분 제스처 인식 영역(1141)을 기준으로 합성한다. 그리고, 홀로그램 투영부(13)는 특정 공간에 홀로그램을 투영하여 상기 합성 제스처 인식 영역(1142)을 입체적으로 표시한다. 그럼으로써, 사용자는 제스처 인식부(11)의 근방에 장애물이 존재하더라도 제스처 인식 영역(114)을 용이하게 파악할 수 있다. 합성 제스처 인식 영역(1142)을 생성하는 과정에 대한 자세한 설명은 후술한다.
저장부(123)는 제스처 인식 장치(1)의 구현을 위한 각종 설정 정보 및 프로그램을 저장한다. 특히 본 발명의 일 실시예에 따르면, 저장부(123)는 제스처 설정 정보 및 이와 각각 매칭되는 차량 내 각종 기능의 매칭 정보를 저장한다. 여기서 제스처 설정 정보란, 사용자가 취하는 제스처의 정보이다. 예를 들어 손을 좌측에서 우측으로 직선 이동하는 제스처, 손을 시계방향으로 회전 이동하는 제스처 등을 말한다. 차량의 기능과 제스처 설정 정보가 미리 매칭되어 있는 경우에는, 사용자에게 매뉴얼 정보가 제공된다. 이러한 경우에는, 저장부(123)는 이러한 매뉴얼 정보도 저장할 수 있다. 다만, 이에 제한되지 않고 사용자가 제스처 설정 정보와 차량 내 각종 기능을 직접 매칭시킬 수도 있다. 이러한 경우, 저장부(123)에는 매칭 정보가 변경되어 저장된다.
신호 분석부(124)는 사용자가 제스처 인식 영역(114) 내에서 제스처를 취하면, 상기 제스처의 신호를 분석하여 사용자가 취한 제스처를 파악한다. 예를 들어, 사용자가 손을 좌측에서 우측으로 직선 이동하는 제스처를 취했다면, 제스처 인식부(11)에 포함된 복수개의 수신 전극(111)은 전기장의 왜곡을 통해 제스처 신호들을 각각 수신한다. 그리고, 수신 전극(111)은 이에 따른 주파수 신호를 발생한다. 신호 분석부(124)는 이러한 신호들을 조합하여, 주파수 왜곡이 발생한 지점을 감지하고, 사용자의 손(2)의 위치를 검출한다. 이를 시간의 흐름에 따라 계속해서 사용자의 손(2)의 위치를 검출하면, 사용자의 손(2)이 이동한 경로를 검출할 수 있다. 이를 통해 사용자가 취한 제스처를 파악할 수 있다.
기능 동작부(125)는 상기 파악된 사용자의 제스처와 상기 저장부(123)에 저장된 제스처 설정 정보를 비교한다. 그리고, 이를 통해 사용자의 명령을 인지하여, 차량 내의 각종 기능을 수행하도록 차량 내 다른 장치들을 제어한다. 만약, 사용자가 제스처 인식 영역(114) 내에서, 예를 들어 손을 좌측에서 우측으로 직선 이동을 하는 제스처를 취하면, 신호 분석부(124)는 제스처 신호를 분석하여 사용자가 취한 제스처를 파악한다. 그리고 기능 동작부(125)는 상기 파악한 제스처와 제스처 설정 정보와 비교하여, 그와 매칭되는 차량의 기능, 예를 들어 재생되는 음악을 다음 곡으로 넘기는 것이 사용자의 명령이라는 것을 인지한다. 그리고, 기능 동작부(125)는 차량 내에 설치된 음악 플레이어에, 현재 재생되는 음악을 다음 곡으로 넘기는 기능을 동작하도록 제어한다.
지금까지 기술한 전자 제어 유닛(ECU, 12)의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(Software)나, FPGA(Field-Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
또한, 각 블록은 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 14는 본 발명의 일 실시예에 따른 제스처 인식부(11)의 수신 전극(111) 각각의 상방에 부분 제스처 인식 영역(1141)들이 존재하는 모습을 나타낸 사시도이다.
제스처 인식 영역(114)이란, 제스처 인식부(11)가 제스처 신호를 인식할 수 있는 영역이다. 이러한 제스처 인식 영역(114)에는 부분 제스처 인식 영역(1141)과 합성 제스처 인식 영역(1142)이 있다.
부분 제스처 인식 영역(1141)이란, 하나의 수신 전극(111)이 사용자의 손(2)의 위치를 검출할 수 있는 영역을 말한다. 상기 기술한 바와 같이, 전기장 내에 사용자의 손(2)이 인입되면, 전기장의 왜곡이 발생하고, 수신 전극(111)은 이러한 전기장의 왜곡을 감지한다. 그러나, 수신 전극(111)으로부터 거리가 너무 멀어지면, 신호 편차의 크기 변화가 작아서 오차가 커지고 인식률이 저하될 수 있다. 상기 기술한 바와 같이, 신호 편차는 거리의 제곱에 반비례하기 때문이다. 여기서 인식률이란, 사용자가 제스처를 취한 빈도 수에 비해, 제스처 인식 장치(1)가 상기 제스처를 정확히 인지한 빈도 수를 말한다. 따라서, 사용자가 제스처를 취할 때, 최적의 인식률을 가질 수 있는 영역을 설정할 필요가 있다.
먼저, 하나의 수신 전극(111)에서 최적의 인식률 이상을 가질 수 있는 거리의 최대값을 문턱값(Threshold)으로 설정한다. 예를 들어, 최적의 인식률을 90%라 하고 특정 거리에서 인식률이 90%인 경우에는, 상기 특정 거리를 문턱값으로 설정한다. 그리고, 수신 전극(111)으로부터 상기 설정한 문턱값에 해당되는 지점을 모두 연결하면, 도 14에 도시된 바와 같이 하나의 곡면(Surface)이 형성된다. 이 면을 경계면(Boundary)으로 설정하면, 상기 경계면의 내부에 존재하는 영역은 모두 상기 문턱값보다 작은 거리를 가진다. 따라서, 상기 경계면의 내부에 존재하는 영역에서 사용자의 손(2)이 제스처를 취하면, 인식률이 90%보다 높다. 즉, 상기 경계면의 내부에 존재하는 영역이 최적의 인식률을 가질 수 있는 영역이 된다. 이 영역을 제스처 인식 영역(114)이라 한다.
그런데, 이는 하나의 수신 전극(111)에 대하여 설정한 영역이다. 이와 같이 하나의 수신 전극(111)에 대한 제스처 인식 영역(114)을 부분 제스처 인식 영역(1141)이라 한다. 본 발명의 일 실시예에 따르면, 제스처 인식부(11)에는 수신 전극(111)이 4개가 형성되므로, 도 14에 도시된 바와 같이 부분 제스처 인식 영역(1141)도 4개가 존재한다.
도 15는 본 발명의 일 실시예에 따른 부분 제스처 인식 영역(1141)들이 합성되어 하나의 합성 제스처 인식 영역(1142)이 생성되는 모습을 나타낸 사시도이다.
한편, 상기 복수의 부분 제스처 인식 영역(1141)을 하나의 영역으로 합성하여 생성한 것을 합성 제스처 인식 영역(1142)이라 한다. 홀로그램 투영부(13)가 특정 공간에 홀로그램을 투영하는 것은, 제스처 인식 영역(114)을 입체적으로 표시하기 위함이다. 그럼으로써 사용자는 시각적으로 제스처 인식 영역(114)을 인지할 수 있고, 해당 영역에서 제스처를 취할 수 있다. 그런데 만약, 홀로그램 투영부(13)가 복수의 부분 제스처 인식 영역(1141) 모두를 표시하기 위해 복수의 홀로그램을 투영하게 되면, 오히려 사용자의 제스처 인식 영역(114)의 인지를 방해할 수 있다. 따라서, 홀로그램 투영부(13)가 표시하는 제스처 인식 영역(114)은, 하나로 합성된 합성 제스처 인식 영역(1142)인 것이 바람직하다.
합성 제스처 인식 영역 생성부(122)가 복수의 부분 제스처 인식 영역(1141)들을 합성할 때에는, 복수의 부분 제스처 인식 영역(1141)들을 단순하게 합칠 수 있다. 그러나, 이러한 경우에는 합성 제스처 인식 영역(1142)에 많은 곡면이 형성된다. 홀로그램 투영부(13)가 이를 반영하여 그대로 홀로그램을 투영하게 되어도, 이 또한 사용자의 제스처 인식 영역(114)의 인지를 방해할 수 있다. 따라서, 합성 제스처 인식 영역(1142)은 도 15에 도시된 바와 같이, 홀로그램 투영부(13)가 홀로그램을 투영할 때 사용자가 용이하게 시각적으로 제스처 인식 영역(114)을 인지할 수 있도록, 단순한 모양을 가지는 것이 바람직하다. 예를 들어 도 15에 도시된 바와 같이, 상면이 하면보다 넓고 옆면은 각각 사다리꼴 모양인, 역전된 사각뿔대의 모양을 가질 수 있다.
도 16은 도 15의 합성 제스처 인식 영역(1142)을 입체적으로 표시하기 위해, 본 발명의 일 실시예에 따른 제스처 인식부(11)의 상부 공간에 홀로그램이 투영되는 모습을 나타낸 도면이다.
상기와 같이 합성 제스처 인식 영역(1142)을 생성하면, 홀로그램 투영부(13)는 이를 반영하여 특정 공간에 홀로그램을 투영한다. 이 때 홀로그램의 모양은 합성 제스처 인식 영역(1142)의 모양과 동일하다. 그럼으로써, 도 16에 도시된 바와 같이, 사용자는 시각적으로 제스처 인식 영역(114)을 인지할 수 있고, 해당 영역에서 제스처를 취할 수 있다.
사용자가 홀로그램을 통해 제스처 인식 영역(114)을 인지하더라도, 상기 제스처 인식 영역(114) 내에서 제스처가 아닌 다른 목적을 위해 행동을 취할 수도 있다. 예를 들어, 조수석에 물건을 놓거나, 센터페시아를 조작하기 위해 사용자의 손(2)이 상기 제스처 인식 영역(114)을 통과할 수 있다. 사용자가 이러한 행동을 취한 경우에도 제스처 인식 장치(1)가 이를 제스처로 인식하게 되면, 사용자의 의도와 달리 차량 내 각종 기능들이 동작하게 된다. 따라서, 이러한 오인식을 방지하기 위해, 제스처 인식 장치(1)는 사용자의 손(2)이 제스처 인식 영역(114)에 인입된 것이 제스처를 취하는 것인지 여부를 판단해야 한다.
이를 위해, 저장부(123)에 저장되는 제스처 설정 정보에, 시동 제스처가 포함될 수 있다. 그리고, 이에 매칭되는 차량 내 기능에 대한 매칭 정보에는, 상기 시동 제스처와 제스처 인식 장치(1)의 동작을 시작하는 기능이 매칭된다는 정보가 포함될 수 있다. 따라서, 사용자는 제스처 인식 장치(1)를 사용하기 위해, 먼저 시동 제스처를 취할 수 있다. 그러면, 전자 제어 유닛(ECU, 12)의 기능 동작부(125)는 시동 제스처를 분석하여 사용자의 명령을 파악하고, 이에 매칭되는 기능인 제스처 인식 장치(1)의 동작을 시작시킨다. 그러면, 제스처 인식 장치(1)가 동작을 시작하여 제스처를 인식할 수 있다. 사용자가 제스처 신호 입력을 완료한 뒤에 다시 시동 제스처를 취하거나, 별도의 종료 제스처를 취하면, 제스처 인식 장치(1)가 종료될 수 있다. 또는, 사용자가 제스처 신호 입력을 완료한 뒤에 일정한 시간이 지나면 제스처 인식 장치(1)가 자동으로 종료될 수도 있다.
또는, 사용자가 제스처를 취한 후, 최종 지점에서 특정 시간 이상 체류할 수도 있다. 제스처 인식부(11)가, 전기장의 왜곡 발생 위치가 이동하다가 마지막으로 이동한 위치에서 특정 시간 이상 이동하지 않고 정지하는 것으로 감지하면, 최종 지점에서 특정 시간 이상 체류한 것으로 판단한다. 이러한 경우 제스처 인식 장치(1)는, 사용자가 제스처를 취한 것으로 판단한다. 만약 마지막으로 이동한 위치에서 특정 시간 이상 정지하지 않는다면, 제스처 인식 장치(1)는 사용자가 제스처를 취하지 않은 것으로 판단한다. 여기서 특정 시간은 대략 1초인 것이 바람직하나, 이에 제한되지 않고 다양하게 설정될 수 있다.
또는, 별도의 시동 버튼이 스티어링 핸들 또는 센터페시아 등에 마련될 수 있다. 사용자는 제스처 인식 장치(1)를 사용하기 위해 먼저 시동 버튼을 조작한다. 그러면 제스처 인식 장치(1)가 동작을 시작하여 제스처를 인식할 수 있는 상태가 된다. 사용자가 제스처 신호 입력을 완료한 뒤에 다시 시동 버튼을 조작하면, 제스처 인식 장치(1)가 종료될 수 있다. 또는, 사용자가 제스처 신호 입력을 완료한 뒤에 일정한 시간이 지나면 제스처 인식 장치(1)가 자동으로 종료될 수도 있다.
또는, 별도의 음성 신호를 입력받는 음성 센서가 마련될 수도 있다. 사용자가 예를 들어, '제스처 인식 시작'이라는 말을 하면, 음성 센서가 이를 인식한다. 그러면 제스처 인식 장치(1)가 동작을 시작하여 제스처를 인식할 수 있는 상태가 된다. 사용자가 제스처 신호 입력을 완료한 뒤에, 예를 들어 '제스처 인식 종료'라는 말을 하면, 제스처 인식 장치(1)가 종료될 수 있다. 또는, 사용자가 제스처 신호 입력을 완료한 뒤에 일정한 시간이 지나면 제스처 인식 장치(1)가 자동으로 종료될 수도 있다.
홀로그램 투영부(13)는 주변의 밝기의 정도에 따라 홀로그램의 색상 또는 밝기를 조절할 수 있다. 예를 들면, 낮에는 진하고 밝게 표시하고, 밤에는 옅고 은은하게 표시할 수 있다. 또한, 홀로그램 투영부(13)는 사용자가 제스처 인식 영역(114) 내에 손을 인입한 경우와 인입하지 않은 경우에 따라 색상이 변경될 수도 있다. 또는 사용자가 제스처를 취할 때, 제스처 인식부(11)의 인식 성공 여부에 따라 색상이 변경될 수도 있다. 나아가, 사용자의 설정에 따라 원하는 색상 또는 밝기로 변경될 수도 있고, 랜덤으로 변경될 수도 있다. 즉, 홀로그램의 색상 또는 밝기는 제한되지 않고 다양한 요인에 따라 변경될 수 있다.
도 17은 본 발명의 일 실시예에 따른 제스처 인식 장치(1)의 부근에 마련된 컵홀더에 알루미늄 캔이 삽입된 모습을 나타낸 도면이다.
본 발명의 일 실시예에 따른 제스처 인식 장치(1)는 시프트 레버 하우징에 설치될 수 있다. 그리고 차량의 내부에서 센터페시아의 근처 또는 시프트 레버의 근처에는 컵홀더가 마련될 수 있다. 따라서, 도 16에 도시된 바와 같이 제스처 인식 장치(1)는 컵홀더와 매우 근접하게 위치할 수 있다.
이러한 컵홀더에는 알루미늄 캔 또는 금속 보온병 등이 삽입될 수 있다. 그런데 제스처 인식 장치(1)는 전기장을 이용하므로, 주변에 알루미늄 캔 등과 같은 금속성 물질이 존재하면, 그로부터 영향을 받는다. 즉, 전기장 내에 금속성 물질이 존재하게 되면, 금속성 물질에 의해 전기장의 왜곡이 발생한다. 따라서, 상기 제스처 인식 영역(114)의 범위가 변하게 된다.
사용자가 제스처를 취하기 위해 손을 인입하는 경우와, 주변에 장애물이 존재하는 경우 모두 전기장의 왜곡이 발생한다. 따라서, 전자 제어 유닛(ECU, 12)은 전기장의 왜곡을 감지하면, 제스처 신호 때문인지 또는 장애물의 존재 때문인지를 구별해야 한다.
부분 제스처 인식 영역 판단부(121)는, 최초로 전기장의 왜곡이 발생하면, 시간을 측정한다. 그리고, 특정 시간 이내에 전기장의 왜곡 발생 위치가 변한다면, 전기장의 왜곡은 제스처 신호 때문이다. 사용자가 제스처를 취하기 위해서는, 제스처 인식 영역(114) 내에 손을 인입한 채로 정지하지 않고 곧바로 움직일 가능성이 높기 때문이다. 그러나, 특정 시간 이상 전기장의 왜곡 발생 위치가 변하지 않고 고정된다면, 전기장의 왜곡은 장애물의 존재 때문이다. 장애물이 존재한다면, 컵홀더에 알루미늄 캔이 삽입된 경우와 같이 특정 시간 이상 움직이지 않고 정지할 가능성이 높기 때문이다. 여기서 특정 시간은 실험적으로 설정될 수 있으며 대략 3초 내지 5초인 것이 바람직하다. 다만, 이에 제한되지 않고 다양하게 설정될 수 있다.
상기 기술된 알루미늄 캔 또는 금속 보온병 등은 예시에 불과하며, 제스처 인식 장치(1)에 영향을 주는 금속성 물질은 다양할 수 있다. 나아가, 비금속성 물질이더라도 어느 정도 전기가 통할 수 있다면, 제스처 인식 장치(1)에 영향을 주는 장애물이 될 수 있다.
도 18은 본 발명의 일 실시예에 따른 수신 전극(111) 각각의 상방에 존재하는 부분 제스처 인식 영역(1141a)들의 범위가 좁아지는 모습을 나타낸 도면이다.
제스처 인식부(11)에 포함되는 수신 전극(111)들은 각각 다른 위치에 배치된다. 즉, 제스처 인식부(11)의 4개의 모서리의 근방에 4개의 수신 전극(111)들이 각각 배치된다. 따라서, 제스처 인식부(11)의 근방에 장애물이 존재한다면, 복수의 수신 전극(111)들과 상기 장애물과의 거리가 각각 상이할 수 있다.
구체적으로, 장애물과의 거리가 가까운 수신 전극(111)은, 장애물의 영향을 상대적으로 많이 받을 것이다. 따라서, 장애물과의 거리가 가까운 수신 전극(111)에 대하여는, 전기장의 변화가 커서 부분 제스처 인식 영역(1141a)의 범위가 많이 좁아질 것이다. 반면에, 장애물과의 거리가 먼 수신 전극(111)은, 장애물의 영향을 상대적으로 적게 받을 것이다. 따라서, 장애물과의 거리가 먼 수신 전극(111)에 대하여는, 전기장의 변화가 작으므로 부분 제스처 인식 영역(1141a)의 범위가 많이 좁아지지는 않을 것이다.
결국, 각각의 수신 전극(111)에 대한 부분 제스처 인식 영역(1141a)는, 도 18에 도시된 바와 같이, 각각 그 범위가 상이하게 된다.
도 19는 도 18에서 작아진 부분 제스처 인식 영역(1141a)들을 그대로 합성하여 합성 제스처 인식 영역(1142a)이 생성되는 모습을 나타낸 도면이고, 도 20은 도 18에서 가장 범위가 좁은 부분 제스처 인식 영역(1141a)을 기준으로 합성하여 하나의 합성 제스처 인식 영역(1142b)이 생성되는 모습을 나타낸 도면이다.
범위가 상이한 부분 제스처 인식 영역(1141a)들을 그대로 합성하여 하나의 합성 제스처 인식 영역(1142a)을 생성한다면, 도 19에 도시된 바와 같이, 합성 제스처 인식 영역(1142a)의 모양이 일그러질 것이다. 그리고 홀로그램 투영부(13)가 만약, 이를 반영하여 그대로 홀로그램을 투영하면 홀로그램의 모양도 그대로 일그러져, 사용자의 제스처 인식 영역(114)의 인지를 방해할 수 있다. 따라서, 상기 변화된 복수의 부분 제스처 인식 영역(1141a)들을 다시 합성하여, 새로운 합성 제스처 인식 영역(1142b)을 생성한다.
본 발명의 일 실시예에 따르면, 상기 복수의 부분 제스처 인식 영역(1141a) 중에서, 가장 범위가 작은 부분 제스처 인식 영역(1141)을 기준으로, 합성 제스처 인식 영역(1142b)을 생성한다. 즉, 합성 제스처 인식 영역(1142b)의 상면은 제스처 인식부(11)와 평행한 것이 바람직하다. 이 때 합성 제스처 인식 영역(1142b)의 상면의 높이는, 가장 범위가 작은 부분 제스처 인식 영역(1141a)의 범위를 초과하지 않는다. 그리고, 홀로그램 투영부(13)가 이를 반영하여, 새롭게 생성된 합성 제스처 인식 영역(1142b)을 표시하도록 특정 공간에 투영하는 홀로그램을 변경시킨다. 이 경우에도 전기장 왜곡이 발생하지 않은 경우와 마찬가지로, 홀로그램 투영부(13)가 홀로그램을 투영할 때 사용자가 용이하게 시각적으로 제스처 인식 영역(114)을 인지할 수 있도록, 단순한 모양을 가지는 것이 바람직하다. 예를 들어 도 20에 도시된 바와 같이, 상면이 하면보다 넓고 옆면은 각각 사다리꼴 모양인, 역전된 사각뿔대의 모양을 가질 수 있다. 이 때, 도 20에 도시된 합성 제스처 인식 영역(1142b)은, 도 16에 도시된 합성 제스처 인식 영역(1142)에 비해 범위가 작다.
도 21은 도 20의 합성 제스처 인식 영역(1142b)을 입체적으로 표시하기 위해, 본 발명의 일 실시예에 따른 제스처 인식부(11)의 상부 공간에 홀로그램이 투영되는 모습을 나타낸 도면이다.
상기와 같이 합성 제스처 인식 영역(1142b)을 새롭게 생성하면, 홀로그램 투영부(13)는 이를 반영하여 특정 공간에 홀로그램을 투영한다. 이 때 도 21에 도시된 바와 같이, 합성 제스처 인식 영역(1142b)의 범위가 좁아졌으므로, 홀로그램의 범위 또한 좁아진다. 그럼으로써, 도 21에 도시된 바와 같이, 제스처 인식 영역(114)의 변화를 곧바로 반영할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 제스처 인식 장치 11: 제스처 인식부
12: 전자 제어 유닛 13: 홀로그램 투영부
111: 수신 전극 112: 송신 전극
113: 비전도성 기판 114: 제스처 인식 영역
121: 부분 제스처 인식 영역 판단부
122: 합성 제스처 인식 영역 생성부
123: 저장부 124: 신호 분석부
125: 기능 동작부 1141: 부분 제스처 인식 영역
1142: 합성 제스처 인식 영역

Claims (17)

  1. 차량 전원을 인가 받아 전기장을 발생시키는 송신 전극과, 상기 송신 전극에서 발생된 전기장을 수신하는 적어도 하나의 수신 전극을 포함하고, 상기 발생된 전기장의 왜곡을 감지하여 제스처를 인식하는 제스처 인식부;
    상기 적어도 하나의 수신 전극이 상기 제스처를 인식할 수 있는 부분 제스처 인식 영역을 판단하는 부분 제스처 인식 영역 판단부;
    복수의 부분 제스처 인식 영역을 합성하여 하나의 합성 제스처 인식 영역을 생성하는 합성 제스처 인식 영역 생성부를 포함하되,
    상기 부분 제스처 인식 영역 판단부는,
    상기 전기장의 왜곡 발생 위치가 특정 시간 이상 고정되면, 상기 부분 제스처 인식 영역의 범위의 변화를 판단하고,
    상기 합성 제스처 인식 영역 생성부는,
    상기 복수의 부분 제스처 인식 영역 중에서 가장 범위가 좁은 부분 제스처 인식 영역을 기준으로 상기 합성 제스처 인식 영역을 생성하는, 제스처 인식 장치.
  2. 제1항에 있어서,
    상기 수신 전극은,
    복수로 형성되는, 제스처 인식 장치.
  3. 제1항에 있어서,
    특정 공간에 홀로그램을 투영하여 상기 합성 제스처 인식 영역을 입체적으로 표시하는 홀로그램 투영부를 더 포함하는 제스처 인식 장치.
  4. 제1항에 있어서,
    상기 제스처에 대한 제스처 설정 정보; 및
    상기 제스처 설정 정보와 매칭되는 차량 내 기능에 대한 매칭 정보를 저장하는 저장부를 더 포함하는, 제스처 인식 장치.
  5. 제4항에 있어서,
    상기 제스처 인식부가 상기 제스처의 패턴에 의한 신호를 수신하면,
    상기 수신된 제스처의 패턴에 의한 신호를 분석하여 상기 제스처를 파악하는 신호 분석부를 더 포함하는 제스처 인식 장치.
  6. 제5항에 있어서,
    상기 분석된 제스처의 패턴에 의한 신호와 상기 저장부에 저장된 상기 제스처 설정 정보를 비교하여 사용자의 명령을 파악하고, 상기 명령에 대응되는 기능을 수행하도록 타 장치들을 제어하는 기능 동작부를 더 포함하는 제스처 인식 장치.
  7. 제4항에 있어서,
    상기 제스처 설정 정보는,
    상기 제스처 인식부가 사용자 명령에 해당하는 제스처 인식을 시작하기 위해 설정된 시동 제스처를 포함하는, 제스처 인식 장치.
  8. 제7항에 있어서,
    동작을 시작한 후 특정 시간이 경과하면 동작을 종료하는 제스처 인식 장치.
  9. 제7항에 있어서,
    상기 제스처 인식부가 다시 상기 시동 제스처를 인식하면 동작을 종료하는 제스처 인식 장치.
  10. 제1항에 있어서,
    상기 제스처 인식부는,
    상기 수신 전극에서 발생되는 신호의 주파수의 변화를 통해 상기 전기장의 왜곡을 감지하는, 제스처 인식 장치.
  11. 제1항에 있어서,
    상기 제스처가 완료된 이후, 오브젝트가 정지된 상태로 상기 합성 제스처 인식 영역 내에 특정 시간 이상 체류하면, 동작을 시작하는 제스처 인식 장치.
  12. 제1항에 있어서,
    동작을 시작 및 종료시키는 시동 버튼을 더 포함하는 제스처 인식 장치.
  13. 제1항에 있어서,
    음성 신호를 입력받는 마이크를 더 포함하는 제스처 인식 장치.
  14. 제13항에 있어서,
    사용자의 특정 음성 신호를 입력받으면 동작을 시작 또는 종료하는 제스처 인식 장치.
  15. 제3항에 있어서,
    상기 홀로그램 투영부는,
    상기 합성 제스처 인식 영역 내 오브젝트의 유무에 따라 상기 특정 공간에 투영하는 상기 홀로그램의 색상을 변경하는, 제스처 인식 장치.
  16. 제3항에 있어서,
    상기 홀로그램 투영부는,
    상기 제스처의 인식의 성공 및 실패에 따라 상기 특정 공간에 투영하는 상기 홀로그램의 색상을 변경하는, 제스처 인식 장치.
  17. 제3항에 있어서,
    상기 홀로그램 투영부는,
    주변의 밝기에 따라 상기 특정 공간에 투영하는 상기 홀로그램의 색상 또는 밝기를 변경하는, 제스처 인식 장치.
KR1020160184320A 2016-12-30 2016-12-30 제스처 인식 장치 KR102635976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160184320A KR102635976B1 (ko) 2016-12-30 2016-12-30 제스처 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184320A KR102635976B1 (ko) 2016-12-30 2016-12-30 제스처 인식 장치

Publications (2)

Publication Number Publication Date
KR20180078997A KR20180078997A (ko) 2018-07-10
KR102635976B1 true KR102635976B1 (ko) 2024-02-13

Family

ID=62916071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184320A KR102635976B1 (ko) 2016-12-30 2016-12-30 제스처 인식 장치

Country Status (1)

Country Link
KR (1) KR102635976B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001043U (ko) * 2020-10-15 2023-05-23 주식회사 에치엠엘리베이터 승강기 비접촉 호출 장치
KR102274334B1 (ko) * 2021-03-29 2021-07-08 (주)복서 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템
KR102492229B1 (ko) * 2021-06-29 2023-01-26 혜윰기술 주식회사 차량용 음성 및 제스처 인식 장치
KR102375003B1 (ko) * 2021-10-29 2022-03-16 주식회사 서연이화 모션 제스처 센싱 장치 및 이를 적용한 차량 탑재 장치의 조작 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010007455B4 (de) 2010-02-10 2024-06-27 Microchip Technology Germany Gmbh System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
JP5882232B2 (ja) * 2010-02-10 2016-03-09 マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー 手動入力動作と相関する信号の発生のためのシステムおよび方法
US9323985B2 (en) * 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
US9552068B2 (en) * 2012-08-27 2017-01-24 Microchip Technology Germany Gmbh Input device with hand posture control
US9459296B2 (en) 2012-10-19 2016-10-04 Microchip Technology Germany Gmbh Ii & Co. Kg Electrode design for electric field measurement system
KR101542986B1 (ko) * 2013-12-19 2015-08-07 현대자동차 주식회사 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
KR20180078997A (ko) 2018-07-10

Similar Documents

Publication Publication Date Title
KR102635976B1 (ko) 제스처 인식 장치
US9858702B2 (en) Device and method for signalling a successful gesture input
KR101367593B1 (ko) 쌍방향 조작 장치 및 쌍방향 조작 장치의 작동 방법
CN104620202B (zh) 输入装置
CN106061802B (zh) 用于操纵用于车辆的闭合元件的方法和装置
US20130204457A1 (en) Interacting with vehicle controls through gesture recognition
US8270669B2 (en) Apparatus for extracting operating object and apparatus for projecting operating hand
US20130162582A1 (en) Input device
CN107111471B (zh) 交通工具、用户界面和用于在两个显示装置上交叠地显示显示内容的方法
KR102049649B1 (ko) 손가락 기반 컨트롤 바 및 상기 컨트롤 바의 사용
CN110740896B (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
CN103023474A (zh) 用于控制可移动面板的具有锁定控制的接近开关
JP6144501B2 (ja) 表示装置、および、表示方法
US20200094864A1 (en) Operation input device
US11537240B2 (en) Virtual image display device
EP2754016A1 (de) Bedienvorrichtung für ein kraftfahrzeug und verfahren zum bedienen der bedienvorrichtung für ein kraftfahrzeug
JP2017510875A (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
US9391611B2 (en) Operation device
CN107567609B (zh) 用于运行输入设备的方法、输入设备、机动车
WO2011040514A1 (ja) 操作装置およびこれを備えた電子機器
KR20180082068A (ko) 차량용 제스처 인식 장치
KR102192496B1 (ko) 사용자 인터페이스 및 사용자 인터페이스의 스크린 뷰 전환 방법
CN112805800A (zh) 输入装置
US20170329429A1 (en) Input device
EP3926444B1 (en) Proximity detection device and information processing system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant