KR20190014839A - 비접촉 제스처 인식 시스템 및 그 방법 - Google Patents

비접촉 제스처 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190014839A
KR20190014839A KR1020170098867A KR20170098867A KR20190014839A KR 20190014839 A KR20190014839 A KR 20190014839A KR 1020170098867 A KR1020170098867 A KR 1020170098867A KR 20170098867 A KR20170098867 A KR 20170098867A KR 20190014839 A KR20190014839 A KR 20190014839A
Authority
KR
South Korea
Prior art keywords
mode
contact gesture
motion
recognition system
gesture recognition
Prior art date
Application number
KR1020170098867A
Other languages
English (en)
Other versions
KR102011565B1 (ko
Inventor
조경일
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020170098867A priority Critical patent/KR102011565B1/ko
Priority to US16/053,500 priority patent/US20190041994A1/en
Publication of KR20190014839A publication Critical patent/KR20190014839A/ko
Application granted granted Critical
Publication of KR102011565B1 publication Critical patent/KR102011565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

본 발명은 싱글 채널의 비접촉 초음파 스위치를 이용하여 비접촉 제스처 동작을 감지하고, 감지된 비접촉 제스처 동작에 따른 횡단모드 및 커버모드를 구별하여 비접촉 인터페이스 기능을 제공하는 비접촉 제스처 인식 시스템 및 그 방법에 관한 것으로, 싱글 채널의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지하는 동작 감지부, 상기 비접촉 제스처 동작에 의해 상기 싱글 채널의 초음파 센서로부터 감지되는 감지 신호를 분석하여 횡단모드 및 커버모드를 구별하는 모드 구별부 및 상기 횡단모드 및 상기 커버모드에 대응하는 비접촉 인터페이스 기능을 제어하는 제어부를 포함한다.

Description

비접촉 제스처 인식 시스템 및 그 방법{CONTACTLESS GESTURE RECOGNITION SYSTEM AND THE METHOD THEREOF}
본 발명은 비접촉 제스처 인식 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 싱글 채널의 비접촉 초음파 스위치를 이용하여 비접촉 제스처 동작을 감지하고, 감지된 비접촉 제스처 동작에 따른 횡단모드 및 커버모드를 구별하여 비접촉 인터페이스 기능을 제공하는 기술에 관한 것이다.
그래픽 유저 인터페이스는 문자열 대신에 주로 그래픽을 이용하여 디바이스를 제어하도록 하는 인터페이스로서, 예를 들어 마우스, 조이스틱, 화면 터치 또는 터치패드를 이용하여 커서, 아이콘, 폴더, 메뉴, 윈도우창, 화면 스크롤, 줌인/줌아웃, 캐릭터 등을 선택하거나 작동시켜 운영체제나 응용프로그램을 제어하는 인터페이스를 말한다.
윈도우 운영체제의 등장으로 컴퓨팅 디바이스에 그래픽 유저 인터페이스가 도입되어 대중화된 이후로, 최근에는 스마트폰이나 스마트 패드 등의 모바일 디바이스가 각광을 받으면서 화면 터치 인터페이스를 통해 디바이스를 제어하는 것이 점차 대중화되고 있는 상황이다.
그러나 마우스를 조작하거나, 조이스틱으로 캐릭터를 움직이거나, 손가락으로 화면 또는 터치패드를 터치하는 것은 모두 접촉 방식의 사용자 인터페이스로서, 사용자가 손을 허공에서 자유롭게 움직여서 디바이스를 제어할 수 있는 비접촉 사용자 인터페이스에 비해 편의성이나 기능성이 떨어질 수 밖에 없다.
즉, 사용자의 손이 가능한 자유롭게 움직일 수 있는 경우로서, 손의 이동 방향과, 속도, 기울임 방향, 기울임 위치, 기울임 각도 및 기울임 변화속도, 인터페이스 수단에의 근접 상태를 디바이스가 인식할 수 있다면, 편의성은 물론 기능성이 매우 우수한 비접촉 사용자 인터페이스가 될 수 있다.
최근에는, 이러한 비접촉 사용자 인터페이스를 적용하는 기술에 대한 관심이 증가하고 있는 추세이다.
다만, 기존의 비접촉 사용자 인터페이스 제공 기술은 사용자의 손가락 움직임(motion, 동작)을 감지하여 비접촉 사용자 인터페이스 기능을 제공하거나, 이중 채널의 움직임 감지 센서를 이용하여 비접촉 사용자 인터페이스 기능을 제공한다는 한계가 존재하였다. 또한, 기존의 비접촉 사용자 인터페이스 제공 기술은 단말 장치, 디바이스, 대형 스크린 등 적용되는 분야의 한계가 존재하였다.
한국등록특허 제10­1196291호(2012.10.25. 등록), "손가락의 움직임을 인식하여 3D 인터페이스를 제공하는 단말기 및 그 방법" 한국등록특허 제10­1194883호(2012.10.19. 등록), "비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법"
본 발명의 목적은 싱글 채널의 비접촉 초음파 스위치를 이용하여 사용자의 다양한 움직임을 감지하고, 감지 동작에 대응하는 다양한 인터페이스 기능을 제어할 수 있는 기술을 제공하고자 한다.
또한, 본 발명의 목적은 자동수도꼭지, 전자도어락, 사물인터넷(Internet of Things, IoT) 기기, PC 마우스, 스마트 냉장고, 모바일 및 엘리베이터 스위치 등에 적용하여 비접촉 제스처 동작에 따른 비접촉 인터페이스 기능을 제공할 수 있는 기술을 제공하고자 한다.
본 발명의 실시예에 따른 3차원(3D) 제스쳐를 인식하는 비접촉 제스처 인식 시스템은 싱글 채널(1채널)의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지하는 동작 감지부, 상기 비접촉 제스처 동작에 의해 상기 싱글 채널의 초음파 센서로부터 감지되는 감지 신호를 분석하여 횡단모드 및 커버모드를 구별하는 모드 구별부 및 상기 횡단모드 및 상기 커버모드 각각에 대응하는 비접촉 인터페이스 기능을 제어하는 제어부를 포함한다.
상기 싱글 채널의 초음파 센서는 송수신이 분리된 1채널 송신 및 1채널 수신을 포함하는 초음파 센서, 또는 송수신이 결합된 1채널의 송수신을 포함하는 초음파 센서일 수 있다.
상기 동작 감지부는 저전력 PIR(Passive Infrared Ray) 센서를 이용하여 사용자의 근접을 인지한 후, 상기 싱글 채널의 초음파 센서를 활성화하여 상기 비접촉 제스처 동작을 감지할 수 있다.
상기 동작 감지부는 상기 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속 및 단절에 기반하여 횡모션, 횡반복모션 및 거리모션의 상기 비접촉 제스처 동작을 감지할 수 있다.
상기 모드 구별부는 상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 신호 감지 모듈 및 기 설정된 세팅 고정값과, 상기 신호 변화를 나타내는 진동 그래프 변화에 기초하여 상기 횡단모드 및 상기 커버모드를 판단하는 제1 모드 판단 모듈을 포함할 수 있다.
상기 제1 모드 판단 모듈은 상기 세팅 고정값과, 상기 신호 변화에 따라 발생된 하강피크의 반복 여부에 기반하여 횡모션의 상기 비접촉 제스처 동작에 따른 상기 횡단모드 또는 거리모션의 상기 비접촉 제스처 동작에 따른 상기 커버모드를 판단할 수 있다.
또한, 상기 모드 구별부는 상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 신호 감지 모듈, 상기 신호 변화에 따른 하강피크의 면적을 산출하는 피크 면적 산출 모듈 및 상기 산출된 면적 값과 기 설정된 임계값을 비교하여 상기 횡단모드 및 상기 커버모드를 판단하는 제2 모드 판단 모듈을 포함할 수 있다.
상기 신호 감지 모듈은 상기 비접촉 제스처 동작에 의해 상기 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속 및 단절에 기반하여 시간에 따른 하강피크의 발생, 횟수 및 면적의 상기 신호 변화를 감지할 수 있다.
상기 신호 감지 모듈은 횡모션 및 거리모션의 상기 비접촉 제스처 동작에 따른 단일의 하강피크를 감지하고, 횡반복모션의 상기 비접촉 제스처 동작에 따른 복수의 하강피크를 감지할 수 있다.
상기 피크 면적 산출 모듈은 상기 감지된 단일의 하강피크에 따른 상기 횡모션 및 상기 거리모션을 구별하기 위해, 상기 감지 신호의 샘플주기 및 거리의 곱으로 상기 감지된 단일의 하강피크에 대한 상기 하강피크의 면적을 산출할 수 있다.
상기 제2 모드 판단 모듈은 상기 산출된 면적 값이 상기 기 설정된 임계값보다 작으면 상기 횡모션의 비접촉 제스처 동작에 따른 상기 횡단모드로 판단하고, 상기 산출된 면적 값이 상기 기 설정된 임계값보다 크면 상기 거리모션의 비접촉 제스처 동작에 따른 상기 커버모드로 판단할 수 있다.
상기 제어부는 상기 횡단모드에 대응하는 모드 변환의 상기 비접촉 인터페이스 기능을 제어하고, 상기 커버모드에 대응하는 양 조절의 상기 비접촉 인터페이스 기능을 제어할 수 있다.
상기 제어부는 상기 감지 신호로부터 감지되는 신호 변화를 기반으로, 진동 그래프 변화를 이용하여 모드를 판단하는 상기 모드 구별부의 제1 모드 판단 모듈을 제어하거나, 모드 알고리즘을 이용하여 모드를 판단하는 상기 모드 구별부의 제2 모드 판단 모듈을 제어할 수 있다.
상기 비접촉 제스처 인식 시스템은 모바일 장착 시, 초소형 저전력을 위한 저전력 pMUT(Piezo Micomachied Ultrasonic Transducer) 초음파를 포함할 수 있다.
상기 비접촉 제스처 인식 시스템은 자동수도꼭지, 전자도어락, 사물인터넷(Internet of Things, IoT) 기기, PC 마우스, 스마트 냉장고, 모바일 및 스위치 중 적어도 어느 하나에 적용되어 상기 비접촉 인터페이스 기능을 제공할 수 있다.
본 발명의 실시예에 따른 3차원(3D) 제스쳐를 인식하는 비접촉 제스처 인식 시스템의 동작 방법에 있어서, 싱글 채널(1채널)의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지하는 단계, 상기 비접촉 제스처 동작에 의해 상기 싱글 채널의 초음파 센서로부터 감지되는 감지 신호를 분석하여 횡단모드 및 커버모드를 구별하는 단계 및 상기 횡단모드 및 상기 커버모드 각각에 대응하는 비접촉 인터페이스 기능을 제어하는 단계를 포함한다.
상기 횡단모드 및 커버모드를 구별하는 단계는 상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 단계 및 기 설정된 세팅 고정값과, 상기 신호 변화를 나타내는 진동 그래프 변화에 기초하여 상기 횡단모드 및 상기 커버모드를 판단하는 단계를 포함할 수 있다.
또한, 상기 횡단모드 및 커버모드를 구별하는 단계는 상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 단계, 상기 신호 변화에 따른 하강피크의 면적을 산출하는 단계 및 상기 산출된 면적 값이 기 설정된 임계값보다 작으면 상기 횡단모드로 판단하고, 상기 산출된 면적 값이 상기 기 설정된 임계값보다 크면 상기 커버모드로 판단하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 싱글 채널의 비접촉 초음파 스위치를 이용하여 사용자의 다양한 움직임을 감지하고, 감지 동작에 대응하는 다양한 인터페이스 기능을 제어할 수 있다.
또한, 본 발명의 실시예에 따르면, 자동수도꼭지, 전자도어락, 사물인터넷(Internet of Things, IoT) 기기, PC 마우스, 스마트 냉장고, 모바일 및 엘리베이터 스위치 등에 적용하여 비접촉 제스처 동작에 따른 비접촉 인터페이스 기능을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템의 세부 구성에 대한 블록도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 모드 구별부의 세부 구성에 대한 블록도를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 비접촉 제스처 동작의 예를 설명하기 위해 도시한 것이다.
도 4는 본 발명의 실시예에 따른 신호 변화에 기반하여 횡모션 및 거리모션을 구별하는 예를 설명하기 위해 도시한 것이다.
도 5는 본 발명의 실시예에 따른 신호 변화에 기반하여 횡모션 및 횡반복모션을 구별하는 예를 설명하기 위해 도시한 것이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 하강피크의 면적을 산출하여 횡모션 및 거리모션을 구별하는 예를 설명하기 위해 도시한 것이다.
도 7은 본 발명의 실시예에 따른 비접촉 제스처 동작에 따른 디커플링(decoupling)의 예를 도시한 것이다.
도 8 내지 도 10은 비접촉 인터페이스 기능의 예를 도시한 것이다.
도 11 내지 도 13은 본 발명의 실시예에 따른 비접촉 제스처 인식 방법의 흐름도를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템의 세부 구성에 대한 블록도를 도시한 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템(100)은 싱글 채널의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지하고, 비접촉 제스처 동작에 따른 모드 별로 비접촉 인터페이스 기능을 제어한다.
이를 위해, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템(100)은 동작 감지부(110), 모드 구별부(120) 및 제어부(130)를 포함한다.
동작 감지부(110)는 싱글 채널의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지한다.
이 때, 싱글 채널의 초음파 센서는 비접촉 싱글 채널(1채널)의 초음파 스위치일 수 있으며, 송수신이 분리된 1채널 송신 및 1채널 수신을 포함하는 초음파 센서, 또는 송수신이 결합된 1채널의 송수신을 포함하는 초음파 센서일 수 있다.
동작 감지부(110)는 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속 및 단절에 기반하여 횡모션, 횡반복모션 및 거리모션의 비접촉 제스처 동작을 감지할 수 있다.
보다 상세하게는, 싱글 채널의 초음파 센서는 싱글 채널을 이용하여 일정한 빔을 조사한다. 이 때, 동작 감지부(110)는 연속적으로 조사되는 빔에서 사용자의 비접촉 제스처 동작에 의해 발생하는 단절을 감지할 수 있으며, 시간에 따른 빔의 단절 또는 빔의 신호 세기로부터 횡모션, 횡반복모션 및 거리모션을 감지할 수 있다.
예를 들면, 동작 감지부(110)는 싱글 채널의 초음파 센서에서 연속적으로 조사되는 빔을 중심으로, 사용자의 손이 빔의 좌측에서 우측으로 또는 우측에서 좌측으로 이동하는 경우, 빔의 일시적인 단절 현상에 의해 횡모션을 감지할 수 있다. 또한, 동작 감지부(110)는 싱글 채널의 초음파 센서에서 연속적으로 조사되는 빔을 중심으로, 사용자의 손이 빔의 좌측­우측­좌측으로 이동하거나, 우측­좌측­우측으로 이동하는 경우, 빔의 일시적인 단절 현상의 반복에 의해 횡반복모션을 감지할 수 있다. 또한, 동작 감지부(110)는 싱글 채널의 초음파 센서에서 연속적으로 조사되는 빔의 세기를 기반으로, 사용자의 손이 빔이 조사되는 싱글 채널의 초음파 센서에 근접 후 멀어지거나, 먼 상태 후 근접하는 경우, 근접 상태에 따라 싱글 채널의 초음파 센서의 신호 세기가 달라지는 점을 이용하여 거리모션을 감지할 수 있다.
본 발명의 실시예에 따른 비접촉 제스처 인식 시스템(100)의 동작 감지부(110)는 저전력 PIR(Passive Infrared Ray) 센서를 이용하여 사용자의 근접을 인지한 후, 싱글 채널의 초음파 센서를 활성화하여 비접촉 제스처 동작을 감지할 수 있다.
예를 들면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템(100)은 저전력 PIR 센서를 포함하며, 저전력 PIR 센서로부터 사용자의 움직임에 따른 근접을 감지한 후, 싱글 채널의 초음파 센서를 활성화시킬 수 있다. 이 때, 저전력 PIR 센서는 적외선 흡수 시 물질 내의 분극(polarization) 변화로 전하가 유기되어 기전력이 발생하는 초전효과를 이용하는 센서로서, 주변 환경과 원적외선을 발생하는 물체(사람 등)와의 원적외선 차이를 감지하며, 이를 이용하여 사용자의 움직임 검출이 가능하다.
본 발명의 실시예에 따른 비접촉 제스처 인식 시스템(100)은 모바일 장착 시, 초소형 저전력을 위해 PIR 센서 없이, 저전력 pMUT(Piezo Micomachied Ultrasonic Transducer) 초음파를 사용할 수도 있다. 예를 들면, 저전력 pMUT 초음파는 초음파 송수신에 있어서 다수의 셀(cell)로 구성된 송신모듈과 수신모듈로 분리된 형태일 수 있으며, 이는 엘리베이터 스위치 등에 적용 가능하다.
이하에서는 도 2를 참조하여 모드 구별부(120)에 대해 상세히 설명하고자 한다.
도 2는 본 발명의 실시예에 따른 모드 구별부의 세부 구성에 대한 블록도를 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 모드 구별부(120)는 비접촉 제스처 동작에 의해 싱글 채널의 초음파 센서로부터 감지되는 감지 신호를 분석하여 횡단모드 및 커버모드(cover)를 구별한다.
이를 위해, 본 발명의 실시예에 따른 모드 구별부(120)는 신호 감지 모듈(121), 제1 모드 판단 모듈(122), 피크 면적 산출 모듈(123) 및 제2 모드 판단 모듈(124)을 포함할 수 있다.
신호 감지 모듈(121)은 비접촉 제스처 동작에 의해 발생하는 감지 신호의 신호 변화를 감지할 수 있다.
예를 들면, 신호 감지 모듈(121)은 비접촉 제스처 동작에 의해 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속, 단절 및 신호 세기에 기반하여 시간에 따른 하강피크의 발생, 횟수 및 면적의 신호 변화를 감지할 수 있다. 이 때, 신호 감지 모듈(121)은 횡모션 및 거리모션의 비접촉 제스처 동작에 따른 단일의 하강피크를 감지하고, 횡반복모션의 비접촉 제스처 동작에 따른 복수의 하강피크를 감지할 수 있다.
일 예로, 모드 구별부(120)의 제1 모드 판단 모듈(122)은 신호 감지 모듈(121)로부터 감지된 신호 변화와, 기 설정된 세팅 고정값을 나타내는 진동 그래프 변화에 기초하여 횡단모드 및 커버모드를 판단할 수 있다. 이 때, 기 설정된 세팅 고정값은 횡모션 또는 거리모션을 구별하기 위해 기 설정된 값일 수 있으며, 사용자 또는 관리자에 의해 변동 가능하므로, 한정되는 값은 아니다.
예를 들면, 제1 모드 판단 모듈(122)은 세팅 고정값과, 신호 변화에 따라 발생된 하강피크의 반복 여부에 기반하여 횡모션의 비접촉 제스처 동작에 따른 횡단모드 또는 거리모션의 비접촉 제스처 동작에 따른 커버모드를 판단할 수 있다. 보다 상세하게는, 제1 모드 판단 모듈(122)은 기 설정된 세팅 고정값과 비접촉 제스처 동작에 의해 발생된 감지 신호의 하강피크가 반복적으로 발생하는 경우, 횡모션 또는 횡반복모션의 비접촉 제스처 동작에 따른 횡단모드를 판단할 수 있다. 반면에, 제1 모드 판단 모듈(122)은 감지 신호에서 기 설정된 세팅 고정값과 하강피크가 발생하지 않은 경우, 거리모션의 비접촉 제스처 동작에 따른 커버모드를 판단할 수 있다.
다른 예로, 모드 구별부(120)의 피크 면적 산출 모듈(123)은 신호 감지 모듈(121)로부터 감지된 신호 변화에 따른 하강피크의 면적을 산출할 수 있다.
예를 들면, 피크 면적 산출 모듈(123)은 감지된 하강피크에 따른 횡모션 및 거리모션을 구별하기 위해, 하기의 [수식 1]로부터 하강피크에 대한 주기당 면적을 산출하고, 산출된 면적을 일정 모니터링 샘플 수에 대응되게 획득할 수 있다.
[수식 1]
하강피크의 주기당 면적 = 샘플주기 × 거리
이후, 제2 모드 판단 모듈(124)은 산출된 면적 값과 기 설정된 임계값을 비교하여 횡단모드 및 커버모드를 판단할 수 있다.
예를 들면, 제2 모드 판단 모듈(124)은 피크 면적 산출 모듈(123)로부터 산출된 면적 값이 기 설정된 임계값보다 작으면 횡모션의 비접촉 제스처 동작에 따른 횡단모드로 판단하고, 산출된 면적 값이 기 설정된 임계값보다 크면 거리모션의 비접촉 제스처 동작에 따른 커버모드로 판단할 수 있다. 이 때, 기 설정된 임계값은 횡모션에 따른 횡단모드 및 거리모션에 따른 커버모드를 구별하기 위해 설정한 임의의 값이므로, 한정되지 않는다.
다시 도 1을 참조하면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템(100)의 제어부(130)는 횡단모드 및 커버모드에 대응하는 비접촉 인터페이스 기능을 제어한다.
이 때, 제어부(130)는 횡단모드에 대응하는 모드 변환의 비접촉 인터페이스 기능을 제어하고, 커버모드에 대응하는 양 조절의 비접촉 인터페이스 기능을 제어할 수 있다.
예를 들면, 제어부(130)는 횡단모드(횡모션 및 횡반복모션) 또는 커버모드 각각에 대응하는 작동 온(on)/오프(off), 양 조절, 모드 변환, 페이지 넘김, 줌 인(Zoom In)/아웃(Zoom Out), 커서 제어, 스크롤 제어, 탭(Tab), 캐릭터 제어, 버튼 입력, 데이터 전송, 화면 전환 및 데이터 전환 중 적어도 어느 하나 이상의 비접촉 인터페이스 기능을 부가할 수 있다. 다만, 상기 비접촉 인터페이스 기능은 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템(100)이 적용되는 기기 및 시스템에 따라 다양하게 변동 가능하므로, 이에 한정되지 않는다.
또한, 제어부(130)는 감지 신호로부터 감지되는 신호 변화를 기반으로, 진동 그래프 변화를 이용하여 모드를 판단하는 모드 구별부(120)의 제1 모드 판단 모듈(122) 또는 모드 알고리즘을 이용하여 모드를 판단하는 모드 구별부(120)의 제2 모드 판단 모듈(124)의 동작을 제어할 수 있다.
예를 들면, 제어부(130)는 신호 감지 모듈(121)로부터 감지되는 신호 변화를 기반으로 신호 변화와, 기 설정된 세팅 고정값을 나타내는 진동 그래프 변화가 분명한 경우, 제1 모드 판단 모듈(122)을 통해 횡단모드 및 커버모드를 판단하도록 제어할 수 있다. 반면에, 제어부(130)는 제1 모드 판단 모듈(122)을 통해 횡단모드 및 커버모드의 구별이 불가능하거나, 정확도가 낮은 경우(예를 들면, 판단 결과에 대한 정확도가 70% 미만인 경우), 피크 면적 산출 모듈(123) 및 제2 모드 판단 모듈(124)을 통해 횡단모드 및 커버모드를 판단하도록 제어할 수 있다.
또 다른 예로, 본 발명의 비접촉 제스처 인식 시스템(100)은 관리자에 의해 설정된 판단 모듈을 통해 횡단모드 및 커버모드를 판단할 수 있으며, 제1 모드 판단 모듈(122) 및 제2 모드 판단 모듈(124)이 동시에 동작되도록 제어할 수도 있다. 다만, 실시예에 따라서는 본 발명의 비접촉 제스처 인식 시스템(100)이 적용되는 기기 및 시스템의 전력 또는 환경에 기반하여 제1 모드 판단 모듈(122) 및 제2 모드 판단 모듈(124) 중 보다 효율적인 판단 모듈을 사용하여 횡단모드 및 커버모드를 판단하도록 설정 및 제어할 수도 있다.
실시예에 따라서, 본 발명의 비접촉 제스처 인식 시스템(100)은 도 1 및 도 2에 도시된 컴포넌트 외에 초음파 트랜스듀서(transducer), ADC(Analog­Digital Converter), 마이콤의 컴포넌트들을 더 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 비접촉 제스처 동작의 예를 설명하기 위해 도시한 것이다.
도 3을 참조하면, 본 발명은 싱글 채널의 초음파 센서(301)를 이용하여 사용자의 횡모션(310), 횡반복모션(320) 및 거리모션(330)의 비접촉 제스처 동작을 감지한다. 이 때, 싱글 채널의 초음파 센서(301)는 싱글 채널(1채널)의 초음파 센서이며, 송수신이 분리된 1채널 송신 및 1채널 수신을 포함하는 초음파 센서, 또는 송수신이 결합된 1채널의 송수신을 포함하는 초음파 센서일 수 있다.
보다 상세하게는, 도 3(a)를 참조하면, 싱글 채널의 초음파 센서(301)에서 연속적으로 조사되는 빔을 중심으로 사용자의 손이 빔의 좌측에서 우측으로, 또는 우측에서 좌측으로 이동하는 경우, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서(301)에서 조사되는 빔의 일시적인 단절 현상에 따라 횡모션(310)을 감지하고, 횡모션(310)의 비접촉 제스처 동작에 따른 횡단모드를 구별할 수 있다.
또한, 도 3(b)를 참조하면, 싱글 채널의 초음파 센서(301)에서 연속적으로 조사되는 빔을 중심으로 사용자의 손이 빔의 좌측에서 우측으로, 그리고 다시 좌측으로 이동하는 경우 또는 우측에서 좌측으로, 그리고 다시 우측으로 이동하는 경우, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서(301)에서 조사되는 빔의 일시적인 단절 현상 및 빔의 연속 현상의 반복에 따라 횡반복모션(320)을 감지하고, 횡반복모션(320)의 비접촉 제스처 동작에 따른 횡단모드(또는 '횡반복모드'라 칭할 수 있음)를 구별할 수 있다.
또한, 도 3(c)를 참조하면, 싱글 채널의 초음파 센서(301)의 위치를 중심으로 사용자의 손이 싱글 채널의 초음파 센서(301)에 근접하다 멀어지거나, 멀어지다 근접하는 경우, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서(301)의 근접 상태에 따라 달라지는 신호 세기에 기반하여 거리모션(330)을 감지하고, 거리모션(330)의 비접촉 제스처 동작에 따른 커버모드를 구별할 수 있다.
도 4는 본 발명의 실시예에 따른 신호 변화에 기반하여 횡모션 및 거리모션을 구별하는 예를 설명하기 위해 도시한 것이다.
도 4를 참조하면, 도 4의 상단 그래프는 싱글 채널의 초음파 센서를 기준으로 좌측에서 우측으로 이동한 횡모션에 따른 진동 그래프 변화를 나타내고, 도 4의 중간 그래프는 싱글 채널의 초음파 센서를 기준으로 근접 ­ 멀어지는 거리모션에 따른 진동 그래프 변화를 나타낸다. 또한, 도 4의 하단 그래프는 횡모션 및 거리모션이 모두 발생한 경우의 진동 그래프 변화를 나타낸다.
도 4의 상단 그래프를 참조하면, 진동 그래프 변화에서 세팅 고정값(401) 및 급변화 구간(402)을 확인할 수 있다. 이 때, 급변화 구간(402)은 횡모션 또는 횡반복 모션의 비접촉 제스처 동작에 의해 발생할 수 있으며, 하강피크를 의미할 수 있다. 즉, 도 4의 상단 그래프와 같이 세팅 고정값(401) ­ 급변화 구간(402) ­ 세팅 고정값(401)이 연속적으로 나타나는 경우, 본 발명은 좌측에서 우측으로, 또는 우측에서 좌측으로 이동한 횡모션의 비접촉 제스처 동작을 감지할 수 있다.
도 4의 중간 그래프를 참조하면, 세팅 고정값(401) 및 급변화 구간(402)이 명확하지 않은 진동 그래프 변화(403)를 참조할 수 있다. 즉, 도 4의 중간 그래프와 같이 세팅 고정값(401) 및 급변화 구간(402)이 존재하지 않은 경우, 본 발명은 싱글 채널의 초음파 센서에 근접 ­ 멀어지는 거리모션의 비접촉 제스처 동작을 감지할 수 있다.
도 4의 하단 그래프를 참조하면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 횡모션의 그래프(404) 및 거리모션의 그래프(405)를 기반으로 비접촉 제스처 동작의 연속성 및 가변성을 감지할 수 있으며, 이에 따라서 횡모션의 비접촉 제스처 동작 및 거리모션의 비접촉 제스처 동작의 동작 변형을 감지할 수 있다.
도 5는 본 발명의 실시예에 따른 신호 변화에 기반하여 횡모션 및 횡반복모션을 구별하는 예를 설명하기 위해 도시한 것이다.
도 5를 참조하면, 싱글 채널의 초음파 센서로부터 조사되는 빔을 기준으로 사용자의 손이 좌측에서 우측으로, 또는 우측에서 좌측으로 이동하는 횡모션의 경우, 감지 신호 상에 하나의 하강피크(510)가 나타난다.
또한, 싱글 채널의 초음파 센서로부터 조사되는 빔을 기준으로 사용자의 손이 빔의 좌측에서 우측으로, 그리고 다시 좌측으로 이동하는 경우, 또는 우측에서 좌측으로, 그리고 다시 우측으로 이동하는 경우, 감지 신호 상에 두 개의 하강피크(520)가 나타난다.
이에 따라서, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 비접촉 제스처 동작에 따라 감지되는 감지 신호 상의 하강피크의 개수 및 형태에 기반하여 횡모션 및 횡반복모션을 감지 및 구별할 수 있다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 하강피크의 면적을 산출하여 횡모션 및 거리모션을 구별하는 예를 설명하기 위해 도시한 것이다.
보다 상세하게는, 도 6a는 비접촉 제스처 동작에 의해 발생하는 감지 신호의 신호 변화의 예를 도시한 것이고, 도 6b는 신호 변화에 따라 발생된 하강피크의 면적을 산출하는 예를 도시한 것이다.
도 6a를 참조하면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 비접촉 제스처 동작에 의해 발생하는 감지 신호에서 제1 하강피크(610) 및 제2 하강피크(620)를 감지할 수 있다.
이 때, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 제1 하강피크(610) 및 제2 하강피크(620)로부터 횡단모드 또는 커버모드를 판단하기 위해, 도 6b에 도시된 바와 같이 하강피크의 면적을 산출할 수 있다.
예를 들면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 제1 하강피크(610)에 대한 제1 하강피크의 면적(611)을 산출하고, 제2 하강피크(620)에 대한 제2 하강피크의 면적(621)을 산출할 수 있다. 이 때, 하강피크의 면적(611, 621)은 앞서 전술한 [수식 1]에 의해 산출될 수 있으며, 주기당 면적으로 일정 모니터링 샘플 수에 대응되도록 산출될 수 있다.
즉, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 산출된 제1 하강피크의 면적(611) 및 제2 하강피크의 면적(621)과, 기 설정된 임계값을 비교하여 횡단모드 및 커버모드를 판단할 수 있다.
예를 들면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 산출된 제1 하강피크의 면적(611) 및 제2 하강피크의 면적(621)과, 기 설정된 임계값을 비교하고, 비교 결과 제1 하강피크의 면적(611)이 기 설정된 임계값보다 작으므로, 본 발명은 제1 하강피크(610)가 횡모션의 비접촉 제스처 동작에 의해 발생된 것임을 감지할 수 있으며, 제1 하강피크(610)에 따른 횡단모드를 판단할 수 있다.
나아가, 본 발명은 횡모션에 대한 보다 정확한 판단을 위해 두 단계의 판단 과정을 더 적용할 수 있다. 예를 들면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 제1 단계에서, 산출된 제1 하강피크의 면적(611)이 기 설정된 임계값(예를 들면, 임계값 1)보다 작은 경우, 제2 단계에서, 기 설정된 임계값 2와 제1 하강피크(610)의 초기값 변화율을 비교할 수 있다. 이후, 비교 결과에 따른 제1 하강피크(610)의 초기값 변화율이 기 설정된 임계값 2보다 큰 경우, 제1 하강피크(610)가 횡모션의 비접촉 제스처 동작에 의해 발생된 것임을 감지할 수 있으며, 제1 하강피크(610)에 따른 횡단모드를 판단할 수 있다.
또 다른 예로, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 산출된 제1 하강피크의 면적(611) 및 제2 하강피크의 면적(621)과, 기 설정된 임계값을 비교하고, 비교 결과 제2 하강피크의 면적(621)이 기 설정된 임계값보다 크므로, 본 발명은 제2 하강피크(620)가 거리모션의 비접촉 제스처 동작에 의해 발생된 것임을 감지할 수 있으며, 제2 하강피크(620)에 따른 커버모드로 판단할 수 있다.
다만, 기 설정된 임계값(임계값 1, 임계값 2 포함)은 횡모션 및 거리모션을 구별하기 위해 설정된 값이며, 사용자 또는 관리자에 의해 변동 가능하므로, 한정되지 않는다.
도 7은 본 발명의 실시예에 따른 비접촉 제스처 동작에 따른 디커플링(decoupling)의 예를 도시한 것이다.
도 7을 참조하면, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 비접촉 제스처 동작에 의해 발생하는 감지 신호의 신호 변화를 기반으로 횡모션(710), 횡반복모션(720) 및 거리모션(730)을 감지할 수 있으며, 감지된 횡모션(710) 및 횡반복모션(720)에 따른 횡단모드를 판단하고, 감지된 거리모션(730)에 따른 커버모드를 판단할 수 있다.
이후, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 판단된 횡단모드 및 커버모드 각각에 대응하는 비접촉 인터페이스 기능을 제어할 수 있다.
이하에서는 도 8 내지 도 10을 참조하여 본 발명이 적용되는 기기 및 시스템에 따라 적용되는 비접촉 인터페이스 기능에 대해 상세히 설명하고자 한다.
도 8 내지 도 10은 비접촉 인터페이스 기능의 예를 도시한 것이다.
보다 구체적으로, 도 8은 본 발명이 자동수도꼭지에 적용되는 경우, 제공되는 비접촉 인터페이스 기능의 예를 도시한 것이고, 도 9는 본 발명이 전자도어락에 적용되는 경우, 제공되는 비접촉 인터페이스 기능의 예를 도시한 것이며, 도 10은 본 발명이 PC 마우스에 적용되는 경우, 제공되는 비접촉 인터페이스 기능의 예를 도시한 것이다.
도 8을 참조하면, 자동수도꼭지에 적용된 본 발명의 일실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서에서 사용자의 신체 일부까지 일정 거리가 유지되는 경우, 수도 작동을 온(on)/오프(off)할 수 있다.
또한, 본 발명의 일실시예에 따른 비접촉 제스처 인식 시스템은 자동수도꼭지에 포함된 싱글 채널의 초음파 센서를 기준으로 사용자의 손이 근접하다 멀어지는 거리변화모션에 따라 물줄기 량을 제어할 수 있고, 거리모션의 진동 반복에 따라 물줄기 패턴을 제어할 수 있다.
또한, 본 발명의 일실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서를 기준으로 좌측에서 우측으로, 또는 우측에서 좌측으로 이동하는 횡모션 및 좌측 ­ 우측 ­ 좌측, 또는 우측 ­ 좌측 ­ 우측으로 이동하는 횡반복모션에 따라 비눗물 작동을 제어하거나, 물 온도를 제어할 수 있다.
도 9를 참조하면, 전자도어락에 적용된 본 발명의 다른 실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서에서 사용자의 신체 일부까지 일정 거리가 유지되는 경우, 웨이크닝(Wakening) 모드를 활성화할 수 있다.
또한, 본 발명의 다른 실시예에 따른 비접촉 제스처 인식 시스템은 전자도어락에 포함된 싱글 채널의 초음파 센서를 기준으로 사용자의 손이 근접하다 멀어지는 거리모션에 따라 모니터를 줌인(Zoom In)/줌아웃(Zoom Out)할 수 있다.
또한, 본 발명의 다른 실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서를 기준으로 좌측에서 우측으로, 또는 우측에서 좌측으로 이동하는 횡모션에 따라 모니터에 대한 왼쪽 페이지 전환을 제어할 수 있고, 좌측 ­ 우측 ­ 좌측, 또는 우측 ­ 좌측 ­ 우측으로 이동하는 횡반복모션에 따라 모니터에 대한 오른쪽 페이지 전환을 제어할 수 있다.
도 10을 참조하면, PC 마우스에 적용된 본 발명의 또 다른 실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서에서 사용자의 신체 일부까지 일정 거리가 유지되는 경우, 웨이크닝(Wakening) 모드를 활성화할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 비접촉 제스처 인식 시스템은 PC 마우스에 포함된 싱글 채널의 초음파 센서를 기준으로 사용자의 손이 근접하다 멀어지는 거리모션에 따라 PC 모니터를 줌인(Zoom In)/줌아웃(Zoom Out)할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 비접촉 제스처 인식 시스템은 싱글 채널의 초음파 센서를 기준으로 좌측에서 우측으로, 또는 우측에서 좌측으로 이동하는 횡모션에 따라 PC 모니터에 대한 왼쪽 페이지 전환을 제어할 수 있고, 좌측 ­ 우측 ­ 좌측, 또는 우측 ­ 좌측 ­ 우측으로 이동하는 횡반복모션에 따라 PC 모니터에 대한 오른쪽 페이지 전환을 제어할 수 있다.
즉, 도 8 내지 도 10에 전술한 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 사용자의 횡모션, 횡반복모션 및 거리모션뿐만 아니라, 정지모션, 거리변화모션, 거리진동모션(거리모션의 진동 반복) 각각에 대응하는 다양한 비접촉 인터페이스 기능을 제공할 수 있다. 나아가, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 횡모션, 횡반복모션 및 거리모션을 기본으로 하며, 기본 모션에서 반복, 거리 변화, 진동 변화 및 위치 변화에 따른 세부적인 비접촉 제스처 동작을 감지하고, 감지된 비접촉 제스처 동작에 따른 모드를 구별하여 보다 다양한 비접촉 인터페이스 기능을 부가할 수 있다.
또한, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 도 8 내지 도 10에 도시된 비접촉 인터페이스 기능에 한정되지 않으며, 본 발명이 적용되는 기기, 시스템 및 관리자 설정에 따라 보다 다양하거나 새로운 비접촉 인터페이스 기능을 포함할 수도 있다.
또한, 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템은 자동수도꼭지, 전자도어락 및 PC 마우스 외에 사물인터넷(Internet of Things, IoT) 기기, 스마트 냉장고, 모바일, 엘리베이터 스위치 및 로봇(robot)에 적용될 수 있다. 즉, 본 발명은 사용자의 선택 입력에 대응하여 인터페이스 기능을 제공하는 모든 기기, 장치, 시스템 및 컴퓨터 프로그램에 적용 가능하므로, 이에 한정되지 않는다.
도 11 내지 도 13은 본 발명의 실시예에 따른 비접촉 제스처 인식 방법의 흐름도를 도시한 것이다.
도 11 내지 도 13에 도시된 방법은 도 1 및 도 2에 도시된 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템에 의해 수행된다. 보다 상세하게는, 도 12 및 도 13에 도시된 방법은 도 2에 도시된 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템의 모드 구별부에 의해 수행될 수 있다.
도 11을 참조하면, 단계 1110에서 싱글 채널의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지한다.
이 때, 싱글 채널의 초음파 센서는 싱글 채널(1채널)의 초음파 센서이며, 송수신이 분리된 1채널 송신 및 1채널 수신을 포함하는 초음파 센서, 또는 송수신이 결합된 1채널의 송수신을 포함하는 초음파 센서일 수 있다. 다만, 초음파 센서의 종류는 한정되지 않으며, 싱글 채널을 사용하는 초음파 센서이면 가능하다.
예를 들면, 단계 1110은 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속 및 단절에 기반하여 횡모션, 횡반복모션 및 거리모션의 비접촉 제스처 동작을 감지하는 단계일 수 있다.
단계 1120에서 비접촉 제스처 동작에 의해 싱글 채널의 초음파 센서로부터 감지되는 감지 신호를 분석하여 횡단모드 및 커버모드를 구별한다.
일 예로, 단계 1121에서 비접촉 제스처 동작에 의해 발생하는 감지 신호의 신호 변화를 감지할 수 있다.
예를 들면, 단계 1121은 비접촉 제스처 동작에 의해 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속, 단절 및 신호 세기에 기반하여 시간에 따른 하강피크의 발생, 횟수 및 면적의 신호 변화를 감지하는 단계일 수 있다. 또한, 단계 1121은 횡모션 및 거리모션의 비접촉 제스처 동작에 따른 단일의 하강피크를 감지하고, 횡반복모션의 비접촉 제스처 동작에 따른 복수의 하강피크를 감지할 수 있다.
이후, 단계 1122에서 기 설정된 세팅 고정값과 신호 변화를 나타내는 진동 그래프 변화에 기초하여 횡단모드 및 커버모드를 판단할 수 있다.
예를 들면, 단계 1122은 단계 1121에서 감지된 신호 변화와, 기 설정된 세팅 고정값을 나타내는 진동 그래프 변화에 기초하여 횡단모드 및 커버모드를 판단하는 단계일 수 있다. 보다 구체적으로, 단계 1122은 기 설정된 세팅 고정값과 비접촉 제스처 동작에 의해 발생된 감지 신호의 하강피크가 반복적으로 발생하는 경우, 횡모션 또는 횡반복모션의 비접촉 제스처 동작에 따른 횡단모드를 판단할 수 있다. 반면에, 단계 1122은 감지 신호에서 기 설정된 세팅 고정값과 하강피크가 발생하지 않은 경우, 거리모션의 비접촉 제스처 동작에 따른 커버모드를 판단할 수 있다.
다른 예로, 단계 1123에서 비접촉 제스처 동작에 의해 발생하는 감지 신호의 신호 변화를 감지할 수 있다. 이 때, 단계 1123은 단계 1121와 동일한 동작을 수행한다.
이후, 단계 1124에서 신호 변화에 따른 하강피크의 면적을 산출할 수 있다.
예를 들면, 단계 1124는 감지된 하강피크에 따른 횡모션 및 거리모션을 구별하기 위해, 앞서 전술한 [수식 1]로부터 하강피크에 대한 주기당 면적을 산출하고, 산출된 면적을 일정 모니터링 샘플 수에 대응되게 획득하는 단계일 수 있다.
이후, 단계 1125에서 산출된 면적 값과 기 설정된 임계값을 비교하여 횡단모드 및 커버모드를 판단할 수 있다.
예를 들면, 단계 1125는 [수식 1]에 의해 산출된 면적 값이 기 설정된 임계값보다 작으면 횡모션의 비접촉 제스처 동작에 따른 횡단모드로 판단하고, 산출된 면적 값이 기 설정된 임계값보다 크면 거리모션의 비접촉 제스처 동작에 따른 커버모드로 판단하는 단계일 수 있다. 이 때, 기 설정된 임계값은 횡모션에 따른 횡단모드 및 거리모션에 따른 커버모드를 구별하기 위해 설정한 임의의 값이므로, 한정되지 않는다.
다시 도 11을 참조하면, 단계 1130에서 횡단모드 및 커버모드 각각에 대응하는 비접촉 인터페이스 기능을 제어한다.
예를 들면, 단계 1130은 횡단모드에 대응하는 모드 변환의 비접촉 인터페이스 기능을 제어하고, 커버모드에 대응하는 양 조절의 비접촉 인터페이스 기능을 제어하는 단계일 수 있다.
다만, 본 발명의 실시예에 따른 비접촉 제스처 인식 방법은 단계 1130에서, 횡단모드(횡모션 및 횡반복모션) 또는 커버모드 각각에 대응하는 작동 온(on)/오프(off), 양 조절, 모드 변환, 페이지 넘김, 줌 인(Zoom In)/아웃(Zoom Out), 커서 제어, 스크롤 제어, 탭(Tab), 캐릭터 제어, 버튼 입력, 데이터 전송, 화면 전환 및 데이터 전환 중 적어도 어느 하나 이상의 비접촉 인터페이스 기능을 부가하여 제어할 수 있다. 다만, 상기 비접촉 인터페이스 기능은 본 발명의 실시예에 따른 비접촉 제스처 인식 시스템이 적용되는 기기 및 시스템에 따라 다양하게 변동 가능하므로, 이에 한정되지 않는다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 3차원(3D) 제스쳐를 인식하는 비접촉 제스처 인식 시스템에 있어서,
    싱글 채널(1채널)의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지하는 동작 감지부;
    상기 비접촉 제스처 동작에 의해 상기 싱글 채널의 초음파 센서로부터 감지되는 감지 신호를 분석하여 횡단모드 및 커버모드를 구별하는 모드 구별부; 및
    상기 횡단모드 및 상기 커버모드 각각에 대응하는 비접촉 인터페이스 기능을 제어하는 제어부
    를 포함하는 비접촉 제스처 인식 시스템.
  2. 제1항에 있어서,
    상기 싱글 채널의 초음파 센서는
    송수신이 분리된 1채널 송신 및 1채널 수신을 포함하는 초음파 센서, 또는 송수신이 결합된 1채널의 송수신을 포함하는 초음파 센서인 것을 특징으로 하는 비접촉 제스처 인식 시스템.
  3. 제1항에 있어서,
    상기 동작 감지부는
    저전력 PIR(Passive Infrared Ray) 센서를 이용하여 사용자의 근접을 인지한 후, 상기 싱글 채널의 초음파 센서를 활성화하여 상기 비접촉 제스처 동작을 감지하는 것을 특징으로 하는 비접촉 제스처 인식 시스템.
  4. 제1항에 있어서,
    상기 동작 감지부는
    상기 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속 및 단절에 기반하여 횡모션, 횡반복모션 및 거리모션의 상기 비접촉 제스처 동작을 감지하는 비접촉 제스처 인식 시스템.
  5. 제1항에 있어서,
    상기 모드 구별부는
    상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 신호 감지 모듈; 및
    기 설정된 세팅 고정값과, 상기 신호 변화를 나타내는 진동 그래프 변화에 기초하여 상기 횡단모드 및 상기 커버모드를 판단하는 제1 모드 판단 모듈
    을 포함하는 비접촉 제스처 인식 시스템.
  6. 제5항에 있어서,
    상기 제1 모드 판단 모듈은
    상기 세팅 고정값과, 상기 신호 변화에 따라 발생된 하강피크의 반복 여부에 기반하여 횡모션의 상기 비접촉 제스처 동작에 따른 상기 횡단모드 또는 거리모션의 상기 비접촉 제스처 동작에 따른 상기 커버모드를 판단하는 비접촉 제스처 인식 시스템.
  7. 제1항에 있어서,
    상기 모드 구별부는
    상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 신호 감지 모듈;
    상기 신호 변화에 따른 하강피크의 면적을 산출하는 피크 면적 산출 모듈; 및
    상기 산출된 면적 값과 기 설정된 임계값을 비교하여 상기 횡단모드 및 상기 커버모드를 판단하는 제2 모드 판단 모듈
    을 포함하는 비접촉 제스처 인식 시스템.
  8. 제7항에 있어서,
    상기 신호 감지 모듈은
    상기 비접촉 제스처 동작에 의해 상기 싱글 채널의 초음파 센서로부터 조사되는 빔의 연속 및 단절에 기반하여 시간에 따른 하강피크의 발생, 횟수 및 면적의 상기 신호 변화를 감지하는 비접촉 제스처 인식 시스템.
  9. 제8항에 있어서,
    상기 신호 감지 모듈은
    횡모션 및 거리모션의 상기 비접촉 제스처 동작에 따른 단일의 하강피크를 감지하고, 횡반복모션의 상기 비접촉 제스처 동작에 따른 복수의 하강피크를 감지하는 것을 특징으로 하는 비접촉 제스처 인식 시스템.
  10. 제9항에 있어서,
    상기 피크 면적 산출 모듈은
    상기 감지된 단일의 하강피크에 따른 상기 횡모션 및 상기 거리모션을 구별하기 위해, 상기 감지 신호의 샘플주기 및 거리의 곱으로 상기 감지된 단일의 하강피크에 대한 상기 하강피크의 면적을 산출하는 비접촉 제스처 인식 시스템.
  11. 제10항에 있어서,
    상기 제2 모드 판단 모듈은
    상기 산출된 면적 값이 상기 기 설정된 임계값보다 작으면 상기 횡모션의 비접촉 제스처 동작에 따른 상기 횡단모드로 판단하고, 상기 산출된 면적 값이 상기 기 설정된 임계값보다 크면 상기 거리모션의 비접촉 제스처 동작에 따른 상기 커버모드로 판단하는 비접촉 제스처 인식 시스템.
  12. 제1항에 있어서,
    상기 제어부는
    상기 횡단모드에 대응하는 모드 변환의 상기 비접촉 인터페이스 기능을 제어하고, 상기 커버모드에 대응하는 양 조절의 상기 비접촉 인터페이스 기능을 제어하는 것을 특징으로 하는 비접촉 제스처 인식 시스템.
  13. 제1항에 있어서,
    상기 제어부는
    상기 감지 신호로부터 감지되는 신호 변화를 기반으로, 진동 그래프 변화를 이용하여 모드를 판단하는 상기 모드 구별부의 제1 모드 판단 모듈을 제어하거나, 모드 알고리즘을 이용하여 모드를 판단하는 상기 모드 구별부의 제2 모드 판단 모듈을 제어하는 비접촉 제스처 인식 시스템.
  14. 제1항에 있어서,
    상기 비접촉 제스처 인식 시스템은
    모바일 장착 시, 초소형 저전력을 위한 저전력 pMUT(Piezo Micomachied Ultrasonic Transducer) 초음파를 포함하는 것을 특징으로 하는 비접촉 제스처 인식 시스템.
  15. 제1항에 있어서,
    상기 비접촉 제스처 인식 시스템은
    자동수도꼭지, 전자도어락, 사물인터넷(Internet of Things, IoT) 기기, PC 마우스, 스마트 냉장고, 모바일 및 스위치 중 적어도 어느 하나에 적용되어 상기 비접촉 인터페이스 기능을 제공하는 것을 특징으로 하는 비접촉 제스처 인식 시스템.
  16. 3차원(3D) 제스쳐를 인식하는 비접촉 제스처 인식 시스템의 동작 방법에 있어서,
    싱글 채널(1채널)의 초음파 센서를 이용하여 비접촉 제스처 동작을 감지하는 단계;
    상기 비접촉 제스처 동작에 의해 상기 싱글 채널의 초음파 센서로부터 감지되는 감지 신호를 분석하여 횡단모드 및 커버모드를 구별하는 단계; 및
    상기 횡단모드 및 상기 커버모드 각각에 대응하는 비접촉 인터페이스 기능을 제어하는 단계
    를 포함하는 비접촉 제스처 인식 방법.
  17. 제16항에 있어서,
    상기 횡단모드 및 커버모드를 구별하는 단계는
    상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 단계; 및
    기 설정된 세팅 고정값과, 상기 신호 변화를 나타내는 진동 그래프 변화에 기초하여 상기 횡단모드 및 상기 커버모드를 판단하는 단계
    를 포함하는 비접촉 제스처 인식 방법.
  18. 제16항에 있어서,
    상기 횡단모드 및 커버모드를 구별하는 단계는
    상기 비접촉 제스처 동작에 의해 발생하는 상기 감지 신호의 신호 변화를 감지하는 단계;
    상기 신호 변화에 따른 하강피크의 면적을 산출하는 단계; 및
    상기 산출된 면적 값이 기 설정된 임계값보다 작으면 상기 횡단모드로 판단하고, 상기 산출된 면적 값이 상기 기 설정된 임계값보다 크면 상기 커버모드로 판단하는 단계
    를 포함하는 비접촉 제스처 인식 방법.
  19. 제16항 내지 제18항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020170098867A 2017-08-04 2017-08-04 비접촉 제스처 인식 시스템 및 그 방법 KR102011565B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170098867A KR102011565B1 (ko) 2017-08-04 2017-08-04 비접촉 제스처 인식 시스템 및 그 방법
US16/053,500 US20190041994A1 (en) 2017-08-04 2018-08-02 Contactless gesture recognition system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170098867A KR102011565B1 (ko) 2017-08-04 2017-08-04 비접촉 제스처 인식 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190014839A true KR20190014839A (ko) 2019-02-13
KR102011565B1 KR102011565B1 (ko) 2019-08-16

Family

ID=65229506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170098867A KR102011565B1 (ko) 2017-08-04 2017-08-04 비접촉 제스처 인식 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US20190041994A1 (ko)
KR (1) KR102011565B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10608632B2 (en) * 2017-10-17 2020-03-31 Trustees Of Dartmouth College Infrared-based gesture sensing and detection systems, and apparatuses, software, and methods relating to same
KR20210138414A (ko) 2020-05-12 2021-11-19 양경옥 스마트폰에 표시되는 목적층의 숫자로 엘리베이터 호출 및 운송부하 분석 장치 및 방법
CN111722715A (zh) * 2020-06-17 2020-09-29 上海思立微电子科技有限公司 一种手势控制系统及电子设备
KR20210157217A (ko) 2020-06-19 2021-12-28 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220006796A (ko) 2020-07-09 2022-01-18 양경옥 스마트폰의 목적층 숫자로 부터 엘리베이터를 호출하는 카메라를 구비한 엘리베이터의 제어장치 및 방법
KR20220013803A (ko) 2020-07-27 2022-02-04 양경옥 스마트폰 화면상의 목표 층수를 판독하는 카메라를 구비하여 승객 운송부하를 분석하는 엘리베이터의 제어 장치 및 방법
CN112860070A (zh) * 2021-03-03 2021-05-28 北京小米移动软件有限公司 设备交互方法、设备交互装置、存储介质及终端
CN113126772B (zh) * 2021-05-07 2023-05-09 深圳电目科技有限公司 移动开关的手势控制方法和系统
CN115981454A (zh) * 2021-10-13 2023-04-18 华为技术有限公司 非接触式手势控制方法和电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105671A (ko) * 2010-03-19 2011-09-27 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
KR20120025904A (ko) * 2010-09-08 2012-03-16 고려대학교 산학협력단 언터치 방식의 제스쳐 인식 방법 및 장치
KR101196291B1 (ko) 2010-07-26 2012-11-09 이종우 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법
KR20130033426A (ko) * 2010-06-29 2013-04-03 퀄컴 인코포레이티드 연속파 초음파 신호들을 이용한 무접촉식 감지 및 제스쳐 인식
KR20140113314A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 전자 장치에서 제스처를 인식하는 방법 및 장치
KR20140140014A (ko) * 2012-03-01 2014-12-08 퀄컴 인코포레이티드 다수의 유형의 센서들로부터의 정보에 기초한 제스처 검출
WO2015009958A1 (en) * 2013-07-18 2015-01-22 Google Inc. Systems and methods for detecting gesture events in a hazard detection system
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR20150139235A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 전자 기기 및 그 제어 방법
KR20160096648A (ko) * 2013-12-12 2016-08-16 퀄컴 인코포레이티드 마이크로기계식 초음파 트랜스듀서 및 디스플레이
KR20160097410A (ko) * 2015-02-06 2016-08-18 이강우 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105671A (ko) * 2010-03-19 2011-09-27 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
KR101194883B1 (ko) 2010-03-19 2012-10-25 김은주 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
KR20130033426A (ko) * 2010-06-29 2013-04-03 퀄컴 인코포레이티드 연속파 초음파 신호들을 이용한 무접촉식 감지 및 제스쳐 인식
KR101196291B1 (ko) 2010-07-26 2012-11-09 이종우 손가락의 움직임을 인식하여 ３ｄ인터페이스를 제공하는 단말기 및 그 방법
KR20120025904A (ko) * 2010-09-08 2012-03-16 고려대학교 산학협력단 언터치 방식의 제스쳐 인식 방법 및 장치
KR20140140014A (ko) * 2012-03-01 2014-12-08 퀄컴 인코포레이티드 다수의 유형의 센서들로부터의 정보에 기초한 제스처 검출
KR20140113314A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 전자 장치에서 제스처를 인식하는 방법 및 장치
WO2015009958A1 (en) * 2013-07-18 2015-01-22 Google Inc. Systems and methods for detecting gesture events in a hazard detection system
KR20160096648A (ko) * 2013-12-12 2016-08-16 퀄컴 인코포레이티드 마이크로기계식 초음파 트랜스듀서 및 디스플레이
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR20150139235A (ko) * 2014-06-03 2015-12-11 엘지전자 주식회사 전자 기기 및 그 제어 방법
KR20160097410A (ko) * 2015-02-06 2016-08-18 이강우 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치

Also Published As

Publication number Publication date
US20190041994A1 (en) 2019-02-07
KR102011565B1 (ko) 2019-08-16

Similar Documents

Publication Publication Date Title
KR20190014839A (ko) 비접촉 제스처 인식 시스템 및 그 방법
US11635840B2 (en) Determining touch applied to an ultrasonic sensor
US11720181B2 (en) Cursor mode switching
US9477324B2 (en) Gesture processing
US9696867B2 (en) Dynamic user interactions for display control and identifying dominant gestures
JP6333568B2 (ja) センサを用いる近接動作認識装置及びその装置を用いた方法
US20150078586A1 (en) User input with fingerprint sensor
US20110205151A1 (en) Methods and Systems for Position Detection
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
EP4307166A1 (en) Dynamic gesture recognition method, gesture interaction method, and interaction system
US9857878B2 (en) Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input
US20170083135A1 (en) Controlling user interface force
KR101450586B1 (ko) 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
TW201312422A (zh) 具軌跡偵測功能之光學觸控系統及方法
WO2014106862A2 (en) A method and system enabling control of different digital devices using gesture or motion control
KR101251730B1 (ko) 키보드를 이용한 컴퓨터 제어방법, 제어장치 및 이를 위한 프로그램 명령어가 기록된 기록매체
KR20170092020A (ko) 화면의 이동을 제어하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right