KR102045232B1 - 제스처 식별 방법, 장치, 프로그램 및 기록매체 - Google Patents

제스처 식별 방법, 장치, 프로그램 및 기록매체 Download PDF

Info

Publication number
KR102045232B1
KR102045232B1 KR1020177031107A KR20177031107A KR102045232B1 KR 102045232 B1 KR102045232 B1 KR 102045232B1 KR 1020177031107 A KR1020177031107 A KR 1020177031107A KR 20177031107 A KR20177031107 A KR 20177031107A KR 102045232 B1 KR102045232 B1 KR 102045232B1
Authority
KR
South Korea
Prior art keywords
ambient light
light sensor
gesture
shielded
change rule
Prior art date
Application number
KR1020177031107A
Other languages
English (en)
Other versions
KR20170132264A (ko
Inventor
구오쉥 리
웨이 선
종쉥 지앙
Original Assignee
베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 filed Critical 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Publication of KR20170132264A publication Critical patent/KR20170132264A/ko
Application granted granted Critical
Publication of KR102045232B1 publication Critical patent/KR102045232B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 제스처 식별 방법, 장치, 프로그램 및 기록매체에 관한 것이며, 표시 기술 분야에 속한다. 상기 방법은 주변광 센서가 분포되어 있는 터치 스크린을 포함한 단말에 적용되며, 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 각각의 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환되고 다시 차폐 상태에서 비차폐 상태로 전환된 것이 검출되면, 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별함으로써, 사용자가 터치 스크린 상에서 터치 조작을 수행하기 불편할 때 단말이 사용자가 수행한 조작 제스처를 식별할 수 없는 문제를 해결하여 제스처를 식별하는 방식이 증가되고 제스처를 식별하는 유연성을 향상시키는 효과를 가져올 수 있다.

Description

제스처 식별 방법, 장치, 프로그램 및 기록매체
본 발명은 표시 기술 분야에 관한 것이고, 특히 제스처 식별 방법, 장치, 프로그램 및 기록매체에 관한 것이다.
당해 출원은 출원번호가201610035203.3이며 출원일이 2016년01월19일인 중국특허출원을 기초로 우선권을 주장하고 해당 중국특허출원의 전체 내용은 본원 발명에 원용된다.
터치 스크린의 기술이 발전함과 더불어 터치 스크린이 구비한 기능도 점점 많아지고 있다. 예를 들어, 제스처 식별 기능이 그 중의 하나이다.
관련 기술에서, 터치 스크린은 먼저 사용자의 손가락이 상기 터치 스크린을 터치하는 터치 위치를 확정하고 그 다음 상기 터치 위치에 의해 사용자가 수행한 제스처를 식별한다.
본 발명은 관련 기술에 존재하는 문제를 해결하기 위해 제스처 식별 방법, 장치, 프로그램 및 기록매체를 제공한다.
본 발명 실시예의 제1 양태에 따르면, 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용되는 제스처 식별 방법이 제공된다. 상기 방법은,
적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙-상기 미리 설정된 변화 규칙은 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙임-을 만족하는지 여부를 검출하는 단계와,
적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하면 적어도 하나의 주변광 센서의 위치를 확정하는 단계와,
적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하는 단계를 포함한다.
선택적으로, 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는지 여부를 검출하는 단계는,
각각의 주변광 센서에 대해 주변광 센서가 측정한 빛의 세기를 취득하는 단계와,
빛의 세기가 먼저 작아졌다 다시 커지는지 여부를 검출하는 단계와,
빛의 세기가 먼저 작아졌다 다시 커지는 경우, 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되어 상기 미리 설정된 변화 규칙을 만족한다고 확정하는 단계를 포함한다.
선택적으로, 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하는 단계는,
적어도 하나의 주변광 센서가 순서대로 차폐되는 순위를 취득하는 단계와,
순위에 따라 적어도 하나의 주변광 센서의 위치를 조작 제스처로 식별하는 단계를 포함한다.
선택적으로, 상기 방법은,
적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 시간을 취득하는 단계와,
각각의 변화 시간의 평균 값을 계산하는 단계와,
평균 값에 의해 제스처의 조작 속도를 확정하는 단계와,
조작 속도에 의해 제스처에 대한 응답 방식을 확정하는 단계를 더 포함한다.
선택적으로, 상기 방법은,
적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 최소 값을 취득하는 단계와,
각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는지 여부를 검출하는 단계와,
각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되면 사용자의 차폐 제스처를 식별하는 단계를 더 포함한다.
본 발명 실시예의 제2 양태에 따르면, 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용되는 제스처 식별 장치가 제공된다. 상기 장치는,
적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙-상기 미리 설정된 변화 규칙은 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙임-을 만족하는지 여부를 검출하도록 구성된 제1 검출 모듈과,
제1 검출 모듈이 검출한 결과가 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는 것이면 적어도 하나의 주변광 센서의 위치를 확정하도록 구성된 제1 확정 모듈과,
제1 확정 모듈에 의해 확정된 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하도록 구성된 제1 식별 모듈을 포함한다.
선택적으로, 상기 제1 검출 모듈은,
각각의 주변광 센서에 대해 주변광 센서가 측정한 빛의 세기를 취득하도록 구성된 제1 취득 서브 모듈과,
제1 취득 서브 모듈이 취득한 빛의 세기가 먼저 작아졌다 다시 커지는지 여부를 검출하도록 구성된 검출 서브 모듈과,
검출 서브 모듈이 검출한 결과가 빛의 세기가 먼저 작아졌다 다시 커지는 것인 경우, 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되어 미리 설정된 변화 규칙을 만족한다고 확정하도록 구성된 확정 서브 모듈을 포함한다.
선택적으로, 상기 제1 식별 모듈은,
적어도 하나의 주변광 센서가 순서대로 차폐되는 순위를 취득하도록 구성된 제2 취득 서브 모듈과,
제2 취득 서브 모듈이 취득한 순서에 따라 적어도 하나의 주변광 센서의 위치를 조작 제스처로 식별하도록 구성된 식별 서브 모듈을 포함한다.
선택적으로, 상기 장치는,
적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 시간을 취득하도록 구성된 제1 취득 모듈과,
제1 취득 모듈이 취득한 각각의 변화 시간의 평균 값을 계산하도록 구성된 계산 모듈과,
계산 모듈이 계산한 평균 값에 의해 제스처의 조작 속도를 확정하도록 구성된 제2 확정 모듈과,
제2 확정 모듈이 확정한 조작 속도에 의해 제스처에 대한 응답 방식을 확정하도록 구성된 제 3 확정 모듈을 더 포함한다.
선택적으로, 상기 장치는,
적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 최소 값을 취득하도록 구성된 제2 취득 모듈과,
제2 취득 모듈이 취득한 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는지 여부를 검출하도록 구성된 제2 검출 모듈과,
제2 검출 모듈이 검출한 결과가 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는 것이면 사용자의 차폐 제스처를 식별하도록 구성된 제2 식별 모듈을 포함한다.
본 발명 실시예의 제 3 양태에 따르면, 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용되는 제스처 식별 장치가 제공된다.
상기 장치는,
프로세서와,
프로세서에 의해 실행 가능한 명령어를 기억하는 메모리를 포함하고,
프로세서는,
적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙-상기 미리 설정된 변화 규칙은 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙임-을 만족하는지 여부를 검출하고,
적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하면 적어도 하나의 주변광 센서의 위치를 확정하며,
적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하도록 구성된다.
본 발명 실시예의 제 4 양태에 따르면, 프로세서에 의해 실행되는 것을 통하여 상기 방법을 구현하는 컴퓨터 판독가능한 기록매체에 기록된 프로그램이 제공된다.
본 발명 실시예의 제 5 양태에 따르면, 상기 프로그램이 기록된 컴퓨터 판독가능한 기록매체가 제공된다.
본 발명이 제공한 기술수단에 따르면 하기와 같은 유익한 효과를 가져올 수 있다.
적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 각각의 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환하고, 다시 차폐 상태에서 비차폐 상태로 전환되는 것이 검출되면 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별함으로써, 사용자가 터치 스크린 상에서 터치 조작을 수행하지 않아도 단말이 사용자가 수행한 조작 제스처를 식별할 수 있다. 따라서 사용자가 터치 스크린 상에서 터치 조작을 수행하기 불편할 때 단말이 사용자가 수행한 조작 제스처를 식별할 수 없는 문제를 해결하여 제스처를 식별하는 방식이 증가되고 제스처를 식별하는 유연성을 향상시키는 효과를 가져올 수 있다.
또한, 조작 제스처의 속도 및 차폐 제스처를 식별하여 조작 제스처를 풍부화하고 사용자가 터치 스크린에 접촉하지 않았을 때 수행한 조작 제스처가 적어 조작 제스처에 대한 터치 스크린의 응답 방식이 적은 문제를 해결하여 조작 제스처에 대한 터치 스크린의 응답 방식을 다양화하는 효과를 가져올 수 있다.
상기의 일반적인 서술 및 하기의 상세한 서술은 다만 예시적이고 해석을 위한 것일 뿐 본 발명을 한정하지 않는다는 것을 이해해야 한다.
하기의 도면은 명세서에 병합되어 명세서의 일부분을 구성하며, 본 발명에 부합되는 실시예를 예시하여 명세서와 함께 본 발명의 원리를 해석하기 위한 것이다.
도 1은 일 예시적인 실시예에 따른 제스처 식별 방법을 나타내는 흐름도이다.
도 2a는 다른 일 예시적인 실시예에 따른 다른 제스처 식별 방법을 나타내는 흐름도이다.
도 2b는 일 예시적인 실시예에 따른 조작 제스처의 조작 위치를 확정하는 장면도이다.
도 2c는 다른 일 예시적인 실시예에 따른 조작 제스처의 조작 위치를 확정하는 장면도이다.
도 2d는 일 예시적인 실시예에 따른 조작 제스처를 식별하는 장면도이다.
도 2e는 다른 일 예시적인 실시예에 따른 조작 제스처를 식별하는 장면도이다.
도 2f는 다른 일 예시적인 실시예에 따른 조작 제스처를 식별하는 장면도이다.
도 2g는 일 예시적인 실시예에 따른 조작 제스처의 속도를 식별하는 방법을 나타내는 흐름도이다.
도 2h는 일 예시적인 실시예에 따른 차폐 제스처를 식별하는 방법을 나타내는 흐름도이다.
도 3은 일 예시적인 실시예에 따른 제스처 식별 장치를 나타내는 블록도이다.
도 4는 일 예시적인 실시예에 따른 제스처 식별 장치를 나타내는 블록도이다.
도 5는 일 예시적인 실시예에 따른 제스처 식별에 적용되는 장치를 나타내는 블록도이다.
여기서, 예시적인 실시예에 대해 상세하게 설명하고, 그 사례를 도면에 표시한다. 하기의 서술이 도면에 관련될 때, 달리 명시하지 않는 경우, 서로 다른 도면에서의 동일한 부호는 동일한 구성 요소 또는 유사한 구성 요소를 나타낸다. 하기의 예시적인 실시예에서 서술한 실시방식은 본 발명에 부합되는 모든 실시 방식을 대표하는 것이 아니며, 실시방식들은 다만 첨부된 특허청구범위에 기재한 본 발명의 일부 측면에 부합되는 장치 및 방법의 예이다.
도 1은 일 예시적인 실시예에 따른 제스처 식별 방법을 나타내는 흐름도이다. 상기 제스처 식별 방법은 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용된다. 도 1에 도시한 바와 같이, 상기 제스처 식별 방법은 하기와 같은 단계를 포함한다.
101 단계 : 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는지 여부를 검출한다. 상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙이다.
102 단계 : 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하면 적어도 하나의 주변광 센서의 위치를 확정한다.
103 단계 : 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별한다.
상기를 종합하면, 본 발명이 제공하는 제스처 식별 방법에 따르면, 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 각각의 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환하고, 다시 차폐 상태에서 비차폐 상태로 전환되는 것이 검출되면 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별함으로써, 사용자가 터치 스크린 상에서 터치 조작을 수행하지 않아도 단말이 사용자가 수행한 조작 제스처를 식별할 수 있다. 따라서 사용자가 터치 스크린 상에서 터치 조작을 수행하기 불편할 때 단말이 사용자가 수행한 조작 제스처를 식별할 수 없는 문제를 해결하여 제스처를 식별하는 방식이 증가되고 제스처를 식별하는 유연성을 향상시키는 효과를 가져올 수 있다.
도 2a는 다른 일 예시적인 실시예에 따른 제스처 식별 방법을 나타내는 흐름도이다. 상기 제스처 식별 방법은 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용된다. 도 2a에 도시한 바와 같이, 상기 제스처 식별 방법은 하기와 같은 단계를 포함한다.
201 단계 : 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않으면, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는지 여부를 검출한다. 여기서, 상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙이다.
관련 기술에 있어서, 단말은 사용자의 손가락이 터치 스크린을 접촉해야만 사용자의 조작 제스처를 식별할 수 있다. 즉 조작 제스처가 터치 스크린에 작용해야 한다. 사용자의 손가락이 깨끗하지 않은 등 원인으로 터치 스크린을 접촉하기 불편한 경우, 사용자는 먼저 손가락을 깨끗이 닦고 터치 스크린 상에서 터치 조작을 수행할 필요가 있기 때문에 제때에 단말을 조작할 수 없게 된다. 또는 사용자가 직접 터치 스크린 상에서 터치 조작을 수행하면 터치 스크린이 더러워지게 된다. 본 실시예는 이러한 문제를 해결하기 위하여, 손가락으로 직접 터치 스크린을 접촉하지 않아도 사용자의 조작 제스처를 식별할 수 있는 방법을 제공한다. 상기 방법은 구체적으로 하기와 같다.
터치 스크린에 분포된 주변광 센서(ambient light sensors)는 주변광 센서에 입사되는 광선의 빛의 세기를 측정할 수 있다. 물체가 터치 스크린을 차폐하면 차폐된 주변광 센서가 측정한 빛의 세기는 작아지게 된다. 따라서 주변광 센서는 빛의 세기에 의해 자체가 차폐되었는지 여부를 확인하고 자체가 차폐되었을 경우 단말에 차폐된 사건을 보고한다.
단말은 적어도 하나의 주변광 센서가 보고한 차폐 사건을 수신한 후, 터치 스크린 상에 터치 조작이 존재하는지 여부를 검출한다. 터치 스크린 상에 터치 조작이 존재하면, 상기 차폐 사건이 터치 스크린에 작용한 조작 제스처임을 설명하고, 터치 스크린 상에 터치 조작이 존재하지 않으면, 상기 차폐 사건이 터치 스크린에 작용하지 않는 조작 제스처임을 설명한다.
조작 제스처를 슬라이딩 제스처로 가정하면 슬라이딩 제스처 조작 과정에서 차폐된 각각의 주변광 센서에 있어서, 주변광 센서에 입사되는 광선은 모두 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환된다. 따라서 상기 적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하는지 여부를 검출하여 사용자가 수행한 조작 제스처가 슬라이딩 제스처인지 여부를 확인할 수 있다.
여기서, 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는지 여부를 검출하는 방법은,
각각의 주변광 센서에 대해 주변광 센서가 측정한 빛의 세기를 취득하는 단계와, 빛의 세기가 먼저 작아졌다 다시 커지는지 여부를 검출하는 단계와, 빛의 세기가 먼저 작아졌다 다시 커지는 경우, 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되어 미리 설정된 변화 규칙을 만족한다고 확정하는 단계를 포함한다.
주변광 센서에 입사되는 광선이 차폐되지 않으면 주변광 센서가 측정한 빛의 세기는 크고, 주변광 센서에 입사되는 광선이 차폐되면 주변광 센서가 측정한 빛의 세기는 작다. 따라서 빛의 세기의 변화에 의해 주변광 센서의 변화를 확정할 수 있다. 즉, 빛의 세기가 큰 상태에서 작은 상태로 변화하면 주변광 센서에 입사되는 광선이 비차폐 상태에서 차폐 상태로 전환되었다고 확정하고, 빛의 세기가 작은 상태에서 큰 상태로 변화하면 주변광 센서에 입사되는 광선이 차폐 상태에서 비차폐 상태로 전환되었다고 확정한다.
202 단계 : 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하면 적어도 하나의 주변광 센서의 위치를 확정한다.
사용자가 현재 시점에서 조작 제스처를 수행하면, 주변광 센서에 입사되는 광선이 손가락에 의해 차폐되기 때문에, 이때 터치 스크린에 적어도 하나의 음영부가 형성된다. 본 실시예에서 각각의 음영부의 중심 위치에 위치한 주변광 센서의 위치를 현재 시점에서 미리 설정된 변화 규칙을 만족하는 주변광 센서의 위치로, 즉 현재 시점에서의 조작 제스처의 조작 위치로 한다.
예를 들어, 도 2b에 도시한 바와 같이, 사용자가 어느 시점에서 조작 제스처（2）를 수행하면 단말（1）에 음영부 (3)가 형성된다. 단말 (1)은 상기 음영부 (3)에 대응되는 적어도 하나의 주변광 센서의 위치를 취득하고, 상기 적어도 하나의 주변광 센서 위치의 중심점 (4)을 계산하고, 상기 중심점 (4)을 상기 시점에서 제스처를 조작한 조작 위치로 한다.
또한 예를 들어, 도 2c에 도시한 바와 같이, 사용자가 어느 시점에서 조작 제스처 (5)를 수행하면 단말 (1)에 음영부(6) 및 음영부(7)가 형성된다. 단말 (1)은 상기 음영부(6)에 대응되는 적어도 하나의 주변광 센서의 위치를 취득하고, 상기 적어도 하나의 주변광 센서 위치의 중심점 (8)을 계산하고, 또한 상기 음영부 (7)에 대응되는 적어도 하나의 주변광 센서의 위치를 취득하고, 상기 적어도 하나의 주변광 센서 위치의 중심점 (9)을 계산하여 중심점 (8) 및 중심점 (9) 을 상기 시점에서 조작 제스처를 조작한 위치로 한다.
여기서, 단말이 음영부를 판단하는 방법은 동일한 시점에서 빛의 세기가 동일하고, 또한 위치가 연속되는 적어도 하나의 주변광 센서로 구성된 영역을 하나의 음영부로 하는 방법일 수 있으나, 본 실시예에서는 음영부를 판단하는 방법을 한정하지 않는다.
단말은 적어도 하나의 주변광 센서의 위치에 의해 각각의 시점에서 조작 제스처의 조작 위치를 확정하고 각각의 시점의 조작 위치에 의해 사용자의 조작 제스처를 식별한다.
203 단계: 적어도 하나의 주변광 센서가 순서대로 차폐되는 순위를 취득한다.
주변광 센서가 단말에 차폐 사건을 보고하면, 단말은 상기 차폐 사건을 수신할 때, 상기 차폐 사건을 수신한 시간을 기록한다. 따라서 단말은 사용자의 조작 제스처가 예컨대 슬라이딩 제스처 처럼 연속적인 동작에 의해 생성되면, 적어도 하나의 주변광 센서가 순서대로 차폐되는 시간을 취득하고 취득한 시간에 의해 상기 적어도 하나의 주변광 센서가 순서대로 차폐되는 순위를 확정할 수 있다.
204 단계: 순위에 따라 적어도 하나의 주변광 센서의 위치를 조작 제스처로 식별한다.
202 단계에서 확정된 각각의 시점에서의 조작 제스처의 조작 위치에 의해 조작 제스처가 터치 스크린에 접촉되지 않았을 때의 조작 궤적을 얻을 수 있다. 또한, 203 단계에서 확정된 적어도 하나의 주변광 센서가 순서대로 차폐되는 순위에 따라 조작 제스처의 조작 방향을 얻을 수 있다. 또한, 단말은 상기 조작 궤적 및 상기 조작 방향에 의해 사용자가 수행한 조작 제스처를 식별할 수 있다.
예를 들어 도 2d에 도시한 바와 같이, 단말 (1)은 제1 시점에서 조작 위치 (11)를 확정하고, 제2 시점에서 조작 위치 (12)를 확정하고, 제 3 시점에서 조작 위치 (13)를 확정하고, 확정된 위치 및 확정된 위치의 선후 순서에 의해 사용자의 조작 제스처가 오른쪽으로의 슬라이딩 제스처임을 식별할 수 있다.
선택적으로, 단말은 또한 제1 각도 역치 및 제2 각도 역치를 설정하여 조작 제스처의 조작 방향을 확정할 수 있다. 여기서, 제2 각도 역치는 제1 각도 역치보다 크다. 단말이 임의의 두개 시점을 선택하여 확정한 조작 위치에서, 만약 2개의 조작 위치를 잇는 선과 수평 방향 사이의 협각이 제1 각도 역치보다 작으면 상기 조작 제스처를 왼쪽 방향 또는 오른쪽 방향 슬라이딩 조작으로 식별하고, 만약 2개의 조작 위치를 잇는 선과 수평 방향 사이의 협각이 제1 각도 역치보다 크고 제2 각도 역치보다 작으면 상기 조작 제스처를 경사진 방향 슬라이딩 조작으로 식별하고, 2개의 조작 위치를 잇는 선과 수평 방향 사이의 협각이 제2 각도 역치보다 크면 상기 조작 제스처를 위 방향 또는 아래 방향 슬라이딩 조작으로 식별할 수 있다.
예를 들어, 도 2e에 도시한 바와 같이, 단말(1) 에서 제1 각도 역치를 30도로, 제2 각도 역치를 60 도로 설정하고, 또한 임의로 선택한 제1 시점에서 조작 위치(12)를 확정하고, 임의로 선택한 제2 시점에서 조작 위치(14)를 확정하고, 2개의 조작 위치를 잇는 선과 수평 방향 사이의 협각이 제1 각도 역치보다 크고 제2 각도 역치보다 작은 45도이기 때문에 확정한 위치, 위치를 확정하는 선후 순서 및 위치를 잇는 선과 수평 방향 사이의 협각에 의해 사용자의 조작 제스처가 오른쪽 상방을 향한 슬라이딩 제스처임을 식별한다.
선택적으로, 단말은 매개 그룹의 인접한 시점의 2개 조작 위치를 잇는 선과 수평 방향 사이의 협각의 평균 값을 계산하고, 상기 평균 값을 제1 각도 역치 및 제2 각도 역치와 비교하고, 상기 평균 값이 제1 각도 역치보다 작으면, 왼쪽 방향 또는 오른쪽 방향 슬라이딩 조작으로 식별되고, 상기 평균 값이 제1 각도 역치보다 크고 제2 각도 역치 보다 작으면 경사진 방향 슬라이딩 조작으로 식별하고, 상기 평균 값이 제 2 각도 역치보다 크면 위 방향 또는 아래 방향 슬라이딩 조작으로 식별한다.
선택적으로, 단말이 동일한 시점에서 적어도 2개의 조작 위치를 확정하면 각각의 조작 위치에 대해 인접한 시점에서 자신과의 거리가 가장 가까운 조작 위치와 자신을 하나의 조작 그룹으로 확정하고 확정된 각각의 조작 그룹에 의해 사용자의 조작 제스처를 식별한다.
예를 들어, 도 2f에 도시한 바와 같이, 단말 (1)은 제1 시점에서 조작 위치(11) 및 (15)를 확정하고, 제2 시점에서 조작 위치(12) 및 (16)를 확정하고, 제 3 시점에서 조작 위치(13) 및 (17)를 확정하면, 조작 위치(11), (12), (13)을 하나의 조작 그룹으로 확정하고, 조작 위치(15), (16), (17)을 하나의 조작 그룹으로 확정하며, 확정된 2개의 조작 그룹에 의해 사용자의 조작 제스처를 식별한다.
선택적으로, 단말은 더욱 많은 조작 제스처에 응답하는 방식을 제공하기 위하여, 단말은 조작 제스처의 속도를 더 식별할 수도 있다. 도 2g는 일 예시적인 실시예에 따른 조작 제스처 속도를 식별하는 방법을 나타내는 흐름도이다. 상기 조작 제스처 속도를 식별하는 방법은 주변광 센서가 분포되어 있는 터치 스크린을 포함한 단말에 적용된다. 도 2g에 도시한 바와 같이, 상기 조작 제스처 속도를 식별하는 방법은 하기와 같은 단계를 포함한다.
205 단계: 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 시간을 취득한다.
각각의 주변광 센서에 대해 구현 가능한 방식에서, 단말은 주변광 센서의 빛의 세기의 변화가 시작될 때 및 변화가 정지될 때의 시간을 기록하고, 상기 주변광 센서가 미리 설정된 변화 규칙을 만족하면 기록된 시간에 의해 상기 주변광 센서의 빛의 세기의 변화 시간을 계산할 수 있다. 다른 구현 가능한 방식에서, 단말은 주변광 센서가 미리 설정된 변화 규칙을 만족하는 것을 검출하기 전에 상기 주변광 센서의 빛의 세기의 변화 시간을 취득하고 상기 주변광 센서가 미리 설정된 변화 규칙을 만족하는 것을 검출하면 이전에 취득한 변화 시간을 직접 판독한다. 본 실시예는 단말이 빛의 세기의 변화 시간을 취득하는 시점에 대해 한정하지 않는다.
206 단계 : 각각의 변화 시간의 평균 값을 계산한다.
단말은 취득한 각각의 변화 시간의 평균 값을 계산하거나 또는 취득한 각각의 변화 시간에서 적어도 하나의 변화 시간을 선택하여 상기 적어도 하나의 변화 시간의 평균 값을 계산한다.
207 단계 : 평균 값에 의해 제스처의 조작 속도를 확정한다.
단말에는 시간 역치를 미리 설정하고, 평균 값과 시간 역치의 크기를 비교함으로써 제스처 조작 속도를 확정할 수 있다. 여기서 시간 역치는 하나 또는 복수개일 수 있다.
예를 들어, 단말에는 제1 시점 역치 및 제2 시점 역치의 2개의 시간 역치를 설정하고, 또한 제2 시점 역치가 제1 시점 역치보다 작다. 단말은 평균 값이 제1 시점 역치보다 크면 제스처를 속도가 느린 제스처로 확정하고 평균 값이 제2 시점 역치보다 작으면 제스처를 빠른 제스처로 확정하고, 평균 값이 제2 시점 역치보다 크고 제1 시점 역치 보다 작으면 제스처를 속도가 중간으로 되는 제스처로 확정한다.
208단계: 조작 속도에 의해 제스처에 대한 응답 방식을 확정한다.
조작 제스처의 조작 속도를 식별함으로써 조작 제스처에 대한 단말의 응답 방식을 증가시킨다.
예를 들면, 고속 오른쪽 슬라이딩 제스처에 대응되는 응답 방식은 동영상 빨리 감기이고, 저속 오른쪽 슬라이딩 제스처에 대응되는 응답 방식은 다음 동영상을 재생하는 것이다.
선택적으로, 본 실시예는 사용자가 수행한 차폐 제스처를 식별하는 방법을 더 제공한다. 도2H는 차폐 제스처를 식별하는 방법을 나타내는 흐름도이다. 상기 방법은 하기와 같은 단계를 포함한다.
209 단계: 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 최소 값을 취득한다.
단말이 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족한다고 확정하면 각각의 주변광 센서의 빛의 세기의 변화 과정에서의 최소 값을 취득하고, 상기 최소 값이 바로 입사한 광선이 차폐될 때 주변광 센서가 측정한 빛의 세기이다. 일반적으로 각각의 주변광 센서가 측정한 빛의 세기의 최소 값은 동일하다.
210단계: 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는지 여부를 검출한다.
단말은 동일한 시점에 적어도 하나의 빛의 세기의 최소 값이 존재한다고 검출하면 계속하여 상기 적어도 하나의 최소 값이 동일한 시간대 내에 변화하지 않고 유지되는지 여부를 검출한다.
211단계: 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되면 사용자의 차폐 제스처를 식별한다.
단말은 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되면 사용자의 조작 제스처가 차폐 제스처임을 식별한다. 단말은 사용자의 차폐 제스처를 식별함으로써 조작 제스처에 대한 응답 방식을 풍부히 한다. 예를 들어, 단말이 사용자가 수행한 차폐 제스처를 식별할 때 대응되는 응답 방식은 동영상 또는 음악의 재생을 정지하는 것이거나 또는 단말이 사용자가 수행한 차폐 제스처를 식별할 때 대응되는 응답 방식은 임의의 응용 프로그램을 클릭하는 것이다.
선택적으로, 단말은 1개의 제1 소정 시간을 더 설정할 수 있다. 각각의 최소 값이 변화하지 않고 유지되는 시간이 상기 제1 소정 시간보다 크거나 또는 동일하면 사용자의 조작 제스처를 제1 유형의 차폐 제스처로 식별할 수 있다. 또는 단말은 1개의 제2 소정 시간을 더 설정할 수 있다. 각각의 최소 값이 변화하지 않고 유지되는 시간이 상기 제2 소정 시간보다 작거나 동일하면 사용자의 조작 제스처를 제2 유형의 차폐 제스처로 식별할 수 있다. 단말은 서로 다른 유형의 차폐 제스처에 대해 서로 다른 응답 방식을 설정할 수 있다.
상기를 종합하면, 본 발명이 제공하는 제스처 식별 방법에 따르면, 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 각각의 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환되고, 다시 차폐 상태에서 비차폐 상태로 전환되는 것이 검출되면 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별함으로써, 사용자가 터치 스크린 상에서 터치 조작을 수행하지 않아도 단말이 사용자가 수행한 조작 제스처를 식별할 수 있다. 따라서 사용자가 터치 스크린 상에서 터치 조작을 수행하기 불편할 때 단말이 사용자가 수행한 조작 제스처를 식별할 수 없는 문제를 해결하여 제스처를 식별하는 방식이 증가되고 제스처를 식별하는 유연성을 향상시키는 효과를 가져올 수 있다.
또한, 조작 제스처의 속도 및 차폐 제스처를 식별하여 조작 제스처를 풍부화하고 사용자가 터치 스크린에 접촉하지 않았을 때 수행한 조작 제스처가 적어 조작 제스처에 대한 터치 스크린의 응답 방식이 적은 문제를 해결하여 조작 제스처에 대한 터치 스크린의 응답 방식을 다양화하는 효과를 가져올 수 있다.
도 3은 일 예시적인 실시예에 따른 제스처 식별 장치를 나타내는 블록도이다. 상기 제스처 식별 장치는 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용된다. 도 3에 도시한 바와 같이, 상기 제스처 식별 장치는 제1 검출 모듈 (310), 제1 확정 모듈 (320) 및 제1 식별 모듈 (330)을 포함한다.
상기 제1 검출 모듈 (310)은 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는지 여부를 검출한다. 상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙이다.
상기 제1 확정 모듈 (320)은 제1 검출 모듈 (310) 이 검출한 결과가 상기 적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하는 것이면 상기 적어도 하나의 주변광 센서의 위치를 확정한다.
상기 제1 식별 모듈 (330)은 제1 확정 모듈 (320)에 의해 확정된 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별한다.
상기를 종합하면, 본 발명이 제공하는 제스처 식별 장치에 따르면, 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 각각의 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환되고, 다시 차폐 상태에서 비차폐 상태로 전환되는 것이 검출되면 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별함으로써, 사용자가 터치 스크린 상에서 터치 조작을 수행하지 않아도 단말이 사용자가 수행한 조작 제스처를 식별할 수 있다. 따라서 사용자가 터치 스크린 상에서 터치 조작을 수행하기 불편할 때 단말이 사용자가 수행한 조작 제스처를 식별할 수 없는 문제를 해결하여 제스처를 식별하는 방식이 증가되고 제스처를 식별하는 유연성을 향상시키는 효과를 가져올 수 있다.
도 4는 일 예시적인 실시예에 따른 제스처 식별 장치를 나타내는 블록도이다. 상기 제스처 식별 장치는 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용된다. 도 4에 도시한 바와 같이, 상기 제스처 식별 장치는 제1 검출 모듈 (410), 제1 확정 모듈 (420) 및 제1 식별 모듈 (430)을 포함한다.
상기 제1 검출 모듈 (410)은 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는지 여부를 검출하도록 구성된다. 상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙이다.
상기 제1 확정 모듈 (420)은 제1 검출 모듈 (410) 이 검출한 결과가 상기 적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하는 것이면 상기 적어도 하나의 주변광 센서의 위치를 확정하도록 구성된다.
상기 제1 식별 모듈 (430)은 제1 확정 모듈 (420) 에 의해 확정된 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하도록 구성된다.
선택적으로, 상기 제1 검출 모듈 (410)은 제1 취득 서브 모듈(411), 검출 서브 모듈 (412) 및 확정 서브 모듈 (413)을 포함한다.
상기 제1 취득 서브 모듈 (411)은 각각의 주변광 센서에 대해 주변광 센서가 측정한 빛의 세기를 취득하도록 구성된다.
상기 검출 서브 모듈 (412)은 제1 취득 서브 모듈 (411)이 취득한 빛의 세기가 먼저 작았다가 다시 커지는지 여부를 검출하도록 구성된다.
상기 확정 서브 모듈 (413)은 검출 서브 모듈 (412)이 검출한 결과가 빛의 세기가 먼저 작았다가 다시 커지는 것인 경우, 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되어 미리 설정된 변화 규칙을 만족한다고 확정하도록 구성된다.
선택적으로, 상기 제1 식별 모듈 (430)은 제2 취득 서브 모듈 (431) 및 식별 서브 모듈 (432)을 포함한다.
상기 제2 취득 서브 모듈 (431)은 적어도 하나의 주변광 센서가 순서대로 차폐되는 순위를 취득하도록 구성된다.
상기 식별 서브 모듈 (432)은 제2 취득 서브 모듈 (431)이 취득한 순서에 따라 적어도 하나의 주변광 센서의 위치를 조작 제스처로 식별하도록 구성된다.
선택적으로, 상기 장치는 제1 취득 모듈 (440), 계산 모듈 (450), 제2 확정 모듈 (460) 및 제 3 확정 모듈 (470)을 더 포함한다.
상기 제1 취득 모듈 (440)은 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 시간을 취득하도록 구성된다.
상기 계산 모듈 (450)은 제1 취득 모듈 (440)이 취득한 각각의 변화 시간의 평균 값을 계산하도록 구성된다.
상기 제2 확정 모듈 (460)은 계산 모듈 (450)이 계산한 평균 값에 의해 제스처의 조작 속도를 확정하도록 구성된다.
상기 제 3 확정 모듈 (470)은 제2 확정 모듈 (460)이 확정한 조작 속도에 의해 제스처에 대한 응답 방식을 확정하도록 구성된다.
선택적으로, 상기 장치는 제2 취득 모듈 (480), 제2 검출 모듈 (490) 및 제2 식별 모듈 (491)을 더 포함한다.
상기 제2 취득 모듈 (480)은 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 최소 값을 취득하도록 구성된다.
상기 제2 검출 모듈 (490)은 제2 취득 모듈 (480)이 취득한 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는지 여부를 검출하도록 구성된다.
제2 식별 모듈 (491)은 제2 검출 모듈 (490)이 검출한 결과가 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는 것이면 사용자의 차폐 제스처를 식별하도록 구성된다.
상기를 종합하면, 본 발명이 제공하는 제스처 식별 장치에 따르면, 적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 터치 스크린에 작용하는 터치 조작이 검출되지 않은 경우, 각각의 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환되고, 다시 차폐 상태에서 비차폐 상태로 전환되는 것이 검출되면 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별함으로써, 사용자가 터치 스크린 상에서 터치 조작을 수행하지 않아도 단말이 사용자가 수행한 조작 제스처를 식별할 수 있다. 따라서 사용자가 터치 스크린 상에서 터치 조작을 수행하기 불편할 때 단말이 사용자가 수행한 조작 제스처를 식별할 수 없는 문제를 해결하여 제스처를 식별하는 방식이 증가되고 제스처를 식별하는 유연성을 향상시키는 효과를 가져올 수 있다.
또한, 조작 제스처의 속도 및 차폐 제스처를 식별하여 조작 제스처를 풍부화하고 사용자가 터치 스크린에 접촉하지 않았을 때 수행한 조작 제스처가 적어 조작 제스처에 대한 터치 스크린의 응답 방식이 적은 문제를 해결하여 조작 제스처에 대한 터치 스크린의 응답 방식을 다양화하는 효과를 가져올 수 있다.
상기 실시예의 장치에 대해 그 안의 각 모듈이 수행하는 조작의 구체적인 형태는 이미 그 방법에 관한 실시예에서 상세하게 설명했기 때문에 여기에서는 자세히 설명하지 않는다.
본 발명의 일 예시적인 실시예는 본 발명이 제공하는 제스처 식별 방법을 실현하기 위한 제스처 식별 장치를 제공한다. 상기 제스처 식별 장치는 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용된다.
상기 제스처 식별 장치는,
프로세서와,
상기 프로세서에 의해 실행 가능한 명령어를 기억하는 메모리를 포함하고,
상기 프로세서는,
적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 상기 터치 스크린에 작용하는 터치 조작이 검출되지 않으면, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙-상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙임-을 만족하는지 여부를 검출하고,
상기 적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하면 상기 적어도 하나의 주변광 센서의 위치를 확정하며,
상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하도록 구성된다.
도 5는 일 예시적인 실시예에 따른 제스처를 식별하기 위한 장치 (500)의 구성을 나타내는 블록도이다. 예를 들어, 장치 (500)는 휴대폰, 컴퓨터, 디지털 브로드캐스팅 단말， 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 설비, 헬스 기기, PDA 등일 수 있다.
도 5를 참조하면, 장치 (500)는 프로세싱 유닛 (502), 메모리 (504), 전원 유닛 (506), 멀티미디어 유닛 (508), 오디오 유닛 (510), 입출력 (I/O) 인터페이스 (512), 센서 유닛 (514) 및 통신 유닛 (516) 중의 임의의 적어도 하나 이상을 포함할 수 있다.
프로세싱 유닛(502)은 일반적으로 장치 (500)의 전체 조작，예를 들어, 디스플레이，전화 호출，데이터 통신，카메라 조작 및 기록 조작에 관련된 조작을 제어할 수 있다. 프로세싱 유닛 (502)은 임의의 적어도 하나 이상의 프로세서 (520)를 구비하여 명령어를 실행함으로써 상기 방법의 전부 또는 일부 단계를 완성할 수 있다. 또한， 프로세싱 유닛 (502)은 기타 유닛과의 인터랙션을 편리하게 하도록 임의의 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어， 프로세싱 유닛 (502)은 멀티미디어 유닛 (508)과의 인터랙션을 편리하게 할 수 있도록 멀티미디어 모듈을 포함할 수 있다.
메모리 (504)는 장치 (500)의 조작을 지원하기 위하여 각종 유형의 데이터를 저장하도록 설치된다. 이러한 데이터는 예를 들어 장치 (500)에서 임의의 애플리케이션이나 방법을 조작하기 위한 명령어, 연락처 데이터, 전화 번호부 데이터, 메시지, 사진, 동영상 등을 포함할 수 있다. 메모리 (504)는 임의의 유형의 휘발성 또는 비휘발성 메모리 예를 들어 SRAM(Static Random Access Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), EPROM(Erasable Programmable Read Only Memory), PROM(Programmable ROM) , ROM(Read Only Memory), 자기 메모리, 플래시 메모리, 자기 디스크 또는 콤팩트 디스크에 의해 또는 이들의 조합에 의해 구현될 수 있다.
전원 유닛 (506)은 장치 (500)의 각 유닛에 전력을 공급하기 위한 것이며, 전원 관리 시스템, 임의의 적어도 하나 이상의 전원 및 장치(500)를 위하여 전력을 생성, 관리 및 분배하는데 관련된 기타 유닛을 포함할 수 있다.
멀티미디어 유닛 (508)은 장치 (500)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함할 수 있다. 일 실시예에 있어서, 스크린은 액정 디스플레이 (LCD) 또는 터치 패널 (TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자의 입력 신호를 수신하도록 터치 스크린으로 구현될 수 있다. 또한 터치 패널은 터치, 슬라이딩 및 터치 패널위에서의 제스처 (gesture)를 검출하도록 임의의 적어도 하나 이상의 터치 센서를 포함할 수 있다. 상기 터치 센서는 터치 또는 슬라이딩 동작의 경계위치를 검출할 수 있을뿐만 아니라, 터치 또는 슬라이딩 조작에 관련되는 지속시간 및 압력을 검출할 수 있다. 일 실시예에 있어서, 멀티미디어 유닛 (508)은 전면 카메라 및/또는 후면 카메라를 포함할 수 있다. 장치 (500)가 예를 들어 촬영 모드 또는 동영상 모드 등 조작 모드 상태에 있을 때, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 전면 카메라 및 후면 카메라 각각은 고정된 광학 렌즈 시스템 또는 가변 초점 거리 및 광학 줌 기능을 구비할 수 있다.
오디오 유닛 (510)은 오디오 신호를 출력 및/또는 입력하도록 설치될 수 있다. 예를 들어, 오디오 유닛(510)은 마이크 (MIC)를 포함할 수 있다. 장치 (500)가 예를 들어 호출 모드, 기록 모드 또는 음성 인식 모드 등 조작 모드 상태에 있을 때, 마이크는 외부의 오디오 신호를 수신하도록 설치될 수 있다. 수신된 오디오 신호는 메모리 (504)에 저장되거나 또는 통신 유닛 (516)을 통해 송신될 수 있다. 일 실시예에 있어서, 오디오 유닛 (510)은 오디오 신호를 출력하는 스피커를 더 포함할 수 있다.
I/O 인터페이스 (512)는 프로세싱 유닛(502)과 주변 인터페이스 모듈 사이에 인터페이스를 제공하기 위한 것이다. 상기 주변 인터페이스 모듈은 키보드，클릭 휠，버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 작동 버튼 및 잠금 버튼 등을 포함하되 이에 한정되지 않는다.
센서 유닛 (514)은 장치 (500)를 위해 각 방면의 상태를 평가하는 임의의 적어도 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 유닛 (514)은 장치 (500)의 온/오프 상태, 유닛 예를 들어 장치 (500)의 디스플레이 및 작은 키패드의 상대적인 포지셔닝을 검출할 수 있다. 센서 유닛 (514)은 장치 (500) 또는 장치 (500)의 유닛의 위치 변경, 사용자와 장치 (500) 사이의 접촉여부, 장치 (500)의 방위 또는 가속/감속 및 장치 (500)의 온도 변화를 검출할 수 있다. 센서 유닛(514)은 어떠한 물리적 접촉도 없는 상황에서 근처의 물체를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 유닛 (614)은 이미지 형성 응용에 이용하기 위한 광 센서 예를 들어 CMOS 또는 CCD 이미지 센서를 포함할 수 있다. 일 실시예에 있어서, 상기 센서 유닛 (514)은 가속도 센서, 자이로 스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 유닛(516)은 장치 (500)와 기타 기기 사이의 무선 또는 유선 통신을 편리하게 진행하게 하도록 설치될 수 있다. 장치 (500)는 WiFi, 2G, 3G 또는 이들의 조합과 같은 통신 표준을 기반으로 하는 무선 네트워크에 액세스할 수 있다. 일 예시적인 실시예에 있어서, 통신 유닛 (516)은 브로드캐스팅 채널을 통해 외부의 브로드캐스팅 관리 시스템에서의 브로드캐스팅 신호 또는 브로드캐스팅 관련 정보를 수신할 수 있다. 일 예시적인 실시예에 있어서, 상기 통신 유닛 (516)은 근거리 통신을 촉진하기 위한 근거리 무선 통신 (NFC) 모듈을 더 포함할 수 있다. 예를 들어, NFC 모듈은 RFID기술, IrDA기술, UWB기술, 블루투스 (BT) 기술 및 기타 기술에 의해 구현될 수 있다.
일 예시적인 실시예에 있어서, 장치 (500)는 상기 임의의 어느 한 실시예가 제공한 방법을 실행하기 위하여 임의의 적어도 하나 이상의 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), DSPD(Digital Signal Processing Device), PLD(Programmable Logic Device), FPGA(Field-Programmable Gate Array), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서, 또는 기타 전자 소자에 의해 구현될 수 있다.
일 예시적인 실시예에서 명령어를 포함한 비일시적인 컴퓨터 판독 가능한 기록매체 예를 들어 명령어를 포함한 메모리 (504)를 더 제공한다. 상기 명령어는 장치 (500)의 프로세서 (520)에 의해 실행되어 상기 임의의 어느 한 실시예가 제공한 방법을 완성할 수 있다. 예를 들어, 상기 비일시적인 컴퓨터 판독 가능한 기록 매체는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크 및 광 데이터 메모리 등일 수 있다.
본 분야의 통상의 지식을 가진 자는 명세서에 대한 이해 및 명세서에 기재된 발명에 대한 실시를 통해 본 발명의 다른 실시방안을 용이하게 얻을 수 있다. 당해 출원의 취지는 본 발명에 대한 임의의 변형, 사용 또는 적응적인 변화를 포함하고, 이러한 변형, 사용 또는 적응적 변화는 본 발명의 일반적인 원리를 따르고, 당해 출원이 공개하지 않은 본 기술 분야의 공지기술 또는 통상의 기술수단을 포함한다. 명세서 및 실시예는 단지 예시적인 것으로서, 본 발명의 진정한 범위와 취지는 다음의 특허청구범위에 의해 결정된다.
본 발명은 상기에 서술되고 도면에 도시된 확정 구성에 한정되지 않고 그 범위를 이탈하지 않는 상황에서 다양한 수정 및 변경을 실시할 수 있음이 이해되어야 한다. 본 발명의 범위는 단지 첨부된 특허청구범위에 의해서만 한정된다.

Claims (13)

  1. 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용되는 제스처 식별 방법에 있어서,
    적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 상기 터치 스크린에 작용하는 터치 조작이 검출되지 않으면, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙-상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙임-을 만족하는지 여부를 검출하는 단계와,
    상기 적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하면 상기 적어도 하나의 주변광 센서의 위치를 확정하는 단계와,
    상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하는 단계를 포함하고,
    상기 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 시간을 취득하는 단계와,
    각각의 변화 시간의 평균 값을 계산하는 단계와,
    상기 평균 값에 의해 상기 제스처의 조작 속도를 확정하는 단계와,
    상기 조작 속도에 의해 상기 제스처에 대한 응답 방식을 확정하는 단계를 더 포함하는 것을 특징으로 하는 제스처 식별 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙을 만족하는지 여부를 검출하는 단계는,
    각각의 주변광 센서에 대해 상기 주변광 센서가 측정한 빛의 세기를 취득하는 단계와,
    상기 빛의 세기가 먼저 작아졌다 다시 커지는지 여부를 검출하는 단계와,
    상기 빛의 세기가 먼저 작아졌다 다시 커지는 경우, 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되어 상기 미리 설정된 변화 규칙을 만족한다고 확정하는 단계를 포함하는 것을 특징으로 하는 제스처 식별 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하는 단계는,
    상기 적어도 하나의 주변광 센서가 순서대로 차폐되는 순위를 취득하는 단계와,
    상기 순위에 따라 상기 적어도 하나의 주변광 센서의 위치를 상기 조작 제스처로 식별하는 단계를 포함하는 것을 특징으로 하는 제스처 식별 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 최소 값을 취득하는 단계와,
    상기 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는지 여부를 검출하는 단계와,
    상기 각각의 최소 값이 상기 동일한 시간대 내에서 변화하지 않고 유지되면 상기 사용자의 차폐 제스처를 식별하는 단계를 더 포함하는 것을 특징으로 하는 제스처 식별 방법.
  6. 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용되는 제스처 식별 장치로서,
    적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 상기 터치 스크린에 작용하는 터치 조작이 검출되지 않으면, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙-상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙임-을 만족하는지 여부를 검출하도록 구성된 제1 검출 모듈과,
    상기 제1 검출 모듈이 검출한 결과가 상기 적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하는 것이면 상기 적어도 하나의 주변광 센서의 위치를 확정하도록 구성된 제1 확정 모듈과,
    상기 제1 확정 모듈에 의해 확정된 상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하도록 구성된 제1 식별 모듈을 포함하고,
    상기 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 시간을 취득하도록 구성된 제1 취득 모듈과,
    상기 제1 취득 모듈이 취득한 각각의 변화 시간의 평균 값을 계산하도록 구성된 계산 모듈과,
    상기 계산 모듈이 계산한 상기 평균 값에 의해 상기 제스처의 조작 속도를 확정하도록 구성된 제2 확정 모듈과,
    상기 제2 확정 모듈이 확정한 상기 조작 속도에 의해 상기 제스처에 대한 응답 방식을 확정하도록 구성된 제 3 확정 모듈을 더 포함하는 것을 특징으로 하는 제스처 식별 장치.
  7. 제6항에 있어서,
    상기 제1 검출 모듈은
    각각의 주변광 센서에 대해 상기 주변광 센서가 측정한 빛의 세기를 취득하도록 구성된 제1 취득 서브 모듈과,
    상기 제1 취득 서브 모듈이 취득한 상기 빛의 세기가 먼저 작아졌다 다시 커지는지 여부를 검출하도록 구성된 검출 서브 모듈과,
    상기 검출 서브 모듈이 검출한 결과가 상기 빛의 세기가 먼저 작아졌다 다시 커지는 것인 경우, 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되어 상기 미리 설정된 변화 규칙을 만족한다고 확정하도록 구성된 확정 서브 모듈을 포함하는 것을 특징으로 하는 제스처 식별 장치.
  8. 제6항에 있어서,
    상기 제1 식별 모듈은
    상기 적어도 하나의 주변광 센서가 순서대로 차폐되는 순위를 취득하도록 구성된 제2 취득 서브 모듈과,
    상기 제2 취득 서브 모듈이 취득한 상기 순서에 따라 상기 적어도 하나의 주변광 센서의 위치를 상기 조작 제스처로 식별하도록 구성된 식별 서브 모듈을 포함하는 것을 특징으로 하는 제스처 식별 장치.
  9. 삭제
  10. 제6항에 있어서,
    상기 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 최소 값을 취득하도록 구성된 제2 취득 모듈과,
    상기 제2 취득 모듈이 취득한 상기 각각의 최소 값이 동일한 시간대 내에서 변화하지 않고 유지되는지 여부를 검출하도록 구성된 제2 검출 모듈과,
    상기 제2 검출 모듈이 검출한 결과가 상기 각각의 최소 값이 상기 동일한 시간대 내에서 변화하지 않고 유지되는 것이면 상기 사용자의 차폐 제스처를 식별하도록 구성된 제2 식별 모듈을 포함하는 것을 특징으로 하는 제스처 식별 장치.
  11. 주변광 센서(ambient light sensors)가 분포되어 있는 터치 스크린을 포함한 단말에 적용되는 제스처 식별 장치에 있어서,
    프로세서와,
    상기 프로세서에 의해 실행 가능한 명령어를 기억하는 메모리를 포함하고,
    상기 프로세서는,
    적어도 하나의 주변광 센서에 입사되는 광선이 차폐되고, 또한 상기 터치 스크린에 작용하는 터치 조작이 검출되지 않으면, 상기 적어도 하나의 주변광 센서가 미리 설정된 변화 규칙-상기 미리 설정된 변화 규칙은 상기 주변광 센서에 입사되는 광선이 먼저 비차폐 상태에서 차폐 상태로 전환된 후 다시 차폐 상태에서 비차폐 상태로 전환되는 변화 규칙임-을 만족하는지 여부를 검출하고,
    상기 적어도 하나의 주변광 센서가 상기 미리 설정된 변화 규칙을 만족하면 상기 적어도 하나의 주변광 센서의 위치를 확정하며,
    상기 적어도 하나의 주변광 센서의 위치에 의해 사용자의 조작 제스처를 식별하도록 구성되고,
    상기 적어도 하나의 주변광 센서에서 각각의 주변광 센서의 빛의 세기의 변화 시간을 취득하고,
    각각의 변화 시간의 평균 값을 계산하고,
    상기 평균 값에 의해 상기 제스처의 조작 속도를 확정하고,
    상기 조작 속도에 의해 상기 제스처에 대한 응답 방식을 확정하는 것을 특징으로 하는 제스처 식별 장치.
  12. 프로세서에 의해 실행되는 것을 통하여 제 1, 2, 3, 5 항 중의 어느 한 항에 기재된 상기 제스처 식별 방법을 실현하는 컴퓨터 판독 가능한 기록매체에 기록된 프로그램.
  13. 제12항에 기재된 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020177031107A 2016-01-19 2016-09-30 제스처 식별 방법, 장치, 프로그램 및 기록매체 KR102045232B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610035203.3A CN105511631B (zh) 2016-01-19 2016-01-19 手势识别方法及装置
CN201610035203.3 2016-01-19
PCT/CN2016/100994 WO2017124773A1 (zh) 2016-01-19 2016-09-30 手势识别方法及装置

Publications (2)

Publication Number Publication Date
KR20170132264A KR20170132264A (ko) 2017-12-01
KR102045232B1 true KR102045232B1 (ko) 2019-11-15

Family

ID=55719681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031107A KR102045232B1 (ko) 2016-01-19 2016-09-30 제스처 식별 방법, 장치, 프로그램 및 기록매체

Country Status (7)

Country Link
US (1) US20170205962A1 (ko)
EP (1) EP3196736A1 (ko)
JP (1) JP6533535B2 (ko)
KR (1) KR102045232B1 (ko)
CN (1) CN105511631B (ko)
RU (1) RU2690202C2 (ko)
WO (1) WO2017124773A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105511631B (zh) * 2016-01-19 2018-08-07 北京小米移动软件有限公司 手势识别方法及装置
WO2017147869A1 (zh) * 2016-03-03 2017-09-08 邱琦 光感式手势识别方法
CN106095292A (zh) * 2016-06-03 2016-11-09 上海与德通讯技术有限公司 终端设备及其操作方法
JP6838434B2 (ja) * 2017-03-13 2021-03-03 オムロン株式会社 環境センサ
CN109597405A (zh) * 2017-09-30 2019-04-09 阿里巴巴集团控股有限公司 控制机器人移动的方法及机器人
GB2572978B (en) * 2018-04-18 2022-01-26 Ge Aviat Systems Ltd Method and apparatus for a display module control system
CN112074331A (zh) * 2018-05-02 2020-12-11 任天堂株式会社 信息处理程序、信息处理装置、信息处理系统以及信息处理方法
JP6935361B2 (ja) 2018-05-02 2021-09-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2019193742A (ja) 2018-05-02 2019-11-07 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
KR20200055202A (ko) * 2018-11-12 2020-05-21 삼성전자주식회사 제스처에 의해 트리거 되는 음성 인식 서비스를 제공하는 전자 장치 및 그 동작 방법
CN109558035A (zh) * 2018-11-27 2019-04-02 英华达（上海）科技有限公司 基于光线传感器的输入方法、终端设备和存储介质
CN110046585A (zh) * 2019-04-19 2019-07-23 西北工业大学 一种基于环境光的手势识别方法
CN110764611A (zh) * 2019-09-30 2020-02-07 深圳宝龙达信创科技股份有限公司 一种手势识别模块和笔记本
CN112710388B (zh) * 2019-10-24 2022-07-01 北京小米移动软件有限公司 环境光检测方法、环境光检测装置、终端设备及存储介质
CN111623392A (zh) * 2020-04-13 2020-09-04 华帝股份有限公司 一种带有手势识别组件的烟机及其控制方法
CN111596759A (zh) * 2020-04-29 2020-08-28 维沃移动通信有限公司 操作手势识别方法、装置、设备及介质
CN112019978B (zh) * 2020-08-06 2022-04-26 安徽华米信息科技有限公司 一种真无线立体声tws耳机的场景切换方法、装置及耳机
CN112433611A (zh) * 2020-11-24 2021-03-02 珠海格力电器股份有限公司 一种终端设备的控制方法以及装置
CN112947753B (zh) * 2021-02-19 2023-08-08 歌尔科技有限公司 可穿戴设备及其控制方法、可读存储介质
CN114020382A (zh) * 2021-10-29 2022-02-08 杭州逗酷软件科技有限公司 一种执行方法、电子设备及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007833A1 (en) 2010-07-09 2012-01-12 Chi Mei Communication Systems, Inc. Portable electronic device and control method thereof
EP2821889A1 (en) 2013-07-01 2015-01-07 BlackBerry Limited Performance control of ambient light sensors

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4721159B2 (ja) * 2005-03-28 2011-07-13 ミネベア株式会社 面状照明装置
CN100504779C (zh) * 2006-06-30 2009-06-24 联想(北京)有限公司 一种加速bios运行的方法
JP2010108081A (ja) * 2008-10-28 2010-05-13 Sharp Corp メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム
WO2010084641A1 (ja) * 2009-01-20 2010-07-29 シャープ株式会社 光強度センサ付き液晶表示装置
CN102055844B (zh) * 2010-11-15 2013-05-15 惠州Tcl移动通信有限公司 一种通过手势识别实现照相机快门功能的方法及手机装置
WO2013055777A1 (en) * 2011-10-10 2013-04-18 Edward Hartley Sargent Capture of events in space and time
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US9853501B2 (en) * 2012-02-03 2017-12-26 Nec Corporation Electromagnetic wave transmission sheet and electromagnetic wave transmission device
CN103713735B (zh) * 2012-09-29 2018-03-16 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
EP2821888B1 (en) * 2013-07-01 2019-06-12 BlackBerry Limited Gesture detection using ambient light sensors
US20150000247A1 (en) * 2013-07-01 2015-01-01 General Electric Company System and method for detecting airfoil clash within a compressor
KR102104442B1 (ko) * 2013-07-22 2020-04-24 엘지전자 주식회사 세탁물 처리기기
US9465448B2 (en) * 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
CN105511631B (zh) * 2016-01-19 2018-08-07 北京小米移动软件有限公司 手势识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007833A1 (en) 2010-07-09 2012-01-12 Chi Mei Communication Systems, Inc. Portable electronic device and control method thereof
EP2821889A1 (en) 2013-07-01 2015-01-07 BlackBerry Limited Performance control of ambient light sensors

Also Published As

Publication number Publication date
EP3196736A1 (en) 2017-07-26
US20170205962A1 (en) 2017-07-20
CN105511631A (zh) 2016-04-20
RU2690202C2 (ru) 2019-05-31
JP6533535B2 (ja) 2019-06-19
JP2018506086A (ja) 2018-03-01
KR20170132264A (ko) 2017-12-01
RU2017140024A (ru) 2019-05-17
CN105511631B (zh) 2018-08-07
RU2017140024A3 (ko) 2019-05-17
WO2017124773A1 (zh) 2017-07-27

Similar Documents

Publication Publication Date Title
KR102045232B1 (ko) 제스처 식별 방법, 장치, 프로그램 및 기록매체
JP6366699B2 (ja) 指紋識別方法および装置
RU2661289C1 (ru) Способ и устройство предотвращения случайного касания терминала с сенсорным экраном
EP3121701A1 (en) Method and apparatus for single-hand operation on full screen
EP3173970A1 (en) Image processing method and apparatus
US20160210034A1 (en) Method and apparatus for switching display mode
US20170060320A1 (en) Method for controlling a mobile terminal using a side touch panel
JP6559769B2 (ja) ジェスチャーの識別方法及び装置
EP3136391A1 (en) Method, device and terminal device for video effect processing
US20170153754A1 (en) Method and device for operating object
CN105912258B (zh) 操作处理方法及装置
CN107562349B (zh) 一种执行处理的方法和装置
JP6229069B2 (ja) モバイルターミナル、バーチャルボタンを処理する方法
US20170052693A1 (en) Method and device for displaying a target object
KR102258742B1 (ko) 터치신호의 처리방법, 장치 및 매체
CN106445122B (zh) 设备状态控制方法及装置
US20220147244A1 (en) Method and device for touch operation, and storage medium
US20160195992A1 (en) Mobile terminal and method for processing signals generated from touching virtual keys
CN106325724B (zh) 触控响应方法及装置
CN108469926B (zh) 设备控制方法、装置及设备
CN112286392A (zh) 触控屏的触控检测方法及装置、存储介质
CN106814903B (zh) 功能键的触控方法和装置
CN115373532A (zh) 一种触控处理方法、装置及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant