KR101433543B1 - 제스처 기반으로 한 인간과 컴퓨터의 상호작용에 대한 방법, 시스템 및 컴퓨터 기록 매체 - Google Patents

제스처 기반으로 한 인간과 컴퓨터의 상호작용에 대한 방법, 시스템 및 컴퓨터 기록 매체 Download PDF

Info

Publication number
KR101433543B1
KR101433543B1 KR1020137005378A KR20137005378A KR101433543B1 KR 101433543 B1 KR101433543 B1 KR 101433543B1 KR 1020137005378 A KR1020137005378 A KR 1020137005378A KR 20137005378 A KR20137005378 A KR 20137005378A KR 101433543 B1 KR101433543 B1 KR 101433543B1
Authority
KR
South Korea
Prior art keywords
color block
color
coordinates
video stream
image
Prior art date
Application number
KR1020137005378A
Other languages
English (en)
Other versions
KR20130073934A (ko
Inventor
통 쳉
슈아이 유에
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20130073934A publication Critical patent/KR20130073934A/ko
Application granted granted Critical
Publication of KR101433543B1 publication Critical patent/KR101433543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컴퓨터 기술 분야의 제스처 기반으로 한 인간과 컴퓨터의 상호작용에 관한 방법, 시스템 및 컴퓨터 기록 매체가 제공된다. 상기 시스템은 획득 모듈, 배치 모듈 및 변환 모듈을 포함한다. 상기 방법은 사용자의 비디오 스트림을 획득하고 상기 비디오 스트림 내의 사진을 획득하는 단계; 전경 내에 있는 세 개 이상의 기설정된 컬러 패치의 좌표를 획득하는 단계; 및 제 1 컬러 패치의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 패치의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 단계를 포함한다. 상기 방법과 시스템은 사용자의 비디오 스트림을 처리하는 것을 통해 기설정된 컬러 패치에 대한 많은 좌표를 획득하고, 많은 컬러 패치의 좌표에 따라 마우스의 동작을 시뮬레이션할 수 있다. 기존의 컴퓨터와 다른 처리 장치들은 아주 간단한 방식으로 제스처 기반으로 한 인간과 컴퓨터의 상호작용을 제공하도록 확장될 수 있으므로, 시뮬레이션된 터치 제어 효과는 터치 스크린 없이도 달성될 수 있다.

Description

제스처 기반으로 한 인간과 컴퓨터의 상호작용에 대한 방법, 시스템 및 컴퓨터 기록 매체{GESTURE-BASED HUMAN-COMPUTER INTERACTION METHOD AND SYSTEM, AND COMPUTER STORAGE MEDIA}
본 발명은 일반적으로 컴퓨터 기술 분야와 연관되며, 특히, 제스처(gesture) 기반으로 한 인간과 기계의 상호작용에 대한 방법, 시스템 및 컴퓨터 판독가능 매체와 연관된다.
컴퓨터와 같은 처리 장치에 대한 인간과 기계의 상호작용은 마우스, 키보드 및 모니터를 이용하여 이루어진다. 기술의 발전과 함께, 더욱 편리하고 빠른 방법이 인간과 기계의 상호작용에 이용될 것으로 기대된다. 음성과 필기 펜은 이러한 기대를 충족시키기 위해 개발되어 온 것이다.
본 개시사항들을 수반하는 과정 중에서, 현재 당업자들에 의해 종래 기술은 다음과 같은 결점을 가지는 것이 밝혀졌다:
음성 입력은 그래픽 인터페이스 어플리케이션에 대해서만 한정되는 문자 입력시의 입력 어려움을 완화시켜 줄 수 있다. 이와 유사하게, 펜을 기반으로 한 필기 명령은 중국어를 입력하는 데에 몇가지 이점을 가질 수 있으나, 그래픽 인터페이스 어플리케이션에 이용되는 경우 마우스보다 덜 편리하다.
음성 입력과 펜 기반의 필기 입력과 같은 인간과 기계의 상호작용이 컴퓨터와 같은 처리 장치에 대한 그래픽 인터페이스 어플리케이션에 이용될 수 없는 문제점을 해결하기 위해, 본 발명의 실시예들은 제스처를 기반으로 한 인간과 기계의 상호작용에 대한 방법, 시스템 및 컴퓨터 판독가능 매체를 제공한다.
제스처 기반으로 한 인간과 기계의 상호작용에 대한 방법은,
사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 단계,
세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 단계,
제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 단계를 포함한다.
제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템은,
사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 캡쳐 모듈,
세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 배치 모듈,
제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 변환 모듈,
을 포함한다.
본 발명에 의해 컴퓨터 판독가능 매체가 제공된다.
컴퓨터로 실행되는 명령이 기록된 적어도 하나의 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터로 실행되는 명령은 제스처 기반으로 한 인간과 기계의 상호작용 방법을 실행하도록 이용되며, 상기 방법은,
사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 단계,
세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 단계,
제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 단계를 포함한다.
본 발명의 실시예들에 의해 유리한 효과를 갖는 기술적 해결방안이 제공된다: 본 발명에 따르는 실시예들은 캡쳐된 사용자의 비디오 스트림을 처리하는 것을 통해 복수의 컬러 블록의 좌표를 제공하고, 컬러 블록의 좌표에 따라 마우스 동작을 시뮬레이션할 수 있다. 컴퓨터와 같은 처리 장치들은 아주 간단한 방법으로 제스처 기반의 인간과 기계의 상호작용을 구현하도록 확장될 수 있으며, 터치 감지 상호작용 효과는 터치 스크린이 없이도 시뮬레이션 될 수 있다.
본 발명의 실시예에 의한 해결방안을 명확하게 설명하기 위해, 실시예들의 도면에 대하여 아래에서 간략하게 설명한다. 아래의 도면은 본 발명의 일부 실시예만을 나타내는 것임을 명백히 한다. 본 발명의 개념과 범위를 벗어나지 않는 범위에서 관련분야의 통상의 기술자가 이러한 도면으로부터 다른 도면들을 획득할 수도 있을 것이다.
도 1은 본 발명에 따른 제 1 실시예의 개념적인 순서도이다.
도 2는 본 발명에 따른 제 2 실시예의 개념적인 순서도이다.
도 3은 본 발명에 따른 제 3 실시예의 개념적인 블록도이다.
도 4는 본 발명에 따른 제 4 실시예의 개념적인 블록도이다.
본 발명의 목적, 해결방안 및 이점을 더욱 명확히 하기 위해, 실시예들과 함께 수반되는 본 발명의 도면은 도면부호를 통하여 구체적으로 설명된다.
본 발명의 원리는 사용자의 손가락의 이동을 통해 마우스의 동작을 시뮬레이션하는 것인데, 이때 사용자의 손가락의 이동은 사용자의 비디오 스트림을 처리함으로써 결정된다. 컬러 블록 템플릿은 세 개의 손가락과 관련하여 각각 미리 캡쳐될 수 있으며, 캡쳐된 비디오 스트림은 손가락의 위치를 결정하도록 처리된다. 손가락 중의 하나는 마우스의 이동을 시뮬레이션하는 데에 이용될 수 있으며, 나머지 다른 두 개의 손가락은 마우스의 클릭 동작을 시뮬레이션 하는 데에 이용될 수 있다. Intel사의 OpenCV는 이미지 처리에 대한 오픈 소스 코드를 포함하는 소스 코드 라이브러리를 제공한다; 본 실시예는 OpenCV 프로그래밍을 통해 코드화될 수 있다. 본 발명의 실시예에 대한 구체적인 설명은 아래에서 서술하도록 한다.
제 1 실시예
본 발명의 실시예는 제스처(gesture) 기반으로 한 인간과 기계의 상호작용에 대한 방법을 제공한다. 도 1은 상기 방법의 순서도를 개념적으로 나타낸 것이며, 상기 방법은 다음을 포함한다:
단계 101에서, 사용자의 비디오 스트림을 캡쳐하고 상기 사용자의 비디오 스트림으로부터 이미지를 캡쳐한다;
단계 102에서, 세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치한다;
단계 103에서, 제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션한다.
본 발명의 실시예는 캡쳐된 사용자의 비디오 스트림을 처리하는 것을 통해 복수의 기 정의된 컬러 블록의 좌표를 배치하고, 컬러 블록의 좌표에 따라 마우스의 동작을 시뮬레이션한다. 컴퓨터와 같은 처리 장치들은 아주 간단한 방법으로 제스처 기반의 인간과 기계의 상호작용을 구현하도록 확장될 수 있으며, 터치 감지 상호작용 효과는 터치 스크린이 없이도 시뮬레이션 될 수 있다.
제 2 실시예
본 발명의 제 2 실시예는 제 1 실시예를 개선하는 것을 기반으로 한다. 도 2는 제 2 실시예의 방법의 순서도를 개념적으로 나타낸 것이며, 상기 방법은 다음과 같은 단계를 포함한다:
단계 201에서, 카메라를 통해 사용자의 비디오 스트림을 캡쳐하고 사용자의 비디오 스트림으로부터 이미지를 캡쳐한다;
여기서, 캡쳐된 이미지는 연속적이거나 불연속적일 수 있다. 보통, 사용자 손가락이 이동하는 속도는 다소 빠르지 않으므로, 반드시 모든 이미지를 처리하지 않도록 할 수 있으며, 처리에 드는 비용을 절약하는 데에 추가 이득이 있다. 더욱 정확한 필요요건으로서, 비디오 스트림으로부터 캡쳐된 각 이미지가 처리될 수 있다는 것은 명백하나, 본 발명은 반드시 이에 제한되지 않는다.
단계 202에서, 비디오 스트림으로부터 캡쳐된 각 이미지를 처리하여, 이미지의 배경을 제거함으로써 이미지의 전경을 획득한다. 일반적으로 사무실이나 집과 같은 환경은 비디오 스트림의 배경에서 거의 변화를 갖지 않으므로; 상기 배경이 쉽게 결정될 수 있다는 것이 이해될 수 있을 것이다. 그러므로, 단계 202는 구체적으로 다음과 같은 단계를 포함한다:
단계 2021에서, 마스크 사진을 생성하기 위한 코드 북(Code Book) 알고리즘을 통해 배경 모델을 설정한다; 마스크 사진은 처리 이미지와 동일한 크기를 가질 수 있다; 마스크 사진의 전경은 흰색이며; 마스크 사진의 배경은 검은 색이다;
단계 2022에서, 마스크 사진과 처리 이미지를 매칭하여 대응하는 이미지 부분을 제거한다; 하나의 마스크 사진이 있는 경우; 배경 모델은 전경 이미지 부분을 획득하기 위해, 캡쳐된 이미지에 실행되는 모든 제거 동작에 대하여 이용될 수 있다.
코드 북(Code Book) 알고리즘을 통해 이미지의 전경을 획득하는 것은 본 실시예에서 선택될 수 있는 것 중의 하나이므로, 본 발명은 이러한 선택과 설명에 제한되지 않는다는 것이 이해되어야 할 것이다.
단계 203에서, 기설정된 컬러 블록 탬플릿을 통해 기 결정된 컬러 블록의 히스토그램을 획득한다.
일 실시예에 따라, 하나의 손가락의 이동은 마우스의 이동을 시뮬레이션하는 데에 이용되는 한편, 두 개의 손가락은 마우스의 클릭 동작을 시뮬레이션하는 데에 이용된다. 따라서, 적어도 세 개의 기 결정된 컬러 블록을 추적하는 것이 필요하다.
게다가, 세 개의 컬러 블록을 더욱 확실히 구별하기 위해, 사용자의 손가락에는 식별되기 쉬운 서로 다른 컬러로 된 세 개의 손가락 덮개가 착용될 수 있다. 지정된 컬러는 세 개의 컬러 블록에 대한 템플릿으로서 저장될 수 있으며, 이것은 처리를 단순화하게 한다.
일 실시예에 따라, Intel 사의 OpenCV는 이미지 처리를 코드화하는 데에 이용될 수 있다. OpenCV는 Intel 사에 의해 지원되며, 컴퓨터 비전에 대한 오픈 소스 코드 라이브러리이고, 상업적으로나 비상업적으로 자유롭게 이용될 수 있다. 전경에 대한 히스토그램은 OpenCV 내의 히스토그램 기능을 통해 추정될 수 있다. OpenCV에서, 일련의 히스토그램 기능은 DenseHistogram 클래스에 포함되어 있으므로, 일련의 히스토그램 기능의 “추정(Calcuate)“을 통해 이미지의 히스토그램을 추정할 수 있다.
컬러 히스토그램은 컬러 문자의 한 종류이며, 많은 이미지 조사 엔진 시스템에서 넓게 이용된다. 컬러 히스토그램은 전체 이미지에 대한 서로 다른 컬러의 비율을 설명하도록 이용된다. 컬러 히스토그램은 자동적으로 식별되기 어려운 이미지들을 설명하기에 매우 적절하다.
아래에서 설명되는 동작은 세 개의 컬러 블록에서 실행되어 세 개의 컬러 블록에 대응하는 손가락의 위치를 결정하고, 마우스의 클릭 동작을 결정한다. 즉, 단계 203은 아래와 단계 같이 구체화된다:
단계 204에서, 단계 201에서 캡쳐된 이미지와 단계 203에서 획득된 세 개의 컬러 블록에 대한 히스토그램을 얻고, Back Projection 알고리즘을 통해 각 컬러 블록의 확률 분포 다이어그램을 추정한다.
추정은 관련기술분야의 통상의 기술자에게 일반적인 것이므로, 히스토그램을 통해 확률 분포 다이어그램을 추정하는 법은 여기서 구체적으로 설명하지 않도록 한다.
단계 205에서, 확률 분포 다이어그램이 더욱 최적화되도록 확률 분포 다이어그램을 처리한다.
단계 204로부터 획득된 확률 분포 다이어그램에는 노이즈와 톱니 형태가 존재할 수 있으므로, 단계 205에서 이미지의 노이즈를 제거하고 스무딩(smoothing)하는 과정을 실행하여 컬러 블록을 더욱 정확히할 필요가 있다. 즉, 단계 205는 다음을 포함한다:
단계 2051에서, 노이즈 감쇠 동작을 통해 확률 분포 다이어그램에서 노이즈를 제거한다;
단계 2052에서, 가우시안(gaussian) 스무딩은 확률 분포 다이어그램에서 동작되며; 임계값 분할은 가우시안 스무딩된 확률 분포 다이어그램에서 실행된다. 임계값 분할은 다음과 같은 동작을 의미한다: 기 결정된 임계값을 설정하고, 이미지의 픽셀이 임계값보다 작은 경우 픽셀을 전경으로 결정하고; 이미지의 픽셀이 임계값보다 작지 않은 경우 픽셀을 배경으로 결정한다.
단계 206에서, CAMShift (Continuously Apative Mean-Shift) 알고리즘을 통해 확률 분포 다이어그램의 중심을 추적하여, 세 개의 컬러 블록의 중심에 대한 좌표를 결정한다.
CAMShift 알고리즘은 실행된 이동 추적 알고리즘의 한 종류이며, 상기 실행된 이동 추적 알고리즘은 비디오 스트림 내의 이동하는 물체의 컬러 정보를 통해 추적한다. Back Projection 알고리즘을 통해 최초 이미지를 컬러 확률 분포 다이어그램으로 변환한 후, 세 개의 컬러 블록의 중심에 대한 좌표를 추정할 수 있으며, 추정된 좌표는 세 개의 컬러 블록 좌표로서 간주된다.
단계 207에서, 세 개의 컬러 블록의 좌표를 마우스의 동작 정보로 변환한다.
세 개의 컬러 블록의 중심에 대한 좌표가 결정된 후, 제 1 컬러 블록의 좌표는 마우스의 좌표로 변환되고, 마우스의 왼쪽 키의 클릭 동작은 제 2 및 제 3 컬러 블록의 좌표에 의해 결정될 수 있다. 예를 들어, 제 2 및 제 3 컬러 블록 사이의 거리는 마우스의 왼쪽 키의 클릭 동작을 결정하는 데에 이용된다. 제 2 및 제 3 컬러 블록 사이의 거리가 기 결정된 값보다 작은 경우, 마우스의 왼쪽 키가 눌러진 것으로 간주되며; 상기 거리가 기 결정된 값보다 작지 않은 경우, 마우스의 왼쪽 키가 눌러지지 않은 것으로 간주된다.
본 실시예에 따라, OpenCV 오픈 소스 코드 라이브러리를 통해, 제스처의 제 1 블록은 마우스의 좌표로 변환되며, 제스처의 제 2 및 제 3 블록은 마우스의 클릭 동작으로 변환된다. 이렇게 함으로써, 인간과 기계의 상호작용은 쉬운 방법으로 달성될 수 있다.
본 실시예에서 언급된 세 개의 컬러 블록은 본 명세서에서 개시된 사항에 제한되지 않는다.
게다가, 본 발명은 컴퓨터에 실행되는 명령이 기록된 하나 이상의 컴퓨터 판독가능 매체를 제공하며, 상기 컴퓨터에 실행되는 명령은 제스처 기반으로 한 인간과 기계의 상호작용 방법을 실행하는 데에 이용된다. 제스처 기반으로 한 인간과 기계의 상호작용 방법이 컴퓨터 판독가능 매체에 기록된 컴퓨터에 실행되는 명령에 따라 실행되는 단계는 전술한 바와 같으므로 여기서 구체적으로 설명하지 않는다.
제 3 실시예
상기 본 발명의 실시예는 제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템을 제공한다. 도 3은 그러한 시스템의 구조를 나타내는 것이며, 상기 시스템은:
사용자의 비디오 스트림을 캡쳐하고 상기 비디오 스트림으로부터 이미지를 캡쳐하는 캡쳐 모듈(1);
세 개 이상의 기 결정된 컬러 블록의 좌표를 이미지의 전경에 배치하는 배치 모듈(2); 및
제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 변환 모듈(3);을 포함한다.
상기 본 발명의 실시예는 캡쳐된 사용자의 비디오 스트림을 처리하는 것을 통해 복수의 기 정의된 컬러 블록의 좌표를 배치하며, 상기 컬러 블록의 좌표에 따라 마우스의 동작을 시뮬레이션한다. 컴퓨터와 같은 처리 장치들은 아주 간단한 방법으로 제스처 기반의 인간과 기계의 상호작용을 구현하도록 확장될 수 있으며, 터치 감지 상호작용 효과는 터치 스크린이 없이도 시뮬레이션 될 수 있다.
제 4 실시예
상기 본 발명의 실시예는 제 3 실시예를 개선하는 것을 기반으로 한다. 도 4는 상기 제 4 실시예의 시스템의 구조를 개념적으로 나타낸 것이다. 상기 시스템은 다음과 같은 구성을 포함한다:
카메라를 통해 사용자의 비디오 스트림을 캡쳐하고 사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 캡쳐 모듈(1)이 상기 시스템에 포함될 수 있다;
여기서, 캡쳐된 이미지는 연속적이거나 불연속적일 수 있다. 보통, 사용자 손가락이 이동하는 속도는 다소 빠르지 않으므로, 반드시 모든 이미지를 처리하지 않도록 할 수 있으며, 처리에 드는 비용을 절약하는 데에 추가 이득이 있다. 더욱 정확한 필요요건으로서, 비디오 스트림으로부터 캡쳐된 각 이미지가 처리될 수 있다는 것은 명백하나, 본 발명은 반드시 이에 제한되지 않는다.
이미지의 배경을 제거하고, 세 개의 컬러 블록의 좌표를 전경에 배치하는 배치 모듈(2)이 상기 시스템에 포함될 수 있다; 아래에서 배치 모듈(2)이 포함하는 구성에 대하여 설명한다:
배경 분할 유닛(21)은 비디오 스트림으로부터 캡쳐된 각 이미지를 처리하여, 이미지의 배경을 제거함으로써 이미지의 전경을 획득한다. 일반적으로 사무실이나 집과 같은 환경은 비디오 스트림의 배경에서 거의 변화를 갖지 않으므로 상기 배경이 쉽게 결정될 수 있다는 것이 이해될 수 있을 것이다. 그러므로, 배경 분할 유닛(21)은 다음과 같은 구성을 포함한다:
마스크 사진 서브유닛(211)은 코드 북(Code Book) 알고리즘을 통해 배경 모델을 설정하고 마스크 사진을 생성한다; 마스크 사진은 처리 이미지와 동일한 크기를 가질 수 있다; 마스크 사진의 전경은 흰색이며; 마스크 사진의 배경은 검은 색이다;
제거 서브유닛(212)은 마스크 사진과 처리 이미지를 매칭하여, 대응하는 이미지 부분을 제거한다; 하나의 마스크 사진이 있는 경우; 배경 모델은 전경 이미지 부분을 획득하기 위해, 캡쳐된 이미지에 실행되는 모든 제거 동작에 대하여 이용될 수 있다.
코드 북(Code Book) 알고리즘을 통해 이미지의 전경을 획득하는 것은 본 실시예에서 선택될 수 있는 것 중의 하나이므로, 본 발명은 이러한 선택과 설명에 제한되지 않는다는 것이 이해되어야 할 것이다.
히스토그램 유닛(22)은 기설정된 컬러 블록 탬플릿을 통해 기 결정된 컬러 블록의 히스토그램을 획득한다.
일 실시예에 따라, 하나의 손가락의 이동은 마우스의 이동을 시뮬레이션하는 데에 이용되는 한편, 두 개의 손가락은 마우스의 클릭 동작을 시뮬레이션하는 데에 이용된다. 따라서, 적어도 세 개의 기 결정된 컬러 블록을 추적하는 것이 필요하다.
게다가, 세 개의 컬러 블록을 더욱 확실히 구별하기 위해, 사용자의 손가락에는 식별되기 쉬운 서로 다른 컬러로 된 세 개의 손가락 덮개가 착용될 수 있다. 지정된 컬러는 세 개의 컬러 블록에 대한 템플릿으로서 저장될 수 있으며, 이것은 처리를 단순화하게 한다.
일 실시예에 따라, Intel 사의 OpenCV는 이미지 처리를 코드화하는 데에 이용될 수 있다. OpenCV는 Intel 사에 의해 지원되며, 컴퓨터 비전에 대한 오픈 소스 코드 라이브러리이고, 상업적으로나 비상업적으로 자유롭게 이용될 수 있다. 전경에 대한 히스토그램은 OpenCV 내의 히스토그램 기능을 통해 추정될 수 있다. OpenCV에서, 일련의 히스토그램 기능은 DenseHistogram 클래스에 포함되어 있으므로, 일련의 히스토그램 기능의 “추정(Calcuate)“을 통해 이미지의 히스토그램을 추정할 수 있다.
컬러 히스토그램은 컬러 문자의 한 종류이며, 복수의 이미지 조사 엔진 시스템에서 넓게 이용된다. 컬러 히스토그램은 전체 이미지에 대한 서로 다른 컬러의 비율을 설명하도록 이용된다. 컬러 히스토그램은 자동적으로 식별되기 어려운 이미지들을 설명하기에 매우 적절하다.
여기서 설명된 단계는 세 개의 컬러 블록에 대해서 실행되어, 세 개의 컬러 블록에 대응하는 손가락의 위치를 결정하고 마우스의 클릭 동작을 결정한다.
확률 분포 다이어그램 유닛(23)은 캡쳐 모듈(1)에 의해 캡쳐된 이미지와 히스토그램 유닛(22)에 의해 획득된 세 개의 컬러 블록의 히스토그램에 따라 Back Projection 알고리즘을 통해 각 컬러 블록의 확률 분포 다이어그램을 추정한다.
추정은 관련기술분야의 통상의 기술자에게 일반적인 것이므로, 히스토그램을 통해 확률 분포 다이어그램을 추정하는 법은 여기서 구체적으로 설명하지 않도록 한다.
최적화 유닛(24)은 확률 분포 다이어그램을 더욱 최적화하도록 확률 분포 다이어그램을 처리한다.
확률 분포 다이어그램 유닛(23)에 의해 추정된 확률 분포 다이어그램에는 노이즈와 톱니 형태가 존재할 수 있으므로, 최적화 유닛(24)이 이미지의 노이즈를 제거하고 스무딩(smoothing)하는 과정을 수행하여 컬러 블록을 더욱 정확히 할 필요가 있다. 최적화 유닛(24)은 다음과 같은 구성을 포함한다:
노이즈 제거(de-noise) 서브유닛은 노이즈 감쇠 동작을 통해 확률 분포 다이어그램에서 노이즈를 제거한다.
스무딩 서브유닛은 확률 분포 다이어그램에서 가우시안 스무딩을 동작시키고 가우시안 스무딩된 확률 분포 다이어그램에서 임계값 분할을 실행한다. 임계값 분할은 다음과 같은 동작을 의미한다: 기 결정된 임계값을 설정하고, 이미지의 픽셀이 임계값보다 작은 경우 픽셀을 전경으로 결정하고; 이미지의 픽셀이 임계값보다 작지 않은 경우 픽셀을 배경으로 결정한다.
추적 유닛(25)은 CAMShift (Continuously Apative Mean-Shift) 알고리즘을 통해 확률 분포 다이어그램의 중심을 추적하여, 세 개의 컬러 블록의 중심에 대한 좌표를 결정하며, 상기 결정된 좌표는 세 개의 컬러 블록의 좌표로 간주된다.
CAMShift 알고리즘은 실행된 이동 추적 알고리즘의 한 종류이며, 상기 실행된 이동 추적 알고리즘은 비디오 스트림 내의 이동하는 물체의 컬러 정보를 통해 추적한다. Back Projection 알고리즘을 통해 최초 이미지를 컬러 확률 분포 다이어그램으로 변환한 후, 세 개의 컬러 블록의 중심에 대한 좌표를 추정할 수 있다.
변환 모듈(3)은 세 개의 컬러 블록의 좌표를 마우스의 동작 정보로 변환한다.
세 개의 컬러 블록의 중심에 대한 좌표가 결정된 후, 제 1 컬러 블록의 좌표는 마우스의 좌표로 변환되고, 마우스의 왼쪽 키의 클릭 동작은 제 2 및 제 3 컬러 블록의 좌표에 의해 결정될 수 있다. 예를 들어, 제 2 및 제 3 컬러 블록 사이의 거리는 마우스의 왼쪽 키의 클릭 동작을 결정하는 데에 이용된다. 제 2 및 제 3 컬러 블록 사이의 거리가 기 결정된 값보다 작은 경우, 마우스의 왼쪽 키가 눌러진 것으로 간주되며; 상기 거리가 기 결정된 값보다 작지 않은 경우, 마우스의 왼쪽 키가 눌러지지 않은 것으로 간주된다.
본 실시예에 따라, OpenCV 오픈 소스 코드 라이브러리를 통해, 제스처의 제 1 블록은 마우스의 좌표로 변환되며, 제스처의 제 2 및 제 3 블록은 마우스의 클릭 동작으로 변환된다. 이렇게 함으로써, 인간과 기계의 상호작용은 쉬운 방법으로 달성될 수 있다.
본 실시예에서 언급된 세 개의 컬러 블록은 본 명세서에서 개시된 사항에 제한되지 않는다.
제 3 및 제 4 실시예에 따르는 시스템의 원리와 개념은 제 1 및 제 2 실시예에 따르는 전술한 방법들과 동일하므로, 제 3 및 제 4 실시예에 대한 내용 중 제 1 및 제 2 실시예와 동일한 부분에 대해서는 구체적으로 설명하지 않았다.
본 발명의 실시예에 의해 제공된 유닛은, 상기 유닛이 소프트웨어로 기능하고, 배포되며 별도의 제품으로 이용되는 유닛인 경우, 컴퓨터 판독가능 매체에 기록될수 있다. 이러한 이해를 바탕으로, 본 발명의 개시사항은 별도의 제품으로 존재할 수 있다. 상기 별도의 제품은 기록 매체에 기록될 수 있으며, (개인용 컴퓨터, 서버 또는 네트워크 장치와 같은)처리 장치를 만드는 명령을 포함하여 본 발명에 따른 실시예와 같은 방법의 일부 또는 전체를 실행할 수 있다. 그러한 기록 매체는 USB 플래쉬 메모리, 이동식 하드 디스크, 롬(ROM : Read-Only Memory), 램(RAM : Random Access Memory), 자기 디스크, 광학 디스크 또는 프로그램 코드를 기록할 수 있는 다른 임의의 매체가 될 수 있다.
본 발명이 몇가지의 예시적인 실시예로서 설명되었으나, 본 발명은 설명된 실시예들에만 제한되는 것은 아니므로, 본 발명의 개념과 범위 내에서 수정, 대체 또는 개선등이 이루어질 수 있다.

Claims (18)

  1. 컴퓨팅 장치에 의해, 사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 단계;
    컴퓨팅 장치에 의해, 세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 단계; 및
    컴퓨팅 장치에 의해, 제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 단계;
    를 포함하는 제스처 기반으로 한 인간과 기계의 상호작용에 대한 방법.
  2. 제 1 항에 있어서,
    상기 사용자의 비디오 스트림을 캡쳐하는 단계와 사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 단계는,
    컴퓨팅 장치에 의해, 카메라를 통해 사용자의 비디오 스트림을 캡쳐하고, 상기 비디오 스트림으로부터 연속적인 이미지를 캡쳐하거나 기 결정된 매 시간간격마다 상기 비디오 스트림으로부터 불연속적인 이미지를 캡쳐하는 단계를 포함하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 방법.
  3. 제 2 항에 있어서,
    상기 세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 단계는,
    컴퓨팅 장치에 의해, 마스크 사진을 생성하기 위해 배경 모델을 설정하고, 상기 마스크 사진을 통해 상기 이미지의 배경을 제거하는 단계;
    컴퓨팅 장치에 의해, 기 결정된 제 1 컬러 블록 템플릿, 제 2 컬러 블록 템플릿 및 제 3 컬러 블록 템플릿을 획득하고, 상기 이미지에 따라 각 컬러 블록에 대응하는 히스토그램을 생성하는 단계;
    컴퓨팅 장치에 의해, 상기 대응하는 히스토그램에 따라 각 컬러 블록의 확률 분포 다이어그램을 추정하는 단계; 및
    컴퓨팅 장치에 의해, 상기 확률 분포 다이어그램에서 각 컬러 블록의 중심을 추적하여 상기 세 개의 컬러 블록의 좌표를 결정하는 단계;
    를 포함하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 방법.
  4. 제 3 항에 있어서,
    상기 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 단계는,
    컴퓨팅 장치에 의해, 상기 제 2 컬러 블록과 상기 제 3 컬러 블록 사이의 직선 거리를 결정하고, 상기 직선 거리가 기 결정된 임계값보다 작은지 여부를 결정하는 단계; 상기 직선 거리가 상기 기 결정된 임계값보다 작은 경우 마우스의 왼쪽 키를 누르는 동작을 시뮬레이션하는 단계; 및 상기 직선 거리가 상기 기 결정된 임계값보다 작지 않은 경우 상기 마우스의 왼쪽 키를 누르지 않는 동작을 시뮬레이션 하는 단계;를 포함하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 방법.
  5. 제 4 항에 있어서,
    기 결정된 세 개의 컬러 블록 템플릿을 획득하는 단계는,
    컴퓨팅 장치에 의해, 상기 제 1 컬러 블록 내지 제 3 컬러 블록에 대한 템플릿으로서 상기 사용자의 손가락에 착용된 서로 다른 컬러를 가진 세 개의 손가락 덮개의 컬러를 저장하는 단계를 포함하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 방법.
  6. 제 3 항에 있어서,
    상기 대응하는 히스토그램에 따라 각 컬러 블록의 확률 분포 다이어그램을 추정하는 단계 후에,
    컴퓨팅 장치에 의해, 노이즈 감쇠 동작을 통해 상기 확률 분포 다이어그램에서 노이즈를 제거하는 단계; 및
    컴퓨팅 장치에 의해, 상기 확률 분포 다이어그램에 가우시안 스무딩을 동작시키고, 상기 가우시안 스무딩된 다이어그램에 임계값 분할을 실행하는 단계;
    를 포함하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 방법.
  7. 사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 캡쳐 모듈;
    세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 배치 모듈; 및
    제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 변환 모듈;
    을 포함하는 제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템.
  8. 제 7 항에 있어서,
    상기 캡쳐 모듈은 카메라를 통해 상기 사용자의 비디오 스트림을 캡쳐하고, 상기 비디오 스트림으로부터 연속적인 이미지를 캡쳐하거나 기 결정된 매 시간간격마다 상기 비디오 스트림으로부터 불연속적인 이미지를 캡쳐하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템.
  9. 제 8 항에 있어서,
    상기 배치 모듈은,
    마스크 사진을 생성하기 위해 배경 모델을 설정하고, 상기 마스크 사진을 통해 상기 이미지의 배경을 제거하는 배경 분할 유닛;
    기 결정된 제 1 컬러 블록 템플릿, 제 2 컬러 블록 템플릿 및 제 3 컬러 블록 템플릿을 획득하고, 상기 이미지에 따라 각 컬러 블록에 대응하는 히스토그램을 생성하는 히스토그램 유닛;
    상기 대응하는 히스토그램에 따라 각 컬러 블록의 확률 분포 다이어그램을 추정하는 확률 분포 다이어그램 유닛; 및
    상기 확률 분포 다이어그램에서 각 컬러 블록의 중심을 추적하여 상기 세 개의 컬러 블록의 좌표를 결정하는 추적 유닛;
    을 포함하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템.
  10. 제 9 항에 있어서,
    상기 변환 모듈은 상기 제 2 컬러 블록과 상기 제 3 컬러 블록 사이의 직선 거리를 결정하고, 상기 직선 거리가 기 결정된 임계값보다 작은지 여부를 결정하여; 상기 직선 거리가 상기 기 결정된 임계값보다 작은 경우 마우스의 왼쪽 키를 누르는 동작을 시뮬레이션하고; 상기 직선 거리가 상기 기 결정된 임계값보다 작지 않은 경우 상기 마우스의 왼쪽 키를 누르지 않는 동작을 시뮬레이션 하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템.
  11. 제 10 항에 있어서,
    손가락에 착용되는 서로 다른 컬러를 가진 세 개의 손가락 덮개, 상기 제 1 컬러 블록 내지 제 3 컬러 블록에 대한 템플릿으로서 저장되는 상기 손가락 덮개의 컬러를 추가로 포함하는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템.
  12. 제 9 항에 있어서,
    상기 배치 모듈은 최적화 유닛을 추가로 포함하며, 상기 최적화 유닛은 노이즈 제거 서브유닛과 스무딩 서브유닛을 포함하며, 상기 노이즈 제거 서브유닛은 노이즈 감쇠 동작을 통해 상기 확률 분포 다이어그램에서 노이즈를 제거하도록 이용되며, 상기 스무딩 서브유닛은 상기 확률 분포 다이어그램에 가우시안 스무딩을 동작시키고, 상기 가우시안 스무딩된 다이어그램에 임계값 분할을 실행하도록 이용되는, 제스처 기반으로 한 인간과 기계의 상호작용에 대한 시스템.
  13. 컴퓨터로 실행되는 명령이 기록된 적어도 하나의 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터로 실행되는 명령은 제스처 기반으로 한 인간과 기계의 상호작용 방법을 실행하도록 이용되며, 상기 방법은,
    사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 단계;
    세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 단계; 및
    제 1 컬러 블록의 좌표에 따라 마우스의 이동을 시뮬레이션하고, 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 단계;
    를 포함하는 컴퓨터 판독가능 매체.
  14. 제 13 항에 있어서,
    상기 사용자의 비디오 스트림을 캡쳐하는 단계와 사용자의 비디오 스트림으로부터 이미지를 캡쳐하는 단계는,
    카메라를 통해 사용자의 비디오 스트림을 캡쳐하고, 상기 비디오 스트림으로부터 연속적인 이미지를 캡쳐하거나 기 결정된 매 시간간격마다 상기 비디오 스트림으로부터 불연속적인 이미지를 캡쳐하는 단계를 포함하는, 컴퓨터 판독가능 매체.
  15. 제 14 항에 있어서,
    상기 세 개 이상의 기 결정된 컬러 블록의 좌표를 전경에 배치하는 단계는,
    마스크 사진을 생성하기 위해 배경 모델을 설정하고, 상기 마스크 사진을 통해 상기 이미지의 배경을 제거하는 단계;
    기 결정된 제 1 컬러 블록 템플릿, 제 2 컬러 블록 템플릿 및 제 3 컬러 블록 템플릿을 획득하고, 상기 이미지에 따라 각 컬러 블록에 대응하는 히스토그램을 생성하는 단계;
    상기 대응하는 히스토그램에 따라 각 컬러 블록의 확률 분포 다이어그램을 추정하는 단계; 및
    상기 확률 분포 다이어그램에서 각 컬러 블록의 중심을 추적하여 상기 세 개의 컬러 블록의 좌표를 결정하는 단계;
    를 포함하는, 컴퓨터 판독가능 매체.
  16. 제 15 항에 있어서,
    상기 다른 컬러 블록의 좌표에 따라 마우스의 클릭 동작을 시뮬레이션하는 단계는,
    상기 제 2 컬러 블록과 상기 제 3 컬러 블록 사이의 직선 거리를 결정하고, 상기 직선 거리가 기 결정된 임계값보다 작은지 여부를 결정하는 단계; 상기 직선 거리가 상기 기 결정된 임계값보다 작은 경우 마우스의 왼쪽 키를 누르는 동작을 시뮬레이션하는 단계; 및 상기 직선 거리가 상기 기 결정된 임계값보다 작지 않은 경우 상기 마우스의 왼쪽 키를 누르지 않는 동작을 시뮬레이션 하는 단계;를 포함하는, 컴퓨터 판독가능 매체.
  17. 제 16 항에 있어서,
    기 결정된 세 개의 컬러 블록 템플릿을 획득하는 단계는,
    상기 제 1 컬러 블록 내지 제 3 컬러 블록에 대한 템플릿으로서 상기 사용자의 손가락에 착용된 서로 다른 컬러를 가진 세 개의 손가락 덮개의 컬러를 저장하는 단계를 포함하는, 컴퓨터 판독가능 매체.
  18. 제 15 항에 있어서,
    상기 대응하는 히스토그램에 따라 각 컬러 블록의 확률 분포 다이어그램을 추정하는 단계 후에,
    노이즈 감쇠 동작을 통해 상기 확률 분포 다이어그램에서 노이즈를 제거하는 단계; 및
    상기 확률 분포 다이어그램에 가우시안 스무딩을 동작시키고, 상기 가우시안 스무딩된 다이어그램에 임계값 분할을 실행하는 단계;
    를 포함하는, 컴퓨터 판독가능 매체.
KR1020137005378A 2010-09-17 2011-08-16 제스처 기반으로 한 인간과 컴퓨터의 상호작용에 대한 방법, 시스템 및 컴퓨터 기록 매체 KR101433543B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201010287015.2 2010-09-17
CN201010287015.2A CN102402279B (zh) 2010-09-17 2010-09-17 基于手势的人机交互方法及系统
PCT/CN2011/078483 WO2012034469A1 (zh) 2010-09-17 2011-08-16 基于手势的人机交互方法及系统、计算机存储介质

Publications (2)

Publication Number Publication Date
KR20130073934A KR20130073934A (ko) 2013-07-03
KR101433543B1 true KR101433543B1 (ko) 2014-08-22

Family

ID=45830997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137005378A KR101433543B1 (ko) 2010-09-17 2011-08-16 제스처 기반으로 한 인간과 컴퓨터의 상호작용에 대한 방법, 시스템 및 컴퓨터 기록 매체

Country Status (8)

Country Link
EP (1) EP2618237B1 (ko)
JP (1) JP5698355B2 (ko)
KR (1) KR101433543B1 (ko)
CN (1) CN102402279B (ko)
BR (1) BR112013006871A2 (ko)
CA (1) CA2806149C (ko)
RU (1) RU2552192C2 (ko)
WO (1) WO2012034469A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103576848B (zh) 2012-08-09 2016-07-13 腾讯科技（深圳）有限公司 手势操作方法和手势操作装置
CN106611402B (zh) * 2015-10-23 2019-06-14 腾讯科技（深圳）有限公司 图像处理方法及装置
CN108897421A (zh) * 2018-06-19 2018-11-27 芜湖美智空调设备有限公司 电子设备及其控制方法、装置和计算机可读存储介质
KR102274781B1 (ko) * 2019-08-13 2021-07-07 박종태 발과 다리의 6축 움직임 해석에 따른 명령어 생성방법
CN114967927B (zh) * 2022-05-30 2024-04-16 桂林电子科技大学 一种基于图像处理的智能手势交互方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003527708A (ja) 2000-03-13 2003-09-16 アーベー イン クレデブル ジェスチャ認識システム
KR20090047454A (ko) * 2006-08-08 2009-05-12 마이크로소프트 코포레이션 손의 움직임에 지정된 제어 매개변수를 통해 사용자 인터페이스 상의 디스플레이된 이미지를 변경시키기 위한 시스템 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6088018A (en) * 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
RU2175143C1 (ru) * 2000-04-04 2001-10-20 Свириденко Андрей Владимирович Способ дистанционного управления
CN101609362B (zh) * 2008-06-19 2011-07-20 大同股份有限公司 以视讯为基础的游标控制装置及其控制方法
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003527708A (ja) 2000-03-13 2003-09-16 アーベー イン クレデブル ジェスチャ認識システム
KR20090047454A (ko) * 2006-08-08 2009-05-12 마이크로소프트 코포레이션 손의 움직임에 지정된 제어 매개변수를 통해 사용자 인터페이스 상의 디스플레이된 이미지를 변경시키기 위한 시스템 및 방법

Also Published As

Publication number Publication date
RU2012150393A (ru) 2014-10-27
BR112013006871A2 (pt) 2017-09-19
JP2013533561A (ja) 2013-08-22
CN102402279A (zh) 2012-04-04
CN102402279B (zh) 2016-05-25
CA2806149C (en) 2015-11-03
EP2618237A1 (en) 2013-07-24
EP2618237B1 (en) 2018-11-28
RU2552192C2 (ru) 2015-06-10
WO2012034469A1 (zh) 2012-03-22
KR20130073934A (ko) 2013-07-03
CA2806149A1 (en) 2012-03-22
JP5698355B2 (ja) 2015-04-08
EP2618237A4 (en) 2015-11-11

Similar Documents

Publication Publication Date Title
US8963836B2 (en) Method and system for gesture-based human-machine interaction and computer-readable medium thereof
US20130050076A1 (en) Method of recognizing a control command based on finger motion and mobile device using the same
KR101433543B1 (ko) 제스처 기반으로 한 인간과 컴퓨터의 상호작용에 대한 방법, 시스템 및 컴퓨터 기록 매체
US8417026B2 (en) Gesture recognition methods and systems
WO2013075466A1 (zh) 一种基于图像传感模块的字符输入方法、装置及终端
CN112464833A (zh) 基于光流的动态手势识别方法、装置、设备及存储介质
KR20170009979A (ko) 터치 입력을 위한 방법 및 시스템
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
CN104331193A (zh) 一种红外精准多点触控平台
CN107450717B (zh) 一种信息处理方法及穿戴式设备
US20140369559A1 (en) Image recognition method and image recognition system
Vivek Veeriah et al. Robust hand gesture recognition algorithm for simple mouse control
WO2021012513A1 (zh) 手势操作方法、装置以及计算机设备
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10339372B2 (en) Analog strokes to digital ink strokes
CN116301551A (zh) 触控识别方法、触控识别装置、电子设备及介质
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
CN113961067A (zh) 基于深度学习的非接触式涂鸦绘制方法与识别交互系统
Lee et al. Vision-based fingertip-writing character recognition
Bhame et al. Vision based calculator for speech and hearing impaired using hand gesture recognition
Chang et al. Virtual keyboard for head mounted display-based wearable devices
CN114967927B (zh) 一种基于图像处理的智能手势交互方法
Ye et al. 3D Dynamic Hand Gesture Recognition with Fused RGB and Depth Images
An et al. Finger gesture estimation for mobile device user interface using a rear-facing camera
Lee et al. An interactive image clipping system using hand motion recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170720

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 5