KR20120005674A - 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법 - Google Patents

단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법 Download PDF

Info

Publication number
KR20120005674A
KR20120005674A KR1020100066230A KR20100066230A KR20120005674A KR 20120005674 A KR20120005674 A KR 20120005674A KR 1020100066230 A KR1020100066230 A KR 1020100066230A KR 20100066230 A KR20100066230 A KR 20100066230A KR 20120005674 A KR20120005674 A KR 20120005674A
Authority
KR
South Korea
Prior art keywords
finger
pointer
image
information terminal
portable information
Prior art date
Application number
KR1020100066230A
Other languages
English (en)
Other versions
KR101167784B1 (ko
Inventor
홍광석
김정현
안준호
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100066230A priority Critical patent/KR101167784B1/ko
Publication of KR20120005674A publication Critical patent/KR20120005674A/ko
Application granted granted Critical
Publication of KR101167784B1 publication Critical patent/KR101167784B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식하는 방법에 관한 것으로서, 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법은 휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계; 피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계; 상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계; 상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계; 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계; 및 상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계;를 포함한다.

Description

단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법{A METHOD FOR RECOGNIZING POINTERS AND A METHOD FOR RECOGNIZING CONTROL COMMANDS, BASED ON FINGER MOTIONS ON THE BACK OF THE PORTABLE INFORMATION TERMINAL}
본 발명은 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법에 관한 것으로서, 더욱 상세하게는 휴대형 정보 단말기 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임에 따른 포인터 등을 평면 또는 다차원 해석이 가능한 손가락 영역 영상으로 획득한 후, 해당 포인터의 변화 및 이동 속도 등을 인식하여 이를 미리 정의되어 있는 관련 콘텐츠 등을 제어할 수 있는 제어 명령어를 인식하는 방법에 관한 것이다.
휴대형 정보 단말기를 사용하는 사용자의 사용환경에 따라서는 한 손만으로도 휴대형 정보 단말기 및 휴대형 정보 단말기에 내장된 관련 콘텐츠를 제어할 필요가 있는 상황이 발생할 수 있다. 그럼에도 불구하고, 기존에 존재하는 제스처 인식 기반 모바일 사용자 인터페이스에서는 휴대형 정보 단말기를 파지한 한 손만으로 휴대형 정보 단말기 및 휴대형 정보 단말기의 콘텐츠를 제어할 수 있는 기술이 존재하지 않았다.
이러한 문제점을 해결하기 위해서, 본 발명은 휴대형 정보 단말기 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임 즉, 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 평면 또는 다차원 해석이 가능한 손가락 영역 영상으로 획득하고 이를 인식하여 휴대형 정보 단말기 및 관련 콘텐츠 등을 제어할 수 있는 방법을 제공하며 휴대형 정보 단말기를 파지한 해당 손에서 비교적 자유도가 높은 검지의 제스처 및 움직임 영상을 인식하여 보다 편리하고 효율적인 사용자 인터페이스를 제공하는 것을 목적으로 한다.
본 발명은 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식하는 방법에 관한 것으로서, 상술한 목적을 달성하기 위한 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법은 휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계; 피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계; 상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계; 상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계; 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계; 및 상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계;를 포함한다.
본 발명의 일실시예에 따르면, 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법은 제3 단계에서 상기 이진화된 영상으로부터 노이즈를 제거함에 있어서, 팽창연산 및 침식연산을 이용해서 노이즈를 제거할 수 있다.
또한, 본 발명은 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식해서, 휴대형 정보 단말기 및 휴대형 정보 단말기에 포함된 콘텐츠에 대한 제어 명령어를 인식하는 방법에 관한 것으로서, 상술한 목적을 달성하기 위한 본 발명에 따른 제어 명령어 인식 방법은 상기 제1 단계 내지 제6 단계를 수행하여 손가락 움직임에 따른 포인터를 인식한 이후에, 상기 노이즈가 제거된 영상에서 상기 뼈대가 구부려졌다 펴지는 현상을 감지하여 상기 뼈대가 구부러진 후 다시 펴질 때까지의 포인터의 이동 방향 및 포인터의 위치 변화량이 기준 변화량 이상인 경우에 클릭 제어 명령어로 인식하는 제7 단계; 또는 상기 노이즈가 제거된 영상에서 프레임간 포인터의 위치 변화량 및 포인터의 이동 방향을 측정해서 포인터의 위치 변화량이 기준 변화량 이상인 경우에 포인터의 이동 방향을 고려해서 제어 명령어로 인식하는 제7 단계;를 포함한다.
본 발명의 일실시예에 따르면, 상기 제7 단계 이전에, 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 휴대형 정보 단말기의 전면부의 화면 사이즈에 맞추도록 설정하는 단계를 더 포함할 수 있다.
본 발명에 따르면 간단한 손가락 동작으로 휴대형 정보 단말기(이동 단말 장치)의 프로그램을 비접촉 방식으로 제어함으로써 사용자의 편의를 증대시킬 수 있는 효과가 있다.
본 발명에 따르면 터치스크린 패널 및 키패드 등과 같은 기존의 휴대형 정보 단말기 제어 방법 및 기능과 겸하여 사용하는 것이 가능하고, 손가락 움직임만을 이용해서 독립적으로 휴대형 정보 단말기를 제어하는 것 또한 가능하다.
본 발명에 따르면 사용자가 휴대형 정보 단말기를 파지한 한 손만으로도 휴대용 정보 단말기를 운용하고 제어하는 것이 가능하게 되므로, 보다 편리하고 효율적인 사용자 환경을 제공해 줄 수 있다는 이점을 가진다.
도 1은 본 발명에 따른 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법의 일실시예에 대한 흐름도이다.
도 2는 본 발명에 따른 후면부 손가락 움직임에 따른 포인터 인식 방법의 일실시예에 대한 흐름도이다.
도 3은 본 발명에 따라서 손가락 영역의 포인터를 인식하는 일실시예를 나타낸 도면이다.
도 4는 본 발명에 따라서 단순 커서 이동 제어의 일실시예를 나타낸 도면이다.
도 5는 본 발명에 따른 단순 커서 이동 제어에 의해서 콘텐츠 내 객체의 이동 및 제어를 수행하는 일실시예를 나타낸 도면이다.
도 6은 본 발명에 따라서 선택(클릭) 제어 명령어 생성의 일실시예를 나타낸 도면이다.
도 7은 본 발명에 따라서 "상" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 8은 본 발명에 따라서 "하" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 9는 본 발명에 따라서 "우" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 10은 본 발명에 따라서 "좌" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 11은 본 발명에 따라서 손가락 움직임 추적기반 사용자 인터페이스를 이용한 프로그램 시작 시 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 전면부의 화면 사이즈에 맞추도록 설정하는 단계의 일실시예를 나타낸 도면이다.
본 발명은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치를 이용하여 손가락 움직임에 따른 포인터를 획득하고 인식한다. 본 명세서에서 포인터라고 함은 영상 획득 장치를 통해서 인식의 대상이 되고 있는 손가락의 끝이 위치하는 지점 또는 좌표를 의미한다. 포인터의 활용 용도는 포인터의 이동에 따라 단순하게 커서 이동을 제어하는 용도와 포인터의 단위 프레임당 이동픽셀의 변화량에 따라 상, 하, 좌, 우, 클릭 등의 명령어에 맵핑해서 내장된 관련 콘텐츠를 제어하는 용도로 크게 나누어진다.
도 1은 본 발명에 따른 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법의 일실시예에 대한 흐름도이다.
도 1에서 도시된 바와 같이, 본 발명에 있어서 손가락 움직임에 따른 포인터의 인식 방법은 사용자의 손가락 영역 영상, 특히 휴대형 정보 단말기를 파지한 손에서 비교적 자유도가 높은 검지 등의 움직임을 표현하는 손가락 영역 영상을 단말기 후면부 카메라를 통해서 획득하는 단계(S101), 상기 획득된 손가락 영역 영상에 기초하여 색상모델 변화 및 피부색 영역 추출, 이진화 등을 수행하는 손가락 영역 영상의 전처리 단계(S103), 손가락 영역의 윤곽선을 추출하는 단계(S105), 해당 윤곽선 정보를 이용하여 골격화(Skeletonization)하는 단계, 즉 뼈대를 추출하는 단계(S107), 및 추출된 뼈대(Skeleton) 정보로부터 포인터를 획득하는 단계, 즉 포인터를 인식하는 단계(S109)를 포함한다.
이렇게 인식된 손가락 움직임에 따른 포인터를 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 방법은 다음과 같다. 우선, 추출된 손가락 영역의 특징 즉, 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 비교 및 인식함으로써 포인터의 급격한 이동인지, 손가락의 구부림인지, 포인터의 급격한 이동과 손가락의 구부림 어느 것도 아닌지를 판단(S113)한 후, 포인터의 급격한 이동인 경우라고 판단된 경우에는 프레임간 포인터의 이동픽셀 변화량, 즉 단위 프레임당 포인터의 이동픽셀 변화량 및 방향을 측정(S115)해서 상, 하, 좌, 우 등의 제어 명령어를 실행(S117)함으로써 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 제어(S125)하고, 또는 손가락의 구부림이라고 판단된 경우에는 포인터의 급격한 "하"→"상"으로 움직임 현상을 감지하고 이동픽셀 변화량을 측정(S121)해서 선택(클릭) 제어 명령어를 실행(S123)함으로써 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 제어(S125)하고, 또는 포인터의 급격한 이동과 손가락의 구부림 어느 것도 아닌 경우에는 손가락 움직임의 시각화 및 커서의 단순 이동 명령을 실행(S119)함으로써 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 제어(S125)한다.
여기서, 손가락 영역 영상이라 함은 2차원 평면 이미지로부터 그 깊이(거리) 정보를 알 수 있는 3차원 이미지 정보 등을 포함하며 휴대형 정보 단말기의 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 단일/다중 카메라 또는 스테레오 카메라 등을 영상 획득 장치로 이용할 수 있다. 이러한 영상 획득 장치를 통해서 획득되어 인식된 포인터는, 포인터의 이동에 따라 단순하게 커서의 이동을 제어하는데 이용되거나, 포인터의 단위 프레임당 이동픽셀의 변화량에 따라 상, 하, 좌, 우, 클릭 등의 명령어를 실행해서 내장된 관련 콘텐츠를 제어하는 데 이용될 수 있다.
요컨대, 본 발명에 있어 손가락 영역의 특징이라 함은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 촬영 장치 등으로 촬영가능한 범위 내에서의 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 의미하는 것이며, 이것이 미리 정의되어 있는 휴대형 정보 단말기 제어 명령 또는 내장된 관련 콘텐츠의 제어 명령 등과 링크됨으로써 해당 손가락의 움직임 또는 제스처 등의 인식을 통해 해당 제어 명령어를 운용 및 실행하는 일련의 과정을 거치게 된다.
본 발명은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치를 이용하여 손가락 움직임에 따른 포인터의 변화 등을 인식하고 이를 미리 정의되어 있는 명령어와 맵핑하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠 등을 제어할 수 있는 제어 명령어의 인식 방법 등을 제시하고 있다. 보다 상세하게는, 본 명세서에는 휴대형 정보 단말기 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임 즉, 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 평면 또는 다차원 해석이 가능한 손가락 영역 영상으로 획득하고 이를 인식하여 휴대형 정보 단말기 및 관련 콘텐츠 등을 제어할 수 있는 방법을 제공하며 휴대형 정보 단말기를 파지한 해당 손의 비교적 자유도가 높은 검지의 제스처 및 움직임 영상을 인식하여 보다 편리하고 효율적인 사용자 인터페이스를 제공할 수 있는 방법을 제공한다.
도 2는 본 발명에 따른 후면부 손가락 움직임에 따른 포인터 인식 방법의 일실시예에 대한 흐름도이고, 도 3은 본 발명에 따라서 손가락 영역의 포인터를 인식하는 일실시예를 나타낸 도면이다.
이하에서는, 손가락의 움직임에 따른 포인터 변화 등을 인식하는 방법과 이에 상응하는 제어 명령어의 구성 등에 대하여 상세히 설명하고 이를 활용한 휴대형 정보 단말기 및 콘텐츠 제어 관한 바람직한 실시예를 제공한다.
도 2에서 도시된 바와 같이, 본 발명에 의한 후면부 손가락 움직임에 따른 포인터를 인식하는 방법은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 해당 단말기를 파지한 해당 손의 비교적 자유도가 높은 검지의 제스처 및 움직임 영상을 획득하는 단계(S201), 피부색(살색) 영역의 추출 및 이진 영상의 획득을 위하여 상기 획득된 영상 신호에 기초하여 해당 영상의 RGB 색상 모델을 YCbCr 컬러모델로 변환하는 단계(S203), 임계치를 이용하여 피부색 영역을 추출하고 획득된 영상을 이진화하는 단계(S205), 팽창연산(Dilation) 및 침식연산(Erosion)을 이용한 영상 노이즈 제거 단계(S207), 손가락 영역의 윤곽선을 추출하는 단계(S209), 손가락 윤곽선에 기초하여 뼈대(Skeleton)를 추출하는 단계(S211), 및 추출된 뼈대로부터 손가락 영역의 포인터를 추출하는 단계(S213)를 포함한다.
또한, 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법을 수행하는 휴대형 정보 단말기는, 본 발명에 따른 방법에 포함된 각 단계를 수행하기 위해서, 단말기 후면부에 고정형 또는 탈부착이 가능한 영상 획득 장치뿐만 아니라, 획득된 영상의 RGB 색상 모델을 YCbCr 컬러모델로 변환하는 색상모델 변환부, 피부색 영역을 추출하는 피부색 영역 추출부, 획득된 영상을 이진화하는 영상 이진화부, 영상의 노이즈를 제거하는 영상 노이즈 제거부, 손가락 영역의 윤곽선을 추출하는 손가락 영역 윤곽선 추출부, 골격화(뼈대 추출)를 수행하는 골격화부, 및 손가락 영역의 포인터를 추출하는 손가락 영역 포인터 추출부를 하드웨어 또는 소프트웨어로서 포함할 수 있다.
색상모델을 변환하는 단계(S203)는 RGB 색상 모델 기반으로 획득된 손 영역(손가락 영역) 영상을 YCbCr 컬러 모델로 변환한다.
피부색 영역을 추출하고 이진화하는 단계(S205)는 해당 손가락 영역의 검출을 위한 전처리 단계로서, Cb 및 Cr 값의 임계치를 적용하되 그 기준은 수학식 1과 같이 표현된다.
Figure pat00001
본 발명에 따른 실험에서는 피부색 영역을 나타내는 Cb 및 Cr 값의 임계치로서 각각 77≤Cb≤127과 133≤Cr≤137의 값을 적용하여 성공적인 결과를 도출하였으나, 이는 본 발명의 구성과 작용에 있어 하나의 실시예로서 설명되는 것으로, 구체적인 실시예에 따라서 다양한 피부색을 고려하여 해당 임계치를 변경하는 것이 가능하며 Cb 및 Cr 값의 임계치의 경계값에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. 피부색 영역을 나타내는 임계치를 이용해서 피부색 영역이 검출되면, 피부색 영역을 손가락 영역으로 구분하고 손가락 영역에 대해서 배경 대비 손가락 영역에 대한 이진화를 수행한다.
영상 노이즈 제거 단계(S207)에서는 손가락 영역을 포함하는 후면부 손가락 영상에 있어 해당 관심 영역의 보다 정확한 검출을 위하여 불필요한 객체 또는 노이즈 등을 제거하기 위하여 휴대형 정보 단말기의 낮은 컴퓨팅 파워에 따른 연산 속도의 저하 및 잡음 제거시 손가락 영역도 같이 줄어드는 현상 등을 고려해서 팽창연산 및 침식연산을 이용할 수 있다.
팽창연산(Dilation)은 A와 B를 화소의 집합이라고 가정했을 때, 형태소 B로 A를 팽창시킨
Figure pat00002
는 수학식 2와 같이 정의할 수 있다.
Figure pat00003
팽창연산은 객체 내부의 돌출부는 감소하고 외부의 돌출부는 증가시켜서 물체내부나 배경에서 발생한 구멍과 같은 공간을 채우거나 짧게 끊어진 영역을 연결하는데 주로 사용되며 이진 영상에서 팽창연산은 입력 화소가 균일한 곳에서는 변화가 없으나 흑백 화소가 같이 있는 영역에서 수행되어 변화를 낳는다.
침식연산(Erosion)은 A와 B를 화소의 집합이라고 가정했을 때, 형태소 B로 A를 침식시킨
Figure pat00004
는 수학식 3과 같이 정의할 수 있다.
Figure pat00005
여기서,
Figure pat00006
는 형태소 B를 이동한 결과로, 이 중 A집합에 완전하게 포함되는
Figure pat00007
의 집합이 침식으로 일어난 결과를 의미한다. 즉, B를 A위로 이동하면서 B가 완전하게 포함되는 장소를 찾은 뒤 각 장소에서 원점에 해당하는 점을 모아 집합을 만드는 것을 침식연산이라 정의할 수 있다.
이러한 팽창연산 및 침식연산은 본 발명의 구성과 작용에 있어 적어도 하나 이상의 실시예로서 설명되는 것으로, 기존의 영상 처리 기술에 있어 적용된 예컨대, 웨이블릿 영역에서 가우시안 확률밀도함수에 기초한 방법, 순차필터 및 평균필터 등을 포함하는 공간필터링 방법, 웨이너필터 등과 같은 영상 노이즈 감소 및 제거 기술 등을 팽창연산 및 침식연산에 대체하여 적용하거나 팽창연산 및 침식연산에 추가하여 적용하는 것이 가능하며 이것에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임에 따른 포인터를 획득하고 인식하기 위해서는 기본적으로 전체 영상 중에서 손가락 영역을 추출할 필요가 있고, 연속된 손가락의 다차원 상 움직임 거리(좌표 변환)를 추적 및 분석하기 위해서는 2차원 평면 및 다차원 손가락 모델의 재구성이 필요하다. 따라서, 본 발명에서는 도 3의 (a)에 도시된 바와 같이 휴대형 정보 단말기의 후면부에 구비된 영상 획득 장치를 이용하여 손가락 영역의 원본 영상을 획득(S201)하고, 원본 영상에 대한 색상모델의 변환(S203)을 거친 후, 도 3의 (b)에 도시된 바와 같이 영상에 대해서 손가락 영역 검출 및 이진화를 수행(S205)하고, 도 3의 (c)에 도시된 바와 같이 영상에서 노이즈를 제거(S207)한다. 이 과정에서, 도 3의 (b)에서 점선으로 표시된 원 내에 존재하는 노이즈가 제거된 결과, 도 3의 (c)에서 점선으로 표시된 원 내에는 존재하지 않게 되었다는 것을 확인할 수 있다. 이후, 도 3의 (d)에 도시된 바와 같이 손가락 영역의 윤곽선을 추출(S209)하고, 도 3의 (e)에서 도시된 바와 같이 추출된 손가락 윤곽선을 기초로 하여 골격화(뼈대 추출; Skeletonization)를 수행하여 해당 손가락의 포인터를 획득하게 된다. 도 3의 (e)에서 점선으로 표시된 원 내에서 열십자로 표시된 부분이 손가락의 포인터가 된다.
이와 같이, 골격화 단계(S211)에서는 뼈대를 추출하게 된다. 골격화(뼈대 추출)는 수학식 4로 정의되며, 이는 객체의 중심선을 찾는 알고리즘으로서 픽셀 제거의 반복 과정이며 주로 이미지를 분석하거나 문자인식을 할 때 사용된다.
Figure pat00008
픽셀 제거 반복과정은 영상에 포함된 각각의 이미지 내에서 객체의 외곽 픽셀을 한 계층씩 제거해 나가는 과정으로서, 더 이상 제거할 픽셀이 없을 때까지 픽셀 제거 과정을 반복한다. 전체 연산 과정에 있어서는 수학식 4에서 알 수 있는 바와 같이 객체, 즉 손가락 영역의 왼쪽 끝 픽셀(
Figure pat00009
)과 손가락 영역의 오른쪽 끝 픽셀(
Figure pat00010
)만을 고려하여 중심 픽셀을 찾게 되며, 여기서, Maxrow는 이미지에서의 행의 크기를 의미하고, C는 중심선 픽셀을 의미한다.
골격화에 의해 추출된 손가락 영역의 뼈대 영상의 말단 부분은 해당 손가락의 포인터 영역으로 대치되어 손가락의 움직임에 따라 뼈대 영상 또한 위치 좌표가 변화되게 되는데, 이러한 골격화는 포인터의 변화 값을 획득할 수 있는 하나의 방법이라고 할 수 있다. 포인터의 변화는 손가락의 움직임에 따라 필연적으로 수반되는 손가락 움직임의 대표 특징으로 추출되며 이는 전면부 패널 상에서 해당 움직임의 이동 경로 및 선택 등의 시각적 효과를 동시에 사용자에게 제공함으로써 후면부에서 발생되는 손가락의 움직임을 통해서 휴대형 정보 단말기 및 그 콘텐츠를 직접적으로 제어할 수 있다. 또한, 이러한 기능은 터치스크린 패널 및 키패드 등과 같은 기존의 휴대형 정보 단말기 제어 방법 및 기능과 겸용해서 또는 독립적으로 사용할 수 있기 때문에 사용자가 휴대형 정보 단말기를 파지한 한 손만으로도 휴대용 정보 단말기의 운용 및 제어를 가능하게 함으로써 보다 편리하고 효율적인 사용자 환경을 제공해 줄 수 있다는 이점을 가진다.
이상에서는 본 발명에 따른 후면부 손가락 움직임에 따른 포인터 인식 방법을 설명하였고, 이하에서는 인식된 포인터를 이용하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠 제어를 위한 제어 명령어 생성 및 인식 방법을 설명한다.
도 4는 본 발명에 따라서 단순 커서 이동 제어의 일실시예를 나타낸 도면이다.
본 발명에서는 손가락 움직임에 따른 포인터의 획득 및 인식에 있어 포인터의 변화에 따른 손가락 움직임의 변화 정도를 관찰하고, 이를 커서의 움직임 또는 마우스포인팅 등의 시각적 효과와 더불어 상, 하, 좌, 우, 선택(클릭) 등과 같은 제어 명령어를 생성할 수 있다. 본 발명에서는 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치의 특성 및 손가락 움직임 또는 제스처 표현의 범위를 고려하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠 제어를 위한 실시예로서 상기 5가지 제어 명령어를 구성하였다.
도 4는 본 발명에 따라서 단순 커서 이동 제어의 일실시예를 나타낸 도면이다. 도 4의 (a)는 커서의 상 방향 이동, 도 4의 (b)는 커서의 하 방향 이동, 도 4의 (c)는 커서의 좌 방향 이동, 도 4의 (d)는 커서의 우 방향 이동을 각각 나타낸다.
단순 커서 이동 제어는 본 발명에 따른 제어 명령어가 인식된 것으로 판단되지 않은 경우에 기능을 하는 것이다. 도 4에서 도시한 바와 같이 손가락의 움직임에 따른 좌표 변화를 이용한 상, 하, 좌, 우 커서 이동은 후면부(뒷면)에 구비된 영상 획득 장치와 해당 손가락의 거리가 가까우면 손가락 객체 영역의 골격화 라인의 끝점, 즉 포인터는 전면부 패널에 도식화됨과 아울러 패널을 중심으로 해당 커서의 위치가 위쪽에 분포하는 형태를 보이고 있으며, 이와 반대로 손가락 중심의 거리가 멀어지면 해당 객체의 포인터 위치가 상대적으로 아래쪽에 분포되는 것을 확인할 수 있다. 따라서, 포인터의 상하 이동은 후면부(뒷면)에 구비된 영상 획득 장치와 해당 손가락의 거리가 가까우면 "상" 방향 이동으로 정하고, 이와 반대로 손가락의 움직임이 영상 획득 장치와 멀어진 상태를 "하" 방향 이동으로 정하고 해당 좌표를 커서의 이동 위치로 사용하여 전면부 패널에 도식화하게 된다. 또한, 손가락의 좌우 움직임을 이용하는 경우에 사용자는 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치를 이용하여 좌 또는 우 방향으로 이동된 손가락 영역의 포인터를 획득하고 해당 좌표를 커서의 이동 위치로 사용한다. 이렇게 검출된 포인터의 해당 좌표를 커서의 이동 위치로 인식하여 전면부 패널에 디스플레이하게 된다.
도 5는 본 발명에 따른 단순 커서 이동 제어에 의해서 콘텐츠 내 객체의 이동 및 제어를 수행하는 일실시예를 나타낸 도면이다. 도 5에서는 후면부 손가락의 포인터 이동을 이용해서 컨트롤 바를 이동하는 예로서 후면부 카메라로부터 손가락의 포인터를 획득하고 이에 따라 콘텐츠 내의 컨트롤 바가 상, 하, 좌, 우로 이동되는 실행 과정을 나타내고 있다.
도 6은 본 발명에 따라서 선택(클릭) 제어 명령어 생성의 일실시예를 나타낸 도면이다. 도 6을 참조하여 선택(클릭) 제어 명령어에 대해서 설명한다.
휴대형 정보 단말기 및 내장된 관련 콘텐츠를 선택하거나 실행을 위한 제어 명령어, 즉 윈도우 기반의 클릭 또는 더블 클릭 기능 등과 유사한 선택 기능을 제어함에 있어 상기 포인터 특징 등을 이용하되 해당 손가락의 움직임 또는 제스처의 급격한 변화 양상 등을 이용하여 해당 제어 명령어를 생성할 수 있다.
일실시예로서, 도 6에서 도시한 바와 같이 휴대형 정보 단말기를 파지한 해당 손의 검지를 해당 영상 획득 장치에 노출시킨 후 잠시 손가락을 구부리게 되면 해당 손가락 영역의 포인터가 "하" 방향으로 이동하게 되고 다시 검지를 펼치게 되면 포인터의 "상" 방향 이동 시점 이후에 다시 포인터를 획득할 수 있으므로 이러한 검지의 프레임간 급격한 포인터 변화가 있을 경우에 이를 인식하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 선택하거나 실행을 위한 제어 명령어로 활용할 수 있다.
다시 말해, 도 6의 (a)에 도시된 바와 같이 특정 손가락이 영상 획득 장치에 노출되어 포인터 인식이 수행되고 있는 상태에서 손가락을 구부리면 포인터의 "하" 이동이 이루어진다. 그리고, 도 6의 (b) 와 (c)에서 도시된 바와 같이 포인터의 "상" 이동이 이루어질 경우 프레임간 그 이동 범위가 기준 범위(α)보다 클 경우에 클릭 명령어로 인식함으로써 제어 명령어로 이용할 수 있는 것이다.
도 7 내지 도 10은 각각 본 발명에 따라서 "상", "하", "우", "좌" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
"상", "하", "좌", 및 "우" 제어 명령어를 생성하기 위해서, 도 7 내지 도 10에서와 같이 포인터의 변화를 관측하고 체스보드 거리(Chessboard distance)를 이용하여 "상", "하", "좌", 및 "우" 제어 명령어에 맵핑한다. 이전 프레임 포인터의 좌표를
Figure pat00011
, 현재 프레임 포인터의 좌표를
Figure pat00012
라고 할 때 체스보드 거리의 정의는 수학식 5와 같다.
Figure pat00013
"상", "하", "좌", 및 "우" 제어 명령어 생성의 일실시예로서, 수학식 5에서,
Figure pat00014
이고
Figure pat00015
의 해상도를 가지는 카메라의 프레임에서
Figure pat00016
일 경우 "상" 및 "하" 제어 명령어와 맵핑시키되, 도 7에서 도시된 바와 같이
Figure pat00017
이면 "상" 제어 명령어로 정의하고, 도 8에서 도시된 바와 같이
Figure pat00018
이면 "하" 제어 명령어로 정의할 수 있다. 이와 마찬가지로, 수학식 5에서,
Figure pat00019
이고
Figure pat00020
의 해상도를 가지는 카메라의 프레임에서
Figure pat00021
일 경우 "좌" 및 "우" 제어 명령어와 맵핑시키되, 도 9에서 도시된 바와 같이
Figure pat00022
이면 "우" 제어 명령어로 정의하고, 도 10에서 도시된 바와 같이
Figure pat00023
이면 "좌" 제어 명령어로 정의할 수 있다.
이와 같이 제어 명령어가 정의되면 휴대용 정보 단말기는 프레임간 포인터의 이동픽셀 변화량 및 방향을 측정해서, 다시 말해, 프레임간 포인터의 위치 변화량 및 포인터의 이동 방향을 측정해서, 포인터의 위치 변화량이 기준 변화량(예컨대, 상하 이동 방향에 대해서는 m/4, 좌우 이동 방향에 대해서는 n/4) 이상인 경우에 포인터의 이동 방향을 고려해서 제어 명령어로 인식하게 된다.
이러한 제어 명령어는 포인터의 속도 변화를 이용하여 해당 콘텐츠를 상, 하, 좌, 우로 이동시키는 방향 이동용 제어 명령어로 활용할 수 있을 뿐만 아니라, 상, 하, 좌, 우의 방향성과는 무관하게 특정 제어 명령어에 맵핑시켜서 단축키 개념의 명령어 실행용 제어 명령어로 활용할 수도 있다.
상술한 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어 생성 및 인식 방법은 본 발명의 구성 및 작용을 설명하기 위해 하나의 실시예로서 설명된 것으로, 이것에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. 예컨대, 상술한 제어 명령어 이외에서도 포인터를 이용한 "줌인" 또는 "줌아웃" 과 같은 제어 명령어를 생성하는 것 또한 가능하다.
본 발명을 구현함에 있어서, 휴대형 정보 단말기의 후면부(뒷면)에서 손가락 움직임에 따른 포인터의 변화 및 거리변화에 따는 면적 변화 등으로 발생하는 손가락의 이동 경로, 터치 및 더블터치 등과 같은 해당 제어 명령어를 인식하고 인식된 결과를 마우스포인팅 등과 같은 시각적 표현으로 제시하는 것이 가능하며, 시스템 제어 및 운용 명령어 등을 입력함에 있어 터치스크린, 키패드 등으로 대표되는 전면부(앞면) 사용자 인터페이스와 겸용 또는 독립적으로 사용 가능할 뿐만 아니라, 본 발명에 따른 방법을 수행하는 휴대형 정보 단말기는 후면부의 손가락 제스처 인식을 이용한 입력이 존재하는지 여부를 판단하는 입력 모드 판단부를 구비할 수 있고, 사용자가 후면부(뒷면)에서 입력한 제어 명령어가 전면부(앞면)에 표시되도록 구성될 수 있다.
도 11은 본 발명에 따라서 손가락 움직임 추적기반 사용자 인터페이스를 이용한 프로그램 시작 시 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 전면부의 화면 사이즈에 맞추도록 설정하는 단계의 일실시예를 나타낸 도면이다. 도 11에 도시된 바와 같이, 본 발명은 제어 명령어에 대한 인식을 수행하기 전에, 예컨대, 손가락 움직임 추적기반 사용자 인터페이스를 이용한 프로그램을 시작할 때에, 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 휴대형 정보 단말기의 전면부의 화면 사이즈에 맞추도록 설정하는 단계를 포함할 수 있다. 이러한 화면 맞춤 설정 단계에서, 손가락의 포인터 이동이 전면부 화면의 커서와 정확히 일치되는지 확인하기 위하여 화면이 맞춰질 때까지 + 표시가 계속 움직이고 손가락 포인터를 이용하여 전면부 화면에 + 표시된 각 위치들을 정확하게 선택한다.

Claims (7)

  1. 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식하는 방법으로서,
    휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계;
    피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계;
    상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계;
    상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계;
    상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계; 및
    상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계;를 포함하는 것을 특징으로 하는 손가락 움직임에 따른 포인터 인식 방법.
  2. 제 1 항에 있어서,
    제3 단계에서, 상기 이진화된 영상으로부터 노이즈를 제거함에 있어서, 팽창연산 및 침식연산을 이용해서 노이즈를 제거하는 것을 특징으로 하는 손가락 움직임에 따른 포인터 인식 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    제 6 단계에서, 하기 수학식 1을 이용해서 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 것을 특징으로 하는 손가락 움직임에 따른 포인터 인식 방법.
    <수학식 1>
    Figure pat00024

    여기서, Maxrow는 이미지에서의 행의 크기를 의미하고, C는 중심선 픽셀을 의미하고,
    Figure pat00025
    은 손가락 영역의 왼쪽 끝 픽셀을 의미하고,
    Figure pat00026
    은 손가락 영역의 오른쪽 끝 픽셀을 의미함.
  4. 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식해서, 휴대형 정보 단말기 및 휴대형 정보 단말기에 포함된 콘텐츠에 대한 제어 명령어를 인식하는 방법으로서,
    휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계;
    피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계;
    상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계;
    상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계;
    상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계;
    상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계; 및
    상기 노이즈가 제거된 영상에서 상기 뼈대가 구부려졌다 펴지는 현상을 감지하여 상기 뼈대가 구부러진 후 다시 펴질 때까지의 포인터의 이동 방향 및 포인터의 위치 변화량이 기준 변화량 이상인 경우에 클릭 제어 명령어로 인식하는 제7 단계;를 포함하는 것을 특징으로 하는 제어 명령어 인식방법.
  5. 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식해서, 휴대형 정보 단말기 및 휴대형 정보 단말기에 포함된 콘텐츠에 대한 제어 명령어를 인식하는 방법으로서,
    휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계;
    피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계;
    상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계;
    상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계;
    상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계;
    상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계; 및
    휴대형 정보 단말기가 상기 노이즈가 제거된 영상에서 프레임간 포인터의 위치 변화량 및 포인터의 이동 방향을 측정해서 포인터의 위치 변화량이 기준 변화량 이상인 경우에 포인터의 이동 방향을 고려해서 제어 명령어로 인식하는 제7 단계;를 포함하는 것을 특징으로 하는 제어 명령어 인식 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    제6 단계에서, 하기 수학식 1을 이용해서 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 것을 특징으로 하는 제어 명령어 인식 방법.
    <수학식 1>
    Figure pat00027

    여기서, Maxrow는 이미지에서의 행의 크기를 의미하고, C는 중심선 픽셀을 의미하고,
    Figure pat00028
    은 손가락 영역의 왼쪽 끝 픽셀을 의미하고,
    Figure pat00029
    은 손가락 영역의 오른쪽 끝 픽셀을 의미함.
  7. 제 4 항 또는 제 5 항에 있어서,
    제7 단계 이전에, 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 휴대형 정보 단말기의 전면부의 화면 사이즈에 맞추도록 설정하는 단계를 더 포함하는 것을 특징으로 하는 제어 명령어 인식방법.
KR1020100066230A 2010-07-09 2010-07-09 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법 KR101167784B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100066230A KR101167784B1 (ko) 2010-07-09 2010-07-09 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100066230A KR101167784B1 (ko) 2010-07-09 2010-07-09 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법

Publications (2)

Publication Number Publication Date
KR20120005674A true KR20120005674A (ko) 2012-01-17
KR101167784B1 KR101167784B1 (ko) 2012-07-25

Family

ID=45611671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100066230A KR101167784B1 (ko) 2010-07-09 2010-07-09 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법

Country Status (1)

Country Link
KR (1) KR101167784B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014093347A1 (en) * 2012-12-13 2014-06-19 Intel Corporation Gesture pre-processing of video stream using a markered region
US8805017B2 (en) 2012-12-13 2014-08-12 Intel Corporation Gesture pre-processing of video stream to reduce platform power
CN104050443A (zh) * 2013-03-13 2014-09-17 英特尔公司 使用肤色检测的视频流的姿势预处理
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
CN118367562A (zh) * 2024-06-19 2024-07-19 国网上海市电力公司 一种考虑台区配电网网络约束的分布式资源可传输调节能力评估方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3863809B2 (ja) 2002-05-28 2006-12-27 独立行政法人科学技術振興機構 手の画像認識による入力システム
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014093347A1 (en) * 2012-12-13 2014-06-19 Intel Corporation Gesture pre-processing of video stream using a markered region
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US8805017B2 (en) 2012-12-13 2014-08-12 Intel Corporation Gesture pre-processing of video stream to reduce platform power
US9720507B2 (en) 2012-12-13 2017-08-01 Intel Corporation Gesture pre-processing of video stream using a markered region
US10146322B2 (en) 2012-12-13 2018-12-04 Intel Corporation Gesture pre-processing of video stream using a markered region
US10261596B2 (en) 2012-12-13 2019-04-16 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
CN104050443A (zh) * 2013-03-13 2014-09-17 英特尔公司 使用肤色检测的视频流的姿势预处理
US9292103B2 (en) 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
CN118367562A (zh) * 2024-06-19 2024-07-19 国网上海市电力公司 一种考虑台区配电网网络约束的分布式资源可传输调节能力评估方法

Also Published As

Publication number Publication date
KR101167784B1 (ko) 2012-07-25

Similar Documents

Publication Publication Date Title
KR101189633B1 (ko) 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
CN107885327B (zh) 一种基于Kinect深度信息的指尖检测方法
CN103135758B (zh) 实现快捷功能的方法及系统
EP2980755B1 (en) Method for partitioning area, and inspection device
RU2013154102A (ru) Система для распознавания и отслеживания пальцев
KR101167784B1 (ko) 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법
US9836130B2 (en) Operation input device, operation input method, and program
TW201322058A (zh) 手勢辨識系統及方法
JP6141108B2 (ja) 情報処理装置およびその方法
JP2017117341A (ja) 物体検出方法、装置、及びプログラム
US10146375B2 (en) Feature characterization from infrared radiation
KR102052449B1 (ko) 가상 마우스 시스템 및 그 제어 방법
JP2016167268A (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
JP6501806B2 (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
KR101967858B1 (ko) 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법
CN112488059B (zh) 一种基于深度学习模型级联的空间手势控制方法
Hartanto et al. Real time hand gesture movements tracking and recognizing system
CN115793893B (zh) 触摸书写笔迹生成方法、装置、电子设备及存储介质
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
Ying et al. Fingertip detection and tracking using 2D and 3D information
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR101289883B1 (ko) 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee