KR20140002008A - 정보 처리 장치, 정보 처리 방법 및 기록 매체 - Google Patents

정보 처리 장치, 정보 처리 방법 및 기록 매체 Download PDF

Info

Publication number
KR20140002008A
KR20140002008A KR1020137027984A KR20137027984A KR20140002008A KR 20140002008 A KR20140002008 A KR 20140002008A KR 1020137027984 A KR1020137027984 A KR 1020137027984A KR 20137027984 A KR20137027984 A KR 20137027984A KR 20140002008 A KR20140002008 A KR 20140002008A
Authority
KR
South Korea
Prior art keywords
hand
unit
subject
input
area
Prior art date
Application number
KR1020137027984A
Other languages
English (en)
Other versions
KR101514169B1 (ko
Inventor
다까후미 구로까와
료따로 다니무라
Original Assignee
엔이씨 시스템 테크놀로지 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔이씨 시스템 테크놀로지 가부시키가이샤 filed Critical 엔이씨 시스템 테크놀로지 가부시키가이샤
Publication of KR20140002008A publication Critical patent/KR20140002008A/ko
Application granted granted Critical
Publication of KR101514169B1 publication Critical patent/KR101514169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/435—Computation of moments

Abstract

화상 입력부(71)는 유저를 촬상한 화상 데이터를 입력한다. 추출부(72)는 화상 입력부(71)에 의해 입력된 화상 데이터에 포함되는 유저의 손에 상당하는 영역을 추출한다. 판정부(73)는 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정한다. 인식부(74)는 판정부(73)에 의해 유저의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역의 형상을 인식한다. 한편, 인식부(74)는 판정부(73)에 의해 유저의 손에 상당하는 영역이 정지 상태에 있지 않다고 판정된 경우에, 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역의 움직임을 인식한다. 입력부(75)는 인식부(74)에 의해 인식된 형상 또는 움직임에 대응된 데이터를 입력한다.

Description

정보 처리 장치, 정보 처리 방법 및 기록 매체 {INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은 정보 처리 장치, 정보 처리 방법 및 기록 매체에 관한 것이다.
광학 카메라로 촬상된 손의 움직임에 의해 비접촉으로 기기를 조작하는, 소위 제스처 입력 장치가 알려져 있다.
예를 들어, 특허문헌 1에는 8대 또는 16대의 비디오 카메라를 방사상으로 배치하여, 그 중심에 있는 인물의 손의 움직임을 검출하는 포인팅 제스처 검출 방법 및 장치가 개시되어 있다.
또한, 특허문헌 2에는 미리 모델화한 손바닥을 복수의 비디오 카메라로 촬영하여, 손의 무게 중심으로부터 손의 윤곽까지의 무게 중심 골격값을 산출하고, 손의 주축 둘레의 회전각을 최우법(最尤法)으로 추정하는 손짓 인식 장치가 개시되어 있다.
또한, 특허문헌 3에는 비디오 카메라로 촬상한 손의 화상 영역의 움직임 분포를 산출하여, 영역의 무게 중심의 이동을 검출하여 손의 쥠 동작을 인식하는 화상 처리 장치 및 방법이 개시되어 있다.
일본 특허 출원 공개 제2002-259989호 공보 일본 특허 출원 공개 평10-63864호 공보 일본 특허 출원 공개 제2001-307107호 공보
광학 카메라로 촬상된 손의 움직임에 의해 입력 지령을 행하는 경우에, 손의 움직임이 빠를 때에는, 조도 조건 등의 영향으로 화상에 있어서 잔상이 생기는 경우가 있다. 이로 인해, 인식 정밀도가 저하되어, 오입력이 발생할 우려가 있다. 또한, 카메라와 조작자의 거리 및 조작자의 손의 크기의 차이에 의해, 화상 중의 손의 영역을 정확하게 인식할 수 없어, 외부 노이즈의 영향을 받아, 오입력이 발생할 우려가 있다.
본 발명은 상기 사정을 감안하여 이루어진 것으로, 보다 높은 정밀도로 데이터를 입력할 수 있는 정보 처리 장치, 정보 처리 방법 및 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 제1 관점에 따른 정보 처리 장치는,
피사체를 촬상한 화상 데이터를 입력하는 화상 입력부와,
상기 화상 입력부에 의해 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출부와,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정부와,
상기 판정부에 의해 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식부와,
상기 인식부에 의해 인식된 형상에 대응된 데이터를 입력하는 입력부
를 구비한다.
본 발명의 제2 관점에 따른 정보 처리 방법은,
피사체를 촬상한 화상 데이터를 입력하는 화상 입력 스텝과,
상기 화상 입력 스텝에 있어서 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출 스텝과,
상기 추출 스텝에 있어서 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정 스텝과,
상기 판정 스텝에 있어서 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출 스텝에 있어서 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식 스텝과,
상기 인식 스텝에 있어서 인식된 형상에 대응된 데이터를 입력하는 입력 스텝
을 포함한다.
본 발명의 제3 관점에 따른 기록 매체에 기록된 프로그램은,
컴퓨터를,
피사체를 촬상한 화상 데이터를 입력하는 화상 입력부,
상기 화상 입력부에 의해 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출부,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정부,
상기 판정부에 의해 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식부,
상기 인식부에 의해 인식된 형상에 대응된 데이터를 입력하는 입력부
로서 기능시킨다.
본 발명에 따르면, 보다 높은 정밀도로 데이터를 입력할 수 있다.
도 1은 본 발명의 실시 형태에 따른 정보 처리 장치의 사시도이다.
도 2는 도 1의 정보 처리 장치의 기능 블록도이다.
도 3은 손에 의한 제스처로서의 손의 움직임의 예를 도시하는 도면이다.
도 4의 (A), (B) 및 (C)는 손에 의한 제스처로서의 손가락이 가리키는 방향이 다른 형상의 예를 도시하는 도면이다.
도 5의 (A), (B) 및 (C)는 손에 의한 제스처로서의 펴진 손가락의 개수가 상이한 형상의 예를 도시하는 도면이다.
도 6은 2치화(二値化)한 화상을 도시하는 도면이다.
도 7은 화상 데이터로부터 특정되는 움직이는 영역을 도시하는 도면이다.
도 8은 움직이는 영역에 외접하는 직사각형 영역을 도시하는 도면이다.
도 9는 화상 데이터로부터 특정되는 손목에 상당하는 영역 및 무게 중심을 도시하는 도면이다.
도 10은 세선화(細線化) 처리에 의한 세선화 화상을 도시하는 도면이다.
도 11은 손끝을 탐색하는 영역을 도시하는 도면이다.
도 12는 입력 처리의 플로우차트이다.
도 13은 표시부에 있어서의 손의 화상의 표시의 예를 도시하는 도면이다.
도 14는 손의 영역을 포함하는 직사각형 영역의 예를 도시하는 도면이다.
이하, 본 발명의 실시 형태에 따른 정보 처리 장치(100)에 대해 도 1 내지 도 14를 참조하여 설명한다.
본 실시 형태에 따른 정보 처리 장치(100)는 피사체로서의 유저의 손(200)의 이동, 형상, 방향 등의 손(200)에 의한 제스처에 대응하는 데이터(지령, 커맨드 등을 포함함)를 입력하는 제스처 입력 기능을 구비한다. 정보 처리 장치(100)는 일반적인 컴퓨터 장치이다. 정보 처리 장치(100)는 상술한 제스처 입력 기능에 의해 입력된 데이터를, 예를 들어 임의의 어플리케이션 소프트웨어에서 처리한다.
정보 처리 장치(100)는, 도 1에 도시한 바와 같이 조작부(1)와, 카메라(2)와, 표시부(3)를 구비한다. 조작부(1)는 키보드, 마우스 등을 구비한다. 조작부(1)는 유저의 조작 입력에 따라서, 다양한 커맨드 등의 데이터를 정보 처리 장치(100)에 입력한다.
카메라(2)는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 센서 등의 촬상 소자를 구비한다. 카메라(2)는 시야 내에 위치하는 피사체로서, 예를 들어 정보 처리 장치(100)의 유저의 손(200)을 촬상한다. 유저는 손(200)을 카메라(2)의 시야 내에서 손(200)의 형상이나 움직임을 변화시키는 제스처에 의해, 다양한 데이터를 입력한다.
표시부(3)는 LCD(Liquid Crystal Display) 등을 구비한다. 표시부(3)는 정보 처리 장치(100)에서 실행 중인 어플리케이션 소프트웨어에 관련되는 화상을 표시한다. 또한, 표시부(3)는 상시 혹은 소정의 조작에 응답하여, 제스처 입력 지원용 윈도우(3W)를 표시한다. 제스처 입력 지원용 윈도우(3W)에는 메뉴 항목, 파일, 아이콘 등의 선택 대상 S와 선택용 커서 C가 표시된다.
도 2는 정보 처리 장치(100)의 기능 구성을 도시한다. 정보 처리 장치(100)는 상기의 조작부(1), 카메라(2), 표시부(3) 외에, 카메라 인터페이스(4)와, 표시 인터페이스(5)와, 기억부(6)와, 제어부(7)를 구비한다. 조작부(1), 카메라 인터페이스(4), 표시 인터페이스(5), 기억부(6)와, 제어부(7)는 버스(8)에 의해 서로 데이터 통신 가능하게 접속되어 있다. 또한, 카메라(2)는 카메라 인터페이스(4)에 접속되고, 표시부(3)는 표시 인터페이스(5)에 접속된다.
카메라 인터페이스(4)는 카메라(2)로 촬상된 화상에 대응하는 화상 데이터를, 버스(8)를 통해 제어부(7)에 입력한다. 표시 인터페이스(5)는 제어부(7)에 의해 입력된 화상 데이터를 표시부(3)에 입력한다.
기억부(6)는 RAM(Random Access Memory)이나 하드디스크 등의 기억 장치로 구성되어, 프로그램 등의 각종 데이터를 기억한다. 기억부(6)는 카메라(2)로 촬상된 화상에 대응하는 화상 데이터를 기억한다. 기억부(6)는 다양한 포맷으로 화상 데이터를 기억할 수 있다. 예를 들어, 기억부(6)는 프레임 단위로 화상 데이터를 기억한다.
또한, 기억부(6)는 손(200)에 의한 제스처(움직임, 형상, 방향 등의 양태)를 인식하기 위한 기준 데이터를 기억한다. 예를 들어, 손(200)의 형상을 인식하기 위한 기준 데이터는 손의 형상을 데이터화한 패턴 데이터 등이다. 손(200)의 움직임을 인식하기 위한 기준 데이터는, 예를 들어 손(200)의 무게 중심의 단위 시간당의 이동량에 관한 데이터나 손(200)이 이동했을 때의 무게 중심의 궤적을 데이터화한 패턴 데이터 등이다. 기억부(6)는 데이터(지령, 커맨드 등을 포함함)와 대응하여 기준 데이터를 기억한다.
기준 데이터에 기초하여 인식되는 손(200)에 의한 제스처는, 예를 들어, 도 3에 도시한 바와 같이 손(200)의 상하 좌우로의 움직임이다. 이 움직임에 대응되는 커맨드는, 예를 들어 움직임의 방향으로 커서 C를 움직이거나, 움직임의 방향으로 화면을 스크롤하는 커맨드이다. 예를 들어, 손(200)을 위로 움직인 경우, 커서 C가 위로 움직인다. 또한, 손(200)을 오른쪽으로 움직인 경우, 커서 C가 오른쪽으로 움직인다.
또한, 기준 데이터에 기초하여 인식되는 손(200)에 의한 제스처는, 도 4에 도시한 바와 같이 집게 손가락이 가리키는 방향에 따르는 상이한 손(200)의 형상이다. 이 형상에 대응되는 커맨드는, 예를 들어 집게 손가락이 가리키는 방향으로 커서 C를 옮기거나, 집게 손가락이 가리키는 방향으로 화면을 스크롤하는 커맨드이다. 예를 들어, 도 4의 (A)에서는 집게 손가락이 가리키는 방향이 왼쪽이므로, 커서 C가 왼쪽으로 움직인다. 도 4의 (B)에서는 집게 손가락이 가리키는 방향이 위쪽이므로, 커서 C가 위로 움직인다. 도 4의 (C)에서는 집게 손가락이 가리키는 방향이 오른쪽이므로, 커서 C가 오른쪽으로 움직인다.
또한, 기준 데이터에 기초하여 인식되는 손(200)에 의한 제스처는, 도 5에 도시한 바와 같이 펴져 있는 손가락의 수가 상이한 손(200)의 형상이다. 이 형상에 대응되는 커맨드는, 예를 들어 펴져 있는 손가락의 수에 일치하는 수치 데이터를 입력하는 커맨드이다. 도 5의 (A)에서는, 펴져 있는 손가락의 수가 1개이므로, 「1」이 입력된다. 도 5의 (B)에서는 펴져 있는 손가락의 수가 2개이므로, 「2」가 입력된다. 도 5의 (C)에서는 펴져 있는 손가락의 수가 3개이므로, 「3」이 입력된다.
제어부(7)는 프로세서 등을 구비한다. 제어부(7)는 기억부(6)에 기억된 프로그램을 실행하여, 데이터 처리를 실행한다. 제어부(7)는 통상의 데이터 처리를 실행함과 함께, 제스처 입력 기능에 관련되는 데이터 처리를 실행한다. 제어부(7)는 화상 입력부(71)와, 추출부(72)와, 판정부(73)와, 인식부(74)와, 입력부(75)를 구비한다.
화상 입력부(71)는 피사체로서의 유저를 촬상한 화상 데이터를 입력한다. 화상 입력부(71)는 카메라(2)로 촬상된 화상에 대응하는 화상 데이터를 프레임 단위로 처리하여, 기억부(6)에 기억시킨다.
추출부(72)는 화상 입력부(71)에 의해 입력된 화상 데이터에 포함되는 유저의 손에 상당하는 영역을 추출한다. 유저의 손에 상당하는 영역을 추출하기 위해, 추출부(72)는 이하의 화상 데이터 처리를 행한다. 우선, 추출부(72)는 화상 입력부(71)에 의해 입력된 화상 데이터에 있어서의 프레임간의 차분 데이터로부터 구해지는 움직이는 영역에 외접하는 직사각형을 설정한다.
보다 상세하게는, 추출부(72)는 기억부(6)를 참조하여, 금회 처리된 프레임 단위의 화상 데이터와, 1개 전의 프레임 단위의 화상 데이터의 차분 데이터를 연산하여, 움직이는 영역에 대응하는 화상 데이터를 취득한다.
다음에, 추출부(72)는 움직이는 영역을 추출하기 위해, 취득한 화상 데이터에 대응하는 화상을 2치화한다. 도 6은 2치화한 화상에 있어서의 움직이는 영역(201)을 도시한다. 추출부(72)는 2치화한 화상 위의 각 백색 화소의 주위 8근방의 화소값이 미리 설정한 임계값보다도 크면, 그 백색 화소의 영역을 확장한다. 이렇게 함으로써, 추출부(72)는 백색 영역을 연결하여 확장하는 확장 처리를 실행한다. 또한, 추출부(72)는 2치화한 화상 위의 각 흑색 화소의 주위 8근방의 화소값이 미리 설정한 임계값보다도 작으면, 그 흑색 화소의 영역을 축소한다. 이렇게 함으로써, 추출부(72)는 노이즈가 되는 흑색 도트를 제거하는 축소 처리를 실행한다. 이와 같이 하여 추출부(72)는, 도 7에 도시한 바와 같이 화상 데이터로부터 움직이는 영역(202)을 특정한다. 움직이는 영역(202)을 특정하면 또한, 추출부(72)는, 도 8에 도시한 바와 같이 움직이는 영역(202)에 외접하는 최소의 직사각형 영역(203)을 설정한다.
다음에, 추출부(72)는 직사각형 영역(203) 내를 주사함으로써 얻어지는 움직이는 영역(202)에 포함되는 선분의 길이에 기초하여 유저의 손목에 상당하는 영역을 특정한다. 예를 들어, 추출부(72)는 설정한 직사각형 영역(203)에 대해, 화상 평면의 상하 방향에 대한 기울기의 방향을 구한다. 추출부(72)는 이 기울기의 방향에 직교하는 직선을 화상 평면 위로부터 아래를 향해 직사각형 영역(203)의 장축 방향으로 주사하고, 움직이는 영역(202)과 겹치는 선분의 길이를 손(200)의 폭(204)으로서 구한다. 구한 폭(204)이, 도 9에 도시한 바와 같이, 최대 폭(205)을 취한 후, 최소 폭(206)이 된 부위를 손(200)의 손목에 상당하는 영역으로서 특정한다.
다음에, 추출부(72)는 특정한 유저의 손목에 상당하는 영역에 기초하여, 유저의 손(200)에 상당하는 영역을 추출한다. 예를 들어, 추출부(72)는 직사각형 영역(203) 내에서, 특정한 손목에 상당하는 영역보다 화상 평면 상측의 백색 화소의 영역을 유저의 손에 상당하는 영역(207)으로서 추출한다.
여기서, 추출부(72)는 유저의 손에 상당하는 영역(207)을 구성하는 백색 화소의 X 좌표 및 Y 좌표 각각의 평균값을, 유저의 손에 상당하는 영역(207)의 무게 중심(208)으로서 산출한다. 산출된 무게 중심(208)은 도 9에 도시한 바와 같이 된다. 추출부(72)는 산출한 무게 중심(208)을 화상 데이터에 대응시켜 기억부(6)에 기억시킨다.
판정부(73)는 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역(207)이 정지 상태에 있는지 여부를 판정한다. 예를 들어, 판정부(73)는 추출부(72)에 의해 추출된 영역(207)의 무게 중심(208)의 이동량에 기초하여 유저의 손에 상당하는 영역(207)이 정지 상태에 있는지 여부를 판정한다. 보다 상세하게는, 판정부(73)는 기억부(6)를 참조하여, 전회의 처리에서 구한 무게 중심(Xt －1, Yt －1)과 금회의 처리에서 구한 무게 중심(Xt, Yt)으로부터 이동량을 산출한다. 여기서, 이동량을 M으로 하면, 판정부(73)는 M＝{(Xt-Xt －1)2＋(Yt-Yt －1)2}1/2에 의해 이동량 M을 산출할 수 있다.
판정부(73)는 산출한 이동량 M과 소정의 임계값 Dth를 비교한다. 판정부(73)는 이동량 M이 임계값 Dth 이하인 경우에는, 손이 정지 상태에 있다고 판정하고, 이동량 M이 임계값 Dth보다 큰 경우에는, 손이 이동하고 있다고 판정한다.
인식부(74)는 판정부(73)에 의해 유저의 손에 상당하는 영역(207)이 정지 상태에 있다고 판정된 경우에, 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역(207)의 형상을 인식한다. 한편, 인식부(74)는 판정부(73)에 의해 유저의 손이 정지 상태에 있지 않다고 판정된 경우에, 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역(207)의 움직임을 인식한다. 이하, 인식부(74)에 의한 유저의 손에 상당하는 영역(207)의 형상의 인식에 대해 상세하게 설명한다.
인식부(74)는 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역에 있어서의 손끝의 위치를 특정하고, 특정한 손끝의 위치에 기초하여 유저의 손에 상당하는 영역(207)의 형상을 인식한다. 예를 들어, 우선, 인식부(74)는 추출부(72)에 의해 추출된 영역(207)에 세선화 처리를 행함으로써 손끝의 위치를 특정한다. 세선화 처리는 2치화한 화상을 폭 1화소의 세선화 화상으로 변환하는 처리이다. 세선화 처리는 촬상된 피사체의 형상적인 특징을 우수하게 하기 위한 처리이다. 세선화 처리는 Hilditch, 타무라, Zhang Suen 등 임의의 알고리즘을 사용하여 실행할 수 있다. 예를 들어, 인식부(74)는 추출부(72)에 의해 추출된 영역(207)의 중심 1화소를 남기도록 하여, 도 10에 도시한 바와 같이, 세선화 화상(209)을 얻는다.
인식부(74)는 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역(207) 내의 소정 부위의 길이에 기초하여, 추출부(72)에 의해 추출된 유저의 손에 상당하는 영역(207)으로부터 산출된 무게 중심과 손끝의 거리를 추정함으로써 손끝의 위치를 특정한다. 예를 들어, 사람의 손의 폭은 손가락의 길이에 상관한다. 따라서, 인식부(74)는 추출부(72)에 의해 구해진 손(200)의 폭(204)을 사용하여 손끝까지의 거리를 추정한다. 우선, 인식부(74)는, 도 11에 도시한 바와 같이 무게 중심(208)으로부터 특정한 반경 r1 및 r2(r2>r1)와, 특정한 각도 θ1 및 θ2(θ2>θ1)를 설정한다. 그리고, 인식부(74)는 설정한 r1, r2, θ1 및 θ2로 둘러싸인 부채형의 범위에서, 무게 중심(208)의 위치로부터 일정 거리 이상에 걸쳐서 연장되는 세선화 화상(209)의 선단을 탐색하고, 탐색한 선단을 손끝의 위치(211)로서 특정한다.
또한, 반경 r1, r2는, 예를 들어 무게 중심(208)의 위치로부터 최대 폭(204)으로부터 소정의 길이 Δr을 줄여 정해진다. 또한, 부채형의 범위는 손끝의 위치(211)를 탐색하는 영역을 제한하여 탐색 처리를 고속화하기 위한 것이고, 탐색하는 영역을 제한하는 다른 방법을 채용해도 된다. 또한, 탐색하는 영역을 제한하지 않고 무게 중심(208)의 위치로부터 전체를 탐색해도 된다. 또한, 도 11에는 집게 손가락의 손끝을 특정한 예를 나타냈지만, 손끝이 복수 특정되는 경우도 있다.
유저의 손에 상당하는 영역(207)의 움직임의 인식에 있어서는, 인식부(74)는 기억부(6)를 참조하여, 무게 중심 위치의 이동의 이력(Xt -n, Yt -n), …(Xt -1, Yt -1), (Xt, Yt)에 기초하여, 유저의 손에 상당하는 영역(207)의 움직임을 인식한다. 여기서, 인식부(74)는 특정한 손끝에 대응하는 좌표의 이동량을 산출해도 된다.
입력부(75)는 인식부(74)에 의해 인식된 형상 또는 움직임에 대응된 데이터를 입력한다. 예를 들어, 입력부(75)는 기억부(6)를 참조하여, 인식부(74)에 의해 인식된 손(200)의 형상에 대응된 커맨드를 입력한다. 입력부(75)는 특정된 손끝의 위치(211)를 포함하는 손(200)의 형상에 대응하는 데이터와 기준 데이터를 비교하여, 손(200)의 형상과 기준 데이터에서 인식되는 손의 형상이 일치하면, 그 기준 데이터에 대응된 커맨드를 입력한다. 예를 들어, 커서 C를 이동시키는 커맨드의 경우, 입력부(75)는 커서 C의 이동 지시를 표시부(3)에 입력한다. 이에 의해, 표시부(3)의 제스처 입력 지원용 윈도우(3W) 내의 커서 C가 이동한다.
손(200)의 움직임이 인식부(74)에 의해 인식된 경우, 예를 들어, 입력부(75)는 손(200)을 위로 움직인 경우, 커서 C를 위로 움직이는 지시를 표시부(3)에 입력한다. 이에 의해, 표시부(3)의 제스처 입력 지원용 윈도우(3W) 내의 커서 C가 위로 이동한다.
다음에, 정보 처리 장치(100)에 의한 입력 처리의 플로우를 설명한다. 정보 처리 장치(100)는 다양한 어플리케이션 소프트웨어를 실행 가능하다. 정보 처리 장치(100)는 어플리케이션 소프트웨어로의 입력을 위해, 조작부(1)로부터의 입력 처리 외에, 이하에 설명하는 바와 같이, 유저가 제스처로 입력한 경우의 입력 처리를 행한다.
제어부(7)는, 도 12에 도시하는 입력 처리를, 예를 들어 시분할로 반복해서 실행한다. 또한, 제어부(7)는 입력 처리의 개시에 수반하여 제스처 입력 지원용 윈도우(3W)를 표시해도 되고, 혹은 제스처 혹은 조작부(1)로부터의 입력에 의해 제스처 입력 지원용 윈도우(3W)의 표시 및 비표시를 전환하도록 해도 된다.
화상 입력부(71)는 제어부(7)에 화상 데이터를 입력한다(스텝 S1). 다음에, 추출부(72)는 움직이는 영역(201)을 추출한다(스텝 S2). 계속해서, 추출부(72)는 유저의 손에 상당하는 영역(207)을 추출한다(스텝 S3). 추출부(72)는 유저의 손에 상당하는 영역(207)의 무게 중심(208)을 산출한다(스텝 S4).
판정부(73)는 무게 중심(208)의 이동량을 산출한다(스텝 S5). 계속해서, 판정부(73)는 무게 중심(208)의 이동량에 기초하여 유저의 손에 상당하는 영역(207)이 정지 상태에 있는지 여부를 판정한다(스텝 S6).
유저의 손에 상당하는 영역(207)이 정지 상태에 있는 경우(스텝 S6;예), 인식부(74)는 세선화 처리를 실행한다(스텝 S7). 계속해서, 인식부(74)는 손끝의 위치(211)를 특정함으로써 손(200)의 형상을 인식한다(스텝 S8). 손(200)의 형상이 기준 데이터에 일치하지 않는 경우(스텝 S9;아니오), 제어부(7)는 스텝 S1로 복귀된다. 한편, 손(200)의 형상이 기준 데이터에 일치한 경우(스텝 S9;예), 입력부(75)는 인식부(74)에 의해 인식된 손(200)의 형상에 대응된 커맨드를 입력한다(스텝 S10). 그리고, 제어부(7)는 입력 처리를 종료한다.
한편, 유저의 손에 상당하는 영역(207)이 정지 상태에 없는 경우(스텝 S6;아니오), 인식부(74)는 무게 중심(208)의 이동량을 산출하여, 유저의 손의 움직임을 인식한다(스텝 S11). 계속해서, 손(200)의 움직임이 기준 데이터에 일치하지 않는 경우(스텝 S9;아니오), 제어부(7)는 스텝 S1로 복귀된다. 손(200)의 움직임이 기준 데이터에 일치한 경우(스텝 S9;예), 입력부(75)는 인식부(74)에 의해 인식된 손(200)의 움직임에 대응된 커맨드를 입력한다(스텝 S10). 그리고, 제어부(7)는 입력 처리를 종료한다.
이상 상세하게 설명한 바와 같이, 본 실시 형태에 따른 정보 처리 장치(100)에 따르면, 손(200)이 정지 중인지 여부를 판정하여, 정지 상태이면, 손(200)의 형상에 기초하여 데이터를 입력한다. 이에 의해, 정지하고 있지 않은 손(200)의 화상에 있어서 잔상에 의한 인식 정밀도의 저하 및 그것에 수반하는 오입력의 발생을 최대한 방지할 수 있다. 또한, 정지 중인 손(200)의 화상을 사용하므로, 손(200)의 영역을 정확하게 인식할 수 있으므로, 처리 부담이 적고, 외부 노이즈의 영향 및 그것에 수반하는 오입력의 발생을 최대한 방지할 수 있다. 이로 인해, 유저가 보다 높은 정밀도로 데이터를 입력할 수 있다.
또한, 본 실시 형태에서는, 인식부(74)는 추출부(72)에 의해 추출된 영역(207)에 있어서의 손끝의 위치(211)를 특정함으로써 유저의 손에 상당하는 영역(207)의 형상을 인식하도록 하였다. 이렇게 함으로써, 화상 데이터로부터 손에 상당하는 영역(207)을 적절하게 잘라낼 수 있으므로, 손(200) 이외에 촬상된 화상 등의 노이즈의 영향을 최대한 억제할 수 있다. 또한, 손끝은 제스처 입력에 있어서 자주 움직이는 부위이므로, 손끝의 위치(211)를 정확하게 특정함으로써, 다양한 데이터의 입력이 가능해진다.
또한, 본 실시 형태에서는, 인식부(74)는 추출부(72)에 의해 추출된 영역(207)에 세선화 처리를 행함으로써 손끝의 위치(211)를 특정하도록 하였다. 세선화 처리에 의해, 화상의 형상적인 특징을 잡기 쉬워지므로, 손끝의 위치(211)를 보다 정확하게 특정할 수 있다. 또한, 세선화 처리에 의해, 화상을 선으로 변환하므로, 처리하는 데이터량을 억제할 수 있어, 처리를 고속화할 수 있다.
또한, 본 실시 형태에서는, 인식부(74)는 추출부(72)에 의해 추출된 영역(207) 내의 손의 폭(204)에 기초하여, 추출부(72)에 의해 추출된 영역(207)의 무게 중심(208)으로부터 손끝까지의 거리를 추정함으로써 손끝의 위치(211)를 특정하도록 하였다. 손의 폭과 손가락의 선단까지의 길이는 일반적으로 상관되어 있으므로, 개인의 손의 크기에 따라서 손끝의 위치(211)를 정확하게 추정할 수 있다.
또한, 본 실시 형태에서는, 판정부(73)는 추출부(72)에 의해 추출된 영역(207)의 무게 중심(208)의 이동량에 기초하여 유저의 손(200)이 정지 상태에 있는지 여부를 판정하도록 하였다. 이렇게 함으로써, 손(200)이 정지 상태에 있는지 여부를 고정밀도로 판정할 수 있다.
또한, 본 실시 형태에서는, 인식부(74)는 판정부(73)에 의해 유저의 손(200)이 정지 상태에 있지 않다고 판정된 경우에, 추출부(72)에 의해 추출된 영역(207)의 움직임을 인식하고, 입력부(75)는 인식부(74)에 의해 인식된 움직임에 대응된 커맨드를 입력하도록 하였다. 이에 의해, 손(200)의 형상뿐만 아니라, 손(200)의 움직임에 의해서도 데이터의 입력이 가능해지므로, 제스처로 입력할 수 있는 데이터의 종류를 증가시킬 수 있다. 이 결과, 다종의 데이터를 제스처로 입력할 수 있으므로, 유저의 편리성이 향상된다.
또한, 본 실시 형태에서는, 추출부(72)는 화상 입력부(71)에 의해 입력된 화상 데이터에 있어서의 프레임간의 차분 데이터로부터 구해지는 움직이는 영역(202)에 외접하는 직사각형 영역(203)을 설정하여, 직사각형 영역(203) 내를 주사함으로써 얻어지는 움직이는 영역(202)에 포함되는 선분의 길이에 기초하여 유저의 손목에 상당하는 영역을 특정하고, 특정한 유저의 손목에 상당하는 영역에 기초하여, 유저의 손(200)에 상당하는 영역(207)을 추출하도록 하였다. 이렇게 함으로써, 추출부(72)는 손(200)의 영역을 정확하게 추출할 수 있다. 또한, 손(200) 이외에 촬상된 화상 등의 노이즈의 영향을 최대한 억제할 수 있다.
또한, 도 13에 도시한 바와 같이, 표시부(3)는 화상 입력부(71)에 의해 입력된 화상 데이터에 대응하는 화상을 제스처 입력 지원용 윈도우(3W) 내에 표시하도록 해도 된다. 이렇게 함으로써, 유저는 손(200)에 의한 제스처를 확인하면서 조작 입력할 수 있으므로, 유저는 보다 확실하게 데이터를 입력할 수 있다.
또한, 상기 실시 형태에서는, 손(200)이 정지 상태에 없는 경우에는 인식된 손(200)의 움직임에 기초하여 데이터를 입력하고, 손(200)이 정지 상태에 있는 경우에는 인식된 손(200)의 형상에 기초하여 데이터를 입력하도록 하였다. 그러나, 본 발명은 이에 한정되지 않는다.
예를 들어, 판정부(73)는 시간 T 간격의 프레임 단위의 화상 데이터에 있어서의 손(200)의 무게 중심(208)의 이동량 L로부터 이동 속도 V(＝ L/T)를 구하도록 해도 된다. 이 경우, 인식부(74)는 이동 속도 V가 제1 임계값 V1보다 큰 경우에는 손(200)의 움직임에 기초하여 데이터를 입력한다. 또한, 인식부(74)는, 이동 속도 V가 제1 임계값 V1과 제2 임계값 V2 사이인 경우(V1>V>V2)에는 손(200)의 움직임과 손(200)의 형상, 방향의 조합에 기초하여 데이터를 입력한다. 또한, 인식부(74)는, 이동 속도 V가 제2 임계값 V2보다 작은 경우(V2>V:즉, 거의 정지 상태)에는 손(200)의 형상, 방향에 기초하여 데이터를 입력한다. 이와 같이 해도, 손(200)에 의한 제스처를 고정밀도로 인식하여, 적절하게 데이터를 입력할 수 있다. 또한, 속도의 임계값을 3개 이상 설치해도 된다.
또한, 유저의 손(200)에 상당하는 영역(207)을 추출하는 방법, 무게 중심(208)을 산출하는 방법, 손끝의 위치(211)를 특정하는 방법 등은 상기 실시 형태로 한정되지 않는다. 예를 들어, 유저의 손(200)에 상당하는 영역(207)은 화상 중의 특정한 색(살색)의 부분을 추출해도 된다. 또한, 유저의 손(200)에 상당하는 영역(207)을 추출하기 위해, 예를 들어, 추출부(41)는 특정한 움직이는 영역(202)을 포함하는 최소의 직사각형 영역(212)을, 도 14에 도시한 바와 같이 설정해도 된다. 이 경우, 추출부(72)는 무게 중심(208)보다 화상 평면 상측의 백색 화소의 영역을 유저의 손에 상당하는 영역(207)으로서 추출해도 된다. 또한, 손(200)의 이동의 유무를 판별하는 방법도 임의이다. 예를 들어, 실제의 이동량이나 속도를 구하지 않아도, 이동량이나 속도와 연동하는 값을 구하여, 이것과 기준값을 비교하는 것 등을 해도 된다.
또한, 손끝의 위치(211)의 특정에서는, 예를 들어, 도 14에 예시한 바와 같이, 인식부(74)는 화상을 구성하는 화소 중, 무게 중심(208)보다 화상 평면 상측에서 가장 무게 중심(208)으로부터 먼(거리가 이격되어 있음) 화소의 위치를 손끝의 위치(211)로서 특정해도 된다.
또한, 도 12의 스텝 S10에서, 입력부(75)는 인식부(74)에 의해 인식된 손(200)의 형상 또는 움직임에 대응된 커맨드를 입력하였다. 이에 한정되지 않고, 입력부(75)는 인식된 손(200)의 형상 또는 움직임에 대응하는 데이터를 기억부(6)에 기억시켜, 다른 처리, 예를 들어, 조작부(1)를 통한 조작 입력과 더불어, 기억부(6)를 참조하여 커맨드 등을 입력해도 된다.
상기 실시 형태에서는, 카메라(2)를 구비하는 구성을 예시하였지만, 카메라(2)로 취득한 화상 데이터를, 데이터 통신을 통해 수신하거나, 기록 매체 등을 통해 취득하여, 그 화상 데이터를 처리하는 시스템에도 본 발명은 적용 가능하다.
또한, 도 3 내지 도 5에 도시한 손(200)의 이동, 형상 등의 손(200)에 의한 제스처는 일례이며, 이들로 한정되는 것은 아니다.
본 실시 형태의 정보 처리 장치(100)는 전용의 시스템에 의해 실현해도 되고, 통상의 컴퓨터 시스템에 의해 실현해도 된다. 예를 들어, 상술한 동작을 실행하기 위한 프로그램을 컴퓨터 판독 가능한 기록 매체에 저장하여 배포하고, 그 프로그램을 컴퓨터에 인스톨하여, 상술한 처리를 실행함으로써 입력 장치(100)를 구성해도 된다. 또한, 인터넷 등의 네트워크상의 서버 장치가 구비하는 디스크 장치에 저장해 두고, 예를 들어 컴퓨터에 다운로드 등을 할 수 있도록 해도 된다. 또한, 상술한 기능을 OS(Operating System)와 어플리케이션 소프트웨어 공동으로 실현해도 된다. 이 경우에는 OS 이외의 부분만을 매체에 저장하여 배포해도 되고, 또한 컴퓨터에 다운로드 등을 해도 된다.
상기 프로그램을 기록하는 기록 매체로서는, USB 메모리, 플렉시블 디스크, CD, DVD, Blu-ray Disc(등록 상표), MO, SD 카드, 메모리 스틱(등록 상표), 그 외에, 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리, 자기 테이프 등의 컴퓨터 판독 가능한 기록 매체를 사용할 수 있다. 또한, 하드 디스크나 SSD(솔리드 스테이트 드라이브) 등, 통상, 시스템 또는 장치에 고정하여 사용하는 기록 매체를 사용할 수도 있다.
본 발명은 본 발명의 넓은 의미의 정신과 범위를 일탈하지 않고, 다양한 실시 형태 및 변형이 가능해지는 것이다. 또한, 전술한 실시 형태는, 본 발명을 설명하기 위한 것으로, 본 발명의 범위를 한정하는 것은 아니다. 즉, 본 발명의 범위는 실시 형태가 아니라, 청구의 범위에 의해 나타난다. 그리고, 청구의 범위 내 및 그것과 동등한 발명의 의의의 범위 내에서 행하는 다양한 변형이, 본 발명의 범위 내라고 간주된다.
상기한 실시 형태의 일부 또는 전부는 이하의 부기와 같이 기재될 수도 있지만, 이하로는 한정되지 않는다.
(부기 1)
피사체를 촬상한 화상 데이터를 입력하는 화상 입력부와,
상기 화상 입력부에 의해 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출부와,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정부와,
상기 판정부에 의해 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식부와,
상기 인식부에 의해 인식된 형상에 대응된 데이터를 입력하는 입력부
를 구비하는 정보 처리 장치.
(부기 2)
상기 인식부는,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역에 있어서의 손끝의 위치를 특정하고, 특정한 손끝의 위치에 기초하여 피사체의 손에 상당하는 영역의 형상을 인식하는 것을 특징으로 하는 부기 1에 기재된 정보 처리 장치.
(부기 3)
상기 인식부는,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역에 세선화 처리를 행함으로써 손끝의 위치를 특정하는 것을 특징으로 하는 부기 2에 기재된 정보 처리 장치.
(부기 4)
상기 인식부는,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역 내의 소정 부위의 길이에 기초하여, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역으로부터 산출된 무게 중심과 손끝의 거리를 추정함으로써 손끝의 위치를 특정하는 것을 특징으로 하는 부기 2 또는 3에 기재된 정보 처리 장치.
(부기 5)
상기 판정부는,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 무게 중심의 이동량에 기초하여 피사체의 손이 정지 상태에 있는지 여부를 판정하는 것을 특징으로 하는 부기 1 내지 4 중 어느 하나에 기재된 정보 처리 장치.
(부기 6)
상기 인식부는,
상기 판정부에 의해 피사체의 손이 정지 상태에 있지 않다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 움직임을 인식하고,
상기 입력부는,
상기 인식부에 의해 인식된 움직임에 대응된 데이터를 입력하는 것을 특징으로 하는 부기 1 내지 5 중 어느 하나에 기재된 정보 처리 장치.
(부기 7)
상기 추출부는,
상기 화상 입력부에 의해 입력된 화상 데이터에 있어서의 프레임간의 차분 데이터로부터 구해지는 움직이는 영역에 외접하는 직사각형을 설정하고, 직사각형 내를 주사함으로써 얻어지는 상기 움직이는 영역에 포함되는 선분의 길이에 기초하여 피사체의 손목에 상당하는 영역을 특정하고, 특정한 상기 피사체의 손목에 상당하는 영역에 기초하여, 피사체의 손에 상당하는 영역을 추출하는 것을 특징으로 하는 부기 1 내지 6 중 어느 하나에 기재된 정보 처리 장치.
(부기 8)
상기 화상 입력부에 의해 입력된 화상 데이터에 대응하는 화상을 표시하는 표시부를 더 구비하는 것을 특징으로 하는 부기 1 내지 7 중 어느 하나에 기재된 정보 처리 장치.
(부기 9)
피사체를 촬상한 화상 데이터를 입력하는 화상 입력 스텝과,
상기 화상 입력 스텝에 있어서 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출 스텝과,
상기 추출 스텝에 있어서 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정 스텝과,
상기 판정 스텝에 있어서 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출 스텝에 있어서 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식 스텝과,
상기 인식 스텝에 있어서 인식된 형상에 대응된 데이터를 입력하는 실행 스텝
을 포함하는 정보 처리 방법.
(부기 10)
컴퓨터를,
피사체를 촬상한 화상 데이터를 입력하는 화상 입력부,
상기 화상 입력부에 의해 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출부,
상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정부,
상기 판정부에 의해 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식부,
상기 인식부에 의해 인식된 형상에 대응된 데이터를 입력하는 입력부
로서 기능시키는 프로그램을 기록한 기록 매체.
본 발명은 2011년 4월 28일에 출원된 일본 특허 출원 2011-102529호에 기초한다. 본 명세서 중에 일본 특허 출원 2011-102529호의 명세서, 특허청구의 범위, 도면 전체를 참조로서 도입하는 것으로 한다.
본 발명은 피사체의 제스처에 의해 데이터를 입력하는 정보 처리 장치, 정보 처리 방법 및 기록 매체에 적절하다.
1 : 조작부
2 : 카메라
3 : 표시부
3W : 제스처 입력 지원용 윈도우
3i : 윈도우
4 : 카메라 인터페이스
5 : 표시 인터페이스
6 : 기억부
7 : 제어부
8 : 버스
71 : 화상 입력부
72 : 추출부
73 : 판정부
74 : 인식부
75 : 입력부
100 : 정보 처리 장치
200 : 손
201, 202 : 움직이는 영역
203, 212 : 직사각형 영역
204 : 폭
205 : 최대 폭
206 : 최소 폭
207 : 유저의 손에 상당하는 영역
208 : 무게 중심
209 : 세선화 화상
210 : 부채형의 영역
211 : 손끝의 위치

Claims (10)

  1. 피사체를 촬상한 화상 데이터를 입력하는 화상 입력부와,
    상기 화상 입력부에 의해 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출부와,
    상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정부와,
    상기 판정부에 의해 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식부와,
    상기 인식부에 의해 인식된 형상에 대응된 데이터를 입력하는 입력부
    를 구비하는 정보 처리 장치.
  2. 제1항에 있어서, 상기 인식부는,
    상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역에서의 손끝의 위치를 특정하고, 특정한 손끝의 위치에 기초하여 피사체의 손에 상당하는 영역의 형상을 인식하는 것을 특징으로 하는 정보 처리 장치.
  3. 제2항에 있어서, 상기 인식부는,
    상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역에 세선화(細線化) 처리를 행함으로써 손끝의 위치를 특정하는 것을 특징으로 하는 정보 처리 장치.
  4. 제2항 또는 제3항에 있어서, 상기 인식부는,
    상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역 내의 소정 부위의 길이에 기초하여, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역으로부터 산출된 무게 중심과 손끝과의 거리를 추정함으로써 손끝의 위치를 특정하는 것을 특징으로 하는 정보 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 판정부는,
    상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 무게 중심의 이동량에 기초하여 피사체의 손이 정지 상태에 있는지 여부를 판정하는 것을 특징으로 하는, 정보 처리 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 인식부는,
    상기 판정부에 의해 피사체의 손이 정지 상태에 있지 않다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 움직임을 인식하고,
    상기 입력부는,
    상기 인식부에 의해 인식된 움직임에 대응된 데이터를 입력하는 것을 특징으로 하는 정보 처리 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 추출부는,
    상기 화상 입력부에 의해 입력된 화상 데이터에서의 프레임간의 차분 데이터로부터 구해지는 움직이는 영역에 외접하는 직사각형을 설정하고, 직사각형 내를 주사함으로써 얻어지는 상기 움직이는 영역에 포함되는 선분의 길이에 기초하여 피사체의 손목에 상당하는 영역을 특정하고, 특정한 상기 피사체의 손목에 상당하는 영역에 기초하여, 피사체의 손에 상당하는 영역을 추출하는 것을 특징으로 하는 정보 처리 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 화상 입력부에 의해 입력된 화상 데이터에 대응하는 화상을 표시하는 표시부를 더 구비하는 것을 특징으로 하는 정보 처리 장치.
  9. 피사체를 촬상한 화상 데이터를 입력하는 화상 입력 스텝과,
    상기 화상 입력 스텝에서 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출 스텝과,
    상기 추출 스텝에서 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정 스텝과,
    상기 판정 스텝에서 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출 스텝에서 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식 스텝과,
    상기 인식 스텝에서 인식된 형상에 대응된 데이터를 입력하는 입력 스텝
    을 포함하는 정보 처리 방법.
  10. 컴퓨터를,
    피사체를 촬상한 화상 데이터를 입력하는 화상 입력부,
    상기 화상 입력부에 의해 입력된 화상 데이터에 포함되는 피사체의 손에 상당하는 영역을 추출하는 추출부,
    상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역이 정지 상태에 있는지 여부를 판정하는 판정부,
    상기 판정부에 의해 피사체의 손에 상당하는 영역이 정지 상태에 있다고 판정된 경우에, 상기 추출부에 의해 추출된 피사체의 손에 상당하는 영역의 형상을 인식하는 인식부,
    상기 인식부에 의해 인식된 형상에 대응된 데이터를 입력하는 입력부
    로서 기능시키는 프로그램을 기록한 기록 매체.
KR1020137027984A 2011-04-28 2012-04-27 정보 처리 장치, 정보 처리 방법 및 기록 매체 KR101514169B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011102529 2011-04-28
JPJP-P-2011-102529 2011-04-28
PCT/JP2012/061471 WO2012147961A1 (ja) 2011-04-28 2012-04-27 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
KR20140002008A true KR20140002008A (ko) 2014-01-07
KR101514169B1 KR101514169B1 (ko) 2015-04-21

Family

ID=47072472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137027984A KR101514169B1 (ko) 2011-04-28 2012-04-27 정보 처리 장치, 정보 처리 방법 및 기록 매체

Country Status (7)

Country Link
US (1) US9367732B2 (ko)
EP (1) EP2703950A4 (ko)
JP (1) JP5709228B2 (ko)
KR (1) KR101514169B1 (ko)
CN (1) CN103562822A (ko)
IL (1) IL229044A0 (ko)
WO (1) WO2012147961A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180257966A1 (en) * 2015-09-23 2018-09-13 Bkt Co., Ltd. Wastewater treatment apparatus adopting biofiltration process for pretreatment of shortened nitrogen removal process
US20210120315A1 (en) * 2019-10-16 2021-04-22 Charter Communications Operating, Llc Apparatus and methods for enhanced content control, consumption and delivery in a content distribution network
US11729453B2 (en) 2019-04-24 2023-08-15 Charter Communications Operating, Llc Apparatus and methods for personalized content synchronization and delivery in a content distribution network

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE536990C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
JP6170696B2 (ja) * 2013-03-18 2017-07-26 スタンレー電気株式会社 画像処理装置及び画像処理方法
KR101374720B1 (ko) * 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
CN103544472B (zh) * 2013-08-30 2018-06-19 Tcl集团股份有限公司 一种基于手势图像的处理方法及处理装置
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
CN104298354A (zh) * 2014-10-11 2015-01-21 河海大学 一种人机交互的手势识别方法
CN104407694B (zh) * 2014-10-29 2018-02-23 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104331158B (zh) * 2014-10-29 2018-05-25 山东大学 一种手势控制的人机交互方法及装置
DE102014224898A1 (de) * 2014-12-04 2016-06-09 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US20180060144A1 (en) * 2015-01-15 2018-03-01 Snapback S.R.L. Control methods for mobile electronic devices in distributed environments
JP2019113881A (ja) * 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
US10719697B2 (en) * 2016-09-01 2020-07-21 Mitsubishi Electric Corporation Gesture judgment device, gesture operation device, and gesture judgment method
CN107818290B (zh) * 2016-09-14 2021-03-16 京东方科技集团股份有限公司 基于深度图的启发式手指检测方法
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
JP2019012485A (ja) * 2017-07-01 2019-01-24 株式会社ラブ・ボート ユーザインターフェース
EP3432204B1 (en) * 2017-07-20 2024-01-17 Tata Consultancy Services Limited Telepresence framework for region of interest marking using headmount devices
CN109272528A (zh) * 2018-09-18 2019-01-25 图普科技（广州）有限公司 一种行人轨迹获取方法及装置
JP2022116375A (ja) * 2019-06-17 2022-08-10 ジュネル株式会社 ネイルサイズ推定装置
JP7397282B2 (ja) * 2019-09-11 2023-12-13 株式会社Mixi 静止判定システム及びコンピュータプログラム
WO2021215366A1 (ja) * 2020-04-24 2021-10-28 日本電気株式会社 無人航空機遠隔操作装置、無人航空機遠隔操作システム、無人航空機遠隔操作方法及び記録媒体

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
DE19612949C1 (de) 1996-04-01 1997-08-14 Siemens Ag Verfahren zur Erkennung mindestens eines fingerförmigen Objekts in einem ersten, handförmigen Objekt durch einen Rechner
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP2934190B2 (ja) 1996-08-22 1999-08-16 株式会社エイ・ティ・アール知能映像通信研究所 手振り認識装置
JP2001307107A (ja) 2000-04-21 2001-11-02 Sony Corp 画像処理装置および方法、並びに記録媒体
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2002259989A (ja) 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP2005242694A (ja) 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP2009042796A (ja) 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
JP2007164814A (ja) 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
US8005263B2 (en) 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US20150309581A1 (en) * 2009-04-02 2015-10-29 David MINNEN Cross-user hand tracking and shape recognition user interface
CN101901350B (zh) * 2010-07-23 2012-05-16 北京航空航天大学 一种基于特征向量的静态手势识别方法
US20120224040A1 (en) * 2011-03-03 2012-09-06 Hand Held Products, Inc. Imager reader with hand gesture interface
US9344707B2 (en) * 2011-06-29 2016-05-17 Microsoft Technology Licensing, Llc Probabilistic and constraint based articulated model fitting
US20150255005A1 (en) * 2012-09-12 2015-09-10 National Institute Of Advanced Industrial Science And Technology Movement evaluation device and program therefor
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
JP6221505B2 (ja) * 2013-08-22 2017-11-01 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20150139487A1 (en) * 2013-11-21 2015-05-21 Lsi Corporation Image processor with static pose recognition module utilizing segmented region of interest
US9436872B2 (en) * 2014-02-24 2016-09-06 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for detecting and tracking multiple parts of an object

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180257966A1 (en) * 2015-09-23 2018-09-13 Bkt Co., Ltd. Wastewater treatment apparatus adopting biofiltration process for pretreatment of shortened nitrogen removal process
US11729453B2 (en) 2019-04-24 2023-08-15 Charter Communications Operating, Llc Apparatus and methods for personalized content synchronization and delivery in a content distribution network
US20210120315A1 (en) * 2019-10-16 2021-04-22 Charter Communications Operating, Llc Apparatus and methods for enhanced content control, consumption and delivery in a content distribution network
US11812116B2 (en) * 2019-10-16 2023-11-07 Charter Communications Operating, Llc Apparatus and methods for enhanced content control, consumption and delivery in a content distribution network

Also Published As

Publication number Publication date
IL229044A0 (en) 2013-12-31
EP2703950A4 (en) 2015-01-14
WO2012147961A1 (ja) 2012-11-01
JPWO2012147961A1 (ja) 2014-07-28
CN103562822A (zh) 2014-02-05
KR101514169B1 (ko) 2015-04-21
US20140247964A1 (en) 2014-09-04
JP5709228B2 (ja) 2015-04-30
EP2703950A1 (en) 2014-03-05
US9367732B2 (en) 2016-06-14

Similar Documents

Publication Publication Date Title
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP5709227B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9448635B2 (en) Rapid gesture re-engagement
KR102118408B1 (ko) 터치 감지 디바이스에서 터치 동작을 수행하는 방법
US8923559B2 (en) Image processing apparatus, image processing method, and program
JP5604279B2 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US8934673B2 (en) Image processing method and apparatus for detecting target
US20130050076A1 (en) Method of recognizing a control command based on finger motion and mobile device using the same
JP6075110B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2015104257A1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
JP5703194B2 (ja) ジェスチャ認識装置、その方法、及び、そのプログラム
TWI431538B (zh) 基於影像之動作手勢辨識方法及系統
JP2015153195A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
US20120131513A1 (en) Gesture Recognition Training
US11082634B2 (en) Image processing system, image processing method, and program
US11402918B2 (en) Method for controlling terminal apparatus, apparatus for controlling terminal apparatus, and computer-program product
JP5887264B2 (ja) 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
US20170168584A1 (en) Operation screen display device, operation screen display method, and non-temporary recording medium
US9727145B2 (en) Detecting device and detecting method
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
Wong et al. Virtual touchpad: Hand gesture recognition for smartphone with depth camera
KR20160068311A (ko) 안면 형상 기울기 보정 방법 및 보정 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 5