KR101620933B1 - 제스쳐 인식 메커니즘을 제공하는 방법 및 장치 - Google Patents

제스쳐 인식 메커니즘을 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR101620933B1
KR101620933B1 KR1020137020214A KR20137020214A KR101620933B1 KR 101620933 B1 KR101620933 B1 KR 101620933B1 KR 1020137020214 A KR1020137020214 A KR 1020137020214A KR 20137020214 A KR20137020214 A KR 20137020214A KR 101620933 B1 KR101620933 B1 KR 101620933B1
Authority
KR
South Korea
Prior art keywords
motion
determining
gesture recognition
average
histogram
Prior art date
Application number
KR1020137020214A
Other languages
English (en)
Other versions
KR20130115341A (ko
Inventor
콩퀴아오 왕
레이 수
지앙웨이 리
잉페이 리우
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20130115341A publication Critical patent/KR20130115341A/ko
Application granted granted Critical
Publication of KR101620933B1 publication Critical patent/KR101620933B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Abstract

제스쳐 인식 메커니즘을 제공하는 방법은, 수신한 이미지 데이터의 다운-샘플링을 수행해서, 복수의 이미지 프레임에 대한 다운-샘플링된 이미지 블록을 생성하는 단계와, 다운-샘플링된 이미지 블록으로부터 복수의 특성(feature)을 추출하는 단계와, 연속 프레임에서 각각의 특성의 값의 변화에 기초해서 다운-샘플링된 이미지 블록의 이동 상태(moving status)를 결정하는 단계와, 각각의 다운-샘플링된 이미지 블록의 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 이미지 데이터에서의 물체의 모션 방향을 결정하는 단계를 포함한다. 대응하는 장치 및 컴퓨터 프로그램 제품도 제공된다.

Description

제스쳐 인식 메커니즘을 제공하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING A MECHANISM FOR GESTURE RECOGNITION}
본 발명의 일부 예시적인 실시예는, 전반적으로 사용자 인터페이스 기술에 관한 것이고, 상세하게는 제스쳐 인식 메커니즘을 제공하는 방법 및 장치에 관한 것이다.
최근 통신 시대에는, 유선 및 무선 네트워크가 폭발적으로 증가되었다. 컴퓨터 네트워크, 텔레비젼 네트워크 및 전화 네트워크는 소비자의 요청에 따라서 전례없는 기술 팽창을 경험하고 있다. 무선 및 모바일 네트워킹 기술은 관련된 소비자 요청을 만족시키면서, 더 유연하고 신속한 정보 전송을 제공하고 있다.
최근의 그리고 미래의 네트워킹 기술은 정보 전송을 계속해서 용이하게 해서 사용자에게 편의성을 제공한다. 정보 전송을 더 용이하게 해서 사용자에게 편의를 제공하고자 하는 요구가 있는 한 분야는, HCI(human-computer interaction)를 위해 인간과 기계의 인터페이스를 간소하게 하는 것에 관한 것이다. 컴퓨팅 장치, 및 휴대형 장치 혹은 모바일 장치 분야에서의 기술 발전으로 최근의 이러한 장치의 성능이 향상되면서, 차세대 HCI가 주목받고 있다. 나아가, 이러한 장치가, 요청시에 비교적 빠르게 컨텐츠를 작성하고, 컨텐츠를 저장하며 및/또는 컨텐츠를 수신하는 성능이 점점 높아질 것으로 보고, 또한 모바일 전화와 같은 모바일 전자 장치가 그 디스플레이 크기, 텍스트 입력 속도 및 사용자 인터페이스의 물리적인 실시의 한계에 직면했다고 보면, 도전 과제는 종종 HCI의 측면에서 발생한다.
나아가, HCI가 향상됨으로써, 효율적인 HCI를 위한 변화를 제공하지 못했던 환경에서, 사용자의 재미(user enjoyment)와, 컴퓨팅 장치와의 사용자 인터페이스의 개방 가능성을 향상시킬 수 있다. 이러한 향상 중 하나는 제스쳐 인식에 관한 것이다. 예컨대, 키패드 및 마우스와 같이 HCI에서 현재 이용되는 다른 인터렉티브 메커니즘과 비교하면, 제스쳐 인식은 통신의 자연스러움 및 편의성을 향상시키는 것으로 고려될 수 있다. 이와 같이, 제스쳐 인식을, 디지털 홈 가전 제품에서의 커맨트 컨트롤러로서 이용할 수 있게 하거나, 파일/웹 네비게이션에 이용할 수 있게 하거나, 혹은 통상 사용되는 리모컨을 대체해서 이용할 수 있게 하기 위해서, 몇가지 애플리케이션이 개발되었다. 그러나, 현재의 제스쳐 분석 메커니즘은 이용하기에 느리거나 복잡하다. 차세대 HCI이 널리 이용되어 가면서, 제스쳐 인식을 개선하는 것이 바람직하다.
제스쳐 인식을 이용하는 메커니즘을 제공할 수 있는, 방법, 장치 및 컴퓨터 프로그램 제품이 제공된다. 예컨대, 일부 실시예는 실질적으로 실시간 비전-기반(vision-based) 기네틱 핸드(kinetic hand) 제스쳐 인식 알고리즘을 이용할 수 있다.
일 예시적인 실시예에서, 제스쳐 인식을 이용하는 메커니즘을 제공하는 방법이 제공된다. 이 방법은 수신한 이미지 데이터의 다운-샘플링을 수행해서, 복수의 이미지 프레임에 대한 다운-샘플링된 이미지 블록을 생성하는 단계와, 다운-샘플링된 이미지 블록으로부터 복수의 특성(feature)을 추출하는 단계와, 연속 프레임에서 각각의 특성의 값의 변화에 기초해서 다운-샘플링된 이미지 블록의 이동 상태(moving status)를 결정하는 단계와, 각각의 다운-샘플링된 이미지 블록의 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 이미지 데이터에서의 물체의 모션 방향을 결정하는 단계를 포함한다.
다른 예시적인 실시예에서, 제스쳐 인식을 이용하는 메커니즘을 제공하는 장치가 제공된다. 이 장치는 컴퓨터 프로그램 코드를 포함한 적어도 하나의 프로세서 및 적어도 하나의 메모리를 포함한다. 이 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서를 사용하여, 장치로 하여금, 수신한 이미지 데이터의 다운-샘플링을 수행해서, 복수의 이미지 프레임에 대한 다운-샘플링된 이미지 블록을 생성하게 하고, 다운-샘플링된 이미지 블록으로부터 복수의 특성을 추출하게 하며, 연속 프레임에서 각각의 특성의 값의 변화에 기초해서 다운-샘플링된 이미지 블록의 이동 상태를 결정하게 하고, 각각의 다운-샘플링된 이미지 블록의 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 이미지 데이터에서의 물체의 모션 방향을 결정하게 한다.
일 예시적인 실시예에서, 제스쳐 인식을 이용하는 메커니즘을 제공하는 다른 장치가 제공된다. 이 장치는 수신한 이미지 데이터의 다운-샘플링을 수행해서 복수의 이미지 프레임에 대한 다운-샘플링된 이미지 블록을 생성하는 수단과, 다운-샘플링된 이미지 블록으로부터 복수의 특성을 추출하는 수단과, 연속 프레임에서 각각의 특성의 값의 변화에 기초해서 다운-샘플링된 이미지 블록의 이동 상태를 결정하는 수단과, 각각의 다운-샘플링된 이미지 블록의 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 이미지 데이터에서의 물체의 모션 방향을 결정하는 수단을 포함한다.
일 예시적인 실시예에서, 제스쳐 인식을 이용하는 메커니즘을 제공하는 컴퓨터 프로그램 제품이 제공된다. 이 컴퓨터 프로그램 제품은 컴퓨터-실행 가능 프로그램 코드 인스트럭션이 저장된 적어도 하나의 컴퓨터-판독 가능 저장 매체를 포함할 수 있다. 이 컴퓨터-실행 가능 프로그램 코드 인스트럭션은, 수신한 이미지 데이터의 다운-샘플링을 수행해서 복수의 이미지 프레임에 대한 다운-샘플링된 이미지 블록을 생성하는 프로그램 코드 인스트럭션과, 다운-샘플링된 이미지 블록으로부터 복수의 특성을 추출하는 프로그램 코드 인스트럭션과, 연속 프레임에서 각각의 특성의 값의 변화에 기초해서 다운-샘플링된 이미지 블록의 이동 상태를 결정하는 프로그램 코드 인스트럭션과, 각각의 다운-샘플링된 이미지 블록의 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 이미지 데이터에서의 물체의 모션 방향을 결정하는 프로그램 코드 인스트럭션을 포함할 수 있다.
본 발명의 일부 실시예는, 비전-기반 사용자 인터페이스 성능을 가진 장치와 관련된 사용자 경험을 향상시키는 방법, 장치 및 컴퓨터 프로그램 제품을 제공할 수 있다. 그 결과, 예컨대 모바일 단말 사용자는, 모바일 단말과 관련되어 사용될 수 있는 컨텐츠 및 다른 서비스 혹은 애플리케이션에 액세스하는 것과 관련된, 향상된 성능을 즐길 수 있다.
이상, 본 발명의 실시예를 전반적으로 설명했으며, 이하에서는 첨부된 도면을 참조할 것이고, 도면은 실제 축적으로 도시된 것은 아니다.
도 1은 본 발명의 예시적인 실시예에 따른 모바일 단말의 개략 블록도이다.
도 2는 본 발명의 예시적인 실시예에 따른 제스쳐 인식을 이용하는 메커니즘을 제공하는 장치의 개략 블록도이다.
도 3은 본 발명의 예시적인 실시예에 따라 구성된 제스쳐 인식 관리자에 의해 수행될 수 있는 처리의 예를 나타내는 도면이다.
도 4는 본 발명의 예시적인 실시예에 따른 샘플 이미지 시퀀스 및 대응하는 이미지 결과를 나타내는 도면이다.
도 5는 본 발명의 예시적인 실시예에 따른 제스쳐 인식을 이용하는 메커니즘을 제공하는 예시적인 방법에 따른 블록도이다.
이하, 첨부된 도면을 참조하면서 본 발명의 일부 실시예가 더 충분하게 설명될 것이며, 경우에 따라서는 본 발명의 실시예를 모두 도시한 것은 아니다. 아울러, 본 발명의 다양한 실시예가 많은 다양한 형태로 실시될 수 있으며, 여기 설명되는 실시예로 한정되는 것이 아니고, 오히려 이들 실시예는 본 개시물이 적용 가능한 법적인 요구 조건을 만족하도록 제공된다. 전반적으로 동일한 참조 번호는 동일한 구성 요소를 가리킨다. 여기서 사용되는 용어 '데이터', '컨텐츠', '정보' 및 이와 유사한 용어는 서로 바꾸어 사용되어서, 본 발명의 일부 실시예에 따라서 전송, 수신 및/또는 저장될 수 있는 데이터를 가리킬 수 있다. 따라서, 이러한 용어 중 어느 것으로 사용한다고 해서 본 발명의 사상 및 범주를 한정하는 것은 아니다.
나아가, 여기서 사용되는 용어 '회로'는 (a) 하드웨어만의 회로 구현(예컨대, 아날로그 회로 및/또는 디지털 회로의 구현), (b) 하나 이상의 컴퓨터 판독 가능 메모리에 저장되어 있으며, 서로 함께 동작해서 여기서 설명되는 기능 중 하나 이상을 장치가 수행하게 하는, 소프트웨어 및/또는 펌웨어 인스트럭션을 포함하는 회로와 컴퓨터 프로그램 제품의 조합, (c) 소프트웨어 혹은 펌웨어가 물리적으로 제공되지 않는 경우에도, 동작하기 위해서 소프트웨어 혹은 펌웨어를 필요로 하는, 마이크로프로세서 혹은 마이크로프로세서의 일부와 같은 회로를 가리킨다. 이 '회로'의 정의는 임의의 청구항을 포함한 본 명세서에서 이 용어를 사용하는 모든 경우에 적용된다. 다른 예로서, 여기서 사용되는 용어 '회로'는 하나 이상의 프로세서 및/또는 그 일부, 그리고 수반되는 소프트웨어 및/또는 펌웨어를 포함한 구현예도 포함한다. 다른 예로서, 용어 '회로'는 예컨대, 휴대 전화용의 기저대 집적 회로 혹은 애플리케이션 프로세서 집적 회로 혹은 서버, 셀룰러 네트워크 장치, 다른 네트워크 장치 및/또는 다른 컴퓨팅 장치의 유사한 집적 회로도 포함한다.
여기서 사용되는 '컴퓨터-판독 가능 저장 매체'는 영구적인(non-transitory) 물리 저장 매체(예컨대, 휘발성 혹은 비휘발성 메모리 소자)를 가리키는 것으로, 전자기 신호를 가리키는 '컴퓨터-판독 가능 전송 매체'와는 구별될 수 있다.
본 발명의 일부 실시예는 제스쳐 분석과 관련된 향상을 경험할 수 있게 하는 메커니즘을 제공할 수 있다. 또한, 일부 예시적인 실시예는 특정 제스쳐를 정확하게 판정할 수 있게 하는 비교적 빠른 메커니즘을 제공할 수 있다. 예컨대, 왼쪽에서 오른쪽으로의 손 동작 제스쳐(혹은 위에서 아래로 손을 내리는 제스쳐)는 컴퓨터 비전에만 기초해서 빠르고 정확하게 검출되고 인식될 수 있다. 일부 실시예가, 예컨대, 고품질 이미지를 촬영할 수 있는 혹은 높은 주파수로 이미지를 촬영할 수 있는 견고한 카메라 장치를 가진 고정 시스템 혹은 모바일 시스템을 포함하는 임의의 컴퓨터 비전 시스템을 이용해서 실시될 수 있지만, 일부 예시적인 실시예는 저품질의 카메라로부터 촬영된 혹은 낮은 주파수의 저품질 이미지와 관련되어서도 사용될 수 있다.
도 1은, 일 예시적인 실시예로, 본 발명의 실시예의 이점을 취할 수 있는 모바일 단말(10)의 블록도를 나타내고 있다. 그러나, 이하 설명되는 도시된 모바일 단말(10)은 본 발명의 실시예의 이점을 취할 수 있는 장치의 한 타입의 단지 예일 뿐이며, 따라서 본 발명의 실시예의 범주를 한정하는 것은 아니다. 즉, PDA, 모바일 전화, 무선 호출기, 모바일 텔레비전, 게임 장치, 랩톱 컴퓨터, 카메라, 태블릿 컴퓨터, 터치 표면, 웨어러블 장치(Wearable Device), 비디오 레코더, 오디오/비디오 플레이어, 라디오, 전자 북, 포지셔닝 장치(예컨대, GPS 장치), 혹은 상술한 것들의 임의의 조합, 및 다른 타입의 음성 및 텍스트 통신 시스템과 같은, 수많은 타입의 모바일 단말이 본 발명의 실시예를 간단히 이용할 수 있지만, 고정형(비-모바일) 전자 장치를 포함한 다른 장치도 일부 예시적인 실시예를 이용할 수 있다.
모바일 단말(10)은 송신기(14) 및 수신기(16)와 통신 동작이 가능한 안테나(12)(혹은 다수의 안테나)를 포함할 수 있다. 모바일 단말(10)은, 송신기(14)의 신호의 송신 및 수신기(16)의 신호의 수신을 각각 제어하는 제어부(20) 혹은 다른 처리 장치(예컨대, 도 2의 프로세서(70))와 같은 장치를 더 포함할 수 있다. 신호는 적용 가능한 셀룰러 시스템의 공중 인터페이스(air interface) 표준에 따른 신호 정보를 포함할 수 있고, 또한 사용자의 음성, 수신한 데이터 및/또는 사용자 생성 데이터도 포함할 수 있다. 여기서 모바일 단말(10)은 하나 이상의 공중 인터페이스 표준, 통신 프로토콜, 변조 형태 및 액세스 형태를 갖고 동작할 수 있다. 예로서, 모바일 단말(10)은 다수의 제 1 세대, 제 2 세대, 제 3 세대 및/또는 제 4 세대 통신 프로토콜 등 중에서 어느 하나에 따라서 동작할 수 있다. 예컨대, 모바일 단말(10)은, IS-136(TDMA:time division multiple access), GSM (global system for mobile communication) 및 IS-95(CDMA:code division multiple access)과 같은 2세대(2G) 무선 통신 프로토콜에 따라서, 혹은 UMTS(Universal Mobile Telecommunications System), CDMA2000, WCDMA(wideband CDMA) 및 TD-SCDMA(time division-synchronous CDMA)과 같은 3 세대(3G) 무선 통신 프로토콜에 따라서, E-UTRAN(evolved UMTS Terrestrial Radio Access Network)과 같은 3.9G 무선 통신 프로토콜에 따라서, 혹은 4 세대(4G) 무선 통신 프로토콜(예컨대, LTE(Long Term Evolution) 혹은 LTE-A(LTE-Advanced) 등)에 따라서 동작할 수 있다. 이와 달리(혹은 이에 더해서), 모바일 단말(10)은 비셀룰러 통신 메커니즘에 따라서 동작할 수 있다. 예컨대, 모바일 단말(10)은 WLAN(a wireless local area network) 혹은 다른 통신 네트워크와 통신할 수 있다.
일부 실시예에서, 제어부(20)는 모바일 단말(10)의 오디오 및 로직 기능을 구현하는데 바람직한 회로를 포함할 수 있다. 예컨대, 제어부(20)는 디지털 신호 프로세서 장치, 마이크로프로세서 장치 및 다양한 아날로그-디지털 변환기, 디지털-아날로그 변환기 및 기타 지원 회로로 이루어질 수 있다. 모바일 단말(10)의 제어 및 신호 처리 기능은 그들의 각각의 성능에 따라서 이들 장치에 할당된다. 따라서, 제어부(20)는 변조 및 송신를 수행하기 전에 메시지 및 데이터를 컨볼루션 부호화해서 내삽하는 기능도 포함할 수 있다. 제어부(20)는 내부 음성 코더를 더 포함할 수 있으며, 내부 데이터 모뎀을 포함할 수 있다. 또한, 제어부(20)는, 메모리에 저장될 수 있는 하나 이상의 소프트웨어 프로그램을 동작시키는 기능을 포함할 수 있다. 예컨대, 제어부(20)는 종래의 웹 브라우저와 같은 접속 프로그램을 동작시킬 수 있다. 이 접속 프로그램은, 모바일 단말(10)이, 예컨대, WAP(Wireless Application Protocol) 및/또는 HTTP(Hypertext Transfer Protocol) 등에 따라서, 위치 기반 컨텐츠 및/또는 다른 웹 페이지 컨텐츠와 같은 웹 컨텐츠를 송수신할 수 있게 한다.
모바일 단말(10)은 또한 종래의 이어폰이나 스피커(24), 링거(ringer)(22), 마이크(26), 디스플레이(28) 및 사용자 입력 인터페이스를 포함한 사용자 인터페이스를 포함할 수 있으며, 이들은 모두 제어부(20)에 연결되어 있다. 모바일 단말(10)이 데이터를 수신할 때 이용하는 사용자 입력 인터페이스는, 키패드(30), 터치 디스플레이(디스플레이(28)는 이러한 터치 디스플레이의 예를 제공함), 혹은 입력 장치와 같은, 모바일 단말(10)이 데이터를 수신할 수 있게 하는 다수의 장치를 포함할 수 있다. 키패드(30)를 포함하는 실시예에서, 키패드(30)는 종래의 숫자(0~9)와 관련자(#, *), 및 다른 모바일 단말(10)을 동작시키는데 이용되는 다른 하드키 및 소프트 키를 포함할 수 있다. 이에 더해서 혹은 이와 달리 키패드(30)는 종래의 QWERTY 키패드 배열을 포함할 수 있다. 키패드(30)는 또한 관련된 기능을 가진 다양한 소프트 키를 포함할 수 있다. 이에 더해서, 혹은 이와 달리, 모바일 단말(10)은 조이스틱이나 다른 사용자 입력 인터페이스와 같은 인터페이스 장치를 포함할 수 있다. 터치 디스플레이를 이용하는 일부 실시예에서는 키패드(30)를 생략할 수도 있고, 스피커(24), 링거(22), 마이크(26) 중 일부 혹은 모두를 생략할 수 있다. 모바일 단말(10)은, 모바일 단말(10)을 동작시키는데 필요한 다양한 회로에 전력을 공급하면서 검출 가능한 출력으로서 기계적인 진동을 선택적으로 제공하는, 바이브레이팅 배터리 팩(vibrating battery pack)과 같은 배터리(34)를 더 포함할 수 있다.
모바일 단말(10)은 UIM(user identity module)(38)을 더 포함할 수 있다. UIM(38)은 전형적으로 프로세서가 내장된 메모리 소자이다. UIM(38)은 예컨대, SIM(a subscriber identity module), UICC(a universal integrated circuit card), USIM(a universal subscriber identity module), R-UIM(a removable user identity module) 등을 포함할 수 있다. UIM(38)은 전형적으로 모바일 가입자와 관련된 정보 요소를 저장하고 있다. UIM(38)에 더해서, 모바일 단말(10)에는 메모리가 장착되어 있다. 예컨대, 모바일 단말(10)은 데이터의 일시 저장을 위한 캐시 영역을 포함하고 있는 휘발성 RAM과 같은 휘발성 메모리(40)을 포함할 수 있다. 모바일 단말(10)은 내장될 수도 있고 및/또는 착탈 가능형이 될 수도 있는 다른 비휘발성 메모리(42)도 포함할 수 있다. 메모리는, 모바일 단말(10)의 기능을 구현하기 위해서 모바일 단말(10)이 이용하는 다수의 정보 및 데이터의 조각 중 어느 것을 저장할 수 있다.
예시적인 실시예에서, 모바일 단말(10)은, 제어부(20)와 통신하는, 하나 이상의 카메라, 비디오 및/또는 오디오 모듈과 같은 미디어 캡처링 모듈을 포함할 수 있다. 미디어 캡처링 모듈은, 저장할, 표시 혹은 전송할 이미지, 비디오 및/또는 오디오를 캡쳐하는 임의의 수단이 될 수 있다. 예컨대, 미디어 캡처링 모듈이 카메라 모듈(37)인 예시적인 실시예에서, 카메라 모듈(37)은 촬영된 이미지로부터 디지털 이미지 파일을 형성할 수 있는 디지털 카메라를 포함할 수 있다. 이와 같이, 카메라 모듈(37)은 렌즈 혹은 다른 광학 소자와 같은 모든 하드웨어, 및 촬상된 이미지로부터 디지털 이미지 파일을 작성하는데 필요한 소프트웨어를 포함할 수 있다. 어떤 경우에나 필요한 것은 아니지만, 일부 예시적인 실시예에서, 카메라 모듈(37)은 깊이 및 강도를 나타내는 3D 이미지 정보를 촬상할 수 있는 3D 카메라가 될 수 있다. 일부 예시적인 실시예는 어딘가에서 작성 혹은 생성된 (여러 타입의 컨텐츠 중에서) 이미지 혹은 비디오 컨텐츠와 관련되어 이용될 수 있지만, 모바일 단말(10)(혹은 고정 단말)에서 처리될 수 있다는 점에도 주목해야 한다.
이하, 본 발명의 예시적인 실시예를 도 2를 참조로 설명하며, 여기에는 제스쳐 인식을 이용하기 위한 메커니즘을 제공하는 장치(50)의 일부 구성 요소가 도시되어 있다. 도 2의 장치(50)는 예컨대, 도 1의 모바일 단말(10)과 관련되어 이용될 수 있다. 그러나, 도 2의 장치(50)는 다양한 다른 장치, 모바일 및 고정형 모두와 관련해서 이용될 수도 있고, 따라서, 본 발명의 실시예는 도 1의 모바일 단말(10)과 같은 장치에 대한 적용으로 한정되는 것은 아니다. 예컨대, 장치(50)는 개인용 컴퓨터나 다른 사용자 단말에서 이용될 수 있다. 또한, 경우에 따라서, 장치(50)는 서버나 다른 서비스 플랫폼과 같은 고정형 장치가 될 수 있고, 그 컨텐츠는 고정형 장치에서 일어나는 처리에 기초해서 사용자 단말(예컨대, 모바일 단말(10))과 같은 원격 장치에서 (예컨대, 서버/클라이언트 관계를 통해서) 제공될 수 있다
도 2가 제스쳐 인식을 이용하는 메커니즘을 제공하는 장치의 구성의 일례를 나타내고 있지만, 본 발명의 실시예를 구현하는데는 다수의 다른 구성이 이용될 수도 있다는 점에 주의한다. 이와 같이, 일부 실시예에서는, 장치 혹은 구성 요소가 서로 통신하는 것으로 도시되어 있지만, 이하 이러한 장치 혹은 구성 요소는 동일한 장치 혹은 구성 요소 내에서 실시될 수 있는 것으로 생각되어야 하며, 따라서, 통신하는 것으로 도시되어 있는 장치 혹은 구성 요소는, 다른 방안으로 동일한 장치 혹은 구성 요소의 일부가 되는 것으로 이해되어야 한다.
도 2를 참조하면, 제스쳐 인식을 이용하는 메커니즘을 제공하는 장치(50)가 제공되며, 이는 프로세서(70), 사용자 인터페이스(72), 통신 인터페이스(74) 및 메모리 소자(76)를 포함할 수도 있고, 이들과 통신 상태에 있을 수도 있다. 일부 실시예에서, 프로세서(70)(및/또는, 프로세서(70)를 지원하는 혹은 이와 관련된 코프로세서 혹은 임의의 다른 처리 회로)는, 장치(50)의 구성 요소 사이에서 정보를 전달하는 버스를 통해서 메모리 소자(76)와 통신할 수 있다. 메모리 소자(76)는 예컨대 하나 이상의 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 환언하면, 메모리 소자(76)는, 전자적인 저장 소자(예컨대, 컴퓨터 판독 가능 저장 매체)가 될 수 있으며, 이는 머신(예컨대, 프로세서(70)와 같은 컴퓨팅 장치)이 검색할 수 있는 데이터(예컨대, 비트)를 저장하도록 구성된 게이트를 포함하고 있다. 메모리 소자(76)는, 본 발명의 예시적인 실시예에 따라서 장치가 다양한 기능을 수행할 수 있게 하는, 정보, 데이터, 애플리케이션 등을 저장하도록 구성될 수 있다. 예컨대, 메모리 소자(76)는, 프로세서(70)가 처리할 입력 데이터를 버퍼링하도록 구성될 수 있다. 이에 더해서 혹은 이와 달리, 메모리 소자(76)는 프로세서(70)에 의해 실행될 인스트럭션을 저장하도록 구성될 수 있다.
장치(50)는 일부 실시예에서, 모바일 단말(예컨대, 모바일 단말(10))이 될 수도 있고, 혹은 본 발명의 예시적인 실시예를 이용하도록 구성된 고정형 통신 장치나 컴퓨팅 장치가 될 수도 있다. 그러나, 일부 실시예에서, 장치(50)는 칩 혹은 칩셋으로 구현될 수 있다. 환언하면, 장치(50)는, 구조적인 어셈블리(예컨대, 베이스보드) 상의 물질, 성분 및/또는 배선을 포함한 하나 이상의 물리적인 패키지(예컨대, 칩)를 포함할 수 있다. 이 구조적인 어셈블리는 포함된 구성 회로에 대한 물리적인 강도, 크기 보존, 및/또는 전기적인 인터렉션의 한도를 제공할 수 있다. 따라서, 장치(50)는 경우에 따라서는 본 발명의 실시예를 단일 칩에서, 혹은 '시스템 온 칩'으로서 구현하도록 구성될 수도 있다. 즉, 경우에 따라서, 칩 혹은 칩셋은, 여기서 설명하는 기능을 제공하기 위한 하나 이상의 동작을 수행하는 수단을 구성할 수 있다.
프로세서(70)는 수많은 다양한 방법으로 구현될 수 있다. 예컨대, 프로세서(70)는 코프로세서, 마이크로프로세서, 컨트롤러, DSP(digital signal processor), DSP를 동반한 처리 소자 혹은 동반하지 않은 처리 소자 등의, 하나 이상의 다양한 하드웨어 처리 수단으로서, 혹은 ASIC(application specific integrated circuit), FPGA(field programmable gate array), MCU(a microcontroller unit), 하드웨어 가속기, 특수 목적 컴퓨터 칩 등과 같은 집적 회로를 포함한 다양한 다른 처리 회로로서 구현될 수 있다. 즉, 일부 실시예에서, 프로세서(70)는 독립적으로 수행하도록 구성된 하나 이상의 처리 코어를 포함할 수 있다. 멀티-코어 프로세서는, 하나의 물리적인 패키지 내에서 다중 처리를 수행할 수 있게 한다. 이에 더해서 혹은 이와 달리, 프로세서(70)는, 버스를 통해서 인스트럭션의 독립적인 실행, 파이프라이닝 및/또는 멀티스레딩을 동시에 가능하게 하도록 구성된 프로세서를 하나 이상 포함할 수 있다.
예시적인 실시예에서, 프로세서(70)는 메모리 소자(76)에 저장된 혹은 다르게는 프로세서(70)에 액세스 가능한 인스트럭션을 실행하도록 구성될 수 있다. 이와 달리 혹은 이에 더해서, 프로세서(70)는 하드 코딩된 기능을 실행하도록 구성될 수 있다. 즉, 하드웨어 혹은 소프트웨어 방법으로 혹은 이들의 조합으로 구성되는 지에 관계없이, 프로세서(70)는 본 발명의 실시예에 따라서 동작을 수행할 수 있는 개체(예컨대, 회로에서 물리적으로 구현된)를 제공할 수 있고, 그에 따라서 구성될 수 있다. 따라서, 예컨대, 프로세서(70)가 ASIC, FPGA 등으로 구현되는 경우에는, 프로세서(70)는 여기 설명된 동작을 수행하도록 특수하게 구성된 하드웨어가 될 수 있다. 이와 달리, 다른 예로서, 프로세서(70)가 소프트웨어 인스트럭션의 실행기(executor)로서 구현되는 경우에는, 인스트럭션은 실행될 때, 프로세서(70)가 여기서 설명된 알고리즘 및/또는 동작을 수행하도록 특수하게 구성할 수 있다. 그러나, 일부 경우에, 프로세서(70)는, 여기에 추가되는 다른 구성에 의해서 여기 설명된 알고리즘 및/또는 동작을 수행하는 인스트럭션에 의해 본 발명의 실시예를 이용하도록 되어 있는 특수 장치(예컨대, 모바일 단말 혹은 네트워크 장치)의 프로세서가 될 수도 있다. 프로세서(70)는 특히, 그 동작을 지원하도록 구성된 클록, ALU(arithmetic logic unit) 및 로직 게이트를 포함할 수 있다.
여기서, 통신 인터페이스(74)는, 장치(50)와 통신하는 네트워크 및/또는 임의의 다른 디바이스 혹은 모듈과 데이터를 주고 받도록 구성된, 하드웨어, 혹은 하드웨어와 소프트웨어의 조합으로 구현되는 디바이스 혹은 회로와 같은 임의의 수단이 될 수 있다. 이 때, 통신 인터페이스(74)는 예컨대, 안테나(혹은 복수의 안테나), 및 무선 통신 네트워크와의 통신을 가능하게 하는 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 이와 달리 혹은 이에 더해서 일부 실시예에서는, 통신 인터페이스(74)는 유선 통신을 지원할 수 있다. 즉, 예컨대, 통신 인터페이스(74)는, 케이블, DSL(digital subscriber line), USB(universal serial bus) 혹은 다른 메커니즘을 통한 통신을 지원하기 위해서, 통신 모뎀 및/또는 다른 하드웨어/소프트웨어를 포함할 수 있다.
사용자 인터페이스(72)는 프로세서(70)와 통신해서, 사용자 인터페이스(72)에서의 사용자의 입력을 수신하고, 및/또는 사용자에게 가청의, 가시의, 기계적인 혹은 다른 출력을 사용자에게 제공할 수 있다. 이와 같이, 사용자 인터페이스(72)는, 예컨대, 키보드, 마우스, 조이스틱, 디스플레이, 터치 스크린, 터치 에어리어, 소프트 키, 마이크, 스피커, 혹은 다른 입출력 메커니즘을 포함할 수 있다. 여기서, 예컨대, 프로세서(70)는, 예컨대, 스피커, 링거, 마이크, 디스플레이 등과 같은 사용자 인터페이스의 하나 이상의 구성 요소의 적어도 일부 기능을 제어하도록 구성된 사용자 인터페이스 회로를 포함할 수 있다. 프로세서(70), 및/또는 프로세서(70)를 포함하는 사용자 인터페이스 회로는, 프로세서(70)(예컨대, 메모리 소자(76) 등)에 액세스 가능한 메모리에 저장된 컴퓨터 프로그램 인스트럭션(예컨대, 소프트웨어 및/또는 펌웨어)을 통해서 사용자 인터페이스의 하나 이상의 구성 요소의 하나 이상의 기능을 제어하도록 구성될 수 있다. 예시적인 실시예에서, 사용자 인터페이스(72)는 또한, 상술한 바와 같은 제스쳐 검출 및 인식을 수행하도록 구성될 수 있는, 모바일 디바이스(예컨대, 모바일 단말(10))의 전면 카메라 혹은 후면 카메라와 같은 비전 시스템(예컨대, 카메라 모듈(37))을 하나 이상 포함할 수 있다.
예시적인 실시예에서, 프로세서(70)는 제스쳐 인식 관리자(80)를 포함하거나 제어하도록 구현될 수 있다. 즉, 일부 실시예에서, 프로세서(70)는, 여기 설명된 바와 같이 제스쳐 인식 관리자(80)에 속해 있는 다양한 기능의 실시 혹은 발생을 야기시키거나, 지시하거나 혹은 제어하는 것이라고 할 수 있다. 제스쳐 인식 관리자(80)는 소프트웨어에 따라서 동작하는 디바이스 혹은 회로와 같은 임의의 수단이 될 수 있고, 혹은 이와 달리, 하드웨어, 혹은 하드웨어와 소프트웨어의 조합으로 구현될 수도 있으며(예컨대, 소프트웨어의 제어하에서 동작하며, 여기 설명된 동작을 구행하도록 특별히 구성된 ASIC 혹은 FPGA로서 구현된 프로세서(70), 혹은 그 조합), 이로써, 여기 설명된 바와 같이 제스쳐 인식 관리자(80)의 대응하는 기능을 수행하도록 디바이스 혹은 회로를 구성한다. 따라서, 소프트웨어가 이용되는 예에서, 소프트웨어를 실행하는 디바이스 혹은 회로(예컨대, 일례로 프로세서(70))는 이러한 수단과 관련된 구조를 이루고 있다.
예시적인 실시예에서, 제스쳐 인식 관리자(80)는 전반적으로 여기 설명된 바와 같은 제스쳐 검출 및 인식과 관련된 다양한 처리 기능을 수행하도록 구성될 수 있다. 따라서, 예컨대, 제스쳐 인식 관리자(80)는, 이미지 데이터의 전처리, 이동 블록 산정의 수행, 모션 검출의 수행(대강의(coarse) 검출 및 정밀 검출을 포함한), 결과의 확인 및 개선 등과 같은 동작을 수행 혹은 야기시키도록(예컨대, 프로세서 제어에 응답해서) 구성될 수 있다. 도 3은 일부 실시예에 따른, 제스쳐 인식 관리자(80)에 의해 수행될 수 있는 프로세싱의 예를 나타내고 있다.
도 3에 도시된 바와 같이, 데이터(100)의 입력 시퀀스(예컨대, 도 3에 n부터 n-3로 표시된)는 동작 110에서의 전처리를 위해서 수신될 수 있다. 이 전처리는 전반적으로, 동작 114에서의 다운 샘플링 동작 및 동작 118에서의 특성 추출(예컨대, 블록 단위(block-wise) 특성 추출)을 포함할 수 있다. 특성 추출 이후에, 동작 120에서 다양한 서로 다른 특성(예컨대, 특성 Fn, Fn -1, Fn -2, Fn -3 등) 각각에 대해서 이동 블록 산정이 수행될 수 있다. 이후에, 동작 130에서, 프로젝션 히스토그램에 기초해서 모션 검출이 수행될 수 있다. 일부 실시예에서, 이 히스토그램은 모션의 다양한 서로 다른 방향(예컨대, 전체적으로 수평 즉 0도 모션, 45도 모션, 135도 모션 및/또는, 나타날 수 있는 임의의 다른 적절한 혹은 예상되는 방향)에 대해서 계산될 수 있다. 동작 140에서, 결과는 검출 결과를 확인하도록 개선될 수 있다. 예시적인 실시예에서는, 동작 150에서, 결과 개선을 지원하기 위해서, 컬러 히스토그램 분석이 이용될 수 있다. 이후에, 동작 160에서, 유효 제스처(예컨대, 손 동작)이 인식될 수 있다.
일부 실시예에서, 픽셀-단위 노이즈에 의해서 야기될 수도 있는 영향을 감소시키기 위해서, 전처리는, 상술한 바와 같이 다운 샘플링을 포함할 수 있다. 예시적인 실시예에서, 각각의 입력 이미지는 평활화되고, 다운 샘플링되어서, 사전 결정된 수의 픽셀(예컨대, 4픽셀 높이의 패치)의 평균값이 다운 샘플링된 이미지의 대응하는 픽셀에 할당될 수 있다. 따라서, 일례에서, 워킹 해상도(working resolution)는 입력 1의 1/16이 될 것이다. 예시적인 경우에, 워킹 이미지, Fi ,j의 경우에(여기서 1≤i≤H, 1≤j≤W이고, W 및 H는 각각 이미지의 폭 및 높이임), 길이 λ가 주어지면(일례로 10), 이미지는 1≤i≤M, 1≤j≤N인 정사각형 블록 Zi ,j의 세트 MN으로 파티션될 수 있고(여기서 M=H/λ이고 N=W/λ임), 각 블록에서, 다운-샘플링된 이미지 내의 픽셀값을 나타내는 적색, 녹색 및 청색에 대해서 다양한 통계적인 특징이 계산될 수 있다. 다운-샘플링 이미지로부터 복수의 특성이 추출될 수 있다.(예컨대, 도 4의 예에서 6개). 예시적인 실시예에서, 휘도의 평균 L, 휘도의 편차 LV, 적색 채널의 평균 R, 녹색 채널의 평균 G, 청색 채널의 평균 B, 정규화된 적색 채널의 평균 NR을 포함한 6개의 통계적인 특징(혹은 특성)이 계산될 수 있다. 예시적인 실시예에서, 정규화된 적색 값은 다음 식 1에 나타낸 바와 같이 계산될 수 있다.
Figure 112013069078985-pct00001
여기서, r, g 및 b는 원래의 3개의 채널 각각의 값이다.
예시적인 실시예는 정규화된 적색값이 휴대 전화 카메라 환경에서 피부색을 개략적으로 나타내는데 이용될 수 있는 가장 간단한 값이 될 수 있다는 것을 나타냈다. 통상, 이미지에서의 일반적인 피부 영역(예컨대, 손 및/또는 얼굴)의 경우, 정규화된 적색 값은 배경 물체에 비해서 큰 것이 될 것이다.
상기 설명한 예에서 추출된 6개의 통계적인 특징(혹은 특성)에 대응하는 데이터에 대해서, 이동 블록 산정이 수행될 수 있다. 손 동작 검출과 같은 제스쳐 검출의 경우에, 블록의 이동 상태는 현재 프레임의 블록과 이전 프레임의 블록 사이의 변화를 체크함으로써 결정될 수 있다.
상세하게, 다음과 같은 경우에, 블록 Zi , j, t(t는 프레임의 인덱스를 나타냄)은 이동 블록으로 간주될 수 있다.
(1) |Li , j, t-Li , j, t-1|>θ1 혹은 NRi , j, t-NRi , j, t-1>θ2. 이 조건은 연속 프레임 사이의 차이를 강조하고 있다.
(2) LVi , j, t<θ3. 이 조건은 손 영역이 전형적으로 균일한 색 분포를 갖고 있다는 점에 기초하고 있다.
(3) Ri , j, t>θ4
(4) Ri , j, t>θ5*Gi , j, t 및 Ri , j, t>θ5*Bi , j, t
(5) Ri , j, t>θ6*Gi , j, t 혹은 Ri , j, t>θ6*Bi , j, t
중요한 것은 조건 (3)~(5)는 적색 채널이 전형적으로 청색 및 녹색 채널에 비해서 더 큰 값을 갖는다는 것을 보여준다는 것이다.
(6) θ1<Li , j, t<θ8. 이는 가장 눈에 띄는 배경 물체를 버리는 실증적인 조건이다. 예시적인 실시예에서, 상기 θ1~θ8은 각각 15, 10, 30, 10, 0.6, 0.8, 10 및 240로 설정될 수 있다.
도 4는 예시적인 실시예에 따른 샘플 이미지 시퀀스 및 대응 이미지 결과를 나타내고 있다. 샘플 이미지 시퀀스(라인 200으로 도시된)에 기초해서, 이동 블록이(예컨대, 라인 210의 각각의 이미지의 백색 블록) 결정될 수 있으며, 그 결과, 라인 220에서 손이 이미지의 오른쪽에서 이미지의 왼쪽으로 이동하는 것을 표현하도록 일련의 히스토그램이 결정될 수 있다. 손의 영역이 블록 사이즈보다 더 클 수 있기 때문에 경우에 따라서는 모션 검출은 개선될 수 있다. 이 때, 예컨대, 이동 블록은 자신의 토폴로지에 기초해서 더 개선될 수 있다. 예시적인 실시예에서, 자신의 8개의 이웃하는 연속 블록에 이동 블록이 전혀 없는 블록을 비이동 블록이라고 할 수 있다. 따라서, 예컨대, 현재 프레임에 이동 블록 Ωt={Zi|Mov(Zi)=1}이 있는 경우에(여기서 Mov(Z)=1은 블록 Z가 이동 블록이라는 것을 의미함), 서로 다른 타입의 제스쳐(예컨대, 좌우, 위아래, 앞뒤 혹은 그 반대로의 서로 다른 타입의 손 동작)를 결정하는데 히스토그램 분석이 이용될 수 있다. 이하, 특정한 좌우 검출의 경우를 설명하지만, 도시된 예에 기초해서 다른 타입의 실시예에 대한 수정예가 유도될 수도 있다. 오른손 동작의 경우에, N차원 수직 투영 히스토그램 이 계산될 수 있다.
Figure 112013069078985-pct00002
히스토그램의 좌측 경계 BLt 및 우측 경계 BRt은
Figure 112013069078985-pct00003
에 의해 결정될 수 있다.
여기서, 이 처리는 t-2 프레임 및 t-1 프레임에서 반복될 수 있다. 마지막 3 프레임으로부터의 데이터 기초해서, 손 동작의 방향이 결정될 수 있다. 구체적으로, 다음 2개의 조건이 만족되면, 검출된 모션이 시퀀스에서의 우측 이동 동작에 대응한다고 판정할 수 있다.
Figure 112013069078985-pct00004
그러나, 대신 이하의 2 조건이 만족되면, 좌측 이동 동작이 연속해서 발생했다고 판정할 수 있다.
Figure 112013069078985-pct00005
손의 경로가 전체적으로 수평이 아닌 경우를 처리하기 위해서, 45도 히스토그램, 135도 히스토그램 등이 검출을 위해서 계산될 수 있다. 예컨대, 45도 히스토그램의 경우에, 식 (3)은
Figure 112013069078985-pct00006
으로 대치될 수 있다.
유사하게, 135도 히스토그램의 경우에는 식 (7)이 이용될 수 있다.
Figure 112013069078985-pct00007
상기 조건은(0도 이외의 각도를 검출하기 위해 수정하거나 혹은 수정하지 않고) 다양한 각각의 방향으로 손 동작을 검출하는데 이용될 수 있다. 샘플 시퀀스의 수직 히스토그램의 예가 도 4의 라인 220에 도시되어 있다. 전후 손 동작의 경우에, 수직 히스토그램은 수평 히스토그램으로 대체될 수 있고, 식 (6) 및 (7)은 방향을 산정하는데 이용될 수 있다. 상하 제스쳐의 경우에는, 수직 히스토그램이 방향을 산정하는데 다시 이용될 수 있다. 연속 프레임의 세트에서, 이동 블록의 트렌드가 히스토그램의 2 끝을 향하고 있다면, 방향은 아래쪽이 될 수 있다. 그렇지 않다면, 방향은 위가 될 것이다.
배경 이동에 의해서 잘못된 알람이 발생될 가능성을 없애거나 혹은 줄이기 위해서(이는 운전중인 환경에서 혹은 사용자가 이용하는 환경에서 발생할 수 있다), 영역 기반 컬러 히스토그램을 이용해서 검출을 확인할 수도 있다(도 3의 동작 150에 도시된 바와 같이). 이 때, 큰 색 분포 변화를 일으킬 것으로 예상될 수 있다. 따라서, 일부 예시적인 실시예에서는, 하나의 프레임을 사전 결정된 수의 영역 혹은 서브-영역에 프레임으로 분할되고(예컨대, 일례로 6개의 서브-영역), 각 서브-영역에 대해서 RGB(적색, 녹색 및 청색)값과 관련된 3차원 히스토그램이 결정될 수 있다. 히스토그램을 더욱 안정되게 하기 위해서, RGB 각 채널을 256에서 8로 다운-스케일링해서, 예컨대, HC1 ,t, HC2 ,t, HC3 ,t, HC4 ,t, HC5 ,t, HC6 ,t의 6개의 512 차원 히스토그램을 제공할 수 있다.
손 동작을 검출한 이후에, HC1 ,t, HC6 ,t를 이용해서 확인할 수 있다. 특히, i번째 서브-영역이 이동 블록을 포함하고 있다면, HC1 ,t와 HC1 ,t-1 사이에서 유클리드 거리 제곱값이 계산될 수 있다.
따라서, 일부 예시적인 실시예는, 모바일 환경을 포함한 다양한 환경에서 사용자가 빠르고 정확한 제스쳐 검출을 이용할 수 있게 한다. 일부 예시적인 실시예는 손 동작과 같은 제스쳐나, 혹은 손끝의 이동이나 다른 제스쳐까지도 검출하는데 이용될 수 있다. 나아가, 일부 실시예가 피부색 분석을 이용하기 때문에, 배경 물체의 영향을 줄여서 사용자 경험을 향상시킬 수 있다. 일부 실시예에서는 어느 특정한 손 형상이나 크기를 요구하지 않으며, 따라서 실제 동작 환경에서 우수하게 작동할 수 있다. 예시적인 실시예에서는 복잡한 통계적인 혹은 지리적인 모델의 사용을 피하고 있기 때문에, 이러한 모델을 이용하는 많은 다른 메커니즘에 비해서 속도를 향상시킬 수 있다.
도 5는 본 발명의 예시적인 실시예에 따른 방법 및 프로그램 제품의 흐름도이다. 흐름도에서의 각각의 블록 및 흐름도에서의 블록의 조합은, 하나 이상의 컴퓨터 프로그램 인스트럭션을 포함한 소프트웨어의 실행과 관련된, 하드웨어, 펌웨어, 프로세서, 회로 및/또는 기타 디바이스 등의 다양한 수단에 의해 구현될 수 있다는 것을 이해할 것이다. 예컨대, 상기 설명한 과정 중 하나 이상은 컴퓨터 프로그램 인스트럭션에 의해 실시될 수 있다. 이 때, 상기 설명한 과정을 실시하는 컴퓨터 프로그램 인스트럭션은 사용자 단말(모바일 혹은 고정형의)의 메모리 소자에 저장되어서, 사용자 단말 내의 프로세서에 의해 실행될 수 있다. 자명한 바와 같이, 임의의 컴퓨터 프로그램 인스트럭션이 컴퓨터 혹은 프로그래밍 가능 장치(예컨대, 하드웨어)에 로딩되어서, 머신을 제작할 수 있으며, 이로써 컴퓨터 혹은 다른 프로그래밍 가능 장치에서 실행되는 인스트럭션은 흐름도의 블록에 명시된 기능을 실행하는 수단을 만들고 있다. 이들 컴퓨터 프로그램 인스트럭션은 또한 영구 컴퓨터-판독 가능 메모리에 저장되어서, 컴퓨터 혹은 다른 프로그래밍 가능 장치가 특정 방식으로 기능하게 함으로써, 컴퓨터 판독 가능 메모리에 저장된 인스트럭션이 흐름도 블록에 명시된 기능을 수행하는 제조 물품을 제작할 수 있다. 컴퓨터 프로그램 인스트럭션은 또한 컴퓨터 혹은 다른 프로그래밍 가능 장치에 로딩되어서, 컴퓨터 혹은 다른 프로그래밍 가능 장치에서 일력의 동작이 수행되게 하여, 컴퓨터 혹은 다른 프로그래밍 가능 장치에서 실행되는 인스트럭션이 흐름도 블록에 명시된 기능을 실행하는 컴퓨터 구현식 처리를 제작하고 있다.
따라서, 흐름도의 블록은, 특수 기능을 수행하는 수단의 조합 및 특수 기능을 수행하는 동작의 조합을 지원한다. 흐름도의 하나 이상의 블록, 및 흐름도의 블록의 조합이, 특수 기능을 수행하는 특수 목적 하드웨어-기반 컴퓨터 시스템에 의해 혹은 특수 목적 하드웨어와 컴퓨터 인스트럭션의 조합에 의해 구현될 수 있다는 것도 이해할 것이다.
이 때, 본 발명의 일 실시예에 따른 방법은, 도 5에 도시된 바와 같이, 동작 300에서, 수신한 이미지 데이터를 다운 샘플링해서, 복수의 이미지 프레임에 대한 다운 샘플링된 이미지 블록을 생성하고, 동작 310에서 다운 샘플링된 이미지 블록으로부터 복수의 특성을 추출하며, 동작 320에서 연속 프레임에서의 각각의 특성의 값의 변화에 기초해서 다운 샘플링된 이미지 블록의 이동 상태를 결정하고, 동작 330에서, 각각의 다운 샘플링된 이미지 블록의 이동 상태에 기초해서 결정된 투영 히스토그램의 우측 경계(제 1 경계의 예로서) 및 좌측 경계(제 2 경계의 예로서)의 이동에 기초해서 이미지 데이터 내의 물체의 모션 방향을 결정하게 한다.
일부 실시예에서, 상기 동작 중 임의의 동작은 이하 설명되는 바와 같이 수정될 수도 있고 혹은 더 확대될 수도 있다. 또한, 일부 실시예에서는, 선택적으로 추가 동작이 포함될 수도 있다(그 예가 도 5에 점선으로 도시되어 있다). 이하의 수정, 선택적인 추가 혹은 확대 각각은 단독으로 상기 동작에 포함될 수도 있고, 혹은 여기 설명되는 임의의 다른 특성과 조합될 수도 있다는 것을 이해할 것이다. 일부 실시예에서, 이 방법은 동작 340에서 물체 이동의 검출을 확인하기 위해서 컬러 히스토그램 분석을 이용하는 것을 더 포함할 수 있다. 예시적인 실시예에서, 복수의 특성을 추출하는 것은, 평균 휘도, 휘도 분산, 평균 적색 채널값, 평균 녹색 채널값, 평균 청색 채널값 혹은 평균 정규화된 적색 채널값을 추출하는 것을 포함할 수 있다. 일부 경우에, 모션 방향을 결정하는 것은, 접속된 이웃 블록 사이에서 어떤 이동 블록도 없는 블록을 비이동 블록이라고 결정하는 것을 포함할 수 있다. 일부 예시적인 실시예에서, 모션 방향을 결정하는 것은, 검출가능한, 물체의 모션 방향에 대응하는 히스토그램을 이용하는 것을 포함할 수 있다. 예시적인 실시예에서, 모션 방향을 결정하는 것은, 수평 이동, 수직 이동, 실질적인 45도 이동, 실질적인 135도 이동 중 하나 이상에 대해서 계산된 각각의 히스토그램을 이용하는 것을 포함할 수 있다. 일부 경우에, 이동 상태를 결정하는 것은, 배경이 모션 검출을 간섭하는 것을 줄이기 위해서, 블록이, 연속 프레임에서 정규화된 적색값에서의 변화와 관련된 모션을 나타내고 있는 것에 기초해서 모션을 결정하는 것을 포함할 수 있다.
예시적인 실시예에서, 도 5의 방법을 수행하는 장치는, 상기 설명한 동작(300~340) 중 일부 혹은 각각을 수행하도록 구성된 프로세서(예컨대, 프로세서(70))를 포함할 수 있다. 프로세서(70)는 예컨대, 하드웨어 구현식 논리 기능을 수행함으로써, 저장된 인스트럭션을 실행함으로써 혹은 각각의 동작을 수행하는 알고리즘을 실행함으로써, 동작(300~340)을 수행하도록 구성될 수 있다. 이와 달리, 장치는 상기 설명한 각각의 동작을 수행하는 수단을 포함할 수 있다. 이 때, 예시적인 실시예에 따라서, 동작(300~340)을 수행하는 수단의 예로는, 예컨대, 제스쳐 인식 관리자(80)(혹은 이 관리자의 각각의 구성 요소)를 들 수 있다. 이와 달리, 혹은 이에 더해서, 적어도, 프로세서(70)가 제스쳐 인식 관리자(80)를 제어하도록 구성될 수도 있고, 혹은 이 제스쳐 인식 관리자(80)으로서 구현될 수도 있다는 점에서, 상기 설명한 바와 같이 정보를 처리하는 인스트럭션을 실행하거나 알고리즘을 실행하는 프로세서(70) 및/또는 디바이스나 회로가, 동작(300~340)을 수행하는 예시적인 수단을 이룰 수도 있다.
예시적인 실시예에 따른 장치의 예로는, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함한 적어도 하나의 메모리를 들 수 있다. 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서를 사용하여, 장치가, 동작(300~340)을 수행하게 하도록 구성될 수 있다(상기 설명한 수정 및 확대를 임의의 조합으로 포함하거나 혹은 포함하지 않고).
예시적인 실시예에 따른 컴퓨터 프로그램 제품의 예로는, 컴퓨터-실행 가능 프로그램 코드 부분이 저장된, 적어도 하나의 컴퓨터 판독 가능 저장 매체를 들 수 있다. 컴퓨터-실행 가능 프로그램 코드 부분은, 동작(300~340)을 (상기 설명한 수정 및 확대를 임의의 조합으로 포함하거나 혹은 포함하지 않고) 수행하는 프로그램 코드 인스트럭션을 포함할 수 있다.
일부 경우에, 상기 설명한 동작(300~340)은, 임의의 수정과 함께, 적어도 하나의 네트워크를 통해서 적어도 하나의 서비스에 액세스할 수 있게 하는 적어도 하나의 인터페이스에 액세스하는 것을 용이하게 하는 것을 포함한 방법에서 구현될 수 있다. 이 경우, 적어도 하나의 서비스가 적어도 동작(300~340)을 수행한다고 할 수 있다.
여기 설명된 본 발명의 많은 수정 및 다른 실시예는, 본 발명이 속하는 분야에 종사하는 당업자가, 상기 상세한 설명 및 관련 도면에 개시된 교시를 이용할 수 있게 하는 것을 의도한 것이다. 따라서, 본 발명은 개시된 특정한 실시예로 한정되는 것이 아니며, 수정 및 다른 실시예는 첨부된 청구의 범위의 범주에 포함되도록 하였다. 나아가, 상기 상세한 설명 및 관련 도면에서, 일부 예시적인 실시예를, 구성 요소 및/또는 기능의 특정한 예시적인 조합과 관련해서 설명했지만, 대안의 실시예에서는, 첨부된 청구의 범위의 범주로부터 벗어남 없이, 구성 요소 및/또는 기능의 다른 조합이 제공될 수도 있다는 것을 이해할 것이다. 이 때, 예컨대, 상기 분명하게 설명된 것 이외의 구성 요소 및/또는 기능의 다른 조합도 첨부된 청구의 범위의 일부로 볼 수 있다. 여기서 구체적인 용어를 사용했지만, 이는 일반적인 설명의 견지에서만 사용된 것으로 한정하는 것은 아니다.

Claims (28)

  1. 수신한 이미지 데이터를 다운 샘플링해서, 복수의 이미지 프레임에 대한 다운 샘플링된 이미지 블록들을 생성하는 단계와,
    상기 다운 샘플링된 이미지 블록들로부터 복수의 특성(features)을 추출하는 단계와,
    연속 프레임에서 각각의 특성의 값의 변화에 기초해서 상기 다운 샘플링된 이미지 블록들의 이동 상태(moving status)를 결정하는 단계와,
    프로세서를 사용하여, 각각의 다운 샘플링된 이미지 블록의 상기 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 상기 이미지 데이터에서의 물체의 모션 방향을 결정하는 단계 - 상기 모션 방향을 결정하는 단계는 접속된 이웃 블록의 이동 상태에 기초하여 비이동 블록을 결정하는 단계를 포함함 - 와,
    컬러 히스토그램 분석에 기초하여 상기 물체의 이동의 검출을 확인하는 단계 - 상기 이동의 검출을 확인하는 단계는, 하나 이상의 프레임을 사전결정된 수의 서브 영역으로 분할하는 단계와, 상기 사전결정된 수의 서브 영역의 각각에 대응하는 3차원 히스토그램을 결정하는 단계와, 상기 3차원 히스토그램에 대응하는 하나 이상의 채널을 다운 샘플링하는 단계를 포함함 - 를 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 방법.

  2. 삭제
  3. 제 1 항에 있어서,
    상기 복수의 특성을 추출하는 단계는, 평균 휘도, 휘도 분산, 평균 적색 채널값, 평균 녹색 채널값, 평균 청색 채널값 혹은 평균 정규화된 적색 채널값을 추출하는 단계를 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 모션 방향을 결정하는 단계는, 상기 물체의 검출가능한 모션 방향에 대응하는 히스토그램을 이용하는 단계를 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 방법.

  6. 제 5 항에 있어서,
    상기 모션 방향을 결정하는 단계는, 수평 이동, 수직 이동, 45도 이동, 135도 이동 중 둘 이상에 대해서 계산된 각각의 히스토그램을 이용하는 단계를 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 방법.
  7. 제 1 항에 있어서,
    상기 이동 상태를 결정하는 단계는, 모션 검출에 대한 배경 간섭을 줄이기 위해서, 연속 프레임에서 정규화된 적색값에서의 변화와 관련된 모션을 나타내는 블록에 기초하여 모션을 결정하는 단계를 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 방법.
  8. 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는, 제스쳐 인식을 이용하는 메커니즘을 제공하는 장치로서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 프로세서를 사용하여 상기 장치로 하여금 적어도,
    수신한 이미지 데이터의 다운 샘플링을 수행해서, 복수의 이미지 프레임에 대한 다운 샘플링된 이미지 블록들을 생성하게 하고,
    상기 다운 샘플링된 이미지 블록들로부터 복수의 특성을 추출하게 하며,
    연속 프레임에서 각각의 특성의 값의 변화에 기초해서 상기 다운 샘플링된 이미지 블록들의 이동 상태를 결정하게 하고,
    각각의 다운 샘플링된 이미지 블록의 상기 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 상기 이미지 데이터에서의 물체의 모션 방향을 결정하게 하고,
    컬러 히스토그램 분석에 기초하여 상기 물체의 이동의 검출을 확인하게 하도록 구성되며,
    상기 모션 방향을 결정하는 것은 접속된 이웃 블록의 이동 상태에 기초하여 비이동 블록을 결정하는 것을 포함하고,
    상기 이동의 검출을 확인하는 것은, 하나 이상의 프레임을 사전결정된 수의 서브 영역으로 분할하는 것과, 상기 사전결정된 수의 서브 영역의 각각에 대응하는 3차원 히스토그램을 결정하는 것과, 상기 3차원 히스토그램에 대응하는 하나 이상의 채널을 다운 샘플링하는 것을 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 프로세서를 사용하여, 상기 장치로 하여금, 평균 휘도, 휘도 분산, 평균 적색 채널값, 평균 녹색 채널값, 평균 청색 채널값 혹은 평균 정규화된 적색 채널값을 추출함으로써, 상기 복수의 특성을 추출하게 하도록 구성되는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  11. 삭제
  12. 제 8 항에 있어서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 프로세서를 사용하여, 상기 장치로 하여금, 상기 물체의 검출가능한 모션 방향에 대응하는 히스토그램을 이용함으로써 상기 모션 방향을 결정하게 하도록 더 구성되는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  13. 제 12 항에 있어서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 프로세서를 사용하여, 상기 장치로 하여금, 수평 이동, 수직 이동, 45도 이동, 135도 이동 중 둘 이상에 대해서 계산된 각각의 히스토그램을 이용함으로써 상기 모션 방향을 결정하게 하도록 더 구성되는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  14. 제 8 항에 있어서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 프로세서를 사용하여, 상기 장치로 하여금, 모션 검출에 대한 배경 간섭을 줄이기 위해서, 연속 프레임에서 정규화된 적색값에서의 변화와 관련된 모션을 나타내는 블록에 기초하여 모션을 결정함으로써, 상기 이동 상태를 결정하게 하도록 더 구성되는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  15. 제스쳐 인식을 이용하는 메커니즘을 제공하기 위한 컴퓨터-실행 가능 프로그램 코드 인스트럭션이 저장된 비-일시적인(non-transitory) 컴퓨터-판독 가능 저장 매체에 있어서,
    상기 컴퓨터-실행 가능 프로그램 코드 인스트럭션은,
    수신한 이미지 데이터의 다운 샘플링을 수행해서 복수의 이미지 프레임에 대한 다운 샘플링된 이미지 블록들을 생성하도록 하고,
    상기 다운 샘플링된 이미지 블록들로부터 복수의 특성을 추출하도록 하고,
    연속 프레임에서 각각의 특성의 값의 변화에 기초해서 상기 다운 샘플링된 이미지 블록들의 이동 상태를 결정하도록 하고,
    각각의 다운 샘플링된 이미지 블록의 상기 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 상기 이미지 데이터에서의 물체의 모션 방향을 결정하도록 하고,
    컬러 히스토그램 분석에 기초하여 상기 물체의 이동의 검출을 확인하게 하도록 하는
    프로그램 코드 인스트럭션들을 포함하고,
    상기 모션 방향을 결정하는 것은 접속된 이웃 블록의 이동 상태에 기초하여 비이동 블록을 결정하는 것을 포함하고,
    상기 이동의 검출을 확인하는 것은, 하나 이상의 프레임을 사전결정된 수의 서브 영역으로 분할하는 것과, 상기 사전결정된 수의 서브 영역의 각각에 대응하는 3차원 히스토그램을 결정하는 것과, 상기 3차원 히스토그램에 대응하는 하나 이상의 채널을 다운 샘플링하는 것을 포함하는
    컴퓨터-판독 가능 저장 매체.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 복수의 특성을 추출하도록 하는 프로그램 코드 인스트럭션은, 평균 휘도, 휘도 분산, 평균 적색 채널값, 평균 녹색 채널값, 평균 청색 채널값 혹은 평균 정규화된 적색 채널값을 추출하도록 하는 인스트럭션을 포함하는
    컴퓨터-판독 가능 저장 매체.
  18. 삭제
  19. 제 15 항에 있어서,
    상기 모션 방향을 결정하도록 하는 프로그램 코드 인스트럭션은, 상기 물체의 검출가능한 모션 방향에 대응하는 히스토그램을 이용하도록 하는 인스트럭션을 포함하는
    컴퓨터-판독 가능 저장 매체.
  20. 제 19 항에 있어서,
    상기 모션 방향을 결정하도록 하는 프로그램 코드 인스트럭션은, 수평 이동, 수직 이동, 45도 이동, 135도 이동 중 둘 이상에 대해서 계산된 각각의 히스토그램을 이용하도록 하는 인스트럭션을 포함하는
    컴퓨터-판독 가능 저장 매체.
  21. 제 15 항에 있어서,
    상기 이동 상태를 결정하도록 하는 프로그램 코드 인스트럭션은, 모션 검출에 대한 배경 간섭을 줄이기 위해서, 연속 프레임에서 정규화된 적색값에서의 변화와 관련된 모션을 나타내는 블록에 기초하여 모션을 결정하도록 하는 인스트럭션을 포함하는
    컴퓨터-판독 가능 저장 매체.
  22. 수신한 이미지 데이터의 다운 샘플링을 수행해서 복수의 이미지 프레임에 대한 다운 샘플링된 이미지 블록들을 생성하는 수단과,
    상기 다운 샘플링된 이미지 블록들로부터 복수의 특성을 추출하는 수단과,
    연속 프레임에서 각각의 특성의 값의 변화에 기초해서 상기 다운 샘플링된 이미지 블록들의 이동 상태를 결정하는 수단과,
    각각의 다운 샘플링된 이미지 블록의 이동 상태에 기초해서 결정된 투영 히스토그램의 제 1 경계 및 제 2 경계의 이동에 기초해서, 상기 이미지 데이터에서의 물체의 모션 방향을 결정하는 수단 - 상기 모션 방향을 결정하는 것은 접속된 이웃 블록의 이동 상태에 기초하여 비이동 블록을 결정하는 것을 포함함 - 과,
    컬러 히스토그램 분석에 기초하여 상기 물체의 이동의 검출을 확인하는 수단- 상기 이동의 검출을 확인하는 것은, 하나 이상의 프레임을 사전결정된 수의 서브 영역으로 분할하는 것과, 상기 사전결정된 수의 서브 영역의 각각에 대응하는 3차원 히스토그램을 결정하는 것과, 상기 3차원 히스토그램에 대응하는 하나 이상의 채널을 다운 샘플링하는 것을 포함함 -
    을 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  23. 삭제
  24. 제 22 항에 있어서,
    상기 복수의 특성을 추출하는 수단은, 평균 휘도, 휘도 분산, 평균 적색 채널값, 평균 녹색 채널값, 평균 청색 채널값 혹은 평균 정규화된 적색 채널값을 추출하는 수단을 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  25. 삭제
  26. 제 22 항에 있어서,
    상기 모션 방향을 결정하는 수단은, 상기 물체의 검출가능한 모션 방향에 대응하는 히스토그램을 이용하는 수단을 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  27. 제 26 항에 있어서,
    상기 모션 방향을 결정하는 수단은, 수평 이동, 수직 이동, 45도 이동, 135도 이동 중 둘 이상에 대해서 계산된 각각의 히스토그램을 이용하는 수단을 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
  28. 제 22 항에 있어서,
    상기 이동 상태를 결정하는 수단은, 모션 검출에 대한 배경 간섭을 줄이기 위해서, 연속 프레임에서 정규화된 적색값에서의 변화와 관련된 모션을 나타내는 블록에 기초하여 모션을 결정하는 수단을 포함하는
    제스쳐 인식을 이용하는 메커니즘을 제공하는 장치.
KR1020137020214A 2010-12-31 2010-12-31 제스쳐 인식 메커니즘을 제공하는 방법 및 장치 KR101620933B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/080558 WO2012088702A1 (en) 2010-12-31 2010-12-31 Method and apparatus for providing a mechanism for gesture recognition

Publications (2)

Publication Number Publication Date
KR20130115341A KR20130115341A (ko) 2013-10-21
KR101620933B1 true KR101620933B1 (ko) 2016-05-13

Family

ID=46382219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020214A KR101620933B1 (ko) 2010-12-31 2010-12-31 제스쳐 인식 메커니즘을 제공하는 방법 및 장치

Country Status (5)

Country Link
US (1) US9196055B2 (ko)
EP (1) EP2659452A4 (ko)
KR (1) KR101620933B1 (ko)
CN (1) CN103299342B (ko)
WO (1) WO2012088702A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140324888A1 (en) * 2011-12-09 2014-10-30 Nokia Corporation Method and Apparatus for Identifying a Gesture Based Upon Fusion of Multiple Sensor Signals
TWI479430B (zh) * 2012-10-08 2015-04-01 Pixart Imaging Inc 以自然影像進行的手勢辨識方法
US9235564B2 (en) * 2013-07-19 2016-01-12 International Business Machines Corporation Offloading projection of fixed and variable length database columns
CN104978750B (zh) * 2014-04-04 2018-02-06 诺基亚技术有限公司 用于处理视频文件的方法和装置
BR102014013800A8 (pt) * 2014-06-06 2018-09-11 Localiza Rent A Car S A sistema de autoatendimento com identificação automatizada do usuário
US9794542B2 (en) 2014-07-03 2017-10-17 Microsoft Technology Licensing, Llc. Secure wearable computer interface
DE102017210317A1 (de) 2017-06-20 2018-12-20 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste
DE102017210316A1 (de) 2017-06-20 2018-12-20 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste
CN109672818B (zh) * 2017-10-16 2020-12-22 华为技术有限公司 一种调整图像质量的方法及装置
US11763646B2 (en) * 2021-07-12 2023-09-19 Zepp, Inc. Neck evaluation method and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US6944315B1 (en) * 2000-10-31 2005-09-13 Intel Corporation Method and apparatus for performing scale-invariant gesture recognition
JP2004164563A (ja) * 2002-09-26 2004-06-10 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
US7373012B2 (en) * 2005-02-01 2008-05-13 Mitsubishi Electric Research Laboratories, Inc. Detecting moving objects in videos with corner-based background model
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
US7689016B2 (en) * 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
US8169547B2 (en) * 2005-08-09 2012-05-01 Gurulogic Microsystems Oy Processing of video image
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
WO2007099494A1 (en) * 2006-03-01 2007-09-07 Koninklijke Philips Electronics, N.V. Motion adaptive ambient lighting
US8532737B2 (en) * 2005-12-29 2013-09-10 Miguel Angel Cervantes Real-time video based automated mobile sleep monitoring using state inference
PL2015665T3 (pl) * 2006-05-04 2010-01-29 Provost Fellows And Scholars Of The College Of The Holy And Undivided Trinity Of Queen Elizabeth Nea System do kontrolowania mycia rąk
US8165406B2 (en) * 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US20090192990A1 (en) * 2008-01-30 2009-07-30 The University Of Hong Kong Method and apparatus for realtime or near realtime video image retrieval
KR101503017B1 (ko) 2008-04-23 2015-03-19 엠텍비젼 주식회사 모션 검출 방법 및 장치
KR20100025048A (ko) 2008-08-27 2010-03-09 중앙대학교 산학협력단 모션 캡쳐를 위한 영상 분석 방법 및 장치
US8325978B2 (en) 2008-10-30 2012-12-04 Nokia Corporation Method, apparatus and computer program product for providing adaptive gesture analysis
KR101612125B1 (ko) 2009-06-12 2016-04-12 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무를 판단하는 방법
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
CN101763515B (zh) * 2009-09-23 2012-03-21 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
CN101694723B (zh) 2009-09-29 2011-08-03 北京航空航天大学 一种基于全局匹配相似度函数的实时运动目标跟踪方法
GB2475706C (en) * 2009-11-26 2013-01-09 Jabbakam Ltd Surveillance system and method
US8456518B2 (en) * 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US20110299737A1 (en) * 2010-06-04 2011-12-08 Acer Incorporated Vision-based hand movement recognition system and method thereof
US9253503B2 (en) * 2012-12-18 2016-02-02 Xerox Corporation Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング

Also Published As

Publication number Publication date
CN103299342A (zh) 2013-09-11
EP2659452A4 (en) 2017-11-15
US20130279763A1 (en) 2013-10-24
EP2659452A1 (en) 2013-11-06
KR20130115341A (ko) 2013-10-21
CN103299342B (zh) 2017-02-15
US9196055B2 (en) 2015-11-24
WO2012088702A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
KR101620933B1 (ko) 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
US11308351B2 (en) Method and apparatus for recognizing sequence in image, electronic device, and storage medium
KR102414567B1 (ko) 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수
JP6154075B2 (ja) オブジェクト検出及び分割の方法，装置，コンピュータプログラム製品
TWI543610B (zh) 電子裝置及其影像選擇方法
US10440284B2 (en) Determination of exposure time for an image frame
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN110100251B (zh) 用于处理文档的设备、方法和计算机可读存储介质
KR101486177B1 (ko) 손 검출을 제공하기 위한 방법 및 장치
US20210097715A1 (en) Image generation method and device, electronic device and storage medium
JP7015017B2 (ja) 適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーション
KR20130025944A (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN107730443B (zh) 图像处理方法、装置及用户设备
CN113612999B (zh) 视频处理方法及装置、电子设备和存储介质
JP6155349B2 (ja) デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品
WO2012049643A1 (en) Method and apparatus for determining motion with scalar representations of movement
CN113706553B (zh) 图像处理方法、装置及电子设备
JP5987899B2 (ja) 生成装置、生成プログラムおよび生成方法
CN115908231A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
N231 Notification of change of applicant
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 4