KR101803574B1 - 비젼 기반의 제스쳐 인식 시스템 - Google Patents

비젼 기반의 제스쳐 인식 시스템 Download PDF

Info

Publication number
KR101803574B1
KR101803574B1 KR1020110067014A KR20110067014A KR101803574B1 KR 101803574 B1 KR101803574 B1 KR 101803574B1 KR 1020110067014 A KR1020110067014 A KR 1020110067014A KR 20110067014 A KR20110067014 A KR 20110067014A KR 101803574 B1 KR101803574 B1 KR 101803574B1
Authority
KR
South Korea
Prior art keywords
recognition
motion
area
unit
user
Prior art date
Application number
KR1020110067014A
Other languages
English (en)
Other versions
KR20130005548A (ko
Inventor
이승계
이부열
남현정
원윤기
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110067014A priority Critical patent/KR101803574B1/ko
Publication of KR20130005548A publication Critical patent/KR20130005548A/ko
Application granted granted Critical
Publication of KR101803574B1 publication Critical patent/KR101803574B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은 피사체를 촬상하여 화상 신호를 획득하는 촬상 소자; 상기 화상 신호로부터 기준 영역을 설정하고, 상기 기준 영역을 중심으로 적어도 하나의 인식 판별영역 및 오동작 판별영역을 설정하는 얼굴 인식부; 프레임 차분 방식을 이용하여 상기 화상 신호에 대한 차영상을 생성하는 차영상 생성부; 상기 인식 판별영역에 대응하여 다수의 콘트롤 포인트를 설정하고, 상기 오동작 판별영역에 대응하여 다수의 가드 포인트를 설정하는 인식 포인트 설정부; 상기 차영상을 분석하여 움직임이 발생하는 영역을 검출하고, 검출된 움직임 영역이 상기 인식 판별영역에 해당되는 경우에만 이를 유저의 특정 동작으로 인식하여 그에 맞는 제어신호를 출력하고, 상기 검출된 움직임 영역이 상기 오동작 판별영역까지 포함하는 경우에는 이를 오동작으로 인식하는 인식 판별부; 및 상기 제어신호에 따라 상기 유저의 특정 동작에 부합되는 기능을 수행하는 표시소자를 구비한다.

Description

비젼 기반의 제스쳐 인식 시스템{Gesture Recognition System Based on Vision}
본 발명은 비젼을 통해 얻어진 유저의 특정 동작을 인식할 수 있는 비젼 기반의 제스쳐 인식 시스템에 관한 것이다.
제스쳐 인식은 명령형과 지시형으로 나눌 수 있다. 명령형은 사전에 정한 특정 동작으로 명령을 지시하는 방법이며, 지시형은 커서와 동기된 몸의 일부로 마우스처럼 제어하는 방법을 지시한다.
지시형은 마우스와 유사하게 쓸 수 있으므로 유저 인터페이스(User Interface : UI)의 구성에 의하여 다양한 기능을 구현할 수 있다. 하지만, 몸의 일부를 실시간으로 정확하게 추적하는 것은 매우 난해한 기술이므로, 지시형으로는 기술적인 한계가 존재한다
이와 달리 명령형은 사전 정의된 특정한 동작만 수행할 수 있으므로 구현할 수 있는 기능이 제한적이다. 다만 명령형은 특정한 동작에 있어 보다 정확한 인식이 가능한 시스템을 구현할 수 있고, 명령을 직관적으로 알기 쉽게 정의하면 매우 제어하기 쉬운 시스템으로 구성할 수 있다는 장점이 있다.
이러한 명령형에서는 특정 동작만 제어하면 되지만 유사한 동작이 발생하면 오동작을 일으키는 경우가 종종 발생한다. 특정 동작의 인식을 간단하게 하기 위해 동작에 대한 민감성을 높이면, 특정 동작과 유사한 동작을 취할 경우에도 특정 동작으로 오인하게 되는 것이다. 예를 들어, 손이 좌우로 가볍게 오고 가는 동작은 손을 흔드는 동작으로 오인될 수 있는 것이다. 오동작을 줄이기 위해 민감성을 낮추면 인식률도 낮아지므로 유저의 편의성에 이바지하기 어렵다.
비젼 기반의 제스쳐 인식 시스템에서는 인식과 오동작을 구분하여 인식률과 거절율을 동시에 만족시키는 것이 중요하다. 인식률은 유저가 시스템에 어떤 동작으로 명령을 내렸을 경우에 이를 올바르게 인식하는 경우의 비율을 뜻한다. 거절률은 유저가 명령을 내리지 않았음에도 시스템에서 이를 잘못 인식하여 명령을 수행하는 경우의 비율을 뜻한다. 거절률이 높을수록 시스템에서 오동작이 많이 발생한다. 일반적으로 인식률과 거절률은 트레이트 오프(trade-off) 관계에 있다. 인식률을 높이는 가장 좋은 방법은 시스템의 동작에 대한 민감도를 높이는 것이다. 인식률이 높아지면 유저의 특정 동작에 대해 시스템이 쉽게 반응할 수 있게 되지만, 명령을 내리는 동작이 아닌 유사 동작에도 쉽게 반응할 수 있게 되어 거절률도 동시에 높아지게 된다. 따라서, 제스쳐 인식 시스템에서 인식률을 높이면서도 거절률을 낮출 수 있는 방안이 요구되고 있다.
따라서, 본 발명의 목적은 인식률을 높이고 이와 동시에 거절률을 낮출 수 있는 비젼 기반의 제스쳐 인식 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은 피사체를 촬상하여 화상 신호를 획득하는 촬상 소자; 상기 화상 신호로부터 기준 영역을 설정하고, 상기 기준 영역을 중심으로 적어도 하나의 인식 판별영역 및 오동작 판별영역을 설정하는 얼굴 인식부; 프레임 차분 방식을 이용하여 상기 화상 신호에 대한 차영상을 생성하는 차영상 생성부; 상기 인식 판별영역에 대응하여 다수의 콘트롤 포인트를 설정하고, 상기 오동작 판별영역에 대응하여 다수의 가드 포인트를 설정하는 인식 포인트 설정부; 상기 차영상을 분석하여 움직임이 발생하는 영역을 검출하고, 검출된 움직임 영역이 상기 인식 판별영역에 해당되는 경우에만 이를 유저의 특정 동작으로 인식하여 그에 맞는 제어신호를 출력하고, 상기 검출된 움직임 영역이 상기 오동작 판별영역까지 포함하는 경우에는 이를 오동작으로 인식하는 인식 판별부; 및 상기 제어신호에 따라 상기 유저의 특정 동작에 부합되는 기능을 수행하는 표시소자를 구비한다.
상기 인식 판별영역은 제1 인식 판별영역과 제2 인식 판별영역을 포함하고; 상기 인식 포인트 설정부는 상기 제1 및 제2 인식 판별영역 각각에 대응하여 다수의 콘트롤 포인트를 설정한다.
상기 인식 판별부는, 상기 콘트롤 포인트에서 소정의 임계값 이상의 움직임이 있는지를 감지하여 상기 유저의 특정 동작을 명령으로 인식하고; 상기 가드 포인트에서 소정의 임계값 이상의 움직임이 있는지를 감지하여 상기 오동작으로 인식한다.
상기 인식 판별부는 상기 유저의 특정 동작을 명령으로 인식하기 위해, 콘트롤 포인트들에 대한 움직임 감지 동작을 상기 제1 및 제2 인식 판별영역 각각에 대해 순차적 또는 연속적으로 수행한다.
상기 인식 판별부는 상기 유저의 특정 동작을 명령으로 인식하기 위해, 콘트롤 포인트들에 대한 움직임 감지 동작을 상기 제1 및 제2 인식 판별영역에 대해 동시에 순차 수행한다.
상기 얼굴 인식부는 상기 화상 신호로부터 유저의 얼굴 영역을 검출하고, 이 얼굴 영역을 상기 기준 영역으로 설정한다.
상기 제1 인식 판별영역과 상기 제2 인식 판별영역은 상기 기준 영역을 중심으로 대칭되게 설정된다.
상기 인식 판별부는 상기 콘트롤 포인트와 상기 가드 포인트에서의 움직임 인식 조합으로 인식 동작을 수행한다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 유저의 특정 동작을 판별하기 위한 콘트롤 포인트 이외에 오동작 판별을 위한 가드 포인트를 더 구비하고, 콘트롤 포인트와 가드 포인트의 인식 조합에 의하여 유저의 명령을 인식함으로써, 인식률을 높이면서도 거절률을 획기적으로 낮추어 시스템의 전체적인 인식 성능을 크게 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템을 보여주는 블록도.
도 2는 도 1에 도시된 제스쳐 인식회로의 상세 블록도.
도 3은 도 1에 도시된 표시소자의 상세 블록도.
도 4는 인식 포인트 설정의 일 예를 보여주는 도면.
도 5a 및 도 5b는 순차 및 동시 동작 인식을 통해 유저의 특정 동작을 전원 온/오프 명령으로 인식하는 일 예를 보여주는 도면.
도 6a 및 도 6b는 순차 인식을 통해 유저의 특정 동작을 채널 업/다운 명령으로 인식하는 일 예를 보여주는 도면.
도 7a 및 도 7b는 연속 동작 인식을 통해 유저의 특정 동작을 볼륨 업/다운 명령으로 인식하는 일 예를 보여주는 도면.
도 8은 파워 및 채널 변경을 위한 인식 판별부에서의 동작 처리 과정을 단계적으로 보여주는 흐름도.
도 9는 볼륨 변경을 위한 인식 판별부에서의 동작 처리 과정을 단계적으로 보여주는 흐름도.
이하, 도 1 내지 도 9를 참조하여 본 발명의 바람직한 실시예에 대하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템을 보여주는 블록도이다. 도 2는 도 1에 도시된 제스쳐 인식회로의 상세 블록도이다. 그리고, 도 3은 도 1에 도시된 표시소자의 상세 블록도이며, 도 4는 인식 포인트 설정의 일 예를 보여준다.
도 1을 참조하면, 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은 피사체(유저)를 촬상하기 위한 촬상 소자(10)와, 촬상 소자(10)로부터 입력되는 화상 신호를 기반으로 유저의 특정 동작을 인식하고, 그 인식에 맞는 제어신호(CS)를 출력하는 제스쳐 인식회로(20)와, 제스쳐 인식회로(20)로부터 입력되는 제어신호(CS)에 따라 해당 기능을 수행하는 표시소자(30)를 구비한다.
촬상 소자(10)는 CCD 카메라으로 구현될 수 있으나, 제조 비용을 고려할 때 Web 카메라 등으로 구현됨이 바람직하다. 촬상 소자(10)는 TV, 모니터, 노트북과 같은 표시소자(30)에 장착될 수 있다.
제스쳐 인식회로(20)는 촬상 소자(10)로부터 입력되는 화상 신호를 처리하기 위한 화상 처리부(21)와, 미리 설정된 인식 포인트와 화상 처리부(21)로부터 입력되는 화상 처리 결과를 이용하여 인식 판별을 수행하는 동작 인식부(22)를 포함한다. 이러한 제스쳐 인식회로(20)는 표시소자(30)에 내장될 수 있다.
화상 처리부(21)는 촬상 소자(10)로부터 입력되는 화상 신호로부터 유저의 얼굴을 인식하고, 이를 기초로 화상 신호의 소정 영역에 대한 차영상을 생성한다. 이를 위해, 화상 처리부(21)는 얼굴 인식부(21A)와 차영상 생성부(21B)를 포함한다.
얼굴 인식부(21A)는 도 4와 같이 촬상 소자(10)로부터 입력되는 화상 신호로부터 유저의 얼굴 영역을 검출하고, 이 얼굴 영역을 기준 영역(ARF)으로 설정한다. 그리고, 얼굴 인식부(21A)는 설정된 기준 영역(ARF)을 중심으로 제1 인식 판별영역(AR1A), 제2 인식 판별영역(AR1B) 및 오동작 판별영역(AR2)을 설정한 후 그 결과를 동작 인식부(22)에 공급한다. 제1 인식 판별영역(AR1A)과 제2 인식 판별영역(AR1B)은 기준 영역(ARF)을 중심으로 대칭되게 설정될 수 있다. 오동작 판별영역(AR2)은 제1 및 제2 인식 판별영역(AR1A,AR1B)과 이격되게 설정될 수 있다.
차영상 생성부(21B)는 프레임 차분 방식을 이용하여 촬상 소자(10)로부터 입력되는 화상 신호에 대한 차영상을 생성한 후, 이 차영상을 동작 인식부(22)에 공급한다.
동작 인식부(22)는 얼굴 인식부(21A)로부터 입력되는 정보와 차영상 생성부(21B)로부터 입력되는 정보를 이용하여 인식 판별을 수행하고, 정상적인 인식인 경우에 그 인식에 맞는 제어신호(CS)를 출력한다. 이를 위해, 동작 인식부(22)는 인식 포인트 설정부(22A)와 인식 판별부(22B)를 포함한다.
인식 포인트 설정부(22A)는 적절한 인식률 제고를 위해 도 4에 도시된 바와 같이 제1 인식 판별영역(AR1A)에 대응하여 다수의 콘트롤 포인트(CP)를 설정함과 아울러, 제2 인식 판별영역(AR1B)에 대응하여 다수의 콘트롤 포인트(CP)를 설정한다. 또한, 인식 포인트 설정부(22A)는 오동작으로 인한 거절률을 낮추기 위해 도 4와 같이 오동작 판별영역(AR2)에 대응하여 다수의 가드 포인트(GP)를 설정한다. 콘트롤 포인트(CP)는 특정 동작에 따른 유저의 명령을 감지하기 위한 아이콘이다. 그리고, 가드 포인트(GP)는 오동작을 감지하기 위한 아이콘이다. 설정된 콘트롤 포인트(CP)와 가드 포인트(GP)는 인식 판별부(22B)로 공급된다.
인식 판별부(22B)는 차영상 생성부(21B)로부터 입력되는 차영상을 분석하여 움직임이 발생하는 영역을 검출하고, 검출된 움직임 영역이 제1 및 제2 인식 판별영역(AR1A,AR1B)과 오동작 판별영역(AR2)에 해당되는지를 판별한다. 다시 말해, 인식 판별부(22B)는 콘트롤 포인트(CP)에서 소정의 임계값 이상의 움직임이 있는지를 감지하여 유저의 특정 동작을 인식한다. 인식 판별부(22B)는 가드 포인트(GP)에서 소정의 임계값 이상의 움직임이 있는지를 감지하는 경우 이를 오동작으로 인식한다. 인식 판별부(22B)는 콘트롤 포인트(CP)와 가드 포인트(GP)의 인식 조합으로 인식률을 높이면서 오동작을 최소화하여 거절률을 낮춘다.
표시소자(30)는 제스쳐 인식회로(20)로부터 입력되는 제어신호(CS)에 따라 유저의 명령에 대응되는 다양한 기능을 수행한다. 표시소자(30)는 도 3과 같이 비디오 영상을 표시함과 아울러 제어신호(CS)에 따른 명령 수행 결과를 표시하기 위한 표시모듈(30A), 제어신호(CS)에 따라 표시모듈(30A)을 구동하여 유저의 명령을 수행하는 다수의 구동부들(30B,30C,30D)을 포함한다.
명령 수행을 위한 구동부들(30B,30C,30D)에는 파워 구동부(30B), 채널 구동부(30C), 볼륨 구동부(30D) 등이 있다. 파워 구동부(30B)는 전원 온/오프 명령에 대응되는 제어신호(CS)에 응답하여 표시모듈(30A)의 전원을 온/오프 시킨다. 채널 구동부(30C)는 채널 변경 명령에 대응되는 제어신호(CS)에 응답하여 표시모듈(30A)에 표시되는 TV 영상 신호의 채널을 변경시킨다. 볼륨 구동부(30D)는 볼륨 변경 명령에 대응되는 제어신호(CS)에 응답하여 표시모듈(30A)에 표시되는 영상 신호의 을 볼륨을 변경시킨다.
이러한 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은 전술했듯이, 차영상을 이용한 단순한 인식방법을 취하므로 인식률이 높다. 다만, 차영상을 이용한 단순한 인식방법을 취하는 경우, 유저가 의도하지 않은 동작을 명령으로 인식하는 경우가 발생하기 쉽다. 예컨대, 유저 앞을 다른 사람이 지나가는 경우가 그런 경우이다. 다른 사람이 지나가는 것도 차영상이 발생하는 경우이므로 콘트롤 포인트(CP)에서 유저의 동작으로 간주되어 특정 명령이 실행될 수 있다. 이러한 오동작을 막기 위해, 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은 콘트롤 포인트(CP) 외에 오동작 판별을 위한 가드 포인트(GP)를 더 구비한다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 가드 포인트(GP)에서 소정의 임계값 이상의 움직임이 감지되는 경우 이를 오동작으로 간주하여, 콘트롤 포인트(CP)에서 소정의 임계값 이상의 움직임이 감지되더라도 이를 무효화한다. 만약, 다른 사람이 유저 앞을 지나가면 콘트롤 포인트(CP) 뿐만 아니라 가드 포인트(GP)에서도 인식하게 되므로, 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은 이때의 인식을 오동작으로 판단하는 것이다. 이러한 콘트롤 포인트(CP)와 가드 포인트(GP)의 인식 조합에 의하여, 시스템의 인식 성능 향상이 가능하게 된다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은 콘트롤 포인트(CP)의 인식 조합을 변경하여 다양한 기능 추가가 가능하다. 동시에 가드 포인트(GP)의 숫자 및 위치 등을 최적화하여 유저의 사용 편의성을 보다 증대시키는 것도 가능하다. 또한, 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 더욱 포괄적으로 동작 인식 성능을 향상시키기 위해 콘트롤 포인트(CP)와 가드 포인트(GP)에 대한 단순 인식 이외에, 연속/순차/동시 동작 인식 등의 조합을 구성하는 것도 가능하다.
도 5a 및 도 5b는 순차 및 동시 동작 인식을 통해 유저의 특정 동작을 전원 온/오프 명령으로 인식하는 일 예를 보여준다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 도 5a와 같이 제1 인식 판별영역(AR1A)에 설정된 콘트롤 포인트들(CP)에서 유저의 일측 손에 대한 움직임이 순차 인식됨과 동시에 제2 인식 판별영역(AR1B)에 설정된 콘트롤 포인트들(CP)에서 유저의 타측 손에 대한 움직임이 순차 인식되고, 더욱이 양측의 콘트롤 포인트들(CP)에서의 인식 순서가 얼굴 중심의 기준영역(ARF)으로부터 순차 멀어지는 경우를 전원 온 명령으로 인식할 수 있다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 도 5b와 같이 제1 인식 판별영역(AR1A)에 설정된 콘트롤 포인트들(CP)에서 유저의 일측 손에 대한 움직임이 순차 인식됨과 동시에 제2 인식 판별영역(AR1B)에 설정된 콘트롤 포인트들(CP)에서 유저의 타측 손에 대한 움직임이 순차 인식되고, 더욱이 양측의 콘트롤 포인트들(CP)에서의 인식 순서가 얼굴 중심의 기준영역(ARF)으로 순차 가까워지는 경우를 전원 오프 명령으로 인식할 수 있다.
이러한 동작 인식을 위해 본 발명의 실시예에 따른 인식 판별부(22B)는 도 8과 같은 수순의 처리 과정을 수행할 수 있다. 도 8을 결부하여 인식 판별부(22B)에서의 파워 온/오프에 대응되는 동작 처리 과정을 단계적으로 설명하면 다음과 같다.
인식 판별부(22B)는 입력 차영상을 분석하여 움직임이 발생하는 영역을 검출한다.(S1) 인식 판별부(22B)는 검출된 움직임 영역이 오동작 판별영역(AR2)에 해당되는지를 판별하기 위해 가드 포인트(GP)에서 소정의 임계값 이상의 움직임이 감지되었는지를 판단한다.(S2) S2의 판단 결과 가드 포인트(GP)에서의 움직임이 감지되지 않는 경우(No), 인식 판별부(22B)는 제1 및 제2 인식 판별영역(AR1A,AR1B) 중 어느 하나의 첫 번째 내지 세 번째 콘트롤 포인트들(CP)에서 순차적으로 소정의 임계값 이상의 움직임이 감지되었는지를 판단한다.(S3~S5) S3 내지 S5의 판단 결과 그 콘트롤 포인트들(CP)에서 순차적으로 움직임이 감지되는 경우(Yes), 인식 판별부(22B)는 제1 및 제2 인식 판별영역(AR1A,AR1B) 중 나머지 하나의 첫 번째 내지 세 번째 콘트롤 포인트들(CP)에서 순차적으로 소정의 임계값 이상의 움직임이 감지되었는지를 판단한다.(S6~S10) S6 내지 S10의 판단 결과 그 콘트롤 포인트들(CP)에서 순차적으로 움직임이 감지되는 경우(Yes), 인식 판별부(22B)는 이 감지신호를 도 5a 및 도 5b에 도시된 바와 같이 각각 전원 온 명령 및 전원 오프 명령으로 인식하여 해당 제어신호(CS)를 출력함으로써, 표시소자(30)의 전원 온/오프 기능을 제어한다.(S11)
한편, S2의 판단 결과 가드 포인트(GP)에서의 움직임이 감지되거나(Yes), 또는 S3 내지 S5의 판단 결과 해당 콘트롤 포인트들(CP) 중 적어도 어느 하나의 콘트롤 포인트(CP)에서 움직임이 감지되지 않는 경우(No), 인식 판별부(22B)는 오동작으로 판별하여 표시소자(30)의 아무 기능도 제어하지 않는다.(S13)
도 6a 및 도 6b는 순차 인식을 통해 유저의 특정 동작을 채널 업/다운 명령으로 인식하는 일 예를 보여준다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 도 6a와 같이 제1 인식 판별영역(AR1A)에 설정된 콘트롤 포인트들(CP)에서 유저의 일측 손에 대한 움직임이 순차 인식되고, 더욱이 그 콘트롤 포인트들(CP)에서의 인식 순서가 얼굴 중심의 기준영역(ARF)으로부터 순차 멀어지는 경우를 채널 업 명령으로 인식할 수 있다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 도 6b와 같이 제2 인식 판별영역(AR1B)에 설정된 콘트롤 포인트들(CP)에서 유저의 타측 손에 대한 움직임이 순차 인식되고, 더욱이 그 콘트롤 포인트들(CP)에서의 인식 순서가 얼굴 중심의 기준영역(ARF)으로 순차 멀어지는 경우를 채널 다운 명령으로 인식할 수 있다.
이러한 동작 인식을 위해 본 발명의 실시예에 따른 인식 판별부(22B)는 도 8과 같은 수순의 처리 과정을 수행할 수 있다. 도 8을 결부하여 인식 판별부(22B)에서의 채널 업/다운에 대응되는 동작 처리 과정을 단계적으로 설명하면 다음과 같다.
인식 판별부(22B)는 제1 및 제2 인식 판별영역(AR1A,AR1B) 중 어느 하나의 첫 번째 내지 세 번째 콘트롤 포인트들(CP)에서 순차적으로 소정의 임계값 이상의 움직임이 감지되었는지를 판단한다.(S3~S5, S8~S10) S3 내지 S5의 판단 결과 그 콘트롤 포인트들(CP)에서만 순차적으로 움직임이 감지되는 경우(Yes), 또는 S8 내지 S10의 판단 결과 그 콘트롤 포인트들(CP)에서만 순차적으로 움직임이 감지되는 경우(Yes), 인식 판별부(22B)는 이 감지신호를 도 6a 및 도 6b에 도시된 바와 같이 각각 채널 업 명령 및 채널 다운 명령으로 인식하여 해당 제어신호(CS)를 출력함으로써, 표시소자(30)의 채널 업/다운 기능을 제어한다.(S12)
도 7a 및 도 7b는 연속 동작 인식을 통해 유저의 특정 동작을 볼륨 업/다운 명령으로 인식하는 일 예를 보여준다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 도 7a와 같이 제1 인식 판별영역(AR1A)에 설정된 콘트롤 포인트(CP)에서 유저의 일측 손에 대한 누적 움직임 변화가 인식되는 경우를 볼륨 업 명령으로 인식할 수 있다.
본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 도 7b와 같이 제2 인식 판별영역(AR1B)에 설정된 콘트롤 포인트(CP)에서 유저의 타측 손에 대한 누적 움직임 변화가 인식되는 경우를 볼륨 다운 명령으로 인식할 수 있다.
볼륨 업/다운 명령을 인식하기 위한 제1 및 제2 인식 판별영역(AR1A,AR1B)의 물리적인 위치는, 전원 온/오프 및 채널 업/다운 명령을 인식하기 위한 제1 및 제2 인식 판별영역(AR1A,AR1B)과 같을 수 있으나, 인식률을 높이기 위해 다르게 설정됨이 바람직하다.
이러한 동작 인식을 위해 본 발명의 실시예에 따른 인식 판별부(22B)는 도 9와 같은 수순의 처리 과정을 수행할 수 있다. 도 9를 결부하여 인식 판별부(22B)에서의 볼륨 업/다운에 대응되는 동작 처리 과정을 단계적으로 설명하면 다음과 같다.
인식 판별부(22B)는 입력 차영상을 수 프레임 이상 누적시키고, 누적 차영상을 분석하여 움직임이 발생하는 영역을 검출한다.(S21,S22) 인식 판별부(22B)는 검출된 움직임 영역이 오동작 판별영역(AR2)에 해당되는지를 판별하기 위해 가드 포인트(GP)에서 소정의 임계값 이상의 움직임이 감지되었는지를 판단한다.(S23) S23의 판단 결과 가드 포인트(GP)에서의 움직임이 감지되지 않는 경우(No), 인식 판별부(22B)는 볼륨 콘트롤 영역에 해당되는 제1 또는 제2 인식 판별영역(AR1A,AR1B)에 해당되는지를 판별하기 위해 제1 및 제2 인식 판별영역(AR1A,AR1B) 중 어느 하나의 콘트롤 포인트(CP)에서 소정의 임계값 이상의 누적 움직임이 감지되었는지를 판단한다.(S24,S25) S25의 판단 결과 제1 인식 판별영역(AR1A)의 콘트롤 포인트(CP)에서만 소정의 임계값 이상의 누적 움직임이 감지되는 경우(Yes), 또는 S25의 판단 결과 제2 인식 판별영역(AR1B)의 콘트롤 포인트(CP)에서만 소정의 임계값 이상의 누적 움직임이 감지되는 경우(Yes), 인식 판별부(22B)는 이 감지신호를 도 7a 및 도 7b에 도시된 바와 같이 각각 볼륨 업 명령 및 볼륨 다운 명령으로 인식하여 해당 제어신호(CS)를 출력함으로써, 표시소자(30)의 볼륨 업/다운 기능을 제어한다.(S26)
한편, S23의 판단 결과 가드 포인트(GP)에서의 움직임이 감지되거나(Yes), 또는 S25의 판단 결과 제1 및 제2 인식 판별영역(AR1A,AR1B)의 콘트롤 포인트들(CP)에서 누적 움직임이 감지되지 않는 경우(No), 인식 판별부(22B)는 오동작으로 판별하여 표시소자(30)의 아무 기능도 제어하지 않는다.(S27)
상술한 바와 같이, 본 발명의 실시예에 따른 비젼 기반의 제스쳐 인식 시스템은, 유저의 특정 동작을 판별하기 위한 콘트롤 포인트 이외에 오동작 판별을 위한 가드 포인트를 더 구비하고, 콘트롤 포인트와 가드 포인트의 인식 조합에 의하여 유저의 명령을 인식함으로써, 인식률을 높이면서도 거절률을 획기적으로 낮추어 시스템의 전체적인 인식 성능을 크게 향상시킬 수 있다.
10 : 촬상 소자 20 : 제스쳐 인식회로
21 : 화상 처리부 21A : 얼굴 인식부
21B : 차영상 생성부 22 : 동작 인식부
22A : 인식 포인트 설정부 22B : 인식 판별부
30 : 표시소자

Claims (8)

  1. 피사체를 촬상하여 화상 신호를 획득하는 촬상 소자;
    상기 화상 신호로부터 기준 영역을 설정하고, 상기 기준 영역을 중심으로 적어도 하나의 인식 판별영역 및 상기 인식 판별영역과 이격된 오동작 판별영역을 설정하는 얼굴 인식부;
    프레임 차분 방식을 이용하여 상기 화상 신호에 대한 차영상을 생성하는 차영상 생성부;
    상기 인식 판별영역에 대응하여 다수의 콘트롤 포인트를 설정하고, 상기 오동작 판별영역에 대응하여 다수의 가드 포인트를 설정하는 인식 포인트 설정부;
    상기 차영상을 분석하여 상기 다수의 콘트롤 포인트에서 순차적으로 임계값 이상의 움직임이 있는지 그리고 상기 가드 포인트에서 움직임이 있는지를 감지하고 상기 감지된 움직임의 조합으로 인식 동작을 수행하되, 상기 다수의 콘트롤 포인트에서 순차적으로 상기 움직임이 감지될 때만 유저의 특정 동작 명령으로 인식하여 그에 맞는 제어 신호를 출력하고, 상기 가드 포인트에서 상기 움직임이 감지될 때 오동작으로 인식하는 인식 판별부; 및
    상기 제어신호에 따라 상기 유저의 특정 동작에 부합되는 기능을 수행하는 표시소자를 구비하는 것을 특징으로 하는 비젼 기반의 제스쳐 인식 시스템.
  2. 제 1 항에 있어서,
    상기 인식 판별영역은 제1 인식 판별영역과 제2 인식 판별영역을 포함하고;
    상기 인식 포인트 설정부는 상기 제1 및 제2 인식 판별영역 각각에 대응하여 다수의 콘트롤 포인트를 설정하는 것을 특징으로 하는 비젼 기반의 제스쳐 인식 시스템.
  3. 삭제
  4. 제 2 항에 있어서,
    상기 인식 판별부는 상기 유저의 특정 동작을 명령으로 인식하기 위해,
    콘트롤 포인트들에 대한 움직임 감지 동작을 상기 제1 및 제2 인식 판별영역 각각에 대해 순차적 또는 연속적으로 수행하는 것을 특징으로 하는 비젼 기반의 제스쳐 인식 시스템.
  5. 제 2 항에 있어서,
    상기 인식 판별부는 상기 유저의 특정 동작을 명령으로 인식하기 위해,
    콘트롤 포인트들에 대한 움직임 감지 동작을 상기 제1 및 제2 인식 판별영역에 대해 동시에 수행하되 상기 제1 및 제2 인식 판별영역 각각에 대해 순차 수행하는 것을 특징으로 하는 비젼 기반의 제스쳐 인식 시스템.
  6. 제 1 항에 있어서,
    상기 얼굴 인식부는 상기 화상 신호로부터 유저의 얼굴 영역을 검출하고, 이 얼굴 영역을 상기 기준 영역으로 설정하는 것을 특징으로 하는 비젼 기반의 제스쳐 인식 시스템.
  7. 제 2 항에 있어서,
    상기 제1 인식 판별영역과 상기 제2 인식 판별영역은 상기 기준 영역을 중심으로 대칭되게 설정되는 것을 특징으로 하는 비젼 기반의 제스쳐 인식 시스템.
  8. 삭제
KR1020110067014A 2011-07-06 2011-07-06 비젼 기반의 제스쳐 인식 시스템 KR101803574B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110067014A KR101803574B1 (ko) 2011-07-06 2011-07-06 비젼 기반의 제스쳐 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110067014A KR101803574B1 (ko) 2011-07-06 2011-07-06 비젼 기반의 제스쳐 인식 시스템

Publications (2)

Publication Number Publication Date
KR20130005548A KR20130005548A (ko) 2013-01-16
KR101803574B1 true KR101803574B1 (ko) 2017-12-28

Family

ID=47836795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110067014A KR101803574B1 (ko) 2011-07-06 2011-07-06 비젼 기반의 제스쳐 인식 시스템

Country Status (1)

Country Link
KR (1) KR101803574B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
CN103927016B (zh) * 2014-04-24 2017-01-11 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN109919057B (zh) * 2019-02-26 2020-11-03 北京理工大学 一种基于高效卷积神经网络的多模态融合手势识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2009064199A (ja) * 2007-09-05 2009-03-26 Casio Comput Co Ltd ジェスチャー認識装置及びジェスチャー認識方法
JP2010271944A (ja) 2009-05-21 2010-12-02 Chuo Univ 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体
JP2011076255A (ja) 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2009064199A (ja) * 2007-09-05 2009-03-26 Casio Comput Co Ltd ジェスチャー認識装置及びジェスチャー認識方法
JP2010271944A (ja) 2009-05-21 2010-12-02 Chuo Univ 周期ジェスチャ識別装置、周期ジェスチャ識別方法、周期ジェスチャ識別プログラム、及び記録媒体
JP2011076255A (ja) 2009-09-29 2011-04-14 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム

Also Published As

Publication number Publication date
KR20130005548A (ko) 2013-01-16

Similar Documents

Publication Publication Date Title
EP2839357B1 (en) Rapid gesture re-engagement
US8860676B2 (en) Display control device, method, program, and integrated circuit
KR101795574B1 (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
JP6370893B2 (ja) 検出されたジェスチャーに基づいてデバイス動作を実行するためのシステムおよび方法
CN103916592B (zh) 用于在具有照相机的便携式终端中拍摄肖像的设备和方法
US9086726B2 (en) Image processing device and image display device
US20150123919A1 (en) Information input apparatus, information input method, and computer program
US20160162039A1 (en) Method and system for touchless activation of a device
KR101477592B1 (ko) 카메라 기반 정보 입력 방법 및 단말
KR101412448B1 (ko) 디스플레이가 꺼져 있는 저전력 모드에서의 터치입력을 통한 디바이스 구동시스템
US9405373B2 (en) Recognition apparatus
US20150092520A1 (en) Adaptive Trigger Point For Smartwatch Gesture-to-Wake
US20130265276A1 (en) Multiple touch sensing modes
US20120162603A1 (en) Information processing apparatus, method, and storage medium storing program
RU2015110680A (ru) Устройство обработки информации, способ управления отображением и программа
KR20130099717A (ko) 터치 스크린 기반의 사용자 인터페이스 제공 장치 및 방법
US10191554B2 (en) Display apparatus and controlling method thereof
US20140118244A1 (en) Control of a device by movement path of a hand
US9971411B2 (en) Method, interactive device, and computer readable medium storing corresponding instructions for recognizing user behavior without user touching on input portion of display screen
US9223415B1 (en) Managing resource usage for task performance
US20200401218A1 (en) Combined gaze and touch input for device operation
JP2017146927A (ja) 制御装置、制御方法及びプログラム
US20140191943A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
KR101803574B1 (ko) 비젼 기반의 제스쳐 인식 시스템
KR102161677B1 (ko) 원격 제어 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant