KR20110007806A

KR20110007806A - 카메라를 이용하여 손동작을 인식하는 장치 및 방법

Info

Publication number: KR20110007806A
Application number: KR1020090065434A
Authority: KR
Inventors: 이동혁; 권무식; 김정림; 황성택; 오상욱; 김현수
Original assignee: 삼성전자주식회사
Priority date: 2009-07-17
Filing date: 2009-07-17
Publication date: 2011-01-25
Also published as: EP2280377B1; US20140340307A1; US20110013807A1; EP2280377A1; US9400563B2

Abstract

본 발명에 따른 카메라를 이용하여 사용자의 손동작을 인식하는 방법은, 상기 카메라로부터 입력된 이전 및 현재 영상 프레임들의 각각을 복수의 영상 블록들로 분할하는 단계와; 상기 각 영상 프레임에 대하여 시간순에 따른 전후 화소값들의 차이에 근거하여 상기 영상 블록들 중 움직임 블록들을 검출하는 단계와; 상기 각 영상 프레임에 대하여 해당 움직임 블록들의 위치에 근거하여 운동 중심점을 검출하는 단계와; 상기 이전 및 현재 영상 프레임들의 운동 중심점들의 위치들에 근거하여 상기 이전 및 현재 영상 프레임들에 나타난 상기 사용자의 손동작을 인식하는 단계를 포함한다.

카메라, 손동작, 움직임, 운동량, 휴대 단말기

Description

카메라를 이용하여 손동작을 인식하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING HAND MOTION USING A CAMERA}

본 발명은 촬영된 영상들에서 피사체의 움직임을 검출하는 장치 및 방법에 관한 것으로서, 특히 모바일 카메라(mobile camera)를 통해 입력된 영상 프레임들에서 사용자의 손동작을 인식 또는 검출하는 장치 및 방법에 관한 것이다.

일반적으로 모바일(즉, 이동통신 또는 휴대) 단말기는 음성통화를 제공하기 위한 것이었으나 사용자들에게 점점 더 많은 서비스를 제공하는 형태로 발전하였다. 특히나 근래의 모바일 단말기는 문자메시지, 사진 또는 동영상, 모바일 뱅킹 등과 같은 데이터 서비스도 제공한다. 카메라를 구비한 모바일 단말기의 사용자들은 카메라를 통해 다양한 영상을 촬영할 수 있다. 또한, 카메라를 구비한 모바일 단말기는 영상 속 피사체의 모양 또는 패턴(pattern)을 인식하고, 상기 모양 또는 패턴의 인식 결과를 이용하여 소정 애플리케이션(application)의 동작을 제어하기도 한다.

종래에 따른 카메라를 구비한 모바일 카메라를 이용한 손모양 인식 방법은 인식 가능한 손모양 또는 손패턴을 미리 설정하고, 카메라를 통해 입력된 영상에서 손모양을 검출한다. 상기 모바일 단말기는 메모리에 저장된 데이터베이스(database)에서 검출된 손모양과 가장 부합하는 기설정된 손모양을 검색하고, 검색된 결과에 따른 이벤트(event)를 발생시킨다. 이상적인 경우, 종래의 손모양 인식 방법은 다양한 손모양을 정의할 수 있고, 정의된 손모양에 부합하는 이벤트의 종류도 다양화할 수 있다는 장점이 있다.

종래의 손모양 인식 방법은 입력 신호들에 각각 대응하는 다양한 손모양을 정의하고, 미리 학습 또는 저장된 손모양과 현재의 입력 영상 속 손모양을 비교하여 이벤트를 발생시킨다.

그러나, 모바일 카메라 기반의 손모양 인식 애플리케이션을 위해서는 사용 환경에 상관없이 강인한 손모양에 의한 이벤트 발생이 필요하다. 종래의 손모양 인식 방법에서는 일반적으로 이상적인 환경인 피부색과 비슷한 배경이 없고, 얼굴과 같은 신체 일부의 가리어짐 등이 없는 상황을 가정하여, 학습/인식을 위한 손모양 데이터베이스를 구현한다. 이때, 조명 변화, 스케일 변화, 회전 변이, 배경 및 가리어짐 등의 요인이 인식 성능을 크게 저하시킬 수 있다. 또한 모바일 환경에서는 손모양 인식에 따른 과도한 연산량을 수행할 자원이 부족하다는 문제점이 있다.

따라서, 손모양을 따로 검출하지 않고, 조명 및 스케일 등과 같은 다양한 교란 요소에 강인한 특성인 피부색에 가까운 대상물의 움직임 특성만을 고려함으로써, 다양한 교란 요소에 강인하고 속도가 빠르고 다양한 모바일 어플리케이션에 적용할 수 있는 손동작 기반 입력 방식 또는 손동작을 인식하는 장치 및 방법이 요구된다.

본 발명의 일측면에 따른 카메라를 이용하여 사용자의 손동작을 인식하는 방법은, 상기 카메라로부터 입력된 이전 및 현재 영상 프레임들의 각각을 복수의 영상 블록들로 분할하는 단계와; 상기 각 영상 프레임에 대하여 시간순에 따른 전후 화소값들의 차이에 근거하여 상기 영상 블록들 중 움직임 블록들을 검출하는 단계와; 상기 각 영상 프레임에 대하여 해당 움직임 블록들의 위치에 근거하여 운동 중심점을 검출하는 단계와; 상기 이전 및 현재 영상 프레임들의 운동 중심점들의 위치들에 근거하여 상기 이전 및 현재 영상 프레임들에 나타난 상기 사용자의 손동작을 인식하는 단계를 포함한다.

본 발명의 다른 측면에 따른 카메라를 이용하여 사용자의 손동작을 인식하는 장치는, 상기 카메라로부터 입력된 이전 및 현재 영상 프레임들의 각각에 대하여 시간순에 따른 전후 화소값들의 차이에 근거하여 상기 각 영상 프레임 내의 움직임 블록들을 검출하는 움직임 블록 검출기와; 상기 각 영상 프레임에 대하여 해당 움 직임 블록들의 위치에 근거하여 운동 중심점을 검출하고, 상기 이전 및 현재 영상 프레임들의 운동 중심점들 간의 거리를 산출하는 운동량 및 방향 판단기를 포함한다.

본 발명에서는 모바일 어플리케이션을 가장 직관적인 손동작에 따라 동작시키기 위해, 피부색과 유사한 영상 블록들을 관심 움직임 후보 블록으로 설정하여 움직임 블록 검출기를 통해 관심 움직임 후보 블록들로부터 움직임이 있는 블록들만을 추출하고, 이러한 움직임 블록들의 중심점을 계산하여 움직임 프레임들 간의 중심점 차이와 움직임 블록들의 개수에 따른 속도 및 운동량을 추정한다. 본 발명은 이러한 추정 데이터들을 다양한 모바일 어플리케이션에 적용할 수 있다. 예를 들면, 좌우 손동작에 의한 모바일 카메라 기반 사진 보기 UI(user interface)에 적용 가능하다. 또한, 본 발명은 이벤트 발생 타이밍을 주고, 각 타이밍 주기에 손동작이 일어나는 위치를 감지하고 이에 기반한 이벤트를 할당함으로써, 참참참과 같은 게임에 적용할 수 있다. 또한, 본 발명은 손동작 빈도와 타이밍에 따라 이벤트를 발생시키는 올림픽 게임(멀리뛰기, 장애물 달리기 등), 손동작 강도 및 타이밍에 따라 이벤트를 발생시키는 스포츠 게임(테니스, 탁구 등)에 활용 가능하다. 또한, 본 발명은 상하좌우 방향을 판별하는 다양한 게임 및 UI에 적용 가능하다.

이하에서는 첨부 도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능이나 구성에 대한 구체적인 설 명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

본 발명은 촬영을 통한 영상에서 손모양이 아닌 사용자의 손동작(근본적으로는, 영상에 나타나는 피사체의 움직임)을 인식함으로써, 즉 조명, 스케일 등과 같은 다양한 교란 요소에 강인한 특성인 피부색에 가까운 대상(즉, 영상 속 피사체)의 움직임 특성만을 고려함으로써, 다양한 교란 요소에 강인하고 속도가 빠르고 다양한 모바일 애플리케이션에 적용할 수 있는 손동작 인식 및 손동작 기반 입력 방식을 제안한다. 손동작 기반 입력이란 손동작 인식의 결과를 사용자 인터페이스로서 사용함을 말하는 것으로서, 이러한 사용자 인터페이스는 사진 보기, 게임 등과 같은 다양한 애플리케이션에 적용 가능하다.

도 1은 본 발명의 바람직한 실시예에 따른 입력 영상에서 사용자의 손동작을 인식하는 손동작 인식부를 포함하는 휴대 단말기의 구성을 개략적으로 나타내는 도면이다.

상기 휴대 단말기(100)는 카메라(110), 영상신호처리부(image signal processor: ISP, 120), 표시부(130), 무선 통신부(140), 손동작 인식부(200), 제어부(150) 및 메모리(160)를 포함한다. 도 1에는, 상기 휴대 단말기(100)의 개략적인 구성만 도시되어 있으나, 이외에 상기 휴대 단말기(100)는 스피커, 마이크, 키패드(keypad)와 같은 사용자 입력 장치 등을 더 구비할 수 있다.

상기 카메라(110)는 피사체의 영상을 형성하고, 상기 형성된 영상을 전기 신호로 검출한다. 이를 위해, 도시되지는 않았으나, 상기 카메라(110)는 적어도 하나의 렌즈를 구비하여 피사체의 이미지를 형성하는 렌즈계와, 상기 렌즈계에 의해 형 성된 영상을 전기 신호로 검출하는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등과 같은 이미지 센서를 포함할 수 있다.

상기 영상신호처리부(120)는 상기 제어부(150)의 제어에 따라 상기 카메라(110)로부터 입력되는 영상 신호 또는 상기 메모리에 저장된 영상을 프레임(frame) 단위로 처리하며, 상기 표시부(130)의 화면 특성(크기, 화질, 해상도 등)에 맞도록 변환된 영상 프레임을 출력한다.

상기 표시부(130)는 상기 영상신호처리부(120)로부터 입력된 영상 프레임을 화면에 표시한다. 이러한 표시부(130)로는 액정표시장치(liquid crystal display: LCD), 터치 스크린(touch screen) 등을 사용할 수 있다. 상기 터치 스크린은 상기 제어부(150)의 제어에 따른 영상을 표시하고, 그 표면에 손가락, 스타일러스 펜(stylus pen) 등과 같은 사용자 입력 수단이 접촉하면 키 접촉 인터럽트(interrupt)를 발생시키고, 상기 제어부(150)의 제어에 따라 입력 좌표 및 입력 상태를 포함하는 사용자 입력 정보를 상기 제어부(150)로 출력한다.

상기 무선 통신부(140)는 안테나를 이용하여 공중으로부터 무선 하향 신호를 수신하고, 상기 무선 하향 신호를 복조하여 얻어진 하향 데이터를 상기 제어부(150)로 출력한다. 또한, 상기 무선 통신부(140)는 상기 제어부(150)로부터 입력된 상향 데이터를 변조하여 무선 상향 신호를 생성하고, 생성된 무선 상향 신호를 안테나를 이용하여 공중으로 무선 전송한다. 이러한 변조 및 복조는 바람직하게는 부호분할다중접속(code division multiple access: CDMA) 방식에 따라 수행될 수 있고, 이외에 주파수분할다중(frequency division multiplexing: FDM) 방식, 시분할다중(time division multiplexing: TDM) 방식 등에 따라 수행될 수도 있다.

상기 손동작 인식부(200)는 상기 영상신호처리부(120)로부터 입력된 영상 프레임들로부터 사용자의 손동작을 인식하고, 그 인식 결과를 상기 제어부(150)로 출력한다.

상기 메모리(160)는 게임 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 영상들, 사용자 정보, 문서 등과 관련된 데이터베이스들, 상기 휴대 단말(100)을 구동하는데 필요한 배경 영상들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들 등을 저장할 수 있다.

상기 제어부(150)는 사용자 입력 정보에 따른 애플리케이션을 실행하고, 상기 애플리케이션은 사용자 입력 정보에 따른 프로그램 동작을 수행한다. 이때, 사용자 입력은 키패드, 터치스크린 등을 통한 입력 또는 카메라 기반의 손동작 입력을 포함한다. 예를 들어, 사진 앨범 애플리케이션이 실행되고 있고, 사용자가 상기 카메라를 향해 좌우 방향으로 손을 움직이면, 상기 사진 앨범 애플리케이션이 상기 표시부 상에 보여지는 사진을 다음 순번의 사진으로 대체할 수 있다. 즉, 사용자의 손동작에 따라 사진 앨범 넘기기 이벤트가 발생하고, 상기 이벤트에 따른 결과(즉, 다음 순번의 사진으로 변경)가 상기 표시부 상에 보여지는 것이다.

도 2는 상기 손동작 인식부(200)의 상세 구성을 나타내는 도면이고, 도 3은 본 발명의 바람직한 실시예에 따른 입력 영상에서 사용자의 손동작을 인식하는 방 법을 나타내는 흐름도이다.

상기 손동작 인식부(200)는 피부색 검출기(210), 움직임 블록 검출기(220), 운동량 및 방향 판단기(230) 및 이벤트 할당기(240)를 포함하고, 상기 손동작 인식 방법은 움직임 블록 추출 단계(S110), 움직임의 중심점 추정 단계(S120), 움직임 프레임들 간의 속도 및 운동량 추정 단계(S130), 운동량 비교 단계(S140), 입력의 방향 및 크기 추정 단계(S160) 및 이벤트 할당 단계(S170)를 포함한다.

상기 움직임 블록 추출 단계(S110)는 상기 피부색 검출기(210)가 상기 영상신호처리부(120)로부터 입력된 영상 프레임에서 사용자의 손에 해당하는 피부색 블록들(또는 움직임 후보 블록들)을 검출하고, 상기 움직임 블록 검출기(220)가 상기 피부색 블록들 중 움직임 블록들을 검출하는 단계이다.

상기 피부색 검출기(210)는 상기 영상신호처리부(120)로부터 영상 프레임을 수신하고, 노이즈(noise) 및 계산량을 줄이기 위해 상기 영상 프레임을 각각 기설정된 화소수를 갖는 블록들로 분할한다. 이러한 영상 분할 단계는 상기 영상 프레임 전체에 대해 수행되거나, 상기 영상 프레임에서 사용자 또는 상기 제어부에 의해 상기 표시부(130)에 보여지는 영상에서 결정된 관심 대상 영역, 또는, 예를 들어, 상기 메모리(160)에 저장된 디폴트(default) 값에 따라 설정된 관심 대상 영역에 대해 수행될 수 있다. 이러한 영상 분할 단계는 가상적인 단계으로서, 예를 들어, 상기 영상 프레임은 N*M 개의 블록들로 나누어지고, 상기 영상 프레임은 상기 손동작 인식부(200)에서 블록 단위로 처리된다. 예를 들어, 상기 각 블록은 8*8 또는 16*16 화소수의 크기를 가질 수 있다.

상기 피부색 검출기(210)는 각 블록에 포함된 화소들 중 피부색에 근접한 화소들(이하, 피부색 화소들)을 검출하고, 상기 검출된 피부색 화소들의 수가 블록 내 전체 화소수의 기설정된 비율(예를 들어, 60~80%) 이상이면 해당 블록을 피부색 블록으로 판단한다.

예를 들어, 상기 피부색 검출기(210)가 적용하는 피부색 화소의 판단식은 상기 영상 프레임이 YCrCb 포맷(또는 컬러 모델)으로 표현될 때, 하기 <수학식 1>과 같이 표현될 수 있다.

SkinColorMargin 값은 피부색과 유사한 컬러 값을 포함하도록 10으로 설정될수 있고, 상기 <수학식 1>에서의 구체적 수치들을 예시적으로 주어진 것이다.

즉, 상기 피부색 검출기(210)는 각 화소의 컬러 값들이 상기 <수학식 1>을 만족하는지의 여부, 즉 임계 범위 내에 있는지의 여부를 판단한다.

상기 움직임 블록 검출기(220)는 각 피부색 블록에 포함된 화소들 중 움직임이 있는 화소들을 검출하고, 상기 검출된 움직임 화소들의 수가 블록 내 전체 화소수의 일정 비율 이상이면 해당 피부색 블록을 움직임 블록으로 판단한다. 이러한 움직임 블록의 검출 단계는 각 영상 프레임의 샘플링(sampling) 시점에서 현재 영상 프레임과 이전 영상 프레임에 대하여 수행되며, 상기 현재 영상 프레임이 기준이 된다. 즉, 현재 영상 프레임의 피부색 블록의 각 화소값(즉, 밝기값)과 이전 영 상 프레임의 동일 화소의 화소값을 비교하고, 그 화소값의 차이가 기설정된 임계치(예를 들어, YCrCb 포맷에서의 10~30) 이상이면 상기 화소를 움직임 화소로 판단한다. 상기 움직임 블록 검출기(220)는 각 피부색 블록에 포함된 움직임 화소들의 수가 상기 피부색 블록 내 전체 화소수의 기설정된 비율(예를 들어, 60~80%) 이상이면 해당 피부색 블록을 움직임 블록으로 판단한다.

본 실시예에서, 단순히 피부색 블록들의 움직임을 추정하지 않고, 이러한 피부색 블록들에서 다시 움직임 블록들을 검출하는 이유는, 영상 프레임 속에는 측정 대상인 사용자의 손 뿐만 아니라 얼굴 등이 존재할 수 있기 때문에, 실제로 비교적 큰 움직임이 있는 대상만을 추출하기 위함이다. 따라서, 본 발명의 사용 환경 또는 애플리케이션의 특성에 따라서, 전술한 움직임 블록의 추정(또는 정합) 단계를 생략할 수도 있다.

또한, 본 실시예에서, 피부색 블록들을 검출하는 이유는, 영상 프레임 속 배경 움직임 등을 배제하기 위함이므로, 본 발명의 사용 환경 또는 애플리케이션의 특성에 따라서, 전술한 피부색 블록들의 검출 단계를 생략할 수도 있다.

또한, 본 실시예에서, 목적하는 움직임 대상을 사용자의 손으로 예시하고 있으나, 구체적 애플리케이션의 입력 방식에 따라서 사용자의 얼굴 등과 같은 다른 대상물의 움직임을 추정할 수도 있다.

상기 움직임의 중심점 추정 단계(S120)는 상기 운동량 및 방향 판단기(230)가 상기 각 영상 프레임에 대하여 해당 전체 움직임 블록들의 중심 위치(즉, 운동 중심점)를 추정하는 단계이다. 이러한 중심 위치는 움직임 블록들의 전체 분포 영 역의 중심점으로 정해지거나, 움직임 블록들이 밀집된 영역의 중심점으로 정해지거나, 양자를 결합한 방식(예를 들어, 밀집도에 따라 가중치를 주는 방식) 등 다양한 방식에 따라 정해질 수 있다.

상기 움직임 프레임들 간의 속도 및 운동량 추정 단계(S130)는 상기 운동량 및 방향 판단기(230)가 현재 및 이전 영상 프레임들의 운동 중심점들의 거리에 근거하여 손동작의 속도 및 운동량을 계산하는 단계이다. 이 때, 상기 이전 및 현재 영상 프레임들의 운동 중심점들 간의 거리를 산출하는 것만으로 손동작 인식이 이루어진 것으로 볼 수도 있다. 즉, 손동작의 속도는 후술하는 바와 같이 운동 중심점들 간의 거리로 표현되고, 단순한 애플리케이션의 경우에 이러한 손동작의 속도를 추정하는 것만으로 손동작 입력이 완료될 수 있다. 이러한 손동작의 속도에 더하여 운동량, 강도 및 방향을 추정하는 것은 손동작의 상태에 따라서 다양한 이벤트를 주기 위함이다.

현재 및 이전 영상 프레임들의 운동 중심점들의 좌표들이 각각 {x1, y1} 및 {x2, y2}라고 할 때, 손동작의 속도는 하기 <수학식 2>로 표현될 수 있다.

상기 <수학식 2>에서, sqrt()는 제곱근 함수를 나타내고, 속도는 운동 중심점들 간의 거리로 표현되어 있는데, 이는 상기 손동작 인식부(200)에 입력되는 영상 프레임들의 시간차, 즉 영상 프레임의 샘플링 간격이 일정하고, 이러한 손동작 의 속도 및 운동량은 비교를 위한 상대적인 값들로서만 의미를 가지므로, 이러한 샘플링 간격은 상기 <수학식 2>에서 생략되어 있다. 또한, 손동작의 속도는 손동작의 움직임 거리, 움직임 벡터의 크기 등으로 칭할 수도 있다.

손동작의 운동량을 계산하는데 사용되는 모멘트는 하기 <수학식 3>으로 표현될 수 있다.

상기 <수학식 3>에서, N_{MB_current}는 현재 영상 프레임의 움직임 블록들의 개수를 나타내고, N_{MB_previous}는 이전 영상 프레임의 움직임 블록들의 개수를 나타내고, Max() 함수는 인자들 중 최대값을 산출하는 함수를 나타낸다.

본 실시예에서, 손동작의 운동량을 산출하기 위해 최대값 함수를 사용하고 있으나, 선택적으로 평균 함수 등을 사용할 수도 있다.

전술한 손동작의 속도 및 모멘트를 이용하여 산출되는 운동량은 하기 <수학식 4>로 표현될 수 있다.

상기 운동량 비교 단계(S140)는 상기 운동량 및 방향 판단기(230)가 상기 손동작의 운동량을 기설정된 임계치와 비교하고, 상기 운동량이 상기 임계치 이하이 면 유효한 손동작이 아니라고 판단하여 상기 입력의 방향 및 크기 추정 단계를 수행하지 않고(S150), 상기 운동량이 상기 임계치를 초과하면 상기 입력의 방향 및 크기 추정 단계(S160)를 수행하는 단계이다. 여기서 Speed를 추정하기 위한 루트 계산은 연산량이 많으므로, 모바일에서는 이를 줄이기 위한 방법으로 운동량의 제곱값을 사용한다.

본 실시예에서는, 손동작 입력의 유무를 정확하게 판단하기 위하여, 본 비교 단계(S140)에서 손동작의 속도 이외에 움직임 블록의 개수를 함께 고려하는 방식을 채택하고 있으나, 선택적으로 본 비교 단계는 속도만을 비교하는 단계로 대체될 수 있다.

상기 입력의 방향 및 크기 추정 단계(S160)는 상기 운동량 및 방향 판단기(230)가 손동작의 방향 및 강도를 추정하는 단계이다. 예를 들어, (x1-x2)>0이면, 손동작이 오른쪽 방향(또는 +x 방향)으로 행해졌다고 판단할 수 있고, (x1-x2)<0 이면, 손동작이 왼쪽 방향(-x 방향)으로 행해졌다고 판단할 수 있다. 상하 방향(y축 방향)에 대한 판단도 위와 같은 방식으로 수행될 수 있다. 또한, (x1-x2)/(y1-y2)>1이면 손동작이 좌우 방향(x축 방향)으로 행해졌다고 판단하여 위와 같이 x축 상의 방향을 판단할 수 있고, (x1-x2)/(y1-y2)<1이면 손동작이 상하 방향(y축 방향)으로 행해졌다고 판단하여 위와 같이 y축 상의 방향을 판단할 수 있다.

도 4는 손동작의 방향을 추정하는 단계를 설명하기 위한 도면이다. 도 4에서 화살표는 손동작의 방향을 나타내고, 이러한 손동작에 따른 움직임 블록 들(610~640)이 도시되어 있다. 도 4의 (a)는 사용자가 상 방향 손동작을 한 경우의 영상 프레임과 이에 따른 움직임 블록들(610)을 나타내고, 도 4의 (b)는 사용자가 하 방향 손동작을 한 경우의 영상 프레임과 이에 따른 움직임 블록들(620)을 나타내고, 도 4의 (c)는 사용자가 좌 방향 손동작을 한 경우의 영상 프레임과 이에 따른 움직임 블록들(630)을 나타내고, 도 4의 (d)는 사용자가 우 방향 손동작을 한 경우의 영상 프레임과 이에 따른 움직임 블록들(640)을 나타낸다. 도시된 바와 같이, 사용자가 어느 방향의 손동작을 하느냐에 따라서, 이에 따른 움직임 블록군(group of motion blocks)의 위치가 해당 방향에 편중되어 나타나므로, 상기 움직임 블록군의 중심점을 파악함으로써 손동작의 방향을 추정할 수 있다.

또한, 상기 운동량 및 방향 판단기(230)는 상기 운동량을 기설정된 임계 범위와 비교하여 상기 운동량의 강도(또는 크기)를 추정한다. 예를 들어, 운동량의 크기가 상기 운동량 비교 단계(S140)에서의 임계치보다 크고 10보다 작으면 1단계 강도라고 판단하고, 운동량의 크기가 10이상이고 20보다 작으면 2단계 강도라고 판단하며, 운동량의 크기가 20 이상이면(상한에 해당하는 다른 임계치가 설정될 수 있음) 3단계 강도라고 판단한다.

도 5 및 6은 운동량의 강도를 판단하는 단계를 설명하기 위한 도면이다. 도 5 및 6에서 영상 프레임 내의 화살표는 운동량의 방향과 강도를 나타낸다. 도 5는 1단계 강도를 설명하기 위한 도면이고, 사용자가 좌에서 우로 느린 속도로 손동작을 함에 따라서 1단계 강도가 발생함을 나타낸다. 도시된 바와 같이, 도 5의 (a)에 도시된 이전 영상 프레임에서의 움직임 블록군(310)의 중심점이 도 5의 (b)에 도시 된 현재 영상 프레임에서의 움직임 블록군(320)의 중심점의 위치 차이가 크지 않다는 것을 알 수 있다. 도 6은 3단계 강도를 설명하기 위한 도면이고, 사용자가 좌에서 우로 빠른 속도로 손동작을 함에 따라서 3단계 강도가 발생함을 나타낸다. 도시된 바와 같이, 도 6의 (a)에 도시된 이전 영상 프레임에서의 움직임 블록군(410)의 중심점이 도 6의 (b)에 도시된 현재 영상 프레임에서의 움직임 블록군(420)의 중심점의 위치 차이가 비교적 크다는 것을 알 수 있다.

상기 이벤트 할당 단계(S170)는 상기 이벤트 할당기(240)가 상기 상기 입력의 방향 및 크기 추정 단계(S160)에서 결정된 운동량의 방향 및 강도에 할당된 이벤트를 발생시키는 단계이다. 예를 들어, 이러한 이벤트는 사진 앨범 애플리케이션에서의 사진 앨범 넘기기 이벤트일 수 있고, 상기 제어부(150)는 사진 앨범 넘기기 이벤트에 따른 결과, 즉 다음 순번의 사진이 상기 표시부(130) 상에 표시되도록 한다.

도 7 및 8은 이벤트 할당 단계를 설명하기 위한 도면이다. 도 7은 시간순으로 연속된 4개의 영상 프레임들을 나타내고, 도 7에서 화살표는 손동작의 방향을 나타내고, 이러한 손동작에 따른 움직임 블록들(510~540)이 도시되어 있다. 상기 이벤트 할당기(240)는 상기 영상 프레임들에서 나타나는 좌 방향 손동작에 따라서 사진 앨범 넘기기 이벤트(즉, 페이지 업 이벤트)를 발생시키고, 이에 따른 사진 변경의 결과가 도 8에 도시되어 있다. 즉, 도 8의 (a)에 도시된 이전 사진이 도 8의 (b)에 도시된 현재 사진으로 변경된다. 만약 사용자가 우방향 손동작을 하면 마찬가지로 사진 앨범 넘기기 이벤트(즉, 페이지 다운 이벤트)를 발생되나, 도 8의 (b) 에 도시된 것과는 다른 사진으로 변경될 것이다. 예를 들어, 만화 애플리케이션이 수행되고 있는 경우에, 순방향 만화 넘기기 이벤트를 발생하면 10페이지에서 11페이지로 넘어가고, 역방향 만화 넘기기 이벤트를 발생하면 10페이지에서 9페이지로 넘어가게 된다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해서 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 당해 분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다.

본 발명의 카메라를 이용하여 손동작을 인식하는 장치 및 방법이 하드웨어, 소프트웨어(즉, 프로그램), 또는 이들의 조합의 형태로 구현될 수 있음은 자명하다. 이러한 프로그램은 컴퓨터와 같은 기계가 읽을 수 있는 휘발성 또는 비휘발성 기록매체에 저장될 수 있고, 이러한 기록매체는 ROM 등과 같은 저장 장치, RAM, 메모리 칩, 집적 회로 등과 같은 메모리, CD, DVD, 자기 디스크, 자기 테이프 등과 같은 광학 또는 자기 기록 매체일 수 있다. 즉, 본 발명의 카메라를 이용하여 손동작을 인식하는 방법은 이를 실현하기 위한 코드들을 포함하는 프로그램의 형태로 구체화될 수 있다. 더 나아가서, 이러한 프로그램은 유선 또는 무선으로 전파되는 통신 신호와 같이 임의의 매체를 통해 전기적으로 전달될 수 있고, 본 발명은 이와 균등한 것들을 포함한다.

도 1은 본 발명의 바람직한 실시예에 따른 입력 영상에서 사용자의 손동작을 인식하는 손동작 인식부를 포함하는 휴대 단말기의 구성을 개략적으로 나타내는 도면,

도 2는 도 1에 도시된 손동작 인식부의 상세 구성을 나타내는 도면,

도 3은 본 발명의 바람직한 실시예에 따른 입력 영상에서 사용자의 손동작을 인식하는 방법을 나타내는 흐름도,

도 4는 손동작의 방향을 추정하는 단계를 설명하기 위한 도면,

도 5 및 6은 운동량의 강도를 판단하는 단계를 설명하기 위한 도면들,

도 7 및 8은 이벤트 할당 단계를 설명하기 위한 도면들.

Claims

카메라를 이용하여 사용자의 손동작을 인식하는 방법에 있어서,

상기 카메라로부터 입력된 이전 및 현재 영상 프레임들의 각각을 복수의 영상 블록들로 분할하는 단계와;

상기 각 영상 프레임에 대하여 시간순에 따른 전후 화소값들의 차이에 근거하여 상기 영상 블록들 중 움직임 블록들을 검출하는 단계와;

상기 각 영상 프레임에 대하여 해당 움직임 블록들의 위치에 근거하여 운동 중심점을 검출하는 단계와;

상기 이전 및 현재 영상 프레임들의 운동 중심점들의 위치들에 근거하여 상기 이전 및 현재 영상 프레임들에 나타난 상기 사용자의 손동작을 인식하는 단계를 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제1항에 있어서,

상기 분할된 복수의 영상 블록들 중에서 그 컬러값이 기설정된 임계 범위 내에 속하는 피부색 블록들을 검출하는 단계를 더 포함하고,

상기 움직임 블록들은 상기 피부색 블록들 중에서 검출됨을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제1항에 있어서, 상기 움직임 블록들을 검출하는 단계는,

상기 각 영상 프레임에 대하여 시간순에 따른 전후 화소값들의 차이를 임계치와 비교하여 움직임 화소들을 검출하는 단계와;

상기 각 영상 블록 내의 움직임 화소들의 수를 기설정된 임계치와 비교하여 상기 움직임 블록들을 검출하는 단계를 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제1항에 있어서,

상기 운동 중심점들 간의 거리를 산출하는 단계를 더 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제4항에 있어서,

상기 운동 중심점들 간의 거리와 상기 각 영상 프레임 내의 움직임 블록들의 수에 근거하여 상기 손동작의 운동량을 산출하는 단계를 더 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제5항에 있어서,

상기 산출된 운동량을 기설정된 임계치와 비교하는 단계를 더 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제1항에 있어서,

상기 이전 및 현재 영상 프레임들의 운동 중심점들의 위치들에 근거하여 상기 손동작의 방향을 추정하는 단계를 더 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제5항에 있어서,

상기 산출된 운동량을 기설정된 임계 범위와 비교하여 상기 손동작의 강도를 추정하는 단계를 더 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제1항에 있어서,

상기 인식된 손동작에 따라서 기설정된 이벤트를 발생시키는 단계를 더 포함함을 특징으로 하는 카메라를 이용한 손동작 인식 방법.
제1항 내지 제9항 중 어느 한 항의 카메라를 이용한 손동작 인식 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제1항 내지 제9항 중 어느 한 항의 카메라를 이용한 손동작 인식 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 구비한 휴대 단말기.
카메라를 이용하여 사용자의 손동작을 인식하는 장치에 있어서,

상기 카메라로부터 입력된 이전 및 현재 영상 프레임들의 각각에 대하여 시간순에 따른 전후 화소값들의 차이에 근거하여 상기 각 영상 프레임 내의 움직임 블록들을 검출하는 움직임 블록 검출기와;

상기 각 영상 프레임에 대하여 해당 움직임 블록들의 위치에 근거하여 운동 중심점을 검출하고, 상기 이전 및 현재 영상 프레임들의 운동 중심점들 간의 거리를 산출하는 운동량 및 방향 판단기를 포함함을 특징으로 하는 카메라를 이용하여 손동작을 인식하는 장치.
제12항에 있어서,

상기 각 영상 프레임 내의 영상 블록들 중에서 그 컬러값이 기설정된 임계 범위 내에 속하는 피부색 블록들을 검출하는 피부색 검출기를 더 포함하고,

상기 움직임 블록들은 상기 피부색 블록들 중에서 검출됨을 특징으로 하는 카메라를 이용하여 손동작을 인식하는 장치.
제12항에 있어서,

상기 운동 중심점들 간의 거리에 따른 기설정된 이벤트를 발생시키는 이벤트 할당기를 더 포함함을 특징으로 하는 카메라를 이용하여 손동작을 인식하는 장치.