KR20110121382A - 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법 - Google Patents

Abstract

본 발명은 차세대 디스플레이 장치나 IPTV에 동작 인식용 카메라를 장착하여 입력된 사용자들의 손동작 특징을 나타내는 영상 정보를 영상처리 기술 및 센서 신호처리 기술에 의해 추출하고, 입력된 영상을 분류 및 분석하여 얻어진 정보를 바탕으로 손동작을 인식하여 IPTV 콘텐츠 및 차세대 통합형 디스플레이 기기의 동작 제어를 위한 손동작 인식 기반의 콘텐츠 제어 방법에 관한 것이다.
본 발명에 따르는 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법은, 영상촬영수단을 통해 획득한 영상에서 손 영역을 추출하는 단계; 추출된 상기 손 영역에서 손의 움직임을 인식하는 단계를 포함하여 이루어지는 것을 구성적 특징으로 한다.

Description

차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법{Method for contents control based human hand gesture recognition for integrated display device of next generation}

본 발명은 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법에 관한 것으로, 구체적으로는, 차세대 디스플레이 장치나 IPTV에 동작 인식용 카메라를 장착하여 입력된 사용자들의 손동작 특징을 나타내는 영상 정보를 영상처리 기술 및 센서 신호처리 기술에 의해 추출하고, 입력된 영상을 분류 및 분석하여 얻어진 정보를 바탕으로 손동작을 인식하여 IPTV 콘텐츠 및 차세대 통합형 디스플레이 기기의 동작 제어를 위한 손동작 인식 기반의 콘텐츠 제어 방법에 관한 것이다.

디지털 통신 기술의 발전으로 TV, 인터넷, 게임오락기 등이 통합된 차세대 통합형 멀티미디어 서비스의 발전에 따른 쌍방향 특성을 가진 다양한 서비스가 제공됨에 따라 IPTV 및 비디오 게임기 등의 차세대 디스플레이 장치를 위한 콘텐츠 제어기(인터페이스)를 이용한 입출력의 한계와 더불어 다양한 형태의 콘텐츠 서비스에 따른 복잡한 UI 구조를 요구하고 있다.

TV, 인터넷, 게임 오락기 등의 가전기기에는 원격 제어 기능이 있는 리모콘이 제공되는데, 각 가전기기에는 리모컨에서 보내는 적외선 신호를 수신하기 위한 적외선 신호 수신부를 포함하며, 가전기기의 오작동을 방지하기 위해 각각의 가전기기에 제공되는 리모컨은 서로 상이한 주파수를 사용한다. 따라서, 가전기기의 수만큼 리모컨을 구비해야 하는 문제점을 갖는다.

이러한 문제점을 해결하기 위해 복수의 가전기기를 통합하여 원격제어할 수 있도록 하는 통합 리모컨이 개발되었고, 이동 통신 산업의 발전에 따라 무선 단말기에 리모컨 기능을 부가하여 가전기기를 제어할 수 있도록 하는 기술도 개발되었다.

그러나, 이러한 통합형 리모컨 또는 리모컨 기능이 부가된 무선단말기를 항시 소지하는 것은 사용상의 많은 불편함을 초래한다.

이에 사람이 직접 기존의 리모컨을 조작하지 않고 인간의 손동작 정보를 이용하여 콘텐츠 및 기기를 제어하기 위한 직관적이고 편리한 휴먼 인터페이스에 대한 요구가 증대되고 있다.

본 발명은 상기와 요구에 부합하기 위해 안출된 것으로, 본 발명의 목적은 별도의 입력 장치를 사용하지 않고, 사용자의 손의 움직임만으로 데이터를 입력할 수 있도록 하는 손동작 인식 기반의 콘텐츠 제어 방법을 제공하는 것이다.

본 발명의 목적은 차세대 디스플레이장치나 IPTV에 동작 인식용 카메라를 장착하여, 카메라로 입력된 사용자들의 손동작 특징 정보를 영상처리 기술 및 센서 신호처리 기술로 추출하고, 손동작 인식 기반의 콘텐츠 제어 인터페이스를 이용하여 IPTV 및 차세대 통합형 디스플레이 기기의 동작을 제어하는 방법을 제공하는 것이다.

본 발명에 따르는 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법은, 영상촬영수단을 통해 획득한 영상에서 손 영역을 추출하는 단계; 추출된 상기 손 영역에서 손의 움직임을 인식하는 단계를 포함하여 이루어지는 것을 구성적 특징으로 한다.

손 영역 추출은 피부와 배경 간의 컬러 차이를 이용하여 이루어지고, 상기 컬러는 YCbCr 컬러 모델에서 검출된다.

본 발명에 따르는 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법은, HCI(Human-Computer-Interface)기반의 차세대 디스플레이장치 제어를 용이하게 할 수 있는 손동작 인식 제어시스템 개발을 할 수 있다.

또한 기존의 리모컨의 단점인 키패드를 눌러야 한다는 불편함을 없애고 기존의 IPTV 및 디스플레이장치의 입출력 인터페이스의 한계를 벗어나 디지털 콘텐츠와 사용자의 실체감이 결합되어 직관적일 뿐 아니라 몰입감을 증대시킬 수 있는 차세대 디스플레이장치 콘텐츠 제어를 위한 핵심적인 인터페이스 기술을 제공할 수 있다.

도1은 본 발명에 따르는 YCbCr 컬러 공간 및 YCbCr 검출 결과를 나타내는 도면이다.
도2는 본 발명에 따르는 윤곽선 경계 에너지 추정 방법을 이용한 손 영역 분류 결과를 나타내는 도면이다.
도3은 본 발명에 따르는 광류(optical flow)를 이용한 손의 추적 결과를 나타내는 도면이다.
도4는 본 발명에 따르는 손동작 인식 기반의 콘텐츠 제어를 위한 인터페이스 구성을 나타내는 도면이다.
도5는 본 발명에 따르는 손동작 인식 기반 콘텐츠 제어 시스템의 숫자 입력 영상을 예시적으로 나타내는 도면이다.
도6은 본 발명에 따르는 손동작 인식 기반 콘텐츠 제어 시스템의 MP3 플레이어 실행 영상을 예시적으로 나타내는 도면이다.
도7은 본 발명에 따르는 손동작 인식 기반 콘텐츠 제어 시스템의 MP3 플레이어 실행을 위한 손 모양 및 동작을 나타내는 도면이다.
도8은 본 발명에 따르는 손동작 인식 기반 콘텐츠 제어 시스템의 게임 실행 영상을 예시적으로 나타내는 도면이다.

본 발명에 따르는 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법은, 영상촬영수단을 통해 획득한 영상에서 손 영역을 추출하는 단계; 추출된 상기 손 영역에서 손의 움직임을 인식하는 단계를 포함하여 이루어지는 것을 구성적 특징으로 한다.

손동작 인식 시스템에서 가장 중요한 것은 손 영역을 추출하는 것이다. 손 영역 검출이 정확할수록 손동작 인식이 더 정확하게 이루어진다. 이와 같은 손 영역을 검출하기 위해 본 발명에 따르는 손동작 인식 기반 콘텐츠 제어 시스템은 피부색 정보를 이용한다.

본 발명에 따르는 손동작 인식 기반 콘텐츠 제어 시스템은 다양한 손의 기하학적 형태에 대해 빠른 속도로 패턴 분할을 처리하기 위해 컬러 모델을 이용한 방법을 사용하고 있다. 인간의 피부는 영상 처리에서 쉽게 인식될 수 있는 특징적인 컬러를 가지므로, 손 영역을 검출하기 위해 가장 적합한 피부 컬러 모델을 찾는 것이 중요하다. 피부색과 조명의 변화에 강인한 신뢰할 만한 피부 컬러 모델은 컬러를 기반으로 하여 피부 영역과 비 피부 영역으로 분할 할 수 있어야 한다. 컬러 모델의 비교 실험을 통해서 피부색을 잘 분리할 수 있는 가장 적합한 컬러 공간을 찾는다.

대표적인 컬러 모델로는 RGB 컬러 모델과 YCbCr 컬러 모델이 있으나, 피부색의 변화가 심하더라도 명도보다는 채도의 영향이 적으므로, 조명 변화에 강한 밝기 색차정보인 YCbCr 컬러 모델을 사용한다.

컬러 모델간의 비교를 통해서 YCbCr 컬러 모델이 RGB 컬러 공간보다 피부 영역을 찾는데 더 효율적인 것을 알 수 있다. 따라서 명도성분이 제거된 정규화된 RGB값을 이용하여 RGB 이미지를 YCbCr 컬러 모델로 변환할 수 있는데, 각각의 정규화된 R,G,B값은 다음과 같다.

(1)

(2)

(3)

정규화된 RGB 값은 광원에 의한 물체 표면의 변화를 줄여주는데, 다음의 식에 의해 YCbCr 컬러 모델로 변환되는데, Y는 밝기 값이고, Cb는 파란색 색차신호이고, Cr은 빨간색 색차신호이다.

(4)

(5)

(6)

임계값은 Cr 성분의 이미지에서 식7에 의해 구할 수 있다.

(7)

도1은 임계값에 의한 피부 영역의 이진화 이미지를 나타내는 도면으로, (a)는 피부 컬러 Y 이미지를 나타내고, (b)는 피부 컬러 Cb 이미지를 나타내고, (c)는 피부 컬러 Cr 이미지를 나타내고, (d)는 이진 검출 결과를 나타낸다.

피부 영역은 원영상과 피부색 영역의 마스크 영상의 곱연산으로 구할 수 있다. 다음으로, 피부영역으로 분할된 이미지에서 윤곽선 검출을 한 후 각각의 영역을 레이블링하면 전처리가 끝나게 된다.

전처리가 끝나면 캡처된 프레임에서 각각의 피부영역이 구해지게 된다. 이 때 다른 피부 영역에서 손 영역을 구분하여야 한다. 손은 5개의 손가락으로 구성되어 있기 때문에 손 영역을 잘 구분할 수 있게 한다. 일반적으로 피부영역인 사람의 얼굴과 손이 도1에서 볼 수 있는 바와 같이 많은 부분을 차지하는데, 손과 얼굴의 형태학적인 특성을 고려하여, 영상에서 객체가 갖는 윤곽선의 경계 에너지를 측정하는 경계 에너지(boundary energy) 추정 방법을 사용할 수 있다.

물체의 면적과 둘레는 기하학적인 형태의 두 가지 중요한 속성이다. 하지만 이 두 가지 속성만으로 기하학적인 형태를 분류하는 것은 어렵다. 일반적으로 같은 면적을 가진 물체라도 둘레의 길이는 같지 않다. 이를 구분하기 위해 ‘원형도’라는 기하학적인 형태를 나타내는 특성을 사용한다. 만일 기하학적인 형태가 원이라고 하면 ‘원형도’는 가장 작은 값을 가진다. 그리고 물체가 복잡한 윤곽선을 가진다면 그 값은 커질 것이다. ‘원형도’의 값은 윤곽선의 복잡도를 나타낸다. ‘원형도’의 일반적인 식은 아래 식(8)과 같다.

(8)

여기서, P는 물체 영역의 둘레 길이며 A는 면적을 나타낸다. 만약 물체가 원이라면 4π가 된다. 그리고 물체가 더욱 복잡한 윤곽선을 갖는다면 그 값은 더 커질 것이다. 원형도(C)와 윤곽선 복잡도는 서로 비례하는 관계를 갖는다. 이 원형도, 즉 윤곽선의 복잡도를 경계 에너지(boundary energy)라고 한다.

물체의 둘레의 길이가 P 이고 시작점에서 임의의 윤곽선 지점까지의 거리를 p 라고 가정하자. 어떤 점에서든지 윤곽선은 곡률 반지름r(p) 을 갖는다. 윤곽선의 지점에서의 탄젠트값은 원의 반지름이다. 따라서 p 점에서의 곡률 함수는 아래식과 같다.

(9)

K(p) 함수는 P 주기를 갖는 주기 함수이다. 아래식에 의해 경계(boundary) 길이의 평균 에너지가 계산된다.

(10)

원형의 경우는 다음과 같이 가장 작은 경계 에너지값을 갖게 된다.

(11)

이때, R은 원의 반지름이며 경계 에너지(boundary energy) 값은 윤곽선의 복잡도를 사람이 인지하는 것과 유사하게 나타낼 수 있다.

전술한 바와 같이, 사람의 손 영역은 영상의 많은 부분을 차지하고 또한 복잡한 윤곽선을 갖는다. 따라서 이 두 가지 특징을 식(12)를 이용하여 증가시킬 수 있다.

(12)

여기서 a는 증강 계수이며, 그 결과 값을 조정할 수 있다. 각각의 후보 영역에 적용하여 ω 값을 구한다. 그리고 가장 큰 ω 값을 갖는 영역이 손 영역이 된다. 윤곽선 경계에너지 추정 방법을 이용한 손 영역 분류 결과는 도2와 같다.

도2에서 (a)는 이진화 결과를 나타내고, (b)는 객체 경계 에너지를 나타내고, (c)는 최대 경계 영역의 에너지를 나타낸다.

손 영역 검출은 손의 움직임 추적에 앞서 추적할 것이 손이라는 것을 알려주는 것이다. 검출된 손의 움직임 추적은 광류(Optical Flow)를 이용하여 추적을 한다. 일반적으로 광류는 연속적인 두 프레임 사이의 밝기 패턴의 움직임, 즉 벡터의 방향성을 추정하는 방법이다. 따라서 광류는 실시간에서의 움직임 추적에 강하다는 장점을 갖는다. 광류를 이용한 몇 가지 형태의 응용 알고리즘 중에서, 복잡한 배경과 잡음에 강인한 Lucas-Kanade 방법을 이용한다. 이 방법은 원래 스테레오 매칭을 하기 위한 방법이었지만 현재는 주로 광류에 사용되고 있다. 식 (13)은 Optical Flow를 나타내는 식이다.

(13)

식 (13)에서 I는 밝기값, x는 픽셀의 위치, u는 픽셀의 변화량, t는 시간을 나타내고 있다. 여기에서 밝기값 I는 테일러 급수 확장에 의해 아래의 식 (14)로 표현할 수 있다.

(14)

식 (14)에서 ∇Ｉ는 공간상의 이미지 변화량을 나타내게 된다. 따라서 식 (13)과 식 (14)를 통해 광류 제약 공식을 식 (15)로 유추할 수 있다.

(15)

Lucas-Kanade 알고리즘은 각 해당 윈도우에서 식 (15)의 좌변 값을 최소화하는 것이다.

(16)

여기서 ω: W→ R은 가우시안 가중치 함수이다. 이와 같이 Lucas-Kanade 알고리즘을 통한 광류를 이용하여 손 끝점의 좌표를 추적하게 된다.

도3은 광류를 이용한 손의 추적 결과이다.

도4는 본 발명에 따르는 손동작 인식 기반의 콘텐츠 제어를 위한 메인 인터페이스를 나타내는 도면이다. 상단에 있는 선택 메뉴는 숫자 입력, MP3 플레이어 및 손동작을 이용한 게임 등으로 구성된다.

콘텐츠 제어를 위한 메인 인터페이스 작동 방법은 아래와 같다.

1) 사용자는 손바닥을 펴서 본 시스템에 장착된 카메라 앞에 가져간다.

2) 카메라가 손을 인식하면 디스플레이 장치상에 흰색의 사각형이 손 주위에 만들어진다.

3) 손을 상하좌우로 움직여서 원하는 메뉴를 향해 커서를 이동한다.

4) 선택한 메뉴 위에서 약 0.5초 멈추어 있으면 메뉴를 선택한다.

도 5는 본 발명에 따르는 손동작 인식 기반의 콘텐츠 제어를 위한 숫자 입력 인터페이스를 나타내는 도면이다. 상단에 있는 숫자 패널을 이용하여 원하는 숫자를 입력하게 된다. 숫자 입력 기능은 IPTV나 기타 디스플레이 장치의 채널 변경을 위한 기능이다.

콘텐츠 제어를 위한 숫자 입력 인터페이스 작동 방법은 아래와 같다.

1) 사용자는 손바닥을 펴서 본 시스템에 장착된 카메라 앞에 가져간다.

2) 손을 상하좌우로 움직여서 디스플레이 장치의 원하는 메뉴로 커서를 이동한다.

3) 숫자 패드 위에서 약 0.5초 정도 멈추어 있으면 숫자를 선택한다.

도6은 MP3 제어를 위한 인터페이스이다. MP3 플레이를 위해 10곡의 노래를 임의적으로 아이콘화시켜 놓았으나 반드시 이에 국한되는 것은 아니다. MP3 플레이는 도7에 도시된 바와 같은 손동작 및 손 모양에 의해 실행이 된다.

콘텐츠 제어를 위한 MP3의 작동 방법은 아래와 같다.

1) 사용자는 손바닥을 펴서 본 시스템에 장착된 카메라 앞에 가져간다.

2) 손을 상하좌우로 움직여서 원하는 MP3 목록으로 커서를 이동한다.

3) 숫자 패드 위에 약 0.5초 정도 멈추어 있으면 플레이가 된다.

4) 선택한 곡 외에 다른 곡을 선택 시에는 도7a에 도시된 바와 같은 손 모양으로 상하로 손을 움직여 선택한다.

5) 노래의 음량을 조절하기 위해 도7b에 도시된 바와 같은 손 모양으로 손 높이를 상하로 조정하여 음량을 조절한다.

도8은 게임 실행을 위한 인터페이스이다. 오른쪽 상단의 START 버튼을 클릭하여 게임을 실행하며 손의 움직임을 이용하여 망치 모양의 커서를 이동 후 빨간색 원에서 나오는 마우스 위에 가져가면 점수를 획득하게 된다.

콘텐츠 제어를 위한 게임 실행 인터페이스 작동 방법은 아래와 같다.

1) 사용자는 손바닥을 펴서 본 시스템에 장착된 카메라 앞에 가져간다.

2) 손을 인식 시킨 후 오른쪽 상단에 있는 START 버튼 위로 움직여 게임을 실행한다.

3) 빨간색 원에서 마우스가 나오면 손을 움직여 망치 모양의 커서를 마우스로 이동시켜 점수를 획득한다.

이상의 설명은 본 발명의 기술 사항을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

1. 영상촬영수단을 통해 획득한 영상에서 손 영역을 추출하는 단계;
   추출된 상기 손 영역에서 손의 움직임을 인식하는 단계를 포함하여 이루어진
   차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법.
   
2. 제1항에 있어서,
   상기 손 영역을 추출하는 단계는,
   피부와 배경 간의 컬러 차이를 이용하여 이루어지고, 상기 컬러는 YCbCr 컬러 모델에서 검출되는 것을 특징으로 하는
   차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법.
   
3. 제1항에 있어서,
   상기 손 영역을 추출하는 단계는,
   피부 영역으로 분류된 영상의 윤곽선을 검출하여 레이블링하는 단계를 더 포함하는 것을 특징으로 하는
   차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법.
   
4. 제3항에 있어서,
   상기 손 영역을 추출하는 단계는,
   상기 피부 영역에서 손 영역을 구분하는 단계를 더 포함하는 것을 특징으로 하는
   차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법.
   
5. 제4항에 있어서,
   상기 피부 영역에서 상기 손 영역을 구분하는 단계는,
   윤곽선 경계 에너지(edge boundary energy) 추정 방법으로 이루어지는 것을 특징으로 하는
   차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법.
   
6. 제1항에 있어서,
   추출된 상기 손 영역에서 손의 움직임을 인식하는 단계는,
   광류를 이용하여 Lucas-Kanade 방법에 의해 손 끝점의 좌표를 추적하는 단계를 포함하는 것을 특징으로 하는
   차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법.

Images