KR101289883B1 - 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법 - Google Patents

Abstract

복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 포인팅 장치의 마스크 생성 장치는, 상기 복수의 영상 정보를 이용하여 추출된 시차 맵을 입력받는 입력부; 상기 시차 맵의 2차원 좌표를 확인하는 좌표 콤퍼레이터(Comparator); 유의미한 영역과 무의미한 영역의 설정 정보를 저장하고, 상기 좌표 콤퍼레이터(Comparator)가 확인한 2차원 좌표를 토대로 상기 시차 맵이 유의미한 영역에 포함되는지 또는 무의미한 영역에 포함되는지 판단하는 판단부; 상기 유의미한 영역에는 제1 임계값을 설정하고, 상기 무의미한 영역에는 제2 임계값을 설정하는 임계값 설정부; 상기 판단부의 판단 결과에 따라 상기 임계값 설정부의 제1 임계값 또는 제2 임계값 중 하나를 선택하는 선택부; 및 상기 입력부가 입력받은 픽셀 값과 상기 선택부가 선택한 제1 임계값 또는 제2 임계값을 비교하여 상기 제1 임계값 또는 상기 제2 임계값보다 큰 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 마스킹부를 포함한다.

Description

영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법{SYSTEM AND METHOD FOR GENERATING MASK IMAGE APPLIED IN EACH THRESHOLD IN REGION}

본 발명은 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법에 관한 것이다.

다양한 입력 장치들은 오직 키보드를 통해 문자열을 입력 받아 명령어를 수행하는 1차원적인 입력 장치를 나타내는 도스(DOS) 시대, 마우스와 같이 2차원적인 입력 장치로 좌우 좌표 입력과 클릭으로 인한 직관적인 명령 입력이 가능한 윈도우 시대, 터치 스크린의 등장으로 디스플레이에 표출되는 영상을 터치하는 등 디바이스와의 접촉을 통해 직관적인 명령의 입력이 가능한 스마트 폰 시대를 거쳐, 디스플레이와 접촉하지 않고도 명령 입력이 가능하도록 하는 제스쳐(gesture) 시대까지 다양하게 발전되고 있다.

제스쳐 시대에서 사용하는 입력 장치들을 구현하기 위해서는 제스쳐를 인식할 수 있는 강력한 센서와 제스처를 처리할 수 있는 프로세서가 필요하다. 이러한 제스처를 사용하는 입력 장치는 영상의 시차 맵(disparity MAP)으로 포인팅 디바이스를 설계한다.

이때, 지시하고자 하는 손이나 손가락(유의미한 부분)보다 카메라에 가까이 위치한 물체(티테이블, 화분 등)로 인한 오동작이나 인식의 오류가 발생한다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 인식된 영상에서 유의미한 영역과 무의미한 영역을 구분하고, 각 영역에 별도의 임계치(threshold)를 주어 흑백(Black&White, 이하, 'BW') 영상을 생성할 수 있는 마스크 이미지 생성 장치 및 그 방법을 제공하는 것이다.

본 발명의 한 특징에 따르면 마스크 이미지 생성 장치가 제공된다. 이 장치는, 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 포인팅 장치의 마스크 생성 장치로서, 상기 복수의 영상 정보를 이용하여 추출된 시차 맵을 입력받는 입력부; 상기 시차 맵의 2차원 좌표를 확인하는 좌표 콤퍼레이터(Comparator); 유의미한 영역과 무의미한 영역의 설정 정보를 저장하고, 상기 좌표 콤퍼레이터(Comparator)가 확인한 2차원 좌표를 토대로 상기 시차 맵이 유의미한 영역에 포함되는지 또는 무의미한 영역에 포함되는지 판단하는 판단부; 상기 유의미한 영역에는 제1 임계값을 설정하고, 상기 무의미한 영역에는 제2 임계값을 설정하는 임계값 설정부; 상기 판단부의 판단 결과에 따라 상기 임계값 설정부의 제1 임계값 또는 제2 임계값 중 하나를 선택하는 선택부; 및 상기 입력부가 입력받은 시차 맵과 상기 선택부가 선택한 제1 임계값 또는 제2 임계값을 비교하여 상기 제1 임계값 또는 상기 제2 임계값보다 큰 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 마스킹부를 포함한다.

이때, 상기 판단부는, 장애물이 없는 상기 복수의 카메라와 가까운 유의미한 영역을 설정하고, 상기 시차 맵이 상기 유의미한 영역에 존재하는지 판단하고,

상기 임계값 설정부는, 상기 시차 맵이 상기 복수의 카메라와 가까운 유의미한 영역으로 판단되는 경우, 제3 임계치를 설정하여 상기 선택부로 제공할 수 있다.

또한, 상기 마스크 생성 장치는, 상기 제1 임계치 또는 상기 제3 임계치를 적용한 상태에서 전후 방향의 멀티 임계치 1, 2를 적용하는 멀티 임계치 설정부를 더 포함하고,

상기 선택부는, 상기 시차 맵이 유의미한 영역에 존재하는 경우, 상기 제1 임계치 또는 상기 제3 임계치와, 상기 멀티 임계치 1, 2를 선택하며,

상기 마스킹부는, 상기 멀티 임계치 1, 2를 초과하는 시차 맵의 수를 기록하여 상기 제1 임계치 또는 상기 제3 임계치를 초과하는 시차 맵의 수가 유지되는지 또는 적어지거나 많아지는지를 판단할 수 있다.

본 발명의 다른 특징에 따르면 마스크 이미지 생성 방법이 제공된다. 이 방법은, 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 포인팅 장치의 마스크 생성 방법으로서, 상기 복수의 영상 정보를 이용하여 추출된 시차 맵을 입력받는 단계; 상기 시차 맵의 2차원 좌표를 확인하는 단계; 상기 좌표 콤퍼레이터(Comparator)가 확인한 2차원 좌표를 토대로 상기 시차 맵이 유의미한 영역에 포함되는지 또는 무의미한 영역에 포함되는지 판단하는 단계; 상기 유의미한 영역에는 제1 임계값을 선택하고, 상기 무의미한 영역에는 제2 임계값을 선택하는 단계; 상기 시차 맵과 상기 제1 임계값 또는 제2 임계값을 비교하는 단계; 및 상기 제1 임계값 또는 상기 제2 임계값보다 큰 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 단계를 포함한다.

이때, 상기 판단하는 단계는, 상기 유의미한 영역으로 판단되는 경우, 장애물이 없는 상기 복수의 카메라와 가까운 유의미한 영역인지를 판단하고,

상기 선택하는 단계는, 상기 복수의 카메라와 가까운 유의미한 영역으로 판단되면, 제3 임계치를 선택하며,

상기 생성하는 단계는, 상기 제3 임계치보다 큰 시차 맵들을 포함하는 복수의 마스킹 정보를 생성할 수 있다.

또한, 상기 선택하는 단계는, 상기 제1 임계치 또는 상기 제3 임계치를 선택하는 단계; 및 상기 제1 임계치 또는 상기 제3 임계치로부터 전후 방향의 멀티 임계치 1, 2를 선택하는 단계를 포함하고,

상기 생성하는 단계는, 상기 멀티 임계치 1, 2를 초과하는 시차 맵의 수를 기록하는 단계; 상기 제1 임계치 또는 상기 제3 임계치를 초과하는 시차 맵의 수가 유지되는지 또는 적어지거나 많아지는지를 판단하는 단계; 및 상기 시차 맵의 수가 유지되는 경우, 정지 상태로 판단하고,상기 시차 맵의 수가 적어지거나 많아지는 경우, 전후 방향으로 이동하는 경우로 판단하는 단계를 포함할 수 있다.

또한, 상기 시차 맵은, 상기 영상 정보를 수집한 카메라와 상기 영상 정보를 생성한 물체 사이의 거리 정보를 포함할 수 있다.

또한, 상기 시차 맵이 상기 임계 값 보다 작으면, 상기 시차 맵을 삭제하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 피사체 즉 지시자보다 가까운 곳에 위치한 물체(예, 나무, 화분, 티테이블 등)는 장애요소로 작용하므로, 몇가지 구역으로 분할하고 구역마다 별도의 임계치(threshold)를 적용하여 지시자만이 나타나도록 함으로써, 지시자보다 카메라에 가까운 물체는 물리적으로 제거하거나 화상에서 구역을 분할하여 제거할 수 있다.

또한, 제스처를 인지하는 디바이스를 포인팅 디바이스와 같이 구현할 수 있기 때문에 가전 또는 휴대용 기기에 적용할 수 있을 뿐만 아니라, 저 비용으로도 디바이스를 구현할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 시차 맵을 사용한 포인팅 장치의 예시도이다.
도 2는 본 발명의 실시예에 따른 적용 사례를 나타낸다.
도 3은 본 발명의 실시예에 따른 구역 분할예를 나타낸다.
도 4~도 5는 본 발명의 실시예에 따른 임계치 적용예를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 포인팅 장치의 구성을 나타낸 블록도이다.
도 7은 도 6의 마스크 생성부의 구성을 나타낸 블록도이다.
도 8은 본 발명의 실시예에 따른 포인팅 장치를 이용한 마스크 이미지 생성 방법을 나타낸 순서도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하, 도면을 참조로 하여 본 발명의 실시예에 따른 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 시차 맵을 사용한 포인팅 장치의 예시도이고 도 2는 본 발명의 실시예에 따른 적용 사례를 나타낸다.

도 1을 참조하면, 포인팅 장치(100)는 앞면에 영상 정보 수집 수단(200)이 구비되어 있다. 제스처를 수행하는 사용자는 포인팅 장치(100)에서 근접한 위치에서 제스처를 취하게 된다. 포인팅 디바이스(100)는 제스처 인식을 통하여 디바이스에 명령을 내리는 입력 장치이다.

여기서, 본 발명의 실시예에서는 설명의 편의를 위하여 영상 정보 수집 수단(200)으로 카메라를 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 그리고 영상 정보를 수집하기 위하여 카메라는 렌즈가 두 개 달린 스테레오 카메라를 이용한다.

포인팅 장치(100)는 스테레오 카메라(200)를 통해 수집한 영상 정보로부터 사용자가 취한 제스처를 시차 맵(disparity map)을 이용하여 제스처를 추적하고, 제스처에 해당하여 미리 설정한 결과를 사용자에게 제공한다.

이때, 시차 맵은 스테레오 카메라(200)에 맺힌 피사체의 거리를 계산한 결과를 의미한다. 여기서, 피사체라 함은 제스처를 취하는 사용자를 의미하며, 이하 설명의 편의를 위하여 피사체와 사용자를 혼용하여 기재하기로 한다.

포인팅 장치(100)는 예컨대 TV와 같은 디바이스에 장착될 수 있으며, 제스처 인식을 통하여 디바이스에 명령을 내리고자 하는 입력 장치이다. 이러한 포인팅 장치(100)는 스테레오 카메라(200)를 사용하여 도 2의 (A)와 같이 왼쪽 영상을 획득하고, 또한, 오른쪽의 영상을 획득한다. 그리고 왼쪽과 오른쪽의 영상을 이미지 프로세싱을 통하여 도 2의 (B)와 같이 깊이 정보(B)를 획득한다. 여기서, 깊이 정보(B)란 스테레오 카메라(200)와 영상(피사체 또는 물체)의 각 픽셀의 거리를 나타낸 정보이다. 그리고 깊이 정보(B)에 임계치(threshold)를 적용하여 임계치보다 작은 값을 마스킹하여 제거함으로써 도 2의 (C)와 같이 마스크된 이미지 즉 흑백(Black&White, 이하, 'BW') 영상을 획득한다. 여기서, 도 2의 (c)가 가장 중요한 과정으로서, 전체 프로세싱의 작업량을 줄여주는 역할을 한다. 그리고 최종적으로 도 2의 (D)와 같이 블롭(Blob)을 검출함으로써, 제스처를 인식하게 된다.

이때, 스테레오 카메라(200)에 맺힌 피사체(예, 손가락)까지의 거리(Finger Distance)는 물체(예, 나무)까지의 거리(Plant Distance)보다 더 멀다. 따라서, 피사체(예, 손가락)보다 스테레오 카메라(200)에 가까이 위치한 물체(예, 나무) 로 인한 오동작이나 인식의 오류가 발생한다. 즉 시차 맵의 계산 결과는 피사체(예, 손가락)의 거리보다 물체(예, 나무)의 위치가 스테레오 카메라(200)에 가까이 있으므로, 높은 값을 가지게 된다. 이경우, 지시하는 손가락의 위치가 전체 평균 임계치보다 낮은 경우, BW 영상에 나타나지 않는 경우가 발생할 수 있다.

입력을 하고자 하는 지시자 예를 들어, 손, 손가락, 막대 등은 스테레오 카메라(200)에 가장 가까운 곳에 위치한다는 기본 전제를 가지고 구현한 알고리즘이다. 따라서, 지시자보다 카메라에 가까운 물체는 물리적으로 제거하거나 화상에서 구역을 분할하여 제거한다. 즉 피사체 즉 지시자보다 가까운 곳에 위치한 물체(예, 나무, 화분, 티테이블 등)는 장애요소로 작용하므로, 이것을 제거하기 위하여 화면을 도 3과 같이, 몇가지 구역으로 분할하고 구역마다 별도의 임계치(threshold)를 적용하여 지시자만이 나타나도록 한다.

도 3은 본 발명의 실시예에 따른 구역 분할예를 나타낸다.

도 3을 참조하면, 스테레오 카메라(200)에 잡힌 영상 중에 지시자를 포함한 여러 물체가 한꺼번에 잡힌 상황에서 화분이나 티테이블을 마스킹하고 별도의 임계치를 적용하여 도 4와 같은 상황에서만 동작하도록 설정한다. 즉 유의미한 영역과 무의미한 영역을 구분하고 각 영역 별로 별도의 임계치(threshold)를 적용하여 하나의 흑백(BW) 영상을 구현한다.

이때, 무의미한 영역에 설정된 임계치보다 큰 픽셀 값을 1로 두고 작으면 0으로 두는 작업은 물체를 0으로 두기 위한 과정이다.

또한, 지시자를 나타내기 위한 즉 유의미한 영역에 할당되는 임계치도 사용자의 움직임에 따라 동적으로 움직이므로, 후술하겠지만, 제1 임계치와 제3 임계치를 포함한다. 만약, 지시자의 위치가 물체보다 앞으로 움직인다면 물체를 제거하기 위한 기능은 제거되고, 더 이상 무의미한 영역이 아닌 유의미한 영역으로 바꾸게 된다. 이때, 무의미한 영역에 설정된 임계치보다 지시자를 위한 임계치가 크게 된 경우로서, 도 4의 제3 임계치(Threshold #3)에 해당된다.

도 4~도 5는 본 발명의 실시예에 따른 임계치 적용예를 나타낸 도면이다.

도 4를 참조하면, 사람(지시자)이 쇼파에 앉아 있을 경우, 사람의 손이 표시되는 영역에 적용되는 제1 임계치(threshold #1)와, 티테이블이 표시되는 영역에 적용되는 제2 임계치(threshold #2)를 다르게 적용하여 실제 마스크된(Masked) BW 이미지에는 손만이 나오도록 조절한다.

여기서, 제2 임계치(threshold #2)는 고정되지만, 제1 임계치(threshold #1)는 손의 움직임에 따라 움직인다. 즉 사용자가 일어나서 스테레오 카메라(200)쪽으로 가까이 이동하는 경우, 영역 구분이 없는 하나의 임계치 즉 제3 임계치(threshold #3)를 적용한다. 즉, 지시자가 도 4와 같이 움직인다면 지시자가 표시되는 영역에 적용된 제1 임계치(threshold #1)와 제2 임계치(threshold #2)는 제3 임계치(threshold #3)로 변화한다.

여기서, 지시자가 물체보다 뒤에 있는 경우, 제1 임계치(threshold #1)는 유의미한 영역에 적용된 임계치가 되고, 제2 임계치(threshold #2)는 물체에 적용한 임계치로서, 물체를 마스크 영상에서 제거하기 위한 임계치이다. 또한, 지시자가 물체보다 앞에 있는 경우, 제3 임계치(threshold #3)는 지시자에 적용한 제1 임계치(threshold #1)가 제2 임계치(threshold #2)보다 큰 값이 될 경우, 더 이상 무의미한 영역에 대한 임계치를 따로 설정할 이유가 없어진다. 즉 더 이상 제3 임계치(threshold #3)로 모든 영상에 임계치로 적용해도 물체가 마스크 영상에 남아 있지 않게 된다.

이처럼, 지시자가 도 4와 같이 움직여 지시자가 표시되는 영역에 적용된 제1 임계치(threshold #1)와 제2 임계치(threshold #2)는 제3 임계치(threshold #3)로 변화 시키위해서 복수의 임계치를 기반으로 동작하도록 한다. 그리고, 지시자의 상하좌우 움직임 뿐만이 아니라 전후로 움직임도 같이 포함하여 동작하여야 한다. 지시자의 전후로 움직임에 따라 임계치를 능동적으로 변화하기 위한 장치로 도 5와 같이 적용한다.

도 5를 참조하면, 현재 적용하고 있는 임계치(Current threshold)와 별도로 가상의 임계치(Multi threshold #1, #2)를 적용하여 각 가상의 임계치(Multi threshold #1, #2)를 넘는 픽셀의 수를 기록한다. 현재 임계치(Current threshold)가 적정하다면 현재 임계치(Current threshold)를 넘는 픽셀의 수가 유지되므로 알 수 있으며, 적어지거나 많아진다면 전후로 움직이는 것으로 볼 수 있다. 이때, 제4 임계치(Current threshold)의 값을 가상의 임계치(Multi threshold #1, #2)를 넘는 픽셀의 수를 감안하여 움직일 수 있다.

이러한 가상의 임계치(Multi threshold #1, #2)는 실제로 영상을 제거하기 위한 도 4의 임계치와는 달리 임계치를 넘는 픽셀의 수만을 계산하여 전달한다. 총 3개의 멀티 임계치는 지시자의 움직임을 민감하게 잡아낼 수 있다.

도 4와 연계하여 설명하면, 지시자의 위치를 추적하기 위한 제1 임계치(threshold #1)는 지시자의 전후 움직임에 따라 제3 임계치(threshold #3)가 변화하면서 추적된다. 사용자가 의자에 앉아 있는 경우 유의미한 영역에 적용된 제1 임계치(threshold #1)와, 무의미한 영역에 적용된 제2 임계치(threshold #2)가 분리되어 적용된다. 이유는 마스크 패턴 영상에 지시자만 남기기 위하여 지시자보다 가까운 위치에 있는 물체를 제거하기 위해 무의미한 영역의 제2 임계치를 물체의 실제 위치보다 크게 설정한다.

지시자가 카메라쪽으로 이동하는 경우 즉 서있는 경우, 물체보다 지시자가 카메라에 가까운 경우에는 유의미한 영역과 무의미한 영역에 적용되는 임계치가 하나의 임계치(threshold #3)로 변화하게 된다. 이를 위해서 현재 지시자에 적용되는 임계치의 적정 여부를 계속적으로 감시해야 하는데, 이를 위해서 도 5와 같이 현재 적용된 임계치 이외에 도 5의 가상의 임계치(Multi threshold #1, #2)를 설정하는 것이다. 따라서, 이러한 가상의 임계치(Multi threshold #1, #2)를 적용하게 되면, 가상의 임계치(Multi threshold #1, #2)를 만족하는 픽셀의 수만 알 수 있다. 즉 현재 적용한 임계치 외에 지시자가 앞으로 이동할 경우, 가상의 임계치(Multi_threshold #2)임계치를 넘는 픽셀의 수가 증가할 것이고, 마찬가지로 가상의 임계치(Multi threshold #1) 임계치를 넘는 픽셀의 수가"0"였다가 점점 숫자가 증가할 것이다. 이러한 경우, 현재 임계치(Current threshold)를 큰값으로 변화시켜야한다는 판단이 가능하다. 반대의 경우, 임계치를 넘는 픽셀의 수가 점점 적어지다가 일정 개수 미만으로 떨어지면 현재 임계치(Current threshold)를 작은 값으로 변환시키게 된다.

지금까지 기술한 도 2~ 도 5의 동작을 구현하는 포인팅 장치(100)의 구성은 도 6과 같다.

도 6은 본 발명의 실시예에 따른 포인팅 장치의 구성을 나타낸 블록도이다.

도 6을 참조하면, 포인팅 장치(100)는 제1 인터페이스부(110), 제2 인터페이스부(120), 시차 맵 생성부(130), 마스크 생성부(140), 좌표 생성부(150) 및 제스처 인식부(160)를 포함한다.

제1 인터페이스부(110)와 제2 인터페이스부(120)는 각각 스테레오 카메라(200)의 제1 렌즈와 제2 렌즈에 연동하여, 피사체에 의해 입력되어 들어오는 제1 영상과 제2 영상을 수신하고, 두 개의 영상의 동기를 맞춘다. 이는 본 발명의 실시예에서는 두 개의 렌즈가 장착된 스테레오 카메라(200)를 이용하여 영상 정보를 수집하기 때문이다.

즉, 스테레오 카메라(200)의 제1 렌즈에서 수집한 제1 영상과 제2 렌즈에서 수집한 제2 영상이 각각 제1 인터페이스부(110)와 제2 인터페이스부(120)로 전달될 경우, 두 개의 영상이 임의의 한 시점에 이루어진 제스처임을 파악할 수 있도록 하기 위해 동기를 맞춰준다. 여기서 동기를 맞추는 방법은 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략하기로 한다.

또한 제1 인터페이스부(110)와 제2 인터페이스부(120)는 스테레오 카메라(200)의 영상 오류를 복원하기도 한다. 이때의 영상 오류 복원 방법도 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략하기로 한다.

시차 맵 생성부(130)는 제1 인터페이스부(110)와 제2 인터페이스부(120)로부터 출력되는 제1 영상 및 제2 영상을 입력 받아, 두 개의 영상을 비교하여 영상 정보 수집 수단(200)과 피사체 사이의 거리 정보 즉, 시차 맵을 추출한다.

마스크 생성부(140)는 시차 맵 생성부(130)에서 추출한 시차 맵을 입력 받아, 시차 맵을 미리 설정해 놓은 문턱값과 비교하여, 문턱값보다 낮은 값을 갖는 거리 정보는 배경에 해당하는 정보로 무의미한 정보라 분리하고, 임계값보다 높은 값을 갖는 시차 맵은 실제 제스처를 취한 물체일 확률이 높기 때문에 임계값보다 높은 시차 맵만을 남겨둔다. 마스크 생성부(140)에서 출력된 정보를 마스킹 정보라 지칭한다.

이러한 마스크 생성부(140)는 앞서, 도 2~ 도 5에서 설명한 것처럼, 영역 별로 설정된 문턱값을 이용하며, 임계값을 토대로 BW 이미지를 생성하기 위해서는 다음 수학식 1을 이용한다.

즉, 픽셀 값(pixel value) 즉 시차 맵이 미리 설정한 영역 별 임계값 보다 크면 1을 출력하고, 임계값 보다 작거나 같으면 0을 출력하게 된다. 따라서, 배경을 모두 무의미한 값(0)을 갖도록 하고, 실제로 BW 이미지에 나타나는 유의미한 값(1)을 가진 부분은 모두 유의미한 영상으로 이루어지게 된다. 그러므로, 영상을 이후에 유의미한 부분과 무의미한 부분으로 분리하는 작업이 필요없다.

좌표 생성부(150)는 마스크 생성부(140)에서 추출한 의미 있는 정보인 마스킹 정보를 수집하여, 가중치(weight)가 높은 순서대로 마스킹 정보를 추출하여 마스킹 정보로부터 좌표를 생성하여 출력한다. 여기서, 가중치는 카메라와 피사체 사이의 거리가 짧을수록 가중치가 높아지게 되고, 카메라와 피사체 사이의 거리가 길수록 가중치가 낮아지게 된다.

제스처 인식부(160)는 좌표 생성부(150)에서 출력한 좌표 정보를 토대로 피사체에서 발생한 제스처를 인식한다. 즉, 좌표 정보로부터 노이즈를 제거하고, 노이즈가 제거된 좌표 정보로부터 제스처를 인식하고, 인식한 제스처에 대하여 미리 저장해 놓은 제스처별 인식 결과를 피사체 즉, 사용자에게 제공한다.

다시 말해, 제스처 인식부(160)가 좌표 생성부(150)에서 하나의 제스처가 완료되는 순간까지의 복수의 좌표를 수신하면, 좌표 정보를 토대로 어떠한 제스처가 이루어졌는지를 파악하게 된다. 본 발명의 실시예에서는 제스처 인식부(160)는 소프트웨어로 구현되는 것을 예로 하여 설명한다.

도 7은 도 6의 마스크 생성부의 구성을 나타낸 블록도이다.

도 7을 참조하면, 마스크 생성부(140)는 입력부(141), 임계치 콤퍼레이터(Comparator)(142), 멀티 임계치 콤퍼레이터(143), X축 콤퍼레이터(144), Y축 콤퍼레이터(145), 판단부(146), 선택부(147) 및 마스킹부(148)를 포함한다.

입력부(141)는 시차 맵 생성부(130)로부터 시차 맵 즉 픽셀 값을 입력받는다.

임계치 콤퍼레이터(Comparator)(142)는 도 3에서 설명한 것처럼, 의미있는 영역에 적용되는 제1 임계치, 제3 임계치와, 무의미한 영역에 적용되는 제2 임계치를 설정 및 선택부(147)로 출력한다.

멀티 임계치 콤퍼레이터(143)는 도 5에서 설명한 것처럼, 지시자(손가락)가 움직이는 경우, 현재 임계치(제1 임계치 또는 제3 임계치)를 기준으로 멀티 임계치 1, 2를 설정 및 선택부(147)로 출력한다.

X축 콤퍼레이터(144)는 입력부(141)가 입력받은 픽셀 값을 토대로 X축 좌표를 측정한다.

Y축 콤퍼레이터(145)는 입력부(141)가 입력받은 픽셀 값을 토대로 Y축 좌표를 측정한다.

판단부(146)는 미리 유의미한 영역과 무의미한 영역의 정보를 저장하고, X축 콤퍼레이터(144) 및 Y축 콤퍼레이터(145)로부터 입력받은 픽셀 값의 X축, Y축 좌표를 토대로 픽셀 값이 유의미한 영역(In region)에 존재하는지 또는 유의미한 영역 밖에 위치하는지 즉 무의미한 영역(Out region)에 존재하는지 판단한다.

선택부(147)는 판단부(146)의 판단에 따라 입력부(141)가 입력받은 픽셀 값이 유의미한 영역에 존재하는 경우, 임계치 콤퍼레이터(Comparator)(142)와 멀티 임계치 콤퍼레이터(143)의 동작을 제어하여 유의미한 영역에 설정된 임계값을 선택한다. 또한, 판단부(146)의 판단에 따라 입력부(141)가 입력받은 픽셀 값이 무의미한 영역에 존재하는 경우, 임계치 콤퍼레이터(Comparator)(142)와 멀티 임계치 콤퍼레이터(143)의 동작을 제어하여 무의미한 영역에 설정된 임계값을 선택한다.

마스킹부(148)는 선택부(147)각각의 임계값을 적용하여 수학식 1을 통해 BW 이미지를 생성하여 좌표값 생성부(150)로 출력한다.

이상에서 설명한 포인팅 장치를 이용하여 피사체에서 발생한 제스처를 인식하는 방법에 대하여 도 8을 참조로 설명하기로 한다.

도 8은 본 발명의 실시예에 따른 포인팅 장치를 이용한 마스크 이미지 생성 방법을 나타낸 순서도로서, 즉 도 7의 마스크 생성부의 마스크 이미지 생성 과정을 나타낸다.

도 8을 참조하면, 입력받은 픽셀 값의 X축, Y축 좌표를 확인한다(S101).

이때, X축, Y축 좌표를 토대로 픽셀 값이 유의미한 영역의 값인지 또는 무의미한 영역의 값인지를 판단한다(S103).

여기서, 무의미한 영역의 값으로 판단되면, 제2 임계치를 적용하여 픽셀 값이 제2 임계치를 초과하는 경우 1을 출력하고, 제2 임계치 이하인 경우 0을 출력한다(S105).

반면, 유의미한 영역의 값으로 판단되면, 제1 임계치를 적용하여 픽셀 값이 제1 임계치를 초과하는 경우 1을 출력하고, 제1 임계치인 경우 0을 출력한다(S107).

이때, 시차 맵이 제1 임계치 보다 작으면, 해당 시차 맵을 삭제하는 단계가 더 수행될 수 있다.

여기서, S107 단계에서는 현재 적용하고 있는 임계치(Current threshold)와 별도로 가상의 임계치(Multi threshold #1, #2)를 적용하여 각 가상의 임계치(Multi threshold #1, #2)를 넘는 픽셀의 수를 기록한다. 즉 현재 임계치(Current threshold)가 적정하다면 현재 임계치(Current threshold)를 넘는 픽셀의 수가 유지되므로 알 수 있다. 반면, 적어지거나 많아진다면 전후로 움직이는 것으로 볼 수 있다. 이때, 현재 임계치(Current threshold)의 값을 가상의 임계치(Multi threshold #1, #2)를 넘는 픽셀의 수를 감안하여 움직일 수 있다.

다음, S105 단계 또는 S107 단계를 통해 0 또는 1로 표시된 BW 이미지가 출력된다(S109).

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

1. 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 포인팅 장치의 마스크 생성 장치로서,
   상기 복수의 영상 정보를 이용하여 추출되고, 상기 복수의 카메라와 상기 피사체 간의 거리 정보를 나타내며 픽셀 값인 시차 맵을 입력받는 입력부;
   상기 시차 맵의 2차원 좌표를 확인하는 좌표 콤퍼레이터(Comparator);
   유의미한 영역과 무의미한 영역의 정보를 저장하고, 상기 시차 맵의 2차원 좌표를 토대로 상기 시차 맵이 상기 유의미한 영역에 포함되는지 또는 상기 무의미한 영역에 포함되는지 판단하는 판단부;
   상기 유의미한 영역에는 픽셀 값인 제1 임계치를 설정하고, 상기 무의미한 영역에는 픽셀 값인 제2 임계치를 설정하는 임계치 설정부;
   상기 시차 맵이 상기 유의미한 영역에 포함되는 경우로 판단되면, 상기 제1 임계치를 선택하고, 상기 시차 맵이 상기 무의미한 영역에 포함되는 경우로 판단되면, 상기 제2 임계치를 선택하는 선택부; 및
   상기 시차 맵을 상기 선택부가 선택한 상기 제1 임계치 또는 상기 제2 임계치와 비교하여 상기 제1 임계치 또는 상기 제2 임계치보다 큰 픽셀 값을 가진 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 마스킹부
   를 포함하는 마스크 생성 장치.
2. 제1항에 있어서,
   상기 임계치 설정부는,
   픽셀 값인 제3 임계치를 설정하고,
   상기 선택부는,
   상기 시차 맵이 유의미한 영역에 포함되는 경우, 상기 제1 임계치 또는 상기 제3 임계치를 선택하는 마스크 생성 장치.
3. 제2항에 있어서,
   픽셀 값인 멀티 임계치 1 및 2를 설정하는 멀티 임계치 설정부를 더 포함하고,
   상기 마스킹부는,
   상기 입력부를 통해 입력되는 시차 맵들을 상기 멀티 임계치 1 및 2와 비교하고, 상기 멀티 임계치 1 및 2를 초과하는 시차 맵의 수를 기록하며, 상기 초과하는 시차 맵의 수가 유지되는지, 적어지는지 또는 많아지는지 확인하며,
   상기 선택부는,
   상기 시차 맵이 상기 유의미한 영역에 포함되는 경우, 상기 제1 임계치를 선택하고, 상기 초과하는 시차 맵의 수가 많아지는 경우, 상기 피사체가 상기 복수의 카메라를 향해 이동하는 경우로 판단하여 상기 제3 임계치를 선택하는 마스크 생성 장치.
4. 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 포인팅 장치의 마스크 생성 방법으로서,
   상기 복수의 영상 정보를 이용하여 추출되고, 상기 복수의 카메라와 상기 피사체 간의 거리 정보를 나타내며 픽셀 값인 시차 맵을 입력받는 단계;
   상기 시차 맵의 2차원 좌표를 확인하는 단계;
   기 저장된 유의미한 영역 및 무의미한 영역의 정보와 상기 시차 맵의 2차원 좌표를 토대로 상기 시차 맵이 상기 유의미한 영역에 포함되는지 또는 상기 무의미한 영역에 포함되는지 판단하는 단계;
   상기 시차 맵이 상기 유의미한 영역에 포함되면, 픽셀 값인 제1 임계치를 선택하고, 상기 시차 맵이 상기 무의미한 영역에 포함되면 픽셀 값인 제2 임계치를 선택하는 단계;
   상기 시차 맵을 상기 선택하는 단계에서 선택한 상기 제1 임계치 또는 상기 제2 임계치와 비교하는 단계; 및
   상기 제1 임계치 또는 상기 제2 임계치보다 큰 픽셀 값을 가진 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 단계
   를 포함하는 마스크 생성 방법.
5. 제4항에 있어서,
   상기 선택하는 단계는,
   상기 시차 맵이 상기 유의미한 영역에 포함되는 경우로 판단되면, 상기 제1 임계치 또는 제3 임계치를 선택하는 단계를 포함하고,
   상기 생성하는 단계는,
   상기 제1 임계치 또는 상기 제3 임계치보다 픽셀 값이 큰 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 마스크 생성 방법.
6. 제5항에 있어서,
   상기 선택하는 단계는,
   상기 시차 맵이 상기 유의미한 영역에 포함되는 경우, 상기 제1 임계치를 선택하고, 상기 시차 맵이 상기 무의미한 영역에 포함되는 경우, 상기 제2 임계치를 선택하는 단계,
   상기 제1 임계치 또는 상기 제2 임계치를 선택하는 단계와 별개로 상기 입력되는 시차 맵들을 픽셀 값인 멀티 임계치 1 및 2와 비교하여 상기 멀티 임계치 1 및 2를 초과하는 시차 맵의 수를 기록하는 단계,
   상기 멀티 임계치 1 및 2를 초과하는 시차 맵의 수가 유지되는지, 적어지는지 또는 많아지는지 확인하는 단계, 그리고
   상기 멀티 임계치 1 및 2를 초과하는 시차 맵의 수가 많아지는 경우, 상기 제3 임계치를 선택하는 단계
   를 포함하는 마스크 생성 방법.
7. 삭제
8. 제6항에 있어서,
   상기 시차 맵이 상기 제1 임계치보다 픽셀 값이 작으면, 상기 시차 맵을 삭제하는 단계
   를 더 포함하는 마스크 생성 방법.

Images