KR101828340B1 - 객체 추출 방법 및 그 장치 - Google Patents

Abstract

객체 추출 방법 및 장치가 개시된다. 객체 추출 방법은 웨어러블 디바이스에 장착된 카메라로부터 영상을 획득하는 단계; 포인터 특징 정보를 이용하여 상기 영상에서 포인터를 추출하는 단계; 및 상기 추출된 포인터를 이용하여 상기 영상에서 적어도 하나의 객체를 추출하는 단계를 포함한다.

Description

객체 추출 방법 및 그 장치{Method and apparatus for object extraction}

본 발명은 웨어러블 디바이스에서 사용자의 포인팅 위치를 인식하여 객체를 추출하는 방법 및 그 장치에 관한 것이다.

최근 증강 현실(augmented reality) 및 가상 현실(virtual reality) 기술이 활발하게 개발되고 있고 이와 관련된 안경형 스마트 기기, 시계형 스마트 기기 등 다양한 웨어러블 기기들이 등장했다. 증강 현실 기술은 현실 세계에 가상의 객체를 증강 하는 것으로 해당 시스템의 응용을 사용하기 위한 안경형 웨어러블 기기가 각광 받고 있고 이와 관련된 연구개발이 활발하게 진행 중이다.

영상에서 사용자가 원하는 객체를 분할하는 기술(object segmentation)이 활발히 개발 되고 있다. 스마트폰이나 태블릿 기기 환경에서는 사용자의 손가락 터치 입력을 통하여 입력 받은 정보를 이용하여 객체와 배경을 분리하는 기술이 일반적으로 적용되고 있다.

한편 동작 인식 (gesture recognition) 기술이 활발하게 연구되고 있다. 사용자의 손동작 또는 몸동작을 알고리즘으로 인식하여 별도의 입력 장치를 필요로 하지 않는 인터페이스(natural user interface)가 다양한 응용 기술에 활용되고 있다.

본 발명은 웨어러블 디바이스에서 사용자의 포인팅 위치를 인식하여 객체를 추출하는 객체 추출 방법 및 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 웨어러블 디바이스에서 사용자의 포인팅 위치를 인식하여 객체를 추출하는 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 웨어러블 디바이스에 장착된 카메라로부터 영상을 획득하는 단계; (b) 포인터 특징 정보를 이용하여 상기 영상에서 포인터를 추출하는 단계; 및 (c) 상기 추출된 포인터를 이용하여 상기 영상에서 적어도 하나의 객체를 추출하는 단계를 포함하는 객체 추출 방법이 제공될 수 있다.

상기 (c) 단계는, 상기 추출된 포인터의 특성 정보를 더 고려하되, 상기 특성 정보는 상기 포인터의 패턴, 지시 방향, 모션 벡터 중 적어도 하나이다.

상기 (c) 단계는, 상기 특성 정보에 기반하여 상기 객체를 전경 객체 또는 배경 객체로 구분하여 추출할 수 있다.

상기 (b) 단계 이후에, 상기 추출된 포인터를 이용하여 포인팅 위치를 계산하는 단계를 더 포함할 수 있다.

상기 (c) 단계는, 상기 포인팅 위치에 포함되는 후보 객체의 화소값을 기반으로 수퍼 픽셀 분할(superpixel segmenataion)을 이용하여 상기 객체를 추출할 수 있다.

상기 (a) 단계 이전에, 모드를 설정받는 단계-상기 모드는 투명 모드 및 반투명 모드 중 어느 하나임-를 포함하되, 상기 모드가 투명 모드인 경우, 상기 포인팅 위치를 사용자 시점에 기반하여 이동시킬 수 있다.

상기 (c) 단계는, 이전 영상의 포인팅 위치와 현재 영상의 포인팅 위치가 임계치 범위 이내인 경우, 상기 포인팅 위치에 포함되는 후보 객체의 추출할 확률을 증가시키되, 상기 확률이 기준치 이상인 후보 객체를 상기 객체로 추출할 수 있다.

상기 (c) 단계는, 이전 영상의 포인팅 위치와 현재 영상의 포인팅 위치에 포함되는 객체의 색상이 임계치 이내인 경우, 상기 포인팅 위치에 포함되는 후보 객체를 상기 객체로 추출할 수 있다.

상기 (b) 단계에서 포인터 특징 정보는 색상 및 패턴 중 적어도 하나이다.

상기 (c) 단계 이후에, 상기 추출된 객체를 증강 현실에 반영하여 출력하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 웨어러블 디바이스를 착용한 사용자가 응시하는 실 세계의 장면에서 추출하고자 하는 객체를 추출하는 장치가 제공된다.

본 발명의 일 실시예에 따르면, 웨어러블 디바이스에 장착된 카메라로부터 사용자가 응시하는 실세계 영상을 촬영하는 카메라; 및 포인터 특징 정보를 이용하여 상기 영상에서 포인터를 추출하고, 상기 추출된 포인터를 이용하여 상기 영상에서 적어도 하나의 객체를 추출하는 프로세서를 포함하는 객체 추출 장치가 제공될 수 있다.

상기 추출된 객체를 증강 현실에 반영하여 출력하는 디스플레이부를 더 포함할 수 있다.

상기 프로세서는, 상기 포인터의 패턴, 지시 방향 및 모션 벡터 중 적어도 하나인 상기 포인터의 특성 정보를 더 고려하여 상기 객체를 추출할 수 있다.

상기 프로세서는, 상기 추출된 포인터가 가리키는 포인팅 위치를 계산하되, 상기 포인팅 위치에 포함된 후보 객체의 픽셀 정보를 기반으로 수퍼 픽셀 분할을 통해 상기 객체를 추출할 수 있다.

상기 프로세서는, 이전 영상의 포인팅 위치와 상기 포인팅 위치가 임계치 이내인 경우, 상기 후보 객체를 추출할 확률을 증가시키되, 상기 확률이 기준치 이상인 경우 상기 후보 객체를 객체로 추출할 수 있다.

모드를 설정받는 입력부를 더 포함하되, 상기 모드는 투명 모드 또는 반투명 모드이다.

상기 프로세서는, 모드가 상기 투명 모드로 설정시, 상기 포인팅 위치를 사용자의 시점에 기반하여 이동시킬 수 있다.

본 발명의 일 실시예에 따른 객체 추출 방법 및 장치를 제공함으로써, 웨어러블 디바이스에서 사용자의 포인팅 위치를 인식하여 객체를 추출할 수 있다.

또한, 본 발명은 사용자가 원하는 객체를 포인터(예를 들어, 손)으로 가리키는 동작만으로 쉽게 추출할 수 있고, 추출한 객체를 다양한 증강 현실에 응용하여 활용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 객체 추출 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 포인터를 포함하는 영상을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 영상에서 포인터를 이진 영상으로 표시한 도면.
도 4는 본 발명의 일 실시예에 따른 영상에서 포인터를 찾은 결과를 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 전경 후보 객체와 배경 후보 객체를 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 수퍼 픽셀 분할 결과를 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 전경 후보 객체 및 배경 후보 객체와 겹치는 수퍼 픽셀을 전경 객체 또는 배경 객체로 할당할 결과를 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 객체 분할 결과를 나타낸 도면.
도 9는 본 발명의 일 실시예에 따른 추출된 객체를 증강 현실에 반영한 결과를 나타낸 도면.
도 10은 본 발명의 일 실시예에 따른 객체 추출 장치의 구성을 개략적으로 도시한 도면.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.

본 발명은 웨어러블 디바이스에서 사용자의 포인팅하는 위치(포인팅 위치)를 인식하여 객체를 추출하는 것에 관한 것이다. 따라서, 이하에서 설명되는 객체 추출 장치는 웨어러블 디바이스에 포함되는 것으로 이해되어야 할 것이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 객체 추출 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 포인터를 포함하는 영상을 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 영상에서 포인터를 이진 영상으로 표시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 영상에서 포인터를 찾은 결과를 예시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 전경 후보 객체와 배경 후보 객체를 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 수퍼 픽셀 분할 결과를 나타낸 도면이며, 도 7은 본 발명의 일 실시예에 따른 전경 후보 객체 및 배경 후보 객체와 겹치는 수퍼 픽셀을 전경 객체 또는 배경 객체로 할당할 결과를 예시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 객체 분할 결과를 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 추출된 객체를 증강 현실에 반영한 결과를 나타낸 도면이다.

단계 110에서 객체 추출 장치(100)는 모드를 설정받는다.

여기서, 모드는 제1 모드(예를 들어, 투명 모드) 및 제2 모드(예를 들어, 반 투명 모드) 중 어느 하나일 수 있다.

제1 모드(투명 모드)는 사용자가 웨어러블 디바이스(예를 들어, 안경)를 착용한 상태에서 사용자가 포인터로 특정 객체를 가리키는 경우, 안경을 통해 촬영된 포인터를 포함한 실 세계에 대한 영상에서 포인터를 추출하는 방식이다.

이에 비해, 제2 모드(반 투명 모드)는 웨어러블 디바이스에 구비된 카메라를 통해 장면을 촬영한 후 촬영한 영상을 웨어러블 디바이스의 디스플레이에 증강한 후 사용자가 증강된 영상에서 포인터로 원하는 위치를 가리키는 방식을 의미한다.

제1 모드(투명 모드)는 사용자가 포인터로 실 세계에 존재하는 특정 객체를 가리키는 동작을 포함하여 웨어러블 디바이스에 구비된 카메라가 영상을 촬영하므로 사용자의 시야를 방해하지 않으며, 특정 객체를 추출할 수 있는 이점이 있다.

그러나, 제1 모드(투명 모드)는 수많은 정보가 포함된 실 세계를 촬영한 영상에서 포인터를 추출해야 하므로 포인터 추출의 정확도가 떨어지는 단점이 있다.

반면, 제2 모드(반 투명 모드)는 객체 추출의 정확도가 높은 장점이 있는 반면 증강된 영상을 디스플레이한 후 포인터로 객체를 가리키는 방식으로 사용자의 시야를 방해하는 단점이 있다.

따라서, 사용자는 웨어러블 디바이스에 구비된 카메라를 통해 획득된 영상에서 객체를 추출하기 전에, 객체 추출을 위한 모드를 사전에 설정받을 수 있다.

물론, 사용자가 제1 모드(투명 모드)로 객체 추출을 위한 모드를 선택하였을 지라도 영상 분석을 통해 제1 모드로 객체 추출이 용이치 않은 경우, 자동으로 제2 모드로 동작될 수도 있음은 당연하다.

이하에서는 별도의 설명이 없더라도 영상은 사용자가 착용한 웨어러블 디바이스에 장착된 카메라를 통해 실 세계를 촬영한 영상인 것으로 이해되어야 할 것이다.

제1 모드, 제2 모드의 기본적인 동작은 동일하다. 다만, 제2 모드의 경우, 카메라의 영상을 증강하여 디스플레이시킨 후 사용자가 증강된 영상을 보면서 객체를 포인팅하는 것으로, 제2 모드에서는 자신이 가리키는 포인터의 위치를 확인하면서 객체를 가리킬 수 있다.

따라서, 제1 모드에 비해 제2 모드가 보다 정확하게 객체를 추출할 수 있다.

단계 115에서 객체 추출 장치(100)는 웨어러블 디바이스에 구비된 카메라로부터 실세계 영상을 획득한다.

단계 120에서 객체 추출 장치(100)는 획득된 영상에서 포인터를 추출한다.

본 발명의 일 실시예에서는 포인터가 손인 것을 가정하여 이를 중심으로 설명하기로 한다. 다만, 포인터는 손 이외에도 다양한 객체일 수 있음은 자명하다.

객체 추출 장치(100)는 포인터를 인식하고 추출하기 위해, 영상에서 포인터가 놓일 영역(이하, 초기 설정 영역이라 칭하기로 함)을 설정하고, 해당 영역에 포인터를 위치시킨 후 초기 설정 영역에서 포인터의 특징 정보(예를 들어, 색상 또는 패턴)을 획득할 수 있다.

이후, 객체 추출 장치(100)는 포인터의 특징 정보를 이용하여 이후 웨어러블 디바이스에 구비된 카메라를 통해 획득된 영상에서 포인터를 인식하여 추출할 수 있다.

보다 상세히 설명하면, 객체 추출 장치(100)는 포인터의 특징 정보와 카메라를 통해 획득된 영상의 각 화소값들의 유사도 비교를 통해 포인터에 해당하는 화소들을 구분하여 포인터 영역을 추출할 수 있다.

도 2에는 사용자가 포인터로 손을 이용한 경우, 손을 포함하여 획득된 영상이 예시되어 있다. 도 2와 같은 영상에서 포인터의 특징 정보를 기반으로 손에 해당하는 화소들을 구분하여 손을 추출한 일 예가 도 3에 도시되어 있다.

도 3은 손 영역에 포함될 확률이 50% 이상인 화소들을 손 영역에 해당하는 화소로 검출한 것이다. 즉, 도 2와 같이 손을 포함하는 영상의 각 화소값과 포인터의 특징 정보를 비교하여 유사도가 50% 이상인 화소들을 손 영역(즉, 포인터 영역)으로 추출한 것이다.

본 명세서에서는 이해와 설명의 편의를 도모하기 위해 유사도가 50% 이상인 것을 가정하여 설명하고 있으나, 영상의 각 화소값들과 포인터의 특징 정보간의 유사도를 비교하여 포인터 영역으로 추출하기 위한 기준값은 실험적으로 결정될 수 있음은 당연하다.

또한, 영상의 각 화소값들과 포인터의 특징 정보를 비교함에 있어, 포인터의 특징 정보는 평균값이 이용될 수 있음은 당연하다.

다른 예를 들어, 포인터의 특징 정보가 패턴인 경우, 포인터의 특징 정보를 기반으로 영상을 패턴 매칭하여 유사도가 도출될 수도 있다. 패턴 매칭하는 방법 등은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.

이외에도 영상에서 손 영역을 인식하여 추출하는 방법은 공지된 다양한 알고리즘이 적용될 수 있음은 당연하다.

단계 125에서 객체 추출 장치(100)는 추출된 포인터의 포인팅 위치를 계산한다.

예를 들어, 객체 추출 장치(100)는 추출된 포인터의 최외곽 좌표를 포인팅 위치로 계산할 수 있다. 이때, 추출된 포인터의 최외곽 좌표는 추출된 포인터가 포함되는 X축 또는 Y축 좌표의 가장 끝점일 수도 있다.

포인팅 위치 계산의 편의성을 위해, 객체 추출 장치(100)는 추출된 포인터의 윤곽선을 추출하고, 추출된 윤곽선을 이용하여 포인팅 위치를 계산할 수 있다.

도 4에는 사용자가 포인터로 손을 이용한 경우, 사용자가 가리키는 손가락을 찾은 결과를 예시한 도면이다. 도 4를 참조하면, 사용자가 가리키는 손가락이 Y축 방향의 끝점이 포인팅 위치로 계산될 수 있다.

단계 130에서 객체 추출 장치(100)는 모드가 제1 모드(투명 모드)인지 여부를 판단한다.

만일 모드가 제1 모드인 경우, 단계 135에서 객체 추출 장치(100)는 포인팅 위치를 사용자의 시점에 기반하여 이동시킨다.

이미 전술한 바와 같이, 투명 모드는 사용자가 포인터를 현실 세계의 특정 타겟을 향하도록 가리키는 동작을 포함하는 실 세계 영상에서 포인팅 위치가 계산되므로, 카메라 시점과 사용자의 시점 사이에 오차가 발생할 수 있다.

따라서, 객체 추출 장치(100)는 모드가 투명 모드인 경우 계산된 포인팅 위치를 사용자의 시점을 반영하여 이동시킬 수 있다. 물론, 객체 추출 장치(100)는 계산된 포인팅 위치를 출력한 후 사용자로부터 보정 위치를 입력받아 보정 위치로 포인팅 위치를 이동시킬 수도 있다.

그러나 만일 모드가 제2 모드인 경우, 단계 140으로 진행한다.

모드가 반투명 모드인 경우, 사용자가 디스플레이된 실 세계 영상에 포인터를 위치시키는 것으로 카메라 시점과 사용자 시점간의 오차가 발생되지 않는다. 따라서, 반투명 모드인 경우에는 포인팅 위치를 이동시키는 과정이 생략될 수 있다.

단계 140에서 객체 추출 장치(100)는 계산된 포인팅 위치를 이용하여 객체를 추출한다.

즉, 객체 추출 장치(100)는 포인팅 위치에 포함되는 후보 객체를 객체로 추출할 수 있다. 여기서, 후보 객체는 포인터와는 상이한 객체를 나타낸다. 즉, 후보 객체는 포인터와는 특징 정보(예를 들어, 색상, 패턴 등)가 상이할 수 있음은 당연하다.

객체를 추출함에 있어, 객체 추출 장치(100)는 포인팅 위치에 포함되는 후보 객체의 속성(예를 들어, 색상)을 기반으로 수퍼 픽셀 분할(superpixel segmentation)을 통해 객체를 추출할 수도 있다.

도 6에는 수퍼 픽셀 분할이 적용된 일 예가 예시되어 있다.

도 7에는 전경 후보 객체 및 배경 후보 객체와 겹치는 수퍼 픽셀을 전경 객체 또는 배경 객체로 할당할 결과가 예시되어 있다.

즉, 수퍼 픽셀 분할을 적용한 후 전경 후보 객체 또는 배경 후보 객체와 겹치는 수퍼 픽셀을 전경 객체 또는 배경 객체로 각각 할당하여 전경 객체 또는 배경 객체를 추출할 수 있다.

이외에도 그래프 컷(Graph Cut) 등의 공지된 그래프 기반 알고리즘을 더 적용하여 정밀하게 객체를 분할할 수도 있다. 그래프 컷 알고리즘의 경우, 전경 후보 또는 배경 후보로 할당한 화소는 영상 분할시 그대로 전경 또는 배경으로 분할된다. 이러한 그래프 컷 알고리즘은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.

또한, 객체 추출 장치(100)는 포인터의 특성에 따라 포인팅 위치의 후보 객체를 각기 상이한 객체로 구분할 수 있다.

예를 들어, 객체 추출 장치(100)는 포인터의 특성에 따라 포인팅된 후보 객체를 전경 객체 또는 배경 객체로 추출할 수 있다. 여기서, 포인터의 특성은 포인터의 지시 방향, 포인터의 모양, 포인터의 동작에 따른 모션 벡터 등일 수 있다.

본 발명의 일 실시예에서는 포인터의 특성이 모양인 것을 가정하여 이를 중심으로 설명하기로 한다.

예를 들어, 포인터가 손인 경우, 검지 손가락으로 포인팅 후보 객체를 가리키는 경우, 포인팅 후보 객체는 전경 객체로 구분하여 추출될 수 있다. 반면, 손바닥을 편 상태로 포인팅 후보 객체를 가리킨 경우(즉, 포인터 특성이 손바닥을 편 모양이면), 객체 추출 장치(100)는 포인팅 후보 객체를 배경 객체로 구분하여 추출할 수 있다.

다른 예를 들어, 객체 추출 장치(100)는 연속된 영상(즉, 프레임)에서 포인팅 위치가 임계치 범위 이내에서 동일 위치인 경우, 해당 포인팅 위치에 포함되는 영역은 전경 객체의 영역일 확률이 높은 것으로 판단하여 전경 객체로 추출할 수 있다.

또한, 객체 추출 장치(100)는 연속된 영상(즉, 프레임)에서 포인팅 위치가 임계치 범위 이내에서 동일 색상의 영역에 위치되는 경우, 해당 포인팅 위치에 포함되는 영역을 전경 객체로 판단하여 전경 객체로 추출할 수도 있다.

반면, 객체 추출 장치(100)는 연속된 영상(즉, 연속된 프레임)에서 포인팅 위치가 급변하거나 포인팅 위치에 포함되는 영역의 속성(예를 들어, 색상)이 급변하는 경우, 손떨림이나 포인터의 포인팅 위치 추정에 오류가 발생한 것으로 판단하여 전경 객체일 확률이 낮은 것으로 판단할 수 있다.

이와 같이, 객체 추출 장치(100)는 포인터의 포인팅 위치를 포함하는 영역이 전경 영역에 포함될 확률을 판단하여 전경 객체를 추출할 수 있다.

즉, 객체 추출 장치(100)는 이전 영상의 포인터의 포인팅 위치와 현재 영상의 포인터의 포인팅 위치가 임계치 이내에서 동일한 경우, 해당 포인팅 위치에 포함되는 후보 객체를 추출할 확률을 증가시킨 후 확률이 기준치 이상인 경우, 후보 객체를 전경 객체 또는 배경 객체로서 추출할 수 있다.

다른 예를 들어, 객체 추출 장치(100)는 이전 영상의 포인팅 위치와 현재 영상의 포인팅 위치의 후보 객체의 속성(예를 들어, 색상 등)이 임계치 이내인 경우, 해당 후보 객체의 추출 확률을 증가시킨 후 확률이 기준치 이상인 경우 후보 객체를 전경 객체 또는 배경 객체로서 추출하도록 할 수도 있다.

이와 같이, 수퍼 픽셀 분할 또는 그래프 컷 등에 기반한 객체 분할 결과를 그대로 반영하지 않고, 본 발명의 일 실시예에 따른 객체 추출 장치(100)는 후보 객체에 대한 확률을 더 반영함으로써 오류에 강인하게 객체를 추출할 수 있는 이점이 있다.

이는 배경 객체에 대해서도 동일하게 적용되므로 중복되는 설명은 생략하기로 한다.

도 5에는 포인터의 특성을 반영하여 포인팅 후보 객체를 전경 객체와 배경 객체를 추출한 일 예가 도시되어 있다. 도 5의 붉은색 부분은 포인팅 위치를 이용하여 전경 객체로 추출된 영역을 나타내고, 파란색 부분은 배경 객체를 나타낸다.

도 5는 전경 객체와 배경 객체를 스트로크(stroke) 형태로 표시한 일 예를 도시한 것이다. 도 5는 이해와 설명의 편의를 도모하기 위해 스트로크 형태로 전경 객체와 배경 객체를 표시하고 있으나, 스트로크 형태 이외에도 전경 객체 및 배경 객체를 바운딩 박스(bounding box) 형태로 추출할 수도 있음은 당연하다.

이와 같이, 본 발명의 일 실시예에 따른 객체 추출 장치(100)는 전경 객체와 배경 객체를 객체의 형태에 완벽하게 일치하도록 추출하지는 않을 수 있다. 즉, 본 발명의 일 실시예에 따른 객체 추출 장치(100)는 추출된 객체(즉, 전경 객체 및 배경 객체 중 적어도 하나)를 이용하여 증강 현실에 응용하기 위한 목적이므로 완벽하게 일치하지 않고 개략적으로 각 객체가 구분될 수 있도록 객체 영역을 추출할 수 있다. 이를 통해, 각 객체(전경 객체 및 배경 객체) 형태를 완벽하게 구분하기 위한 복잡한 연산을 줄임으로써 연산량을 최소화할 수 있는 이점이 있다.

단계 145에서 객체 추출 장치(100)는 후보정 여부를 선택받는다.

추출된 객체는 다양한 원인에 의하여 부정확하게 추출될 수 있다. 예를 들어, 사용자의 포인터의 포인팅 위치가 부정확하게 결정될 수도 있으며, 포인터의 포인팅 위치가 정확하게 검출되더라도 사용자의 손 떨림에 의해 후보 객체의 위치가 사용자가 의도한 위치를 벗어날 수도 있다.

또한, 투명 모드의 경우 카메라 시점과 사용자 시점간의 오차를 반영하여 포인팅 위치를 이동시키는 과정에서도 오차가 있을 수 있으며, 객체를 추출하는 과정에서도 오류가 발생될 수 있다.

따라서, 객체 추출 장치(100)는 추출된 객체를 디스플레이한 후 후보정할 것인지 여부를 입력받을 수 있다.

사용자가 후보정을 선택한 경우, 단계 150에서 객체 추출 장치(100)는 후보정 정보를 입력받는다. 여기서, 후보정 정보는 보정 객체 영역일 수 있다. 즉, 사용자는 디스플레이된 객체 추출 결과를 확인하여 보정할 객체 영역을 지정할 수 있다.

이와 같은 후보정 정보는 수퍼 픽셀 영역의 단위로 입력 받음으로써 후보정에 소요되는 시간이 최소화되도록 할 수 있다. 물론, 이러한 후보정 과정은 복수회 수행될 수 있음은 자명하다.

단계 155에서 객체 추출 장치(100)는 후보정 정보를 반영하여 객체 추출 결과를 후보정하여 최종적으로 객체를 추출한다. 도 8은 객체 추출 결과가 예시되어 있다.

단계 160에서 객체 추출 장치(100)는 추출된 객체를 증강 현실에 반영하여 디스플레이한다.

도 9는 추출된 객체를 증강 현실에 반영한 결과가 예시되어 있다. 도 9에 도시된 바와 같이, 추출된 객체를 증강 현실에 반영하여 사용자가 좀더 유용하게 증강 현실을 체험하도록 할 수 있다.

도 10은 본 발명의 일 실시예에 따른 객체 추출 장치의 구성을 개략적으로 도시한 도면이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 객체 추출 장치(100)는 카메라(1010), 디스플레이부(1015), 프로세서(1020), 입력부(1025), 후보정부(1030) 및 메모리(1035)를 포함하여 구성된다.

카메라(1010)는 웨어러블 디바이스에 장착되며, 사용자가 응시하는 실 세계 장면을 촬영하기 위한 수단이다. 물론, 카메라(1010)는 실 세계를 촬영한 영상에 증강 현실을 반영하여 출력된 화면을 촬영할 수도 있다.

본 발명의 일 실시예에서는 객체 추출 장치(100)가 카메라(1010)를 구비하는 것을 가정하여 이를 중심으로 설명하고 있으나, 객체 추출 장치(100)는 웨어러블 디바이스와 연결되어 웨어러블 디바이스에 장착된 카메라로부터 촬영된 영상을 획득할 수도 있다. 이 경우, 객체 추출 장치(100)는 카메라를 구비하지 않을 수 있다.

디스플레이부(1015)는 촬영된 영상 등을 시각적으로 출력하기 위한 수단이다. 예를 들어, 웨어러블 디바이스가 안경인 경우, 디스플레이부(1015)는 안경 렌즈일 수 있다.

프로세서(1020)는 본 발명의 일 실시예에 따른 객체 추출 장치(100)의 내부 구성 요소들(예를 들어, 카메라(1010), 디스플레이부(1015), 후보정부(1030), 메모리(1035) 등)을 제어하기 위한 수단이다.

또한, 프로세서(1020)는 포인터 특징 정보를 이용하여 상기 영상에서 포인터를 추출하고, 상기 추출된 포인터를 이용하여 상기 영상에서 적어도 하나의 객체를 추출할 수도 있다. 이는 도 1에서 설명한 바와 동일하므로, 이에 대한 중복되는 설명은 생략하기로 한다.

입력부(1025)는 사용자로부터 객체 추출 장치(100)를 제어하기 위한 다양한 제어 명령을 입력받기 위한 수단이다. 예를 들어, 입력부(1025)는 모드를 선택받거나 후보정 정보를 입력받을 수 있다. 입력부(1025)는 터치 패드로 구현될 수도 있다.

후보정부(1030)는 사용자로부터 입력된 후보정 정보를 반영하여 추출된 객체를 후보정하기 위한 수단이다. 이는 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

메모리(1035)는 본 발명의 일 실시예에 따른 웨어러블 디바이스를 착용한 사용자가 응시하는 실 세계의 장면에서 추출하고자 하는 객체를 추출하는 방법을 수행하기 위해 필요한 다양한 알고리즘, 이 과정에서 파생된 다양한 데이터를 저장하기 위한 수단이다.

상술한 본 발명에 따른 객체 추출 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

100: 객체 추출 장치
1010: 카메라
1015: 디스플레이부
1020: 프로세서
1025: 입력부
1030: 후보정부
1035: 메모리

Claims (18)

1. (a) 웨어러블 디바이스에 장착된 카메라로부터 영상을 획득하는 단계;
   (b) 포인터 특징 정보를 이용하여 상기 영상에서 포인터를 추출하는 단계; 및
   (c) 상기 추출된 포인터를 이용하여 상기 영상에서 적어도 하나의 객체를 추출하는 단계를 포함하되,
   상기 (c) 단계는,
   상기 포인팅 위치에 포함되는 후보 객체의 화소값을 기반으로 수퍼 픽셀 분할(superpixel segmentation)을 이용하여 상기 객체를 추출하되,
   상기 카메라를 통해 연속적으로 획득되는 영상에 기초하여, 이전 영상의 포인팅 위치와 현재 영상의 포인팅 위치가 임계치 범위 이내인 경우, 상기 포인팅 위치에 포함되는 후보 객체의 추출할 확률을 증가시키되, 상기 확률이 기준치 이상인 후보 객체를 상기 객체로 추출하는 것을 특징으로 하는, 객체 추출 방법.
   
2. 제1 항에 있어서,
   상기 (c) 단계는,
   상기 추출된 포인터의 특성 정보를 더 고려하되,
   상기 특성 정보는 상기 포인터의 패턴, 지시 방향, 모션 벡터 중 적어도 하나인 것을 특징으로 하는 객체 추출 방법.
   
3. 제2 항에 있어서, 상기 (c) 단계는,
   상기 특성 정보에 기반하여 상기 객체를 전경 객체 또는 배경 객체로 구분하여 추출하는 것을 특징으로 하는 객체 추출 방법.
   
4. 제1 항에 있어서, 상기 (b) 단계 이후에,
   상기 추출된 포인터를 이용하여 포인팅 위치를 계산하는 단계를 더 포함하는 객체 추출 방법.
   
5. 삭제
6. 제4 항에 있어서,
   상기 (a) 단계 이전에, 모드를 설정받는 단계-상기 모드는 투명 모드 및 반투명 모드 중 어느 하나임-를 포함하되,
   상기 모드가 투명 모드인 경우, 상기 포인팅 위치를 사용자 시점에 기반하여 이동시키는 단계를 더 포함하는 객체 추출 방법.
   
7. 삭제
8. 제1 항에 있어서, 상기 (c) 단계는,
   이전 영상의 포인팅 위치와 현재 영상의 포인팅 위치에 포함되는 객체의 색상이 임계치 이내인 경우, 상기 포인팅 위치에 포함되는 후보 객체를 상기 객체로 추출하는 것을 특징으로 하는 객체 추출 방법.
   
9. 제1 항에 있어서,
   상기 (b) 단계에서 포인터 특징 정보는 색상 및 패턴 중 적어도 하나인 것을 특징으로 하는 객체 추출 방법.
   
10. 제1 항에 있어서, 상기 (c) 단계 이후에,
    상기 추출된 객체를 증강 현실에 반영하여 출력하는 단계를 더 포함하는 객체 추출 방법.
    
11. 제1 항, 제2 항, 제3 항, 제4 항, 제6 항, 제8 항, 제9 항, 제10 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
    
12. 웨어러블 디바이스에 장착되며, 사용자가 응시하는 실세계 영상을 촬영하는 카메라; 및
    포인터 특징 정보를 이용하여 상기 영상에서 포인터를 추출하고, 상기 추출된 포인터를 이용하여 상기 영상에서 적어도 하나의 객체를 추출하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 추출된 포인터가 가리키는 포인팅 위치를 계산하되, 상기 포인팅 위치에 포함된 후보 객체의 픽셀 정보를 기반으로 수퍼 픽셀 분할을 통해 상기 객체를 추출하되,
    상기 카메라를 통해 연속적으로 획득되는 영상에 기초하여, 이전 영상의 포인팅 위치와 상기 포인팅 위치가 임계치 이내인 경우, 상기 후보 객체를 추출할 확률을 증가시키되, 상기 확률이 기준치 이상인 경우 상기 후보 객체를 객체로 추출하는 것을 특징으로 하는, 객체 추출 장치.
    
13. 제12 항에 있어서,
    상기 추출된 객체를 증강 현실에 반영하여 출력하는 디스플레이부를 더 포함하는 객체 추출 장치.
    
14. 제12 항에 있어서,
    상기 프로세서는, 상기 포인터의 패턴, 지시 방향 및 모션 벡터 중 적어도 하나인 상기 포인터의 특성 정보를 더 고려하여 상기 객체를 추출하는 것을 특징으로 하는 객체 추출 장치.
    
15. 삭제
16. 삭제
17. 제12 항에 있어서,
    모드를 설정받는 입력부를 더 포함하되,
    상기 모드는 투명 모드 또는 반투명 모드인 것을 특징으로 하는 객체 추출 장치.
    
18. 제17 항에 있어서,
    상기 프로세서는, 모드가 상기 투명 모드로 설정시, 상기 포인팅 위치를 사용자의 시점에 기반하여 이동시키는 것을 특징으로 하는 객체 추출 장치.
    

Images