KR100705510B1

KR100705510B1 - 객체의 추적정보를 이용한 제어 장치 및 그 방법

Info

Publication number: KR100705510B1
Application number: KR1020040017714A
Authority: KR
Inventors: 김성규
Original assignee: 김성규
Priority date: 2004-03-16
Filing date: 2004-03-16
Publication date: 2007-04-10
Also published as: KR20050092611A

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은, 객체의 추적정보를 이용한 제어 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 영상 촬영장치를 통해 입력받은 동영상에서 특정 객체를 추출한 후 상기 추출한 특정 객체를 연속적으로 추적하여 획득한 추적정보를 이용하여 해당 기능 또는 해당 기기를 제어하기 위한, 객체의 추적정보를 이용한 제어 장치 및 그 방법을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은, 객체의 추적정보를 이용한 제어 방법에 있어서, 피사체의 영상을 획득하는 영상 획득 단계; 상기 획득한 영상들의 기준 프레임 입력 전후의 프레임을 기준 프레임과 비교하여 배경을 포함하지 않고 공통 영역이 제외된 제1 및 제2 영상차 프레임을 획득하고, 제1 및 제2 영상차 프레임의 공통 부분으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 최종 프레임을 획득하는 객체 추출 단계; 상기 최종 프레임의 현재 객체 정보와 기 설정된 이전 객체 정보를 정합시켜, 이동 정보, 정합비율 및 크기비율 정보를 포함한 객체의 추적정보를 연속적으로 획득하는 추적정보 획득 단계; 상기 획득한 객체의 추적정보를 이용하여 소정의 특징을 갖는 객체를 검색하는 객체 검색 단계; 상기 검색한 객체의 추적정보를 분석하여 이벤트 발생을 확인하는 이벤트 발생 확인 단계; 및 상기 이벤트 발생에 따라 상기 이벤트에 상응하는 제어 기능을 수행하는 제어 단계를 포함한다.

4. 발명의 중요한 용도

본 발명은 제어 장치 또는 원격 제어 장치 등에 이용됨.

객체 추출, 객체 추적, 추적정보, 원격 제어, 영상차, 이벤트

Description

객체의 추적정보를 이용한 제어 장치 및 그 방법{Apparatus and method for control using chase information of the object}

도 1 은 본 발명에 따른 동영상에서의 객체 추출 과정에 대한 일실시예 설명도.

도 2 는 본 발명에 따른 추출한 객체의 정합 과정에 대한 일실시예 설명도.

도 3 은 본 발명에 따른 객체의 추적정보 획득 과정에 대한 일실시예 설명도.

도 4 는 본 발명에 따른 객체의 추적정보를 이용한 이벤트 인지 과정에 대한 일실시예 설명도.

도 5 는 본 발명에 따른 객체의 추적정보를 이용한 제어 장치의 일실시예 구성도.

도 6 은 본 발명에 따른 객체의 추적정보를 이용한 제어 방법에 대한 일실시예 흐름도.

* 도면의 주요 부분에 대한 부호의 설명

51 : 영상 획득부 52 : 객체 추출부

53 : 객체정보 획득부 54 : 저장부

55 : 유/무선 송수신부 56 : 제어부

57 : 객체 검색부

본 발명은 객체의 추적정보를 이용한 제어 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 영상 촬영장치를 통해 입력받은 동영상에서 특정 객체를 추출한 후 상기 추출한 특정 객체를 연속적으로 추적하여 획득한 추적정보를 이용하여 해당 기능 또는 해당 기기를 제어하기 위한, 객체의 추적정보를 이용한 제어 장치 및 그 방법에 관한 것이다.

본 발명에서 객체와 객체를 포함하는 블럭의 위치 표기는 XY축을 이용하여 설명한다. 이 때, 모든 객체는 XY축에서 X축 양의 방향과 Y축 음의 방향의 영역을 이용하여 나타낸다. 또한, Y값의 표기는 편의상 양수로 한다.

객체 추적에 관한 연구는 특정 객체의 이동 상황을 생성해 내는 것으로 처음에는 주로 군사적 목적으로 연구되어 오다가 최근에 들어서 그 방법론들이 활발히 연구되고 있는 기술분야다. 연속적인 동영상 내에서 특정 객체를 추적하는 것은 그 객체의 모양, 색상, 위치 등이 계속 변화하며 회전, 굴절 등의 다양한 형태를 갖기 때문에 기술적 어려움이 매우 많다.

일반적으로 비교적 객체의 변화가 적거나, 카메라의 위치 이동 없는 고형체의 객체에 대해서는 축소(subtraction)알고리즘을 이용하는 방법과 카메라의 이동(moving)기법을 이용하여 객체를 추적하는 방법이, 비고형체의 추적에 관해서는 인공지능 측면에서 패턴인식(pattern recognition)방법과 카메라의 움직임을 이용하여 객체를 추적하는 방법이 연구되고 있다.

이러한 연구들은 멀티미디어나 하이퍼미디어를 근간으로 하는 시스템에서 특정 객체를 추적할 수 있게 하고, 이 때 획득한 동영상 내부의 여러 가지 객체들에 관한 정보들을 데이터베이스화하여 기기 제어 등에 유용하게 활용할 수 있다.

여기서, 종래의 패턴 인식을 이용한 제어 방법에 대해 살펴보면, 먼저 카메라와 같은 영상 촬영장치로부터 사용자의 손 동작을 포함한 영상을 감지하고, 감지된 영상을 촬영하여 영상 신호를 얻는 영상 촬영단계와, 상기 영상 신호로부터 상기 손 동작의 패턴 인식에 필요한 정보를 추출하는 전처리단계와, 추출된 정보로부터 패턴을 인식하는 패턴 인식단계와, 인식된 패턴이 미리 저장된 소정수의 표준 패턴내에 있는가를 판단하고, 상기 소정수의 패턴내에 없으면 상기 영상 촬영단계로 진행하는 단계와, 상기 소정수의 패턴내에 있으면 상기 손 동작에 따라 미리 정해진 동작을 수행시키는 명령 수행단계로 이루어져 있다.

이러한 종래의 패턴 인식을 이용한 제어 방법은, 전처리 과정으로 인해 손 동작의 패턴을 인식하는데 이용되는 정보를 추출하는 시간이 많이 소요되기 때문에 손 동작에 상응하는 제어신호를 출력할 때까지 걸리는 시간이 증가하는 문제점이 있다.

또한, 종래의 방법은, 객체나 객체 주변의 다양한 변화에 대처하기 위하여 많은 표준 패턴이 필요하다는 문제점이 있다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 영상 촬영장치를 통해 입력받은 동영상에서 특정 객체를 추출한 후 상기 추출한 특정 객체를 연속적으로 추적하여 획득한 추적정보를 이용하여 해당 기능 또는 해당 기기를 제어하기 위한, 객체의 추적정보를 이용한 제어 장치 및 그 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 장치는, 객체의 추적정보를 이용한 제어 장치에 있어서, 피사체의 영상을 획득하기 위한 영상 획득 수단; 상기 영상 획득 수단에서 획득한 영상들의 기준 프레임 입력 전후의 프레임을 기준 프레임과 비교하여 배경을 포함하지 않고 공통 영역이 제외된 제1 및 제2 영상차 프레임을 획득하고, 제1 및 제2 영상차 프레임의 공통 부분으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 최종 프레임을 획득하기 위한 객체 추출 수단; 상기 최종 프레임의 현재 객체 정보와 기 설정된 이전 객체 정보를 정합시켜, 이동 정보, 정합비율 및 크기비율 정보를 포함한 객체의 추적정보를 연속적으로 획득하기 위한 객체정보 획득 수단; 상기 객체정보 획득 수단에서 획득한 객체의 추적정보를 저장하기 위한 저장 수단; 상기 저장 수단에 저장되어 있는 객체의 추적정보를 이용하여 소정의 특징을 갖는 객체를 검색하기 위한 객체 검색 수단; 및 상기 객체 검색 수단에서 검색한 소정의 특징을 갖는 객체의 추적정보를 분석하여 이벤트 발생 여부를 확인한 후 이벤트가 발생함에 따라 상기 이벤트에 상응하는 제어 기능을 수행하기 위한 제어 수단을 포함하여 이루어진 것을 특징으로 한다.

한편, 본 발명의 방법은, 객체의 추적정보를 이용한 제어 방법에 있어서, 피사체의 영상을 획득하는 영상 획득 단계; 상기 획득한 영상들의 기준 프레임 입력 전후의 프레임을 기준 프레임과 비교하여 배경을 포함하지 않고 공통 영역이 제외된 제1 및 제2 영상차 프레임을 획득하고, 제1 및 제2 영상차 프레임의 공통 부분으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 최종 프레임을 획득하는 객체 추출 단계; 상기 최종 프레임의 현재 객체 정보와 기 설정된 이전 객체 정보를 정합시켜, 이동 정보, 정합비율 및 크기비율 정보를 포함한 객체의 추적정보를 연속적으로 획득하는 추적정보 획득 단계; 상기 획득한 객체의 추적정보를 이용하여 소정의 특징을 갖는 객체를 검색하는 객체 검색 단계; 상기 검색한 객체의 추적정보를 분석하여 이벤트 발생을 확인하는 이벤트 발생 확인 단계; 및 상기 이벤트 발생에 따라 상기 이벤트에 상응하는 제어 기능을 수행하는 제어 단계를 포함하여 이루어진 것을 특징으로 한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1 은 본 발명에 따른 동영상에서의 객체 추출 과정에 대한 일실시예 설명도이다.

먼저, 도 1 에 도시된 바와 같이, 입력받은 동영상 프레임들 중 기준 프레임 이전에 입력된 프레임을 제 1 프레임(11), 기준 프레임을 제 2 프레임(12), 기준 프레임 이후에 입력된 프레임을 제 3 프레임(13)으로 명명한다. 이 때, 상기 프레임의 입력 순서는 가장 먼저 제 1 프레임(11)이 입력되었고, 제 2 프레임(12), 제 3 프레임(13)의 순서로 입력되었다. 또한, 상기 입력받은 프레임들은 배경을 포함하고 있다.

이후, 상기 제 1 프레임(11)과 제 2 프레임(12)의 차를 산출하여 공통 영역( 영상의 변화가 없는 픽셀)이 제외된 제 1 영상차 프레임(14)을 획득하고, 제 2 프레임(12)과 제 3 프레임(13)의 차를 산출하여 공통 영역이 제외된 제 2 영상차 프레임(15)을 획득한다. 이 때, 상기 획득한 제 1 영상차 프레임(14)과 제 2 영상차 프레임(15)은 배경을 포함하지 않는다. 즉, 배경은 공통영역이기 때문에 없어진다.

이후, 상기 제 1 영상차 프레임(14)과 제 2 영상차 프레임(15)의 공통 부분만을 나타내는 최종 프레임(16)을 획득한다. 이 때, 상기 최종 프레임(16)은 배경을 포함하지 않고 추출하려는 객체만을 포함하며, 상기 객체는 위치 (X=5, Y=2), 크기 (5*5)의 정보를 갖는다.

한편, 이전에 추출한 객체의 추적정보(17)가 있을 경우에 도 2 에 도시된 정합 과정을 통해 이동 정보, 정합비율 및 크기비율 정보를 획득할 수 있다. 즉, 상기 이전에 추출한 객체는 위치 (X=3, Y=1), 크기 (5*5)를 갖으며, 현재 추출한 객체는 위치 (X=5, Y=2), 크기 (5*5)를 갖는다. 따라서, 상기 두 객체의 위치정보와 크기정보를 이용하여 이동정보(X=(5-3)=2, Y=(2-1)=1), 정합비율(이전에 추출한 객체의 픽셀수(13개) : 상기 이전에 추출한 객체와 현재 추출한 객체가 겹치는 부분의 픽셀수(12개)), 크기비율(이전에 추출한 객체의 픽셀수(13개) : 현재 추출한 객체의 픽셀수(12개)) 등을 획득할 수 있다. 이 때, XY좌표의 크기단위는 픽셀크기와 동일하다.

본 발명에서는 객체가 위치이동했을 경우에 객체의 정보(이동, 크기비율, 정합비율 등)를 획득하는 과정을 설명하였지만, 객체가 회전할 경우나 변형, 축소, 확대, 분열, 결합, 생성 및 소멸하는 경우에도 객체를 추적하여 객체의 정보를 획 득할 수 있다. 예를 들어, 객체가 회전할 경우에 객체를 회전시켜 비교, 추적함으로써 객체의 회전방향과 회전량을 이용하여 회전정보를 획득할 수 있고, 이를 바탕으로 회전 중심과 각속도를 구하여 객체의 정보를 획득할 수 있다. 또한, 객체를 축소하거나 확대하여 비교, 추적함으로써 객체의 크기 변화에 대한 정보를 획득할 수 있다.

또한, 이동하는 객체가 타 객체에 의해 완전히 가려졌다가 나타나는 소멸/생성이 발생하는 경우와, 완전히 가려지지 않아 분열/결합이 발생하는 경우는 그 특징을 이용하여 객체의 정보를 획득할 수 있다. 즉, 분열이 발생하면 객체의 크기가 작아지는 현상이 발생하다가 시간이 지남에 따라 여러개의 객체로 분리되었다가 한개의 객체로 합쳐진다. 이 때, 객체의 크기가 작아지기 전의 객체의 정보를 저장하고 있다가 여러개로 분리된 객체와 비교하여 동일한 객체인지를 확인할 수 있다. 반면, 소멸이 발생하면 객체의 크기가 줄어들어 완전히 사라지게 되고 일정시간이 지나면 일정거리 이격된 위치에 다시 나타나게 된다. 따라서, 소멸이 일어나기 전의 객체의 정보를 저장하고 있다가 새로 나타난 객체와 비교하여 새로 나타난 객체가 소멸이 일어나기 전의 객체인지를 확인한 후 객체의 정보를 획득할 수 있다.

본 발명에서 객체마다 할당되는 객체번호, 영상 취득 시간, 객체의 크기, 객체의 위치, 정합 비율, 크기 비율, 속도, 회전 중심, 각속도 등을 일컬어 추적정보라 한다.

도 2 는 본 발명에 따른 추출한 객체의 정합 과정에 대한 일실시예 설명도이다.

도 1 을 참조하여 도 2 를 설명하면, 이전 객체(21)는 위치 (X=3, Y=1)과 크기 (5*5)를 갖으며, 기준 객체(22)는 위치 (X=5, Y=2)와 크기 (5*5)를 갖는다. 이 때, 상기 이전 객체(21)와 기준 객체(22)의 중심좌표를 구하는 식은 하기의 [수학식1]과 같다.

X축 중심좌표 = (X축상의 위치 + X축상의 객체 크기/2)

Y축 중심좌표 = (Y축상의 위치 + Y축상의 객체 크기/2)

여기서, 상기 [수학식 1]을 이용하여 이전 객체(21)와 기준 객체(22)의 중심좌표를 산출하면, 이전 객체(21)는 중심좌표 (X=3+5/2=5.5, Y=1+5/2=3.5)를 갖으며, 기준 객체(22)는 중심좌표 (X=5+5/2=7.5, Y=2+5/2=4.5)를 갖는다. 따라서, 기준 객체(22)는 이전 객체(21)의 중심좌표를 기준으로 X축으로 2만큼, Y축으로 1만큼 이동했음을 예측할 수 있다.

또한, 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 X축으로 2만큼, Y축으로 1만큼 이동하여 그 위치를 기준좌표로 정하고, 이 기준좌표를 중심으로 인접한 8개 방향의 좌표를 포함하는 9개 좌표에 대한 근사도를 구해보면 이전 객체(22)가 X=5, Y=2에서 근사도가 가장 높음을 알 수 있다. 즉, 이전 객체(21)와 기준 객체(22)의 겹쳐지는 픽셀수가 가장 많음을 알 수 있다.

이를 좀 더 상세히 살펴보면, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준 으로 이전 객체(21)를 (X=4, Y=1)에 위치시켜 정합했을 때, 근사도는 7이다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=5, Y=1)에 위치시켜 정합했을 때, 근사도는 6이다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=6, Y=1)에 위치시켜 정합했을 때, 근사도는 6이다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=4, Y=2)에 위치시켜 정합했을 때, 근사도는 6이다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=5, Y=2)에 위치시켜 정합했을 때, 근사도는 12이다. 이 때, 근사도가 가장 높음을 알 수 있다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=6, Y=2)에 위치시켜 정합했을 때, 근사도는 6이다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=4, Y=3)에 위치시켜 정합했을 때, 근사도는 5이다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=5, Y=3)에 위치시켜 정합했을 때, 근사도는 5이다.

또한, 상기 기준 객체(22)의 위치 (X=5, Y=2)를 기준으로 이전 객체(21)를 (X=6, Y=3)에 위치시켜 정합했을 때, 근사도는 6이다.

본 발명은, 상기 정합 과정에 있어서 기준좌표의 위치에서 가장 높은 근사도가 나오면 정합 과정을 종료하고, 기준좌표 이외의 위치에서 가장 높은 근사도가 나오면 그 위치를 기준좌표로 정하고, 이 기준좌표를 중심으로 인접한 8개 방향의 좌표를 포함하는 9개 좌표에 대한 근사도를 산출한다.

본 발명에서 객체의 중심좌표를 산출하여 객체의 추적정보를 획득하였지만, 이외에도 객체의 이동속도나 면적을 이용하여 객체의 이동정보를 예측할 수도 있다.

도 3 은 본 발명에 따른 객체의 추적정보 획득 과정에 대한 일실시예 설명도이다.

도 3 에 도시된 바와 같이, 입력 영상은 영상 입력 장치를 통해 입력된 영상을 나타내며, 추출한 객체의 추적정보는 입력 영상에서 상기 언급한 객체 추출 과정을 통해 추출한 객체의 추적정보를 나타낸다. 이 때, 피사체(일예로 손)는 카메라를 기준으로 45도 각도로 기울어진 상태에서 카메라에 촬영되도록 하는 것이 바람직하다.

여기서 추출한 객체의 추적정보에 대해 좀 더 살펴보면, 입력 영상 중에서 P0 프레임과 P1 프레임 및 P2 프레임을 이용하여 추출한 객체는 Q1이다. 이 때, Q1 객체는 시간 (t1), 위치 (1, 1), 크기 (4, 11)의 정보를 갖는다.

또한, Q2 객체는 P1 프레임과 P2 프레임 및 P3 프레임을 이용하여 추출한 객체로 시간 (t2), 위치 (1, 1), 크기 (4, 11), 이동 (0, 0), 정합비율 (20:20), 크기비율 (20:20)의 정보를 갖는다.

또한, Q3 객체는 P2 프레임과 P3 프레임 및 P4 프레임을 이용하여 추출한 객체로 시간 (t3), 위치 (1, 2), 크기 (4, 10), 이동 (0, 1), 정합비율 (20:19), 크 기비율 (20:19)의 정보를 갖는다.

또한, Q4 객체는 P3 프레임과 P4 프레임 및 P5 프레임을 이용하여 추출한 객체로 시간 (t4), 위치 (1, 4), 크기 (4, 8), 이동 (0, 2), 정합비율 (19:17), 크기비율 (19:17)의 정보를 갖는다.

또한, Q5 객체는 P4 프레임과 P5 프레임 및 P6 프레임을 이용하여 추출한 객체로 시간 (t5), 위치 (1, 6), 크기 (4, 6), 이동 (0, 2), 정합비율 (17:15), 크기비율 (17:15)의 정보를 갖는다.

또한, Q6 객체는 P5 프레임과 P6 프레임 및 P7 프레임을 이용하여 추출한 객체로 시간 (t6), 위치 (1, 7), 크기 (4, 5), 이동 (0, 1), 정합비율 (15:14), 크기비율 (15:14)의 정보를 갖는다.

또한, Q7 객체는 P6 프레임과 P7 프레임 및 P8 프레임을 이용하여 추출한 객체로 시간 (t7), 위치 (1, 7), 크기 (4, 5), 이동 (0, 0), 정합비율 (14:14), 크기비율 (14:14)의 정보를 갖는다.

또한, Q8 객체는 P7 프레임과 P8 프레임 및 P9 프레임을 이용하여 추출한 객체로 시간 (t8), 위치 (1, 6), 크기 (4, 6), 이동 (0, -1), 정합비율 (14:15), 크기비율 (14:15)의 정보를 갖는다.

또한, Q9 객체는 P8 프레임과 P9 프레임 및 P10 프레임을 이용하여 추출한 객체로 시간 (t9), 위치 (1, 4), 크기 (4, 8), 이동 (0, -2), 정합비율 (15:17), 크기비율 (15:17)의 정보를 갖는다.

또한, Q10 객체는 P9 프레임과 P10 프레임 및 P11 프레임을 이용하여 추출한 객체로 시간 (t10), 위치 (1, 2), 크기 (4, 10), 이동 (0, -2), 정합비율 (17:19), 크기비율 (17:19)의 정보를 갖는다.

또한, Q11 객체는 P10 프레임과 P11 프레임 및 P12 프레임을 이용하여 추출한 객체로 시간 (t11), 위치 (1, 1), 크기 (4, 11), 이동 (0, -1), 정합비율 (19:20), 크기비율 (19:20)의 정보를 갖는다.

또한, Q12 객체는 P11 프레임과 P12 프레임 및 P13 프레임을 이용하여 추출한 객체로 시간 (t12), 위치 (1, 1), 크기 (4, 11), 이동 (0, 0), 정합비율 (20:20), 크기비율 (20:20)의 정보를 갖는다.

도 4 는 본 발명에 따른 객체의 추적정보를 이용한 이벤트 인지 과정에 대한 일실시예 설명도로서, Y축상에서 객체의 크기 변화량을 이용하여 이벤트를 인지하는 과정을 나타낸다.

도 3 을 참조하여 이벤트를 인지하는 과정에 대해 살펴보면 하기와 같다.

Y축상에서 각 객체(Q1 ~ Q12)의 크기 정보를 살펴보면, 객체 (Q1)은 11, 객체 (Q2)는 11, 객체 (Q3)은 10, 객체 (Q4)는 8, 객체 (Q5)는 6, 객체 (Q6)은 5, 객체 (Q7)은 5, 객체 (Q8)은 6, 객체 (Q9)는 8, 객체 (Q10)은 10, 객체(Q11)은 11, 객체(Q12)는 11의 크기 정보를 갖는다.

여기서, Y축상에서 상기 객체들의 크기 변화량을 살펴보면, 객체 (Q1)과 객체 (Q2) 사이의 크기 변화량은 0, 객체 (Q2)와 객체 (Q3) 사이의 크기 변화량은 -1, 객체 (Q3)와 객체 (Q4) 사이의 크기 변화량은 -2, 객체 (Q4)와 객체 (Q5) 사이의 크기 변화량은 -2, 객체 (Q5)와 객체 (Q6) 사이의 크기 변화량은 -1, 객체 (Q6) 과 객체 (Q7) 사이의 크기 변화량은 0, 객체 (Q7)과 객체 (Q8) 사이의 크기 변화량은 1, 객체 (Q8)과 객체 (Q9) 사이의 크기 변화량은 2, 객체 (Q9)와 객체 (Q10) 사이의 크기 변화량은 2, 객체 (Q10)과 객체 (Q11) 사이의 크기 변화량은 1, 객체 (Q11)과 객체(Q12) 사이의 크기 변화량은 0을 갖는다. 이 때, 마이너스(-)는 크기가 작아짐을 의미한다.

이를 요약해 보면, 추출한 객체들의 Y축상에서의 크기 변화량은, 0, -1, -2, -2, -1, 0, 1, 2, 2, 1, 0 이다. 여기서, 6번째 크기 변화량 0을 기준으로 좌측과 우측으로 각각 나누어 크기 변화량을 모두 더하면, 좌측은 -6이고 우측은 6이 된다. 이 때, 상기 변화량이 0일 경우는 객체의 움직임이 없음을 의미하며, 소정의 크기를 갖는 변화량은 객체의 움직임이 있음을 의미한다.

이를 마우스에 적용하여 설명하면, 객체가 움직이다가 움직임을 멈추는 구간에서 크기 변화량이 소정의 값(일예로, -6)을 갖을 때 이벤트가 발생했음을 인지하고, 이를 마우스 버튼의 누름(Press)으로 인식한다.

또한, 객체가 움직이다가 움직임을 멈추는 구간에서 크기 변화량이 소정의 값(일예로, 6)을 갖을 때 이벤트가 발생했음을 인지하고, 이를 마우스 버튼의 해제(Release)로 인식한다.

본 발명의 일실시예에서는 이벤트가 발생했음을 인지하기 위해 Y축상에서 객체의 크기 변화량을 이용하였지만, 이외에도 객체의 이동 방향이 바뀌는 시점과 같은 객체의 움직임이나 모양 색상의 변화 등을 이용할 수도 있다.

또한, 본 발명은 마우스나 키보드는 물론 리모콘에 적용되어 가전 기기(일예 로, TV, 비디오, 오디오)의 전원 제어, 소리 조절, 채널 변경 등을 제어하는데 이용될 수 있다. 특히, 키보드에 적용되는 경우에 표시부를 통해 키보드 그림을 표시하고 객체로 인식한 손을 실시간으로 표시하여 사용자로 하여금 표시부의 키보드를 보고 키 입력이 가능하게 할 수도 있다.

또한, 본 발명은 전등의 점멸, 에어컨 제어, 커튼, 가스밸브, 현관문 등의 제어에 이용될 수 있다.

도 5 는 본 발명에 따른 객체의 추적정보를 이용한 제어 장치의 일실시예 구성도이다.

도 5 에 도시된 바와 같이, 본 발명에 따른 객체의 추적정보를 이용한 제어 장치는, 피사체의 영상을 획득하기 위한 영상 획득부(51), 상기 영상 획득부(51)에서 획득한 영상들의 기준 프레임 입력 전후의 프레임을 기준 프레임과 비교하여 배경을 포함하지 않고 공통 영역이 제외된 제1 및 제2 영상차 프레임을 획득하고, 제1 및 제2 영상차 프레임의 공통 부분으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 최종 프레임을 획득하기 위한 객체 추출부(52), 상기 객체 추출부(52)에서 추출한 최종 프레임의 현재 객체 정보와 기 설정된 이전 객체 정보를 정합시켜 이동 정보, 정합비율 및 크기비율 정보를 포함한 객체의 추적정보를 획득하기 위한 객체정보 획득부(53), 상기 객체정보 획득부(53)에서 획득한 객체의 추적정보를 저장하기 위한 저장부(54), 상기 저장부(54)에 저장되어 있는 객체의 추적정보를 이용하여 소정의 특징을 갖는 객체를 검색하기 위한 객체 검색부(57), 제어부(56)의 제어에 따라 제어신호 또는 객체의 추적정보를 외부의 기기로 송신하기 위한 유/무선 송수신부(55), 상기 객체 검색부(57)에서 검색한 객체의 추적정보를 분석하여 이벤트 발생 여부를 확인한 후 이벤트가 발생함에 따라 상기 유/무선 송수신부(55)를 통해 외부의 기기로 해당 제어신호를 전송하기 위한 제어부(56)를 포함한다.

여기서, 상기 제어부(56)는 상기 객체 검색부(57)에서 검색한 소정의 특징을 갖는 객체의 추적정보를 외부의 기기로 전송하도록 상기 유/무선 송수신부(55)를 제어하는 기능을 더 수행한다.

또한, 상기 소정의 특징은 객체의 특정 색상이나 모양, 객체가 가지고 있는 특정 도형이나 문자, 이동 특성 등을 포함한다.

여기서, 상기 유/무선 송수신부(55)는 본 발명의 필수 구성요소가 아닌 원격 제어를 위한 부가요소이며, 이 때 상기 제어부(56)는 상기 객체 검색부(57)에서 검색한 객체의 추적정보를 분석하여 이벤트 발생 여부를 확인한 후 이벤트가 발생함에 따라 해당 기능(내부 제어 기능)을 제어한다.

도 6 은 본 발명에 따른 객체의 추적정보를 이용한 제어 방법에 대한 일실시예 흐름도이다.

먼저, 피사체(일예로 손)의 영상을 획득한다(601).

이후, 상기 획득한 영상들의 차를 산출하여 움직이는 객체를 추출한다(602). 즉, 획득한 영상들의 기준 프레임 입력 전후의 프레임을 기준 프레임과 비교하여 배경을 포함하지 않고 공통 영역이 제외된 제1 및 제2 영상차 프레임을 획득하고, 제1 및 제2 영상차 프레임의 공통 부분으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 최종 프레임을 획득한다.

이후, 상기 추출한 객체의 추적정보를 획득한다(603). 이때, 최종 프레임의 현재 객체 정보와 기 저장된 이전 객체 정보(이전에 추출한 객체의 추적정보)를 정합시켜 이동 정보, 정합비율 및 크기비율 정보를 포함한 객체의 추적정보를 획득한다.

이후, 상기 획득한 객체의 추적정보를 이용하여 소정의 특징을 갖는 객체를 검색한다(604),

이후, 상기 검색한 객체의 추적정보를 분석하여(605), 이벤트 발생 여부를 확인한다(606).

상기 확인 결과(606), 이벤트가 발생하지 않았으면 종료하고, 이벤트가 발생했으면 상기 이벤트에 상응하는 제어신호를 외부의 기기로 전송한다(607).

본 발명은 상기와 같은 과정들을 반복 수행하여 연속적으로 이벤트 발생 여 부를 확인하고, 이벤트가 발생하면 이에 상응하는 제어신호를 외부의 기기로 전송하거나, 해당 기능을 제어한다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기와 같은 본 발명은, 움직이는 객체를 추출 및 추적하여 획득한 추적정보들 중에서 특정 객체의 추적정보를 이용하여 신속하게 해당 기기 또는 해당 기능을 제어할 수 있는 효과가 있다.

또한, 본 발명은 이전 영상(프레임)과 기준 영상(프레임)의 차를 산출하여 객체를 추출하기 때문에, 배경을 포함하지 않은 객체만을 추출하여 적은 정보량으로 해당 기기 또는 해당 기능을 제어할 수 있는 효과가 있다.

또한, 본 발명은 축적된 객체정보를 이용하여 객체를 연속적으로 추적함으로써, 객체나 객체 주변의 다양한 변화에 쉽게 대처할 수 있는 효과가 있다.

Claims

객체의 추적정보를 이용한 제어 장치에 있어서,

피사체의 영상을 획득하기 위한 영상 획득 수단;

상기 영상 획득 수단에서 획득한 영상들의 기준 프레임 입력 전후의 프레임을 기준 프레임과 비교하여 배경을 포함하지 않고 공통 영역이 제외된 제1 및 제2 영상차 프레임을 획득하고, 제1 및 제2 영상차 프레임의 공통 부분으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 최종 프레임을 획득하기 위한 객체 추출 수단;

상기 최종 프레임의 현재 객체 정보와 기 저장된 이전 객체 정보를 정합시켜, 이동 정보, 정합비율 및 크기비율 정보를 포함한 객체의 추적정보를 연속적으로 획득하기 위한 객체정보 획득 수단;

상기 객체정보 획득 수단에서 획득한 객체의 추적정보를 저장하기 위한 저장 수단;

상기 저장 수단에 저장되어 있는 객체의 추적정보를 이용하여 소정의 특징을 갖는 객체를 검색하기 위한 객체 검색 수단; 및

상기 객체 검색 수단에서 검색한 소정의 특징을 갖는 객체의 추적정보를 분석하여 이벤트 발생 여부를 확인한 후 이벤트가 발생함에 따라 상기 이벤트에 상응하는 제어 기능을 수행하기 위한 제어 수단

을 포함하는 객체의 추적정보를 이용한 제어 장치.
제 1 항에 있어서,

상기 제어 수단의 제어에 따라 상기 이벤트에 상응하는 제어신호를 외부 기 기로 송신하기 위한 통신 수단

을 더 포함하는 객체의 추적정보를 이용한 제어 장치.
제 2 항에 있어서,

상기 제어 수단은,

상기 객체 검색 수단에서 검색한 소정의 특징을 갖는 객체의 추적정보를 상기 외부 기기로 전송하도록 상기 통신 수단을 제어하는 것을 특징으로 하는 객체의 추적정보를 이용한 제어 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 소정의 특징은,

객체의 특정 색상이나 모양, 객체가 가지고 있는 특정 도형이나 문자, 이동 특성을 포함하는 것을 특징으로 하는 객체의 추적정보를 이용한 제어 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 추적정보는,

객체마다 할당되는 객체번호, 영상 취득 시간, 객체의 크기, 객체의 위치, 정합 비율, 크기 비율, 속도, 회전 중심, 각속도 정보를 포함하는 것을 특징으로 하는 객체의 추적정보를 이용한 제어 장치.
객체의 추적정보를 이용한 제어 방법에 있어서,

피사체의 영상을 획득하는 영상 획득 단계;

상기 획득한 영상들의 기준 프레임 입력 전후의 프레임을 기준 프레임과 비교하여 배경을 포함하지 않고 공통 영역이 제외된 제1 및 제2 영상차 프레임을 획득하고, 제1 및 제2 영상차 프레임의 공통 부분으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 최종 프레임을 획득하는 객체 추출 단계;

상기 최종 프레임의 현재 객체 정보와 기 저장된 이전 객체 정보를 정합시켜, 이동 정보, 정합비율 및 크기비율 정보를 포함한 객체의 추적정보를 연속적으로 획득하는 추적정보 획득 단계;

상기 획득한 객체의 추적정보를 이용하여 소정의 특징을 갖는 객체를 검색하는 객체 검색 단계;

상기 검색한 객체의 추적정보를 분석하여 이벤트 발생을 확인하는 이벤트 발생 확인 단계; 및

상기 이벤트 발생에 따라 상기 이벤트에 상응하는 제어 기능을 수행하는 제어 단계

를 포함하는 객체의 추적정보를 이용한 제어 방법.
제 6 항에 있어서,

상기 제어 단계는,

상기 이벤트 발생에 따라 상기 이벤트에 상응하는 제어신호를 외부 기기로 전송하여 상기 외부 기기를 제어하는 것을 특징으로 하는 객체의 추적정보를 이용한 제어 방법.
제 6 항에 있어서

상기 이벤트 발생 확인 단계 및 상기 제어 단계는,

상기 검색한 소정의 특징을 갖는 객체의 추적정보를 외부 기기로 전송하여 상기 외부 기기를 제어하는 것을 특징으로 하는 객체의 추적정보를 이용한 제어 방법.
제 6 항 내지 제 8 항 중 어느 한 항에 있어서,

상기 객체 추출 단계는,

상기 획득한 영상의 제1 프레임(기준 프레임 입력 전의 프레임)과 제2 프레임(기준 프레임)의 차를 산출하여 공통 영역(영상의 변화가 없는 픽셀)이 제외된 상기 제1 영상차 프레임을 획득하는 제1 영상차 프레임 획득 단계;

상기 제2 프레임(기준 프레임)과 제3 프레임(기준 프레임 입력 후의 프레임)의 차를 산출하여 공통 영역이 제외된 상기 제2 영상차 프레임을 획득하는 제2 영상차 프레임 획득 단계; 및

상기 제1 영상차 프레임과 상기 제2 영상차 프레임의 공통 영역(객체)으로 배경을 포함하지 않고 추출하려는 객체만을 포함한 상기 최종 프레임을 획득하는 최종 프레임 획득 단계

를 포함하는 객체의 추적정보를 이용한 제어 방법.
제 9 항에 있어서,

상기 소정의 특징은,

객체의 특정 색상이나 모양, 객체가 가지고 있는 특정 도형이나 문자, 이동 특성을 포함하는 것을 특징으로 하는 객체의 추적정보를 이용한 제어 방법.
제 9 항에 있어서,

상기 추적정보는,

객체마다 할당되는 객체번호, 영상 취득 시간, 객체의 크기, 객체의 위치, 정합 비율, 크기 비율, 속도, 회전 중심, 각속도 정보를 포함하는 것을 특징으로 하는 객체의 추적정보를 이용한 제어 방법.