KR20150074429A

KR20150074429A - 가상자원의 위치정보 매핑 방법 및 장치

Info

Publication number: KR20150074429A
Application number: KR1020130162211A
Authority: KR
Inventors: 박종빈; 정종진; 임태범; 김경원; 금승우; 문재원
Original assignee: 전자부품연구원
Priority date: 2013-12-24
Filing date: 2013-12-24
Publication date: 2015-07-02
Also published as: CN104731659A; KR101563736B1; US20150180749A1

Abstract

가정이나 사무실 등의 가상 공간에서 네트워크 기기와 같은 가상자원들의 위치정보를 자동으로 획득하는 방법이 개시된다. 본 발명의 일 면에 따른 가상자원의 위치정보 매핑 방법은 특정 공간에서 기기 고유의 서비스나 특성에 따라 가상화 처리된 가상자원들을 인식하고, 상기 가상자원들의 내부 상태와 제공 서비스 등을 포함하는 가상자원 정보를 수집하는 단계; 상기 가상자원 정보를 이용하여 상기 가상자원들에 대한 이벤트 발생 정보를 획득하는 단계; 상기 가상자원들 중에서 적어도 어느 하나에 이벤트가 발생하면, 상기 특정 공간에 대한 영상 정보를 획득하는 단계; 및 상기 이벤트 발생 정보 및 상기 영상 정보를 이용하여 상기 가상자원들에 대한 위치정보를 획득하는 단계를 포함한다.

Description

가상자원의 위치정보 매핑 방법 및 장치 {Apparatus and Method for Mapping Position Information to Virtual Resources}

본 발명은 가상자원의 위치정보 매핑 방법 및 장치에 관한 것으로서, 보다 상세하게는 가정이나 사무실 등의 공간에서 네트워크 기기와 같은 가상자원들의 위치정보를 자동으로 획득하는 방법에 관한 것이다.

최근 IT 기기들은 네트워크를 통해 이종 기기 간 정보의 공유 및 연동이 가능해지고 있다. 예를 들어 UPnP (Universal Plug and Play) 기술과 같은 미들웨어 기술을 이용하면 네트워크 내부에 연결된 기기들 상호간에 각자의 콘텐츠들과 제공서비스들을 공유하는 것이 가능해진다.

하지만 이러한 연동은 네트워크를 통한 논리적 연결을 기반으로 하는데, 공간에서의 물리적 위치까지 고려하지는 않는 한계를 지닌다. 만약 공간에서 가상자원들이나 객체들의 위치정보를 이용할 수 있다면 기기들 사이에 협력형 서비스를 제공하는 것도 가능해지고 부가적으로 가상자원 및 객체의 위치를 찾는데도 활용할 수 있다.

즉, 이러한 서비스들을 제공하기 위해서는 가상자원들과 객체들이 존재하는 물리적 위치정보들은 논리적 정보들과 서로 매핑(mapping)되어야 한다. 이러한 위치정보의 매핑은 사용자가 직접 수동으로 입력하는 것도 가능한 방법이지만, 기기들의 수가 늘어나고, 위치가 수시로 바뀌는 경우들을 고려하면 매우 번거롭고 현실적이지 못한 것이 사실이다.

한편, 가상자원이란 특정 공간에서 기기 고유의 서비스나 특성에 따라 가상화 처리된 장치들로 정의될 수 있으며, 예를 들어 하나의 물리적 장치일지라도 한 가지 이상의 서비스나 고유특성을 갖는다면 여러 개의 가상자원들을 포함하는 것으로 간주할 수 있다. 역으로 여러 개의 물리적 장치들이 하나의 가상자원을 구성할 수도 있다. 이외에도 공간에서 사람, 레거시 기기, 조형물, 물건 등은 객체라고 정의될 수 있으며, 가상자원과 객체의 구분은 제공하는 서비스가 특정 프로토콜에 의해 타 기기와의 연동 능력의 유무로 판단될 수 있다. 이러한 자원 혹은 객체들의 물리적 위치를 이용한다면 기기들의 독자적인 제어뿐만 아니라 상호 협력적으로 제어가 가능한 장점을 갖는다.

기존 특허(등록번호: 10-0818171, 10-0575447, 10-1071118 등)들은 위와 같은 환경을 고려하여 기존의 가상자원이나 물리적 객체들의 위치를 찾거나 논리적 정보와 물리적 위치정보를 매핑하기 위한 장치와 방법에 대해 제안하였다. 그러나 기존의 매핑 방법들은 사용자가 의식적으로 기기들의 물리적 위치정보를 인지하고, 아이콘 등을 조작하는 과정이 필요했다. 또는, 댁 내 객체의 위치를 추적하기 위해 리모콘과 같은 추가적인 하드웨어 구성을 필요로 하여 기존 장치들에 대해서는 적용할 수 없는 중요한 한계도 가지고 있었다.

상술한 문제점을 해결하기 위한 본 발명은 가상자원들을 표현하는 논리적 정보와, 가상자원들을 구성하는 기기들이 실제 위치하는 물리적 위치정보를 사용자가 의식적으로 입력하는 과정을 최소화하여 매핑하는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 면에 따른 가상자원의 위치정보 매핑 방법은 특정 공간에서 기기 고유의 서비스나 특성에 따라 가상화 처리된 가상자원들을 인식하고, 상기 가상자원들의 내부 상태와 제공 서비스 등을 포함하는 가상자원 정보를 수집하는 단계; 상기 가상자원 정보를 이용하여 상기 가상자원들에 대한 이벤트 발생 정보를 획득하는 단계; 상기 가상자원들 중에서 적어도 어느 하나에 이벤트가 발생하면, 상기 특정 공간에 대한 영상 정보를 획득하는 단계; 및

상기 이벤트 발생 정보 및 상기 영상 정보를 이용하여 상기 가상자원들에 대한 위치정보를 획득하는 단계를 포함한다.

전술한 목적을 달성하기 위한 본 발명의 다른 면에 다른 가상자원의 위치정보 매핑 장치는 특정 공간에서 기기 고유의 서비스나 특성에 따라 가상화 처리된 가상자원들을 인식하고, 상기 가상자원들의 내부 상태와 제공 서비스 등을 포함하는 가상자원 정보를 수집하는 가상자원 인식 및 상태정보 수집부; 상기 가상자원들 중에서 적어도 어느 하나에 이벤트가 발생하면, 상기 특정 공간에 대한 영상 정보를 획득하는 공간모니터링부; 및 상기 가상자원 정보를 이용하여 상기 가상자원들에 대한 이벤트 발생 정보를 획득하고, 상기 이벤트 발생 정보 및 상기 영상 정보를 이용하여 상기 가상자원들에 대한 위치정보를 획득하는 정보처리부를 포함한다.

본 발명에 따르면, 가정이나 사무실 등과 같은 공간에서 가상자원 위치정보를 사용자의 의식적 행위를 최소화 하면서 매핑하기 위해 기기에서 발생하는 이벤트 정보와 공간 모니터링 정보를 함께 이용한다. 이로 인해, 공간 모니터링 정보 한 가지만을 이용하는 것보다 정확도를 향상시킬 수 있고, 필요한 상황에서만 연산처리를 수행할 수 있게 되어 연산량도 함께 줄일 수 있다.

또한, 본 발명에 따르면, 분산 컴퓨팅 환경에서 정보를 처리할 수 있어서, 시스템의 수정 및 갱신, 알고리즘을 추가하거나 갱신하는데 유용하며, 고가의 컴퓨팅 자원을 서로 공유할 수 있게 되어 에너지 사용 효율 측면에서도 도움을 줄 수 있다.

도 1은 본 발명의 일실시예에 따른 가상자원의 위치정보 매핑 장치의 구성을 도시한 도면.
도 2는 도 1의 공간모니터링부를 통해 입력된 모니터링 영상의 일 예를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 가상자원의 위치정보 매핑 방법을 도시한 도면.
도 4는 본 발명의 일실시예에서 객체추출 방법을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 가상자원의 위치정보 매핑 장치가 위치정보를 획득하는 일 예를 설명하기 위한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 일실시예에 따른 가상자원의 위치정보 매핑 장치의 구성을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 가상자원의 위치정보 매핑 장치는 가상자원 인식 및 상태정보 수집부(101), 공간모니터링부(102), 정보처리부(120), 가상자원 정보 DB(131)를 포함한다.

본 발명에 따른 가상자원의 위치정보 매핑 장치의 모든 구성요소들은 댁 내 혹은 사무실과 같은 공간에 위치할 수 있으나, 정보처리부(120)와 가상자원 정보 DB(131)는 분산된 컴퓨팅 환경을 고려하여 네트워크에 연결된 원격장소에 위치하는 것도 가능하다.

여기서, 가상자원이란 특정 공간에서 기기 고유의 서비스나 특성에 따라 가상화 처리된 장치들로 정의될 수 있으며, 예를 들어 하나의 물리적 장치일지라도 한 가지 이상의 서비스나 고유특성을 갖는다면 여러 개의 가상자원들을 포함하는 것으로 간주할 수 있다. 반대로 하나의 가상자원이 물리적으로 여러 장소에 분리되어 있는 상황도 가능하다. 실제적인 예로써 전등, TV, 오디오, 프린터는 각각이 독립적인 가상자원이 될 수도 있지만, {전등+오디오}, {전등+오디오+TV+프린터} 등과 같이 서로 그룹으로 묶여서 협력적으로 서비스를 지원하는 단위가 가상자원이 될 수도 있다.

그리고 객체는 공간에서 사람, 레거시 기기, 조형물, 물건 등으로 정의될 수 있으며, 가상자원과 객체의 구분은 제공하는 서비스가 특정 프로토콜에 의해 타 기기와의 연동 능력의 유무로 판단될 수 있다. 이러한 자원 혹은 객체들의 물리적 위치를 이용한다면 기기들의 독자적인 제어뿐만 아니라 상호 협력적으로 제어가 가능한 장점을 갖는다.

가상자원 인식 및 상태정보 수집부(101)는 특정 공간에 존재하는 가상자원들을 인식해서 현재 가상자원들의 내부 상태와 제공 서비스 정보 등을 수집한다. 또한 가상자원 인식 및 상태정보 수집부(101)는 인식된 정보를 내부 혹은 외부 네트워크에 연결된 타 기기에 전달할 수 있는 기능들을 제공한다.

이를 위해, 가상자원 인식 및 상태정보 수집부(101)와 가상자원들은 약속된 통신 프로토콜을 사용하여 네트워크 연결된다. 예컨대, UPnP(Universal Plug and Play)가 이를 위한 통신 프로토콜 중의 하나이다.

UPnP는 가상자원들이 제공하는 콘텐츠나 서비스들을 쉽게 공유하고 제어할 수 있도록 하는 통신 프로토콜들의 집합을 의미한다. UPnP를 지원하는 가상자원들은 네트워크 내부의 다른 기기들에게 쉽게 인식될 수 있고, 콘텐츠를 공유할 수 있으며, 기기 상호간에 제어를 하거나 제어를 받을 수 있다. 전술한 UPnP 프로토콜은 가상자원들 간, 또는 가상자원들과 가상자원 인식 및 상태정보 수집부(101) 사이에 네트워크 연결을 지원하는 하나의 예로서 설명된 것이고, 본 발명의 실시는 이에 한정하지는 않는다. 예를 들어 REST(Representational State Transfer)와 같은 네트워크 아키텍처를 사용하여 상태정보들을 동기적 혹은 비동기적으로 수집하는 방법, MPI(Message Passing Interface), 지그비(Zigbee)나 블루투스(Bluetooth)등을 사용한 기기간 통신방법, 혹은 사용자가 직접 가상자원 정보를 등록하는 방법 등이 사용될 수 있다. 그러나 사용자의 의식적 정보 등록과정을 최소화하여 네트워크에 연결된 가상자원들을 자동으로 인식하고, 각각의 가상자원의 상태정보를 지속적으로 수집 및 관리하도록 구성하는 것이 가장 바람직함은 물론이다.

한편, 가상자원 인식 및 상태정보 수집부(101)가 수집한 가상자원 정보들은 가상자원이 공간상에 놓인 위치와 같은 물리적 위치정보까지는 제공할 수 없는 한계를 지닌다. 가상자원의 물리적 위치가 중요한 이유는 위치정보를 이용해서 직관적인 기기제어, 기기 협력형 서비스 제공 및 가상자원의 위치를 검색에도 활용할 수 있기 때문이다. 이러한 위치정보의 매핑은 사용자가 직접 수동으로 입력하는 것도 가능한 방법이지만, 기기들의 수가 늘어나고, 위치가 수시로 바뀌는 경우들을 고려하면 매우 번거롭고 제한적인 방식임이 분명하다.

이를 해결하기 위해 본 발명은 공간모니터링부(102)를 포함하는 것을 특징으로 한다. 공간모니터링부(102)는 댁 내 혹은 사무실과 같은 공간에서 발생하는 사건이나 변화를 동기적/비동기적으로 모니터링 하는 역할을 수행하는데, 이를 위해 네트워크에 연결되고 모니터링 가능한 단일 혹은 N개의 카메라들로 구성하는 것이 효과적 정보 수집 측면에서 바람직하다.

예컨대, 공간정보 모니터링을 위한 카메라들은 CCD(Charge-coupled device)나 CMOS(Complementary metal-oxide semiconductor)와 같은 광학신호를 전기신호로 변환해주는 이미지센서를 사용하는 방식이 보편적이지만, 카메라로부터 객체까지의 깊이 정보를 직접 혹은 간접적으로 추출할 수 있는 영상/깊이 정보 카메라(RGB-Depth camera) 혹은 깊이 정보 카메라(Depth camera)를 사용하는 것이 더욱 효과적이다.

영상정보와 깊이 정보를 동시에 이용하면 카메라 화각(Angle of view)에서 관찰되는 공간상의 여러 객체들을 추출함과 동시에 3차원 공간정보(깊이 정보)까지 쉽게 획득할 수 있기 때문이다. 게다가 깊이 정보를 이용하면 인체의 골격구조(Skeleton) 및 제스처(Gesture) 정보를 획득함에 있어서 2차원 영상정보만을 이용하는 것보다 빠르고 정확하게 얻을 수 있는 장점이 있다.

깊이 정보의 획득은 예컨대, 펄스광을 출력하여 물체에 반사되어 되돌아오기까지의 걸린 시간을 거리로 환산하는 방법, 특정 패턴을 갖는 구조광을 피사체에 투사한 후 영상을 촬영하여 삼각측량원리를 이용하여 거리를 추정하는 능동적 방법 등을 이용할 수 있다. 하지만 일반적인 영상획득용 카메라를 사용해도 입력된 영상들과 카메라 내외부(Intrinsic or extrinsic parameters)파라미터 정보들을 사용하여 깊이 정보 추정이 가능하다. 통상적으로 공간에서 물리적으로 분리된 2개 이상의 카메라를 사용하여 영상들을 획득한 후 특징점 매칭을 수행한 후 매칭된 지점들에 대해서 카메라 내외부 파라미터 정보들을 이용하면 삼각측량원리를 이용해서 특정 객체의 절대 거리를 계산할 수 있다.

정보처리부(120)는 가상자원 정보들을 이용하여 가상자원들에 대한 위치정보를 획득하기 위한 프로세스를 처리하는 것으로서, 가상자원이벤트검출부(121)와, 객체추출부(122)와, 객체위치계산부(123)와, 가상자원 위치인식부(124)를 포함한다.

가상자원이벤트검출부(121)는 가상자원 인식 및 상태정보 수집부(101)로부터 인식된 가상자원 정보들을 이용해서, 가상자원들의 상태가 변화하는 경우에 이를 이벤트로 판단한다.

예를 들어, UPnP를 지원하거나 REST 아키텍처로 설계되거나, 혹은 가상자원이벤트검출부(121)를 위한 응용프로그램이나 프로토콜을 구비하고 있는 스마트 텔레비전에서 소리크기(volume)나 채널(channel)등이 변경되었다고 가정하자.

이 때, 가상자원이벤트검출부(121)는 스마트 텔레비전이라고 하는 특정 가상자원의 내부 상태정보가 바뀌었음을 감지할 수 있으며, 이를 이벤트정보로 판단한다. 검출된 이벤트정보에는 이벤트를 발생시킨 가상자원의 정보, 이벤트가 발생한 시간, 발생한 이벤트 유형이 함께 포함될 수 있고, 객체추출부(123)는 이들 정보를 종합적으로 활용할 수 있다.

객체추출부(122)는 가상자원이벤트검출부(121)에서 특정 이벤트를 검출하면, 공간모니터링부(102)로부터 획득된 영상이나 깊이 정보를 입력 받아 이벤트를 발생시킨 가상자원일 것으로 판단되는 후보 객체(Candidate object)들을 추출한다.

여기서, 공간 모니터링 정보들(예컨대, 영상 정보 혹은 깊이 정보 등)은 가상자원에서 이벤트가 발생했을 때 공간모니터링부(102)로부터 실시간으로 획득될 수도 있다.

다른 한편으로, 공간모니터링부(102)에서 획득한 공간 모니터링 정보들에 시간 동기된 타임스탬프(time stamp)정보를 포함시킨 후 임시버퍼나 저장소에 저장하고, 이를 어느 정도 시간지연이 된 후에 처리하는 것도 가능하다.

예컨대, 공간모니터링부(102)를 통해 도 2에 도시된 바와 같은 공간 모니터링 영상정보가 획득되었다고 가정하자.

그러면 객체추출부(122)는 획득된 모니터링 정보들 중에서 이벤트를 발생 시켰을 것으로 예상되는 특징요소(feature elements)들을 포함하는 후보 객체들을 검출한 후 이를 출력한다. 본 발명에서는 이러한 후보 객체들을 검출하기 위해 (1) 시간이 흐름에 따라 변하는 영상 영역을 이용하는 방법, (2) 영상 자체에 포함된 신호를 분석하는 방법과 같은 2가지 방법을 사용한다.

한편, 검출된 후보 객체들이 영상 내에서 차지하는 영역을 표현하는 일 예로서, 객체에 포함된 모든 픽셀들의 위치정보를 각각의 집합형태로 표현하는 방법을 사용할 수 있다.

다른 예로서, 영상을 격자 혹은 벌집 형태로 구분하고, 이때 생성된 각각의 셀(cell)들의 인덱스를 사용해서 후보 객체들이 영상 내에서 차지하는 영역을 표현할 수 있다.

다른 예로서, 객체를 포함하는 원형, 직사각형, 다각형 등을 이용해서 후보 객체들이 영상 내에서 차지하는 영역을 표현할 수도 있다.

객체를 실제로 검출하는 예를 살펴보면, 가상자원이벤트검출부(121)에서 “스마트 텔레비전이 켜졌다“는 이벤트를 검출했다고 가정하자. 그러면 도 2의 모니터링 영상에서 시간이 흐름에 따라 텔레비전과 관련된 영역에서 밝기나 색상의 변화가 나타날 가능성이 매우 높게 되는데, 이를 후보 영역으로 정하는 것은 매우 자연스럽다. 즉, 시간축 상에서 영상정보가 변화되는 영역을 특징요소들로 간주하여 후보 객체들을 검출할 수 있는데, 구체적인 예로는 전경(foreground)과 배경(background), 전역적/국부적 밝기 및 움직임 등이 발생한 영역들이 후보 객체로 검출될 수 있다.

하지만 시간이 흐름에 따라 모니터링 영상에서 변화가 거의 발생하지 않는 상황도 가능하다. 이와 관련된 특수한 예로서, “스마트 텔레비전의 소리가 커졌다”라는 이벤트가 발생했다면, 소리의 음량이 변화하는 것이므로 영상 정보만으로는 특징적인 변화를 찾기가 힘들다.

이런 경우, 영상 신호에 존재하는 특징요소들까지 함께 이용하여 후보 객체를 검출한다. 영상에 존재하는 특징요소들의 예로는 정적인 영역과 복잡한 영역, 사람과 사물, 사람의 얼굴?눈?코?입과 같은 신체 영역, 꽃병이나 액자와 같은 물체 영역 등과 같은 다양한 수준의 객체들이 가능하다.

이러한 특징요소들을 포함하는 객체를 검출하기 위해서는 영상 클러스터링(Clustering) 기술, 기계학습(Machine learning) 방법들을 사용한 객체 검출 방법들이 활용될 수 있다. 이때 영상신호 내부의 공간주파수특성, 균일성, 연속성, 색상정보, 깊이정보 등이 활용될 수 있다. 기계학습 방법을 사용하여 객체를 검출하는 방법으로서, 하르 분류기(Haar classifier)를 예로 들 수 있다. 하르 분류기는 얼굴객체 인식에 자주 사용되고 있지만 목표로 하는 학습대상 객체에 대해 반복적 훈련을 수행하면 다양한 객체에 적용할 수 있으며, 학습된 정보를 기초로 향후 새로운 시험용 데이터가 입력되었을 때 이미 학습된 대상 객체인지 아닌지를 판단할 수 있게 하는 방법이다. 즉, 특정 시점의 스틸 영상(Still image)만 가지고도 영상 내에 객체의 존재 유무 및 위치를 판별하는 수단을 제공한다.

도 2를 참조하여 객체추출부(122)가 각 이벤트 상황에 따라 객체를 검출하는 방법에 대해서 구체적으로 살펴보자.

만약, 가상자원이벤트검출부(121)에서 “스마트 텔레비전이 켜졌다“는 이벤트가 검출되면, 먼저 객체추출부(122)는 모니터링된 영상에서 변화되는 영역이 있는지를 검사한다. 만약 변화 영역이 존재한다면 해당 영역이 후보 객체로 검출된다. 그리고 객체추출부(122)는“스마트 텔레비전”을 판별할 수 있는 특징요소를 이용하여 하르 분류기나, 특징점 분석 알고리즘을 통해 추가적인 후보 객체들을 검출한다.

다른 한편으로, 이벤트가 발생한 것으로 검출되었음에도 불구하고, 공간모니터링 정보에서 유의미한 변화나 특징이 관찰되지 않는 경우, 객체추출부(122)는 가상자원들을 직접 제어하고(예를 들어 TV를 끄거나 켜거나, 전등을 끄거나 켜거나, 오디오를 제어하거나 하는 등의 능동적인 제어), 그 결과 유의미한 변화가 발생하면, 이를 이용하여 후보 객체를 검출할 수도 있다.

객체위치계산부(123)는 객체추출부(122)가 출력한 후보 객체들 각각에 대해 3차원 공간상의 위치정보를 계산한다. 위치정보는 공간모니터링부(102)에서 기술한 바와 같이 3차원 깊이 정보를 사용할 수 있다면 이를 이용하고, 만약 직접적으로 이용할 수 없다면 추가적 연산을 수행하여 추정한다. 이때의 위치정보는 직교좌표계(Recangular coordinate system, Cartesian coordinate system) 혹은 극좌표계(Polar coordinate system)로 표현할 수 있으며, 상황에 따라 적절한 좌표계를 선택적으로 사용하여 정보를 표현한다. 예를 들어 공간모니터링부(102)가 RGB-Depth 카메라를 사용하여 6면체 형태의 공간을 모니터링 중이라면, 카메라에서 출력된 영상 및 깊이 정보를 이용해서 객체 별 3차원 위치정보를 직교좌표계 형태로 표현하는 것이 바람직하다. 만약 공간모니터링부(102)가 2개 이상의 카메라로 구성된다면 카메라별로 추출된 객체들을 스테레오 매칭(Stereo matching)이나 다시점 매칭(Multiview matching)등의 기술을 활용해서 3차원 위치정보를 획득할 수 있다. 그러나 만약 일반적인 영상획득 카메라 1개만을 사용하는 경우 3차원 깊이 정보를 획득하기가 쉽지 않은데, 이런 경우에는 3차원 구면좌표계와 같은 극좌표계를 사용해서 카메라에서 객체까지의 깊이 정보는 고려하지 않고, 상하 및 좌우와 같은 각도정보로 객체들의 위치를 표현한다.

가상자원 위치인식부(124)는 후보 객체 별로 위치정보를 계산하고 나면 (1)객체, (2)객체의 위치정보, (3)이벤트를 발생시킨 가상자원의 특징, (4)가상자원이 발생시킨 이벤트의 종류 등을 함께 고려하여 논리적으로 오류로 판단되는 후보 객체들을 제거한 후 가상자원의 후보 위치들을 결정한다. 예를 들어 텔레비전이나 냉장고가 공간상에 지지대 없이 떠 있는 것으로 판단되거나, 스스로 움직일 수 없는 정적인 가상자원이 시간에 따라 위치가 너무 심하게 변하거나, 시간에 따라 크기가 임계값 이상으로 심하게 변하거나 하는 등의 상황을 제거하여 정확도를 향상 시킨다. 이를 위해서는 가상자원정보 DB(131)에 저장된 정보들을 피드백 형태로 활용할 수 있다.

이렇게 결정된 후보 객체들의 위치정보들은 가상자원의 후보 위치로 간주하여 가상자원정보 DB(Database)(131)에 저장된다. 이 때 각각의 가상자원 별로 다수개의 후보 위치들이 단일 가상자원에 매핑될 수 있다. 또한 후보 객체들이 없거나, 후보 객체들의 위치정보가 없다면, 가상자원의 후보 위치 역시 인식할 수 없는 상황도 발생할 수 있다. 하지만 가상자원에서 이벤트가 반복적으로 발생 시 동일 계산과정을 다시 수행하여 기존에 저장된 가상자원정보 DB(131)를 참조하여 위치정보의 정확도를 개선할 수 있다. 본 발명에서는 위치 정확도를 개선하기 위해 이미 확보한 가상자원정보 DB(131)를 이용하는 구체적인 방법으로 칼만필터(Kalman filter)나 파티클 필터(Particle filter)와 같은 통계적 필터 도구들을 사용하는 방법을 제안한다.

한편, 정보처리부(120)와, 가상자원 정보 DB(131)는 가상자원 인식 및 상태정보 수집부(101)와, 공간모니터링부(102)와 물리적으로 인접한 곳에 존재하지 않을 수 있다. 통상적으로 가상자원의 상태정보와 모니터링된 공간정보를 동시에 처리하기 위해서는 높은 사양의 연산자원이 요구된다. 또한, 수집된 가정자원들에 대한 정보의 안정적인 관리가 요구되므로 이를 전문적으로 관리할 수 있도록 하기 위해 정보처리부(120)와 가상자원 정보 DB(131)은 네트워크에 연결된 원격장소에 위치하는 것이 가능하다.

이상에서는 도 1을 참조하여 본 발명의 실시예에 따른 가상자원의 위치정보 매핑 장치의 구성을 살펴보았다. 이하에서는 도 3 내지 도 5를 참조하여 본 발명의 실시예에 따른 가상자원의 위치정보 매핑 장치의 동작을 살펴본다.

도 3은 본 발명의 일실시예에 따른 가상자원의 위치정보 매핑 방법을 도시한 도면이다.

S10 단계에서, 가상자원 인식 및 상태정보 수집부(101)는 특정 공간에 존재하는 가상자원들을 인식해서 현재 가상자원들의 내부 상태와 제공 서비스 정보 등을 수집한다.

이를 위해, 가상자원 인식 및 상태정보 수집부(101)와 가상자원들은 약속된 통신 프로토콜을 사용하여 네트워크 연결된다. 예컨대, UPnP(Universal Plug and Play)가 이를 위한 통신 프로토콜 중의 하나이다. UPnP를 지원하는 가상자원들은 네트워크 내부의 다른 기기들에게 쉽게 인식될 수 있고, 콘텐츠를 공유할 수 있으며, 기기 상호간에 제어를 하거나 제어를 받을 수 있다. 전술한 UPnP 프로토콜은 가상자원들 간, 또는 가상자원들과 가상자원 인식 및 상태정보 수집부(101) 사이에 네트워크 연결을 지원하는 하나의 예로서 설명된 것이고, 본 발명의 실시는 이에 한정하지는 않는다.

한편, 가상자원 인식 및 상태정보 수집부(101)는 네트워크에 연결된 가상자원들을 자동으로 인식하고, 각각의 가상자원의 상태정보를 지속적으로 수집 및 관리하도록 구성되는 것이 바람직할 것이다.

S20 단계에서, 가상자원이벤트검출부(121)는 가상자원 인식 및 상태정보 수집부(101)로부터 인식된 가상자원 정보들을 이용해서, 가상자원들의 상태가 변화하는 경우에 이를 이벤트로 판단한다.

예를 들어, 스마트 텔레비전에서 소리크기(volume)나 채널(channel)등이 변경되었다고 가정하자. 이 때, 가상자원이벤트검출부(121)는 스마트 텔레비전이라고 하는 특정 가상자원의 내부 상태정보가 바뀌었음을 감지할 수 있으며, 이를 이벤트정보로 판단한다. 검출된 이벤트정보에는 이벤트를 발생시킨 가상자원의 정보, 이벤트가 발생한 시간, 발생한 이벤트 유형이 함께 포함될 수 있고, 객체추출부(123)는 이들 정보를 종합적으로 활용할 수 있다.

S30 단계에서, 객체추출부(122)는 가상자원이벤트검출부(121)에서 특정 이벤트를 검출하면, 공간모니터링부(102)로부터 획득된 영상이나 깊이 정보를 입력 받아 이벤트를 발생시킨 가상자원일 것으로 판단되는 후보 객체(Candidate object)들을 추출한다.

도 4는 본 발명의 일실시예에서 객체검출 방법을 도시한 도면이다. 이하에서는, 도 4를 참조하여 본 발명의 실시예에 따른 객체검출 방법을 살펴본다.

S31 단계에서, 객체추출부(122)는 이벤트를 발생시킨 가상자원들의 내부 상태와 제공 서비스 등의 정보를 전송 받는다.

S33 단계에서, 객체추출부(122)는 공간모니터링부(102)로부터 획득된 영상이나 깊이 정보를 입력 받아 이벤트를 발생시킨 가상자원일 것으로 판단되는 후보 객체(Candidate object)들을 추출한다.

예컨대, 후보 객체들을 검출하기 위한 방법으로서, 시간이 흐름에 따라 변하는 영상 영역을 이용하는 방법(S35a), 영상 자체에 포함된 신호를 분석하는 방법(S35b)이 사용될 수 있다.

다시 도 3으로 돌아와서 S40 단계에 대해서 설명하면, S40 단계에서, 객체위치계산부(123)는 객체추출부(122)가 출력한 후보 객체들 각각에 대해 3차원 공간상의 위치정보를 계산한다. 위치정보는 공간모니터링부(102)에서 기술한 바와 같이 3차원 깊이 정보를 사용할 수 있다면 이를 이용하고, 만약 직접적으로 이용할 수 없다면 추가적 연산을 수행하여 추정한다.

S50 단계에서, 가상자원 위치인식부(124)는 후보 객체 별로 위치정보를 계산하고 나면 (1)객체, (2)객체의 위치정보, (3)이벤트를 발생시킨 가상자원의 특징, (4)가상자원이 발생시킨 이벤트의 종류 등을 함께 고려하여 논리적으로 오류로 판단되는 후보 객체들을 제거한 후(S60), 가상자원의 후보 위치들을 결정한다. 이렇게 결정된 후보 객체들의 위치정보들은 가상자원의 후보 위치로 간주하여 가상자원정보 DB(Database)(131)에 저장된다.

도 5는 본 발명의 일실시예에 따른 가상자원의 위치정보 매핑 장치가 위치정보를 획득하는 일 예를 설명하기 위한 도면이다. 이하, 도 5를 참조하여 본 발명에 따른 가상자원의 위치정보 매핑 장치가 위치정보를 획득하는 실시 예들을 살펴보도록 한다.

실시예 1- 전등 위치를 자동으로 판별

본 발명에 의하면 댁 내 혹은 사무실과 같은 공간에서 전등의 위치를 판별하는 것이 가능하다. 예를 들어, UPnP 통신프로토콜이 탑재되거나, 원격지 서버에 연결되어 전등의 상태를 확인 및 제어하는 기능을 탑재한 전등을 사용하는 상황을 가정하자. 만약 전등이 켜지거나, 꺼지거나, 밝기가 변하는 이벤트가 발생했다면 본 발명에서 포함하는 가상자원 인식 및 상태정보 수집부(101)를 통해 인식 및 내부 상태정보를 획득할 수 있으며, 가상자원이벤트검출부(121)을 통해 전등에서 발생한 이벤트를 검출할 수 있다. 이때 공간모니터링부(102)는 공간에서의 모니터링 정보를 기초로 객체를 검출하고, 전등으로 추정되는 후보 객체 영역들을 검출한다. 본 전등의 예시에서는 밝기가 가장 크게 변한 영역을 전등이 위치할 후보 영역으로 검출할 수 있게 된다. 후보 객체 영역들에 대해서 3차원 공간정보를 획득하고, 여기서 획득된 후보 객체들의 3차원 공간정보를 “전등”이라고 하는 가상자원에 매핑함으로써 목표를 달성할 수 있다.

실시예 2- 냉장고 위치를 자동으로 판별

본 발명에 의하면 댁 내 혹은 사무실과 같은 공간에서 냉장고의 위치를 판별하는 것이 가능하다. 예를 들어, UPnP 통신프로토콜이 탑재되거나, 원격지 서버에 연결되어 냉장고의 상태를 확인 및 제어하는 기능을 탑재한 냉장고를 사용하는 상황을 가정하자. 만약 냉장고의 문이 열렸거나 닫혔다는 이벤트가 발생했다면 본 발명에서 포함하는 가상자원 인식 및 상태정보 수집부(101)를 통해 인식 및 내부 상태정보를 획득할 수 있으며, 가상자원이벤트검출부(121)을 통해 냉장고에서 발생한 이벤트를 검출할 수 있다. 이때 공간모니터링부(102)는 공간에서의 모니터링 정보를 기초로 객체를 검출하고, 냉장고로 추정되는 후보 객체 영역들을 검출한다. 냉장고의 경우는 밝기 변화를 특징요소로 하여, 객체를 검출하는 것이 용이하지 않으므로 영상 자체에 포함된 신호를 분석하는 방법이 함께 이용될 수 있다. 즉, 학습된 분류기를 이용하여 냉장고와 가장 유사한 형상을 가지는 후보 객체들을 검출한다.

이후, 후보 객체들에 대해서 3차원 공간정보를 획득하고, 여기서 획득된 후보 객체들의 3차원 공간정보를 “냉장고”이라고 하는 가상자원에 매핑함으로써 목표를 달성할 수 있다.

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

특정 공간에서 기기 고유의 서비스나 특성에 따라 가상화 처리된 가상자원들을 인식하고, 상기 가상자원들의 내부 상태와 제공 서비스 등을 포함하는 가상자원 정보를 수집하는 단계;
상기 가상자원 정보를 이용하여 상기 가상자원들에 대한 이벤트 발생 정보를 획득하는 단계;
상기 가상자원들 중에서 적어도 어느 하나에 이벤트가 발생하면, 상기 특정 공간에 대한 영상 정보를 획득하는 단계; 및
상기 이벤트 발생 정보 및 상기 영상 정보를 이용하여 상기 가상자원들에 대한 위치정보를 획득하는 단계
를 포함하는 가상자원의 위치정보 매핑 방법.
제1항에 있어서, 상기 이벤트 발생 정보는,
이벤트를 발생시킨 가상자원의 가상자원 정보, 이벤트가 발생한 시간, 발생한 이벤트의 유형을 포함하는 것
인 가상자원의 위치정보 매핑 방법.
제1항에 있어서, 상기 위치정보를 획득하는 단계는,
상기 특정 공간에 대한 영상 정보에서 이벤트를 발생시킨 가상자원에 대한 후보 객체를 검출하는 단계;
상기 후보 객체 각각에 대한 위치정보를 계산하는 단계; 및
상기 후보 객체의 종류, 상기 후보 객체의 위치정보 및 상기 이벤트 발생 정보를 이용하여 이벤트를 발생시킨 가상자원에 대한 위치정보를 결정하는 단계를 포함하는 것
인 가상자원의 위치정보 매핑 방법.
제3항에 있어서, 상기 후보 객체를 검출하는 단계는,
시간축 상에서 전역적/국부적 밝기 및 움직임을 포함하는 영상정보가 변화되는 영역을 특징요소들로 간주하여 후보 객체들을 검출하는 방법과, 상기 영상 정보 자체에서 추출된 특징요소들을 기반으로 학습된 분류기를 이용한 객체 검출 방법 중 적어도 하나를 이용하는 단계를 포함하는 것
인 가상자원의 위치정보 매핑 방법.
제3항에 있어서, 상기 후보 객체를 검출하는 단계는,
이벤트를 발생시킨 상기 가상자원의 동작을 능동적으로 제어한 후 획득한 상기 특정 공간에 대한 영상 정보에서 추출한 특징요소들을 기반으로 후보 객체를 검출하는 단계를 포함하는 것
인 가상자원의 위치정보 매핑 방법.
제3항에 있어서, 상기 위치정보를 결정하는 단계는,
가상자원들에 대한 위치정보가 저장된 가상자원정보 데이터베이스에서 이벤트를 발생시킨 가상자원에 대한 위치정보를 참조하는 단계; 및
가상자원정보 데이터베이스에서 참조된 위치정보와, 칼만 필터 및 파티클 필터와 같은 통계적 필터 도구를 이용하여 상기 결정된 위치정보를 보상하는 단계를 포함하는 것
인 가상자원의 위치정보 매핑 방법.
특정 공간에서 기기 고유의 서비스나 특성에 따라 가상화 처리된 가상자원들을 인식하고, 상기 가상자원들의 내부 상태와 제공 서비스 등을 포함하는 가상자원 정보를 수집하는 가상자원 인식 및 상태정보 수집부;
상기 가상자원들 중에서 적어도 어느 하나에 이벤트가 발생하면, 상기 특정 공간에 대한 영상 정보를 획득하는 공간모니터링부; 및
상기 가상자원 정보를 이용하여 상기 가상자원들에 대한 이벤트 발생 정보를 획득하고, 상기 이벤트 발생 정보 및 상기 영상 정보를 이용하여 상기 가상자원들에 대한 위치정보를 획득하는 정보처리부
를 포함하는 가상자원의 위치정보 매핑 장치.
제7항에 있어서, 상기 정보처리부는,
상기 특정 공간에 대한 영상 정보에서 이벤트를 발생시킨 가상자원에 대한 후보 객체를 검출하고, 상기 후보 객체 각각에 대한 위치정보를 계산하고, 상기 후보 객체의 종류, 상기 후보 객체의 위치정보 및 상기 이벤트 발생 정보를 이용하여 이벤트를 발생시킨 가상자원에 대한 위치정보를 결정하되,
상기 후보 객체를 검출할 시, 이벤트를 발생시킨 상기 가상자원의 동작을 능동적으로 제어하고, 그 이후 획득한 상기 특정 공간에 대한 영상 정보에서 추출한 특징요소들을 기반으로 후보 객체를 검출하는 것
인 가상자원의 위치정보 매핑 장치.