KR20100022428A - 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 컨텍스트 인식 모바일 증강현실을 위한 저작 기술에 따라 가상 공간과 현실 공간에서 콘텐츠 저작을 가능하게 하는, 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 개시한다. 본 발명은 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커; 가상 공간에 위치하여 현실 공간 기준 마커와 연동하며, 가상 공간의 일 지점에 오브젝트를 증강시키기 위한 매개체 역할을 하는 가상 공간 기준 마커; 현실 공간 기준 마커 또는 가상 공간 기준 마커를 기준으로 현실 공간 또는 가상 공간에 위치하는 오브젝트에 대한 오브젝트 표상 마커를 생성하며, 생성된 오브젝트 표상 마커를 토대로 오브젝트에 대한 정보를 처리하는 마커 처리부를 포함하는 것을 특징으로 하는 마커 관리 시스템을 제공한다. 본 발명에 따르면, 현실 공간과 가상 공간이 공존하는 혼합 공간에서 두 공간이 이음매 없이도 정보를 공유할 수 있다. 또한, 증강현실 구현 등에 있어서 영상의 렌더링 시간을 감축시킬 수 있다.

증강현실(AR), 혼합 공간, VE(Virtual Environment) 기준 마커, RE(Real Environment) 기준 마커, CAMAR(Context Aware Mobile Augmented Reality) 태그, 마커 연동, 장면 그래프(scene graph)

Description

혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 {System and method for managing markers coexisting mixed space, and the recording media storing the program performing the said method}

본 발명은 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality)을 위한 저작 기술에 따라 가상 공간과 현실 공간에서 콘텐츠 저작을 가능하게 하는, 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 상기에서, 컨텍스트 인식 모바일 증강현실(CAMAR) 저작 기술이란 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있게 하는 기술을 말한다.

기존의 지능형 응용 서비스에 대한 연구는 공학을 중심으로 진행되었기 때문 에 웰빙 라이프케어에 관심을 갖고 있는 일반 사용자들에게 적용되는 데에 한계가 있다. 따라서 일상 생활 속에서 활용 가능한 미래형 웰빙 라이프케어 서비스를 구현하기 위해서는 사용자 요구 분석, 행동 모델링, 사용자 인터페이스 디자인, 상호작용, 유비쿼터스 컴퓨팅 등의 분야가 통합적으로 접목된 사용자 중심의 연구가 필요하다.

최근 페이스북(facebook), 유튜브(youtube), 위키피디아(wikipedia) 등 web 2.0을 지향하는 인터넷 서비스의 등장으로 사용자들이 멀티미디어 콘텐츠를 자유롭게 게시하고 공유함으로써 사이버 공간에서의 참여가 활발해졌지만 현실 공간에서의 활용은 여전히 제한적이다. 하지만, 가상 현실 연구 사례인 세컨드 라이프(second life)가 보여준 시장에서의 급속한 성장에서 알 수 있듯이 점차 가상과 현실 공간의 경계가 사라지는 경향이 뚜렷하다. 따라서, 현실 공간과 가상 공간의 융합을 통해 새로운 비즈니스 모델을 제시할 수 있는 모바일 증강 현실 저작 핵심 기술의 선점 및 선도가 필요하다.

최근 어반 컴퓨팅(urban computing)과 소셜 컴퓨팅(social computing) 개념의 급속한 확산과 함께 커뮤니티 서비스에 대한 관심이 증가하는 추세이다. 하지만, 기존 유비쿼터스 컴퓨팅 환경의 서비스들은 사용자의 프로파일이나 위치 등 컨텍스트의 일부만을 활용하고 있어 커뮤니티 구성원들의 요구를 반영하는 데는 한계가 있다. 따라서, 구성원들의 요구를 만족시키면서 커뮤니티의 목적을 달성하도록 구성원들의 사회적 관계 및 문화적 배경을 반영할 수 있는 새로운 형태의 소셜 u-콘텐츠 저작 기술 개발이 필요하다.

한편, 종래 증강현실 기술에서는 가상 공간과 현실 공간 양측에서 상호 정보를 공유하지 않았다. 따라서, 현실 공간에서와 마찬가지로 가상 공간에서 객체를 증강시키기 위해서는 객체의 위치 정보와 방위 정보를 계산하거나, 객체의 특징점을 추출하는 등의 작업을 반복해야만 했다. 따라서, 영상을 렌더링하는 데에 많은 시간이 소요될 뿐만 아니라, 증강을 위한 인식 및 추적에도 시간적 측면/인력적 측면에서 많은 투자가 필요하였다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있게 하는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 기술을 제공하며, 이 저작 기술 구현을 위해 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하며 상호 유기적으로 작용하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커; 가상 공간에 위치하여 상기 현실 공간 기준 마커와 연동하며, 상기 가상 공간의 일 지점에 오브젝트를 증강시키기 위한 매개체 역할을 하는 가상 공간 기준 마커; 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 상기 현실 공간 또는 상기 가상 공간에 위치하는 오브젝트에 대한 오브젝트 표상 마커를 생성하며, 상기 생성된 오브젝트 표상 마커를 토대로 상기 오브젝트에 대한 정보를 처리하는 마커 처리부를 포함하는 것을 특징으로 하는 마커 관리 시스템을 제공한다.

바람직하게는, 상기 마커 처리부는 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 상기 오브젝트 표상 마커를 이용하여 상기 현실 공 간 또는 상기 가상 공간에 위치하는 적어도 하나의 오브젝트를 인식 추적한다.

바람직하게는, 상기 마커 처리부는 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 적어도 하나의 공간 상에 위치하는 상기 오브젝트에 대한 정보를 공유시킨다.

바람직하게는, 상기 마커 처리부가 처리하는 상기 오브젝트에 대한 정보는 마커 ID에 대한 정보, 마커의 생성 시간에 대한 정보, 마커의 위치나 방위에 대한 정보, 사용자에 대한 정보, 저작에 이용되는 콘텐츠에 대한 정보, 오브젝트의 크기에 대한 정보, 오브젝트의 특징점에 대한 정보, 오브젝트의 텍스처에 대한 정보, 및 오브젝트가 위치한 영역을 비추는 빛에 대한 정보 중 적어도 하나의 정보를 포함한다.

바람직하게는, 상기 마커 처리부는 상기 현실 공간을 뷰잉하며, 상기 오브젝트 표상 마커를 생성하는 모바일 단말; 및 상기 오브젝트에 대한 정보나 가상 공간 모델에 대한 정보를 저장하며, 상기 저장된 적어도 하나의 정보를 상기 모바일 단말에 제공하는 서버를 포함한다. 더욱 바람직하게는, 상기 모바일 단말은 상기 오브젝트 표상 마커를 생성하는 마커 생성 모듈; 오디오, 비디오, 및 텍스트 중 적어도 하나의 유형으로 이루어진 콘텐츠를 저작하는 콘텐츠 저작 모듈; 상기 오브젝트 표상 마커의 ID에 대한 정보 또는 상기 오브젝트 표상 마커의 위치나 방위에 대한 정보를 등록시키는 등록 모듈; 상기 오브젝트를 인식하는 인식 모듈; 상기 오브젝트를 추적하는 추적 모듈; 상기 모바일 단말을 소지한 자의 위치나 방향을 센싱하는 센싱 모듈; 및 상기 센싱 결과를 토대로 상기 서버로부터 상기 오브젝트 표상 마커의 리스트를 획득하여 업데이트하는 업데이트 모듈을 포함한다.

바람직하게는, 상기 마커 처리부는 상기 가상 공간 기준 마커를 생성하거나, 상기 가상 공간에 위치하는 오브젝트에 대한 정보를 상기 현실 공간 기준 마커에 제공한다. 더욱 바람직하게는, 상기 마커 처리부는 포인팅된 상기 현실 공간에 대한 영상으로부터 상기 현실 공간 기준 마커를 인식하고 자세를 추정하는 현실 공간 기준 마커 트레이닝부; 및 상기 가상 공간에 상기 가상 공간 기준 마커를 생성하며, 상기 생성된 가상 공간 기준 마커를 상기 인식 및 자세 추정된 현실 공간 기준 마커와 연동시키는 가상 공간 기준 마커 생성부를 포함한다. 또는, 상기 마커 처리부는 포인팅된 상기 현실 공간에 대한 영상에 포함된 객체를 인식하는 객체 인식부; 상기 인식된 객체에 대한 컨피던스 값이 최대인 상기 가상 공간 기준 마커를 추출하는 가상 공간 기준 마커 추출부; 상기 영상에 포함된 현실 공간 기준 마커를 인식하고 자세를 추정하는 현실 공간 기준 마커 인지부; 및 상기 추출된 가상 공간 기준 마커에 대한 정보를 상기 인지된 현실 공간 기준 마커에 오버레이시키는 오버레이 구현부를 포함한다.

바람직하게는, 상기 현실 공간 기준 마커, 상기 가상 공간 기준 마커, 및 상기 오브젝트 표상 마커 중 적어도 하나의 마커는 같은 공간에 구비되는 마커나 다른 공간에 구비되는 마커와 연동시키는 네트워킹 모듈; 및 상기 같은 공간에 구비되는 마커의 움직임을 센싱하는 센싱 모듈을 포함한다.

바람직하게는, 상기 가상 공간 기준 마커 생성부는 상기 현실 공간과 동일한 크기의 가상 공간 모델을 생성하는 가상 공간 생성부; 및 상기 현실 공간에 대한 영상에 포함된 객체에 대응하는 대응 객체를 상기 생성된 가상 공간에 입력시키는 대응 객체 입력부를 포함하며, 상기 입력된 대응 객체와 연결되게 상기 가상 공간 기준 마커를 생성한다. 또한, 상기 현실 공간 기준 마커 트레이닝부는 상기 현실 공간을 포인팅하는 촬영부; 상기 포인팅된 현실 공간에 대한 영상을 획득하는 영상 획득부; 및 상기 획득된 영상에 포함된 객체의 위치 정보와 방위 정보를 포함하는 컨텍스트 정보를 획득하는 컨텍스트 정보 획득부를 포함하며, 상기 획득된 영상과 상기 획득된 컨텍스트 정보를 고려하여 상기 현실 공간 기준 마커를 인식하고 자세를 추정한다.

바람직하게는, 상기 현실 공간 기준 마커 트레이닝부만, 또는 상기 현실 공간 기준 마커 트레이닝부와 상기 가상 공간 기준 마커 생성부 모두 모바일 단말에 구비된다.

바람직하게는, 상기 현실 공간 기준 마커 트레이닝부는 사용자의 소속, 관심 키워드, 선호도, 및 선택 영역에 대한 정보 중 적어도 하나를 포함하는 사용자 정보를 수집하는 사용자 정보 수집부를 더 포함하며, 상기 수집된 사용자 정보를 더 고려하여 상기 현실 공간 기준 마커를 인식하고 자세를 추정한다.

바람직하게는, 상기 오버레이 구현부는 상기 추출된 가상 공간 기준 마커의 좌표 정보와 상기 인지된 현실 공간 기준 마커의 좌표 정보를 일치시킨 후 상기 오버레이를 수행한다.

바람직하게는, 상기 가상 공간 기준 마커 추출부는 상기 컨피던스 값이 최대인 가상 공간 기준 마커로 상기 인식된 객체들의 좌표 정보를 근거로 동일 정보를 가진 객체를 표상 영상에 가장 많이 구비한 가상 공간 기준 마커를 추출한다.

바람직하게는, 상기 마커 처리부는 상기 오브젝트에 대한 정보를 이용하여 상기 현실 공간 또는 상기 가상 공간의 일 지점에 위치하는 오브젝트를 인식하거나 추적한다. 더 바람직하게는, 상기 마커 처리부는 상기 오브젝트를 인식하거나 추적할 때에 조도의 변화량을 고려한다.

또한, 본 발명은 (a) 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커를 기준으로 상기 현실 공간에 위치하는 오브젝트의 위치 정보와 방위 정보를 획득하는 단계; (b) 상기 오브젝트를 반영시키기 위한 가상 공간 모델을 선택하는 단계; (c) 상기 선택된 가상 공간 모델 상의 가상 공간 기준 마커를 기준으로 상기 획득된 위치 정보 또는 상기 획득된 방위 정보를 이용하여 상기 가상 공간 모델에 위치하는 오브젝트를 생성하는 단계를 포함하는 것을 특징으로 하는 현실 공간에 위치하는 오브젝트를 가상 공간에 생성하는 방법을 제공한다.

바람직하게는, 상기 (c) 단계는 상기 가상 공간 모델에 상기 오브젝트를 표상시키기 위한 오브젝트 표상 마커를 생성한 후 상기 생성된 오브젝트 표상 마커 자리에 상기 오브젝트를 증강시켜 상기 오브젝트 생성을 수행한다. 더욱 바람직하게는, 상기 (c) 단계는 상기 오브젝트 표상 마커의 ID 정보 또는 상기 오브젝트 표상 마커의 위치 정보 또는 방위 정보를 포함하는 상기 오브젝트 표상 마커를 생성하며, 상기 오브젝트 증강시 상기 오브젝트로부터 미리 정해진 곳에 위치하는 콘텐츠도 함께 증강시킨다.

또한, 본 발명은 (a) 포인팅된 현실 공간에 대한 영상으로부터 상기 현실 공 간에 위치하는 객체를 표상하는 현실 공간 기준 마커를 인식하고 자세를 추정하는 단계; 및 (b) 상기 현실 공간 기준 마커와 연동하며 상기 객체 또는 상기 객체가 포함된 영상을 표상하는 가상 공간 기준 마커를 가상 공간에 생성하며, 상기 생성된 가상 공간 기준 마커를 상기 인식 및 자세 추정된 현실 공간 기준 마커와 연동시키는 단계를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 생성 방법을 제공한다.

또한, 본 발명은 (a) 포인팅된 현실 공간에 대한 영상에 포함된 객체를 인식하는 단계; (b) 상기 인식된 객체에 대한 컨피던스 값이 최대인 가상 공간 기준 마커를 추출하는 단계; (c) 상기 영상에 포함된 현실 공간 기준 마커를 인식하고 자세를 추정하는 단계; 및 (d) 상기 추출된 가상 공간 기준 마커에 대한 정보를 상기 인지된 현실 공간 기준 마커에 오버레이시키는 단계를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 제공 방법을 제공한다.

본 발명에 따르면, 컨텍스트 인식 모바일 증강현실(CAMAR) 저작 기술 구현을 위해 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하는 마커를 관리함으로써 다음 효과를 얻을 수 있다. 첫째, 양 공간에서 상호 유기적으로 작용하는 두 마커를 관리함으로써 두 공간이 이음매 없이도 정보를 공유할 수 있다. 둘째, 가상 공간 기준 마커가 현실 공간에 구비되는 오브젝트에 대한 정보를 공유함으로써 렌더링 시간을 감축시킬 수 있으며, 증강을 위한 인식 과정 및 추적 과정을 생략하거나 매우 빠르게 진행할 수 있다.

또한, 본 발명에 따르면, 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있는 컨텍스트 인식 모바일 증강현실(CAMAR) 저작 기술을 제공함으로써 다음 효과를 얻을 수 있다.

- 현실 공간의 이점을 활용한 가상 공간 내의 콘텐츠의 직관적인 제작

- 가상 공간의 이점을 활용한 실제 공간의 콘텐츠의 효과적/효율적 제작

- 다수의 사용자들이 콘텐츠 및 정보를 공유하고 협업을 통한 제작

- 많은 사람들이 동시에 참여가 가능한 저작

- 가상 공간을 활용하여 현실 공간의 콘텐츠 및 서비스를 효과적/효율적으로 관리 및 감시

o CAMAR 저작 핵심 기술은 가상 공간과 현실 공간을 모바일 증강 현실을 통해 융합함으로써 사용자들이 원하는 콘텐츠를 직관적으로 저작을 가능하게 하는 새로운 기술로써 국제적으로 경쟁력 있는 기술과 지적 재산권의 조기 확보가 가능할 것으로 예상됨.

o CAMAR 저작 핵심 기술은 구성원들의 사회적 관계와 문화적 맥락을 활용하여 소셜 u-콘텐츠를 증강하고 매쉬업을 가능하게 함으로써 기존의 기술 중심의 모바일 장치를 인간 중심의 도우미로 전환하는 계기 마련과 동시에 웰빙 라이프 케어 서비스를 구현하는 데 핵심 역할을 담당할 것으로 기대됨.

o 사용자들의 참여와 지속적인 협업이 가능한 CAMAR 저작 핵심 기술은 사용자들이 언제 어디서든지 자신의 콘텐츠뿐만 아니라 주변의 정보를 활용하여 매쉬업이 가능하므로 USS 내에 편재한 다양한 서비스 및 콘텐츠의 재사용 및 재구성을 위 한 도구로 활용이 가능할 것으로 예상됨.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

본 발명의 실시예에서 마커 관리 시스템은 현실 공간(real world)과 가상 공간(virtual world)이 공존하는 혼합 공간에서 각 공간에 위치하는 기준 마커를 통해 타겟 오브젝트(target object)를 관리하는 시스템을 말한다.

이러한 마커 관리 시스템은 현실 공간의 타겟 오브젝트를 가상 공간에 등록(register)시키고자 할 경우, 정보를 공유하는 각 공간의 기준 마커(reference point)를 통해 타겟 오브젝트를 가상 공간에 등록시킬 수 있다. 본 실시예에서는 가상 공간에 위치하는 기준 마커를 가상 공간 기준 마커(즉, VE(Virtual Environment) 기준 마커), 현실 공간에 위치하는 기준 마커를 현실 공간 기준 마커(즉, RE(Real Environment) 기준 마커)로 각각 정의하기로 한다.

또한, 마커 관리 시스템은 오브젝트 표상 마커를 이용하여 가상 공간에 등록 된 타겟 오브젝트를 관리(manage)할 수 있다. 이상의 VE 기준 마커, RE 기준 마커, 오브젝트 표상 마커 등은 모두 CAMAR(Context Aware Mobile Augmented Reality) 태그로써 구현한다. CAMAR 태그는 ARToolKit의 마커와 같이 고정된 형태의 마커 뿐만 아니라 임의의 2D 오브젝트나 3D 오브젝트를 포함하는 개념이다. 따라서, 본 실시예에서 VE 기준 마커, RE 기준 마커, 오브젝트 표상 마커 등의 마커는 일반적인 마커(즉, 고정된 형태의 마커) 외에 임의의 2D 오브젝트나 3D 오브젝트를 포함한다는 점에 유념한다.

마커 관리 시스템에 대한 보다 자세한 내용은 후술한다. 한편, 마커 관리 시스템은 VE 기준 마커와 RE 기준 마커의 연동을 통하여 가상 공간 상의 특정물을 현실 공간에 증강시키는 것도 가능하다.

이상 설명한 마커 관리 시스템은 도 8 내지 도 10을 참조하여 후술할 "모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 핵심 기술"에 따라 가상 공간과 현실 공간 양방향에서 콘텐츠 저작(contents authoring)을 가능하게 하는 두 기준 마커도 오브젝트와 함께 관리할 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 마커 관리 시스템의 개념도이다. 도 1에 따르면, 본 발명의 바람직한 실시예에 따른 마커 관리 시스템(100)은 VE 기준 마커(110), RE 기준 마커(120), 오브젝트 표상 마커(130) 및 마커 처리부(140)를 포함한다.

VE 기준 마커(110)는 가상 공간에 위치하는 기준 마커로서, 일정 위치에 오브젝트를 증강시키기 위한 매개체 역할을 한다. 또한, VE 기준 마커(110)는 가상 공간에 위치하는 적어도 하나의 오브젝트를 인식(recognition) 추적(tracking)하는 데에 기준이 되는 역할을 한다.

VE 기준 마커(110)의 이러한 기능은 가상 공간에 구비되는 오브젝트들을 서로 연결시킬 수 있게 한다. 오브젝트들이 상호 연관성을 가진다면, VE 기준 마커(110)를 통해 하나의 오브젝트를 인식 추적하는 것만으로도 가상 공간에 구비되는 모든 오브젝트들을 렌더링시킬 수 있다. 이 경우, 하나를 제외한 나머지 오브젝트들의 위치와 방위를 계산하지 않아도 되므로 기존보다 렌더링 시간을 감축시킬 수 있으며, 복잡한 가상 환경을 체계적으로 관리할 수 있는 장면 그래프(scene graph) 형태로 구현 가능하다.

VE 기준 마커(110)는 RE 기준 마커(120)와 연결된다. 이에 따라, VE 기준 마커(110)는 현실 환경 정보를 토대로 직접적으로 맵핑도 가능하다. 이때, VE 기준 마커(110)는 비전(vision) 뿐만 아니라 하이브리드(hybrid) 인식 및 추적도 가능한 것이 바람직하다.

전술한 바와 같이, VE 기준 마커(110)는 본 실시예에서 CAMAR(Context Aware Mobile Augmented Reality) 태그(tag)로 구현될 수 있다. 본 실시예에서 등록된 기준점(reference point)은 현실 공간의 타겟 오브젝트를 가상 공간에 등록시키기 위해 사용된 컨텍스트의 집합이 되고, 이를　CAMAR Tag로 정의한다.

실제 객체를 가상 공간에 저장한 CAMAR Tag은 별도의 인식 과정이나 추적 과 정 없이 타겟 오브젝트 주변의 다른 객체에 증강된 컨텐츠를 볼 수 있는　기준점(reference point)이 될 뿐만 아니라, 사용자가 공유할 정보를 CAMAR Tag을 통해서 등록하면 다른 사용자는 가상 공간을 공유함으로써 해당 정보도 공유되는 공유점(sharing point) 역할과 CAMAR Tag에 포함된 컨텍스트로 맥락 기반 검색을 위한 키(key)의 역할을 할 수 있다.

CAMAR 태그는 도 2에 도시된 바와 같이 가상 공간에 구비되는 오브젝트에 대한 정보를 담고 있는 모델 컨텍스트(model context), 오브젝트가 생성된 장소(ex. 위치, 방위 등)와 시기 등에 대한 정보를 담고 있는 환경 컨텍스트(environment context), 사용자에 대한 정보를 담고 있는 사용자 컨텍스트(user context), 저작에 이용되는 콘텐츠에 대한 정보를 담고 있는 콘텐츠 컨텍스트(contents context) 등을 포함하는 태그 데이터 모델(tag data model)로 구현된다.

모델 컨텍스트는 오브젝트를 표상하는 태그의 ID를 포함하는 글로벌 좌표계(global coordinate), 오브젝트의 좌표에 대한 정보를 포함하는 로컬 좌표계(local coordinate), 오브젝트의 크기에 대한 정보를 포함하는 스케일(scale), 포즈 메트릭스(pose matrix), 3D 포인트에 대한 정보(3D points)와 3D 라인에 대한 정보(3D lines)와 기타 정보를 포함하는 모델 정보(information for model), 특징점 정보(feature points)와 에지 정보(edges)와 텍스처 정보(textures)와 기타 정보를 포함하는 ID를 위한 정보(information for ID) 등으로 이루어질 수 있다.

그런데, 같은 객체라도 CAMAR　Tag로 생성될 때의 시간이나 조도 정보에 따라 ID를 위한 특징점이 다르게 획득될 수 있기 때문에, 인식/추적 시의 시간이나 조도 정보를 인덱스(index)로 하여 ID를　위한 정보를 다르게 획득한다. 즉, ID 정보는 태그 생성 당시의 환경 컨텍스트(ex. 광 정보와 시간 정보)가 고려된 정보이다.

환경 컨텍스트는 위치(location), 방향(direction), 조도(light), 시간(time) 등과 같이 CAMAR Tag가 생성될 때 환경에서 얻을 수 있는 정보를 포함하여 이루어진다.

사용자 컨텍스트는 소유자에 대한 정보, 공유를 위해 소속된 커뮤니티(community), 의도를 나타내는 키워드(keyword) 등 콘텐츠 저작에 기초가 되는 정보를 포함하여 이루어진다.

콘텐츠 컨텍스트는 텍스트, 오디오, 비디오, 2D 콘텐츠, 3D 콘텐츠 등 다양한 콘텐츠를 포함하여 이루어진다.

이상 설명한 CAMAR 태그는 본 실시예에서 AR 마커 등의 시각 센서, IR, RFID 등 다양한 종류의 센서가 부착되어 센서와 비전의 하이브리드 방법으로 인식 및 추적이 가능한 태그로 정의된다. 예컨대, CAMAR 태그는 시각 센서(visual sensor), 능동 센서(active sensor), 수동 센서(passive sensor) 등의 결합으로 이루어질 수 있다. 상기에서, AR 마커는 증강현실 환경의 가상 객체를 표상하는 마커, 상기 마커를 둘러싸며 상기 마커의 위치 정보와 방위 정보를 표시하는 마커 프레임 등을 포함하는 개념이다.

VE 기준 마커(110)가 이와 같이 상호 연동성을 가진 CAMAR 태그로 구현된다면 RE 기준 마커(120)와의 연동을 보다 쉽게 구현할 수 있다.

RE 기준 마커(120)는 현실 공간에 위치하는 마커로서, VE 기준 마커(110)와 동일한 기능을 수행한다. 이러한 RE 기준 마커(120)는 VE 기준 마커(110)와 마찬가지로 CAMAR 태그로 구현할 수 있다.

이상 설명한 VE 기준 마커(110)와 RE 기준 마커(120)는 가상 공간과 현실 공간에 각각 존재하는 스마트 오브젝트로서, 가상 공간과 현실 공간을 지속적으로 연결시키는 기능을 한다. VE 기준 마커(110)와 RE 기준 마커(120)는 각 공간에 위치하는 동일 오브젝트의 위치 정보와 방위 정보를 공유한다. 이에 따라, VE 기준 마커(110)와 RE 기준 마커(120)는 가상 공간과 현실 공간에서 대응하는 오브젝트들을 지속적으로 표상할 수 있다.

한편, 가상 공간에서는 존재하나 현실 공간에는 없는 오브젝트를 현실 공간에 증강시키고자 할 경우에는 VE 기준 마커(110)를 기준으로 할 때의 상기 오브젝트의 위치 정보나 방위 정보를 VE 기준 마커(110)에 제공하면 된다. 이와 같이 본 발명에서는 마커나 특징점의 추출 없이 가상 공간과 현실 공간에 각각 존재하는 VE 기준 마커(110)와 RE 기준 마커(120)를 상호 연동시키는 것만으로 오브젝트를 자유자재로 현실 공간에 증강시킬 수 있다.

오브젝트 표상 마커(130)는 현실 공간 또는 가상 공간에 구비되는 오브젝트를 표상하는 마커를 말한다. 이러한 오브젝트 표상 마커(130) 역시 VE 기준 마커(110)나 RE 기준 마커(120)와 마찬가지로 CAMAR 태그로 구현될 수 있으며, 가상 공간이나 현실 공간의 소정 위치에 오브젝트를 증강시킬 수 있게 한다.

가상 공간이나 현실 공간에 구비되는 오브젝트 표상 마커(130)는 CAMAR 태그를 통해 상호 유기적으로 연결된다. 즉, 위치 정보와 방위 정보를 공유함으로써 특 정 오브젝트를 기준으로 소정 거리 내에 위치하는 이웃 오브젝트들이 연동된다. 따라서, 환경이 변화된다 하더라도 오브젝트 표상 마커(130)들은 상호 유기적 관계를 통해 하나의 오브젝트로부터의 다른 오브젝트들의 인식 및 추적을 용이하게 한다.

한편, 오브젝트 표상 마커(130)는 센싱 모듈과 네트워킹 모듈을 구비하는 마커로 구현될 수 있다. 이러한 구성의 오브젝트 표상 마커(130)도 표상하는 오브젝트가 다른 오브젝트들과 연동을 가능하게 하며, 공간적 표상(spatial representation)을 구현할 수 있게 한다.

마커 처리부(140)는 VE 기준 마커(110) 또는 RE 기준 마커(120)를 기준으로 가상 공간 또는 현실 공간에 위치하는 오브젝트들을 처리하는 기능을 수행한다.

마커 처리부(140)는 본 실시예에서 모바일 단말기(mobile device) 및 가상 모델 서버(virtual world server)를 포함하여 이루어질 수 있다. 모바일 단말기는 오브젝트 표상 마커(130)를 생성하거나 오브젝트 표상 마커(130)가 증강된 현실 공간을 뷰잉(viewing)하는 데에 이용된다. 또한, 가상 모델 서버(350)는 오브젝트 표상 마커(130)에 대한 정보나 가상 공간 모델에 대한 정보를 저장하는 데에 이용된다. 그러나, 마커 처리부(140)가 이러한 구성에 한정되는 것은 아니며, 단일 단말기 또는 단일 서버로 구현하는 것도 가능하다. 이하 도 3을 참조하여 마커 처리부(140)의 구성 및 동작에 대해 설명한다.

모바일 단말기(300)는 랩탑(laptop), UMPC, PDA, 스마트 폰(smart phone) 등으로 구현될 수 있다.

가상 모델 서버(350)는 모바일 단말기(300)와 연동하여 오브젝트 표상 마 커(130)들을 처리하는 서버이다. 이러한 가상 모델 서버(350)는 CAMAR 태그 등록에 대한 요청이 있을 경우 모델 컨텍스트의 코디네이트 정보(즉, 글로벌 코디네이트와 로컬 코디네이트)를 토대로 가상 공간 모델의 정확한 위치에 노드로써 추가한다.

또한, 가상 모델 서버(350)는 CAMAR 태그에 대한 업데이트 요청이 있을 경우 사용자 컨텍스트의 키 정보를 기반으로 환경 컨텍스트를 이용하여 문맥상의 인덱싱(contextual indexing)을 수행함으로써 CAMAR 태그 리스트를 회수한다. 오브젝트의 모델 정보가 만들어질 때에 조도와 같은 환경 컨텍스트 값에 의존하여 오브젝트의 모델 정보(특히, 특징점들)이 만들어진다. 따라서, 오브젝트를 인식/추적할 때에 조도 값이 변함에 따라 그에 적절한 오브젝트 모델 정보를 넘겨주어 처리시킨다. 본 실시예에서 이는 컨텍스트의 키 정보를 기반으로 환경 컨텍스트를 이용하여 문맥상의 인덱싱을 수행함에 기반한다.

CAMAR 태그를 이용하여 오브젝트의 생성 및 등록, 관리, 활용 등을 위해 모바일 단말기(300)와 가상 모델 서버(350)는 다음과 같이 작동한다. 각각에 대해 차례대로 설명한다.

① 오브젝트의 생성 및 등록

먼저, 센싱 모듈(305)이 오브젝트를 포함하여 사용자 주변의 환경 컨텍스트(ex. 위치, 방향 등)를 획득한다. 이후, CAMAR 태그 업데이트 모듈(306)이 가상 공간 모델 제공 모듈(353)로부터 모델 뷰를 제공받는다. 이때, 모델 뷰(view)는 모바일 단말기(300)를 통해 육안으로 확인 중인 현실 공간의 뷰와 일치하는 가상 공간의 모델 뷰인 것이 바람직하다.

글로벌 코디네이트 정합 모듈(303)은 제공받은 모델 뷰를 현실 공간의 뷰에 정합(좌표계를 맞춤)시킨다. 이후, 로컬 코디네이트 정합 모듈(304)이 관심이 있는 타겟 오브젝트의 글로벌 코디네이트와의 관계로 나오는 데이터를 획득하여 로컬 코디네이트를 설정한다. 로컬 코디네이트 정합 모듈(304)은 사용자가 화면의 객체에 스타일러스 펜 입력 등의 상호 작용을 통해 객체에 대한 모델 정보(ex. 인식, 추적을 위한 특징점들)를 얻게 된다.

이후, CAMAR 태그 생성 모듈(301)이 획득된 환경 컨텍스트와 모델 컨텍스트를 포함하여 오브젝트를 CAMAR 태그로써 생성한다. 바람직하게는, CAMAR 태그 생성 모듈(301)은 사용자 컨텍스트와 저작을 통한 컨텐츠 컨텍스트도 포함하여 오브젝트를 CAMAR 태그로써 생성한다. CAMAR 태그가 컨텐츠 컨텍스트를 포함하는 경우에는, 콘텐츠 저작 모듈(302)이 컨텐츠 컨텍스트를 생성하는 과정이 선행하며, 이후 CAMAR 태그 생성 모듈(301)이 CAMAR 태그를 생성하는 과정이 후행한다.

이후, CAMAR 태그 등록 모듈(352)이 생성된 CAMAR 태그를 등록시킨다. CAMAR 태그 등록 모듈(352)의 이러한 구동에 따라, 생성된 CAMAR 태그는 가상 모델 서버(350)에 저장된다.

② 오브젝트의 관리

가상 모델 서버(350)는 모바일 단말기(300)로부터 생성된 CAMAR 태그를 데이터베이스에 저장한다. 바람직하게는, 가상 모델 서버(350)는 적용 가능한 가상 모델과 함께 CAMAR 태그를 데이터베이스에 저장한다. 여기서, 적용 가능한 가상 모델이란 앞서 설명한 CAMAR 태그 업데이트 모듈(306)이 가상 공간 모델 제공 모 듈(353)로부터 제공받는 모델 뷰이다. 그런데, 본 실시예에서 적용 가능한 가상 모델은 이에 한정되지 않는다. 즉, 본 실시예에서 적용 가능한 가상 모델은 상기 모델 뷰를 포함하여 CAMAR 태그를 반영시킬 수 있는 모든 모델 뷰로 정의할 수 있다.

CAMAR 태그 등록 모듈(352)은 모바일 단말기(300)로부터 CAMAR 태그 등록 요청 메시지를 받으면 모델 컨텍스트 특히 글로벌 코디네이트와 로컬 코디네이트를 참조하여 CAMAR 태그를 적용 가능한 가상 모델에 노드로 저장한다. 여기서, 노드로 저장함은 모델 컨텍스트를 이용하여 가상 모델의 기준 마커와 연관시켜 저장함으로 정의할 수 있다.

모바일 단말기(300)는 CAMAR 태그 등록 요청 이후 CAMAR 태그 업데이트 메시지를 가상 모델 서버(350)로 전송한다. 그러면, CAMAR 태그 리스트 리트리벌 모듈(351)은 CAMAR 태그의 환경 컨텍스트를 키로 하여 컨텍스트 인덱싱에 의해 CAMAR 태그 리스트를 반환한다.

③ 오브젝트의 활용

먼저, 모바일 단말기(300)의 센싱 모듈(305)이 환경 컨텍스트와 사용자 컨텍스트를 획득한다. 이후, CAMAR 태그 업데이트 모듈(306)이 CAMAR 태그 리스트 리트리벌 모듈(351)을 통하여 가상 모델을 획득한다. 이때, ROI 선택 모듈(314)은 가상 모델 전체 영역 중에서 관심 영역(ROI; Region Of Interest)을 추출한 후 이 부분만 모바일 단말기(300)에 디스플레이되도록 할 수 있다.

이후, 획득된 모델 컨텍스트의 특징점을 이용하여 CAMAR 태그 인식 모듈(312)이 타겟 오브젝트를 인식하며 CAMAR 태그 트래킹 모듈(313)이 상기 타겟 오 브젝트를 추적한다. 이후, 콘텐츠 증강 모듈(311)이 콘텐츠를 증강시킨다.

다시 도 1을 참조하여 설명한다.

마커 처리부(140)는 본 발명의 실시예에서 CAMAR 태그가 양쪽 공간(현실 공간과 가상 공간)에 존재하도록 RE 기준 마커(120) 또는 RE 기준 마커(120)와 연동되는 적어도 하나의 오브젝트 표상 마커(130)를 포함하는 마커 그룹에 대한 정보를 제공하는 VE 기준 마커(110)를 생성하는 기능을 수행한다. 구체적으로, 마커 처리부(140)는 RE 기준 마커(120)가 표시되며 오브젝트 표상 마커(130)를 통해 적어도 하나의 오브젝트가 현실 공간에 표상되면 가상 공간에 이 영상에 대응하는 모델을 생성하며, 오브젝트 표상 마커(130)를 통해 생성된 모델에 오브젝트를 입력시킨 후 입력된 오브젝트가 RE 기준 마커(120)에 대응하게 생성된 VE 기준 마커(110)에 연결되도록 하여 VE 기준 마커(110)가 뷰잉된 현실 공간과 동일한 영상에 대한 정보를 제공할 수 있게 한다.

또한, 마커 처리부(140)는 VE 기준 마커(110) 또는 RE 기준 마커(120)를 이용하여 일 공간 상에 콘텐츠를 저작하는 기능을 수행한다.

한편, 마커 처리부(140)는 원활한 구동을 위해 전원부와 제어부를 더 포함할 수 있다. 전원부는 마커 처리부(140)를 구성하는 모든 구성부에 전원을 공급하며, 제어부는 마커 처리부(140)를 구성하는 모든 구성부의 전체 작동을 제어한다.

다음으로, 마커 처리부(140)가 VE 기준 마커(110)와 RE 기준 마커(120)를 이용하여 현실 공간에 있는 오브젝트를 가상 공간에 생성시키는 방법을 설명한다. 도 4는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 도시한 순서도이다. 이하 설명은 도 4를 참조한다.

먼저, 센싱 모듈(305)이 현실 공간에 있는 오브젝트의 위치 정보와 방위 정보를 획득한다(S400). 이후, CAMAR 태그 업데이트 모듈(306)이 현실 공간에 있는 오브젝트를 반영시키기 위한 가상 공간 모델을 선택한다(S410). 이후, CAMAR 태그 생성 모듈(301)이 선택된 가상 공간 모델에 오브젝트가 반영될 수 있도록 오브젝트에 대한 오브젝트 표상 마커(130)를 생성한다(S420). 생성된 오브젝트 표상 마커(130)를 통해 현실 공간의 오브젝트를 가상 공간에도 구비시킬 수 있다.

이후, 글로벌 코디네이트 정합 모듈(303)이 오브젝트 표상 마커(130)의 ID를 등록시키며(S430), 로컬 코디네이트 정합 모듈(304)이 오브젝트 표상 마커(130)의 좌표 정보를 등록시킨다(S440).

이후, 콘텐츠 저작 모듈(302)이 오브젝트와 함께 증강시키고자 하는 콘텐츠가 있는 경우 이 콘텐츠를 오브젝트와 함께 가상 공간 모델에 저작시킨다(S450). 오브젝트와 콘텐츠의 저작이 완료되면, 가상 공간 모델은 오브젝트가 반영된 상태로 완성된다(S460).

도 5는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 설명하기 위한 참고도이다. 도 5를 도 4의 각 단계에 매칭시켜 보면 다음과 같다.

도 5의 (a)는 뷰잉된 현실 공간 영상이다. 도 5의 (a)에서 타겟 오브젝트(500)에 대한 정보를 S400 단계를 거쳐 획득된다. 도 5의 (b)는 가상 공간 모델에 대한 영상이다. 도 5의 (b)에서 오브젝트 표상 마커(510) 자리에 타겟 오브젝 트(500)가 반영되며, 도 5의 (b)는 S410 단계를 통해 결정된다.

도 5의 (c)는 타겟 오브젝트(500)의 방위 정보를 구하는 과정을 도시하고 있다. 도 5의 (c)로부터 얻어진 타겟 오브젝트(500)에 대한 정보는 S440 단계를 거쳐 오브젝트 표상 마커(130)에 대한 정보로 등록된다. 도 5의 (d)는 오브젝트(420)와 콘텐츠(430)가 반영된 가상 공간 모델에 대한 영상이다. S400 단계 내지 S460 단계를 거치면 도 5의 (d)와 같은 가상 공간 모델 영상을 얻을 수 있다.

다음으로, 마커 처리부(140)가 RE 기준 마커(현실 공간에 구비되는 오브젝트를 표상하는 마커)와 연동되는 VE 기준 마커를 생성하는 방법을 설명한다. 도 6은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 생성 방법을 도시한 순서도이다. 이하 설명은 도 6을 참조한다.

먼저, 촬영부(321)가 카메라를 이용하여 현실 공간(RE)을 포인팅(pointing)한다(S600). 이후, 영상 획득부(322)가 포인팅된 현실 공간에 대해 복수개의 영상 장면들을 획득한다(S610a). 이후, 컨텍스트 정보 획득부(323)가 획득된 영상 장면들에 포함된 적어도 하나의 오브젝트에 대한 위치 정보와 방위 정보를 포함하는 컨텍스트(context) 정보를 획득한다(S620a).

한편, 사용자 정보 수집부(324)는 사용자의 프로파일 정보를 수집한다(S610b). 사용자의 프로파일 정보 수집은 사용자의 정보 입력을 통해 이루어질 수 있다. 이때, 사용자 정보 수집부(324)가 수집하는 사용자의 프로파일 정보는 소속, 관심 키워드, 선호도, 영역 선택에 대한 정보 등이다.

이후, RE 기준 마커 트레이닝부(325)가 수집된 사용자의 프로파일 정보, 획 득된 컨텍스트 정보 등을 고려하여 획득된 영상 장면들로부터 RE 기준 마커의 ID를 인식하고 그 자세를 추정한다(S630).

본 발명의 실시예에서는 가상 공간의 오브젝트가 현실 공간의 오브젝트와 동일하게 구비된다. 또한, 각 공간에 구비되는 오브젝트들은 정해진 위치 관계에 따라 배치된다. 따라서, VE 기준 마커를 생성하기에 앞서 현실 공간과 동일한 크기의 가상 공간 모델을 로딩(loading)함이 필요하다. 또한, 현실 공간의 각 오브젝트에 대응하는 가상 공간에서의 오브젝트 입력도 필요하다.

S630 단계 이후, 가상 공간 생성부(326)가 현실 공간과 동일한 크기의 가상 공간 모델을 생성한다(S640). 이후, 대응 객체 입력부(327)가 컨텍스트 정보를 이용하여 상기 가상 공간 모델에 현실 공간의 각 객체에 대응하는 대응 객체를 입력시킨다(S650). 상기에서, 컨텍스트 정보는 현실 공간에 구비된 객체의 위치 정보와 방위 정보를 포함하는 개념이다. 따라서, 현실 공간의 오브젝트와 가상 공간의 오브젝트의 좌표계 정보(위치 정보와 방위 정보)를 일치시킨다면 대응 객체 입력이 가능하다.

현실 공간과 동일한 상태의 가상 공간이 완성되면, VE 마커 생성부(328)는 RE 기준 마커에 대응하는 VE 기준 마커를 생성한다(S660). 이때, VE 마커 생성부(328)는 입력된 모든 대응 객체와 연결되도록 상기 VE 기준 마커를 생성한다. VE 기준 마커에 대응 객체를 연결시키는 방법으로는 웹 정보가 하이퍼텍스트(hypertext)로 연결되는 방법이 이용될 수 있다.

상기 S660 단계에서 생성된 VE 기준 마커는 RE 기준 마커의 인식 정보, RE 기준 마커의 자세 추정 정보, 대응 객체에 대한 연결 정보 등을 포함한다. 여기에서, RE 기준 마커의 인식 정보는 RE 기준 마커의 ID를 포함한다. RE 기준 마커의 자세 추정 정보는 RE 기준 마커의 위치 정보와 방위 정보를 포함하는 좌표계 정보를 포함한다. 대응 객체에 대한 연결 정보는 가상 공간 모델에 구비된 적어도 하나의 대응 객체의 위치 정보와 방위 정보를 포함한다. 한편, VE 기준 마커는 스케일 측정 지표를 더 포함할 수 있다.

한편, 도 6에 도시된 각 단계를 수행하는 촬영부(321) ~ VE 마커 생성부(328)는 마커 처리부(140)에 구비된다. 본 발명의 실시예에서 마커 처리부(140)는 컴퓨터이거나 모바일 단말기일 수 있다. 컴퓨터로는 예컨대 서버가 가능하며, 모바일 단말기로는 예컨대 휴대폰, PDA 등이 가능하다. 그러나, 마커 처리부(140)는 단일 장치가 아닌 복합 장치(ex. 모바일 단말기를 장착하는 서버 컴퓨터)이거나 도 3을 통해 언급한 바와 같이 복수개의 장치를 포함하는 개념도 가능하다. 예컨대, 마커 처리부(140)는 촬영부(321) ~ RE 기준 마커 트레이닝부(325)를 포함하는 모바일 단말기(300) 및 가상 공간 생성부(326) ~ VE 기준 마커 생성부(328)를 포함하는 서버 컴퓨터(350)로 구현될 수 있다.

다음으로, 마커 처리부(140)가 VE 기준 마커(110)를 활용하는 방법을 설명한다. 도 7은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 활용 방법을 도시한 순서도이다. 이하 설명은 도 7을 참조한다.

먼저, 촬영부(321)가 현실 공간(RE)을 뷰잉(viewing)한다(S700). 그러면, 영상 획득부(322)가 현실 공간에 대한 영상 장면들을 획득하며(S710), 컨텍스트 정보 획득부(323)가 영상 장면들에 포함된 적어도 하나의 RE 객체(현실 공간에 구비되는 오브젝트)의 컨텍스트 정보를 획득한다(S720). 이때, 사용자 정보 수집부(324)를 통하여 사용자의 프로파일 정보를 수집하는 것도 가능하다.

이후, 객체 인식부(331)가 획득된 컨텍스트 정보를 근거로 영상 장면들에 포함된 적어도 하나의 객체를 인식한다(S730). 이후, VE 기준 마커 리스트 제공부(332)가 메모리부에 저장된 사용 가능한 VE 기준 마커 리스트를 제공하면(S740), VE 기준 마커 추출부(333)가 신뢰도(confidence) 값이 최대인 VE 기준 마커를 추출한다(S750). 본 발명의 실시예에서 신뢰도 값이 최대인 VE 기준 마커란 인식된 객체들의 컨텍스트 정보(위치 정보와 방위 정보)를 근거로 동일 컨텍스트 정보를 가진 객체를 가장 많이 보유한 RE 영상 장면을 표상하는 VE 기준 마커일 수 있다.

이후, RE 기준 마커 인지부(334)가 영상 장면들에 포함된 RE 기준 마커를 인식하고 그 자세를 추정한다(S760). 바람직하게는, RE 기준 마커 인지부(334)는 스케일도 측정한다. 이후, 오버레이 구현부(335)가 추출된 VE 기준 마커에 대한 정보를 획득하여 RE 기준 마커(120) 자리에 VE 기준 마커의 내용을 오버레이(overlay)시킨다(S770). 본 발명의 실시예에서 이러한 오버레이를 구현하기에 앞서 VE 기준 마커의 좌표 정보(위치 정보 및 방위 정보)와 RE 기준 마커의 좌표 정보를 일치시킨다.

도 1 내지 도 7을 참조하여 설명한 마커 관리 시스템을 이용한다면 다음과 같은 응용도 가능하다.

1. CAMAR bloki

블로키(bloki)란 기존의 블로그(blog)와 위키(wiki)를 결합한 개념이다. 블로그는 로그 단위로 일기처럼 기록되며, 한 사람 또는 소수의 몇몇 사람에게만 글을 작성할 수 있는 권한이 주어진다. 이러한 블로그는 텍스트, 사진, 음악, 플래시, 동영상 등을 포함하며, 댓글이나 트랙백이 가능하다.

반면, 위키는 협력 소프트웨어로서, 누구나 글을 쓸 수 있는 잇점이 있다. 일부에서는 낱말 2개 이상을 붙여 쓰고 각 낱말의 첫 글자를 대문자로 쓰면 저절로 링크로 볼 수 있다. 이러한 위키는 여러 명의 서로 다른 지성적 존재들이 힘을 합쳐 상호작용을 통한 내용의 확대와 확인 그리고 연결을 유기적으로 발생시킬 경우에 기인한다. 위키는 비교적 엄격하게 내용을 검사하고 상호 비판을 통해 정리함이 바람직하며, 자신의 만족과 동시에 집단 지성적 결과물을 공동 창출하는 효과도 얻을 수 있다.

본 발명에 따른 마커 관리 시스템을 적용한다면 CAMAR bloki 즉, 커뮤니티 내의 공통 목적을 설정하고 이를 위해 경험을 기록 관리하여 새로운 경험을 창출할 수 있도록 하는 증강현실 협력 소프트웨어도 가능하다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

다음으로, 도 8 내지 도 10을 참조하여 "모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 핵심 기술"을 설명한다.

"지능형 혼합 공간에 공존하는 소셜 u-콘텐츠의 실내외 증강과 매쉬업을 위한 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 기술"이란, USS(Ubiquitous Smart Space) 내 커뮤니티 구성원들 간의 사회적 관계와 문화적 배경 등을 포함한 통합 컨텍스트를 활용하여 소셜 u-콘텐츠를 실내렛 객체에 증강하고 매쉬업하여 구성원들 간의 선택적 공유와 지속적 협업을 가능하게 하는 CAMAR 핵심기술로 정의한다.

가상 공간과 현실 공간이 공존하는 지능형 혼합 공간(USS) 내 커뮤니티 구성원들 간의 사회적 관계와 문화적 배경 등을 포함하는 통합 컨텍스트를 활용하여 생성된 소셜 u-콘텐츠를 문자, 로고, 간판, 건물 등을 포함한 실내외 객체에 이음매 없이 증강하고, 구성원들의 참여와 지속적인 협업을 통해 진화하는 형태로 소셜 u-콘텐츠를 재구성하여, 선택적인 공유가 가능하도록 하는 컨텍스트 인식 모바일 증강 현실 저작 핵심기술을 개발한다.

도 8은 CAMAR 저작 핵심 기술 개념도를 도시한 도면이다.

제안하는 저작 기법은 가상 공간과 현실 공간 양방향에서 콘텐츠 제작이 가능한 모바일 증강현실 기반 저작 기술이다. 가상 공간에서는 GUI를 기반으로 원하는 멀티미디어 콘텐츠의 조작/변형/조합/이동/복사 등이 가능하다. 현실 공간에서 는 모바일 증강현실을 통해 실 객체를 인식하고 추적하여 멀티미디어 콘텐츠를 획득/선택/이동/변형/조합/복사 등의 저작기능을 가능하게 한다. 뿐만 아니라, 현실 공간에서는 증강현실을 통해 가상 공간에 있는 콘텐츠를 획득하여 저작이 가능하며, 현실 공간에서 변경한 내용은 다시 가상 공간에 반영된다. 또한, 다른 사용자들이 저작한 콘텐츠를 검색하고 활용하여 새로운 콘텐츠를 저작하는 것이 가능하다.

도 9는 실내 환경에서 CAMAR 저작 기술의 개념의 예이다. 이 그림에서는 현실 공간과 스마트 홈에서의 저작과 가상 스마트 홈에서의 저작이 동시에 이루어지고 있다. 가상 공간에 있는 2명의 사용자들이 로봇 태권브이를 저작하고 있으며, 이와 동시에 가상공간에 있는 사용자도 동일한 로봇 태권브이를 저작하고 있다. 이를 위해 실 공간에서는 스마트 테이블를 인식하고 가상 공간에 존재하는 콘텐츠를 획득하여 직관적으로 저작한다. 가상 공간에서는 현실 공간에 변경하고 있는 내용을 토대로 실제로 위치하지 않아도 다른 사용자와 함께 저작한다.

제안하는 저작 기법은 증강현실 저작과 가상 현실 저작, 그리고 콘텐츠 동기화 모듈로 구성된다. 현실 공간 저작은 모바일 장치에 위치하면서 각 사용자에게 필요한 저작 기능을 수행한다. 또한, 사용자가 위치한 장소를 활용하여 가상 공간과 연동하여 관련된 콘텐츠를 회득한다. 가상공간 저작부는 사용자들이 인터넷을 통해 접속이 가능하며 GUI를 통해 저작이 수행된다. 그리고, 콘텐츠 동기화 모듈은 두 저장 공간에서의 일어나는 저작 이벤트에 대한 공유 및 일관성 유지를 수행한다.

이를 위해 증강현실 저작은 객체 인식 및 추적 모듈, 객체 선택 모듈, 객체 저장 모듈, 렌더링 모듈, 가상 객체 관리 모듈로 구성된다. 객체 인식 및 추적 모듈은 카메라 영상을 통해 입력되는 영상을 분석하여 객체를 인식하고 추적한다. 객체 저장 모듈은 사용자 및 사용자의 위치에 따라 선택된 다양한 멀티미디어 콘텐츠를 저장한다. 가상현실 저작은 GUI 기반 인터페이스 모듈, 객체 관리자, 객체 조작 모듈, 콘텐츠 제어부, 렌더링부로 구성된다. 그리고, 콘텐츠 동기화 모듈은 서버 동기화 모듈과 증강현실 동기화 모듈로 구성된다. 도 10은 제안하는 제작기술의 구조도를 나타낸다.

< 본 발명의 차별성 >

기존의 저작은 가상 공간 저작과 현실 공간 저작이 완전히 분리되어 있음. 본 연구는 두 공간을 혼합하여 양방향으로 저작이 가능한 기술임.

- CAMAR tag(간판, 건물 모양 등 실내/외 위치한 스마트 오브젝트와 객체)를 통한 현실 공간과 가상 공간의 매핑 기법(기술).

- 이벤트와 컨텍스트 기반의 현실 공간과 가상 공간의 콘텐츠 동기화 기법(기술).

- 증강현실 및 실 객체를 활용하여 가상 공간의 콘텐츠(3D 모델, 서비스 ,센서)를 제작하는 저작 기술.

- 가상 공간 및 모델을 활용한 현실 공간의 객체 인식/추적 기술.

- 가상 공간 및 모델을 활용한 증강현실 환경 내의 콘텐츠 저작 기술.

- 증강현실 공간과 가상 공간 양방향 동시에 콘텐츠를 제작할 수 있는 저작 기술.

- 다른 사용자가 저작한 콘텐츠를 검색하고 활용하여 새로운 콘텐츠를 제작하는 저작 기술.

- 이동 환경에서 원거리에 있는 실 환경 및 객체에 콘텐츠 제작이 가능한 저작 기술.

- 다수 사용자의 사회적 관계 및 문화적 배경을 반영한 그룹 추천 기법.

- 다수 사용자의 사회적 관계 및 문화적 배경을 반영한 콘텐츠 반응 생성 기법.

본 발명에 따른 구체적인 기술 개발은 다음과 같다.

1. 커뮤니티 구성원들 간의 의견을 조화롭게 조정하고 협력하게 하는 소셜 u-콘텐츠 증강 및 상호작용 기술 개발

A. 사용자 커뮤니티 기반의 USS 서비스 시나리오 및 사용자 인터페이스 디자인

- CAMAR 서비스 디자인 및 사용성 평가

B. 소셜 u-콘텐츠 가시화를 위한 센서 융합 기반 실외 객체 인식 및 추적 기술

- 문자 인식을 활용한 마커 추적 및 정합 기술

- 해상도 320×480 영상에서 문자 인식률 80% 이상, 마커 인식률 90% 이상, 추적 속도 20fps

- 카메라 외부 센서 (GPS) 정보 융합을 통한 모델 기반 실외 건물 추적 및 정합 기술(추적 속도 10fps 이상, 추적 오차 15 픽셀 이내)

C. 가상 및 현실 공간 커뮤니티 내 사용자 간 장소 및 선호도 기반의 협업 및 CAMAR 매쉬업 기술

- 장소 및 선호도 기반 CAMAR 커뮤니티 생성 및 그룹 추천 기법

- 커뮤니티 생성 3초 이내, 추천 정확도 65% 이상

- 개인적 상황과 선택에 따른 소셜 u-콘텐츠 정보 레벨 조절 및 필터링 기술(타당성 70% 이상, 필터링 수행 시간 0.2초 이내)

- 가상 환경 구성 및 실제 환경에서의 접근 기술

D. 커뮤니티 구성원들의 상호작용을 지원하기 위해 컨텍스트를 수집, 이해하는 컨텍스트 인지형 소셜 u-콘텐츠 지능화 기술

- CAMAR 사용자의 생체 신호 컨텍스트 기반 사용자 피드백 획득 및 소셜 u-콘텐츠 상황 인지 기술

- CAMAR 사용자의 컨텍스트에 따른 소셜 u-콘텐츠의 개인화된 판단 기술

- CAMAR 사용자의 컨텍스트 기반 소셜 u-콘텐츠의 선지식 기반 행동 생성 기술

E. CAMAR 저작 플랫폼 및 응용 시스템

- 모바일 폰에 동작 가능한 CAMAR 저작 플랫폼 개발 프로세스 정형화 및 디자인

- 모바일 폰 기반의 u-콘텐츠 저작을 위한 소셜 u-콘텐츠 정보 등록, 삽입, 및 위치 지정 기술

- 모바일 폰에 적합한 물리 엔진

- 증강현실 환경에서 객체의 사실적인 반응 도출을 위한 객체의 물리적 속성 부여 기술 및 증강된 가상 객체들의 충돌 감지 기술

2. 커뮤니티 내의 서비스 획득, 증강, 재구성을 위한 CAMAR 서비스 매쉬업 기술

A. CAMAR 서비스 매쉬업을 위한 서비스 시나리오 및 사용자 인터페이스 디자인

- CAMAR 매쉬업 서비스 디자인 및 사용성 평가

B. 소셜 u-콘텐츠 가시화 및 상호작용 지원 실외 스마트 오브젝트 인식 및 추적 기술

- 문자 및 2D 바코드 인식을 이용한 로고 및 간판 추적 및 정합 기술(해상도 320×480 영상에서 문자 인식률 85%, 바코드 인식률 90%, 추적 속도 25fps 이상, 추적 속도 15fps 이상, 추적 오차 10 픽셀 이내)

- 카메라 외부 센서 및 모델 융합 기반 실외 건물 추적 및 정합 기술(추적 속도 15fps 이상, 추적 오차 10 픽셀 이내)

C. 커뮤니티 내 사회적 컨텍스트 기반 협업 및 CAMAR 매쉬업 기술

- 사회적 컨텍스트에 기반한 CAMAR 커뮤니티 내 정보 공유 및 중재 기술(커뮤니티 생성시간 2초 이내, 그룹 추천 정확도 75% 이상)

- CAMAR 커뮤니티 내 사용자 선택 및 사회적 관계에 따른 서비스 필터링 구성 기술(필터링 수행시간 0.15초 이내, 제공 정보의 정확성 및 타당성 75% 이상)

- 혼합 환경의 정보 공유 수준 동기화 기술

D. CAMAR 커뮤니티 구성원들의 사회적 컨텍스트 기반의 다수 소셜 u-콘텐츠 간 상호작용 기술

- CAMAR 사용자의 멀티 모달 피드백 획득 및 소셜 u-콘텐츠의 사회적 컨텍스트 인식 기술

- CAMAR 사용자의 컨텍스트에 따라 소셜 u-콘텐츠의 상호작용을 지원하는 상황 판단 기술

- 다중 소셜 u-콘텐츠의 사회적 컨텍스트 기반 자율적 행동 계획 기술

E. CAMAR 저작 플랫폼 및 응용 시스템

- CAMAR 저작 플랫폼에 요구되는 다양한 기능 추가와 기능성 향상 (90%)

- 모바일 폰 기반의 u-콘텐츠 저작 기술

- 물리 엔진의 동시 접근을 통한 u-콘텐츠 공유 기술

3. 커뮤니티 구성원들에게 적합한 서비스 추천, 경험의 기록 및 증강 기술 개발

A. 사회적 관계와 문화적 컨텍스트 기반의 CAMAR 서비스 시나리오 디자인

- 서비스 추천, 경험의 기록 및 증강을 위한 CAMAR 서비스 디자인 및 사용성 평가

B. 소셜 u-콘텐츠 가시화 및 상호작용 지원 실내 다수 스마트 오브젝트 인식 및 추적 기술

- 수기 문자 및 2D 바코드 인식을 이용한 오브젝트 추적 및 정합 기법(해상 도 320×480 영상에서 문자 인식률 90% 이상, 바코드 인식률 95% 이상, 추적 속도 25fps 이상)

- 카메라 외부 센서 및 모델 융합 기반 다수 오브젝트 추적 및 정합 기법(추적 속도 15fps 이상, 추적 오차 7 픽셀 이내)

C. 문화적 컨텍스트를 기반으로 한 소셜 u-콘텐츠 협업 및 CAMAR 매쉬업 기술

- 문화적 컨텍스트에 기반한 CAMAR 커뮤니티 동적 구성 및 커뮤니티 내 중재 기술(커뮤니티 생성시간 1초 이내, 그룹 추천 정확도 80% 이상)

- CAMAR 커뮤니티 내 이벤트 기반 매쉬업 서비스 설정, 프로파일 학습 및 필터링 기술

- 실제 환경의 컨텍스트 히스토리에 기반한 가상 환경 DB 구축 기술

D. 다수 소셜 u-콘텐츠 간의 경험을 기반으로 자율적으로 행동하는 소셜 u-콘텐츠의 행동 생성 기술

- 소셜 u-콘텐츠를 사용하는 커뮤니티 구성원들의 감성 컨텍스트 획득 및 u-콘텐츠의 문화적 컨텍스트 인식 기술

- 커뮤니티 내 CAMAR 사용자 간의 경험 공유를 기반으로 한 소셜 u-콘텐츠의 적응적 상황 판단 기술

- 다수 소셜 u-콘텐츠의 사회적 컨텍스트 기반 자율적 행동 생성 기술

E. CAMAR 저작 플랫폼 및 응용 시스템

- 소셜 u-콘텐츠를 커뮤니티의 컨텍스트 정보에 따라 유연하게 저작할 수 있 는 위짓 제공 및 유연성 향상 (80%)

- 스마트 오브젝트와 실객체 기반의 저작 기술

- rigid body, particle 등 다양한 객체로 물리 엔진의 확장 기술

4. 커뮤니티 구성원들의 사회적 관계와 문화적 컨텍스트 기반 지속적인 협업을 위한 CAMAR 저작 핵심 기술 개발

A. 사회적 관계와 문화적 컨텍스트 기반의 CAMAR 서비스 시나리오 디자인

- 다수 사용자 간의 지속적인 협업을 위한 CAMAR 저작도구 UI 디자인 및 실용화 디자인 전략 도출

B. 소셜 u-콘텐츠 가시화 및 저작을 위한 통합 인식 및 추적 기술

- 수기 문자 및 2D 바코드 인식을 이용한 오브젝트 추적 및 정합 기법(해상도 320×480 영상에서 문자 인식률 95%, 마커 및 로고 인식률 95%, 추적 속도 25fps 이상)

- 카메라 외부 센서 및 모델 융합 기반 다수 오브젝트 추적 및 정합 기법(추적 속도 20fps 이상, 추적 오차 5 픽셀 이내)

C. 가상 및 현실의 public 공간에서 사회·문화적 컨텍스트에 기반한 소셜 u-콘텐츠와 협업 및 CAMAR 매쉬업 기술

- 사회·문화적 컨텍스트에 기반한 CAMAR 커뮤니티 확장 및 중재 기술(커뮤니티 생성 1초 이내, 추천 정확도 90% 이상)

- CAMAR 커뮤니티 내 소셜 u-콘텐츠 저작을 위한 서비스 구성 및 분류 기술(타당성 90% 이상, 필터링 수행시간 0.05초 이내)

- 혼합환경 정보 동기화 및 통합 기술

D. 커뮤니티 구성원들 간의 사회적·문화적 컨텍스트를 학습하고 반영하는 소셜 u-콘텐츠의 자가 성장 기술

- 소셜 u-콘텐츠를 사용하는 커뮤니티 구성원들의 사회적인 피드백 획득 및 학습 기술

- 커뮤니티 내 CAMAR 사용자의 소셜 u-콘텐츠의 반응과 사용자의 피드백에 따른 소셜 u-콘텐츠의 적응적 상황 판단을 위한 학습 기술

- 사회·문화적 경험을 공유하여 소셜 에이전트의 학습을 가능하게 하는 진화적 행동 계획 기술

E. CAMAR 저작 플랫폼 및 응용 시스템

- 소셜 u-콘텐츠 저작 시간을 최소화하고 일반 사용자들이 쉽게 사용할 수 있는 저작 플랫폼의 생산성 향상 (80%)

- 다수의 CAMAR 사용자들의 콘텐츠의 협업 가능한 저작 기법

- 응용 시나리오를 통한 사업화, 상용화 가능한 물리엔진 응용

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있게 하는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 기술을 제공하며, 이 저작 기술 구현을 위해 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하며 상호 유기적으로 작용하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 개시한다.

본 발명에 따르면, 양 공간에서 상호 유기적으로 작용하는 두 마커를 관리함으로써 두 공간이 이음매 없이도 정보를 공유할 수 있다. 또한, 가상 공간 기준 마커가 현실 공간에 구비되는 오브젝트에 대한 정보를 공유함으로써 렌더링 시간을 감축시킬 수 있으며, 증강을 위한 인식 과정 및 추적 과정을 생략하거나 매우 빠르게 진행할 수 있다.

본 발명은 컨텍스트 인식 모바일 증강현실 기술에 관련한 것으로서, 모바일 단말기를 이용한 유비쿼터스 컴퓨팅에 적합하다. 오늘날 증강현실 기술이 의학, 산업, 오락, 군사 분야 등에서 다양하게 응용되고 있고 주된 사용자 인터페이스가 HMD(Head Mounted Display)에서 모바일(mobile)로 변화되고 있음을 고려할 때, 본 발명이 개시하는 기술은 향후 이용가치가 높을 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 마커 관리 시스템의 개념도,

도 2는 본 발명의 바람직한 실시예에 따른 CAMAR 태그를 정의한 테이블도,

도 3은 본 발명의 바람직한 실시예에 따른 마커 처리부의 내부 구성에 대한 일실시 예시도,

도 4는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 도시한 순서도,

도 5는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 설명하기 위한 참고도,

도 6은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 생성 방법을 도시한 순서도,

도 7은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 활용 방법을 도시한 순서도,

도 8은 CAMAR 저작 핵심 기술 개념도를 도시한 도면,

도 9는 실내 환경에서 CAMAR 저작 기술의 개념의 예시도,

도 10은 제안하는 제작기술의 구조도를 나타내는 도면이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100 : 마커 관리 시스템 110 : VE 기준 마커

120 : RE 기준 마커 130 : 오브젝트 표상 마커

140 : 마커 처리부

Claims (27)

1. 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커;

   가상 공간에 위치하여 상기 현실 공간 기준 마커와 연동하며, 상기 가상 공간의 일 지점에 오브젝트를 증강시키기 위한 매개체 역할을 하는 가상 공간 기준 마커;

   상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 상기 현실 공간 또는 상기 가상 공간에 위치하는 오브젝트에 대한 오브젝트 표상 마커를 생성하며, 상기 생성된 오브젝트 표상 마커를 토대로 상기 오브젝트에 대한 정보를 처리하는 마커 처리부

   를 포함하는 것을 특징으로 하는 마커 관리 시스템.
2. 제 1 항에 있어서,

   상기 마커 처리부는 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 상기 오브젝트 표상 마커를 이용하여 상기 현실 공간 또는 상기 가상 공간에 위치하는 적어도 하나의 오브젝트를 인식 추적하는 것을 특징으로 하는 마커 관리 시스템.
3. 제 1 항에 있어서,

   상기 마커 처리부는 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마 커를 기준으로 적어도 하나의 공간 상에 위치하는 상기 오브젝트에 대한 정보를 공유시키는 것을 특징으로 하는 마커 관리 시스템.
4. 제 1 항에 있어서,

   상기 마커 처리부가 처리하는 상기 오브젝트에 대한 정보는 마커 ID에 대한 정보, 마커의 생성 시간에 대한 정보, 마커의 위치나 방위에 대한 정보, 사용자에 대한 정보, 저작에 이용되는 콘텐츠에 대한 정보, 오브젝트의 크기에 대한 정보, 오브젝트의 특징점에 대한 정보, 오브젝트의 텍스처에 대한 정보, 및 오브젝트가 위치한 영역을 비추는 빛에 대한 정보 중 적어도 하나의 정보를 포함하는 것을 특징으로 하는 마커 관리 시스템.
5. 제 1 항에 있어서,

   상기 마커 처리부는,

   상기 현실 공간을 뷰잉하며, 상기 오브젝트 표상 마커를 생성하는 모바일 단말; 및

   상기 오브젝트에 대한 정보나 가상 공간 모델에 대한 정보를 저장하며, 상기 저장된 적어도 하나의 정보를 상기 모바일 단말에 제공하는 서버

   를 포함하는 것을 특징으로 하는 마커 관리 시스템.
6. 제 5 항에 있어서,

   상기 모바일 단말은,

   상기 오브젝트 표상 마커를 생성하는 마커 생성 모듈;

   오디오, 비디오, 및 텍스트 중 적어도 하나의 유형으로 이루어진 콘텐츠를 저작하는 콘텐츠 저작 모듈;

   상기 오브젝트 표상 마커의 ID에 대한 정보 또는 상기 오브젝트 표상 마커의 위치나 방위에 대한 정보를 등록시키는 등록 모듈;

   상기 오브젝트를 인식하는 인식 모듈;

   상기 오브젝트를 추적하는 추적 모듈;

   상기 모바일 단말을 소지한 자의 위치나 방향을 센싱하는 센싱 모듈; 및

   상기 센싱 결과를 토대로 상기 서버로부터 상기 오브젝트 표상 마커의 리스트를 획득하여 업데이트하는 업데이트 모듈

   을 포함하는 것을 특징으로 하는 마커 관리 시스템.
7. 제 1 항에 있어서,

   상기 마커 처리부는 상기 가상 공간 기준 마커를 생성하거나, 상기 가상 공간에 위치하는 오브젝트에 대한 정보를 상기 현실 공간 기준 마커에 제공하는 것을 특징으로 하는 마커 관리 시스템.
8. 제 7 항에 있어서,

   상기 마커 처리부는,

   포인팅된 상기 현실 공간에 대한 영상으로부터 상기 현실 공간 기준 마커를 인식하고 자세를 추정하는 현실 공간 기준 마커 트레이닝부; 및

   상기 가상 공간에 상기 가상 공간 기준 마커를 생성하며, 상기 생성된 가상 공간 기준 마커를 상기 인식 및 자세 추정된 현실 공간 기준 마커와 연동시키는 가상 공간 기준 마커 생성부

   를 포함하는 것을 특징으로 하는 마커 관리 시스템.
9. 제 7 항에 있어서,

   상기 마커 처리부는,

   포인팅된 상기 현실 공간에 대한 영상에 포함된 객체를 인식하는 객체 인식부;

   상기 인식된 객체에 대한 컨피던스 값이 최대인 상기 가상 공간 기준 마커를 추출하는 가상 공간 기준 마커 추출부;

   상기 영상에 포함된 현실 공간 기준 마커를 인식하고 자세를 추정하는 현실 공간 기준 마커 인지부; 및

   상기 추출된 가상 공간 기준 마커에 대한 정보를 상기 인지된 현실 공간 기준 마커에 오버레이시키는 오버레이 구현부

   를 포함하는 것을 특징으로 하는 마커 관리 시스템.
10. 제 7 항에 있어서,

    상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커는,

    같은 공간에 구비되는 마커나 다른 공간에 구비되는 마커와 연동시키는 네트워킹 모듈; 및

    상기 같은 공간에 구비되는 마커의 움직임을 센싱하는 센싱 모듈

    을 포함하는 것을 특징으로 하는 마커 관리 시스템.
11. 제 8 항에 있어서,

    상기 가상 공간 기준 마커 생성부는,

    상기 현실 공간과 동일한 크기의 가상 공간 모델을 생성하는 가상 공간 생성부; 및

    상기 현실 공간에 대한 영상에 포함된 객체에 대응하는 대응 객체를 상기 생성된 가상 공간에 입력시키는 대응 객체 입력부

    를 포함하며,

    상기 입력된 대응 객체와 연결되게 상기 가상 공간 기준 마커를 생성하는 것을 특징으로 하는 마커 관리 시스템.
12. 제 8 항에 있어서,

    상기 현실 공간 기준 마커 트레이닝부는,

    상기 현실 공간을 포인팅하는 촬영부;

    상기 포인팅된 현실 공간에 대한 영상을 획득하는 영상 획득부; 및

    상기 획득된 영상에 포함된 객체의 위치 정보와 방위 정보를 포함하는 컨텍스트 정보를 획득하는 컨텍스트 정보 획득부

    를 포함하며,

    상기 획득된 영상과 상기 획득된 컨텍스트 정보를 고려하여 상기 현실 공간 기준 마커를 인식하고 자세를 추정하는 것을 특징으로 하는 마커 관리 시스템.
13. 제 8 항에 있어서,

    상기 현실 공간 기준 마커 트레이닝부만, 또는 상기 현실 공간 기준 마커 트레이닝부와 상기 가상 공간 기준 마커 생성부 모두 모바일 단말에 구비되는 것을 특징으로 하는 마커 관리 시스템.
14. 제 12 항에 있어서,

    상기 현실 공간 기준 마커 트레이닝부는 사용자의 소속, 관심 키워드, 선호도, 및 선택 영역에 대한 정보 중 적어도 하나를 포함하는 사용자 정보를 수집하는 사용자 정보 수집부를 더 포함하며, 상기 수집된 사용자 정보를 더 고려하여 상기 현실 공간 기준 마커를 인식하고 자세를 추정하는 것을 특징으로 하는 마커 관리 시스템.
15. 제 9 항에 있어서,

    상기 오버레이 구현부는 상기 추출된 가상 공간 기준 마커의 좌표 정보와 상 기 인지된 현실 공간 기준 마커의 좌표 정보를 일치시킨 후 상기 오버레이를 수행하는 것을 특징으로 하는 마커 관리 시스템.
16. 제 9 항에 있어서,

    상기 가상 공간 기준 마커 추출부는 상기 컨피던스 값이 최대인 가상 공간 기준 마커로 상기 인식된 객체들의 좌표 정보를 근거로 동일 정보를 가진 객체를 표상 영상에 가장 많이 구비한 가상 공간 기준 마커를 추출하는 것을 특징으로 하는 마커 관리 시스템.
17. 제 4 항에 있어서,

    상기 마커 처리부는 상기 오브젝트에 대한 정보를 이용하여 상기 현실 공간 또는 상기 가상 공간의 일 지점에 위치하는 오브젝트를 인식하거나 추적하는 것을 특징으로 하는 마커 관리 시스템.
18. 제 17 항에 있어서,

    상기 마커 처리부는 상기 오브젝트를 인식하거나 추적할 때에 조도의 변화량을 고려하는 것을 특징으로 하는 마커 관리 시스템.
19. (a) 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커를 기준으로 상기 현실 공간에 위치하는 오브젝트의 위치 정보와 방위 정보를 획득하는 단계;

    (b) 상기 오브젝트를 반영시키기 위한 가상 공간 모델을 선택하는 단계;

    (c) 상기 선택된 가상 공간 모델 상의 가상 공간 기준 마커를 기준으로 상기 획득된 위치 정보 또는 상기 획득된 방위 정보를 이용하여 상기 가상 공간 모델에 위치하는 오브젝트를 생성하는 단계

    를 포함하는 것을 특징으로 하는 현실 공간에 위치하는 오브젝트를 가상 공간에 생성하는 방법.
20. 제 19 항에 있어서,

    상기 (c) 단계는 상기 가상 공간 모델에 상기 오브젝트를 표상시키기 위한 오브젝트 표상 마커를 생성한 후 상기 생성된 오브젝트 표상 마커 자리에 상기 오브젝트를 증강시켜 상기 오브젝트 생성을 수행하는 것을 특징으로 하는 현실 공간에 위치하는 오브젝트를 가상 공간에 생성하는 방법.
21. 제 20 항에 있어서,

    상기 (c) 단계는 상기 오브젝트 표상 마커의 ID 정보 또는 상기 오브젝트 표상 마커의 위치 정보 또는 방위 정보를 포함하는 상기 오브젝트 표상 마커를 생성하며, 상기 오브젝트 증강시 상기 오브젝트로부터 미리 정해진 곳에 위치하는 콘텐츠도 함께 증강시키는 것을 특징으로 하는 현실 공간에 위치하는 오브젝트를 가상 공간에 생성하는 방법.
22. (a) 포인팅된 현실 공간에 대한 영상으로부터 상기 현실 공간에 위치하는 객체를 표상하는 현실 공간 기준 마커를 인식하고 자세를 추정하는 단계; 및

    (b) 상기 현실 공간 기준 마커와 연동하며 상기 객체 또는 상기 객체가 포함된 영상을 표상하는 가상 공간 기준 마커를 가상 공간에 생성하며, 상기 생성된 가상 공간 기준 마커를 상기 인식 및 자세 추정된 현실 공간 기준 마커와 연동시키는 단계

    를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 생성 방법.
23. 제 22 항에 있어서,

    상기 (b) 단계는,

    (ba) 상기 현실 공간과 동일한 크기의 가상 공간 모델을 생성하는 단계;

    (bb) 상기 현실 공간에 대한 영상에 포함된 객체에 대응하는 대응 객체를 상기 생성된 가상 공간에 입력시키는 단계; 및

    (bc) 상기 입력된 대응 객체와 연결되게 상기 가상 공간 기준 마커를 생성하는 단계

    를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 생성 방법.
24. 제 22 항에 있어서,

    상기 (a) 단계는,

    (aa) 상기 현실 공간을 포인팅하는 단계;

    (ab) 상기 포인팅된 현실 공간에 대한 영상을 획득하는 단계;

    (ac) 상기 획득된 영상에 포함된 객체의 위치 정보와 방위 정보를 포함하는 컨텍스트 정보를 획득하는 단계; 및

    (ad) 상기 획득된 영상과 상기 획득된 컨텍스트 정보를 고려하여 상기 현실 공간 기준 마커를 인식하고 자세를 추정하는 단계

    를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 생성 방법.
25. (a) 포인팅된 현실 공간에 대한 영상에 포함된 객체를 인식하는 단계;

    (b) 상기 인식된 객체에 대한 컨피던스 값이 최대인 가상 공간 기준 마커를 추출하는 단계;

    (c) 상기 영상에 포함된 현실 공간 기준 마커를 인식하고 자세를 추정하는 단계; 및

    (d) 상기 추출된 가상 공간 기준 마커에 대한 정보를 상기 인지된 현실 공간 기준 마커에 오버레이시키는 단계

    를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 제공 방법.
26. 제 25 항에 있어서,

    상기 (b) 단계는 상기 컨피던스 값이 최대인 가상 공간 기준 마커로 상기 인식된 객체들의 좌표 정보를 근거로 동일 정보를 가진 객체를 표상 영상에 가장 많이 구비한 가상 공간 기준 마커를 추출하며,

    상기 (d) 단계는 상기 추출된 가상 공간 기준 마커의 좌표 정보와 상기 인지된 현실 공간 기준 마커의 좌표 정보를 일치시킨 후 상기 오버레이를 수행하는 것을 특징으로 하는 가상 공간 기준 마커 제공 방법.
27. 컴퓨터로 판독 가능한 기록매체에 있어서,

    제 19 항 내지 제 26 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.

Images