KR101546653B1

KR101546653B1 - 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템 및 그 방법

Info

Publication number: KR101546653B1
Application number: KR1020130073616A
Authority: KR
Inventors: 우운택; 이형묵
Original assignee: 한국과학기술원
Priority date: 2012-06-26
Filing date: 2013-06-26
Publication date: 2015-08-25
Also published as: KR20140001152A

Abstract

개시된 기술은 증강현실 환경에서 관심 컨텍스트(COI, Context of Interest)를 등록할 수 있는 인터페이스에 관한 것으로, 보다 상세하게는 동적으로 변하는 현실 공간에서 다양한 형태의 관심 객체를 지정하고 그와 관련된 가상의 가이드/정보를 물리적 제약없이 추가하고 직관적으로 제시할 수 있는 증강현실 인터페이스 기술에 관한 것이다.
개시된 기술의 일 실시예에 따른 인터페이스는 사전에 학습되어 정의된 증강현실 마커의 제약을 극복하여 즉시적인 상황에 따라 관심을 가지는 3차원 객체를 증강현실공간에 등록할 수 있다. 또한, 관심을 가지는 3차원 객체를등록할 때 제공되는 증강 가이드 정보가 작업의 단계에 따라 동적으로 변경되는 정보제시 기술을 제공한다.

Description

증강현실 기반의 실시간 관심 컨텍스트 등록 시스템 및 그 방법{AREAL-TIME COI REGISTRATION SYSTEM AND THE METHOD BASED ON AUGMENTED REALITY}

개시된 기술은 증강현실 환경에서 관심 컨텍스트(COI, Context of Interest)를 등록할 수 있는 인터페이스에 관한 것으로, 보다 상세하게는 동적으로 변하는 현실 공간에서 다양한 형태의 관심 객체를 지정하고 그와 관련된 가상의 가이드/정보를 물리적 제약없이 추가하고 직관적으로 제시할 수 있는 증강현실 인터페이스 기술에 관한 것이다.

증강현실 기술이 등장한 이래로 사용자층과 연령층의 스펙트럼이 넓어지고 증강현실 체험을 제공하는 다양한 응용 시스템이 등장하고 있다. 특히, 증강현실 인터페이스를 시스템-사용자 간 상호작용 도구로 활용하는 유비쿼터스 가상현실 응용 시스템에서는 현실과 가상을 이음매 없이 연결하고, 실감 오감 증강을 제공하며, 이러한 인터페이스를 기반으로 실시간 양방향 상호작용이 가능한 u-콘텐츠가 활발하게 생산/가공될 것으로 전망되고 있다. 따라서 시간이 지날수록 이러한 증강현실 콘텐츠는 사용자가 관심을 가지는 대상을 기준으로 다채로운 형태로 축적되어 방대하게 제공될 것이다.

실시간에 동작하는 현실 공간의 물리적 관심 대상과 실제 사용자 간의 상호작용을 지원하는 다양한 컴퓨팅 기술(웹, 센서, 모바일 등)들이 실제 생활에 적용 가능한 수준까지 등장하고 있다. 하지만 다양한 형태의 관심 대상을 지정하고 그와 관련된 가상의 가이드/정보를 물리적인 제약 없이 추가하고 직관적으로 제시하기 위한 증강현실 인터페이스와의 유기적인 결합에 대한 연구는 여전히 초기 단계이다.

(1) 강창구, 하태진, 오유수, 우운택, "유비쿼터스 가상현실 구현을 위한 증강현실 콘텐츠 기술과 응용," 전자공학회지, 제38권, 제6호, pp.449-455, 2011 (2) Choi, A., Park, Y., Jang, Y., and Woo, W., "mARGraphy: Mobile AR-based Dynamic Information Visualization," Int. Symposium on Ubiquitous Virtual Reality, pp.37-39, 2011 (3) Kim, K., Lepetit, V., and Woo, W., "Keyframe-based Modeling and Tracking of Multiple 3D Objects," Int. Symposium on Mixed and Augmented Reality (ISMAR’10), pp.193-198, 2010 (4) Vertegaal, R., and Poupyrev, I., "Organic User Interfaces,"ACM Communications, Vol. 51, No. 6, 2008.

개시된 기술은 동적으로 변하는 현실 공간에서 지능적으로 정보를 가공하여 제시할 수 있는 증강현실 기반 유기적 인터페이스를 제공한다. 개시된 기술은 이를 위한 초기단계로서 정보를 제시할 관심 개체를 재정의한 COI(Context of Interest)를 실시간으로 등록하는 과정을 제공한다.

COI(Context of Interest)는 사용자 관점에서 주의를 기울이는 물리적 실체나 상황 정보로서 실제로 사용자와 시스템 간 상호작용 가능 영역(interactive area)을 포함한 데이터를 나타낸다. 이는 PoI(Point of Interest), OoI(Object of Interest), LoI(Location of Interest) 등을 포함한다. COI 등록(COI Registration)은 현실공간과 상응하는 듀얼공간에 해당 COI 객체(2D/3D 영역 포함) 좌표계를 생성하여 등록하는 것을 말한다.

개시된 기술의 일 실시예에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템은 사용자 입력장치에서 객체 특징점을 전달받아 타겟이 되는 관심 컨텍스트의 초점을 조정하여, 특징점 좌표를 제공하는 관심 컨텍스트 초점부, 상기 관심 컨텍스트의 등록 여부를 확인하는 관심 컨텍스트 인식부 및 상기 관심 컨텍스트 초점부에서 특징점 좌표를 전달받아 관심 컨텍스트 등록을 위해 타겟이 되는 객체를 3차원 형상 모델링하는 객체 모델링부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템에 있어서, 관심 컨텍스트 인식부는 객체의 알에프 아이디 태그 정보로 관심 컨텍스트를 인식하거나, 관심 영역 감지로 타겟이 되는 객체를 인식하는 것을 특징으로 한다.

또한, 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템에 있어서, 객체 모델링부는 관심 컨텍스트로 등록하고자 하는 객체를 선택하는 객체 선택부, 선택된 상기 객체의 3차원 특징점을 수집하는 특징점 수집부, 선택된 객체의 형상 정보를 선택하는 객체 형상 선택부 및 선택된 상기 형상 정보로 객체를 3차원 확장하는 객체 확장부를 포함하는 것을 특징으로 한다.

개시된 기술에 따른 강현실 기반의 실시간 관심 컨텍스트 등록 방법은 (a) 관심 컨텍스트 인식부를 이용하여, 관심 컨텍스트의 등록 여부를 확인하는 단계, (b) 상기 (c) 단계에서 상기 객체의 관심 컨텍스트를 인식하지 못할 경우, 객체 모델링부를 이용하여, 해당 객체를 3차원 형상 모델링하는 단계 및 (c) 컨텍스트 태그부를 이용하여, 3차원 형상 모델링된 객체의 좌표정보로 컨택스트를 식별하는 태그 정보를 설정하여 데이터베이스에 등록하는 단계를 포함하는 것을 특징으로 한다.

개시된 기술에 따른 인터페이스를 통해 사용자는 응용 시스템에 대한 사전 학습이 전혀 없더라도 관심 객체를 증강현실 공간에 등록할 수 있다. 즉, 사용자는 제공되는 유기적인 가이드를 따라 즉각적으로 관심 객체를 등록할 수 있다.

도 1은 개시된 기술의 일 실시예에 따른 유기적 증강현실 인터페이스를 통해 실시간으로 COI를 등록하는 과정을 설명하는 도면.
도 2는 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템의 구성도.
도 3은 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템에 있어서, 관심 영역 감지 방법으로 타겟 객체를 인식하는 개념을 나타내는 도면.
도 4는 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템에 있어서, 객체 모델링부의 상세 구성을 나타내는 구성도.
도 5는 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템에 있어서, 가이드 정보부의 동작을 나타내는 실시예 화면.
도 6은 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 방법의 전체 흐름을 나타내는 흐름도.
도 7은 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 방법의 S30 단계의 상세 흐름을 나타내는 흐름도.
도 8은 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 방법에 있어서, S30 단계의 동작을 나타내는 실시예 화면.
도 9는 휴대 단말기를 통해 객체를 모델링하는 과정을 상세하게 설명하는 도면.

개시된 기술의 실시예들에 관한 설명은 개시된 기술의 구조적 내지 기능적 설명들을 위하여 예시된 것에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 개시된 기술의 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

개시된 기술에서 기재된 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

개시된 기술에서 기술한 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

가상 객체를 현실 공간에 실시간으로 증강하기 위해서는 카메라 시점이 변해도 안정적으로 가상 객체의 자세를 유지하기 위한 특징(feature)을 포함하는 참조 대상이 필요하다. 관심 영역이나 객체의 특징을 학습하여 증강하기 위한 안정적인 좌표를 생성하는 단계를 COI 등록이라고 할 수 있다.

특히, 미리 정의되어 있는 2차원 사각형 형태의 마커는 장소의 한계와 심미적으로 자연스럽지 못하기 때문에 실제 생활에서 널리 활용되기는 어렵다. 이를 보완하기 위해 자연 특징점을 이용하는 등록 기술이 있다. 이는 영상의 일부분을 패치 단위로 학습하여 자세를 계산해내는 방식으로 직관적인 등록이 가능하지만 3차원 객체에 적용하기에는 한계가 있다.

현실 공간에 존재하고 상호작용하는 대부분의 객체가 복잡하지 않은 다각형으로 모델링 될 수 있다는 전제하에 단순한 3차원 다각형 객체를 실시간으로 등록하는 인터페이스 기술의 경우, 낯선 공간에 존재하는 관심 현실 객체를 사용자가 등록할 수 있게 하므로 보다 다양하고 직관적인 상호작용 환경을 제공할 수 있다.

도 1은 개시된 기술의 일 실시예에 따른 유기적 증강현실 인터페이스를 통해 실시간으로 COI를 등록하는 과정을 설명하는 도면이다.

유기적 증강현실(OrganicAR)은 기존의 하드웨어와 소프트웨어를 긴밀하게 결합한 차세대 인터페이스인 OUI (Organic User Interface)의 형태(Form)를 증강형태(Augmented Form)로 재정의하고 증강 현실 환경에 적합하도록 개선한 인터페이스이다. 증강형태는 현실 공간에서 다수 감지가능 디바이스를 통해 다양한 모달리티(modality)를 사용자에게 경험하게 하는 부가적인 가상 정보 전달 개체를 말한다. 유기적 증강현실을 만족하기 위한 세가지 주 요소는 1) 사용자 친화형 모바일 입력이 착용형 출력 장치로 전달, 2) 시스템/응용의 기능이 증강형태의 가시화 형태와 긴밀한 연결고리를 가짐, 3) 증강형태가 포함하는 내용이 시스템/응용의 흐름을 설명하기 위해 동적으로 변화해야함을 들 수 있다.

첫 번째 요소는 사용자가 지닌 개인용 모바일 디바이스, 손, 완드(wand) 등의 입력기기에 의한 입력 반응에 따른 결과가 HMD(Head Mounted Display), 안경형 디스플레이, 모바일 디바이스와 같은 출력장치에 즉각적으로 제시되는 환경을 말한다. 두 번째 요소는 사용자가 처한 상황이나 작업 단계에서 획득 가능한 실제 맥락정보를 활용하여 주어진 환경, 사용자, 영상에 적합한 형태(Where, What, How)로 시각화 하는 기술과 관련이 깊다. 마지막 요소는 대부분의 작업이 일련의 연속적인 단계로 진행되는 상황이라고 할 때, 단계 간의 효과적인 진행을 유도하는 정보 제시 및 가이드 기술을 말한다.

도 1은 실시간 COI 등록과정에 유기적 증강현실을 적용한 흐름도이며, 도 2는 실시간 COI 등록 과정을 설명하는 도면이다. 도 1은 일련의 등록 과정(도 2)에서 3차원 맵 확장 단계의 의미 있는 키프레임(keyframe) 추가를 유도하기 위한 증강형태의 제시과정을 나타낸다.

먼저 현재 영상에서 이전에 추가된 키프레임 정보와 사용자 의도를 기반으로 COI영역과 비COI 영역을 분리하는 COI 캡처링 과정을 수행한다. 이후 현장에서 계속적으로 수집되는 컨텍스트 정보를 이용한 공간 관리를 통해 다양한 증강형태 중 적절한 위치/영역(Where)을 추출한다. 이후 시각화 관리에서는 공간 관리를 통해 추천되는 영역에 현재 작업 리스트 중 적합한 내용(What, How)을 선정하여 가이드 콘텐츠를 증강하는 작업을 담당한다.

또한, 사용자가 주어진 가이드에 크게 벗어난 행동을 하고 이러한 행위가 수집되는 컨텍스트의 분석을 통해 감지될 경우 원래의 올바른 방향으로 이끌기 위한 추가적인 가이드 정보를 생성할 수 있다.

도 2는 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템의 전체 구성을 나타내는 구성도로, 관심 컨텍스트 초점부(21), 관심 컨텍스트 인식부(22), 객체 모델링부(23) 및 컨텍스트 태그부(24)를 포함한다.

상기 관심 컨텍스트 초점부(21)는 사용자 입력장치(10)로부터 실시간 SFM(shape from motion)으로 추출된 객체 특징점을 전달받아 타겟이 되는 관심 컨텍스트의 초점을 조정하여, 특징점 좌표를 제공하는 역할을 하며, 특징점의 좌표는 상기 관심 컨텍스트 인식부(22)에 전달된다.

상기 관심 컨텍스트 인식부(22)는 상기 관심 컨텍스트의 등록 여부를 확인하는 역할을 하며, 본 발명에 따른 상기 관심 컨텍스트 인식부(22)는 객체의 알에프 아이디 태그 정보로 관심 컨텍스트를 인식하거나, 도 3에 도시된 바와 같이, 관심 영역 감지로 타겟이 되는 객체를 인식한다.

상기 객체 모델링부(23)는 상기 관심 컨텍스트 초점부에서 특징점 좌표를 전달받아 관심 컨텍스트 등록을 위해 타겟이 되는 객체를 3차원 형상 모델링하는 역할을 하며, 본 발명에 따른 상기 객체 모델링부(23)는 도 4에 도시된 바와 같이, 객체 선택부(231), 특징점 수집부(232), 객체 형상 선택부(235) 및 가이드 정보부(236)를 포함한다.

상기 객체 선택부(231)는 관심 컨텍스트로 등록하고자 하는 타겟 객체를 선택하는 역할을 하며, 상기 특징점 수집부(232)는 선택된 상기 객체의 3차원 특징점을 수집하는 역할을 한다.

상기 객체 형상 선택부(235)는 선택된 객체의 형상 정보를 선택하는 역할을 하며, 본 발명에 따른 상기 객체 형상 선택부는 상기 객체의 기준면을 선택하는 기준면 선택부(233) 및 선택된 상기 객체 기준면의 형상 정보를 입력을 위한 기준선 또는 기준점을 입력하는 형상정보 선택부(234)를 포함하는 것이 바람직하다.

본 발명에 따른 상기 형상정보 선택부(234)는 상기 객체 기준면의 형상이 다각형일 경우, 두 개의 꼭지점을 연결하여, 다각형의 평면 상에 위치하는 대각선을 입력하고, 상기 객체 기준면의 형상이 원형일 경우, 원형 상에 위치한 세 개의 점을 입력하는데, 먼저 두 개의 점을 선택 시, 원형 가이드 형상이 생성되고, 원형 위의 또 다른 한 점을 선택하여, 정확한 원형 형상 정보를 입력한다.

상기 객체 확장부(236)는 선택된 상기 형상 정보로 객체를 3차원 확장하여, 객체의 3차원 형상을 생성하는 역할을 한다.

상기 가이드 정보부(237)는 상기 객체 선택부(231), 특징점 수집부(232), 기준면 선택부(233) 및 형상 정보 선택부(234)와 연결되어, 객체의 선택 및 객체의 형상 정보를 입력 시, 가이드 정보를 제공하는 역할을 한다.

즉, 기존의 COI 등록은 지식/경험이 없는 사용자들에게 등록을 마치기 위한 가이드 제공이 미비함에 따라 상기 가이드 정보부(236)를 이용하여, 컨텍스트 등록작업의 각 단계에 적합한 사용자 가이드를 증강하였다. 초기 환경 맵을 생성 시 키프레임 추출을 돕고 사용자의 불필요한 행동을 바로잡기 위한 방향 가이드 제시, 단계에 따라 동적으로 변하는 문자 가이드를 제공하도록 구현하였다.

도 5의 (a)는 환경맵 생성을 위한 사용자 이동방향 가이드 예시, (b)는 환경 맵 생성 시 사용자에 의한 예외상황 진단/극복을 위한 정보제시 예시, (c)는 다각형 드로잉에 의한 평면 모델링에의 텍스트 가이드 예시, (d)는 3차원 모델로의 확장에서의 텍스트 가이드 예시 도면을 각각 나타낸다.

상기 컨텍스트 태그부(24)는 3차원 형상 모델링된 객체의 좌표 정보를 이용하여, 컨텍스트를 식별할 수 있는 태그 정보를 설정하여 데이터베이스에 등록하는 역할을 하며, 상기 설정된 태그 정보에 따라 관심 컨텍스트의 추적 및 공유가 가능하다.

도 6은 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 방법의 전체 흐름을 나타내는 도면으로, 상기 관심 컨텍스트 인식부(22)를 이용하여, 관심 컨텍스트의 인식(S10)하고, 인식된 컨텍스트가 데이터베이스(30)에 등록되어 있는지 여부를 확인하는 단계(S20)를 수행한다.

상기 S20 단계에서 상기 객체의 관심 컨텍스트를 인식하지 못할 경우, 상기 객체 모델링부(23)를 이용하여, 해당 객체를 3차원 형상 모델링하는 단계(S30)를 수행한다.

도 7은 본 발명에 따른 상기 S30 단계의 상세 흐름을 나타내는 도면으로, 상기 객체 선택부(231)를 이용하여, 관심 컨텍스트로 등록하고자 하는 객체를 선택(S31)한다.

본 발명에 있어서, 상기 S31 단계 이전에 상기 가이드 정보부(237)를 이용하여, 객체의 선택에 따른 가이드 정보를 제공하는 것이 바람직하며, 본 발명의 실시예에서는 도 8의 (a)에 도시된 바와 같이, 사용자가 확인할 수 있는 디스플레이 화면 일측에 가이드 정보를 표시하도록 하였으며, 객체 선택을 위한 관심 영역을 표시하도록 하였다.

다음으로, 상기 특징점 수집부(232)를 이용하여, 선택된 상기 객체의 3차원 특징점을 수집하는 단계(S33)를 수행하며, 상기 S33 단계는 상기 사용자 입력장치를 이용하여, 타겟 객체의 주변을 이동하면서 상기 특징점을 충분하게 수집하는 것이 바람직하다.

도 8의 (a)는 상기 S31 단계의 일실시예를 나타내는 도면이며, 도 8의 (b)는 상기 S33 단계의 일실시예를 나타내는 도면이다.

다음으로, 상기 객체 형상 선택부(235)를 이용하여, 상기 객체의 형상 정보를 선택(S35)하며, 본 발명에 따른 상기 S35 단계는 도 9에 도시된 바와 같이, 상기 기준면 선택부(233)를 이용하여, 상기 객체의 기준면을 선택(S351)하고, 상기 형상정보 선택부(234)를 이용하여, 선택된 상기 객체 기준면의 형상 정보를 입력을 위한 기준선 또는 기준점을 입력하는 단계(S353)를 포함하는 것이 바람직하다.

도 8의 (c)는 상기 S351 단계의 일실시예를 나타내는 도면이며, 도 8의 (d)는 상기 S353 단계의 일실시예를 나타내는 도면으로, 본 발명의 실시예에서는 상기 S351 단계 및 상기 S353 단계 이전에 가이드 정보부를 이용하여, 객체의 형상 정보를 입력에 따른 가이드 정보를 제공하도록 하였다.

다음으로, 상기 객체 확장부(236)를 이용하여, 상기 형상정보로 객체를 3차원 확장하는 단계(S37)를 수행하며, 본 발명의 실시예에서는 도 8의 (e)에 도시된 바와 같이 객체의 3차원 형상을 생성하였다.

다음으로, 상기 컨텍스트 태그부(24)를 이용하여, 3차원 형상 모델링된 객체의 좌표정보로 컨택스트를 식별하는 태그 정보를 설정하여 데이터베이스에 등록하는 단계(S40)를 수행한다.

이처럼 본 발명에 따른 증강현실 기반의 실시간 관심 컨텍스트 등록 방법을 적용 시, 상황에 따라 동적으로 변하는 2차원 형태의 가이드를 통해 사용자는 시스템의 상태나 의도를 파악하기에 용이하고 결과적으로 모델링에 대한 지식 없이도 매 단계를 수행할 수 있는 기술적 효과를 누릴 수 있다.

도 9는 휴대 단말기를 통해 객체를 모델링하는 과정을 상세하게 설명하는 도면으로, 복잡한 3차원 객체 형태(appearance)를 포함하는 Cuboid 모델링을 수행하여 다수의 3차원 객체를 등록할 수 있고, 등록한 다수의 3차원 객체를 실시간 인식/추적이 가능하다.

터치를 통해 객체의 테두리를 정확히 모델링할 수 있고(bezel-touch), 푸쉬-풀(push-pull) 기능을 통해 객체를 깊이 방향으로 밀거나 당겨(intrusion & extrusion) 3차원 객체를 보다 정확히 모델링할 수 있다.

상기에서는 개시된 기술의 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10 : 사용자 입력장치 20 : 컨텍스트 등록부
21 : 관심 컨텍스트 초점부 22 : 관심 컨텍스트 인식부
23 : 객체 모델링부 24 : 컨텍스트 태그부
30 : 데이터베이스 40 : 컨텍스트 해석부
231 : 객체 선택부 232 : 특징점 수집부
233 : 기준면 선택부 234 : 형상 정보 선택부
235 : 객체 형상 선택부 236 : 객체 확장부
237 : 가이드 정보부

Claims

사용자 입력장치에서 객체 특징점을 전달받아 타겟이 되는 관심 컨텍스트의 초점을 조정하여, 특징점 좌표를 제공하는 관심 컨텍스트 초점부;
상기 관심 컨텍스트의 등록 여부를 확인하는 관심 컨텍스트 인식부 및
상기 관심 컨텍스트 초점부에서 특징점 좌표를 전달받아 관심 컨텍스트 등록을 위해 타겟이 되는 객체를 3차원 형상 모델링하는 객체 모델링부를 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템.
제1항에 있어서,
상기 관심 컨텍스트 인식부는
객체의 알에프 아이디 태그 정보로 관심 컨텍스트를 인식하거나, 관심 영역 감지로 타겟이 되는 객체를 인식하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템.
제1항에 있어서,
상기 객체 모델링부는,
관심 컨텍스트로 등록하고자 하는 객체를 선택하는 객체 선택부;
선택된 상기 객체의 3차원 특징점을 수집하는 특징점 수집부;
선택된 객체의 형상 정보를 선택하는 객체 형상 선택부 및
선택된 상기 형상 정보로 객체를 3차원 확장하는 객체 확장부를 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템.
제3항에 있어서,
상기 객체 형상 선택부는,
상기 객체의 기준면을 선택하는 기준면 선택부 및
선택된 상기 객체 기준면의 형상 정보를 입력을 위한 기준선 또는 기준점을 입력하는 형상정보 선택부를 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템.
제4항에 있어서,
상기 형상정보 선택부는
상기 객체 기준면의 형상이 다각형일 경우, 두 개의 꼭지점을 연결하여, 다각형의 평면 상에 위치하는 대각선을 입력하고,
상기 객체 기준면의 형상이 원형일 경우, 원형 상에 위치한 세 개의 점을 입력하여, 원형 형상 정보를 입력하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템.
제1항에 있어서,
상기 객체 모델링부와 연결되어,
3차원 형상 모델링된 객체의 좌표 정보를 이용하여, 컨텍스트를 식별할 수 있는 태그 정보를 설정하는 컨텍스트 태그부를 더 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템.
제3항에 있어서,
상기 객체 모델링부는,
객체의 선택 및 객체의 형상 정보를 입력 시, 가이드 정보를 제공하는 가이드 정보부를 더 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템.
(a) 관심 컨텍스트 인식부를 이용하여, 객체의 관심 컨텍스트를 인식하고, 인식된 컨텍스트가 데이터베이스에 등록되어 있는지 여부를 확인하는 단계;
(b) 상기 (a) 단계에서 상기 객체의 관심 컨텍스트를 인식하지 못할 경우, 객체 모델링부를 이용하여, 해당 객체를 3차원 형상 모델링하는 단계 및
(c) 컨텍스트 태그부를 이용하여, 3차원 형상 모델링된 객체의 좌표정보로 컨택스트를 식별하는 태그 정보를 설정하여 데이터베이스에 등록하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 방법.
제8항에 있어서,
상기 (a) 단계는,
객체의 알에프 아이디 태그 정보로 관심 컨텍스트를 인식하거나, 관심 영역 감지로 타겟이 되는 객체를 인식하는 단계인 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 방법.
제8항에 있어서,
상기 (b) 단계는,
(b-1) 객체 선택부를 이용하여, 관심 컨텍스트로 등록하고자 하는 객체를 선택하는 단계;
(b-2) 특징점 수집부를 이용하여, 선택된 상기 객체의 3차원 특징점을 수집하는 단계;
(b-3) 객체 형상 선택부를 이용하여, 상기 객체의 형상 정보를 선택하는 단계 및
(b-4) 객체 확장부를 이용하여, 상기 형상정보로 객체를 3차원 확장하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 방법.
제10항에 있어서,
상기 (b-3) 단계는,
(b-3-1) 기준면 선택부를 이용하여, 상기 객체의 기준면을 선택하는 단계 및
(b-3-2) 형상정보 선택부를 이용하여, 선택된 상기 객체 기준면의 형상 정보를 입력을 위한 기준선 또는 기준점을 입력하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 방법.
제11항에 있어서,
상기 (b-1) 단계 이전에
(b-5) 가이드 정보부를 이용하여, 객체의 선택에 따른 가이드 정보를 제공하는 단계를 더 포함하며,
상기 (b-3) 단계 이전에
(b-6) 가이드 정보부를 이용하여, 객체의 형상 정보를 입력에 따른 가이드 정보를 제공하는 것을 특징으로 하는 증강현실 기반의 실시간 관심 컨텍스트 등록 방법.