KR20130063876A

KR20130063876A - 클라우드 컴퓨팅을 이용한 증강 현실 시스템 및 생성 방법

Info

Publication number: KR20130063876A
Application number: KR1020110130479A
Authority: KR
Inventors: 이훈
Original assignee: (주)엘에이치에스지
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2013-06-17

Abstract

본 발명은 적어도 하나 이상의 가상 처리부로 구성되며, 영상 정보로부터 현실 공간의 실제 객체를 트래킹하는 트래킹부, 증강 공간에 증강시킬 객체의 영상 생성을 위한 데이터를 제공하는 증강 현실 데이터부, 증강시킬 객체의 거래를 위한 데이터를 제공하는 가상객체 거래부, 증강 현실상 객체의 정보와 소셜 네트워크 서비스(Social Network Service : SNS)를 연동시켜 관리하는 SNS 정보 관리부, 상기트래킹부, 상기 증강 현실 데이터부, 상기 가상객체 거래부 및 상기 SNS 정보 관리부를 제어하는 주제어부 및 증강 공간의 증강 영상을 생성하는 증강 영상 생성부를 포함하는 증강 현실 시스템 및 방법을 제공한다.
본 발명에 따르면 현실 객체와 가상 객체로 구성된 증강 공간을 생성하고, 증강 공간에서 구현된 객체에 대하여 사용자로 하여금 소셜 네트워크 서비스와 연동하여 가상의 활동을 할 수 있는 서비스를 제공한다. 증강 현실을 구현함에 있어서 클라우드 컴퓨팅을 이용함으로써, 데이터 처리 속도를 향상시키는 효과가 있다.

Description

클라우드 컴퓨팅을 이용한 증강 현실 시스템 및 생성 방법{AUGMENTED REALITY SYSTEM AND GENERATION METHOD BY CLOUD COMPUTING}

본 발명은 증강 현실 시스템 및 생성 방법에 관한 것으로, 보다 상세하게는 클라우드 컴퓨팅을 이용하여 증강 현실을 제공하는 시스템 및 증강 현실을 생성하는 방법에 관한 것이다.

증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미한다. 실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수도 있다. 즉, 증강현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.

최근 페이스북(facebook), 유튜브(youtube), 위키피디아(wikipedia) 등 인터넷 서비스의 등장으로 사용자들이 멀티미디어 콘텐츠를 자유롭게 게시하고 공유하고 있으며, 가상 현실 연구 사례인 세컨드 라이프(second life)가 보여준 시장에서의 급속한 성장에서 알 수 있듯이 점차 가상과 현실 공간의 경계가 사라지는 경향이 뚜렷하다.

한편, 클라우드 컴퓨팅 서비스란, 인터넷과 같은 정보통신망을 통한 '컴퓨팅 자원의 온 디맨드 아웃소싱 서비스'라고 정의할 수 있다. 클라우드 컴퓨팅 환경에서는, 서비스 제공자는 여러 곳에 분산되어 있는 데이터 센터를 가상화 기술로 통합하여 사용자들이 필요로 하는 서비스를 제공하게 된다. 서비스 사용자는 어플리케이션(Application), 스토리지(Storage), 운영체제(Operation System, OS), 보안(Security)등의 필요한 컴퓨팅 자원을 각 사용자 소유의 단말에 설치하여 사용하는 것이 아니라, 가상화 기술을 통해 생성된 가상공간상의 서비스를 원하는 시점에 원하는 만큼 골라서 사용하게 된다. 사용자는 각 컴퓨팅 자원의 구입비용을 지불하는 것이 아니라 사용량에 기반하여 대가를 지불하게 된다.

이러한 클라우드 컴퓨팅 서비스에 따르면, 사용자들은 어떠한 장소에서든 네트워크 접속과 기본적인 연산기능만을 수행하는 단말을 통해 클라우드 망에 접속하여 대용량의 저장장치와 고성능 컴퓨팅 리소스가 필요한 작업들을 수행하고, 고도화된 서비스들도 제공받을 수 있는 장점이 있다.

증강 현실 기술의 경우, 현실 공간에 가상 객체를 증강시킨 증강 공간의 크기가 커질수록 증강 현실 시스템에서 처리하는 데이터량은 증가한다. 따라서 이러한 데이터 처리에 따른 시스템 부하를 견뎌내고, 트래킹을 위한 데이터 처리를 향상 시킬 수 있는 시스템이 구축될 필요성이 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 일 실시예는 적어도 하나 이상의 가상 처리부로 구성되며, 영상 정보로부터 현실 공간의 실제 객체를 트래킹하는 트래킹부; 증강 공간에 증강시킬 객체의 영상 생성을 위한 데이터를 제공하는 증강 현실 데이터부; 상기 증강시킬 객체의 거래를 위한 데이터를 제공하는 가상객체 거래부; 상기 증강 현실상 객체의 정보와 소셜 네트워크 서비스(Social Network Service : SNS)를 연동시켜 관리하는 SNS 정보 관리부; 상기 트래킹부, 상기 증강 현실 데이터부, 상기 가상객체 거래부 및 상기 SNS 정보 관리부를 제어하는 주제어부; 및 상기 증강 공간의 증강 영상을 생성하는 증강 영상 생성부를 포함하는 증강 현실 시스템을 제공하는 것을 특징으로 할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 일 실시예는 적어도 하나 이상의 가상 처리 단계로 구성되며, 영상 정보로부터 현실 공간 의 실제 객체를 트래킹하는 트래킹 단계; 상기 트래킹된 현실 공간에 가상 객체를 증강시킨 증강 공간을 구성하는 데이터를 로딩하는 단계; 및 상기 증강 공간의 증강 영상을 생성하는 증강 영상 생성 단계를 포함하는 증강 현실 생성 방법을 제공하는 것을 특징으로 할 수 있다.

본 발명은 현실 객체와 가상 객체로 구성된 증강 공간을 생성하고, 증강 공간에서 구현된 객체에 대하여 사용자로 하여금 소셜 네트워크 서비스와 연동하여 가상의 활동을 할 수 있는 서비스를 제공한다. 증강 현실을 구현함에 있어서 클라우드 컴퓨팅을 이용함으로써, 데이터 처리 속도를 향상시키는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 트래킹부를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 정보 제공부를 설명하기 위한 참고도이다.
도 4는 본 발명의 일 실시예에 따른 리소스 관리부를 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 증강 영상 생성부를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따라 생성한 증강 영상을 모바일 단말을 이용하여 디스플레이한 결과를 도시한 참고도이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 생성 방법중 트래킹 단계를 도시한 순서도이다.

증강 현실을 구현하기 위한 기본적인 기술은,레지스트레이션(registration), 트래킹(Tracking), 그리고 카메라 보정(Camera calibration)을 포함한다. 레지스트레이션이란 가상 환경에서 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다. 이를 일반화하여 설명하면, 레지스트레이션을 위하여 현실 세계의 어떤 지점의 3차원 좌표가 필요하며 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다. 이러한 3차원 좌표를 얻기 위해서 카메라 입력 영상으로부터 특이점(즉, 마커)을 획득하고 이 특이점의 3차원 좌표를 추적한다. 이를 트래킹이라 하며, 매 영상 프레임 마다 위치를 추적하여 움직이는 카메라의 영상입력에서도 가상의 그래픽 객체의 증강을 가능하게 한다. 한편, 카메라 입력 영상으로부터 획득된 특이점과 카메라의 정확한 상관관계를 계산하기 위해서는 카메라 파라미터를 획득해야 한다. 이 과정을 카메라 보정이라 부른다. 카메라 보정은 카메라의 초점거리 등 내부 변수와 외부 변수를 계산해 내어 카메라 모델을 형성한다.

이하에서는 본 발명의 일부 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합하지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

이하의 설명에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

도 1을 참조하여 본 발명의 일 실시예에 따른 증강 현실 시스템에 대하여 설명한다. 증강 현실 시스템은 트래킹부(100), 주제어부(200), 증강 현실 데이터부(300), 가상 객체 거래부(400), SNS 정보 관리부(500) 및 증강 영상 생성부(600)을 포함한다.

트래킹부(100)는 적어도 하나 이상의 가상 처리부로 구성되며, 영상 정보로부터 현실 공간의 실제 객체를 트래킹한다. 영상 정보는 휴대 단말기(20)에 구비된 카메라 등의 촬상 장치를 이용하여 획득된다. 트래킹부(100)는 영상 정보에 포함된 객체 혹은 마커를 트래킹하며, 현실 공간에서 가상 객체를 증강시킬 때 기준이 되는 증강 공간의 좌표계를 설정한다.

주제어부(200)는 증강 영상을 위한 화면을 계산하기 위하여 트래킹부(100), 증강 현실 데이터부(300), 가상 객체 거래부(400) 및 SNS 관리부(500)를 제어한다.

증강 현실 데이터부(300)는 증강 공간에 증강시킬 객체의 영상 생성을 위한 데이터를 제공한다. 증강 현실 데이터부(300)는 증강 현실을 구현하기 위한 모델링 데이터를 저장하며, MapReduce 프레임워크 및 확장성 보장을 위하여 모델링 데이터를 클라우드 저장부(Cloud Storage)를 이용하여 구성한다. 즉, 증강 현실 데이터부(300)는 모델링 데이터를 키(Key) 정보와 키(정보)에 대응하는 밸류(Value) 정보의 결합으로 구성한다. 모델링 데이터는 각각의 키 정보에 따라 매핑(Mapping)되고, 매핑된 데이터는 필터링 또는 정렬(Sorting)을 이용하여 리듀싱(Reducing)된다.

가상 객체 거래부(400)는 증강시킬 객체의 거래를 위한 데이터를 제공한다. 객체의 거래는 현실 공간상의 거래와 증강 공간상의 거래를 포함한다. 현실 공간상의 거래는 증강 현실상 객체에 대한 사업 계획을 다른 사용자에게 제공하는 것을 의미하며, 예를 들어, 조경물이 가상 객체인 경우 증강 공간내의 가상 객체에 대하여 조경 사업자에 대하여 제작 의뢰를 하거나, 조경물에 대한 모형 제작자에게 의뢰하여 모형을 제작하는 것을 의미한다. 증강 공간상의 거래는 사용자간 증강 현실상 사이버 머니 또는 교환 수단에 의하여 객체의 소유주가 변경되는 것을 의미한다.

SNS 정보 관리부(500)는 증강 현실상 객체의 정보와 소셜 네트워크 서비스(SNS)상 정보를 연동시켜 관리한다. 즉, SNS 정보 관리부는 증강 현실상 객체에 포함된 객체의 이름, 위치, 소유주 또는 소속 커뮤니티 등의 정보를 이용하여 증강 현실상 객체를 소셜 네트워크 서비스(SNS)상 사용자 또는 그룹 등에 대하여 연동시킨다. SNS 정보 관리부(500)는 증강 현실상 객체의 정보와 SNS 정보를 최근 생성 시간을 기준으로 동기화시켜 업데이트한다. 예를 들어, 증강 현실상 객체의 정보가 수정되는 경우에는 SNS 정보는 수정 전 정보를 포함하고 있게 되며, SNS 정보 관리부(500)은 현실 객체의 정보가 수정되는 경우 SNS 정보를 현실 객체의 정보와 동기화시킨다. 이 경우 최근 생성 시간은 증강 현실상 객체의 정보가 최근 수정, 변경 또는 생성된 시간을 말하며, 증강 현실상 객체의 정보가 최근 수정되었음을 의미한다. 따라서, SNS 정보 관리부(500)는 최근 생성 시간을 기준으로 SNS 정보를 동기화시킨다. 반대의 예로, SNS 정보가 수정되는 경우에는 변경된 SNS 정보를 이용하여 현실상 객체의 정보를 수정한다.

증강 영상 생성부(600)는 주제어부(200)에 의하여 제어된 증강 영상을 위한 데이터에 기초하여 증강 영상을 생성한다. 증강 영상 생성부(600)에 대한 상세한 설명은 후술한다.

도 2를 참조하여 본 발명의 일 실시예에 따른 트래킹부(100)를 설명한다. 트래킹부(100)는 분산 트래킹부(110), 부하 분배부(120), 정보 제공부(130) 및 리소스 관리부(140)를 포함한다.

분산 트래킹부(110)는 적어도 하나 이상의 가상 처리부로 구성되며, 분산 트래킹부에 구현된 가상 처리부를 이용하여 영상 정보로부터 현실 공간의 실제 객체를 분산 트래킹한다. 가상 처리부는 물리적 하드웨어를 다중화하여 하나의 하드웨어에서 복수 개의 서로 다른 운영체제, 소프트웨어가 동작하게 하는 것을 가능하게 하는 가상 컴퓨터를 말한다.

클라우드 컴퓨팅을 이용하여 개별 가상 처리부에 대한 시스템 부하를 조절함으로서, 트래킹을 위하여 처리해야 할 데이터가 많은 경우에도 일정한 처리 속도를 유지할 수 있다는 장점이 있다..

부하(load) 분배부(120)는 분산 트래킹을 위한 데이터 및 분산 트래킹부(110)를 구성하는 가상 처리부의 갯수에 기초하여 시스템 부하를 분배한다. 예를 들어, 부하 분배부(120)는 트래킹하기 위하여 필요한 데이터 처리량을 가상 처리부의 갯수로 균등하게 나누어 개별 가상 처리부에 분배할 데이터 처리양을 결정할 수 있다.

정보 제공부(130)는 부하 분배부(120)에서 결정한 데이터 처리량을 기준으로 외부 장치로부터 데이터를 가져와 트래킹부를 구성하는 가상 처리부에 제공한다.

리소스 관리부(140)는 분산 트래킹부(130)에서 사용되는 리소스(Resource)를 모니터링하며, 리소스와 분산 트래킹부를 제어한다.

도 3을 참조하여 본 발명의 일 실시예에 따른 정보 제공부(130) 및 증강 현실 데이터부(300)를 설명한다. 본 발명의 일 실시예에 따르면, 가상 처리부에 데이터를 효율적으로 제공하기 위하여 미리 외부의 저장부로부터 데이터를 가져오도록 구현될 수 있다. 예를 들어, 정보 제공부는 트래킹부에 포함된 가상 처리부에 대응되도록 구성된 적어도 하나 이상의 캐시(cache) 서버를 포함할 수 있다. 캐시(cache) 서버는 트래킹을 위한 연산시 자주 이용되는 데이터에 대하여 접근(Access) 속도를 향상시키기 위하여 외부 저장부로부터 데이터를 가져온다.

본 발명의 일 실시예에 따르면, 증강 현실 데이터의 경우 가상 객체 데이터 베이스(310), 전자 지도 데이터 베이스(330), 및 건물 이미지 데이터 베이스(350)로부터 로딩되며, 로딩된 데이터는 부하 분배부(120)에 의해 개별 가상 처리부로 분배된다. 정보 제공부(120)는 분산 트래킹부(110)와 부하 분배부(120) 사이에 위치하며, 캐시(Cache) 서버를 통하여 분산 트래킹부(110)가 자주 이용하는 정보를 캐시 서버에 저장한다. 정보 제공부(120)는 분산 트래킹부(110)의 데이터 요청이 있는 경우, 캐시 서버에 미리 저장된 데이터를 분산 트래킹부(110)에 제공함으로써 분산 트래킹부(110)의 빠른 데이터 접근(access)가 가능하도록 한다.

본 발명의 일 실시예에 따른 증강 현실 데이터부(300)는 가상 객체 데이터 베이스(310), 전자 지도 데이터 베이스(330), 건물 이미지 데이터 베이스(350)을 포함한다.

가상 객체 데이터베이스(310)는 가상 객체의 3D 모델링 데이터를 구현하기 위한 데이터가 저장된다. 가상 객체의 3D 모델링 데이터는 가상 객체의 높이, 너비, 구조, 외부 조경도, 또는 내부 조경도 등을 포함한다.

가상 객체는 시스템 사용자로부터 미리 설정될 수 있으며, 가상 객체의 증강 공간상의 위치는 현실 세계를 기준으로 설정된다. 본 발명의 일 실시예에 따르면, 가상 객체는 선점, 생성 또는 매매 등의 사용자의 가상 현실상 활동에 의하여 특정 사용자에게 귀속되도록 설정될 수 있으며, 특정 사용자에게 귀속된 객체는 다른 사용자에 의하여 수정이 허용되지 않도록 설정될 수 있다. 가상 객체는 증강 공간내에서 현실 객체가 존재하지 않는 위치에 위치하며, 증강 공간 내의 현실 객체와의 관계에서 각도, 비율 등을 고려하여 증강 공간상에 구현된다. 가상 객체는 건물, 조각상, 조형물 또는 조경 등 종류를 제한받지 아니하며, 사용자에 의하여 임의로 설정될 수 있다.

전자 지도 데이터베이스(330)는 현실 공간상의 실제 객체의 모델링 데이터가 저장된다. 즉, 전자 지도 데이터베이스는 전자 지도상에서 나타난 건물, 나무, 또는 육교 등의 객체에 대하여 증강 공간에서 구현하기 위한 모델링 데이터를 저장한다.

건물 이미지 데이터베이스(350)는 증강 공간의 건물 이미지를 보정하기 위한 이미지 데이터가 저장된다. 즉, 증강 공간상에 존재하는 현실 건물의 이미지 데이터를 미리 저장함으로써, 생성되는 증강 영상의 사실감을 향상시킨다.

도 4를 참조하여 본 발명의 일 실시예에 따른 리소스 관리부(140)을 설명한다. 리소스 관리부(140)는 분산 트래킹부에서 사용되는 리소스(Resource)를 모니터링하여, 리소스와 분산 트래킹부(110)를 제어한다. 리소스 관리부(140)는 모니터링부(141), 리소스 제어부(143), 트래킹 구성 제어부(145)를 포함한다.

모니터링부(141)는 트래킹부를 구성하는 분산 트래킹부를 모니터링하여 시스템 부하 및 리소스를 모니터링한다.

리소스 제어부(143)는 모니터링에 기초하여 개별 가상 처리부에 대한 리소스를 제어한다. 리소스란 데이터를 처리하는 서버, 단말기 등의 장치의 CPU점유율, 메모리 점유율, 또는 처리중인 프로그램의 갯수 등을 포함하며 데이터를 처리하기 위하여 사용되는 컴퓨터 자원을 의미한다. 즉, 본 발명의 일 실시예에 따른 증강 현실 시스템은 가상 처리부를 이용하여 트래킹 등의 데이터 처리를 수행하므로 개별 가상 처리부에 대한 메모리 또는 CPU 등의 작업 시간 및 작업량은 리소스 제어부에 의하여 제어된다.

분산 제어부(145)는 분산 트래킹부(110)에 대한 시스템 부하가 임계 상한치를 초과하는 경우 분산 트래킹부(110)에 추가적인 가상 처리부를 생성하며, 분산 트래킹부(110)에 대한 부하가 임계 하한치 미만의 경우에는 분산 트래킹부(110)를 구성하는 가상 처리부들 중 적어도 하나 이상의 가상 처리부를 소멸시킨다. 임계 상한치 및 임계 하한치는 사용자에 의하여 미리 설정되는 기준으로서, 증강 현실 시스템의 서비스 연속성이 유지되도록 설정됨이 바람직하다. 분산 트래킹부(110)를 구성하는 가상 처리부의 가동 갯수를 수동적으로 보완해주는 것은 사용자에게 컴퓨팅 서비스를 제공하기까지 응답시간이 길다는 단점이 있으며, 서비스의 연속성을 감소시키킨다. 따라서, 분산 트래킹부(110)를 자동적으로 보완해주기 위해서는 모니터링부(141)의 모니터링 결과에 기초하여 클라우드 컴퓨팅을 사용하는 것이 바람직하다.

본 발명의 트래킹부(100)의 일 실시예를 설명한다. 부하 분배부(120)는 영상 정보의 트래킹 요청을 받으면, 트래킹할 데이터의 양과 가상 처리부의 갯수를 기준으로 분산 트래킹부에 포함된 개별 가상 처리부에 대한 데이터 처리량을 분배한다. 정보 제공부(130)는 부하 분배부(120)에서 계산된 시스템 부하에 따라 분산 트래킹부(110)에 대하여 데이터를 제공한다. 분산 트래킹부(110)는 N개(N≥1)의 가상 처리부를 이용하여 정보 제공부(130)에서 제공된 데이터를 트래킹한다. 리소스 관리부(140)는 분산 트래킹부(110)에 대하여 트래킹할 수 있도록 리소스를 제어한다. 만약 트래킹부(100)에서 필요한 리소스가 사용자가 정한 임계 상한치(예를 들어, 60%)를 초과하는 경우에는 N+1번째 가상 처리부를 생성하며, 부하 분배부에 N+1개의 가상 처리부에 대하여 처리할 데이터를 재분배한다. 만약, 트래킹부(100)에서 트래킹을 하는데 필요한 리소스가 임계 하한치(예를 들어, 20%) 미만의 경우에는 리소스 관리부(150)에서는 작업중인 가상 처리부에 대하여 작업 종료 시간을 산출한다. 작업 종료 시간이 가장 먼저 도달되는 가상 처리부에 대하여는 부하 분배부를 이용하여 부하 분배를 제외시킨다.

도 5를 참조하여 본 발명의 일 실시예에 따른 증강 영상 생성부(600)를 설명한다. 증강 영상 생성부(600)는 증강 공간의 증강 영상을 생성한다. 증강 영상 생성부는 이미지 분석부(610), 증간 공간 구성부(620), 이미지 보정부(630), 렌더링부(640)을 포함한다.

이미지 분석부(610)는 영상 정보에 포함된 객체의 특징점을 추출하고, 객체의 방향 및 각도를 추출한다. 객체의 특징점이란 예를 들어, 객체의 꼭지점, 모서리 또는 객체를 식별할 수 있도록 사용자가 미리 설정한 특징을 의미한다.

증강 공간 구성부(620)는 증강 공간의 정보에 기초하여 미리 저장된 증강 현실 데이터를 이용하여 증강 공간의 데이터를 구성한다. 즉, 현실 공간에 가상 객체를 레지스트레이션시켜 증강 공간을 영상화하기 위한 데이터를 생성한다.

이미지 보정부(630)는 미리 저장된 이미지 정보를 이용하여 객체 이미지를 보정한다. 미리 저장된 이미지 정보란 카메라 등의 촬상 기기를 이용하여 현실 공간의 위치와 현실 공간에 존재하는 객체의 이미지가 대응되도록 저장된 이미지 정보를 말한다. 이미지 보정부는 증강 공간 구성부에서 생성한 데이터를 미리 저장된 이미지 정보를 이용하여 카메라 보정을 한다.

렌더링부(640)는 증강 공간에 가상 객체를 증강시키고, 이미지 보정 정보에 따라 객체의 각도 및 현실 공간을 보정하여 렌더링한다. 렌더링부는 증강 공간에서 생성한 데이터 및 카메라 보정을 이용하여 가상 객체를 증강시키고, 이미지를 렌더링한다.

도 6은 본 발명의 일 실시예에 따라 증강 공간을 렌더링한 것을 도시한 참고도이다. 휴대 단말기(20)는 휴대 단말기에 부착된 카메라를 통하여 현실 세계의 영상 정보(710)를 획득하고, 획득한 영상 정보를 증강 현실 시스템에 전송한다. 증강 현실 시스템은 상술한 내용에 의하여 가상 객체(720)를 증강 공간에 증강시킨다. 증강 영상 생성부는 현실 세계의 영상 정보(710)와 가상 객체(720)를 이용하여 증강 영상을 생성하고, 생성된 증강 영상은 도 6과 같이 휴대 단말기(20)를 통하여 사용자에게 디스플레이된다.

도 7 을 참조하여 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 설명한다. 클라우딩 컴퓨팅을 이용한 증강 현실 시스템과 동일한 내용은 상술한 내용으로 대체한다.

S100 단계는 적어도 하나 이상의 가상 처리 단계로 구성되며, 영상 정보로부터 현실 공간의 3차원 좌표를 트래킹한다.

S110 단계는 증강 공간에 증강시킬 객체의 영상 생성을 위한 증강 현실 데이터를 로딩한다.

S120 단계는 증강시킬 가상 객체의 거래를 위한 데이터인 가상 객체 거래 데이터를 로딩한다.

S130 단계는 증강 현실상 가상 객체의 정보와 소셜 네트워크 서비스(SNS)상 정보를 연동시켜 관리한다.

S140 단계는 증강 공간의 증강 영상을 생성한다. 증강 영상은 증강 현실을 위한 정보에 포함된 객체의 특징점을 추출하고, 객체의 방향 및 각도를 추출한다. 추출된 증강 공간의 정보에 기초해 미리 저장된 증강 현실 데이터를 이용하여 증강 공간의 데이터를 구성한다. 증강 공간의 데이터가 구성되는 경우 미리 저장된 이미지 정보를 이용하여 객체 이미지를 보정한다. 개체 이미지를 보정후, 증강 공간에 가상 객체를 증강 시키고, 이미지 보정 정보에 따라 객체의 각도 및 현실 공간을 보정하여 렌더링한다.

도8을 참조하여 본 발명의 일 실시예 따르는 트래킹 단계(S100)를 설명한다.

S101 단계는 트래킹 요청을 받아, 트래킹을 위한 데이터 및 가상 처리부의 갯수에 기초하여 시스템 부하를 계산하고, 계산된 시스템 부하를 이용하여 가상 처리부에 할당할 데이터 처리량을 계산한다.

S102 단계는 S101단계에서 결정한 데이터 처리량에 기초하여 가상 처리단계에 데이터를 제공한다.

S103 단계는 적어도 하나 이상의 가상 처리 단계를 이용하여 트래킹을 수행한다.

S104 단계는 가상 처리 단계에 대하여서 사용되는 리소스를 모니터링하여 리소스와 가상 처리부를 제어한다. 만약, 시스템 부하가 임계 상한치를 초과하거나, 임계 하한치 미만인 경우에는 가상 처리 단계 중 적어도 일부를 소멸시킨다.(S105)

본 발명에 의한 실시예들은 컴퓨터 프로그램으로 작성 가능하다. 이 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(Computer Readable Media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 실시예를 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

Claims

적어도 하나 이상의 가상 처리부로 구성되며, 영상 정보로부터 현실 공간의 실제 객체를 트래킹하는 트래킹부;
증강 공간에 증강시킬 객체의 영상 생성을 위한 데이터를 제공하는 증강 현실 데이터부;
상기 증강시킬 객체의 거래를 위한 데이터를 제공하는 가상객체 거래부;
상기 증강 현실상 객체의 정보와 소셜 네트워크 서비스(Social Network Service : SNS)를 연동시켜 관리하는 SNS 정보 관리부;
상기 트래킹부, 상기 증강 현실 데이터부, 상기 가상객체 거래부 및 상기 SNS 정보 관리부를 제어하는 주제어부; 및
상기 증강 공간의 증강 영상을 생성하는 증강 영상 생성부를 포함하는 증강 현실 시스템.
제1 항에 있어서, 상기 트래킹부는
적어도 하나 이상의 가상 처리부로 구성되며, 상기 구성된 적어도 하나 이상의 가상 처리부를 이용하여 상기 영상 정보로부터 현실 공간의 실제 객체를 분산 트래킹하는 분산 트래킹부;
상기 분산 트래킹을 위한 데이터 및 상기 분산 트래킹부를 구성하는 가상 처리부의 갯수에 기초하여 시스템 부하를 계산하며, 상기 계산된 시스템 부하를 이용해 상기 가상 처리부의 데이터 처리량을 계산하는 부하 분배부;
상기 부하 분배부에서 결정한 데이터 처리량에 기초하여 상기 분산 트래킹부에 데이터를 제공하는 정보 제공부; 및
상기 분산 트래킹부에서 사용되는 리소스(resource)를 모니터링하며, 상기 리소스와 상기 분산 트래킹부를 제어하는 리소스 관리부를 포함하는 것을 특징으로 하는 증강 현실 시스템.
제2 항에 있어서, 상기 리소스 관리부는
상기 분산 트래킹부에서 사용되는 리소스를 모니터링하는 모니터링부;
상기 모니터링에 기초하여 상기 분산 트래킹부에 대한 리소스를 제어하는 리소스 제어부; 및
상기 모니터링에 기초하여 상기 분산 트래킹부에 대한 부하가 임계 상한치를 초과하는 경우 상기 분산 트래킹부에 추가적인 가상 처리부를 생성하며, 상기 분산 트래킹부에 대한 부하가 임계 하한치 미만의 경우에는 상기 분산 트래킹부를 구성하는 가상 처리부들 중 적어도 하나 이상의 가상 처리부를 소멸시키는 것을 특징으로 하는 분산 제어부를 포함하는 것을 특징으로 하는 증강 현실 시스템.
제2 항에 있어서,
상기 정보 제공부는 상기 분산 트래킹부의 구성에 대응되도록 구성된 적어도 하나 이상의 캐시 서버를 포함하는 것을 특징으로 하는 증강 현실 시스템.
제1 항에 있어서, 상기 증강 현실 데이터부는
가상 객체의 3D 모델링 데이터를 구현하기 위한 데이터가 저장된 가상 객체 데이터베이스;
현실 객체의 모델링 데이터가 저장된 전자 지도 데이터베이스; 및
상기 증강 공간의 건물 이미지를 보정하기 위한 이미지 데이터가 저장된 건물 이미지 데이터베이스를 포함하는 것을 특징으로 하는 증강 현실 시스템.
제1 항에 있어서, 상기 SNS 정보 관리부는
상기 증강 현실상 객체의 정보를 소셜 네트워크 서비스(SNS)와 연동시키는 SNS 연동부; 및
상기 증강 현실상 객체의 정보와 SNS 정보를 최근 생성 시간을 기준으로 동기화시켜 업데이트하는 정보 업데이트부를 포함하는 것을 특징으로 하는 증강 현실 시스템.
제1 항에 있어서, 상기 증강 영상 생성부는
상기 영상 정보에 포함된 객체의 특징점을 추출하고, 상기 객체의 방향 및 각도를 추출하는 이미지 분석부;
상기 증강 공간의 정보에 기초하여 미리 저장된 증강 현실 데이터를 이용하여 증강 공간의 데이터를 구성하는 증강 공간 구성부;
미리 저장된 이미지 정보를 이용하여 객체 이미지를 보정하는 이미지 보정부; 및
상기 증강 공간에 가상 객체를 증강시키고, 상기 이미지 보정 정보에 따라 객체의 각도 및 현실 공간을 보정하여 렌더링하는 렌더링부
를 포함하는 것을 특징으로 하는 증강 현실 시스템.
적어도 하나 이상의 가상 처리 단계로 구성되며, 영상 정보로부터 현실 공간 의 실제 객체를 트래킹하는 트래킹 단계;
상기 트래킹된 현실 공간에 가상 객체를 증강시킨 증강 공간을 구성하는 데이터를 로딩하는 단계; 및
상기 증강 공간의 증강 영상을 생성하는 증강 영상 생성 단계를 포함하는 증강 현실 생성 방법.
제8 항에 있어서, 상기 트래킹 단계는
외부로부터 데이터를 수신받아, 상기 가상 처리 단계에 상기 데이터를 처리하기 위한 시스템 부하를 분배하는 부하 분배 단계;
상기 분배된 시스템 부하에 따라 수신한 데이터를 상기 가상 처리 단계에 제공하는 정보 제공 단계;
상기 수신한 데이터를 적어도 하나 이상의 가상 처리 단계를 이용하여 상기 영상 정보로부터 현실 공간의 실제 객체를 트래킹하는 분산 트래킹 단계; 및
상기 가상 처리 단계에 대한 리소스(resource)를 모니터링하고 상기 리소스와 상기 가상 처리 단계를 제어하는 리소스 관리 단계를 포함하는 증강 현실 생성 방법.
제8 항에 있어서, 상기 데이터를 로딩하는 단계는
상기 증강 공간에 증강시킬 객체의 영상 생성을 위한 데이터인 증강 현실 데이터를 로딩하는 단계인 것을 특징으로 하는 증강 현실 생성 방법.
제9 항에 있어서, 상기 데이터를 로딩하는 단계는
상기 증강시킬 가상 객체의 거래를 위한 데이터인 가상 객체 거래 데이터를 로딩하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 생성 방법.
제10 항에 있어서, 상기 데이터를 로딩하는 단계는
증강 현실상 가상 객체의 정보와 소셜 네트워크 서비스(SNS)상 정보를 연동시켜 관리하는 SNS 정보 관리 단계를 더 포함하는 것을 특징으로 하는 증강 현실 생성 방법.
제8 항에 있어서, 상기 증강 영상 생성 단계는
증강 현실을 위한 정보에 포함된 객체의 특징점을 추출하고, 객체의 방향 및 각도를 추출하는 이미지 분석 단계;
상기 증강 공간의 정보에 기초하여 미리 저장된 증강 현실 데이터를 이용하여 증강 공간의 데이터를 구성하는 증간 공간 구성 단계;
미리 저장된 이미지 정보를 이용하여 객체 이미지를 보정하는 이미지 보정 단계; 및
상기 증강 공간에 가상 객체를 증강시키고, 상기 이미지 보정 정보에 따라 객체의 각도 및 현실 공간을 보정하여 렌더링하는 렌더링 단계를 포함하는 것을 특징으로 하는 증강 현실 생성 방법.
제8 항 내지 제13 항 중 어느 한 항의 증강 현실 생성 방법을 컴퓨터에서 실행가능하도록 기록한 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.