KR100945288B1 - 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어멀티서비스 방법 및 시스템 - Google Patents

Abstract

본 발명은 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법 및 시스템에 관한 것이다.

더욱 상세하게는 유비쿼터스 환경하에서 기기 간 상호통신이 가능한 마스터서버 및 마커 인식이 가능한 사용자 디바이스를 이용한 증강현실 서비스 방법에 있어서, (a) 상기 사용자 디바이스가 실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후, 생성된 증강현실 미디어를 에이알지(ARG)로 변환하는 단계; (b) 상기 사용자 디바이스가 변환된 에이알지(ARG)에 마스터서버로부터 요청하여 수신한 일반속성을 정의하여 확장된 에이알지(ARG)로 변환하는 단계; 및 (c) 상기 사용자 디바이스가 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하는 단계; 를 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법과,

유비쿼터스 환경하에서 기기 간 상호통신이 가능한 마스터서버 및 마커 인식이 가능한 사용자 디바이스를 이용한 증강현실 서비스 시스템에 있어서,

실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후 생성된 증강현실 미디어를 에이알지(ARG)로 변환하고, 변환된 에이알지(ARG)에 상기 마스터서버로부터 수신한 일반속성을 정의한 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하고 사용자에 의해 어느 하나가 선택되면 선택된 싱글미디어 멀티서비스 정보를 상기 마스터서버로부터 요청하고 수신하여 싱글미디어 멀티서비스를 제공하는 사용자 디바이스; 및 상기 마커에 대응하는 일반속성 및 싱글미디어 멀티서비스 정보를 저장하고 제공하며, 상기 사용자 디바이스의 요청에 따라 싱글미디어 멀티서비스 정보를 검색 및 추출하여 제공하는 마스터서버; 를 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 시스템에 관한 것이다.

상황인식, 증강현실, 싱글미디어, 에이알지, AR, ARG

Description

확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법 및 시스템{Applying Extended ARG to Augmented Reality Based Single Media Multi-Services Method and the system}

본 발명은 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법 및 시스템에 관한 것이다.

더욱 상세하게는 유비쿼터스 환경하에서 증강현실 미디어와 상황인식 서비스의 통합을 위해 확장된 ARG(Attributed Relational Graph)방법을 제공하여 그래픽적인 정보와 비가시적 속성정보, 그리고 상황인식 서비스 정보가 하나의 증강현실 미디어에 동적으로 구성 및 연결되도록 하고, 이를 바탕으로 자연스러운 상황인식 멀티서비스가 가능하도록 한 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법 및 시스템에 관한 것이다.

증강현실(Augmented Reality;AR)이란 용어는 1990년대 초 미국 보잉사에서 항공기를 조립할 때 부품의 위치를 HMD(Head Mounted Display)의 화면을 통해 항공 기의 적정한 위치에 실시간으로 보여주는 장치를 개발하고 이 연구를 발표한 논문에서 처음으로 증강현실(AR:Augmented Reality) 용어가 유래되었으며, 이때부터 증강현실에 대한 연구가 본격적으로 시작되었다고 볼 수 있으며, 현재 증강현실은 활발하게 연구가 진행되고 있는 분야이다.

증강현실(Augmented Reality;AR)은 실세계 영상(또는 실사 영상) 위에 3차원 가상물체를 겹쳐 보여주는 것으로 현실에 기반을 두고 실세계 환경과 그래픽 형태의 가상현실을 실시간으로 합성하여 실세계에 대한 이해를 높여주는 기술로써, 증강현실의 목적은 실제 관찰하고 있는 사물이나 장소에 대한 부가적인 정보나 의미를 함께 제공하는 것이며, 가상현실 기술에 비하여 여러 가지 센서, 디스플레이 장치(시각, 청각, 촉각/역감 등), 그리고 어떤 현상을 (사실 혹은 허구) 상호작용과 함께 시뮬레이션할 수 있는 컴퓨터를 이용하여, 이를 재현하여 가상 경험을 창출하는 기술이다.

일반적으로 증강현실은 증강시킬 3차원 가상객체를 추적(Tracking)하는 방법에 따라 마커 기반 추적, Markerless 추적, 외부 트래커 장치를 사용한 추적으로 크게 3가지로 나눌 수 있으며,

또한 응용분야에 따라, 환자의 상태나 환부에 대한 3차원 데이터를 초음파, MRI(Magnetic Resonance Imaging), CT(Computed Tomography)를 이용하여 실시간으로 얻을 수 있으며, 수술 시 의사로 하여금 정확한 의료 진단과 수술을 할 수 있도록 도움을 주고, 문자 중심의 매뉴얼을 이용한 기존의 기계 조립 방법 및 보수 방법은 증강현실을 이용한 새로운 방법으로 대체될 수 있으며, 주석(annotation) 및 정보가시화(관광, 교육, 전자상거래) 분야 등에서 박물관 전시물에 대한 정보, 문화유적지 정보, 상점에서의 상품 설명, 각 기계 부품에 대한 이름과 용도 등을 안내해주는 증강현실 시스템이 활발히 연구 및 개발 중에 있다.

또한, 로봇의 이동 경로가 길 때 생기는 원격조작의 어려운 문제는 로봇에 부착된 카메라를 통하여 들어오는 실제 영상을 보면서 미리 구축된 로봇이 작동하는 주위 환경 정보를 제공받음으로써 로봇의 제어를 용이하게 할 수 있으며, 실제 촬영 스튜디오를 제작하지 않고 컴퓨터에서 생성한 스튜디오의 객체와 출연자를 합성하여 실제 환경에서 제작된 것과 같은 영상을 제작하거나, 게임에도 증강현실 기술이 적용되어 상용화되고 있으며, 시설물의 유지 보수 과정에서 건물에 내장된 전선이나 가스관 등 겉으로 보이지 않는 정보를 컴퓨터에서 생성하고 실제 보수될 현장 건물 영상과 중첩하여 시설 관리자에게 제공함으로써 빌딩 보수 등의 과정에 이용할 수 있다. 또한 기존의 2차원 조감도를 이용한 영향평가를 대체하여 실제 지형에 대한 영상에 3차원 렌더링된 건물 영상을 정합하여 살펴봄으로써 보다 현실성 있는 건축 계획에 이용할 수 있다.

이외에도 항공기, 선박 등의 네비게이션, 목표물 인식의 국방 등 그 활용 분야가 매우 다양하다.

하지만, 상술한 바와 같이 지금까지 개발된 증강현실 시스템들의 서비스는 사용자의 의도와는 상관없이 사전 정의된 하나의 서비스만을 제공해주는 형태에 머물러있다. 즉, 유비쿼터스 환경하에서 사용자만의 상황정보를 이용한 상황인식 서비스는 고려되지 않고 있다고 볼 수 있다.

한편, 일반적으로 속성화된 관계그래프(ARG : Attributed Relational Graph)는 노드(nodes)와, 노드들 간의 관계를 표현하는 브랜취(branchs)로 이루어진 관계적 구조이며, 각각의 노드와 브랜취는 그에 할당된 심볼(symbol) 및 속성값(attributed value)을 부여할 수 있다. 이러한 ARG는 패턴의 구조적 관계를 표현할 수 있는 일반적인 수학적 모델에 대한 연구의 일환, 증강현실 미디어를 그래픽적으로 표현할 수 있는 대안 등으로 사용되고 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 유비쿼터스 환경하에서 자연스러운 상황인식 서비스 선택 및 호출을 위한 새로운(novel) 방법으로 지능공간상에 제공되는 증강현실 미디어에 상황인식 서비스를 통합시키는 방법을 제공하는 데 그 목적이 있고,

다른 목적으로는, 증강현실 미디어와 상황인식 서비스의 통합을 위해 확장된 ARG(Attributed Relational Graph) 방법을 고안하여 그래픽적인 정보와 비가시적 속성 정보, 그리고 서비스 정보가 하나의 증강 현실 미디어에 동적으로 구성 및 연결되고, 이를 바탕으로 자연스러운 상황인식 서비스 호출이 가능한 확장된 ARG를 이용한 증강현실 기반의 싱글미디어 멀티서비스 방법 및 시스템을 제공하는 데 그 목적이 있다.

상술한 바와 같은 목적은, 유비쿼터스 환경하에서 기기 간 상호통신이 가능한 마스터서버 및 마커 인식이 가능한 사용자 디바이스를 이용한 증강현실 기반의 싱글미디어 멀티서비스 방법에 있어서, (a) 상기 사용자 디바이스가 실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후, 생성된 증강현실 미디어를 에이알지(ARG)로 변환하는 단계; (b) 상기 사용자 디바이스가 변환된 에이알지(ARG)에 마스터서버로부터 요청하여 수신한 일반속성을 정의하여 확장된 에이알지(ARG)로 변환하는 단계; 및 (c) 상기 사용자 디바이스가 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하는 단계; 를 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법을 제공하고,
유비쿼터스 환경하에서 기기 간 상호통신이 가능한 마스터서버 및 마커 인식이 가능한 사용자 디바이스를 이용한 증강현실 기반의 싱글미디어 멀티서비스 시스템에 있어서, 실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후 생성된 증강현실 미디어를 에이알지(ARG)로 변환하고, 변환된 에이알지(ARG)에 상기 마스터서버로부터 수신한 일반속성을 정의한 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하고 사용자에 의해 어느 하나가 선택되면 선택된 싱글미디어 멀티서비스 정보를 상기 마스터서버로부터 요청하고 수신된 싱글미디어 멀티서비스를 제공하는 사용자 디바이스; 및 상기 마커에 대응하는 일반속성 및 싱글미디어 멀티서비스 정보를 저장하고 제공하며, 상기 사용자 디바이스의 요청에 따라 싱글미디어 멀티서비스 정보를 검색 및 추출하여 싱글미디어 멀티서비스를 상기 사용자 디바이스에 제공하는 마스터서버; 를 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 시스템을 제공함으로써 달성된다.

삭제

상술한 바와 같이 본 발명인 증강된 ARG를 이용한 증강현실 기반의 SMMS 방법 및 시스템은, 확장된 ARG(Attributed Relational Graph)를 이용하여 증강현실 미디어와 상황인식 서비스를 통합하여 제공함으로써, 사전에 정의할 필요없이 사용자만의 상황인식 서비스를 자연스럽게 호출하여 제공할 수 있는 효과가 있다.

이하, 도면을 참조하여 본 발명인 증강된 ARG를 이용한 증강현실 기반의 SMMS 방법 및 시스템을 더욱 구체적으로 설명한다.

먼저, 싱글미디어 멀티서비스(SMMS : Single Media Multi-Services)는 하나의 미디어 파일에 실행 가능한 상황인식 서비스를 복수 개 보내도록 하여 그 미디어를 받는 위치에서 다양한 출력 장치에 의하여 상황인식 서비스가 구동되도록 하는 기술을 의미한다.

일 실시예로 jpeg파일이 하나 있으면 그 파일에 대해 오른쪽 버튼을 클릭하면 상황인식 서비스 list가 나오게 되고, 그 중 어느 하나를 선택하는 순간 선택된 상황인식 서비스가 구동되는 것이다. 또는 음악 파일이 있으면 그 음악에 대한 content, 쟝르, 작곡가, 작사가, 무드, 청취자 등을 기반으로 하여 그에 관련되는 상황인식 서비스를 동적으로 찾을 수 있다.

이러한 방식은 기존의 일반적인 서비스 list가 사전에 정의되고 그 이미지를 선택하는 사람과 상황에 관계없이 동일한 서비스가 나오게 되는 기존 방식에 비하여 개인화되고 상황 인식적이어서 시의적절한 상황인식 서비스가 구동되게 하는 장점을 가진다. 즉, 상황인식 서비스 정보를 기존의 미디어에 일일이 입력해야 하는 불합리함을 피할 수 있다.

싱글미디어 멀티서비스(SMMS)는 미디어 그 자체의 정보에 미디어의 그래픽적인 특성을 표현한 정보, 미디어에 관련된 일반 속성들에 대한 정보에 연관되는 상황인식 서비스를 설명하고 구동하는 방법을 기술한 정보가 층을 이루는 방식으로 구성되는 데, 이 중에서 미디어의 그래픽적인 특성은 정적으로 미디어가 제작 되어질 때 입력이 되어지지만, 일반 속성 정보 및 상황인식 서비스 정보는 개인이나 상황에 따라서 관심이나 적절성의 정도가 다를 수 있기 때문에 그래픽 정보와 그 정보를 접하는 개인의 상황에 따라서 동적으로 구성되도록 한다.

즉, 미디어 그 자체와 그래픽 정보는 정적인 정보, 속성 정보와 서비스 정보는 상황적 정보(contextual information)로 분류한다.

한편, 가상현실 이미지는 서비스 공급자에 의하여 먼저 서비스가 결정되고 그에 맞는 이미지를 그 다음에 선정하게 되는 것이므로, 표현할 서비스가 결정되면 그 서비스에 연관된 일반 속성을 부가하고, 그 속성을 잘 비주얼라이즈할 수 있는 그래픽적인 특성을 선정한 다음 그 특성과 부합하는 가상 미디어를 결정하여 나타내게 된다.

따라서, 본 발명의 특징인 증강현실 기반의 싱글미디어 멀티서비스(SMMS)는 상술한 두 가지 자료 구조의 복합적인 형태가 된다.

도 1은 본 발명의 바람직한 일 실시예에 따른 확장된 에이알지를 활용한 증 강현실 기반의 싱글미디어 멀티서비스 시스템의 개략적인 구성을 나타내는 도면이다. 도 2는 본 발명의 일 실시예에 따른 사용자 디바이스의 세부 블럭 구성을 나타내는 도면이다.

도 1 및 도 2를 참조하여 더욱 구체적으로 설명하면,

본 발명은 유비쿼터스 환경하에서 기기간 상호통신을 통하여 협업을 수행하는 사용자 디바이스(100), 무선망(200), 마스터서버(300), 감지수단(400) 등을 포함하여 구성할 수가 있다.

상기 사용자 디바이스(100)는 유비쿼터스 환경하에서 사용자가 휴대하면서 다양한 서비스를 제공받을 수 있는 셀룰라폰, PCS, PDA, UMPC, PMP 뿐만 아니라 상기 마스터서버(300), 감지수단(400)과의 상호통신이 가능한 모든 휴대용 단말기를 포함한다.

특히, 상기 사용자 디바이스(100)는 실제영상 촬영이 가능한 촬영수단이 부착된 휴대용 단말기로써, 실제영상을 촬영하고 기 설정된 마커를 인식하여 마커의 객체들에 대응되는 일반속성을 부가한 후 촬영수단에 그래픽이미지를 디스플레이하며, 상기 디스플레이된 그래픽이미지의 일반속성 및 일반속성과 관련된 싱글미디어 멀티서비스를 상기 마스터서버(300)와의 기기간 상호통신을 통하여 수신받아 제공하는 기능을 수행한다.

즉, 상기 사용자 디바이스(100)는 도 2에 도시된 바와 같이 제어부(110), 통신부(120), 영상입력부(130), 영상출력부(140), 에이알생성부(150), 에이알지생성부(160), 속성처리부(170), 가상영상D/B(180) 및 일반속성D/B(190) 등을 더 포함하 여 구성된다.

상기 제어부(110)는 실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후 생성된 증강현실 미디어를 에이알지(ARG)로 변환하고, 변환된 에이알지(ARG)에 상기 마스터서버로부터 수신한 일반속성을 정의한 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하고 사용자에 의해 어느 하나가 선택되면 선택된 싱글미디어 멀티서비스 정보를 상기 마스터서버로부터 요청하고 싱글미디어 멀티서비스를 수신하여 제공하도록 전반적인 기능을 제어한다.

상기 통신부(110)는 근거리 무선통신 또는 장거리 무선통신을 포함하여 구성되며, 상기 사용자 디바이스와의 기기 상호간 원활한 무선통신인터페이스를 제공한다.

상기 영상입력부(130)는 실제영상을 입력받아 영상출력부(140)를 통하여 디스플레이하고, 실제영상의 특정장소에 위치한 마커를 인식하여 마커에 대응되는 그래픽이미지를 가상영상D/B(180)에서 검색 및 추출하거나 상기 마스터서버(300)로부터 요청하여 영상출력부(140)를 통해 디스플레이한다.

상기 영상출력부(140)는 상기 영상입력부(130)로부터 입력받은 실제영상과 마커에 대응하는 그래픽이미지를 외부로 디스플레이한다.

상기 에이알생성부(150)는 상기 영상입력부(130)로부터 입력된 실제영상과 마커에 대응되는 그래픽이미지를 이용하여 증강현실 미디어를 생성한다.

상기 에이알지생성부(160)는 상기 에이알생성부(150)에서 생성된 증강현실 미디어를 에이알지로 변환한다.

상기 속성처리부(170)는 상기 에이알지생성부(160)에 의해 변환된 에이알지의 객체들에게 대응하는 일반속성을 상기 마스터서버(300)로부터 요청하여 부가한 후 확장된 에이알지로 표현하여 싱글미디어 멀티서비스 정보를 생성하여 영상출력부(140)를 통하여 디스플레이한다.

상기 가상영상D/B(180)는 상기 마커에 대응하는 그래픽이미지를 저장하거나, 마커에 대응하는 그래픽이미지를 상기 마스터서버(300)로부터 요청 및 수신하여 저장하고 제공한다.

상기 일반속성D/B(190)는 상기 변환된 에이알지의 객체들에 대응하는 일반속성을 자체 저장하거나 상기 마스터서버(300)로부터 수신받아 저장하고 제공한다.

상기 마스터 서버(500)는 유비쿼터스 환경하에서 특정공간에 할당된 서버로써, 특정공간에 위치하는 감지수단(400) 등과의 상호통신과 협업을 통해 상황정보를 수신하여 사용자별로 저장하거나 제공하는 기능을 수행한다.

특히, 그래픽이미지의 일반속성 및 일반속성과 관련된 싱글미디어 멀티서비스 정보를 저장하고, 상기 사용자 디바이스(100)의 요청에 따라 해당 일반속성 및 싱글미디어 멀티서비스 정보를 상기 사용자 디바이스(100)로 전송하고, 상기 사용자 디바이스(100)로부터 싱글미디어 멀티서비스 요청에 따라 해당 싱글미디어 멀티서비스를 검색 및 추출하여 전송하는 기능을 수행한다.

기타 구체적인 기술적 사상은 공지된 유비쿼터스 기술에 따른 체계를 사용하 기 때문에 본 발명의 목적에 부합되지 않는 구체적인 설명은 생략한다.

도 3은 본 발명의 다른 바람직한 일 실시예에 따른 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법을 나타내는 순서도이다. 도 4는 본 발명의 일 실시예에 따라 증강현실 미디어를 나타내는 참조도면이다. 도 5는 본 발명의 일 실시예에 따라 증강현실 미디어를 ARG로 변환한 것을 나타내는 참조도면이다. 도 6은 본 발명의 일 실시예에 따라 변환된 ARG를 확장된 ARG로 변환한 것은 타나내는 참조도면이다. 도 3 내지 도 6을 참조하여 더욱 구체적으로 설명하면,

먼저, 사용자가 자신이 휴대한 사용자 디바이스(100)를 이용하여 실제영상을 촬영하여 수집하게 되면, 상기 사용자 디바이스(100)는 수집된 실제영상과 실제영상에 포함된 마커를 인식하게 된다(S301).

상기 사용자 디바이스(100)는 인식된 마커에 대응하는 그래픽이미지를 자체 저장된 가상영상D/B(180) 또는 마스터서버(300)로부터 요청한 후 증강현실 미디어를 생성하게 된다. 상기 증강현실 미디어 생성방법은 일반적인 생성방법을 따르기 때문에 본 발명의 목적에 부합하지 않는 구체적인 설명은 생략한다(S303).

상기 사용자 디바이스(100)는 생성된 증강현실 미디어를 다시 기 설정된 변환 알고리즘에 의해 에이알지(ARG)로 변환하게 된다(S305).

즉, 증강현실에 기반한 싱글미디어 멀티서비스(SMMS)를 제공하기 위한 첫번째 단계는 증강현실 미디어를 ARG 형태로 표현하는 것인데, 증강현실 미디어에 등장하는 실제적인 객체와 가상 객체는 ARG에서 모두 labeled objects로 인식된다.

The Attributed Relational Graph (ARG)는 이러한 미디어에 보여지는 각 이미지 및 이미지 사이의 관계성 그리고 그에 해당하는 graphical 정보들을 획득하는 유력한 접근방법으로 알려져 있으며(Ballard and Brown 1982; Chang 1989; Euripides et al. 1997), 이러한 정보들은 ARG에서 nodes 와 arcs 로 표현된다.

ARG에서 속성은 (t, a)으로 표현되는데 여기서 t 은 속성유형, a는 그 속성의 값을 의미한다. attributed vertex인 node는 unary attributes를 포함하며, attributed edge인 arc는 임의의 두 node간의 공간적 관계성을 표현하는 데 관계된 속성들을 가지게 된다. 이때 이 ARG는 attributed vertex의 집합인

[수식1] 와, attributed edges의 집합인

[수식2] 으로 이루어진다.

그런데 본 발명에서는 증강현실 미디어를 대상으로 하기 때문에 ARG는 다음과 같이 변형되어 표현된다.

[수식3]

[수식4]

여기서 av는 실제 현실의 객체의 집합인 AO(Actual Object)의 임의의 한 vertex이며, VO(Virtual Object)는 가장 현실의 객체의 집합인 VO의 임의의 한 vertex이다.

[수식5]

[수식6]

여기서 ae는 AO 내에서의 임의의 두 객체 사이의 edge를, ve는 VO 내에서의 임의의 두 객체 사이의 edge를 뜻한다. 단 본 발명에서는 일단 실제 객체와 가상 객체가 하나씩 할당되어 있는 N(AO)=N(V0)의 상태이며, 서로 할당되는 객체들의 순번은 일치한다고 가정한다.

따라서 임의의 실제 객체와 그에 해당하는 가상 객체 사이의 관계성을 의미하는 edge를 의미하는 me는 다음과 같이 표현된다.

[수식7]

도 4에는 마커 기반의 증강현실 미디어의 예를 보여주고 있다. 도 4에 도시된 바와 실제 현실의 객체인 A, B, C, D, E의 다섯 마커가 있으며, 그 위에 각각 소금통, 큰 잔, 작은 잔, 직육면체, 볼링 핀 등 다섯 가상 현실 객체가 보여지고 있다.

도 5에는 도 4에서 도시된 증강현실 미디어를 ARG로 변환한 예를 보여주고 있다.

이때 각 객체 자체에 관련된 속성은 다음과 같이 세 가지를 선정하였다.

(i) Size (s) - 이미지의 크기

(ii) Orientation (o) - X축에 비교해 보았을 때 얼마나 기울어졌는지에 대한 정도

(iii) Roundness (r) - 객체 이미지의 긴 쪽에 비하여 짧은 쪽의 상대적 비 율

한편 객체간의 관계성을 나타내는 속성으로는 다음의 두 가지를 선정하였다.

(iv) Distance (d) - 임의의 두 객체의 중심점 사이의 거리

(v) Relative position (p) - 기준이 되는 객체에 비하여 비교를 하려는 객체의 상대적인 위치이며, 이때 기준이 되는 객체는 화살표의 시작점을, 비교대상은 화살표가 가리키는 지점으로 표시된다.

ARG를 활용하면 이미지에 대한 그래픽적인 이해와 더불어 매치메이킹을 수행할 수 있는 유용성이 있으며(Eshera and Fu, 1992; Li, 1992; Bardinet et al., 2000), 더욱이 만약 기준이 되는 ARG 정보가 이미 확보되어 있다면 어떤 특정한 대상 이미지가 기존의 어떤 이미지와 가장 유사한지를 판단할 수 있다.

본 발명에서 유사성을 판단하는 방법은 다음과 같이 두 가지의 단계를 거치게 되는데,

먼저, 미디어 안에 존재하는 객체들의 구성상의 유사성이다. 구성상의 유사성은 대상 이미지(AR(t))와 표준 이미지(AR(s)) 사이에 객체들이 얼마나 일치하는지를 판단하는 것이다.

[수식8]

단, 여기서 d는 di=1, AR(S)의 i번째의 객체가 AR(t)에 존재하는 경우, 그렇지 않으면 0

구성상의 유사성은 AR(s)를 기준으로 하여 AR(t)에 객체들이 포함되어 있는지를 판단하는 것이므로 구성상의 유사성이 높더라도 AR(t)에 속한 객체들이 표준 이미지에는 없는 경우가 발생한다. 이는 표준 이미지가 단위 이미지가 되기 때문에 어떤 의미를 가지는 최소 단위가 되며, 대상 이미지는 하나 이상의 표준 이미지의 결합으로 표현될 수도 있기 때문이다.

두 번째로 위치상의 유사성은 객체들이 미디어 상에 위치한 분포상의 유사성을 판단하는 것이다. 위치상의 유사성은 앞 단계에서 구해진 d(i)값이 1인 객체에 대해서만 고려한다. 계산 방법은 고려할 객체 중 하나를 임의로 선정하여 그 객체를 기준으로 상대적 위치를 의미하는 p값으로 이루어진 벡터와의 거리를 구하는 것으로 한다.

[수식9]

상술한 바와 같은 과정을 거쳐 증강현실 미디어는 에이알지(ARG)로 변환되게 되고, 상기 사용자 디바이스(100)는 변환된 에이알지(ARG)의 객체들에 대응하는 일반속성을 상기 마스터서버(100)에 요청하게 되고, 상기 마스터서버(100)는 기 저장된 일반속성을 데이터베이스에서 검색 및 추출하여 상기 사용자 디바이스(100)로 전송하게 되고, 상기 사용자 디바이스(100)는 수신된 일반속성을 상기 변환된 에이알지(ARG)의 객체들에게 부가하여 확장된 에이알지(ARG)로 표현하게 된다(S307).

즉, 상술한 바와 같이 ARG로 표현된 증강현실 미디어에는 그래픽적인 정보 외에는 존재하지 않는다. 따라서 ARG의 객체 및 객체 사이의 관계에 속하는 일반 속성들을 부가할 수 있다.

이를 위하여 앞의 두 가지 유사성으로 가장 유사한 표준 미디어 집합이 선정되고 사용자가 확인하게 되면 표준 이미지에 소속한 관련 객체들에 해당하는 일반 속성들을 사용자 디바이스(100)에 자체 내장되거나 상기 마스터서버(300)의 데이터베이스 혹은 온톨로지로부터 가져온다. 이렇게 일반속성들까지 부가된 ARG를 확장된 에이알지(Enhanced ARG (E-ARG))라 칭한다.

예를 들어, 도 6에 도시된 바와 같은 그림을 보면 가상 객체인 "Bowling Pin"에 대해 색깔과 연상 행렬 값이 일반 속성으로 추가된다. 물론 다른 객체에 대해서도 일반속성을 추가할 수 있다. 여기서 연상 행렬이란 해당 객체를 보고 일반적으로 연상하게 되는 속성을 말하며, 연상 내용과 연상 강도로 이루어진다.

본 실시예에서는 볼링 핀에 대한 가상 객체를 보고 볼링게임을 연상할 확률이 0.9, 스포츠라는 것을 연상할 확률이 0.81, 그리고 만남이라는 것을 연상할 확률은 0.6이라는 것을 의미한다. 이러한 연상 강도는 일종의 default knowledge로서 온톨로지 상에 존재하는 것으로 볼 수도 있으며, 필요한 경우 연상 강도는 연상 강도 계산 모형에 의하여 생성될 수도 있고, 개인화된 값으로 따로 정의될 수도 있다.

이러한 연상 행렬은 서비스를 선정하는데 중요한 단서가 된다. 본 발명에서는 서비스 선정을 위해서 연상 강도를 활용한다.

여기서 서비스란 상거래 상에서 발생 가능한 서비스를 의미하는 것으로 카탈 로그 제공, 장바구니 담기, 결재, 운송, 공동 구매 제안, 사용자 피드백, 옥션 등을 포함하는 것이 바람직하다.

본 발명에서는 마커를 활용한 시각중심의 증강현실 방법을 활용하는데, 마커는 크게 메타마커와 일반마커로 구분한다. 메타마커는 증강현실적으로 나타나는 이이지들을 선정하고 시각화하는 것에 관련한 통제를 하는 객체를 표현하는 것이다. 메타마커의 종류로는 recommender, notifier, negotiator, 연관구매 보이기 등이 있을 수 있다.

예를 들어 recommender에 관련한 메타마커는 추천에 필요한 같은 이미지 상에 나타낼 객체들의 카테고리나 디스플레이 규칙, 객체 선정 규칙, 기타 추천 알고리듬 실행에 필요한 입력 변수값 등을 지정할 수 있는 기능을 가진다. 그런 후에 지정된 값에 의하여 특정 추천 알고리듬을 실행시키게 된다.

상술한 바와 같이 확장된 에이알지(ARG)가 생성되면, 상기 사용자 디바이스(100)는 확장된 에이알지(ARG)를 이용하여 증강현실 미디어 서비스, 즉, 싱글미디어 멀티서비스 정보를 생성한 후 상기 사용자 디바이스의 영상출력부(140)를 통하여 디스플레이하게 된다(S309).

만약 사용자가 디스플레이된 싱글미디어 멀티서비스 정보 중 어느 하나를 선택하게 되면(S311),

상기 사용자 디바이스(100)는 선택된 싱글미디어 멀티서비스 정보를 상기 마스터서버(300)로 전송하게 되고, 마스터서버(300)는 요청된 싱글미디어 멀티서비스 정보를 데이터베이스에서 검색 및 추출하여 싱글미디어 멀티서비스를 상기 사용자 디바이스(100)로 전송하게 된다.

사용자 디바이스(100)는 수신된 싱글미디어 멀티서비스를 영상출력부 또는 유비쿼터스 환경하에서 기기간 상호통신이 가능한 주변의 출력수단을 통하여 서비스를 제공한 후 그 결과를 저장하게 된다(S313).

이상에서 본 발명의 바람직한 일 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있고, 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.

도 1은 본 발명의 바람직한 일 실시예에 따른 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 시스템의 개략적인 구성을 나타내는 도면이다.

도 2는 본 발명의 일 실시예에 따른 사용자 디바이스의 세부 블럭 구성을 나타내는 도면이다.

도 3은 본 발명의 다른 바람직한 일 실시예에 따른 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법을 나타내는 순서도이다.

도 4는 본 발명의 일 실시예에 따라 증강현실 미디어를 나타내는 참조도면이다.

도 5는 본 발명의 일 실시예에 따라 증강현실 미디어를 ARG로 변환한 것을 나타내는 참조도면이다.

도 6은 본 발명의 일 실시예에 따라 변환된 ARG를 확장된 ARG로 변환한 것은 타나내는 참조도면이다.

*** 도면의 주요부분에 대한 부호의 설명 ***

100 : 사용자 디바이스 110 : 제어부

120 : 통신부 130 : 영상입력부

140 : 영상출력부 150 : AR생성부

160 : ARG생성부 170 : 속성처리부

180 : 가상영상D/B 190 : 일반속성D/B

Claims (9)

1. 유비쿼터스 환경하에서 기기 간 상호통신이 가능한 마스터서버 및 마커 인식이 가능한 사용자 디바이스를 이용한 증강현실 기반의 싱글미디어 멀티서비스 방법에 있어서,

   (a) 상기 사용자 디바이스가 실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후, 생성된 증강현실 미디어를 에이알지(ARG)로 변환하는 단계;

   (b) 상기 사용자 디바이스가 변환된 에이알지(ARG)에 마스터서버로부터 요청하여 수신한 일반속성을 정의하여 확장된 에이알지(ARG)로 변환하는 단계; 및

   (c) 상기 사용자 디바이스가 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하는 단계; 를 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법.
2. 청구항 1항에 있어서, 상기 (b)단계는

   (b-1) 상기 사용자 디바이스가 인식된 마커에 대응하는 일반속성을 상기 마스터서버에게 요청하는 단계;

   (b-2) 상기 마스터서버가 마커에 대응하는 일반속성을 데이터베이스에서 검색 및 추출하여 사용자 디바이스로 전송하는 단계; 및

   (b-3) 상기 사용자 디바이스가 수신한 일반속성을 변환된 에이알지(ARG)에 부가하여 확장된 에이알지(ARG)로 변환하는 단계; 를 더 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법.
3. 청구항 1항 또는 청구항 2항에 있어서, 상기 일반속성은

   에이알지의 객체와 객체간의 관계인 것을 특징으로 하는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법.
4. 청구항 1항에 있어서,

   (d) 상기 사용자 디바이스가 디스플레이된 증강현실에 기반한 싱글미디어 멀티서비스 정보 중 어느 하나를 선택하게 되면, 선택된 싱글미디어 멀티서비스 정보를 상기 마스터서버에 요청하여 싱글미디어 멀티서비스를 수신한 후, 증강현실에 기반한 싱글미디어 멀티서비스를 제공하는 단계; 를 더 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법.
5. 청구항 4항에 있어서, 상기 (d)단계는

   (d-1) 상기 사용자 디바이스가 디스플레이된 증강현실기반의 싱글미디어 멀티서비스 정보 중 어느 하나를 선택하게 되면, 선택된 싱글미디어 멀티서비스 정보를 마스터서버로부터 요청하는 단계; 및

   (d-2) 상기 마스터서버가 기 저장된 싱글미디어 멀티서비스 정보를 검색 및 추출하여 싱글미디어 멀티서비스를 상기 사용자 디바이스로 전송하고, 상기 사용자 디바이스는 상기 마스터서버로부터 수신된 싱글미디어 멀티서비스를 제공하는 단계; 를 더 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법.
6. 청구항 1항 또는 청구항 4항에 있어서, 상기 싱글미디어 멀티서비스는

   적어도 어느 하나 이상의 상황인식 서비스인 것을 특징으로 하는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 방법.
7. 유비쿼터스 환경하에서 기기 간 상호통신이 가능한 마스터서버 및 마커 인식이 가능한 사용자 디바이스를 이용한 증강현실 기반의 싱글미디어 멀티서비스 시스템에 있어서,

   실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후 생성된 증강현실 미디어를 에이알지(ARG)로 변환하고, 변환된 에이알지(ARG)에 상기 마스터서버로부터 수신한 일반속성을 정의한 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하고 사용자에 의해 어느 하나가 선택되면 선택된 싱글미디어 멀티서비스 정보를 상기 마스터서버로부터 요청하고 수신된 싱글미디어 멀티서비스를 제공하는 사용자 디바이스; 및

   상기 마커에 대응하는 일반속성 및 싱글미디어 멀티서비스 정보를 저장하고 제공하며, 상기 사용자 디바이스의 요청에 따라 싱글미디어 멀티서비스 정보를 검색 및 추출하여 싱글미디어 멀티서비스를 상기 사용자 디바이스에 제공하는 마스터서버; 를 포함하여 이루어지는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 시스템.
8. 청구항 7항에 있어서, 상기 싱글미디어 멀티서비스는

   사용자의 상황인식 서비스 중 적어도 어느 하나 이상을 포함하여 이루어지는 것을 특징으로 하는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 시스템.
9. 청구항 7항에 있어서, 상기 사용자 디바이스는

   실제영상과 특정장소에 위치한 마커를 인식하여 증강현실 미디어를 생성한 후 생성된 증강현실 미디어를 에이알지(ARG)로 변환하고, 변환된 에이알지(ARG)에 상기 마스터서버로부터 수신한 일반속성을 정의한 확장된 에이알지(ARG)를 이용하여 증강현실에 기반한 싱글미디어 멀티서비스 정보를 디스플레이하고 사용자에 의해 어느 하나가 선택되면 선택된 싱글미디어 멀티서비스 정보를 상기 마스터서버로부터 요청하고 싱글미디어 멀티서비스를 수신하여 제공하도록 전반적인 기능을 제어하는 제어부;

   상기 사용자 디바이스와의 원활한 무선통신인터페이스를 제공하는 통신부;

   실제영상을 입력받아 영상출력부를 통하여 디스플레이하고, 실제영상의 특정장소에 위치한 마커를 인식하여 마커에 대응되는 그래픽이미지를 가상영상D/B에서 검색 및 추출하거나 상기 마스터서버로부터 요청하여 영상출력부를 통해 디스플레이하는 영상입력부;

   상기 영상입력부로부터 입력받은 실제영상과 마커에 대응하는 그래픽이미지를 외부로 디스플레이하는 영상출력부;

   상기 영상입력부로부터 입력된 실제영상과 마커에 대응되는 그래픽이미지를 이용하여 증강현실 미디어를 생성하는 에이알생성부;

   상기 에이알생성부에서 생성된 증강현실 미디어를 에이알지로 변환하는 에이알지생성부;

   상기 에이알지생성부에 의해 변환된 에이알지의 객체들에게 대응하는 일반속성을 상기 마스터서버로부터 요청하여 부가한 후 확장된 에이알지로 표현하여 싱글미디어 멀티서비스 정보를 생성하여 영상출력부를 통하여 디스플레이하는 속성처리부;

   상기 마커에 대응하는 그래픽이미지를 저장하거나, 마커에 대응하는 그래픽이미지를 상기 마스터서버로부터 요청 및 수신하여 저장하고 제공하는 가상영상D/B; 및

   상기 변환된 에이알지의 객체들에 대응하는 일반속성을 자체 저장하거나 상기 마스터서버로부터 수신받아 저장하고 제공하는 일반속성D/B; 를 더 포함하여 이루어지는 것을 특징으로 하는 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어 멀티서비스 시스템.

Images