KR101746427B1 - 착용형 사용자 장치를 이용한 증강 현실 구현 방법 및 착용형 사용자 장치 - Google Patents

Abstract

증강 현실 구현 방법으로서, 획득된 원본 영상으로부터 쿼리 영상을 생성하는 단계; 상기 쿼리 영상에 대한 영상 기반 검색 시스템의 검색 결과에 따라 획득되는 연관 결과 정보의 신뢰도를 계산하는 단계; 상기 신뢰도 계산 결과가 사전 지정된 기준 신뢰도 미만인 경우 상기 쿼리 영상의 영상 영역의 교체 및 영상 영역 확대 중 어느 하나를 실행하는 단계; 및 상기 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우 디스플레이 화면을 통해 상기 연관 결과 정보의 증강을 구현하는 단계를 포함하는 증강 현실 구현 방법이 제공된다.

Description

착용형 사용자 장치를 이용한 증강 현실 구현 방법 및 착용형 사용자 장치{AUGMENTED REALITY IMPLEMENTATION METHOD USING WEARABLE USER EQUIPMENT AND WEARABLE UESR EQUIPMENT THEREFOR}

본 발명은 착용형 사용자 장치를 이용한 증강 현실 구현 방법과 이를 위한 착용형 사용자 장치에 관한 것이다.

스마트폰에 이어 스마트 안경, 스마트 시계, 스마트 반지 등 사람의 몸에 착용할 수 있는 스마트 웨어러블 장치들이 활발하게 개발되고 있다. 특히 '구글 글라스(Google Glass)'와 '엡손 모버리오(Epson Moverio BT-2000)'와 같은 반투과형 안경형 웨어러블 장치는 사용자에게 실세계(real-world)와 디스플레이 영상을 동시에 볼 수 있게 해준다. 또한 안경에 부착된 디스플레이 장치에 영상 또는 정보를 자연스럽게 정합하는 증강 현실(augmented reality)기술에 대한 연구가 최근 활발하게 수행되고 있다.

한편 쿼리(query) 영상과 비슷한 영상을 찾아주는 콘텐츠 기반 영상 추출 기술(CBIR: Content Based Image Retrieval)과 쿼리 영상을 이용하여 관련된 웹페이지를 찾아주는 reverse image search 기술이 발전하고 있다.

또한 컴퓨터 비전 분야에서는 영상에서 사물이 눈에 잘 띄는 정도(saliency)를 수치화하는 분야에 대한 연구도 활발히 진행되고 있다. 여러 가지 사물들이 등장하는 영상에서 사람이 느끼기에 어떤 사물이 더 눈에 잘 들어오는지를 실제 생물학적인 이론에 근거해서 계산하는 방식으로 연구가 진행되고 있다.

또한 착용형 단말기를 이용하여 증강 현실을 구현하는 방법과 관련된 선행기술로는 한국특허공개 제10-2015-0129546호가 있다.

한국특허공개 제10-2015-0129546호 (2015년 11월 20일 공개)

본 발명은 착용형 사용자 장치의 카메라로부터 획득된 영상에서 쿼리 영상을 추출하고 이러한 쿼리 영상에 기반한 콘텐츠 검색을 통해서 사용자에게 유용한 정보를 획득하여 이를 디스플레이 화면을 통해 증강 현실로 구현하는 방법 및 이러한 방법이 적용된 착용형 사용자 장치를 제공하고자 한다.

본 발명의 일 측면에 따르면, 통신 모듈 및 제어 모듈을 포함하는 착용형 사용자 장치(wearable user equipment)로서, 상기 제어 모듈은, 획득된 원본 영상으로부터 쿼리 영상을 생성하는 쿼리 영상 생성부; 상기 쿼리 영상에 대한 영상 기반 검색 시스템의 검색 결과에 따라 획득되는 연관 결과 정보의 신뢰도를 계산하는 신뢰도 계산부; 상기 신뢰도 계산 결과가 사전 지정된 기준 신뢰도 미만인 경우 상기 쿼리 영상의 영상 영역의 교체 및 영상 영역 확대 중 어느 하나를 실행하는 쿼리 영역 변경부; 및 상기 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우 디스플레이 화면을 통해 상기 연관 결과 정보의 증강을 구현하는 영상 증강 구현부를 포함하는 착용형 사용자 장치가 제공된다.

일 실시예에서, 상기 제어 모듈은, 상기 원본 영상을 비중첩의 복수의 영상 영역으로 분할하는 영상 분할부; 및 사전 지정된 가중치 부여 기준에 따라 상기 원본 영상 내의 각 분할 영상 영역의 중요도를 정의하는 영상 정보 가공부를 더 포함하고,

상기 쿼리 영상 생성부는, 상기 영상 정보 가공부에 의해 정의되는 중요도 정보에 기반하여, 상기 복수의 분할 영상 영역 중 적어도 하나의 분할 영상 영역을 쿼리 영역으로 추출할 수 있다.

일 실시예에서, 상기 쿼리 영상 생성부는,

상기 중요도가 가장 높은 분할 영상 영역을 상기 쿼리 영역으로 추출하거나 또는 상기 중요도가 가장 높은 분할 영상 영역과 이에 이웃하는 복수의 분할 영상 영역까지를 포함하여 상기 쿼리 영역으로 추출할 수 있다.

일 실시예에서, 상기 영상 정보 가공부는,

상기 원본 영상의 각 픽셀의 색상 값 및 밝기 값 중 적어도 하나가 주변 픽셀들과의 관계에서 사전 지정된 기준치 이상의 차이를 갖는 픽셀 또는 영상 영역, 상기 원본 영상 내에서 각 피사체 영역을 구분짓는 경계선에 해당하는 픽셀 또는 영상 영역, 상기 원본 영상 내에서 사용자 시선 또는 시점(view point)과 상응하는 픽셀 또는 영상 영역 중 적어도 어느 하나에 해당하는 경우, 상기 가중치 부여 기준에 따라 다른 픽셀 또는 다른 영상 영역에 비해 상대적으로 높은 가중치를 적용하여 상기 분할 영상 영역 별 중요도를 정의할 수 있다.

일 실시예에서, 상기 쿼리 영상 생성부는,

상기 추출된 쿼리 영역이 사전 지정된 검색 조건에 부합하는지를 판단하고, 상기 검색 조건에 부합하는 경우 상기 추출된 쿼리 영역 자체를 상기 쿼리 영상으로 생성하고, 상기 검색 조건에 부합하지 않는 경우 상기 검색 조건에 부합되도록 쿼리 영역을 이웃하는 주변 영상 영역까지로 확장하여 상기 쿼리 영상으로 생성할 수 있다.

일 실시예에서, 상기 쿼리 영상 생성부는,

쿼리 영역의 크기가 사전 지정된 기준치 이상인 경우, 쿼리 영역의 너비 및 높이의 비율(aspect ratio)이 사전 지정된 기준치 미만인 경우 중 적어도 하나를 만족하는 경우 상기 사전 지정된 검색 조건에 부합하는 것으로 판단할 수 있다.

일 실시예에서, 상기 통신 모듈은, 상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보를 수신하고,

상기 신뢰도 계산부는, 상기 수신된 텍스트 정보의 정보도(information entropy)에 근거하여 텍스트 신뢰도를 계산할 수 있다.

일 실시예에서, 상기 통신 모듈은, 상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보 및 상기 쿼리 영상과 연관되는 적어도 하나의 연관 영상을 수신하고,

상기 신뢰도 계산부는, 상기 쿼리 영상과 상기 적어도 하나의 연관 영상 간의 영상 유사도에 근거하여 상기 텍스트 정보의 신뢰도를 계산할 수 있다.

일 실시예에서, 상기 통신 모듈은, 상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보 및 상기 쿼리 영상과 연관되는 복수의 연관 영상을 수신하고,

상기 신뢰도 계산부는, 상기 복수의 연관 영상 간의 영상 유사도에 근거하여 상기 텍스트 정보의 신뢰도를 계산할 수 있다.

일 실시예에서, 상기 영상 유사도는, 비교 영상 간의 특징점 매칭(feature matching) 및 픽셀 별 색상 값에 따른 히스토그램 분포에 근거하여 계산될 수 있다.

일 실시예에서, 상기 쿼리 영역 변경부는, 상기 신뢰도 계산 결과가 상기 기준 신뢰도 미만인 경우, 기존 쿼리 영상의 주변 영상 영역 중에서 상기 중요도가 높은 순서로 적어도 하나의 분할 영상 영역을 기존 쿼리 영상의 영상 영역에 추가하는 영상 영역 확대를 실행하고,

상기 쿼리 영역 생성부는, 상기 영상 영역 확대가 실행된 신규 쿼리 영역에 상응하는 쿼리 영상을 생성하며,

상기 통신 모듈은 상기 신규 쿼리 영역에 상응하는 쿼리 영상을 상기 영상 기반 검색 시스템으로 재전송할 수 있다.

일 실시예에서, 상기 쿼리 영상 생성부는, 상기 원본 영상으로부터 1차 쿼리 영상과 2차 쿼리 영상을 생성하고,

상기 신뢰도 계산부는, 상기 1차 쿼리 영상에 관한 연관 결과 정보 및 상기 2차 쿼리 영상에 관한 연관 결과 정보의 비교를 통해서 상기 연관 결과 정보의 신뢰도를 계산할 수 있다.

일 실시예에서, 상기 2차 쿼리 영상은, 상기 1차 쿼리 영상의 영상 영역을 포함하는 더 넓은 면적의 영상 영역으로 생성되거나 또는 상기 1차 쿼리 영상의 영상 영역의 주변 영역들 중 상기 1차 쿼리 영상의 영상 영역을 제외한 영상 영역으로 생성되며,

상기 2차 쿼리 영상은, 상기 통신 모듈을 통해서 상기 1차 쿼리 영상과 동시에 상기 영상 기반 검색 시스템에 전송되거나, 상기 1차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산이 완료된 이후에 상기 영상 기반 검색 시스템에 전송될 수 있다.

일 실시예에서, 상기 영상 증강 구현부는,

상기 1차 쿼리 영상에 관한 연관 결과 정보 및 상기 2차 쿼리 영상에 관한 연관 결과 정보가 일치하며, 각 연관 결과 정보에 관한 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우, 디스플레이 화면을 통해 해당 연관 결과 정보의 증강을 구현할 수 있다.

일 실시예에서, 상기 영상 증강 구현부는,

상기 1차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산값과 상기 2차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산값을 비교하여, 상대적으로 더 높은 쿼리 영상에 따른 영상 영역의 위치에 상기 연관 결과 정보의 증강을 구현할 수 있다.

본 발명의 다른 측면에 따르면, 증강 현실 구현 방법으로서, 획득된 원본 영상으로부터 쿼리 영상을 생성하는 단계; 상기 쿼리 영상에 대한 영상 기반 검색 시스템의 검색 결과에 따라 획득되는 연관 결과 정보의 신뢰도를 계산하는 단계; 상기 신뢰도 계산 결과가 사전 지정된 기준 신뢰도 미만인 경우 상기 쿼리 영상의 영상 영역의 교체 및 영상 영역 확대 중 어느 하나를 실행하는 단계; 및 상기 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우 디스플레이 화면을 통해 상기 연관 결과 정보의 증강을 구현하는 단계를 포함하는 증강 현실 구현 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 카메라 모듈; 디스플레이 모듈; 통신 모듈; 상기 카메라 모듈로부터 획득된 원본 영상으로부터 쿼리 영상을 생성하고, 생성된 쿼리 영상을 영상 기반 검색 시스템으로 전송하며, 상기 영상 기반 검색 시스템으로부터 상기 쿼리 영상에 관한 연관 결과 정보가 상기 통신 모듈을 통해 수신된 경우 상기 디스플레이 모듈에 의한 화면을 통해 상기 연관 결과 정보의 증강을 구현하는 제어 모듈을 포함하는 착용형 사용자 장치; 및

상기 쿼리 영상을 수신하여 영상 기반 검색을 수행하고, 검색 결과에 따라 획득되는 연관 결과 정보의 신뢰도를 계산하며, 상기 신뢰도 계산 결과가 사전 지정된 기준 신뢰도 미만인 경우 상기 쿼리 영상의 영상 영역의 교체 및 영상 영역 확대 중 어느 하나를 요청하는 요청 메시지를 상기 착용형 사용자 장치로 전송하고, 상기 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우 해당 연관 결과 정보를 상기 착용형 사용자 장치로 전송하는, 상기 영상 기반 검색 시스템을 포함하는 증강 현실 구현 시스템이 제공된다.

본 발명의 실시예에 의하면, 착용형 사용자 장치의 카메라로부터 획득된 영상에서 쿼리 영상을 추출하고 이러한 쿼리 영상에 기반한 콘텐츠 검색을 통해서 사용자에게 유용한 정보를 획득하여 이를 디스플레이 화면을 통해 증강 현실로 구현할 수 있는 효과가 있다. 또한 본 발명의 실시예에 의하면, 증강 현실을 통해 사용자에게 제공되는 정보의 정확성 및 신뢰성을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 증강 현실 구현 시스템을 설명하기 위한 도면.
도 2는 본 발명에 적용 가능한 착용형 사용자 장치로서 안경형 단말기를 예시한 도면.
도 3은 본 발명의 실시예예 따른 증강 현실 구현 방법을 실행하는 착용형 사용자 장치의 제어 모듈의 일 실시예의 구성을 설명하기 위한 블록도.
도 4는 본 발명의 실시에에 따른 증강 현실 구현 방법에 관한 일 실시예의 순서도.
도 5는 원본 영상, 도 6은 원본 영상에 관한 영상 분할의 예시, 도 7은 원본 영상에 관한 중요도를 시각화한 예시적 영상을 나타낸 도면들.
도 8, 도 9, 도 10은 생성된 각각의 쿼리 영상에 따른 연관 유사 영상을 예시적으로 나타낸 도면.
도 11은 본 발명의 실시예에 따른 증강 현실 구현 방법에 따라 신뢰성 있는 텍스트 정보가 화면 상에 증강된 결과에 관한 예시 도면.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다. 또한 본 명세서에 있어서, 각 구성부의 구분은 각 구성부가 담당하는 주기능별로 구분한 것에 불과함을 명확히 밝혀두고자 한다. 따라서, 이하에서 설명할 2 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 이하에서 설명할 하나의 구성부가 보다 세분화된 기능별로 2이상의 구성부로 분화되어 존재할 수도 있다. 또한, 이하에서 설명할 구성부 각각은 자신의 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 이하에서 설명할 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

도 1은 본 발명의 실시예에 따른 증강 현실 구현 시스템을 설명하기 위한 도면이고, 도 2는 본 발명에 적용 가능한 착용형 사용자 장치로서 안경형 단말기를 예시한 도면이다. 이하, 도 1 및 도 2를 참조하여 본 발명의 실시예에 따른 증강 현실 구현 시스템의 전반적인 개념적 구성과, 착용형 사용자 장치의 일 예로서 안경형 단말기에 관한 기본적 구성에 대하여 먼저 설명하기로 한다.

도 1을 참조하면, 본 발명의 실시예에 따른 증강 현실 구현 시스템(10)은 착용형 사용자 장치(200)와 영상 기반 검색 시스템(100)을 포함하여 구현될 수 있다. 여기서, 영상 기반 검색 시스템(100)은 착용형 사용자 장치(200)와 통신 연결되어, 착용형 사용자 장치(200)로부터 쿼리 영상이 전송되었을 때 해당 쿼리 영상에 관한 영상 기반 검색을 수행하고 그 검색 결과에 상응하는 정보를 착용형 사용자 장치(200)로 전송할 수 있다.

본 명세서에서는 착용형 사용자 장치(200)와 영상 기반 검색 시스템(100) 간이 상호간 직접 통신하여 관련 정보를 송수신하는 경우를 주로 설명할 것이나, 시스템 구현 방식에 따라서 그 중간에 다른 전자장치가 양자간의 통신을 매개할 수도 있음은 물론이다. 일 예로, 착용형 사용자 장치(200)는 쿼리 영상을 근거리 통신 방식을 통해서 사용자의 다른 통신전자장치(미도시)로 전송하고, 해당 통신전자장치가 원격의 영상 기반 검색 시스템(100)과의 관계에서 관련 정보의 송수신을 매개할 수도 있다.

또한 본 명세서에서는 후술할 도 3 및 도 4에서와 같이, 증강 현실 구현을 위한 대부분의 정보 처리를 착용형 사용자 장치(200) 내에서 수행하고, 영상 기반 검색 시스템(100)은 쿼리 영상에 관한 검색 결과에 상응하는 정보를 착용형 사용자 장치(200)로 전송해주는 단순한 역할을 수행하는 경우를 중심으로 설명할 것이다. 그러나 시스템 구현 방식에 따라서 영상 기반 검색 시스템(100)에서 후술할 착용형 사용자 장치(200) 내에서의 정보 처리 사항 중 주요한 일부 부분(예를 들어, 후술할 신뢰도 계산과 관련된 기능 등)을 직접 담당할 수도 있을 것이다.

본 발명의 일 실시예에 의할 때, 착용형 사용자 장치(200)는 도 2에 도시된 바와 같이 안경형(glasses type) 웨어러블 장치로 제작될 수 있다. 물론, 본 발명에 적용 가능한 착용형 사용자 장치(200)로는 최소한 외부의 전자장치와 통신을 수행하기 위한 통신 모듈을 구비하고 또한 사용자의 신체 또는 착용품(의류, 모자, 신발 등)에 착용될 수 있는 형태로 제작된다는 한도 내에서 다양한 응용 및 변형이 가능함은 자명하다. 일 예로, 착용형 사용자 장치(200)는 고글(goggles) 타입의 안경, 헤어 밴드(hair band), 넥 밴드(neck band), 시계(watch), 팔찌(bracelet), 손목 보호대(wrist guards) 등의 다양한 형태로 제작될 수 있다.

또한, 본 발명에 적용 가능한 착용형 사용자 장치(200)는 후술할 도 2에 예시된 것과 달리 카메라 모듈 및 디스플레이 모듈 중 적어도 하나가 생략되어 구현될 수도 있다. 본 명세서에서는 착용형 사용자 장치(200)에 탑재된 카메라 모듈을 통해서 원본 영상을 획득하고 이로부터 쿼리 영상을 추출하는 경우를 중심으로 설명할 것이나, 이와 다른 변형도 가능하다. 일 예로, 원본 영상은 타 전자장치에서 획득되어 착용형 사용자 장치(200)로 전송되고, 착용형 사용자 장치(200)에서는 이로부터 쿼리 영상만을 추출해낼 수도 있다. 다른 예로, 원본 영상 및 쿼리 영상은 모두 타 전자장치에서 생성되고, 착용형 사용자 장치(200)에서는 영상 기반 검색 시스템(100)으로부터 그 결과만을 받아 디스플레이 화면을 통해서 영상으로 증강시킬 수도 있다.

또한, 본 명세서에서는 착용형 사용자 장치(200) 자체에 디스플레이 모듈이 탑재되고 그 디스플레이 화면을 통해서 증강 영상을 직접 표출하는 경우를 중심으로 설명할 것이나, 이 또한 다른 변형이 가능하다. 일 예로, 증강 영상은 사용자의 인근의 다른 디스플레이 장치로 전송되어 표출되거나 다른 전자장치를 통해서 공간 상에 홀로그램 형태로 디스플레이 될 수도 있다. 다른 예로, 증강 영상은 착용형 사용자 장치(200)의 프로젝션 모듈(미도시)을 통해서 사용자 주변의 외부 스크린(예를 들어, 특정 벽면(wall surface), 칠판 등)에 투사될 수도 있다.

다만, 이하에서는 설명의 편의 및 집중을 위해, 착용형 사용자 장치(200)가 도 2와 같은 형태 및 구성을 갖는 경우를 중심으로 본 발명의 실시예를 설명하기로 한다.

도 2를 참조할 때, 착용형 사용자 장치(200)는, 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)을 구비할 수 있다. 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 본 도면에서는, 프레임부가 서로 다른 재질의 제1 프레임(201)과 제2 프레임(202)을 포함하는 것을 예시하고 있다. 일반적으로 이동 단말기(200)는 도 1의 이동 단말기(100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.

프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어 모듈(280), 음향 출력 모듈(252), 모션 감지 센서(예를 들어, 가속도 센서, 자이로 센서 등)(미도시) 등과 같은 전자부품이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중 적어도 하나를 덮는 렌즈(203)가 착탈 가능하게 장착될 수 있다. 또한, 도면을 통해서 명확히 도시하지는 않았지만, 착용형 사용자 장치(200)는 근거리 또는 원거리의 외부 통신전자장치 또는/및 외부 통신시스템과 통신을 위한 통신 모듈(미도시)을 포함할 수 있다.

제어 모듈(280)은 이동 단말기(200)에 구비되는 각종 전자부품을 제어하도록 이루어진다. 제어 모듈(280)에 관하여 본 발명의 실시예와 관련된 구체적 기능 및 역할은 후술할 도 4의 설명을 통해 쉽게 이해될 수 있을 것이다. 본 도면에서는, 제어 모듈(280)이 일측 두부 상의 프레임부에 설치된 것을 예시하고 있다. 하지만, 제어 모듈(280)의 위치는 이에 한정되지 않는다.

디스플레이 모듈(251)은 헤드 마운트 디스플레이(Head Mounted Display, HMD) 형태로 구현될 수 있다. HMD 형태란, 두부에 장착되어, 사용자의 눈 앞에 직접 영상을 보여주는 디스플레이 방식을 말한다. 사용자가 착용형 사용자 장치(200)를 착용하였을 때, 사용자의 눈 앞에 직접 영상을 제공할 수 있도록, 디스플레이 모듈(251)은 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다. 본 도면에서는, 사용자의 우안을 향하여 영상을 출력할 수 있도록, 디스플레이 모듈(251)이 우안에 대응되는 부분에 위치한 것을 예시하고 있다.

디스플레이 모듈(251)은 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다.

이처럼, 디스플레이 모듈(251)을 통하여 출력되는 영상은, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. 이에 따라 착용형 사용자 장치(200)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다.

카메라 모듈(221)은 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 형성된다. 카메라 모듈(221)이 눈에 인접하여 위치하므로, 카메라 모듈(221)은 사용자가 바라보는 장면을 영상으로 획득할 수 있다. 본 도면에서는, 카메라 모듈(221)이 제어 모듈(280)에 인접하여 배치된 것을 예시하고 있으나, 반드시 이에 한정되는 것은 아니다. 카메라 모듈(221)은 상기 프레임부에 설치될 수도 있으며, 복수 개로 구비되어 입체 영상을 획득하도록 이루어질 수도 있다.

또한, 착용형 사용자 장치(200)는 제어명령을 입력 받기 위하여 조작되는 사용자 입력부(223a, 223b)를 구비할 수 있다. 사용자 입력부(223a, 223b)는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)으로 구현될 수 있다. 본 도면에서도 프레임부와 제어 모듈(280)에 각각 푸시 및 터치 입력 방식의 사용자 입력부(223a, 223b)가 구비된 것을 예시하고 있다. 다만, 사용자 입력부는 사용자의 의도에 상응하는 명령을 인식할 수 있는 한도 내에서 음성 입력 방식, 모션 또는 제스쳐 입력 방식 등 다양한 방식을 채용하여 구현될 수 있음은 물론이다.

또한, 착용형 사용자 장치(200)에는 사운드를 입력 받아 전기적인 음성 데이터로 처리하는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력 모듈(252)이 구비될 수 있다. 음향 출력 모듈(252)은 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다. 만일 음향 출력 모듈(252)이 골전도 방식으로 구현되는 경우, 사용자가 착용형 사용자 장치(200)를 착용하였을 때, 음향 출력 모듈(252)은 두부에 밀착되며, 두개골을 진동시켜 음향을 전달하게 된다. 또한 착용형 사용자 장치(200)는 상기 마이크로폰을 통해 사용자의 음성 신호를 입력받고 이를 분석하여, 상기 사용자의 음성 신호에 따른 기능이 수행되도록 할 수도 있다.

이상에서는 본 발명의 실시예에 따른 증강 현실 구현 시스템 일반 및 착용형 사용자 장치의 예에 관하여 상세히 설명하였는 바, 이하에서는 도 3 내지 도 11을 참조하여 이를 통한 증강 현실 구현 방법 및 이때의 구성요소에 대하여 설명하기로 한다.

도 3은 본 발명의 실시예예 따른 증강 현실 구현 방법을 실행하는 착용형 사용자 장치의 제어 모듈의 일 실시예의 구성을 설명하기 위한 블록도이고, 도 4는 본 발명의 실시에에 따른 증강 현실 구현 방법에 관한 일 실시예의 순서도이다. 이하, 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 증강 현실 구현 방법과 그 방법을 실행하기 위한 착용형 사용자 장치 내의 핵심 구성부인 제어 모듈의 기능 및 역할에 관하여 상세히 설명한다. 이에 관한 설명 과정에서 도 5 내지 도 11의 예시 영상들을 함께 참조한다. 또한 이하 설명 과정에서 착용형 사용자 장치(200)는 도 2의 구성을 갖는 경우를 가정하기로 한다.

도 3을 참조할 때, 착용형 사용자 장치(200)의 제어 모듈(280)은, 영상 분할부(281), 영상 정보 가공부(282), 쿼리 영역 변경부(283), 쿼리 영상 생성부(284), 신뢰도 계산부(285), 영상 증강 구현부(286)을 포함할 수 있다. 이하, 각 구성부의 상세 기능에 관해서는 도 4의 순서도의 설명에서 함께 설명하기로 한다. 또한 이하에서 설명할 바이지만, 제어 모듈(280) 내의 일부 구성부의 기능(일 예로, 신뢰도 계산부(285)가 수행하는 기능)은 영상 기반 검색 시스템(100)에 의해 대체 수행될 수도 있다.

도 4의 단계 S10을 참조하면, 착용형 사용자 장치(200)의 카메라 모듈(221)을 통해서 전방을 촬영한 원본 영상을 획득한다. 이때, 원본 영상은 착용형 사용자 장치(200)에서 자체 촬영된 영상일 수도 있지만, 외부 장치로부터 착용형 사용자 장치(200)로 전송된 영상일 수도 있다. 다만, 본 실시예에서는 전자인 경우를 가정하여 설명한다.

또한, 원본 영상은 특정 시점에 사용자의 의도에 따라 촬상된 영상일 수도 있고, 카메라 구동에 따라 실시간 입력되는 프리뷰 영상일 수도 있다. 여기서, 사용자의 의도란 사용자에 의한 촬상 명령의 직/간접 입력을 의미한다. 직접 입력 방식으로는 촬상 버튼 입력 방식, 터치 입력 방식, 음성 또는 모션/제스쳐 입력에 따른 인식 방식 등 다양한 방식이 채용될 수 있다. 그리고 간접 입력 방식으로는 사용자에 의한 시선이 일정 시간 이상 유지되는 경우에 이를 촬상 명령으로 인식하는 방법 등이 있을 수 있다. 예를 들어, 사용자가 일정한 방향을 계속해서 응시하고 있는 경우, 이를 촬상 명령으로 인식할 수 있다. 사용자의 시선이 일정 시간 이상 지속되는지 여부는 카메라를 통해 입력되는 영상 프레임의 변화량을 계산하거나 모션 센서 정보를 계산하는 방식 등으로 판단할 수 있다.

도 4의 단계 S11 및 단계 S12를 참조하면, 후술할 단계 S13의 쿼리 영역의 설정을 위한 전제로서 영상 분할 및 영상 정보 가공을 수행한다. 이때, 단계 S11에 따른 영상 분할 처리와 단계 S12의 영상 정보 가공 처리는 동시에 또는 병렬적으로 이루어질 수도 있고, 선후를 두고 순차적으로 이루어질 수도 있다. 일 예로, 획득된 원본 영상에 관한 영상 분할 처리를 수행한 이후에 영상 정보 가공 처리를 수행할 수도 있고, 획득된 원본 영상에 관한 영상 정보 가공 처리를 통해서 취득되는 후술할 중요도 정보에 기초하여 적응적인 영상 분할 처리를 수행할 수도 있다.

먼저, 도 4의 단계 S11에 따른 영상 분할(image segmentation) 처리에는 다음과 같은 방식들이 채용될 수 있다. 일 예로, 영상 분할부(281)는 원본 영상을 비중첩(non-overlapping)의 복수의 영상 영역으로 분할할 수 있다. 이때, 비중첩의 각 영상 영역은 원본 영상의 크기, 너비/높이 등을 고려할 때 영상 분할에 적합한 것으로 사전 지정된 기준 크기에 따라 동등하게 분할될 수도 있고, 원본 영상의 속성(컬러, 밝기, 영상 내 특정 피사체를 구분짓는 경계선(edge, contour 등))에 맞춰 분할 영역을 적응적으로 조절하여 분할될 수도 있다. 후자의 경우에는 분할 영역의 크기는 영역 별로 상이할 수 있다. 또한 후자의 경우, 분할 영역을 적응적으로 결정하는 과정에서 후술할 단계 S12(영상 정보 가공 처리 과정)에서 계산되는 중요도 정보가 활용될 수도 있다.

이상에서는 원본 영상을 중첩되지 않는 복수의 영상 영역으로 분할하는 경우를 중심으로 설명하였지만, 시스템 구현 방법에 따라서 중첩된 복수개의 영상 영역으로 분할하는 방식이 이용될 수도 있다. 예를 들어, 후술할 각 영상 영역의 중요도 계산 결과에 따라, 향후 쿼리 영역으로 선정될 가능성이 높은 영상 영역에 대하여, 1차 쿼리 영역으로 활용될 영상 영역 중 일부 또는 전부를 포함하는 중첩된 2차 쿼리 영역을 설정해둠으로써, 향후 1차 쿼리 영역에 따른 쿼리 영상이 신뢰도 높은 결과를 보여주지 못하는 경우, 그 1차 쿼리 영역의 일부 또는 전부를 포함하는 2차 쿼리 영역을 대상으로 쿼리 영상을 생성함으로써 보다 높은 신뢰도를 갖는 결과를 획득하는데 이용할 수도 있을 것이다.

도 6을 참조하면 상술한 영상 분할 방식들 중에서 후자의 방식으로서 원본 영상의 속성 중 밝기 값에 근거하여 영상 분할을 수행한 일 예시가 도시되어 있다. 도 6은 도 5와 같은 원본 영상에서 유사한 밝기 값을 픽셀(pixel)들을 그룹화하여 영상을 분할(segmentation)한 예를 나타낸다.

다음으로, 도 4의 단계 S12에 따른 영상 정보의 가공 처리에는 다음과 같은 방식들이 채용될 수 있다. 본 단계에서는 원본 영상의 각 영역(단계 S11에 따른 분할 영역일 수 있음) 또는 각 픽셀이 얼마만큼의 중요도를 갖는지를 수치화한다. 이는 향후 쿼리 영상으로서 어떤 영상 영역이 보다 적합한지를 확인하기 위한 과정으로서, 제어 모듈(280)의 영상 정보 가공부(282)에 의해 수행될 수 있다.

이를 위해, 영상 정보 가공부(282)는, 원본 영상의 각 픽셀의 색상 값 및 밝기 값 중 적어도 하나가 주변 픽셀들과의 관계에서 사전 지정된 기준치 이상의 차이를 갖는 픽셀 또는 영상 영역, 원본 영상 내에서 각 피사체 영역을 구분짓는 경계선에 해당하는 픽셀 또는 영상 영역, 원본 영상 내에서 사용자 시선 또는 시점(view point)과 상응하는 픽셀 또는 영상 영역 중 적어도 어느 하나에 해당하는 경우, 상기 가중치 부여 기준에 따라 다른 픽셀 또는 다른 영상 영역에 비해 상대적으로 높은 가중치를 적용하여 상기 분할 영상 영역 별 중요도를 정의할 수 있다. 이에 대하여 보다 구체적으로 설명하면 아래와 같다.

일 예로, 영상 정보 가공부(282)는 사용자의 시선이 영상의 어디를 향하고 있는지를 분석함으로써 시선 또는 시점(view point)이 향하고 있는 위치에 높은 가중치를 할당할 수 있다. 이때, 사용자의 시선이 어디를 향하고 있는지는 착용형 사용자 장치(200)에 동공을 촬영하는 별도의 센서를 사용하여 확인할 수도 있고, 사용자가 정중앙 또는 그 주변을 응시한다는 가정을 두고 카메라를 통해 획득되는 전방 영상의 프레임의 변화를 추적하여 확인할 수도 있다. 후자의 경우 카메라의 탑재 위치에 따라 사용자의 시점과 카메라의 시점 간의 불일치가 발생될 수 있는 바, 실시예에 따라서 영상 정보 가공부(282)는 이를 보정하기 위한 영상 캘리브레이션을 수행할 수도 있다.

다른 예로, 영상 정보 가공부(282)는 원본 영상으로부터 시각적으로 두드러지는 영역을 자동으로 찾는 영상 세일리언시 검출(image saliency detection) 기술을 활용하여 각 영역 또는 픽셀의 중요도를 정의할 수 있다. 이때, Saliency detection을 위하여 경계선(edge, contour)을 찾는 방법, 영상 변환(웨이블릿 변환 (wavelet transform) 등)을 통해 밝기의 차이가 급격하게 변하는 고주파(high frequency) 영역을 찾는 방법, 사람의 시각 시스템과 유사하게 영상을 가공하여 눈에 띄는 곳을 찾는 방법 등을 사용할 수 있다. 이에 관한 일 예가 도 7에 도시되어 있다. 도 7은 각 픽셀의 중요도를 시각화 한 예시로서, 도 7의 영상에서 밝기가 클수록 중요도가 높은 것을 의미한다.

도 4의 단계 S13을 참조하면, 제어 모듈(280)의 쿼리 영상 생성부(284)는 앞선 단계의 영상 분할 결과와 계산된 중요도 정보를 이용하여 쿼리 영상(query image)을 생성할 쿼리 영역을 설정한다.

일 예로, 쿼리 영상 생성부(284)는 영상 분할 결과로 획득된 복수의 영역들 중에서 앞선 단계에 따라 계산된 중요도가 가장 높은 한 개의 영역을 쿼리 영역으로 설정할 수 있다. 다른 예로, 쿼리 영상 생성부(284)는 위의 가장 높은 중요도를 갖는 영역과 이에 이웃한 몇 개의 영역을 포함하는 집합 영역을 쿼리 영역으로 설정할 수 있다. 만일, 앞선 단계에 따른 중요도 계산이 픽셀 별로 수행된 경우라면, 분할 영역 전체의 중요도는 해당 영역 내부에 포함된 픽셀들의 중요도의 평균값(average value) 또는 중간값(median value)으로 계산될 수 있다.

상술한 방식들에 따라 쿼리 영역이 설정되는 경우, 쿼리 영상 생성부(284)는 그 설정된 쿼리 영역에 상응하는 쿼리 영상을 생성한다[도 4의 단계 S16 참조]. 이때, 쿼리 영상은 설정된 쿼리 영역과 동일한 영역에 따른 영상일 수도 있고, 그 설정된 쿼리 영역을 포함하는 소정 영역에 따른 영상일 수 있다. 후자의 방식에 의할 때, 쿼리 영상 생성부(284)는 예를 들어 그 설정된 쿼리 영역을 둘러싸는 사각형 박스(bounding box) 영역을 이용하여 쿼리 영상을 생성할 수 있다. 생성된 쿼리 영상은 통신 모듈(미도시)을 통해서 원격의 영상 기반 검색 시스템(100)에 전송될 수 있다[도 4의 단계 S17 참조].

다만, 도 4의 순서도에서는 설정된 쿼리 영상에 상응하여 쿼리 영상을 생성하기 이전에(또는 쿼리 영상을 영상 기반 검색 시스템(100)에 전송하기 전일 수도 있음), 쿼리 영상 생성부(284)가 그 설정된 쿼리 영역이 사전 지정된 검색 조건에 부합하는지 여부를 판단하는 단계(도 4의 단계 S14 참조)가 더 추가되고 있다. 이는 영상 기반 검색 시스템(100)의 시스템 사양에 따라 셋팅되는 검색 조건에 부적합한 쿼리 영상이 전송되는 것을 예방하여, 위 검색 조건에 부합할 때까지 쿼리 영상이 반복 전송됨으로써 시스템 지연(delay)이 발생하는 것을 방지하기 위함이다. 이를 위해, 쿼리 영상 생성부(284)는, 예를 들어, 설정된 쿼리 영역의 크기가 특정 기준치(threshold)보다 큰지, 또는 그 영역의 너비와 높이의 비율(aspect ratio)가 특정 기준치 보다 작은지 여부 등을 검색 기준으로 사용할 수 있다. 일 예로, 쿼리 영역의 너비와 높이의 비율은 {(높이와 너비 중 큰 값) / (높이와 너비 중 작은 값)}으로 계산될 수 있다.

쿼리 영상 생성부(284)는, 도 4의 단계 S14에 따른 판단 결과, 상기 검색 조건에 부합하는 경우 해당 쿼리 영역 자체를 쿼리 영상 생성에 사용하고, 상기 검색 조건에 부합하지 않는 경우 상기 검색 조건에 부합되도록 해당 쿼리 영역을 이웃하는 주변 영상 영역까지로 확장하는 등의 방법을 통해서 쿼리 영역을 재설정(변경)하고 이에 따라 쿼리 영상을 생성할 수 있다[도 4의 단계 S15 참조].

이상에서는 도 4의 단계 S15에 따라 검색 조건의 부합 여부를 판단하는 과정을 추가하였지만, 시스템 구현 방법에 따라서 본 단계는 생략될 수도 있다. 예를 들어, 앞선 영상 분할 단계에서부터 상기 검색 조건에 만족되도록 하는 영상 분할 방식을 채용한다면 본 단계는 생략되어도 무방하기 때문이다.

상술한 과정을 거쳐 쿼리 영상이 영상 기반 검색 시스템(100)으로 전송되면, 영상 기반 검색 시스템(100)은 수신된 쿼리 영상에 상응하는(즉, 영상 유사성이 높은) 연관 영상들을 검색 및 추출한다. 이에 의할 때, 영상 기반 검색 시스템(100)은 그 추출된 연관 영상들에 기초하여 해당 쿼리 영상에 관한 검색 결과로서 연관 결과 정보를 획득할 수 있다.

여기서, 영상 기반 검색 시스템(100)에 의해 획득되는 연관 결과 정보는, 그 쿼리 영상을 대표하는 텍스트 정보, 그 쿼리 영상과 관련된 상세 정보를 담고 있는 웹 페이지 정보(혹은 URL 정보) 또는/및 SNS(social network service) 페이지 정보, 그 상세 정보를 안내/설명하는 텍스트 이외의 시각화 정보(예를 들어, 비디오 영상) 등일 수 있다. 즉, 연관 결과 정보는 영상을 통해 시각적으로 증강될 수 있는 한도 내에서 다양한 변형이 가능하며, 청각화 요소(음성, 오디오 정보 등)와 결합된 것일 수도 있다. 또한, 시스템 구현 방식에 따라서 상기 연관 결과 정보로서 앞서 추출된 연관 영상들 그 자체가 이용될 수도 있을 것이다.

다만, 이하에서는 설명의 편의 및 집중을 위해서, 영상 기반 검색 시스템(100)에 의해 획득되는 연관 결과 정보는 텍스트 정보인 것으로 가정하기로 한다. 이때, 쿼리 영상을 대표하는 텍스트 정보는, 추출된 연관 영상들에 포함된 태그(tag) 정보, 메타 데이터 정보, 그 연관 영상을 포함하는 웹 페이지 정보, SNS 페이지 정보, 해당 페이지 내의 주요 텍스트 정보 등으로부터 획득될 수 있다. 도 11에서는 쿼리 영상을 대표하는 텍스트 정보로서 간단한 단어 형태의 텍스트 정보를 예시하고 있지만, 쿼리 영상을 대표하는 텍스트 정보는 전술한 바와 같이 다양할 수 있다. 예를 들어, 쿼리 영상이 특정 인물의 얼굴 영상이라고 가정하면, 그 인물의 이름, 연락처, 이메일 주소, 홈페이지 URL 등의 간략한 텍스트 정보가 연관 결과 정보로서 획득될 수도 있지만, 해당 인물이 SNS 상에 최근에 게시한 글, 해당 인물에 관한 뉴스 기사 등이 연관 결과 정보로서 획득될 수도 있을 것이다.

영상 기반 검색 시스템(100)에 의해 획득된 연관 결과 정보는 착용형 사용자 장치(200)로 전송되며[도 4의 S18 참조], 이 경우 착용형 사용자 장치(200)의 신뢰도 계산부(285)는 수신된 정보(즉, 연관 결과 정보)의 신뢰도를 계산한다[도 4의 S19 참조]. 이때, 신뢰도 계산부(285)를 통한 신뢰도 계산 방법으로는 아래와 같은 다양한 방식들이 채용될 수 있다.

일 예(제1 케이스)로, 신뢰도 계산부(285)는, 수신된 연관 결과 정보의 텍스트 자체의 정보도(즉, 텍스트 자체가 갖는 의미적 특이도(text distinctiveness))에 근거하여 정보 신뢰도를 계산할 수 있다. 예를 들어, 연관 결과 정보로서 수신된 텍스트가 '사람'인 경우 그 텍스트는 큰 의미가 없는 정보라고 할 수 있다. 반면에, 연관 결과 정보로서 수신된 텍스트가 '버락 오바마'인 경우 그 텍스트는 큰 의미를 갖는 정보라고 할 것이다. 이와 같이, 신뢰도 계산부(285)는 텍스트 자체의 정보도(entropy)를 이용하여 텍스트 신뢰도를 계산할 수 있다.

다른 예(제2 케이스)로, 신뢰도 계산부(285)는, 연관 결과 정보로서 수신된 연관 영상들과 쿼리 영상 간의 영상 유사도에 근거하여 텍스트 정보의 신뢰도를 계산할 수 있다. 쿼리 영상과 수신된 연관 영상들 간의 영상 유사도가 높을수록, 수신된 텍스트 정보도 신뢰도가 높다고 판단될 수 있기 때문이다.

이를 도 8 및 도 9를 참조하여 설명하면 다음과 같다. 제2 케이스의 경우, 도 8의 (A)의 쿼리 영상과 도 8의 (B)/(C)의 연관 영상 간의 영상 유사도, 또는 도 9의 (A)의 쿼리 영상과 도 9의 (B)의 연관 영상 간의 영상 유사도를 계산하는 방식이다.

또 다른 예(제3 케이스)로, 신뢰도 계산부(285)는, 연관 결과 정보로서 수신된 연관 영상들 간의 영상 유사도에 근거하여 텍스트 정보의 신뢰도를 계산할 수 있다. 즉, 쿼리 영상과 별개로, 수신된 연관 영상들 간의 영상 유사도가 높다면, 이와 같이 영상 유사도가 높은 영상들에 기초하여 추출된 텍스트 정보 또한 신뢰도가 높다고 판단하는 방식이 바로 그것이다. 일반적으로 검색 정확도가 높은 경우, 이에 따라 추출된 영상들 간의 유사도도 높게 나타나기 때문에, 추출된 연관 영상들 간의 영상 유사도에 근거하여 텍스트 신뢰도를 그에 맞게 할당할 수 있다.

이를 도 8 및 도 9를 참조하여 설명하면 다음과 같다. 제3 케이스의 경우, 도 8의 도 8의 (B)/(C)의 연관 영상들 사이에서의 영상 유사도, 또는 도 9의 (B)의 연관 영상들 사이에서의 영상 유사도를 계산하는 방식이다.

이때, 영상 간 유사도 계산 방법으로는, 영상 내 특징점(feature point)을 추출하여 그 특징점들을 비교하는 특징점 매칭(feature matching) 방식, 영상의 색상 값에 따른 픽셀 개수를 나타내는 히스토그램을 구하여 히스토그램을 비교하는 방법 등을 활용할 수 있다.

위의 제2 또는 제3 케이스에서와 같이, 텍스트 신뢰도 판별을 위해, 영상 기반 검색 시스템(100)에서 검색(추출)되는 연관 영상들을 이용하는 경우에는 해당 연관 영상들도 영상 기반 검색 시스템(100)으로부터 착용형 사용자 장치(200)로 전송될 수 있다. 다만, 시스템 구현 방식에 따라서는 쿼리 영상과 연관 영상 간 영상 유사도, 연관 영상 간의 영상 유사도는 영상 기반 검색 시스템(100)에서 계산하고, 그 유사도 값만을 텍스트 정보와 함께 착용형 사용자 장치(200)로 전송해줄 수도 있을 것이다. 혹은 상술한 정보 신뢰도 계산 과정 전체가 영상 기반 검색 시스템(100)에 의해 실행될 수도 있을 것이다. 다만, 설명의 집중을 위해, 착용형 사용자 장치(200) 내에서 신뢰도 계산이 이루어지는 것으로 가정하여 이하 설명을 계속하기로 한다.

또 다른 예(제4 케이스)로, 텍스트 간 일치 정도를 계산함으로써 텍스트 신뢰도를 계산할 수도 있다. 예를 들어, 하나의 쿼리 영상에 관하여 추출된 복수의 연관 영상들이 서로 다른 텍스트 정보를 나타내는 경우에는 그 텍스트 정보 간의 일치 정도가 낮게 평가될 것이다. 일 예로, 단일의 쿼리 영상에 관하여 추출된 연관 영상들이 단일의 텍스트로 대표되지 못하고 2개 이상의 이질적인 텍스트(ex. '기린'과 '낙타')를 가질 때가 바로 그것이다. 이 경우, 영상 기반 검색 시스템(100)은 그 2개 이상의 텍스트 중에서 상대적으로 고빈도의 텍스트 1개만을 선택하여 착용형 사용자 장치(200)로 전송할 수 있다. 경우에 따라서는, 그 2개 이상의 텍스트 모두를 착용형 사용자 장치(200)로 전송하고 착용형 사용자 장치(200) 내에서 텍스트 신뢰도 계산을 통해 어느 하나를 선택하도록 할 수도 있다. 물론 이러한 경우 텍스트 간 일치 정도가 높지 않아 텍스트 신뢰도가 낮게 나올 가능성이 높은 바, 후술할 쿼리 영역 변경부(283)를 통해서 쿼리 영역을 재설정한 후 재검색을 시도하는 것이 바람직할 수도 있다.

상술한 과정을 통해서 영상 기반 검색 시스템(200)으로부터 수신된 연관 결과 정보의 신뢰도가 계산되면, 영상 증강 구현부(286)는 그 신뢰도 값에 기준하여 그 연관 결과 정보의 영상 내 증강 여부를 결정한다. 이를 위해, 영상 증강 구현부(286)는 신뢰도 계산 결과를 사전 지정된 기준 신뢰도 값과 비교함으로써, 연관 결과 정보의 증강 여부를 결정할 수 있다.

만일 신뢰도 계산 결과가 상기 기준 신뢰도 값보다 낮은 경우라면, 기존의 쿼리 영상이 충분히 중요한(혹은 특징적인) 정보를 담고 있지 않다고 판단하여 영역 확장(segmentation merging), 영역 교체 등의 영역 변경을 수행할 수 있다(도 4의 단계 S20 및 단계 S15 참조). 이러한 영역 변경은 쿼리 영역 변경부(283)에 의해 수행될 수 있다.

도 8은 영상 기반 검색 시스템(100)으로부터 수신된 연관 결과 정보가 신뢰도가 낮은 것으로 판단되는 경우의 예시가 도시되고 있다. 도 8을 참조하면, '기린'의 머리 부분에 관한 쿼리 영상(도 8의 (A) 참조)에 상응하여 추출된 연관 영상들 중 일부(도 8의 (B)의 '낙타'에 관한 영상들 참조)는 잘못된 검색 결과를 보여주고 있다.

위와 같은 경우 쿼리 영역 변경부(283)는 기존에 선택된 영역 이외에, 주변에 연결된 영역 중에서 중요도가 높은 영역을 순차적으로 연결함으로써, 쿼리 영역을 변경할 수 있다. 이때, 연결된 영역으로부터 새롭게 추출된 쿼리 영역이 전술한 검색 조건을 만족할 경우에만 영상 기반 검색 시스템(100)으로 재전송되도록 할 수 있음은 물론이다. 이에 관한 일 예가 도 9를 통해 도시되고 있다. 도 9는 쿼리 영역 변경의 과정(반복 과정)을 거쳐 추출된 연관 영상들로부터 신뢰도가 높은 텍스트를 추출할 수 있는 경우의 예를 나타낸다. 도 9를 참조하면, 쿼리 영역을 '기린'의 머리 부분은 물론 목 부분까지 확장한 결과(도 9의 (A) 참조), 그에 따른 검색 결과(도 9의 (B))의 정확도가 높아진 예를 확인할 수 있다.

이상의 설명에서와 달리, 신뢰도 계산 결과가 기준 신뢰도 이상인 경우, 영상 증강 구현부(286)는 영상 기반 검색 시스템(100)으로부터 수신된 연관 결과 정보의 증강을 구현할 수 있다[도 4의 단계 S22 참조]. 위와 같이, 연관 결과 정보의 증강이 결정된 경우, 영상 증강 구현부(286)는 해당 쿼리 영상에 대응되는 쿼리 영역을 원본 영상에서 찾고, 그 찾아진 위치 근처에 연관 결과 정보를 증강할 수 있다[도 4의 단계 S21 및 도 11 참조].

이때, 영상 증강 구현부(286)는 해당 연관 결과 정보가 신뢰할 수 있는 정보로서 판별되었을 때 바로 해당 정보를 디스플레이 화면을 통해 증강시킬 수도 있지만, 이와는 다른 방식을 채용할 수도 있다. 예를 들어, 영상 증강 구현부(286)는 1차적으로 획득된 연관 결과 정보가 신뢰할 수 있는 정보로 판별되더라도, 추가적인 쿼리 영역의 확장 또는 변경을 통해서 더 신뢰도 높은 연관 결과 정보가 획득될 수도 있기 때문에 해당 정보의 증강을 보류할 수도 있다.

일 예로, 도 10에서와 같이, '기린'을 촬영한 영상이었음에도 불구하고, 쿼리 영역(도 10의 (A) 참조)이 '기린'의 목 부분으로 설정됨에 따라, 연관 영상들(도 10의 (B) 참조)이 '표범'에 관한 영상으로 추출되고 있다. 이 경우, 텍스트 자체의 정보도, 쿼리 영상과 연관 영상 간의 영상 유사도, 연관 영상들 간의 영상 유사도 모두 높은 신뢰도 값을 갖게 되므로, 잘못된 정보가 증강될 가능성이 있다.

위와 같은 경우를 방지하기 위하여, 1차 쿼리 영상에 따른 연관 결과 정보의 신뢰도가 기준 신뢰도 이상의 값을 나타낸 경우라도, 그 이후에 주변 영역들 중에서 중요도가 높은 영역을 순차적으로 연결하여 더 넓은 면적의 쿼리 영역을 생성하고, 이에 따라 생성되는 2차 쿼리 영상을 이용하여 연관 결과 정보를 다시 획득함으로써, 연관 결과 정보의 신뢰도를 검증해볼 수도 있다.

이에 따라 2차적으로 획득된 연관 결과 정보의 신뢰도가 종전 1차 획득된 연관 결과 정보의 신뢰도보다 높거나 유사한 수준인 경우, 그 확장된 쿼리 영역과 관련된 연관 결과 정보를 영상 내에 증강할 수 있을 것이다. 또한 반복적으로 영역 확장을 수행하여 추출된 연관 결과 정보들 중에서 가장 신뢰도가 높은 연관 결과 정보를 최종 증강할 정보로 결정할 수도 있다.

이때, 신뢰도 검증을 위한 쿼리 영역의 확장은 다음과 기준에 따라 반복 횟수를 조절할 수 있다. 일 예로, 1차 쿼리 영상에 상응하여 획득된 연관 결과 정보와 영역 확장된 2차 쿼리 영상에 상응하여 획득된 연관 결과 정보가 일치하고, 연관 결과 정보의 신뢰도 값이 영역 확장에 따라 상승한 경우에는 해당 연관 결과 정보에 관한 검증이 완료된 것으로 판단하여 쿼리 영역의 확장을 중지하고 정보 증강을 실행할 수 있다. 반면에, 1차적으로 획득된 연관 결과 정보와 2차적으로 획득된 연관 결과 정보가 일치하지 않는 경우에는 쿼리 영역의 확장을 사전 지정한 횟수만큼 더 반복할 수도 있을 것이다. 물론 이에 관해서는 이외에도 다양한 변형이 가능할 것이다.

또한 본 발명의 실시예에 의할 때, 원본 영상에서 복수개의 중요한 영역을 찾아 연관 결과 정보를 증강하기 위하여 먼저 이용한 쿼리 영역은 제거하고 남은 영역들을 기준으로 쿼리 영역을 찾는 과정을 반복할 수도 있다[도 4의 단계 S23 및 단계 S24 참조]. 이에 의하면, 하나의 원본 영상에 존재하는 서로 다른 대상(주요 피사체) 모두에 관한 정보 증강이 가능해질 수 있다.

이상에서는 쿼리 영역의 변경 방식으로서 쿼리 영역의 확장을 주로 설명하였지만, 쿼리 영역의 교체, 경우에 따라서는 쿼리 영역의 축소도 활용될 수 있음은 물론이다. 또한 이상에서는 최초에 생성되는 쿼리 영상이 1개인 경우를 중심으로 설명하였지만, 최초 2개 이상의 쿼리 영상이 생성되어 영상 기반 검색 시스템(100)에 동시 또는 병렬적으로 전송(질의)될 수도 있음은 물론이다. 예를 들어, 중요도가 유사하거나 기준치 이상인 영역이 복수개 존재하고 그 복수의 영역 간이 서로 일정 거리 이상 이격되어 있는 경우, 상이한 대상(주요 피사체)에 관한 영상 영역일 가능성이 높으며, 이러한 경우 동시 또는 병렬 전송을 통한 일괄적 영상 증강을 구현할 수 있다.

또한 본 명세서에서는 설명 전반을 통해서 착용형 사용자 장치(200)에서 신뢰도 계산을 직접 수행하는 경우를 중심으로 기재하였지만, 전술한 바와 같이 신뢰도 계산 과정은 영상 기반 검색 시스템(100)에 의해 대체 수행될 수도 있다. 이러한 케이스에서, 만일 연관 결과 정보의 신뢰도가 사전 지정된 기준 신뢰도 미만인 경우, 영상 기반 검색 시스템(100)은 앞서 설명한 쿼리 영역의 변경을 요청하는 메시지를 착용형 사용자 장치(200)로 전송함으로써, 신뢰성 높은 영상 증강이 가능하도록 할 수 있다.

본 발명의 실시 예에 따른 방법 및 장치는 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (26)

1. 착용형 사용자 장치(wearable user equipment)로서,
   통신 모듈; 및 제어 모듈을 포함하고,
   상기 제어 모듈은,
   획득된 원본 영상으로부터 쿼리 영상을 생성하는 쿼리 영상 생성부;
   상기 쿼리 영상에 대한 영상 기반 검색 시스템의 검색 결과에 따라 획득되는 연관 결과 정보의 신뢰도를 계산하는 신뢰도 계산부;
   상기 신뢰도 계산 결과가 사전 지정된 기준 신뢰도 미만인 경우 상기 쿼리 영상의 영상 영역의 교체 및 영상 영역 확대 중 어느 하나를 실행하는 쿼리 영역 변경부; 및
   상기 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우 디스플레이 화면을 통해 상기 연관 결과 정보의 증강을 구현하는 영상 증강 구현부;
   를 포함하고,
   상기 제어 모듈은,
   상기 원본 영상을 비중첩의 복수의 영상 영역으로 분할하는 영상 분할부; 및
   사전 지정된 가중치 부여 기준에 따라 상기 원본 영상 내의 각 분할 영상 영역의 중요도를 정의하는 영상 정보 가공부를 더 포함하고,
   상기 쿼리 영상 생성부는,
   상기 영상 정보 가공부에 의해 정의되는 중요도 정보에 기반하여, 상기 복수
   의 분할 영상 영역 중 적어도 하나의 분할 영상 영역을 쿼리 영역으로 추출하고,
   상기 쿼리 영상 생성부는,
   상기 추출된 쿼리 영역이 사전 지정된 검색 조건에 부합하는지를 판단하고,
   상기 검색 조건에 부합하는 경우 상기 추출된 쿼리 영역 자체를 상기 쿼리 영상으로 생성하고, 상기 검색 조건에 부합하지 않는 경우 상기 검색 조건에 부합되도록 쿼리 영역을 이웃하는 주변 영상 영역까지로 확장하여 상기 쿼리 영상으로 생성하는 착용형 사용자 장치.
   
2. 삭제
3. 제1항에 있어서,
   상기 쿼리 영상 생성부는,
   상기 중요도가 가장 높은 분할 영상 영역을 상기 쿼리 영역으로 추출하거나 또는 상기 중요도가 가장 높은 분할 영상 영역과 이에 이웃하는 복수의 분할 영상 영역까지를 포함하여 상기 쿼리 영역으로 추출하는, 착용형 사용자 장치.
   
4. 제1항에 있어서,
   상기 영상 정보 가공부는,
   상기 원본 영상의 각 픽셀의 색상 값 및 밝기 값 중 적어도 하나가 주변 픽셀들과의 관계에서 사전 지정된 기준치 이상의 차이를 갖는 픽셀 또는 영상 영역, 상기 원본 영상 내에서 각 피사체 영역을 구분짓는 경계선에 해당하는 픽셀 또는 영상 영역, 상기 원본 영상 내에서 사용자 시선 또는 시점(view point)과 상응하는 픽셀 또는 영상 영역 중 적어도 어느 하나에 해당하는 경우,
   상기 가중치 부여 기준에 따라 다른 픽셀 또는 다른 영상 영역에 비해 상대적으로 높은 가중치를 적용하여 상기 분할 영상 영역 별 중요도를 정의하는, 착용형 사용자 장치.
   
5. 삭제
6. 제1항에 있어서,
   상기 쿼리 영상 생성부는,
   쿼리 영역의 크기가 사전 지정된 기준치 이상인 경우, 쿼리 영역의 너비 및 높이의 비율(aspect ratio)이 사전 지정된 기준치 미만인 경우 중 적어도 하나를 만족하는 경우 상기 사전 지정된 검색 조건에 부합하는 것으로 판단하는, 착용형 사용자 장치.
   
7. 제1항에 있어서,
   상기 통신 모듈은, 상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보를 수신하고,
   상기 신뢰도 계산부는,
   상기 수신된 텍스트 정보의 정보도(information entropy)에 근거하여 텍스트 신뢰도를 계산하는, 착용형 사용자 장치.
   
8. 제1항에 있어서,
   상기 통신 모듈은, 상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보 및 상기 쿼리 영상과 연관되는 적어도 하나의 연관 영상을 수신하고,
   상기 신뢰도 계산부는,
   상기 쿼리 영상과 상기 적어도 하나의 연관 영상 간의 영상 유사도에 근거하여 상기 텍스트 정보의 신뢰도를 계산하는, 착용형 사용자 장치.
   
9. 제1항에 있어서,
   상기 통신 모듈은, 상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보 및 상기 쿼리 영상과 연관되는 복수의 연관 영상을 수신하고,
   상기 신뢰도 계산부는,
   상기 복수의 연관 영상 간의 영상 유사도에 근거하여 상기 텍스트 정보의 신뢰도를 계산하는, 착용형 사용자 장치.
   
10. 제8항 또는 제9항에 있어서,
    상기 영상 유사도는, 비교 영상 간의 특징점 매칭(feature matching) 및 픽셀 별 색상 값에 따른 히스토그램 분포에 근거하여 계산되는, 착용형 사용자 장치.
    
11. 제1항에 있어서,
    상기 쿼리 영역 변경부는, 상기 신뢰도 계산 결과가 상기 기준 신뢰도 미만인 경우, 기존 쿼리 영상의 주변 영상 영역 중에서 상기 중요도가 높은 순서로 적어도 하나의 분할 영상 영역을 기존 쿼리 영상의 영상 영역에 추가하는 영상 영역 확대를 실행하고,
    상기 쿼리 영상 생성부는, 상기 영상 영역 확대가 실행된 신규 쿼리 영역에 상응하는 쿼리 영상을 생성하며,
    상기 통신 모듈은 상기 신규 쿼리 영역에 상응하는 쿼리 영상을 상기 영상 기반 검색 시스템으로 재전송하는, 착용형 사용자 장치.
    
12. 제1항에 있어서,
    상기 쿼리 영상 생성부는, 상기 원본 영상으로부터 1차 쿼리 영상과 2차 쿼리 영상을 생성하고,
    상기 신뢰도 계산부는, 상기 1차 쿼리 영상에 관한 연관 결과 정보 및 상기 2차 쿼리 영상에 관한 연관 결과 정보의 비교를 통해서 상기 연관 결과 정보의 신뢰도를 계산하는, 착용형 사용자 장치.
    
13. 제12항에 있어서,
    상기 2차 쿼리 영상은, 상기 1차 쿼리 영상의 영상 영역을 포함하는 더 넓은 면적의 영상 영역으로 생성되거나 또는 상기 1차 쿼리 영상의 영상 영역의 주변 영역들 중 상기 1차 쿼리 영상의 영상 영역을 제외한 영상 영역으로 생성되며,
    상기 2차 쿼리 영상은, 상기 통신 모듈을 통해서 상기 1차 쿼리 영상과 동시에 상기 영상 기반 검색 시스템에 전송되거나, 상기 1차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산이 완료된 이후에 상기 영상 기반 검색 시스템에 전송되는, 착용형 사용자 장치.
    
14. 제12항에 있어서,
    상기 영상 증강 구현부는,
    상기 1차 쿼리 영상에 관한 연관 결과 정보 및 상기 2차 쿼리 영상에 관한 연관 결과 정보가 일치하며, 각 연관 결과 정보에 관한 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우, 디스플레이 화면을 통해 해당 연관 결과 정보의 증강을 구현하는, 착용형 사용자 장치.
    
15. 제14항에 있어서,
    상기 영상 증강 구현부는,
    상기 1차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산값과 상기 2차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산값을 비교하여, 상대적으로 더 높은 쿼리 영상에 따른 영상 영역의 위치에 상기 연관 결과 정보의 증강을 구현하는, 착용형 사용자 장치.
    
16. 증강 현실 구현 방법으로서,
    획득된 원본 영상으로부터 쿼리 영상을 생성하는 단계;
    상기 쿼리 영상에 대한 영상 기반 검색 시스템의 검색 결과에 따라 획득되는 연관 결과 정보의 신뢰도를 계산하는 단계;
    상기 신뢰도 계산 결과가 사전 지정된 기준 신뢰도 미만인 경우 상기 쿼리 영상의 영상 영역의 교체 및 영상 영역 확대 중 어느 하나를 실행하는 단계; 및
    상기 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우 디스플레이 화면을 통해 상기 연관 결과 정보의 증강을 구현하는 단계
    를 포함하고,
    상기 쿼리 영상을 생성하는 단계 이전에,
    상기 원본 영상을 비중첩의 복수의 영상 영역으로 분할하는 단계;
    사전 지정된 가중치 부여 기준에 따라 상기 원본 영상 내의 각 분할 영상 영
    역의 중요도를 정의하는 단계; 및
    상기 정의된 중요도 정보에 기반하여, 상기 복수의 분할 영상 영역 중 적어도 하나의 분할 영상 영역을 쿼리 영역으로 추출하는 단계를 더 포함하고,
    상기 쿼리 영상을 생성하는 단계는,
    상기 추출된 쿼리 영역이 사전 지정된 검색 조건에 부합하는지를 판단하는 단계;
    상기 검색 조건에 부합하는 경우 상기 추출된 쿼리 영역 자체를 상기 쿼리 영상으로 생성하는 단계; 및 상기 검색 조건에 부합하지 않는 경우 상기 검색 조건에 부합되도록 쿼리 영역을 이웃하는 주변 영상 영역까지로 확장하여 상기 쿼리 영상으로 생성하는 단계를 포함하는 증강 현실 구현 방법.
    
17. 삭제
18. 제16항에 있어서,
    상기 중요도를 정의하는 단계는,
    상기 원본 영상의 각 픽셀의 색상 값 및 밝기 값 중 적어도 하나가 주변 픽셀들과의 관계에서 사전 지정된 기준치 이상의 차이를 갖는 픽셀 또는 영상 영역, 상기 원본 영상 내에서 각 피사체 영역을 구분짓는 경계선에 해당하는 픽셀 또는 영상 영역, 상기 원본 영상 내에서 사용자 시선 또는 시점(view point)과 상응하는 픽셀 또는 영상 영역 중 적어도 어느 하나에 해당하는 경우,
    상기 가중치 부여 기준에 따라 다른 픽셀 또는 다른 영상 영역에 비해 상대적으로 높은 가중치를 적용하여 상기 분할 영상 영역 별 중요도를 정의하는 단계인, 증강 현실 구현 방법.
    
19. 제16항에 있어서,
    상기 검색 조건에 부합하는지를 판단하는 단계는, 쿼리 영역의 크기가 사전 지정된 기준치 이상인 경우, 쿼리 영역의 너비 및 높이의 비율(aspect ratio)이 사전 지정된 기준치 미만인 경우 중 적어도 하나를 만족하는 경우 상기 사전 지정된 검색 조건에 부합하는 것으로 판단하는, 증강 현실 구현 방법.
    
20. 제16항에 있어서,
    상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보를 수신한 경우,
    상기 신뢰도를 계산하는 단계는,
    상기 수신된 텍스트 정보의 정보도(information entropy)에 근거하여 텍스트 신뢰도를 계산하는 단계를 포함하는, 증강 현실 구현 방법.
    
21. 제16항에 있어서,
    상기 영상 기반 검색 시스템으로부터 상기 연관 결과 정보로서 상기 쿼리 영상을 대표하는 텍스트 정보 및 상기 쿼리 영상과 연관되는 복수의 연관 영상을 수신한 경우,
    상기 신뢰도를 계산하는 단계는,
    상기 쿼리 영상과 상기 연관 영상 간의 영상 유사도, 상기 복수의 연관 영상 간의 영상 유사도에 근거하여 상기 텍스트 정보의 신뢰도를 계산하는 단계를 포함하는, 증강 현실 구현 방법.
    
22. 제16항에 있어서,
    상기 쿼리 영상을 생성하는 단계에서, 상기 원본 영상으로부터 1차 쿼리 영상과 2차 쿼리 영상이 생성되되,
    상기 신뢰도를 계산하는 단계는, 상기 1차 쿼리 영상에 관한 연관 결과 정보 및 상기 2차 쿼리 영상에 관한 연관 결과 정보의 비교를 통해서 상기 연관 결과 정보의 신뢰도를 계산하는 단계를 포함하는, 증강 현실 구현 방법.
    
23. 제22항에 있어서,
    상기 2차 쿼리 영상은, 상기 1차 쿼리 영상의 영상 영역을 포함하는 더 넓은 면적의 영상 영역으로 생성되거나 또는 상기 1차 쿼리 영상의 영상 영역의 주변 영역들 중 상기 1차 쿼리 영상의 영상 영역을 제외한 영상 영역으로 생성되며,
    상기 2차 쿼리 영상은, 통신 모듈을 통해서 상기 1차 쿼리 영상과 동시에 상기 영상 기반 검색 시스템에 전송되거나, 상기 1차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산이 완료된 이후에 상기 영상 기반 검색 시스템에 전송되는, 증강 현실 구현 방법.
    
24. 제22항에 있어서,
    상기 증강을 구현하는 단계는,
    상기 1차 쿼리 영상에 관한 연관 결과 정보 및 상기 2차 쿼리 영상에 관한 연관 결과 정보가 일치하며, 각 연관 결과 정보에 관한 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우, 디스플레이 화면을 통해 해당 연관 결과 정보의 증강을 구현하는 단계인, 증강 현실 구현 방법.
    
25. 제24항에 있어서,
    상기 증강을 구현하는 단계는,
    상기 1차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산값과 상기 2차 쿼리 영상에 관한 연관 결과 정보의 신뢰도 계산값을 비교하여, 상대적으로 더 높은 쿼리 영상에 따른 영상 영역의 위치에 상기 연관 결과 정보의 증강을 구현하는 단계인, 증강 현실 구현 방법.
    
26. 카메라 모듈; 디스플레이 모듈; 통신 모듈; 상기 카메라 모듈로부터 획득된 원본 영상으로부터 쿼리 영상을 생성하는 쿼리 영상 생성부; 생성된 쿼리 영상을 영상 기반 검색 시스템으로 전송하며, 상기 영상 기반 검색 시스템으로부터 상기 쿼리 영상에 관한 연관 결과 정보가 상기 통신 모듈을 통해 수신된 경우 상기 디스플레이 모듈에 의한 화면을 통해 상기 연관 결과 정보의 증강을 구현하는 제어 모듈을 포함하는 착용형 사용자 장치; 및
    상기 쿼리 영상을 수신하여 영상 기반 검색을 수행하고, 검색 결과에 따라 획득되는 연관 결과 정보의 신뢰도를 계산하며, 상기 신뢰도 계산 결과가 사전 지정된 기준 신뢰도 미만인 경우 상기 쿼리 영상의 영상 영역의 교체 및 영상 영역 확대 중 어느 하나를 요청하는 요청 메시지를 상기 착용형 사용자 장치로 전송하고, 상기 신뢰도 계산 결과가 상기 기준 신뢰도 이상인 경우 해당 연관 결과 정보를 상기 착용형 사용자 장치로 전송하는, 상기 영상 기반 검색 시스템
    을 포함하고,
    상기 제어 모듈은,
    상기 원본 영상을 비중첩의 복수의 영상 영역으로 분할하는 영상 분할부; 및 사전 지정된 가중치 부여 기준에 따라 상기 원본 영상 내의 각 분할 영상 영역의 중요도를 정의하는 영상 정보 가공부를 더 포함하고,
    상기 쿼리 영상 생성부는,
    상기 영상 정보 가공부에 의해 정의되는 중요도 정보에 기반하여, 상기 복수의 분할 영상 영역 중 적어도 하나의 분할 영상 영역을 쿼리 영역으로 추출하고, 상기 추출된 쿼리 영역이 사전 지정된 검색 조건에 부합하는지를 판단하고, 상기 검색 조건에 부합하는 경우 상기 추출된 쿼리 영역 자체를 상기 쿼리 영상으로 생성하고, 상기 검색 조건에 부합하지 않는 경우 상기 검색 조건에 부합되도록 쿼리 영역을 이웃하는 주변 영상 영역까지로 확장하여 상기 쿼리 영상으로 생성하는 증강 현실 구현 시스템.
    

Images