KR20130036839A - 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법 - Google Patents

증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20130036839A
KR20130036839A KR1020110101011A KR20110101011A KR20130036839A KR 20130036839 A KR20130036839 A KR 20130036839A KR 1020110101011 A KR1020110101011 A KR 1020110101011A KR 20110101011 A KR20110101011 A KR 20110101011A KR 20130036839 A KR20130036839 A KR 20130036839A
Authority
KR
South Korea
Prior art keywords
feature points
image
reference image
determined
matching
Prior art date
Application number
KR1020110101011A
Other languages
English (en)
Other versions
KR101320247B1 (ko
Inventor
서정훈
김창열
전혜민
Original Assignee
(주)필링크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)필링크 filed Critical (주)필링크
Priority to KR1020110101011A priority Critical patent/KR101320247B1/ko
Publication of KR20130036839A publication Critical patent/KR20130036839A/ko
Application granted granted Critical
Publication of KR101320247B1 publication Critical patent/KR101320247B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages

Abstract

본 발명은 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법에 관한 것이다. 본 발명에 따른 영상 정합을 위한 장치는, 객체별 다수의 참조 영상의 특징점들을 해당 객체의 참조 영상 그룹에 저장하는 데이터베이스와, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 다수의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 획득된 촬영 영상의 특징점들과 상기 결정한 객체별 다수의 참조 영상의 특징점들을 정합하는 영상 정합부와, 참조 영상 그룹별로 다수의 참조 영상의 특징점 정합 개수를 합산하고, 참조 영상 그룹별로 다수의 참조 영상의 특징점 개수를 합산하며, 상기 특징점 정합 개수 합산 결과와 특징점 개수 합산 결과를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상 그룹을 선택하고, 상기 선택된 참조 영상 그룹에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 한다.

Description

증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법{APPARATUS AND METHOD FOR IMAGE MATCHING IN AUGMENTED REALITY SERVICE SYSTEM}
본 발명은 영상 정합(image matching)에 관한 것으로서, 특히, 증강현실(Augmented Reality) 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법에 관한 것이다.
최근 디지털 이미지 처리 기술이 발전함에 따라, 소위 증강현실(Augmented Reality)이라 불리는 기술이 상용화되어 가고 있는 추세이다.
증강현실이란, 단말기의 카메라 모듈을 통해 대상 객체를 비추게 되면, 화면에 보이는 장면 위에 대상 객체에 대한 부가정보를 실시간으로 동시에 출력하기 위한 기술이다. 여기서, 부가정보는, 화면에 보이는 장면에 포함된 대상 객체에 대한 관련 정보를 의미하며, 예를 들어 대상 객체에 따라 하기 <표 1>과 같은 정보들이 부가정보에 속할 수 있다.
대상 객체 부가정보
맛집 메뉴, 가격, 평점
편의점 이벤트 상품, 할인 카드
관공서 업무 시간, 가용 서비스
이와 같이, 증강현실 기술은 현실세계 만으로는 얻기 어려운 부가적인 정보들을 보강하여 현실감 있게 제공할 수 있다. 이에 따라, 증강현실 기술은 다양한 서비스환경에 응용이 가능하며, 특히 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
이러한 증강현실 기술을 적용하여 서비스를 구현하기 위해서는 사용자가 단말기의 카메라 모듈을 통해 주시하고 있는 대상 객체를 정확히 식별하는 것이 전제되어야 한다. 종래 증강현실 기술은 단말기의 위치 및 방향 정보를 기반으로 대상 객체를 식별하며, 상기 위치 및 방향 정보를 획득하기 위해 사용하는 센서(예를 들어, 위성항법시스템(GPS: Global Positioning System) 센서 및 콤파스(Compass) 센서)의 오차(약 ± 50m 정도)로 인해 객체 식별에 오류가 발생할 수 있다. 구체적으로, 사용자가 단말기의 카메라 모듈을 통해 주시하고 있는 객체가 아닌, 오차범위 내에 존재하는 다른 객체를 대상 객체로 오인 식별할 수 있다. 이 경우, 오인 식별된 다른 객체의 부가정보가 화면에 표시될 수 있으며, 이에 따라 사용자에게 적절한 서비스를 제공할 수 없는 문제점이 있다.
따라서, 본 발명의 목적은 증강현실 서비스를 지원하는 시스템에서 전방 객체를 정확히 식별하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 증강현실 서비스를 지원하는 시스템에서 단말기의 촬영 영상과 증강현실 제공서버의 데이터베이스 내 참조 영상들 간 정합을 통해 전방 객체를 정확히 식별하기 위한 새로운 영상 정합 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 증강현실 서비스를 지원하는 시스템에서 영상 정합 정보를 기반으로 전방 객체에 대한 시점 및 거리를 결정하기 위한 장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 제1 견지에 따르면, 영상 정합을 위한 장치는, 객체별 다수의 참조 영상의 특징점들을 해당 객체의 참조 영상그룹에 저장하는 데이터베이스와, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 다수의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 획득된 촬영 영상의 특징점들과 상기 결정한 객체별 다수의 참조 영상의 특징점들을 정합하는 영상 정합부와, 참조 영상 그룹별로 다수의 참조 영상의 특징점 정합 개수를 합산하고, 참조 영상 그룹별로 다수의 참조 영상의 특징점 개수를 합산하며, 상기 특징점 정합 개수 합산 결과와 특징점 개수 합산 결과를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상 그룹을 선택하고, 상기 선택된 참조 영상 그룹에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 한다.
본 발명의 제2 견지에 따르면, 영상 정합을 위한 장치는, 객체별 다수의 참조 영상의 특징점들을 해당 객체의 참조 영상 그룹에 저장하는 데이터베이스와, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 다수의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 획득된 촬영 영상의 특징점들과 상기 결정한 객체별 다수의 참조 영상의 특징점들을 정합하는 영상 정합부와, 객체별 다수의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하고, 상기 선택된 참조 영상이 속한 참조 영상 그룹에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 한다.
본 발명의 제3 견지에 따르면, 영상 정합을 위한 장치는, 객체별 하나의 참조 영상의 특징점들을 저장하는 데이터베이스와, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 하나의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 하나의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 나머지 참조 영상의 특징점들을 대상으로 정합하는 영상 정합부와, 객체별 하나의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하고, 상기 선택된 참조 영상에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 한다.
본 발명의 제4 견지에 따르면, 영상 정합을 위한 장치는, 객체별 하나의 참조 영상의 특징점들을 저장하는 데이터베이스와, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 하나의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 모든 객체별 하나의 참조 영상의 특징점들을 대상으로 정합하는 영상 정합부와, 객체별 하나의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하고, 상기 선택된 참조 영상에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 한다.
본 발명은 증강현실 서비스를 지원하는 시스템에서 단말기의 촬영 영상과 증강현실 제공서버의 데이터베이스 내 참조 영상들 간 새로운 영상 정합 기술을 적용함으로써, 전방 객체를 정확히 식별할 수 있으며, 이에 따라 전방 객체에 대한 부가정보를 화면 상에 정확하게 출력할 수 있는 이점이 있다. 추가적으로, 본 발명은 영상 정합 정보를 기반으로 전방 객체에 대한 시점 및 거리를 결정함으로써, 상기 결정된 시점 및 거리정보에 따라 단말의 화면에 표시되는 부가정보의 종류 및 크기를 다르게 설정할 수 있다.
도 1은 본 발명에 따른 증강현실 서비스를 지원하는 시스템을 개략적으로 나타낸 블럭 구성도,
도 2는 본 발명에 따른 증강현실 서비스를 지원하는 시스템 내 휴대용 단말기의 장치 구성을 개략적으로 나타낸 블럭 구성도,
도 3은 본 발명에 따른 증강현실 서비스를 지원하는 시스템 내 증강현실 제공서버의 장치 구성을 개략적으로 나타낸 블럭 구성도,
도 4는 본 발명의 제1 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 하나의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도,
도 5는 본 발명의 제1 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 하나의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 예시도,
도 6은 본 발명의 제2 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 하나의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도,
도 7은 본 발명의 제2 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 하나의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 예시도,
도 8은 본 발명의 제3 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 다수의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도, 및
도 9는 본 발명의 제4 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 다수의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 본 발명은 증강현실 서비스를 지원하는 시스템에서 전방 객체를 정확히 식별하기 위한 장치 및 방법에 대해 설명한다. 특히, 본 발명은 증강현실 서비스를 지원하는 시스템에서 전방 객체를 정확히 식별하기 위한 촬영 영상과 참조 영상 간 새로운 영상 정합 장치 및 방법에 대해 설명한다. 추가적으로, 영상 정합 정보를 기반으로 전방 객체에 대한 시점 및 거리를 결정하기 위한 장치 및 방법에 대해 설명한다.
이하 설명에서, 촬영 영상은 카메라 모듈을 통해 촬영되는 영상을 의미하고, 참조 영상은 사전에 촬영되어 촬영 영상과의 정합에 이용되는 영상을 의미한다.
이하 설명에서는 하나의 영상에 하나의 객체가 포함되는 것을 예로 들어 설명할 것이나, 하나의 영상에 다수의 객체가 포함되는 경우에도 적용 가능하며, 이 경우 이하 설명에서 사용하는 '객체'는 하나의 영상에 포함되는 다수의 객체 중 화면의 가장 중심에 위치하는 객체를 의미한다고 가정한다.
이하 설명에서, 영상 정합(image matching) 기술은, 촬영 영상에 포함된 장면과 동일한 장면을 포함하는 참조 영상을 검색하는 기술로서, 촬영 영상을 데이터베이스 내 참조 영상들과 비교하여 가장 높은 정합 유사도(matching ratio)를 가지는 참조 영상을 촬영 영상에 대한 최종 정합 영상으로 결정한다.
본 발명에 따른 영상 정합 기술은, 촬영 영상과 참조 영상에서 특징점(feature point)들을 추출한 후, 상기 추출된 촬영 영상의 특징점들과 참조 영상의 특징점들 간 최단 거리(nearest neighbor) 비교법을 이용하여 정합을 수행한다. 여기서 '특징점'은 영상의 특징이 되는 포인트로서, 실수 형식의 고차원(예: 64차원) 벡터값으로 형성된다. 예를 들어, 상기 최단 거리 비교법으로, 특징점 쌍 별로 동일 차원에서의 두 특징점 값 간 차이의 합(SAD: Sum of Absolute Difference)을 계산하고, 상기 계산된 SAD가 최소가 되는 특징점 쌍을 동일한 특징점으로 간주하는 정합 방식을 사용할 수 있다.
여기서, 상기 SAD는 하기 <수학식 1>을 이용하여 계산할 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
는 n차원을 갖는 촬영 영상과 참조 영상의 특징점에 대하여, 동일 차원에서의 두 특징점 값 간 차이의 합을 나타내며, 여기서, 특징점의 차원 수는 달라질 수 있다.
Figure pat00003
는 촬영 영상의 특징점을 나타내고,
Figure pat00004
는 참조 영상의 특징점을 나타낸다.
한편, 촬영 영상 및 참조 영상들 모두 해당 영상정보의 특성에 따라 서로 다른 특징점 개수를 가진다. 일반적으로 복잡한 장면의 영상에서는 많은 특징점들이 추출되고 비교적 단순한 장면의 영상에서는 적은 개수의 특징점들이 추출된다. 이는 각각의 (촬영 영상 - 참조 영상) 쌍이 가지는 특징점 정합 개수를 해당 쌍의 정합 유사도로 해석할 수 없음을 의미하며, 따라서 상기 특징점 정합 개수로는 최적 정합 영상 쌍(best match)을 결정할 수 없다. 또한 하나의 특징점 쌍의 SAD값이, 다른 특징점 쌍들의 SAD값 대비 최소의 값을 가진다고 하더라도, 최소의 SAD값을 갖는 두 특징점은 실제로 동일한 특징점일 수도 있고 아닐 수도 있다. 두 특징점이 동일한 특징점일 경우에만 특징점 정합 개수로 계수하여야 하므로, 본 발명에서는 최소 SAD값을 갖는 두 특징점이 하기 <수학식 2>를 만족하는 경우에만 해당 특징점 쌍을 동일한 특징점으로 간주하기로 한다.
[수학식 2]
Figure pat00005
여기서,
Figure pat00006
은 변별성 비율(Distinctiveness Ratio)을 의미하며, 0.5~0.9사이의 값을 가질 수 있다. 상기 <수학식 2>는, 촬영 영상의 특징점 가 참조 영상의 특징점
Figure pat00008
와 갖는 최소 SAD값이, 다른 특징점
Figure pat00009
와 갖는 두 번째로 작은 SAD값보다 훨씬 작아야만, 최소 SAD값을 가지는 촬영 영상의 특징점과 참조 영상의 특징점
Figure pat00010
를 동일한 특징점으로 결정한다는 것을 의미한다.
이와 같이, 상기 <수학식 1> 및 <수학식 2>를 기반으로, 촬영 영상 내 각 특징점들에 대하여, 대응되는 참조 영상 내 특징점을 결정할 수 있다.
도 1은 본 발명에 따른 증강현실 서비스를 지원하는 시스템을 개략적으로 나타낸 블럭 구성도이다.
도시된 바와 같이, 본 발명에 따른 증강현실 서비스를 지원하는 시스템은 휴대용 단말기(100), 유무선 통신망(110) 및 증강현실 제공서버(120)를 포함하여 구성된다.
상기 휴대용 단말기(100)는 유무선 통신망(110)과 연동하여 무선 통신으로 통상적인 음성 통화 및 데이터 통신을 수행하는 단말기로서, 특히 본 발명에 따라 촬영 영상을 기반으로 사용자에게 증강현실 서비스를 제공하는 다양한 기기를 의미한다. 예를 들어, 상기 휴대용 단말기(100)는 셀룰러 폰(Cellular Phone), 스마트폰(Smart Phone), 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable) 등이 될 수 있다.
상기 휴대용 단말기(100)는 카메라 모듈을 통해 획득된 촬영 영상을 유무선 통신망(110)을 통해 증강현실 제공서버(120)로 제공하고, 유무선 통신망(110)을 통해 증강현실 제공서버(120)로부터 촬영 영상 내 대상 객체에 대한 부가 정보를 획득하며, 상기 획득된 부가 정보를 촬영 영상과 병합하여 화면에 출력한다. 여기서, 상기 휴대용 단말기(100)는 상기 촬영 영상과 함께 단말 자신의 위치 및 방향 정보를 증강현실 제공서버(120)로 제공한다. 이에 따라 증강현실 제공서버(120)는 상기 촬영 영상에 대해 데이터베이스 내 모든 객체별 참조 영상들과의 정합을 수행하지 않고, 상기 휴대용 단말기(100)가 위치한 영역 내 객체에 대한 참조 영상들만을 정합 대상으로 할 수 있다. 또한, 상기 휴대용 단말기(100)는 증강현실 제공서버(120)로부터 촬영 영상 내 대상 객체에 대한 부가 정보와 함께 해당 객체에 대한 시점 및 거리 정보를 획득하며, 해당 시점 및 거리 정보에 따라 화면에 표시되는 부가정보의 종류 및 크기가 다르게 설정될 수 있다.
상기 유무선 통신망(110)은 휴대용 단말기(100)와 증강현실 제공서버(120)를 연결하는 망(Network)을 의미한다.
상기 증강현실 제공서버(120)는 유무선 통신망(110)과 연동하여 휴대용 단말기(100)로 촬영 영상 내 객체에 대한 부가정보를 제공한다. 이를 위해, 상기 증강현실 제공서버(120)는 참조 영상들의 특징점들과 각 참조 영상들에 대한 정확한 위치정보(위/경도)를 데이터베이스에 미리 저장하고, 휴대용 단말기(100)의 카메라 모듈을 통해 촬영된 영상을 데이터베이스 내 참조 영상들과 정합하여 동일한 참조 영상을 검색하며, 상기 검색된 참조 영상 내 객체에 대한 부가 정보를 획득하여 상기 휴대용 단말기(100)로 전송한다. 이때, 상기 증강현실 제공서버(120)는 휴대용 단말기(100)의 위치 및 방향 정보와 각 참조 영상별 위치 정보를 기반으로 GPS 오차범위 내의 위치를 가지는 참조 영상들을 정합 대상으로 한다. 또한, 증강현실 제공서버(120)는 정합된 참조 영상을 기반으로 해당 객체에 대한 시점 및 거리를 결정하여, 해당 시점 및 거리 정보에 따라 다른 부가 정보를 상기 휴대용 단말기(100)로 전송할 수 있다.
도 2는 본 발명에 따른 증강현실 서비스를 지원하는 시스템 내 휴대용 단말기의 장치 구성을 개략적으로 나타낸 블럭 구성도이다.
도시된 바와 같이, 휴대용 단말기는, 제어부(200), 카메라 모듈(202), 영상 처리부(204), 부가정보 병합부(206), 표시부(208), 위치측정부(210), 방향측정부(212), 저장부(214), 입력부(216), 통신부(218)를 포함하여 구성된다.
상기 도 2를 참조하면, 상기 제어부(200)는 휴대용 단말기의 전반적인 동작을 제어하며, 본 발명에 따라 촬영 영상을 기반으로 사용자에게 증강현실 서비스를 제공하기 위한 기능을 제어 및 처리한다. 특히, 상기 제어부(200)는 카메라 모듈(202)을 통해 획득된 촬영 영상을 통신부(218)를 통해 증강현실 제공서버로 제공하고, 상기 증강현실 제공서버로부터 통신부(218)를 통해 촬영 영상 내 대상 객체에 대한 부가 정보를 획득하며, 부가정보 병합부(206)를 통해 상기 획득된 부가 정보를 촬영 영상과 병합하고, 표시부(208)를 통해 상기 병합된 촬영 영상과 부가 정보를 화면에 출력하기 위한 기능을 제어 및 처리한다. 여기서, 상기 제어부(200)는 상기 촬영 영상과 함께 단말의 위치 및 방향 정보를 통신부(218)를 통해 증강현실 제공서버로 제공한다.
상기 카메라 모듈(202)은 영상 촬영시에 감지되는 광신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비하며, 상기 디지털 데이터로 변환된 영상신호를 영상 처리부(204)로 출력한다.
상기 영상 처리부(204)는 카메라 모듈(202)로부터의 영상신호를 프레임 단위로 처리하여 표시부(208)의 특성 및 크기에 맞춰 표시부(208) 또는 부가정보 병합부(206)로 출력한다. 또한, 상기 영상 처리부(204)는 촬영 영상 내 객체의 부가정보를 획득하기 위해 제어부(200)로 촬영 영상을 출력한다. 상기 영상 처리부(204)는 영상코덱을 구비하며, 상기 영상코덱은 영상신호를 설정된 방식으로 코딩하거나, 코딩된 프레임 영상데이터를 원래의 프레임 영상데이터로 디코딩하는 역할을 수행한다.
상기 부가정보 병합부(206)는 통신부(218)를 통해 증강현실 제공서버로부터 촬영 영상 내 대상 객체에 대한 부가 정보를 획득하여 상기 영상 처리부(204)로부터의 촬영 영상과 병합하고, 상기 병합된 촬영 영상과 부가 정보를 표시부(208)로 출력한다.
상기 표시부(208)는 휴대용 단말기의 동작 중에 발생되는 상태 정보와 제한된 숫자 및 문자들을 디스플레이한다. 특히, 상기 표시부(208)는 상기 영상 처리부(204) 또는 부가정보 병합부(206)로부터의 영상을 화면에 디스플레이한다.
상기 위치측정부(210)는 단말의 위치를 측정하며, 예를 들어 GPS 센서로 구현될 수 있다.
상기 방향측정부(212)는 단말의 방향을 측정하며, 예를 들어 콤파스 센서로 구현될 수 있다.
상기 저장부(214)는 휴대용 단말기의 전반적인 동작을 위한 프로그램 및 각종 데이터를 저장한다.
상기 입력부(216)는 다수의 숫자키와 문자키 및 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 데이터를 상기 제어부(200)로 제공한다.
상기 통신부(218)는 안테나를 통해 입출력되는 데이터의 무선신호를 송수신 처리하는 기능을 수행한다.
도 3은 본 발명에 따른 증강현실 서비스를 지원하는 시스템 내 증강현실 제공서버의 장치 구성을 개략적으로 나타낸 블럭 구성도이다.
도시된 바와 같이, 증강현실 제공서버는, 제어부(300), 영상 정합부(302), 데이터베이스(304), 객체 결정부(306), 시점 결정부(308), 거리 결정부(310), 부가정보 획득부(312), 통신부(314)를 포함하여 구성된다.
상기 도 3을 참조하면, 상기 제어부(300)는 증강현실 제공서버의 전반적인 동작을 제어하며, 본 발명에 따라 휴대용 단말기로 촬영 영상 내 객체에 대한 부가정보를 제공하기 위한 기능을 제어 및 처리한다. 특히, 상기 제어부(300)는 휴대용 단말기로부터의 촬영 영상을 데이터베이스 내 참조 영상들과 정합하여 동일한 참조 영상을 검색하며, 상기 검색된 참조 영상 내 객체에 대한 부가 정보를 획득하여 상기 휴대용 단말기로 전송하기 위한 기능을 제어 및 처리한다. 또한, 상기 제어부(300)는 최종 정합된 참조 영상을 기반으로 해당 객체에 대한 시점 및 거리를 결정하여, 상기 결정된 시점 및 거리 정보에 따라 다른 부가 정보를 상기 휴대용 단말기로 전송하기 위한 기능을 제어 및 처리한다.
상기 영상 정합부(302)는 통신부(314)를 통해 휴대용 단말기로부터 촬영 영상 및 단말의 위치 및 방향 정보를 입력받고, 상기 입력받은 단말의 위치 및 방향정보를 기반으로, 데이터베이스(304)에서 단말이 위치한 영역 내 객체들에 대한 참조 영상의 특징점들을 결정한다. 상기 영상 정합부(302)는 상기 입력받은 촬영 영상의 특징점들을 획득하고, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 참조 영상의 특징점들을 대상으로 정합한다. 본 발명에서는 데이터베이스 구현 방식에 따른 촬영 영상과 참조 영상 간 정합 방법을 4가지 실시 예로 제안하고 있으며, 이후 상세히 설명하기로 한다.
상기 데이터베이스(304)는 참조 영상들의 특징점들과 각 참조 영상들에 대한 정확한 위치정보(위/경도)를 저장한다.
상기 객체 결정부(306)는 참조 영상들의 특징점 정합 개수를 기반으로 하나의 참조 영상을 선택하여 최종 정합 영상으로 결정하며, 상기 선택된 참조 영상에 대응하는 객체를 결정한다.
상기 시점 결정부(308)는 상기 결정된 객체에 대한 해당 참조 영상의 시점을 결정한다.
상기 거리 결정부(310)는 상기 결정된 객체에 대한 촬영 영상의 거리를 결정한다.
상기 부가정보 획득부(312)는 상기 결정된 객체의 부가정보를 획득하며, 이와 같이 획득된 부가정보는 통신부(314)를 통해 단말로 전송한다. 이때, 상기 부가정보 획득부(312)는 상기 결정된 객체에 대한 시점 및 거리를 기반으로, 단말의 화면에 표시되는 부가정보의 종류 및 크기를 다르게 설정하여 단말로 전송할 수 있다.
상기 통신부(314)는 입출력되는 데이터의 무선신호를 송수신 처리하는 기능을 수행한다.
한편, 본 발명에서는 객체별 참조 영상의 특징점들을 기반으로 데이터베이스를 구현함에 있어, 두 가지 방식을 고려한다. 즉, 객체별 하나의 참조 영상의 특징점들로 데이터베이스를 구현하는 방식과, 객체별 다수의 참조 영상의 특징점들로 데이터베이스를 구현하는 방식을 고려한다. 상기 데이터베이스를 구현하는 방식에 따라 촬영 영상과 참조 영상을 정합하는 방법이 달라질 수 있다. 데이터베이스 구현 방식에 따른 촬영 영상과 참조 영상 간 정합 방법에 대하여 본 발명에서는 4가지 실시 예를 제안하며, 도 4 내지 도 9를 기반으로 상세하게 살펴보기로 한다. 상기 4가지 실시 예는 독립적으로 사용되거나, 또는 두 개 이상의 실시 예가 결합되어 사용될 수 있다.
도 4는 본 발명의 제1 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 하나의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도이다.
상기 도 4를 참조하면, 증강현실 제공서버는 401단계에서 객체별 하나의 참조 영상의 특징점들을 데이터베이스에 저장한다.
이후, 상기 증강현실 제공서버는 403단계에서 단말로부터 객체에 대한 촬영 영상과 상기 단말의 위치 및 방향정보를 입력받는다.
이후, 상기 증강현실 제공서버는 405단계에서 상기 입력받은 단말의 위치 및 방향정보를 기반으로, 데이터베이스에서 단말이 위치한 영역 내 객체들에 대한 참조 영상의 특징점들을 결정한다. 즉, 단말의 위치 및 방향에 존재하는 객체들에 대한 참조 영상의 특징점들을 결정한다.
이후, 상기 증강현실 제공서버는 407단계에서 상기 입력받은 촬영 영상의 특징점들을 획득한다. 여기서, 상기 특징점 획득을 위해, SIFT(Scale Invariant Feature Transform), SURF (Speeded Up Robust Features) 등 다양한 특징점 추출 알고리즘이 사용될 수 있다.
이후, 상기 증강현실 제공서버는, 409단계 내지 413단계를 통해 상기 입력받은 촬영 영상의 각 특징점을, 상기 결정한 참조 영상 특징점들 중 하나의 참조 영상의 특징점들과 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점을, 상기 결정한 나머지 참조 영상의 특징점들과 정합한다. 즉, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 참조 영상 특징점들 중 하나의 참조 영상의 특징점들을 대상으로, 상기 <수학식 2>를 만족하는 특징점을 결정한다.
상세히 설명하면, 상기 증강현실 제공서버는 409단계에서 상기 결정한 참조 영상 특징점들 중 기 선택되지 않은 하나의 참조 영상의 특징점들을 선택하고, 411단계에서 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 선택된 하나의 참조 영상의 특징점들을 대상으로 정합한 후, 413단계에서 상기 결정한 모든 참조 영상의 특징점들이 선택되었는지 여부를 검사한다. 만약, 상기 413단계에서, 상기 결정한 모든 참조 영상의 특징점들이 선택되지 않았음이 판단될 시, 상기 증강현실 제공서버는 상기 409단계로 돌아가 이하 단계를 반복 수행하고, 상기 결정한 모든 참조 영상의 특징점들이 선택되었음이 판단될 시, 415단계로 진행한다.
예를 들어, 도 5와 같이, <수학식 1>을 이용하여, 촬영 영상의 제1 특징점과 제1 객체의 참조 영상의 각 특징점 간 SAD를 계산하고, 상기 계산된 SAD들을 대상으로 상기 <수학식 2>를 만족하는, 최소 SAD를 가지는 특징점 쌍, 즉 촬영 영상의 제1 특징점과 이에 대응하는 제1 객체의 참조 영상의 특징점을 동일한 특징점으로 간주하여 정합한다. 또한, 촬영 영상의 나머지 특징점에 대해서도 동일한 방식을 적용하여, 촬영 영상의 각 특징점을 제1 객체의 참조 영상의 특징점들과 정합한다. 또한, 동일한 방식을 적용하여, 촬영 영상의 각 특징점을 나머지 객체의 참조 영상의 특징점들과 정합한다.
이후, 상기 증강현실 제공서버는 415단계에서 상기 참조 영상들의 특징점 정합 개수를 기반으로 각 참조 영상의 정합 유사도를 결정한다.
여기서, 상기 정합 유사도는 하기 <수학식 3>을 이용하여 결정할 수 있다.
[수학식 3]
Figure pat00011
여기서,
Figure pat00012
는 i번째 참조 영상의 정합 유사도를 나타내고,
Figure pat00013
는 i번째 참조 영상의 특징점 개수,
Figure pat00014
는 i번째 참조 영상의 특징점 정합 개수를 나타낸다.
이후, 상기 증강현실 제공서버는 417단계에서 상기 각 참조 영상의 정합 유사도를 기반으로 가장 큰 정합 유사도를 가지는 참조 영상을, 상기 촬영 영상에 대한 최종 정합 영상으로서 선택한다.
이후, 상기 증강현실 제공서버는 419단계에서 상기 선택된 참조 영상에 대응하는 객체를 결정한다.
이후, 상기 증강현실 제공서버는 421단계에서 상기 결정된 객체의 부가정보를 획득하여 상기 단말로 전송한다. 이로써, 상기 단말은 해당 객체에 대한 촬영 영상과 부가정보를 병합하여 화면에 표시함으로써, 사용자에게 증강현실 서비스를 제공할 수 있다.
이후, 상기 증강현실 제공서버는 본 발명에 따른 알고리즘을 종료한다.
도 6은 본 발명의 제2 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 하나의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도이다.
상기 도 6을 참조하면, 증강현실 제공서버는 601단계에서 객체별 하나의 참조 영상의 특징점들을 데이터베이스에 저장한다.
이후, 상기 증강현실 제공서버는 603단계에서 단말로부터 객체에 대한 촬영 영상과 상기 단말의 위치 및 방향정보를 입력받는다.
이후, 상기 증강현실 제공서버는 605단계에서 상기 입력받은 단말의 위치 및 방향정보를 기반으로, 데이터베이스에서 단말이 위치한 영역 내 객체들에 대한 참조 영상의 특징점들을 결정한다. 즉, 단말의 위치 및 방향에 존재하는 객체들에 대한 참조 영상의 특징점들을 결정한다.
이후, 상기 증강현실 제공서버는 607단계에서 상기 입력받은 촬영 영상의 특징점들을 획득한다. 여기서, 상기 특징점 획득을 위해, SIFT(Scale Invariant Feature Transform), SURF (Speeded Up Robust Features) 등 다양한 특징점 추출 알고리즘이 사용될 수 있다.
이후, 상기 증강현실 제공서버는 609단계에서 상기 입력받은 촬영 영상의 각 특징점을, 상기 결정한 모든 참조 영상들의 특징점들과 정합한다. 다시 말해, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 모든 참조 영상들의 특징점들을 대상으로, 상기 <수학식 2>를 만족하는 특징점을 결정한다.
예를 들어, 도 7과 같이, <수학식 1>을 이용하여, 촬영 영상의 제1 특징점과 모든 객체의 참조 영상의 각 특징점 간 SAD를 계산하고, 상기 계산된 SAD들을 대상으로 상기 <수학식 2>를 만족하는, 최소 SAD를 가지는 특징점 쌍을 동일한 특징점으로 간주하여 정합한다. 또한, 촬영 영상의 나머지 특징점에 대해서도 동일한 방식을 적용하여, 촬영 영상의 각 특징점을 모든 객체의 참조 영상의 특징점들과 정합한다.
이후, 상기 증강현실 제공서버는 611단계에서 상기 참조 영상들의 특징점 정합 개수를 기반으로 각 참조 영상의 정합 유사도를 결정한다.
여기서, 상기 정합 유사도는 하기 <수학식 4>를 이용하여 결정할 수 있다.
[수학식 4]
Figure pat00015
여기서,
Figure pat00016
는 i번째 참조 영상의 정합 유사도를 나타내고,
Figure pat00017
는 전체 참조 영상의 특징점 총 개수,
Figure pat00018
는 촬영 영상의 특징점 개수,
Figure pat00019
는 i번째 참조 영상의 특징점 개수,
Figure pat00020
는 i번째 참조 영상의 특징점 정합 개수를 나타낸다.
이후, 상기 증강현실 제공서버는 613단계에서 상기 각 참조 영상의 정합 유사도를 기반으로 가장 큰 정합 유사도를 가지는 참조 영상을, 상기 촬영 영상에 대한 최종 정합 영상으로서 선택한다.
이후, 상기 증강현실 제공서버는 615단계에서 상기 선택된 참조 영상에 대응하는 객체를 결정한다.
이후, 상기 증강현실 제공서버는 617단계에서 상기 결정된 객체의 부가정보를 획득하여 상기 단말로 전송한다. 이로써, 상기 단말은 해당 객체에 대한 촬영 영상과 부가정보를 병합하여 화면에 표시함으로써, 사용자에게 증강현실 서비스를 제공할 수 있다.
이후, 상기 증강현실 제공서버는 본 발명에 따른 알고리즘을 종료한다.
도 8은 본 발명의 제3 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 다수의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도이다.
상기 도 8을 참조하면, 증강현실 제공서버는 801단계에서 객체별 다수의 참조 영상의 특징점들을 데이터베이스 내 해당 객체의 참조 영상 그룹에 저장한다.
이후, 상기 증강현실 제공서버는 803단계에서 단말로부터 객체에 대한 촬영 영상과 상기 단말의 위치 및 방향정보를 입력받는다.
이후, 상기 증강현실 제공서버는 805단계에서 상기 입력받은 단말의 위치 및 방향정보를 기반으로, 데이터베이스에서 단말이 위치한 영역 내 객체들에 대한 다수의 참조 영상의 특징점들을 결정한다. 즉, 단말의 위치 및 방향에 존재하는 객체들에 대한 다수의 참조 영상의 특징점들을 결정한다.
이후, 상기 증강현실 제공서버는 807단계에서 상기 입력받은 촬영 영상의 특징점들을 획득한다. 여기서, 상기 특징점 획득을 위해, SIFT(Scale Invariant Feature Transform), SURF (Speeded Up Robust Features) 등 다양한 특징점 추출 알고리즘이 사용될 수 있다.
이후, 상기 증강현실 제공서버는, 809단계 내지 813단계를 통해 상기 입력받은 촬영 영상의 각 특징점을, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들과 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점을, 상기 결정한 나머지 참조 영상의 특징점들과 정합한다. 즉, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로, 상기 <수학식 2>를 만족하는 특징점을 결정한다.
상세히 설명하면, 상기 증강현실 제공서버는 809단계에서 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 기 선택되지 않은 하나의 참조 영상의 특징점들을 선택하고, 811단계에서 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 선택된 하나의 참조 영상의 특징점들을 대상으로 정합한 후, 813단계에서 상기 결정한 모든 참조 영상의 특징점들이 선택되었는지 여부를 검사한다. 만약, 상기 813단계에서, 상기 결정한 모든 참조 영상의 특징점들이 선택되지 않았음이 판단될 시, 상기 증강현실 제공서버는 상기 809단계로 돌아가 이하 단계를 반복 수행하고, 상기 결정한 모든 참조 영상의 특징점들이 선택되었음이 판단될 시, 815단계로 진행한다.
이후, 상기 증강현실 제공서버는 815단계에서 상기 객체별 다수의 참조 영상들의 특징점 정합 개수를 기반으로 각 참조 영상의 정합 유사도를 결정한다.
여기서, 상기 정합 유사도는 하기 <수학식 5>를 이용하여 결정할 수 있다.
[수학식 5]
Figure pat00021
여기서,
Figure pat00022
는 i번째 참조 영상의 정합 유사도를 나타내고,
Figure pat00023
는 i번째 참조 영상의 특징점 개수,
Figure pat00024
는 i번째 참조 영상의 특징점 정합 개수를 나타낸다. 상기 <수학식 6>은, 하나의 참조 영상의 특징점 정합 개수를, 해당 참조 영상의 특징점 개수로 나눔으로써, 해당 참조 영상의 정합 유사도를 결정한다는 것을 의미한다.
이후, 상기 증강현실 제공서버는 817단계에서 상기 각 참조 영상의 정합 유사도를 기반으로 가장 큰 정합 유사도를 가지는 참조 영상을, 상기 촬영 영상에 대한 최종 정합 영상으로서 선택한다.
이후, 상기 증강현실 제공서버는 819단계에서 상기 선택된 참조 영상이 속한 참조 영상 그룹에 대응하는 객체를 결정한다.
이후, 상기 증강현실 제공서버는 821단계에서 상기 결정된 객체의 부가정보를 획득하여 상기 단말로 전송한다. 이로써, 상기 단말은 해당 객체에 대한 촬영 영상과 부가정보를 병합하여 화면에 표시함으로써, 사용자에게 증강현실 서비스를 제공할 수 있다.
이후, 상기 증강현실 제공서버는 본 발명에 따른 알고리즘을 종료한다.
도 9는 본 발명의 제4 실시 예에 따른 증강현실 서비스를 지원하는 시스템에서 객체별 다수의 참조 영상의 특징점들을 저장하여 데이터베이스를 구현하는 경우, 촬영 영상과 참조 영상을 정합하기 위한 증강현실 제공서버의 동작 방법을 도시한 흐름도이다.
상기 도 9를 참조하면, 증강현실 제공서버는 901단계에서 객체별 다수의 참조 영상의 특징점들을 데이터베이스 내 해당 객체의 참조 영상 그룹에 저장한다.
이후, 상기 증강현실 제공서버는 903단계에서 단말로부터 객체에 대한 촬영 영상과 상기 단말의 위치 및 방향정보를 입력받는다.
이후, 상기 증강현실 제공서버는 905단계에서 상기 입력받은 단말의 위치 및 방향정보를 기반으로, 데이터베이스에서 단말이 위치한 영역 내 객체들에 대한 다수의 참조 영상의 특징점들을 결정한다. 즉, 단말의 위치 및 방향에 존재하는 객체들에 대한 다수의 참조 영상의 특징점들을 결정한다.
이후, 상기 증강현실 제공서버는 907단계에서 상기 입력받은 촬영 영상의 특징점들을 획득한다. 여기서, 상기 특징점 획득을 위해, SIFT(Scale Invariant Feature Transform), SURF (Speeded Up Robust Features) 등 다양한 특징점 추출 알고리즘이 사용될 수 있다.
이후, 상기 증강현실 제공서버는, 909단계 내지 913단계를 통해 상기 입력받은 촬영 영상의 각 특징점을, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들과 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점을, 상기 결정한 나머지 참조 영상의 특징점들과 정합한다. 즉, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로, 상기 <수학식 2>를 만족하는 특징점을 결정한다.
상세히 설명하면, 상기 증강현실 제공서버는 909단계에서 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 기 선택되지 않은 하나의 참조 영상의 특징점들을 선택하고, 911단계에서 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 선택된 하나의 참조 영상의 특징점들을 대상으로 정합한 후, 913단계에서 상기 결정한 모든 참조 영상의 특징점들이 선택되었는지 여부를 검사한다. 만약, 상기 913단계에서, 상기 결정한 모든 참조 영상의 특징점들이 선택되지 않았음이 판단될 시, 상기 증강현실 제공서버는 상기 909단계로 돌아가 이하 단계를 반복 수행하고, 상기 결정한 모든 참조 영상의 특징점들이 선택되었음이 판단될 시, 915단계로 진행한다.
이후, 상기 증강현실 제공서버는 915단계에서 상기 객체별 다수의 참조 영상들의 특징점 정합 개수를 기반으로 참조 영상 그룹별 정합 유사도를 결정한다.
여기서, 상기 정합 유사도는 하기 <수학식 6>을 이용하여 결정할 수 있다.
[수학식 6]
Figure pat00025
여기서,
Figure pat00026
는 g번째 참조 영상 그룹의 정합 유사도를 나타내고,
Figure pat00027
은 g번째 참조 영상 그룹의 첫 번째 참조 영상의 인덱스,
Figure pat00028
은 g번째 참조 영상 그룹의 마지막 번째 참조 영상의 인덱스,
Figure pat00029
는 g번째 참조 영상 그룹의 i번째 참조 영상의 특징점 개수,
Figure pat00030
는 g번째 참조 영상 그룹의 i번째 참조 영상의 특징점 정합 개수를 나타낸다. 상기 <수학식 6>은, 하나의 참조 영상 그룹 내 다수의 참조 영상의 특징점 정합 개수를 합산하고, 상기 참조 영상 그룹 내 다수의 참조 영상의 특징점 개수를 합산하며, 특징점 정합 개수의 합산 결과를 특징점 개수의 합산 결과로 나눔으로써, 해당 참조 영상 그룹의 정합 유사도를 결정한다는 것을 의미한다.
이후, 상기 증강현실 제공서버는 917단계에서 상기 참조 영상 그룹별 정합 유사도를 기반으로 가장 큰 정합 유사도를 가지는 참조 영상 그룹을, 상기 촬영 영상에 대한 최종 정합 영상 그룹으로서 선택한다.
이후, 상기 증강현실 제공서버는 919단계에서 상기 선택된 참조 영상 그룹에 대응하는 객체를 결정한다.
이후, 상기 증강현실 제공서버는 921단계에서 상기 결정된 객체의 부가정보를 획득하여 상기 단말로 전송한다. 이로써, 상기 단말은 해당 객체에 대한 촬영 영상과 부가정보를 병합하여 화면에 표시함으로써, 사용자에게 증강현실 서비스를 제공할 수 있다.
이후, 상기 증강현실 제공서버는 본 발명에 따른 알고리즘을 종료한다.
한편, 상기 제1 내지 제4 실시 예를 기반으로 촬영 영상에 대한 최종 정합 영상이 선택되면, 전방 객체에 대한 해당 참조 영상의 시점(즉, 카메라 모듈이 객체를 바라보는 각도)을 결정하고, 해당 참조 영상에 대응하는 객체의 부가정보들 중 상기 결정된 시점에 대응하는 부가정보만을 단말로 전송할 수 있다. 즉, 상기 결정된 시점에 따라 다른 부가정보를 단말로 전송할 수 있다.
여기서, 전방 객체에 대한 해당 참조 영상의 시점은, 예를 들어 해당 참조 영상의 기준 특징점들과 이에 대응하는 촬영 영상의 특징점들의 투영변환행렬(Projection matrix)을 기반으로 결정할 수 있다. 이미 언급한 바와 같이, 증강현실 제공서버 내 데이터베이스에는, 객체별 참조 영상의 특징점들과, 각 참조 영상에 대한 정확한 위치정보(위/경도)가 저장된다. 추가로 상기 데이터베이스는, 참조 영상별로, 해당 참조 영상의 특징점들 중 외부 환경에서의 재현성(repeatability)이 높은 특징점들, 즉 외부 환경의 변화(즉, 촬영 각도, 회전, 조명 등)에도 반복적으로 추출되는 특징점들을 기준 특징점으로 구분하여 사전에 정의할 수 있다. 참조 영상의 기준 특징점들과 이에 대응하는 촬영 영상의 특징점들을 알면, 상기 특징점들을 기반으로 참조 영상을 소정 시점의 촬영 영상으로 변환하기 위한 투영변환행렬을 결정할 수 있으며, 상기 결정된 투영변환행렬의 역행렬을 기반으로 전방 객체에 대한 해당 참조 영상의 시점을 결정할 수 있다.
또한, 상기 제1 내지 제4 실시 예를 기반으로 촬영 영상에 대한 최종 정합 영상이 선택되면, 전방 객체에 대한 해당 참조 영상의 거리(즉, 카메라 모듈의 시점으로부터의 거리)에 대응하는 촬영 영상의 거리를 결정하고, 상기 결정된 촬영 영상의 거리 정보를 기반으로, 단말의 화면에 표시되는 부가정보의 크기를 다르게 설정할 수 있다.
여기서, 전방 객체에 대한 촬영 영상의 거리정보는, 예를 들어 전방 객체에 대한 해당 참조 영상의 거리정보와 해당 참조 영상의 기준 특징점들과 이에 대응하는 촬영 영상의 특징점들을 기반으로 결정할 수 있다. 상기 데이터베이스는, 각 참조 영상에 대하여 카메라 모듈의 시점으로부터의 거리정보를 저장할 수 있다. 해당 참조 영상의 기준 특징점들과 이에 대응하는 촬영 영상의 특징점들 간 원근왜곡(perspective distortion)을 보정한 후, 해당 참조 영상의 기준 특징점들을 연결하여 생성된 바운딩 박스(bounding box)와, 이에 대응하는 촬영 영상의 특징점들을 연결하여 생성된 바운딩 박스를 비교하여, 두 바운딩 박스 간 크기 비율을 결정하고, 상기 결정된 크기 비율과 해당 참조 영상의 거리정보의 곱을 계산함으로써, 전방 객체에 대한 촬영 영상의 거리정보를 결정할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
휴대용 단말기 100, 유무선 통신망 110, 증강현실 제공서버 120

Claims (28)

  1. 객체별 다수의 참조 영상의 특징점들을 해당 객체의 참조 영상 그룹에 저장하는 데이터베이스와,
    객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와,
    상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 다수의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 획득된 촬영 영상의 특징점들과 상기 결정한 객체별 다수의 참조 영상의 특징점들을 정합하는 영상 정합부와,
    참조 영상 그룹별로 다수의 참조 영상의 특징점 정합 개수를 합산하고, 참조 영상 그룹별로 다수의 참조 영상의 특징점 개수를 합산하며, 상기 특징점 정합 개수 합산 결과와 특징점 개수 합산 결과를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상 그룹을 선택하고, 상기 선택된 참조 영상 그룹에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 하는 영상 정합을 위한 장치.
  2. 제 1 항에 있어서, 상기 영상 정합부는,
    상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 단말이 위치한 영역 내 객체들에 대한 다수의 참조 영상의 특징점들을 결정하는 것을 특징으로 하는 영상 정합을 위한 장치.
  3. 제 1 항에 있어서, 상기 영상 정합부는,
    상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 나머지 참조 영상의 특징점들을 대상으로 정합하는 것을 특징으로 하는 영상 정합을 위한 장치.
  4. 제 1 항에 있어서,
    상기 정합 유사도는 하기 <수학식 7>을 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치.
    [수학식 7]
    Figure pat00031

    여기서,
    Figure pat00032
    는 g번째 참조 영상 그룹의 정합 유사도를 나타내고,
    Figure pat00033
    은 g번째 참조 영상 그룹의 첫 번째 참조 영상의 인덱스,
    Figure pat00034
    은 g번째 참조 영상 그룹의 마지막 번째 참조 영상의 인덱스,
    Figure pat00035
    는 g번째 참조 영상 그룹의 i번째 참조 영상의 특징점 개수,
    Figure pat00036
    는 g번째 참조 영상 그룹의 i번째 참조 영상의 특징점 정합 개수를 나타냄.
  5. 제 1 항에 있어서,
    상기 결정된 객체의 부가정보를 획득하여 상기 단말로 전송하는 부가정보 획득부를 더 포함하는 것을 특징으로 하는 영상 정합을 위한 장치.
  6. 객체별 다수의 참조 영상의 특징점들을 해당 객체의 참조 영상 그룹에 저장하는 데이터베이스와,
    객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와,
    상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 다수의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 획득된 촬영 영상의 특징점들과 상기 결정한 객체별 다수의 참조 영상의 특징점들을 정합하는 영상 정합부와,
    객체별 다수의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하고, 상기 선택된 참조 영상이 속한 참조 영상 그룹에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 하는 영상 정합을 위한 장치.
  7. 제 6 항에 있어서, 상기 영상 정합부는,
    상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 나머지 참조 영상의 특징점들을 대상으로 정합하는 것을 특징으로 하는 영상 정합을 위한 장치.
  8. 제 6 항에 있어서,
    상기 정합 유사도는 하기 <수학식 8>을 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치.
    [수학식 8]
    Figure pat00037

    여기서,
    Figure pat00038
    는 i번째 참조 영상의 정합 유사도를 나타내고,
    Figure pat00039
    는 i번째 참조 영상의 특징점 개수,
    Figure pat00040
    는 i번째 참조 영상의 특징점 정합 개수를 나타냄.
  9. 제 6 항에 있어서,
    상기 결정된 객체의 부가정보를 획득하는 부가정보 획득부와,
    상기 선택된 참조 영상의 기 결정된 기준 특징점들과 이에 대응하는 촬영 영상의 특징점들을 기반으로 투영변환행렬을 결정하고, 상기 결정된 투영변환행렬의 역행렬을 기반으로 상기 결정된 객체에 대한 해당 참조 영상의 시점을 결정하는 시점 결정부를 더 포함하며,
    여기서, 상기 부가정보 획득부는, 상기 획득된 부가정보를 기반으로, 상기 결정된 시점 정보에 따라 다른 부가 정보를 상기 단말로 전송하는 것을 특징으로 하는 영상 정합을 위한 장치.
  10. 제 6 항에 있어서,
    상기 결정된 객체의 부가정보를 획득하는 부가정보 획득부와,
    상기 선택된 참조 영상의 기 결정된 기준 특징점들을 연결하여 생성된 바운딩 박스(bounding box)와, 이에 대응하는 촬영 영상의 특징점들을 연결하여 생성된 바운딩 박스를 비교하여, 두 바운딩 박스 간 크기 비율을 결정하고, 상기 결정된 크기 비율과 상기 선택된 참조 영상의 거리정보를 기반으로 상기 결정된 객체에 대한 촬영 영상의 거리를 결정하는 거리 결정부를 더 포함하며,
    여기서, 상기 부가정보 획득부는, 상기 결정된 거리 정보에 따라 상기 획득된 부가정보의 화면 표시 크기를 다르게 설정하여 상기 단말로 전송하는 것을 특징으로 하는 영상 정합을 위한 장치.
  11. 객체별 하나의 참조 영상의 특징점들을 저장하는 데이터베이스와,
    객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와,
    상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 하나의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 하나의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 나머지 참조 영상의 특징점들을 대상으로 정합하는 영상 정합부와,
    객체별 하나의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하고, 상기 선택된 참조 영상에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 하는 영상 정합을 위한 장치.
  12. 제 11 항에 있어서,
    상기 정합 유사도는 하기 <수학식 9>를 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치.
    [수학식 9]
    Figure pat00041

    여기서,
    Figure pat00042
    는 i번째 참조 영상의 정합 유사도를 나타내고,
    Figure pat00043
    는 i번째 참조 영상의 특징점 개수,
    Figure pat00044
    는 i번째 참조 영상의 특징점 정합 개수를 나타냄.
  13. 객체별 하나의 참조 영상의 특징점들을 저장하는 데이터베이스와,
    객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 통신부와,
    상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 하나의 참조 영상의 특징점들을 결정하고, 상기 입력받은 촬영 영상의 특징점들을 획득하며, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 모든 객체별 하나의 참조 영상의 특징점들을 대상으로 정합하는 영상 정합부와,
    객체별 하나의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하고, 상기 선택된 참조 영상에 대응하는 객체를 결정하는 객체 결정부를 포함하는 것을 특징으로 하는 영상 정합을 위한 장치.
  14. 제 13 항에 있어서,
    상기 정합 유사도는 하기 <수학식 10>을 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치.
    [수학식 10]
    Figure pat00045

    여기서,
    Figure pat00046
    는 i번째 참조 영상의 정합 유사도를 나타내고,
    Figure pat00047
    는 전체 참조 영상의 특징점 총 개수,
    Figure pat00048
    는 촬영 영상의 특징점 개수,
    Figure pat00049
    는 i번째 참조 영상의 특징점 개수,
    Figure pat00050
    는 i번째 참조 영상의 특징점 정합 개수를 나타냄.
  15. 데이터베이스가, 객체별 다수의 참조 영상의 특징점들을 해당 객체의 참조 영상 그룹에 저장하는 과정과,
    통신부가, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 과정과,
    영상 정합부가, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 다수의 참조 영상의 특징점들을 결정하는 과정과,
    상기 영상 정합부가, 상기 입력받은 촬영 영상의 특징점들을 획득하는 과정과,
    상기 영상 정합부가, 상기 획득된 촬영 영상의 특징점들과 상기 결정한 객체별 다수의 참조 영상의 특징점들을 정합하는 과정과,
    객체 결정부가, 참조 영상 그룹별로 다수의 참조 영상의 특징점 정합 개수를 합산하는 과정과,
    상기 객체 결정부가, 참조 영상 그룹별로 다수의 참조 영상의 특징점 개수를 합산하는 과정과,
    상기 객체 결정부가, 상기 특징점 정합 개수 합산 결과와 특징점 개수 합산 결과를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상 그룹을 선택하는 과정과,
    상기 객체 결정부가, 상기 선택된 참조 영상 그룹에 대응하는 객체를 결정하는 과정을 포함하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  16. 제 15 항에 있어서, 상기 참조 영상 특징점들 결정 과정은,
    상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 단말이 위치한 영역 내 객체들에 대한 다수의 참조 영상의 특징점들을 결정하는 과정임을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  17. 제 15 항에 있어서, 상기 정합 과정은,
    상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 나머지 참조 영상의 특징점들을 대상으로 정합하는 과정임을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  18. 제 15 항에 있어서,
    상기 정합 유사도는 하기 <수학식 11>을 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
    [수학식 11]
    Figure pat00051

    여기서,
    Figure pat00052
    는 g번째 참조 영상 그룹의 정합 유사도를 나타내고,
    Figure pat00053
    은 g번째 참조 영상 그룹의 첫 번째 참조 영상의 인덱스,
    Figure pat00054
    은 g번째 참조 영상 그룹의 마지막 번째 참조 영상의 인덱스,
    Figure pat00055
    는 g번째 참조 영상 그룹의 i번째 참조 영상의 특징점 개수,
    Figure pat00056
    는 g번째 참조 영상 그룹의 i번째 참조 영상의 특징점 정합 개수를 나타냄.
  19. 제 15 항에 있어서,
    부가정보 획득부가, 상기 결정된 객체의 부가정보를 획득하여 상기 단말로 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  20. 데이터베이스가, 객체별 다수의 참조 영상의 특징점들을 해당 객체의 참조 영상 그룹에 저장하는 과정과,
    통신부가, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 과정과,
    영상 정합부가, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 다수의 참조 영상의 특징점들을 결정하는 과정과,
    상기 영상 정합부가, 상기 입력받은 촬영 영상의 특징점들을 획득하는 과정과,
    상기 영상 정합부가, 상기 획득된 촬영 영상의 특징점들과 상기 결정한 객체별 다수의 참조 영상의 특징점들을 정합하는 과정과,
    객체 결정부가, 객체별 다수의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하는 과정과,
    상기 객체 결정부가, 상기 선택된 참조 영상이 속한 참조 영상 그룹에 대응하는 객체를 결정하는 과정을 포함하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  21. 제 20 항에 있어서, 상기 정합 과정은,
    상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 다수의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 나머지 참조 영상의 특징점들을 대상으로 정합하는 과정임을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  22. 제 20 항에 있어서,
    상기 정합 유사도는 하기 <수학식 12>를 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
    [수학식 12]
    Figure pat00057

    여기서,
    Figure pat00058
    는 i번째 참조 영상의 정합 유사도를 나타내고,
    Figure pat00059
    는 i번째 참조 영상의 특징점 개수,
    Figure pat00060
    는 i번째 참조 영상의 특징점 정합 개수를 나타냄.
  23. 제 20 항에 있어서,
    부가정보 획득부가, 상기 결정된 객체의 부가정보를 획득하는 과정과,
    시점 결정부가, 상기 선택된 참조 영상의 기 결정된 기준 특징점들과 이에 대응하는 촬영 영상의 특징점들을 기반으로 투영변환행렬을 결정하는 과정과,
    상기 시점 결정부가, 상기 결정된 투영변환행렬의 역행렬을 기반으로 상기 결정된 객체에 대한 해당 참조 영상의 시점을 결정하는 과정과,
    상기 부가정보 획득부가, 상기 획득된 부가정보를 기반으로, 상기 결정된 시점 정보에 따라 다른 부가 정보를 상기 단말로 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  24. 제 20 항에 있어서,
    부가정보 획득부가, 상기 결정된 객체의 부가정보를 획득하는 과정과,
    거리 결정부가, 상기 선택된 참조 영상의 기 결정된 기준 특징점들을 연결하여 생성된 바운딩 박스(bounding box)와, 이에 대응하는 촬영 영상의 특징점들을 연결하여 생성된 바운딩 박스를 비교하여, 두 바운딩 박스 간 크기 비율을 결정하는 과정과,
    상기 거리 결정부가, 상기 결정된 크기 비율과 상기 선택된 참조 영상의 거리정보를 기반으로 상기 결정된 객체에 대한 촬영 영상의 거리를 결정하는 과정과,
    상기 부가정보 획득부가, 상기 결정된 거리 정보에 따라 상기 획득된 부가정보의 화면 표시 크기를 다르게 설정하여 상기 단말로 전송하는 과정을 더 포함하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  25. 데이터베이스가, 객체별 하나의 참조 영상의 특징점들을 저장하는 과정과,
    통신부가, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 과정과,
    영상 정합부가, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 하나의 참조 영상의 특징점들을 결정하는 과정과,
    상기 영상 정합부가, 상기 입력받은 촬영 영상의 특징점들을 획득하는 과정과,
    상기 영상 정합부가, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 객체별 하나의 참조 영상의 특징점들 중 하나의 참조 영상의 특징점들을 대상으로 정합하고, 동일한 방식으로, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 나머지 참조 영상의 특징점들을 대상으로 정합하는 과정과,
    객체 결정부가, 객체별 하나의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하는 과정과,
    상기 객체 결정부가, 상기 선택된 참조 영상에 대응하는 객체를 결정하는 과정을 포함하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  26. 제 25 항에 있어서,
    상기 정합 유사도는 하기 <수학식 13>을 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
    [수학식 13]
    Figure pat00061

    여기서,
    Figure pat00062
    는 i번째 참조 영상의 정합 유사도를 나타내고,
    Figure pat00063
    는 i번째 참조 영상의 특징점 개수,
    Figure pat00064
    는 i번째 참조 영상의 특징점 정합 개수를 나타냄.
  27. 데이터베이스가, 객체별 하나의 참조 영상의 특징점들을 저장하는 과정과,
    통신부가, 객체에 대한 촬영 영상과 단말의 위치 정보를 입력받는 과정과,
    영상 정합부가, 상기 입력받은 단말의 위치 정보를 기반으로, 데이터베이스에서 객체별 하나의 참조 영상의 특징점들을 결정하는 과정과,
    상기 영상 정합부가, 상기 입력받은 촬영 영상의 특징점들을 획득하는 과정과,
    상기 영상 정합부가, 상기 입력받은 촬영 영상의 각 특징점에 대하여, 상기 결정한 모든 객체별 하나의 참조 영상의 특징점들을 대상으로 정합하는 과정과,
    객체 결정부가, 객체별 하나의 참조 영상의 특징점 정합 개수와 특징점 개수를 기반으로 가장 큰 정합 유사도를 가지는 하나의 참조 영상을 선택하는 과정과,
    상기 객체 결정부가, 상기 선택된 참조 영상에 대응하는 객체를 결정하는 과정을 포함하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
  28. 제 27 항에 있어서,
    상기 정합 유사도는 하기 <수학식 14>를 이용하여 결정하는 것을 특징으로 하는 영상 정합을 위한 장치의 동작 방법.
    [수학식 14]
    Figure pat00065

    여기서,
    Figure pat00066
    는 i번째 참조 영상의 정합 유사도를 나타내고,
    Figure pat00067
    는 전체 참조 영상의 특징점 총 개수,
    Figure pat00068
    는 촬영 영상의 특징점 개수,
    Figure pat00069
    는 i번째 참조 영상의 특징점 개수,
    Figure pat00070
    는 i번째 참조 영상의 특징점 정합 개수를 나타냄.
KR1020110101011A 2011-10-05 2011-10-05 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법 KR101320247B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110101011A KR101320247B1 (ko) 2011-10-05 2011-10-05 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110101011A KR101320247B1 (ko) 2011-10-05 2011-10-05 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130036839A true KR20130036839A (ko) 2013-04-15
KR101320247B1 KR101320247B1 (ko) 2013-10-22

Family

ID=48438011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110101011A KR101320247B1 (ko) 2011-10-05 2011-10-05 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101320247B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100394A (ko) * 2014-02-25 2015-09-02 삼성전자주식회사 이미지 표시 방법 및 장치
KR20160064931A (ko) * 2014-11-28 2016-06-08 숭실대학교산학협력단 지능형 고속 다중 객체 인식 장치 및 방법
KR20200071407A (ko) * 2018-12-11 2020-06-19 최재영 플레이 아이템을 이용하여 증강 현실 콘텐츠를 제공하는 방법 및 그를 이용한 서버

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4958228B2 (ja) 2007-09-12 2012-06-20 公立大学法人大阪府立大学 文書および／または画像のデータベースへの登録方法およびその検索方法
KR101027906B1 (ko) * 2009-04-28 2011-04-12 한국과학기술원 물체 인식 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100394A (ko) * 2014-02-25 2015-09-02 삼성전자주식회사 이미지 표시 방법 및 장치
KR20160064931A (ko) * 2014-11-28 2016-06-08 숭실대학교산학협력단 지능형 고속 다중 객체 인식 장치 및 방법
KR20200071407A (ko) * 2018-12-11 2020-06-19 최재영 플레이 아이템을 이용하여 증강 현실 콘텐츠를 제공하는 방법 및 그를 이용한 서버

Also Published As

Publication number Publication date
KR101320247B1 (ko) 2013-10-22

Similar Documents

Publication Publication Date Title
US20200349386A1 (en) Storing Information for Access Using a Captured Image
US9754183B2 (en) System and method for providing additional information using image matching
US9076069B2 (en) Registering metadata apparatus
US20100309226A1 (en) Method and system for image-based information retrieval
US20120044263A1 (en) Terminal device and method for augmented reality
US9058686B2 (en) Information display system, information display apparatus, information provision apparatus and non-transitory storage medium
Chen et al. Building book inventories using smartphones
KR20120024073A (ko) 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
US20120127276A1 (en) Image retrieval system and method and computer product thereof
KR20110096500A (ko) 위치 기반의 통신 방법 및 시스템
CN110692081B (zh) 用于查看确认的系统、便携式终端装置、服务器、程序和方法
CN103428537A (zh) 一种视频处理方法和装置
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
KR100777922B1 (ko) 영상인식을 이용한 개인인증 및 전자서명 시스템 및 그방법
CN113822427A (zh) 一种模型训练的方法、图像匹配的方法、装置及存储介质
KR101320247B1 (ko) 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법
CN111126159A (zh) 用于实时跟踪行人的方法、装置、电子设备和介质
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN110019907B (zh) 一种图像检索方法及装置
CN111797266B (zh) 图像处理方法和装置、存储介质和电子设备
CN104871179A (zh) 用于图像捕捉和便于注解的方法和系统
US20140195560A1 (en) Two way local feature matching to improve visual search accuracy
US20120139941A1 (en) Information display system, information display apparatus and non-transitory storage medium
CN108446737B (zh) 用于识别对象的方法和装置
JP2013222406A (ja) 画像検索システム、画像検索装置およびコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171016

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee