KR20110042440A - 강화 이미지 제공 시스템 및 방법 - Google Patents

강화 이미지 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20110042440A
KR20110042440A KR1020090099109A KR20090099109A KR20110042440A KR 20110042440 A KR20110042440 A KR 20110042440A KR 1020090099109 A KR1020090099109 A KR 1020090099109A KR 20090099109 A KR20090099109 A KR 20090099109A KR 20110042440 A KR20110042440 A KR 20110042440A
Authority
KR
South Korea
Prior art keywords
image
satellite navigation
mobile device
landscape
internet server
Prior art date
Application number
KR1020090099109A
Other languages
English (en)
Other versions
KR101640020B1 (ko
Inventor
최태호
최성열
김호경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090099109A priority Critical patent/KR101640020B1/ko
Publication of KR20110042440A publication Critical patent/KR20110042440A/ko
Application granted granted Critical
Publication of KR101640020B1 publication Critical patent/KR101640020B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

강화 이미지 제공 시스템 및 방법이 개시된다. 개시된 강화 이미지 제공 시스템은 카메라의 촬영 이미지와 위성항법장치의 위성항법정보를 전송하고, 상기 촬영 이미지의 대상의 관련 정보가 정합된 강화 이미지를 표시하는 모바일 기기 및, 상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하고, 상기 선택된 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 대상을 결정하며, 상기 대상 관련 정보를 검색하여 전송하는 인터넷 서버를 포함한다.
증강 현실, 이미지 매칭, 강화 이미지, 파노라마

Description

강화 이미지 제공 시스템 및 방법{AUGMENTATED IMAGE PROVIDING SYSTEM AND METHOD THEREOF}
본 발명의 일부 실시예들은 모바일 기기의 카메라로 촬영되는 대상의 이미지와 그 관련 정보를 합성하는 시스템 및 방법에 관한 것으로, 더욱 상세하게는 위치기반 서비스를 기초로 대상을 정확히 인식하고 촬영 이미지의 대상 관련 정보를 정합하는 강화 이미지 제공 시스템 및 방법에 관한 것이다.
위성항법장치(GPS: Global Positioning System)를 이용한 다양한 위치기반 서비스(LBS: Location Based Service)와 이를 구현한 장치가 제공되고 있다. 위치기반 서비스로 많이 이용되고 있는 기술은 네비게이션, 즉 길 안내 서비스이고 이와 더불어 최근에 사용자가 카메라로 촬영하고 있는 위치에 대한 정보를 제공하는 증강현실 위치기반 서비스(Augmented Reality LBS)가 모바일 기기에 구현되고 있다.
현재 서비스되고 있는 증강현실 위치기반 서비스는 위성항법장치와 콤파스 센서를 이용하여 현재 사용자의 위치와 보는 방향을 파악한다. 그리고 증강현실 위치기반 서비스 서버로부터 현재 위치에서 보는 방향에 존재하는 대상에 대한 정보 를 검색하여 화면에 2차원적으로 정보를 표현한다.
도 1은 종래 증강현실 기술을 이용한 위치기반 서비스가 위성항법장치와 콤파스 센서를 이용하여 대상 이미지를 인식할 때 발생하는 오차를 보이고 있다.
도 1을 참조하면, 사용자의 실제 위치에서 사용자가 촬영하고 있는 대상 이미지는 ABC 마트인데, 위성항법장치는 천주교 양재동 성당으로 치우쳐 사용자의 위치를 파악하고 이에 대한 정보를 제공한다. 위성항법장치의 오차는 실외에서 최소 10m 이상으로 나타나고 콤파스 센서의 경우도 최소 2-3도의 오차를 가지고 있다.
따라서 종래 증강현실 위치기반 서비스는 위성항법장치와 콤파스 센서의 오차로 인해 화면에 보이는 대상을 정확히 인식하지 못하고 현재 보는 방향에 대상들이 존재하고 있다는 정보만을 확인할 수 있다. 즉, 대상을 정확히 인식하기 어려우므로 대상 이미지에 대한 정보를 정확히 대상 이미지에 정합하지 못하고 대상의 주변에 2차원 텍스트로 근접하게 대략적으로 제시하고 있을 뿐이다.
본 발명의 일부 실시예는, 모바일 기기로 촬영되는 대상을 정확히 인식할 수 있는 강화 이미지 제공 시스템 및 방법을 제공하기 위한 것이다.
또한 본 발명의 일부 실시예는, 정확히 인식된 대상의 촬영 이미지에 관련 정보를 정확히 정합시킬 수 있는 강화 이미지 제공 시스템 및 방법을 제공하기 위한 것이다.
또한 본 발명의 일부 실시예는, 이동하는 모바일 기기의 대상 이미지에 실시간으로 관련 정보를 정확히 정합시킬 수 있는 강화 이미지 제공 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따르면, 카메라의 촬영 이미지와 위성항법장치의 위성항법정보를 전송하고, 상기 촬영 이미지의 대상의 관련 정보가 정합된 강화 이미지를 표시하는 모바일 기기; 및 상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하고, 상기 선택된 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 대상을 결정하며, 상기 대상 관련 정보를 검색하여 전송하는 인터넷 서버를 를 포함하는 강화 이미지 제공 시스템이 제공된다.
본 발명의 다른 일 실시예에 따르면, 카메라의 위성항법장치의 위성항법정보를 전송하고, 수신되는 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하며, 상기 대상의 관련 정보가 정합된 강화 이미지를 표시하는 모바일 기기; 및 상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하여 전송하고, 상기 대상 관련 정보를 검색하여 전송하는 인터넷 서버;를 포함하는 강화 이미지 제공 시스템이 제공된다.
본 발명의 또 다른 일 실시예에 따르면, 위성항법장치와 카메라를 구비하고 통신망을 통해 인터넷 서버와 정보를 송수신하는 모바일 기기로서, 상기 카메라의 촬영 이미지와 상기 위성항법장치의 위성항법정보를 전송하고, 상기 촬영 이미지의 대상의 관련 정보가 정합된 강화 이미지를 표시하는 강화 이미지 제공 모바일 기기가 제공된다.
본 발명의 또 다른 일 실시예에 따르면, 위성항법장치와 카메라를 구비하고 통신망을 통해 인터넷 서버와 정보를 송수신하는 모바일 기기로서, 상기 위성항법장치의 위성항법정보를 전송하고, 수신되는 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하며, 상기 대상의 관련 정보가 정합된 강화 이미지를 표시하는 강화 이미지 제공 모바일 기기가 제공된다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 위성항법장치와 카메라를 구비하는 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버로서, 상기 모바일 기기가 전송한 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하고, 상기 선택된 경관 이미지와 상기 카메라의 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하며, 상기 대상의 관련 정보를 검색하여 전송하는 강화 이미지 제공 인터넷 서버가 제공된다.
본 발명의 또 다른 일 실시예에 따르면, 위성항법장치와 카메라를 구비하는 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버로서, 상기 모바일 기기가 전송한 상기 위성항법장치의 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하여 전송하고, 상기 카메라의 촬영 이미지의 대상 관련 정보를 검색하여 전송하는 강화 이미지 제공 인터넷 서버가 제공된다.
본 발명의 다른 일 실시예에 따르면 또한, 위성항법장치와 카메라를 구비하는 모바일 기기와 상기 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버를 이용하는 강화 이미지 제공 방법으로서, 상기 모바일 기기는 상기 카메라의 촬영 이미지와 상기 위성항법장치의 위성항법정보를 전송하는 단계; 상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하는 단계; 상기 인터넷 서버는 상기 선택된 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하는 단계; 상기 인터넷 서버는 상기 결정된 대상의 관련 정보를 검색하여 전송하는 단계; 및 상기 모바일 기기는 상기 촬영 이미지의 상기 대상 관련 정보가 정합된 강화 이미지를 표시하는 단계;를 포함하는 강화 이미지 제공 방법이 제공된다.
본 발명의 다른 일 실시예에 따르면, 위성항법장치와 카메라를 구비하는 모바일 기기와 상기 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버를 이용하는 강화 이미지 제공 방법으로서, 상기 모바일 기기는 상기 위성항법장치의 위성항법정보를 전송하는 단계; 상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하여 전송하는 단계; 상기 모바일 기기는 수신되는 상기 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하는 단계; 상기 인터넷 서버는 상기 결정된 대상의 관련 정보를 검색하여 전송하는 단계; 및 상기 모바일 기기는 상기 대상 관련 정보가 정합된 강화 이미지를 표시하는 단계;를 포함하는 강화 이미지 제공 방법이 제공된다.
본 발명의 다른 일 실시예에 따르면 위의 방법을 수행하기 위한 명령어를 수록한 컴퓨터 판독 가능 기록 매체가 제공된다.
본 발명의 일부 실시예에 따르면, 경관 이미지와 촬영 이미지와의 매칭을 통해 촬영 이미지의 대상을 정확히 인식할 수 있다.
또한 본 발명의 일부 실시예에 따르면, 촬영 이미지에 대상의 관련 정보를 정합시킬 수 있다.
또한 본 발명의 일부 실시예에 따르면, 모바일 기기의 이동에 따라 실시간으로 대상의 관련 정보가 정합된 촬영 이미지를 제공할 수 있다.
이 외에도 본 발명의 일부 실시예에 따르면, 3차원 모델을 증강한 사실적인 대상 이미지를 제공할 수 있다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 강화 이미지 제공 시스템을 개략적으로 보이는 개념도이다. 본 발명에 모바일 기기는 일반적으로 이동통신단말기를 의미하며, 카메라와 위성항법장치를 구비하고 인터넷 서버로부터 관련 정보를 송수신할 수 있는 모든 형태의 휴대형 장치를 의미한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 강화 이미지 제공 시스템(100)은 카메라와 위성항법장치를 구비하는 모바일 기기(110)과 위성항법정보가 기록된 경관 이미지와 촬영 이미지의 대상 관련 정보를 제공하는 인터넷 서버(120)을 포함하며, 모바일 기기(110)과 인터넷 서버(120)은 통신망을 통해 정보를 송수신한다. 본 발명의 일 실시예에 따른 강화 이미지 제공 시스템(100)은 이미지 매핑이 모바일 기기에서 일어나는 지, 아니면 인터넷 서버에서 일어나는 지에 따라 두 가지 실시예로 나뉠 수 있다.
본 발명의 제1실시예에 따른 강화 이미지 제공 시스템(100a)에서는 촬영 이미지와 경관 이미지의 매핑이 인터넷 서버(120a)에서 일어난다. 도 3은 본 발명의 제1실시예에 따른 강화 이미지 제공 시스템(100a)을 개략적으로 보인 도면이다.
도 3을 참조하여 상세히 살펴보면, 본 발명의 제1실시예에 따른 강화 이미지 제공 시스템(100a)에서, 모바일 기기(110a)는 대상의 이미지를 촬영하는 카메라(111a)와, 모바일 기기(110a)의 위치와 방위를 기록하는 위성항법장치(113a)와, 카메라(111a)의 촬영 이미지와 위성항법장치(113a)의 위성항법정보를 전송하는 전 송부(115a) 및, 상기 촬영 이미지의 대상의 관련 정보가 정합된 강화 이미지를 표시하는 표시부(117a)를 포함한다. 여기서, 모바일 기기(110a)는 콤파스 센서(미도시)를 포함하여 카메라(111a)의 보는 방향에 대한 콤파스 정보를 전송부(115a)를 통해 인터넷 서버(120a)로 전송할 수 있다.
또한 본 발명의 제1실시예에 따른 강화 이미지 제공 시스템(100a)에서, 인터넷 서버(120a)는 다수의 경관 이미지, 일반적으로는 파노라마 이미지가 저장된 경관 이미지 데이터베이스(121a)와, 모바일 기기(110a)가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 가장 근접한 경관 이미지를 선택하는 선택부(123a)와, 상기 촬영 이미지의 특징(feature)를 추출하고 상기 선택된 경관 이미지와의 특징을 매칭하여 상기 대상을 결정하는 매칭부(125a)와, 상기 대상이 디지털 맵에서 일치하는 영역을 찾아 상기 대상 관련 명칭 또는 기타 관련 정보를 검색하는 검색부(127a) 및, 상기 대상 관련 정보를 전송하는 정보 전송부(129a)를 포함한다. 여기서, 인터넷 서버(120a)는 콤파스 정보를 더 수신하는 경우 상기 위성항법정보와 함께 콤파스 정보를 더 이용하여 상기 촬영 이미지와 상기 경관 이미지를 매칭할 수 있다. 이 경우 콤파스 정보를 이용하여 위치 오차를 방향 오차로 상쇄시킴으로써 매칭 오차가 더욱 감소되어 상기 촬영 이미지의 대상에 더욱 근접하는 정확한 경관 이미지를 선택할 수 있다.
본 발명의 일 실시예에 따른 강화 이미지 제공 시스템에서 일어나는 이미지 매칭 방법에 대해서는 하기 본 발명의 일 실시예에 따른 강화 이미지 제공 방법에서 후술한다.
도 4는 본 발명의 제2실시예에 따른 강화 이미지 제공 시스템(100b)을 개략적으로 보이는 도면이다. 도 4에서 도 3의 본 발명의 제1실시예에 따른 강화 이미지 제공 시스템 (100a)와 동일 장치의 동일 기능에 대한 설명은 생략한다.
도 4를 참조하면, 모바일 기기(110b)는 카메라(111b)와, 위성항법장치(113b)와, 전송부(115b)와, 표시부(117b) 및, 상기 촬영 이미지와 수신되는 경관 이미지의 특징을 매핑하여 상기 대상을 결정하는 매칭부(119b)를 포함한다. 여기서, 본 발명의 제2실시예에 따른 강화 이미지 제공 시스템(100b)에 있어 모바일 기기(110b)의 매칭부(119b)는 도 3에 도시된 본 발명의 제1실시예에 따른 강화 이미지 제공 시스템 (100a)의 인터넷 서버(120a) 중 매칭부(125a)가 행하는 촬영 이미지와 경관 이미지의 매칭 작업을 동일하게 수행하여 촬영 이미지 중 대상을 정확히 결정한다. 이 때 상술한 바와 같이 모바일 기기(110b)는 콤파스 센서를 포함하여 카메라(111b)의 보는 방향에 대한 콤파스 정보를 인터넷 서버(120b)로 전송할 수 있다. 다만, 본 발명의 제2실시예에 따른 강화 이미지 제공 시스템(100b)에 있어 모바일 기기(110b)에서 이미지 매칭이 일어나므로 전송부(115b)는 위성항법정보만을 인터넷 서버(120b)로 전송한다.
인터넷 서버(120b)는 경관 이미지 DB(121b), 선택부(123b), 검색부(127b 및 정보 전송부(129b)를 포함한다. 상술한 바와 같이 본 발명의 제2실시예에 따른 강화 이미지 제공 시스템(100b)의 인터넷 서버(120b)에는 본 발명의 제1실시예에 따른 강화 이미지 제공 시스템 (100a)의 인터넷 서버(120a) 에 존재하던 매칭부(125a)가 존재하지 않는다. 여기서, 선택부(123b)는 모바일 기기(110b)가 콤파스 정보를 송신하면 상기 위성항법정보와 함께 이를 더 이용하여 모바일 기기(110b)의 촬영 이미지에 근접하는 경관 이미지를 정확히 찾아낼 수 있다.
본 발명의 일 실시예에 따른 강화 이미지 제공 시스템(100)은 인터넷 서버(120)에서 촬영 이미지에 근접하는 경관 이미지를 한 장 또는 복수로 선택가능하다. 경관 이미지가 한 장 선택되는 경우 이미지 매칭은 인터넷 서버(120) 또는 모바일 기기(110)에서 이 한 장의 경관 이미지와 촬영 이미지간에 일어난다. 경관 이미지를 복수로 선택하는 경우는 모바일 기기(110)에서 전송하는 위성항법 정보를 바탕으로 위성항법장치가 발생시킬 수 있는 오차의 최대 범위 내에 존재하는 다수의 경관 이미지를 선택한다. 이 때, 인터넷 서버(120) 또는 모바일 기기(110)는 각각의 경관 이미지와 촬영 이미지에 대해 이미지 매칭을 실행하여 매칭된 영역을 기초로 디지털 맵에서 해당 영역을 정확히 찾아냄으로써 대상을 결정한다.
본 발명의 일 실시예에 따른 강화 이미지 제공 시스템 및 방법에 사용되는 이미지 매칭 방법은 이미지의 회전과 크기에 불변하는 것을 특징으로 한다. 일반적으로 사용되는 방법에는 SIFT(Scale Invariant Feature Transform)방법이 있다. SIFT 방법은 크게 특징 검출 (feature detection) 단계, 디스크립터(descriptor) 계산 단계 및, 특징 매칭(feature matching) 단계로 이루어진다. 여기서, 특징(feature)란 이미지 상에서 다른 곳과 구별되는 픽셀 또는 영역을 의미하며, 다른 말로 feature point, Interest point 등으로 지칭된다.
특징 검출 단계에서는 특징(주로 코너나 점)을 가우션 차이(difference of Gaussian: DOG)로부터 찾아낸다. 이미지를 여러 단계로 블러링(bluring) 수행하고 각 단계의 차 이미지를 구하면 가우션 차이(DOG) 이미지를 구할 수 있다. 이 중 국소 최대(Local Maxima)인 특징을 추출하고, 다시 이미지를 1/2로 줄여 동일 단계를 반복하면서 특징을 찾는다.
디스크립터 계산 단계에서는 추출된 특징마다 해당 스케일에 비례하여 계산을 위한 이미지 영역을 설정하고, 상기 설정된 영역에서 그레디언트(Gradient)를 계산하여 히스토그램을 만든다. 가장 큰 방향을 해당 특징의 오리엔테이션으로 설정하고, 이를 기준으로 영역을 4Ⅹ4로 나누어 그레디언트를 히스토그램으로 만든다. 히스토그램을 8단계로 나누어 정량화하면 총 4X4X8=128 개의 데이터가 획득되며 이 128개의 데이터가 디스크립터가 된다.
특징 매칭 단계에서는 대상 이미지의 특징으로 KD-TREE를 구성하고, 경관 이미지에서 추출된 특징을 KD-TREE와 비교하여 비슷한 특징을 찾아낸다. 특징이 비슷한지에 대한 판단은 128개의 데이터간 거리(distance)를 계산하여 특정 문턱값을 넘어갈 경우 특징 매칭이 일어나는 것으로 판단한다. 이미지의 특징간 대응(correspondence)을 이용하여 변환 행렬을 계산하고 대상의 촬영 이미지와 경관 이미지간의 특징 매칭이 많이 일어나는 경우 이미지 매칭이 일어나는 것으로 간주한다.
본 발명의 일 실시예에 따른 강화 이미지 제공 시스템 및 방법에 사용되는 이미지 매칭 방법에서는 특징 매칭을 빠르게 수행하기 위해 미리 경관 이미지에 대한 전처리를 실행할 수 있다. 즉, 인접한 경관 이미지의 경우 동일 건물이 경관 이미지에 동시에 존재할 가능성이 매우 높다. 먼저 경관 이미지를 건물 단위로 영역 을 분할하고 각 영역에 대해 인접한 경관 이미지의 영역과의 매칭을 실행한다. 매칭 영역의 결정 후 동일 영역의 이미지에 대해 동시에 출현하는 특징을 추출하고 디스크립터를 미리 계산해 둘 수 있다. 그러면, 이미지 매칭을 실제 실행할 때 모바일 기기에서 전송한 위성항법정보를 바탕으로 위성항법장치가 일으킬 수 있는 오차의 최대 범위 내에 존재하는 다수의 경관 이미지를 선택하고, 각 경관 이미지 내에 존재하는 영역들에 대해 미리 추출한 특징을 바탕으로 이미지 매칭을 진행할 수 있다. 매칭된 영역을 바탕으로 모바일 기기의 촬영 이미지의 대상을 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 강화 이미지 제공 시스템(100)에서 인터넷 서버(120)는 대상 관련 정보로 압축된 3차원 모델을 검색하여 전송할 수 있으며 모바일 기기(110)는 수신되는 3차원 모델을 상기 대상에 정확히 정합하여 현실감 있는 강화 이미지를 표시할 수 있다.
또한, 본 발명의 일 실시예에 따른 강화 이미지 제공 시스템(100)에서 모바일 기기(110)는 실시간으로 이동하는 카메라의 위치와 자세 및 상기 촬영 이미지의 대상의 자연적 특징을 기준으로 상기 대상의 관련 정보를 상기 촬영 이미지와 정합하며, 촬영 이미지를 트래킹하면서 정보가 정합된 강화 이미지를 제공할 수 있다.
도 5는 본 발명의 제1실시예에 따른 강화 이미지 제공 방법을 나타내는 플로우차트이다.
도 5를 참조하면, 본 발명의 제1실시예에 따른 강화 이미지 제공 방법은 위 성 항법 장치와 카메라를 구비하고 인터넷 통신이 가능한 모바일 기기(110a) 및 모바일 기기(110a)에 통신망을 통해 경관 이미지와 디지털 지도를 제공하는 인터넷 서버(120a)를 이용한다.
먼저 모바일 기기(110a)는 상기 카메라를 이용하여 대상을 촬영하고 상기 카메라의 촬영 이미지와 상기 모바일 기기의 위성항법정보를 인터넷 서버(120a)에 전송한다(S11).
인터넷 서버(120a)는 상기 위성항법정보를 바탕으로 경관 이미지 중 상기 촬영 이미지에 근접한 경관 이미지를 선택한다(S12).
그런 다음, 인터넷 서버(120a)는 상기 촬영 이미지와 상기 선택된 경관 이미지를 매칭하여 상기 경관 이미지 중 상기 촬영 이미지와 특징이 매칭되는 영역을 찾고 상기 영역에 해당하는 정보를 디지털 맵에서 검색하여 상기 대상을 결정한다(S13).
인터넷 서버(120a)는 상기 결정된 대상의 관련 정보-대상의 명칭, 관광 안내 정보, 쇼핑 정보, 아이콘, 3차원 모델 등-를 검색하여 전송한다(S14).
모바일 기기(110a)는 인터넷 서버(120a)로부터 수신되는 상기 대상 관련 정보를 상기 촬영 이미지에 정합하여 표시한다(S15).
도 6은 본 발명의 제2실시예에 따른 강화 이미지 제공 방법을 나타내는 플로우차트이다. 본 발명의 제2실시예에 따른 강화 이미지 제공 방법 중 본 발명의 제1실시예에 따른 강화 이미지 제공 방법과 동일한 부분에 대한 설명은 생략한다.
도 6을 참조하면, 본 발명의 제2실시예에 따른 강화 이미지 제공 방법은 위 성항법장치와 카메라를 구비하고 인터넷 통신이 가능한 모바일 기기(110b) 및 모바일 기기(110b)에 통신망을 통해 경관 이미지와 디지털 지도를 제공하는 인터넷 서버(120b)를 이용한다.
먼저 모바일 기기(110b)에서 일어나는 단계(S25)은 도 5의 단계(S15)과 동일하고, 인터넷 서버(120b)에서 일어나는 단계(S22)(S24)는 도 5의 단계(S12)(S14)와 동일하다. 여기서, 모바일 기기(110b)에서 일어나는 단계(S21)이 도 5의 단계(S11)과 상이한 점은 촬영 이미지가 전송되지 않고 단지 위성항법정보만이 전송된다는 것이다. 이는 본 발명의 제2실시예에 따른 강화 이미지 제공 방법에서는 촬영 이미지와 파노라마 이미지간의 매칭이 모바일 기기(110b)에서 일어나기 때문이다.
다만, 본 발명의 제2실시예에 따른 강화 이미지 제공 방법에서 상기 촬영 이미지와 상기 선택된 경관 이미지를 매칭하여 상기 경관 이미지 중 상기 촬영 이미지와 특징이 매칭되는 영역을 찾고 상기 영역에 해당하는 정보를 디지털 맵에서 검색하여 상기 대상을 결정하는 단계(S23)가 모바일 기기(110b)에서 일어난다는 점이 본 발명의 제1실시예에 따른 강화 이미지 제공 방법과 상이한 점이다.
이하에서 도 7a 내지 도 7g를 참고로 본 발명의 일 실시예에 따른 강화 이미지 제공 방법을 좀 더 상세히 설명한다.
도 7a 내지 도 7e는 본 발명의 일 실시예에 따른 강화 이미지 제공 방법의 각 단계가 실행되는 과정을 보이는 도면이다.
도 7a는 도 5의 S11 단계와 도 6의 S21 단계의 실행을 도시한다. 도 7a를 참조하면 사용자가 모바일 기기의 카메라로 대상을 비추면, 모바일 기기는 대상의 촬영과 동시에 촬영 이미지와 GPS 정보, 즉 위치와 방위 기록을 인터넷 서버로 송신한다. 다만, 모바일 기기에서 이미지 매칭을 하는 경우에는 GPS 정보만을 인터넷 서버로 전송한다.
도 7b는 도 5의 S12 단계와 도 6의 S22 단계에 대응하는 과정을 도시하는데, 인터넷 서버가 상기 위성항법정보를 바탕으로 근접한 경관 이미지를 검색하고 선택한다. 여기서, 경관 이미지는 촬영 시 해당 장소의 위치와 방위 기록이 정확히 기록되어야 한다. 본 발명의 일 실시예에 따른 강화 이미지 제공 방법에서는 이러한 장소와 방위 기록이 정확한 경관 이미지, 특히 파노라마 이미지를 바탕으로 촬영된 대상의 정확한 정보를 검색할 수 있다. 또한, 모바일 기기는 대상 이미지에 콤파스 센서를 더 적용한 콤파스 정보를 인터넷 서버에 전송할 수 있다. 그러면 인터넷 서버는 전송된 콤파스 정보를 바탕으로 GPS 정보로 일차 검색된 경관 이미지를 필터링하여 촬영 이미지에 근접하는 이미지의 개수를 감소시킬 수 있다.
도 7c는 촬영 이미지와 경관 이미지를 매칭하여 특징이 일치하는 영역을 추출하여 디지털 맵에서 해당하는 대상을 결정하는 단계를 나타낸 것으로 도 5의 S13 단계 및 도 6의 S23 단계에 해당한다. 인터넷 서버 또는 모바일 기기는 상기 촬영 이미지의 회전과 크기에 불변하는 상기 경관 이미지의 매칭 영역을 추출한다. 하지만, 이러한 매칭 작업은 시간이 비교적 많이 소모되므로 인터넷 서버는 경관 이미지에 대해 특징을 미리 추출하여 저장해두는 전처리를 실행할 수 있다. 전처리된 경관 이미지의 특징과 촬영 이미지의 특징 매칭 작업을 이용하면 매칭 작업을 더욱 빠르게 실행할 수 있다.
도 7d는 도 5의 S14 단계 및 도 6의 S24에 해당하는 단계로 정확히 인식된 대상에 대해 인터넷 서버로부터 관련 정보를 검색하여 모바일 기기로 전송할 수 있다. 전송되는 정보는 상기 대상과 관련된 모든 정보가 가능하다. 예를 들어 특정 상점에 관련된 웹 페이지, 블로그, 신문기자, 관련 비디오, 삼차원(3D) 물체, 사용자 추천 등 다양한 정보가 나타날 수 있다.
도 7e는 도 5의 S15 단계 및 도 6의 S25 단계와 동일하게 본 발명의 일 실시예에 따른 강화 이미지 제공 방법의 마지막 단계로서, 모바일 기기가 인터넷 서버로부터 대상과 관련된 정보를 검색하여 대상 이미지에 대상과 관련된 정보를 정합하여 표시한다. 여기서, 상기 대상과 관련된 정보가 삼차원 모델인 경우 인터넷 서버는 압축 저장하여 모바일 기기로 전송하고, 모바일 기기는 삼차원 모델을 상기 대상 이미지에 정합하여 표시한다. "정합"이라는 용어는 대상 이미지의 해당 대상에 정확히 일치하여 관련 정보를 표시하는 것을 의미한다.
본 발명의 일 실시예에 따른 강화 이미지 제공 방법에서 대상 이미지에 정보를 정합하는 방법에 증강된 현실(AR: Augmented Reality) 기술을 활용할 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 강화 이미지 제공 방법에 있어 AR 기술을 활용하여 대상 이미지에 정보를 정합하는 방법을 보이는 사진이다. 도 8a는 대상 이미지이고, 도 8b는 AR 기술을 적용하여 정보가 정합된 대상 이미지를 보인다.
도 8a를 참조하면, AR기술을 적용하는 방법은, 모바일 기기에 촬영되는 다수의 대상 각각에 자연적 특징을 생성하고 이에 대해 동시에 트래킹을 한다. 도 8b를 참조하면, 실시간으로 각 프레임마다 자연적 특징을 추적하여 카메라 위치를 계산하고 그에 맞추어 관련 정보를 렌더링하여 합성을 함으로써, 대상 이미지를 생성한다. 이러한 AR 기술을 이용하여 자연스럽게 관련 정보를 이미지에 정합시키므로써 강화된 이미지를 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따른 강화 이미지 제공 방법에 있어 AR 기술을 이용하여 삼차원 물체를 대상 이미지에 정합하는 방법을 보인다.
도 9를 참조하면, 모바일 기기에서 인터넷 서버에 3차원 물체의 모델을 요청하면 인터넷 서버는 요청에 따라 3차원 물체의 모델을 모바일 기기로 전송한다. 이 때 인터넷 서버는 전송의 효율을 개선하기 위해 3차원 물체의 모델에 대해 미리 압축 저장해 둘 수 있다. 모바일 기기는 전송된 3차원 물체의 모델을 대상 이미지에 합성하여 대상 이미지를 강화시킬 수 있다.
본 발명의 일 실시예에 따른 강화 이미지 제공 시스템 및 방법은 대상의 촬영 이미지에 근접하는 경관 이미지를 선택하고 대상의 촬영 이미지에 가장 잘 일치하는 경관 이미지의 영역을 추출하여 디지털 지도와의 매핑을 통해 대상을 정확히 인식할 수 있다.
또한, 본 발명의 일 실시예에 따른 강화 이미지 제공 시스템 및 방법은 정확히 인식한 대상의 관련 정보를 촬영 이미지에 정합하여 사실적인 강화 이미지를 사용자에게 보여줌과 동시에 대상에 대한 정확한 정보를 전달할 수 있다.
이외에도, 본 발명의 일 실시예에 따른 강화 이미지 제공 방법은 사용자의 이동에 따른 카메라의 위치와 자세를 계산하여 실시간으로 다수의 대상의 특징을 트래킹하면서 끊이지 않은 대상의 촬영 이미지를 전달할 수 있다.
본 발명의 일 실시예에 따른 강화 이미지 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통 상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 도 1은 종래 증강현실 위치기반 서비스를 도시한 개략도,
도 2는 본 발명의 일 실시예에 따른 강화 이미지 제공 시스템을 개략적으로 도시한 개념도,
도 3은 본 발명의 제1실시예에 따른 강화 이미지 제공 시스템을 개략적으로 도시한 도면,
도 4는 본 발명의 제2실시예에 따른 강화 이미지 제공 시스템을 개략적으로 도시한 도면,
도 5는 본 발명의 제1실시예에 따른 강화 이미지 제공 방법을 나타내는 플로우차트,
도 6은 본 발명의 제2실시예에 따른 강화 이미지 제공 방법을 나타내는 플로우차트,
도 7a 내지 도 7e는 본 발명의 일 실시예에 따른 강화 이미지 제공 방법의 각 단계가 실행되는 과정을 보이는 도면,
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 강화 이미지 제공 방법에 있어 AR 기술을 활용하여 대상 이미지에 정보를 정합하는 방법을 보이는 도면,
도 9는 본 발명의 일 실시예에 따른 위치기반 대상 이미지 강화 방법에 있어 AR 기술을 이용하여 삼차원 물체를 대상 이미지에 정합하는 방법을 보이는 도면.

Claims (37)

  1. 카메라의 촬영 이미지와 위성항법장치의 위성항법정보를 전송하고, 상기 촬영 이미지의 대상의 관련 정보가 정합된 강화 이미지를 표시하는 모바일 기기; 및
    상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하고, 상기 선택된 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 대상을 결정하며, 상기 대상 관련 정보를 검색하여 전송하는 인터넷 서버;
    를 포함하는 강화 이미지 제공 시스템.
  2. 카메라의 위성항법장치의 위성항법정보를 전송하고, 수신되는 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하며, 상기 대상의 관련 정보가 정합된 강화 이미지를 표시하는 모바일 기기; 및
    상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하여 전송하고, 상기 대상 관련 정보를 검색하여 전송하는 인터넷 서버;
    를 포함하는 강화 이미지 제공 시스템
  3. 제1항 또는 제2항에 있어서,
    상기 모바일 기기는 콤파스 센서를 포함하고 상기 촬영 이미지에 대한 상기 콤파스 센서의 콤파스 정보를 전송하는 강화 이미지 제공 시스템.
  4. 제3항에 있어서,
    상기 인터넷 서버는 상기 콤파스 정보를 더 이용하여 상기 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하는 강화 이미지 제공 시스템.
  5. 제1항 또는 제2항에 있어서,
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보에 가장 근접한 하나의 경관 이미지를 선택하는 강화 이미지 제공 시스템.
  6. 제1항 또는 제2항에 있어서,
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보의 오차 최대 범위 내 존재하는 다수의 경관 이미지를 선택하는 강화 이미지 제공 시스템.
  7. 제1항에 있어서,
    상기 인터넷 서버는 위성항법정보가 기록된 상기 경관 이미지에 대해 미리 특징을 추출하고, 상기 촬영 이미지와 상기 경관 이미지의 특징을 매칭하여 상기 대상을 결정하는 강화 이미지 제공 시스템.
  8. 제1항에 있어서,
    상기 인터넷 서버는 위성항법정보가 기록된 상기 경관 이미지에 대해 미리 특징을 추출하고, 상기 모바일 기기는 상기 촬영 이미지와 상기 경관 이미지의 특징을 매칭하여 상기 대상을 결정하는 강화 이미지 제공 시스템.
  9. 제1항 또는 제2항에 있어서,
    상기 인터넷 서버는 상기 대상 관련 정보로 압축된 삼차원 모델을 검색하여 전송하는 강화 이미지 제공 시스템.
  10. 제1항 또는 제2항에 있어서,
    상기 모바일 기기는 실시간으로 이동하는 상기 카메라의 위치와 자세 및 상기 촬영 이미지의 대상의 자연적 특징을 기준으로 상기 대상의 관련 정보를 상기 촬영 이미지와 정합하는 강화 이미지 제공 시스템.
  11. 위성항법장치와 카메라를 구비하고 통신망을 통해 인터넷 서버와 정보를 송수신하는 모바일 기기로서,
    상기 카메라의 촬영 이미지와 상기 위성항법장치의 위성항법정보를 전송하고, 상기 촬영 이미지의 대상의 관련 정보가 정합된 강화 이미지를 표시하는 강화 이미지 제공 모바일 기기.
  12. 위성항법장치와 카메라를 구비하고 통신망을 통해 인터넷 서버와 정보를 송 수신하는 모바일 기기로서,
    상기 위성항법장치의 위성항법정보를 전송하고, 수신되는 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하며, 상기 대상의 관련 정보가 정합된 강화 이미지를 표시하는 강화 이미지 제공 모바일 기기.
  13. 제11항 또는 제12항에 있어서,
    콤파스 센서를 포함하고, 상기 촬영 이미지에 대한 상기 콤파스 센서의 콤파스 정보를 전송하는 강화 이미지 제공 모바일 기기.
  14. 제11항 또는 제12항에 있어서,
    실시간으로 이동하는 상기 카메라의 위치와 자세 및 상기 촬영 이미지의 대상의 자연적 특징을 기준으로 상기 대상의 관련 정보를 상기 촬영 이미지와 정합하는 강화 이미지 제공 모바일 기기.
  15. 위성항법장치와 카메라를 구비하는 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버로서,
    상기 모바일 기기가 전송한 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하고, 상기 선택된 경관 이미지와 상기 카메라의 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하며, 상기 대상의 관련 정보를 검색하여 전송하는 강화 이미지 제공 인터넷 서버.
  16. 위성항법장치와 카메라를 구비하는 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버로서,
    상기 모바일 기기가 전송한 상기 위성항법장치의 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하여 전송하고, 상기 카메라의 촬영 이미지의 대상 관련 정보를 검색하여 전송하는 강화 이미지 제공 인터넷 서버.
  17. 제15항 또는 제16항에 있어서,
    상기 카메라가 제공하는 콤파스 정보를 더 이용하여 상기 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하는 강화 이미지 제공 인터넷 서버.
  18. 제15항 또는 제16항에 있어서,
    상기 모바일 기기가 전송한 상기 위성항법정보에 가장 근접한 하나의 경관 이미지를 선택하는 강화 이미지 제공 인터넷 서버.
  19. 제15항 또는 제16항에 있어서,
    상기 모바일 기기가 전송한 상기 위성항법정보의 오차 최대 범위 내 존재하는 다수의 경관 이미지를 선택하는 강화 이미지 제공 인터넷 서버.
  20. 제15항에 있어서,
    상기 위성항법정보가 기록된 상기 경관 이미지에 대해 미리 특징을 추출하고, 상기 촬영 이미지와 상기 경관 이미지의 특징을 매칭하여 상기 대상을 결정하는 강화 이미지 제공 인터넷 서버.
  21. 제16항에 있어서,
    상기 위성항법정보가 기록된 상기 경관 이미지에 대해 미리 특징을 추출하는 강화 이미지 제공 인터넷 서버.
  22. 제15항 또는 제16항에 있어서,
    상기 대상 관련 정보로 압축된 삼차원 모델을 검색하여 전송하는 강화 이미지 제공 인터넷 서버.
  23. 위성항법장치와 카메라를 구비하는 모바일 기기와 상기 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버를 이용하는 강화 이미지 제공 방법으로서,
    상기 모바일 기기는 상기 카메라의 촬영 이미지와 상기 위성항법장치의 위성항법정보를 전송하는 단계;
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보를 기초 로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하는 단계;
    상기 인터넷 서버는 상기 선택된 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하는 단계;
    상기 인터넷 서버는 상기 결정된 대상의 관련 정보를 검색하여 전송하는 단계; 및
    상기 모바일 기기는 상기 촬영 이미지의 상기 대상 관련 정보가 정합된 강화 이미지를 표시하는 단계;
    를 포함하는 강화 이미지 제공 방법.
  24. 위성항법장치와 카메라를 구비하는 모바일 기기와 상기 모바일 기기와 통신망을 통해 정보를 송수신하는 인터넷 서버를 이용하는 강화 이미지 제공 방법으로서,
    상기 모바일 기기는 상기 위성항법장치의 위성항법정보를 전송하는 단계;
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보를 기초로 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하여 전송하는 단계;
    상기 모바일 기기는 수신되는 상기 경관 이미지와 상기 촬영 이미지를 매칭하여 상기 촬영 이미지의 대상을 결정하는 단계;
    상기 인터넷 서버는 상기 결정된 대상의 관련 정보를 검색하여 전송하는 단계; 및
    상기 모바일 기기는 상기 대상 관련 정보가 정합된 강화 이미지를 표시하는 단계;
    를 포함하는 강화 이미지 제공 방법.
  25. 제23항에 있어서,
    상기 위성항법정보를 전송하는 단계에서,
    상기 모바일 기기는 콤파스 센서를 포함하고 상기 촬영 이미지에 대한 상기 콤파스 센서의 콤파스 정보를 전송하는 강화 이미지 제공 방법.
  26. 제25항에 있어서,
    상기 근접한 경관 이미지를 선택하는 단계에서,
    상기 인터넷 서버는 상기 콤파스 정보를 더 이용하여 상기 위성항법정보가 기록된 경관 이미지 중 근접한 경관 이미지를 선택하는 강화 이미지 제공 방법.
  27. 제24항에 있어서,
    상기 위성항법정보를 전송하는 단계에서,
    상기 모바일 기기는 콤파스 센서를 포함하고 상기 촬영 이미지에 대한 상기 콤파스 센서의 콤파스 정보를 전송하는 강화 이미지 제공 방법.
  28. 제27항에 있어서,
    상기 근접한 경관 이미지를 선택하여 전송하는 단계에서,
    상기 인터넷 서버는 상기 콤파스 정보를 더 이용하여 상기 촬영 이미지와 상기 경관 이미지를 매칭하는 강화 이미지 제공 방법.
  29. 제23항에 있어서,
    상기 근접한 경관 이미지를 선택하는 단계에서,
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보에 가장 근접한 하나의 경관 이미지를 선택하는 강화 이미지 제공 방법.
  30. 제24항에 있어서,
    상기 근접한 경관 이미지를 선택하여 전송하는 단계에서,
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보에 가장 근접한 하나의 경관 이미지를 선택하는 강화 이미지 제공 방법.
  31. 제23항에 있어서,
    상기 근접한 경관 이미지를 선택하는 단계에서,
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보의 오차 최대 범위 내 존재하는 다수의 경관 이미지를 선택하는 강화 이미지 제공 방법.
  32. 제24항에 있어서,
    상기 근접한 경관 이미지를 선택하여 전송하는 단계에서,
    상기 인터넷 서버는 상기 모바일 기기가 전송한 상기 위성항법정보의 오차 최대 범위 내 존재하는 다수의 경관 이미지를 선택하는 강화 이미지 제공 방법.
  33. 제23항에 있어서,
    상기 촬영 이미지의 대상을 결정하는 단계에서,
    상기 인터넷 서버는 상기 위성항법정보가 기록된 상기 경관 이미지에 대해 미리 특징을 추출하고, 상기 촬영 이미지와 상기 경관 이미지의 특징을 매칭하여 상기 대상을 결정하는 강화 이미지 제공 방법.
  34. 제24항에 있어서,
    상기 촬영 이미지의 대상을 결정하는 단계에서,
    상기 인터넷 서버는 상기 위성항법정보가 기록된 상기 경관 이미지에 대해 미리 특징을 추출하고, 상기 모바일 기기는 상기 촬영 이미지와 상기 경관 이미지의 특징을 매칭하여 상기 대상을 결정하는 강화 이미지 제공 방법.
  35. 제23항 또는 제24항에 있어서,
    상기 결정된 대상의 관련 정보를 검색하여 전송하는 단계에서,
    상기 인터넷 서버는 상기 대상 관련 정보로 압축된 삼차원 모델을 검색하여 전송하는 강화 이미지 제공 방법.
  36. 제23항 또는 제24항에 있어서,
    상기 강화 이미지를 표시하는 단계에서,
    상기 모바일 기기는 실시간으로 이동하는 상기 카메라의 위치와 자세 및 상기 촬영 이미지의 대상의 자연적 특징을 기준으로 상기 대상의 관련 정보를 상기 촬영 이미지와 정합하는 강화 이미지 제공 방법.
  37. 제23항 내지 제36항 중 어느 한 항의 강화 이미지 제공 방법을 수행하기 위한 명령어를 수록한 컴퓨터 판독 가능 기록 매체.
KR1020090099109A 2009-10-19 2009-10-19 강화 이미지 제공 시스템 및 방법 KR101640020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090099109A KR101640020B1 (ko) 2009-10-19 2009-10-19 강화 이미지 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090099109A KR101640020B1 (ko) 2009-10-19 2009-10-19 강화 이미지 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110042440A true KR20110042440A (ko) 2011-04-27
KR101640020B1 KR101640020B1 (ko) 2016-07-22

Family

ID=44047851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090099109A KR101640020B1 (ko) 2009-10-19 2009-10-19 강화 이미지 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101640020B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239849B2 (en) 2011-06-08 2016-01-19 Qualcomm Incorporated Mobile device access of location specific images from a remote database

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR100838580B1 (ko) * 2007-01-17 2008-06-20 한국과학기술원 이동통신단말기를 이용한 상점정보 제공 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR100838580B1 (ko) * 2007-01-17 2008-06-20 한국과학기술원 이동통신단말기를 이용한 상점정보 제공 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239849B2 (en) 2011-06-08 2016-01-19 Qualcomm Incorporated Mobile device access of location specific images from a remote database

Also Published As

Publication number Publication date
KR101640020B1 (ko) 2016-07-22

Similar Documents

Publication Publication Date Title
US10134196B2 (en) Mobile augmented reality system
JP5582548B2 (ja) 実環境視像における仮想情報の表示方法
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
EP2423871B1 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
US8902308B2 (en) Apparatus and method for generating an overview image of a plurality of images using a reference plane
CN102521365B (zh) 空间图像索引和关联的更新功能
CA2998164A1 (en) System and method for telecom inventory management
EP3164811B1 (en) Method for adding images for navigating through a set of images
US10796207B2 (en) Automatic detection of noteworthy locations
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
KR101042910B1 (ko) 전자 지도를 이용하여 서비스를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR100982192B1 (ko) 사진의 촬영 위치 및 방향 정보 태깅 방법과 그 장치
CN102959946A (zh) 基于相关3d点云数据来扩充图像数据的技术
JP5544250B2 (ja) 表示画像検索方法
US11915478B2 (en) Bayesian methodology for geospatial object/characteristic detection
JP6591594B2 (ja) 情報提供システム、サーバ装置、及び情報提供方法
JP2011039974A (ja) 画像検索方法およびシステム
CN104102732A (zh) 图像展现方法及装置
CN104871179A (zh) 用于图像捕捉和便于注解的方法和系统
KR20180133052A (ko) 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법
CN116402892A (zh) 定位方法、装置、设备及程序产品
JP5709261B2 (ja) 情報端末、情報提供システム及び情報提供方法
KR101640020B1 (ko) 강화 이미지 제공 시스템 및 방법
JP2013214158A (ja) 表示画像検索装置、表示制御システム、表示制御方法、およびプログラム
KR101334980B1 (ko) 증강현실 콘텐츠 저작 장치 및 증강현실 콘텐츠 저작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 4