KR101343054B1 - 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기 - Google Patents

사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기 Download PDF

Info

Publication number
KR101343054B1
KR101343054B1 KR1020090070269A KR20090070269A KR101343054B1 KR 101343054 B1 KR101343054 B1 KR 101343054B1 KR 1020090070269 A KR1020090070269 A KR 1020090070269A KR 20090070269 A KR20090070269 A KR 20090070269A KR 101343054 B1 KR101343054 B1 KR 101343054B1
Authority
KR
South Korea
Prior art keywords
information
portable terminal
augmented reality
data
menu
Prior art date
Application number
KR1020090070269A
Other languages
English (en)
Other versions
KR20110012523A (ko
Inventor
김남훈
임정빈
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090070269A priority Critical patent/KR101343054B1/ko
Priority to PCT/KR2010/004191 priority patent/WO2011013910A2/ko
Priority to CN201610480922.6A priority patent/CN106101115B/zh
Priority to US13/387,472 priority patent/US9130999B2/en
Priority to CN201080042741.6A priority patent/CN102625993B/zh
Publication of KR20110012523A publication Critical patent/KR20110012523A/ko
Application granted granted Critical
Publication of KR101343054B1 publication Critical patent/KR101343054B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예는 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기에 관한 것이다.
본 발명의 일 실시예는 촬영된 영상에 정보를 오버레이(Overlay)한 증강 현실(Augmented Reality)을 제공하는 서버에 있어서, 휴대용 단말기와 연동하는 서버 통신부; 및 상기 휴대용 단말기로부터 선택 메뉴 정보를 수신하고, 기 저장된 위치 기반 관련 정보와 상기 수신된 선택 메뉴 정보를 비교하여, 상기 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하고, 상기 생성된 제 1 메뉴 정보 데이터를 상기 휴대용 단말기로 전송하는 서버 제어부를 포함하되, 상기 서버 제어부는 상기 위치 기반 관련 정보에 포함된 복수 개의 메뉴 중 상기 선택 메뉴 정보에 부합하는 일부 메뉴만 상기 제 1 메뉴 정보 데이터로 생성하는 것을 특징으로 하는 증강 현실 제공 서버를 제공한다.
본 발명의 일 실시예에 의하면, 획득된 영상 정보에 선택 메뉴에 해당하는 정보를 바로 합성하여 출력할 수 있으므로, 증강 현실을 빠르게 구동할 수 있는 효과가 있다.
사용자 선택 정보, 선택 메뉴, 증강 현실, 영상 인식

Description

사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기{Method for Providing Augmented Reality by User Selection Information, Server And Portable Terminal Therefor}
본 발명의 일 실시예는 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기에 관한 것이다. 더욱 상세하게는, 휴대용 단말기로부터 사용자 선택 메뉴 정보를 수신하고, 그와 부합하는 특정 메뉴를 선별하여 제공함으로써, 실사 영상 내에 존재하는 실제 오브젝트에 대한 부가 정보 사용자가 선택한 정보만 선별적으로 나타나도록 할 수 있는 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기에 관한 것이다.
위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 증강 현실 (Augmented Reality: AR) 기술이라 한다. 더욱 구체적으로, 증강 현실은 가상현실(Virtual Reality: VR)의 한 분야로서 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로서, 증강 현실 은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반에 가상 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 기술이다. 현재 증강 현실 기술은 방송, 광고, 전시, 게임, 테마 파크, 군용, 교육 및 프로모션 등의 분야에서 사용 중이지만 아직 대중적으로 확산되지는 않은 상태이다.
이러한 증강 현실 기술은 통신 단말기에서 사용되는 모바일 AR 기술 분야에서 각광받고 있는 추세이다. 현재 모바일 AR 기술의 어플리케이션들이 조금씩 등장하고 있는 상태이며, 초기 단계 기술로서 마커 기반의 모바일 AR 기술 또는 센서 기반의 모바일 AR 기술이 등장하고 있다. 마커 기반의 모바일 AR 기술은 특정 건물을 촬영할 때, 특정 건물과 대응되는 특정 기호를 같이 촬영한 후 특정 기호를 인식하여 해당하는 건물을 인식하는 기술이며, 센서 기반의 모바일 AR 기술은 단말기에 탑재된 GPS와 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치와 바라보고 있는 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다. 이러한 종래의 기술들은 모두 단말기에 구비된 GPS, 전자 나침반 등을 이용하여 현재 위치와 단말기가 바라보고 있는 방향을 유추할 뿐 단말기를 통해 입력된 영상을 정확하게 인식하는 기술을 제공하지 못하고 있다.
전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 실사 영상 내에 존 재하는 실제 오브젝트에 대한 부가 정보 사용자가 선택한 정보만 선별적으로 나타나도록 할 수 있는 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기를 제공하는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 촬영된 영상에 정보를 오버레이(Overlay)한 증강 현실(Augmented Reality)을 제공하는 서버에 있어서, 휴대용 단말기와 연동하는 서버 통신부; 및 상기 휴대용 단말기로부터 선택 메뉴 정보를 수신하고, 기 저장된 위치 기반 관련 정보와 상기 수신된 선택 메뉴 정보를 비교하여, 상기 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하고, 상기 생성된 제 1 메뉴 정보 데이터를 상기 휴대용 단말기로 전송하는 서버 제어부를 포함하되, 상기 서버 제어부는 상기 위치 기반 관련 정보에 포함된 복수 개의 메뉴 중 상기 선택 메뉴 정보에 부합하는 일부 메뉴만 상기 제 1 메뉴 정보 데이터로 생성하는 것을 특징으로 하는 증강 현실 제공 서버를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 증강 현실 제공 서버와 연동하여 실시간(Real Time)으로 증강 현실(Augmented Reality)을 제공받는 단말기에 있어서, 구동중인 어플리케이션의 실행 화면을 표시하는 표시부; 증강 현실 제공 서버와 연동하는 단말기 통신부; 정지영상 또는 동영상에 해당하는 영상 정보를 획득하는 카메라 모듈; 사용자 명령을 입력받는 키 입력부; 및 상기 입력된 사용자 명령에 의한 선택 메뉴 정보를 상기 증강 현실 제공 서버로 전송하며, 상기 증강 현실 제공 서 버로부터 상기 선택 메뉴 정보에 대응하는 제 1 메뉴 정보 데이터를 다운로드하며, 상기 획득된 영상 정보에 상기 다운로드된 제 1 메뉴 정보 데이터를 합성하여 상기 표시부를 통해 출력하는 단말기 제어부를 포함하는 것을 특징으로 하는 휴대용 단말기를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 촬영된 영상에 정보를 오버레이(Overlay)한 증강 현실(Augmented Reality)을 제공하는 방법에 있어서, 휴대용 단말기로부터 선택 메뉴 정보를 수신하는 단계; 기 저장된 위치 기반 관련 정보와 상기 수신된 선택 메뉴 정보를 비교하여, 상기 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하는 단계; 상기 위치 기반 관련 정보에 포함된 실사 영상 정보를 상기 휴대용 단말기로 전송하는 단계; 및 상기 제 1 메뉴 정보 데이터에 상기 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 상기 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 포함시켜 상기 휴대용 단말기로 전송하는 단계를 포함하는 것을 특징으로 하는 사용자 선택 정보에 의해 증강 현실을 제공하는 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 실사 영상 내에 존재하는 실제 오브젝트에 대한 부가 정보 사용자가 선택한 정보만 선별적으로 나타나도록 할 수 있는 효과가 있다. 또한, 본 발명에 의하면, 휴대용 단말기에서 사 용자 선택 메뉴에 해당하는 메뉴 정보 데이터를 수신하고, 획득된 영상 정보에 선택 메뉴에 해당하는 정보를 바로 합성하여 출력할 수 있으므로, 증강 현실을 빠르게 구동할 수 있는 효과가 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 사용자 선택 정보에 의해 증강 현실을 제공하는 시스템을 개략적으로 나타낸 블럭 구성도이다.
본 발명의 일 실시예에 따른 사용자 선택 정보에 의해 증강 현실을 제공하는 시스템은 휴대용 단말기(110), 유무선 통신망(120) 및 증강 현실 제공 서버(130)를 포함한다.
휴대용 단말기(110)는 유무선 통신망(120)과 연동하여 무선 통신으로 통상적인 음성 통화 및 데이터 통신을 수행하는 단말기를 의미한다. 예를 들어서, 휴대용 단말기(110)는 PDA(Personal Digital Assistant), 셀룰러폰, PCS(Personal Communication Service)폰, 핸드헬드 PC(Hand-Held PC), CDMA-2000 폰, WCDMA 폰, PMP(Portable Multimedia Player), PSP(PlayStation Portable) 및 MBS(Mobile Broadband System)폰 등이 될 수 있다.
본 발명의 일 실시예에 따른 휴대용 단말기(110)는 카메라 모듈(370)을 구비한 단말기로서, 구비된 카메라 모듈(370)을 이용하여 정지영상 또는 동영상에 해당하는 영상 정보를 획득한다. 한편, 휴대용 단말기(110)는 GPS 모듈(340)을 구비할 수 있으며, 구비된 GPS 모듈(340)을 이용하여 전파 신호에 포함된 항법 데이터(Navigation Data)를 근거로 위치 측위 정보를 생성하는 기능을 수행한다. 본 발명의 구현을 위해 휴대용 단말기(110)가 GPS 모듈(340)을 반드시 구비할 필요는 없으나, GPS 모듈(340)이 구비된 경우 구비된 GPS 모듈(340)을 이용하여 휴대용 단말기(110)의 현재 위치 정보를 산출할 수 있으며, 증강 현실 제공 서버(130)에서 위치 정보를 이용하지 않은 경우에 대비하여 AR DB의 검색 시간을 단축하는 데 현재 위치 정보를 이용할 수 있다. 또한, 휴대용 단말기(110)는 키 입력부(330)를 통해 입력된 사용자 명령에 의한 선택 메뉴 정보를 증강 현실 제공 서버(130)로 전송하며, 증강 현실 제공 서버(130)로부터 선택 메뉴 정보에 대응하는 제 1 메뉴 정보 데이터를 다운로드하며, 획득된 영상 정보에 다운로드된 제 1 메뉴 정보 데이터를 합성하여 표시부(320)를 통해 출력하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 다운로드된 제 1 메뉴 정보 데이터에 포함된 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 획득된 영상 정보에 합성하는 기능을 수행한다.
휴대용 단말기(110)는 카메라 모듈(370)을 통해 획득된 영상 정보로부터 영상 특징점을 추출하고, 추출된 영상 특징점을 다운로드된 제 1 메뉴 정보 데이터와 비교하여 추출된 영상 특징점과 매칭되는 데이터를 추출한 제 2 메뉴 정보 데이터를 생성하고, 생성된 제 2 메뉴 정보 데이터를 획득한 영상 정보와 합성하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 카메라 모듈(370)을 통해 획득한 영상 정보에 포함된 특정 오브젝트(Object)에 대한 색상 정보, 에지(Edge) 정보, 외곽선 정보, 텍스처(Texture) 정보, 텍스트(Text) 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 영상 특징점을 추출하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 증강 현실 제공 서버로 GPS 모듈(340)에서 생성된 위치 측위 정보를 전송하며, 증강 현실 제공 서버(130)로부터 선택 메뉴 정보 및 전송된 위치 측위 정보에 대응하는 제 3 메뉴 정보 데이터를 다운로드하며, 다운로드된 제 3 메뉴 정보 데이터를 획득된 영상 정보에 합성하는 기능을 수행한다.
유무선 통신망(120)은 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 인터넷 프로토콜로 데이터를 송수신할 수 있는 망을 말한다. 유무선 통신망(120)은 증강 현실 제공 서버(130)와 휴대용 단말기(110)들을 연결하는 망(Network)으로서 LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크일 수도 있으나, 인터넷(Internet)과 같은 개방형인 것이 바람직하다. 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전세계적인 개방형 컴퓨터 네트워크 구조를 의미한다. 또한, 휴대용 단말기(110)가 이동통신 단말기인 경우, 유무선 통신망(120)은 이동통신망을 포함할 수도 있다. 여기서, 유무선 통신망(120)에 대한 기술은 이미 공지된 기술이므로 더 자세한 설명은 생략하도록 한다.
본 발명의 일 실시예에 따른 증강 현실 제공 서버(130)는 휴대용 단말기(110)와 연동하며, 휴대용 단말기(110)로부터 선택 메뉴 정보를 수신하고, 기 저장된 위치 기반 관련 정보와 수신된 선택 메뉴 정보를 비교하여, 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하고, 생성된 제 1 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 여기서, 증강 현실 제공 서버(130)는 기 저장된 위치 기반 관련 정보에 포함된 복수 개의 메뉴 중 선택 메뉴 정보에 부합하는 일부 메뉴만 제 1 메뉴 정보 데이터로 생성하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 위치 기반 관련 정보에 포함 된 실사 영상 정보를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 추출한 제 1 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)로부터 수신한 위치 측위 정보를 이용하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위기 기반 관련 정보 중 산출된 현재 위치 정보 및 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 제 3 메뉴 정보 데이터를 생성하며, 생성된 제 3 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)와 동조하는 기지국의 위치 정보에 근거하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위치 기반 관련 정보 중 산출된 현재 위치 정보 및 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 제 4 메뉴 정보 데이터를 생성하며, 생성된 제 4 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 서버를 개략적으로 나타낸 블럭 구성도이다.
본 발명의 일 실시예에 따른 증강 현실 제공 서버(130)는 서버 통신부(210), 서버 제어부(220) 및 서버 저장부(230)를 포함하여 구성된다.
본 발명의 일 실시예에서는 증강 현실 제공 서버(130)가 서버 통신부(210), 서버 제어부(220) 및 서버 저장부(230)만을 포함하여 구성되는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 증강 현실 제공 서버(130)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
서버 통신부(210)는 유무선 통신망(120)을 경유하여 휴대용 단말기(110)와 연동하는 기능을 수행하는 통신 수단으로서, 각종 데이터를 송수신하는 기능을 수행한다. 여기서, 서버 통신부(210)를 증강 현실 제공 서버(130) 내에 포함된 모듈로 기재하고 있으나, 반드시 이에 한정되는 것은 아니며, 통신을 위한 이동통신사의 별도의 서버일 수 있다.
본 발명의 일 실시예에 따른 서버 제어부(220)는 서버의 전반적인 기능을 제어하는 제어 수단으로서, 서버 통신부(210)를 제어하여 휴대용 단말기(110)로부터 선택 메뉴 정보를 수신하고, 기 저장된 위치 기반 관련 정보와 수신된 선택 메뉴 정보를 비교하여, 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하고, 생성된 제 1 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 여기서, 서버 제어부(220)는 기 저장된 위치 기반 관련 정보에 포함된 복수 개의 메뉴 중 선택 메뉴 정보에 부합하는 일부 메뉴만 제 1 메 뉴 정보 데이터로 생성하는 기능을 수행한다. 서버 제어부(220)는 위치 기반 관련 정보에 포함된 실사 영상 정보를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 서버 제어부(220)는 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 추출한 제 1 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다.
서버 제어부(220)는 휴대용 단말기(110)로부터 수신한 위치 측위 정보를 이용하여 휴대용 단말기의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위기 기반 관련 정보 중 산출된 현재 위치 정보 및 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 제 3 메뉴 정보 데이터를 생성하며, 생성된 제 3 메뉴 정보 데이터를 휴대용 단말기로 전송하는 기능을 수행한다. 또한, 서버 제어부(220)는 휴대용 단말기(110)와 동조하는 기지국의 위치 정보에 근거하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위치 기반 관련 정보 중 산출된 현재 위치 정보 및 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 제 4 메뉴 정보 데이터를 생성하며, 생성된 제 4 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 이러한, 서버 제어부(220)는 증강 현실 제공 서버(130)의 구성 요소를 제어하기 위한 프로그램을 저장하는 메모리와 해당 프로그램을 실행하여 증강 현실 제공 서버(130)의 각 구성 요소를 제어하는 마이크로프 로세서 등을 포함하여 구성될 수 있다.
서버 저장부(230)는 서버의 동작에 필요한 각종 데이터를 저장하는 저장수단으로서, 실사 영상 정보, 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보 및 광고 정보 중 적어도 하나 이상의 정보를 포함하는 위치 기반 정보를 저장한다.
도 3은 본 발명의 일 실시예에 따른 휴대용 단말기를 개략적으로 나타낸 블럭 구성도이다.
본 발명의 일 실시예에 따른 휴대용 단말기(110)는 메모리부(310), 표시부(320), 키 입력부(320), GPS 모듈(340), 마이크로폰(350), 스피커(360), 단말기 통신부(360), 카메라 모듈(370) 및 단말기 제어부(380)를 포함하여 구성된다.
본 발명의 일 실시예에서는 휴대용 단말기(110)가 메모리부(310), 표시부(320), 키 입력부(320), GPS 모듈(340), 마이크로폰(350), 스피커(360), 단말기 통신부(360), 카메라 모듈(370) 및 단말기 제어부(380)만을 포함하여 구성되는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 휴대용 단말기(110)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
메모리부(310)는 휴대용 단말기(110)를 구동하고 음성 및 데이터 통신을 수행하는 기본 소프트웨어, 카메라 기능 등 다양한 부가 기능을 수행하는 다수의 소 프트웨어, 무선통신을 수행하기 위해 송수신하는 메시지를 처리하는 프로토콜 소프트웨어 등을 저장하는 저장 수단이다. 표시부(320)는 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 휴대용 단말기(110)의 동작 상태를 표시해 주며, 문자, 숫자, 이미지 등의 형태로 정보가 전달되는 경우에는 이 정보를 출력하는 화면 표시 수단이다. 키 입력부(320)는 숫자, 문자, 기호 및 메뉴를 입력하기 위한 버튼을 구비하여 휴대용 단말기(110)를 사용하는 사용자로부터 키 또는 명령을 입력받는 키 입력 수단이다. GPS 모듈(340)은 전파 신호에 포함된 항법 데이터(Navigation Data)를 근거로 위치 측위 정보를 생성하는 기능을 수행한다. 마이크로폰(350)은 이동통신 가입자의 음성 입력을 전기적인 신호로 변환하여 전달하는 음성 입력 수단이다. 스피커(360)는 전달되는 음성 신호를 가청음으로 변환하여 출력하는 음성 출력 수단이다.
단말기 통신부(360)는 음성 신호를 코딩 또는 디코딩하고 다중 경로 잡음 제거를 위해 이퀄라이저 기능을 수행하며 음향 데이터 처리 기능 등을 수행하는 디지털 신호 처리 기능, 송수신되는 신호에 대해 기저 대역의 신호로 변환하며, 디지털-아날로그 변환 및 아날로그-디지털 변환 처리 등을 수행하는 베이스밴드 변환 기능, RF(Radio Frequency) 신호를 수신하여 IF(Intermediate Frequency) 신호로 변환하고, IF 신호를 RF 신호로 변화하며, RF 신호를 복조 및 증폭하는 RF 신호 처리 기능, 공기 중으로 무선 신호를 송수신하는 안테나 기능 등을 수행하여 무선통신을 처리하는 무선통신 처리 수단이다. 한편, 단말기 통신부(360)는 증강 현실 제공 서버(130)와 연동하는 기능을 수행한다. 카메라 모듈(370)은 정지영상 또는 동영상에 해당하는 영상 정보를 획득하는 기능을 수행한다.
본 발명의 일 실시예에 따른 단말기 제어부(380)는 구비된 카메라 모듈(370)을 이용하여 정지영상 또는 동영상에 해당하는 영상 정보를 획득하며, 구비된 GPS 모듈(340)을 이용하여 전파 신호에 포함된 항법 데이터를 근거로 위치 측위 정보를 생성하는 기능을 수행한다. 또한, 단말기 제어부(380)는 키 입력부(330)를 통해 입력된 사용자 명령에 의한 선택 메뉴 정보를 증강 현실 제공 서버(130)로 전송하며, 증강 현실 제공 서버(130)로부터 선택 메뉴 정보에 대응하는 제 1 메뉴 정보 데이터를 다운로드하며, 획득된 영상 정보에 다운로드된 제 1 메뉴 정보 데이터를 합성하여 표시부(320)를 통해 출력하는 기능을 수행한다. 또한, 단말기 제어부(380)는 다운로드된 제 1 메뉴 정보 데이터에 포함된 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 획득된 영상 정보에 합성하는 기능을 수행한다.
단말기 제어부(380)는 획득된 영상 정보로부터 영상 특징점을 추출하고, 추출된 영상 특징점을 다운로드된 제 1 메뉴 정보 데이터와 비교하여 추출된 영상 특징점과 매칭되는 데이터를 추출한 제 2 메뉴 정보 데이터를 생성하고, 상기 생성된 제 2 메뉴 정보 데이터를 상기 획득한 영상 정보와 합성하는 기능을 수행한다. 또한, 단말기 제어부(380)는 획득한 영상 정보에 포함된 특정 오브젝트에 대한 색상 정보, 에지 정보, 외곽선 정보, 텍스처 정보, 텍스트 정보 및 특정 각도에 따른 외 곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 상기 영상 특징점을 추출하는 기능을 수행한다. 또한, 단말기 제어부(380)는 증강 현실 제공 서버(130)로 생성된 위치 측위 정보를 전송하며, 증강 현실 제공 서버(130)로부터 선택 메뉴 정보 및 전송된 위치 측위 정보에 대응하는 제 3 메뉴 정보 데이터를 다운로드하며, 다운로드된 제 3 메뉴 정보 데이터를 획득된 영상 정보에 합성하는 기능을 수행한다.
도 4는 본 발명의 일 실시예에 따른 사용자 선택 정보에 의해 증강 현실을 제공하는 방법을 설명하기 위한 순서도이다.
휴대용 단말기(110)는 증강 현실을 제공받기 위한 어플리케이션을 구동하고(S410), 사용자가 휴대용 단말기(110)를 조작하여 구동된 어플리케이션에서 특정 메뉴를 선택하는 경우, 휴대용 단말기(110)는 키 입력부(330)를 통해 선택 메뉴 정보를 입력받는다(S420). 휴대용 단말기(110)는 사용자 명령에 의한 선택 메뉴 정보를 증강 현실 제공 서버(130)로 전송한다(S430).
증강 현실 제공 서버(130)는 휴대용 단말기(110)로부터 선택 메뉴 정보를 수신하고, 기 저장된 위치 기반 관련 정보와 수신된 선택 메뉴 정보를 비교하고(S440), 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하고(S450), 생성된 제 1 메뉴 정보 데이터를 휴대용 단말기(110)로 전송한다(S460). 여기서, 증강 현실 제공 서버(130)는 위치 기반 관련 정보에 포함된 실사 영상 정보를 휴대용 단말기(110)로 전송한다. 또한, 증강 현실 제공 서버(130)는 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션 정보, 인터넷 링크 정보 및 태깅 정보 중 수 신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 추출한 제 1 메뉴 정보 데이터를 휴대용 단말기(110)로 전송한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)로부터 수신한 위치 측위 정보를 이용하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위기 기반 관련 정보 중 산출된 현재 위치 정보 및 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 제 3 메뉴 정보 데이터를 생성하며, 생성된 제 3 메뉴 정보 데이터를 휴대용 단말기(110)로 전송한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)와 동조하는 기지국의 위치 정보에 근거하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위치 기반 관련 정보 중 산출된 현재 위치 정보 및 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 제 4 메뉴 정보 데이터를 생성하며, 생성된 제 4 메뉴 정보 데이터를 휴대용 단말기(110)로 전송한다.
휴대용 단말기(110)는 증강 현실 제공 서버(130)로부터 선택 메뉴 정보에 대응하는 제 1 메뉴 정보 데이터를 다운로드하며, 획득된 영상 정보에 다운로드된 제 1 메뉴 정보 데이터를 합성하여 표시부(320)를 통해 출력한다(S470). 또한, 휴대용 단말기(110)는 다운로드된 제 1 메뉴 정보 데이터에 포함된 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션 정보, 인터넷 링크 정보 및 태깅 정보 중 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 획득된 영상 정보에 합성할 수 있다. 여기서, 휴대용 단말기(110)는 카메라 모듈(370)을 통해 획득된 영상 정보로부터 영상 특징점을 추 출하고, 추출된 영상 특징점을 다운로드된 제 1 메뉴 정보 데이터와 비교하여 추출된 영상 특징점과 매칭되는 데이터를 추출한 제 2 메뉴 정보 데이터를 생성하고, 생성된 제 2 메뉴 정보 데이터를 획득한 영상 정보와 합성하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 카메라 모듈(370)을 통해 획득한 영상 정보에 포함된 특정 오브젝트(Object)에 대한 색상 정보, 에지(Edge) 정보, 외곽선 정보, 텍스처(Texture) 정보, 텍스트(Text) 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 영상 특징점을 추출하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 증강 현실 제공 서버로 GPS 모듈(340)을 통해 생성된 위치 측위 정보를 전송하며, 증강 현실 제공 서버(130)로부터 선택 메뉴 정보 및 전송된 위치 측위 정보에 대응하는 제 3 메뉴 정보 데이터를 다운로드하며, 다운로드된 제 3 메뉴 정보 데이터를 획득된 영상 정보에 합성하는 기능을 수행한다. 한편, 휴대용 단말기(110)는 카메라 모듈(370) 및 GPS 모듈(340)을 구비한 단말기로서, 구비된 카메라 모듈(370)을 이용하여 정지영상 또는 동영상에 해당하는 영상 정보를 획득하며, 구비된 GPS 모듈(340)을 이용하여 전파 신호에 포함된 항법 데이터를 근거로 위치 측위 정보를 생성하는 기능을 수행한다.
도 4에서는 휴대용 단말기(110) 및 증강 현실 제공 서버(130)가 단계 S410 내지 단계 S470을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 휴대용 단말기(110) 및 증강 현실 제공 서버(130)가 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S470 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 4에 기재된 본 발명의 일 실시예에 따른 사용자 선택 정보에 의해 증강 현실을 제공하는 방법은 소프트웨어 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 발명의 일 실시예에 따른 사용자 선택 정보에 의해 증강 현실을 제공하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 발명의 일 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명의 일 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
도 5는 본 발명의 일 실시예에 따른 휴대용 단말기와 증강 현실 제공 서버의 기능을 설명하기 위한 예시도이다.
도 5에 도시된 바와 같이, 사용자는 휴대용 단말기(110)를 조작하여 증강 현실 중 자신이 원하는 특정 메뉴만을 선택적으로 제공받을 수 있다. 즉, 증강 현실 제공 서버(130)는 휴대용 단말기(110)로부터 수신한 선택 메뉴 정보에 따른 메뉴 정보 데이터를 휴대용 단말기(110)로 전송하며, 휴대용 단말기(110)는 실사 영상 정보, 그에 대응하는 위경도 좌표값 정보, POI 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션 정보, 인터넷 링크 정보 및 태깅 정보 중 상기 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 다운로드한 후 모바일 AR 어플리케이션을 구동하는 것이다. 예를 들어서, 사용자가 '명동 사거리'에 위치한 상태에서 증강 현실 제공 메뉴 중 선택 메뉴(맛집, 극장, 패밀리 레스토랑, 편의점 및 지도검색 등을 선택할 수 있는 메뉴)에서 '패밀리 레스토랑'을 선택하면, 해당 선택 정보가 증강 현실 제공 서버(130)로 전송되고, 증강 현실 제공 서버(130)는 사용자가 위치한 현재 위치를 기반으로 일정 반경 내에 위치한 모든 '패밀리 레스토랑 건물'의 영상 특징점과 POI, 프로모션 정보 등을 휴대용 단말기(110)로 전송한다. 휴대용 단말기(110)는 해당 정보를 다운로드받은 후 카메라 모듈(370)을 통해 획득한 영상 정보에 '패밀리 레스토랑 정보'만 합성하여 출력하게 된다.
즉, 사용자가 휴대용 단말기(110)에 탑재된 카메라 모듈(370)을 좌우로 움직이며 '명동거리'를 스캐닝할 경우 변화되는 영상이 발생할 때마다 증강 현실 제공 서버(130)로 전송하고, 그 전송 결과가 증강 현실 제공 서버(130)로부터 수신될 때까지 기다릴 필요없이 선택 메뉴 정보에 부합하는 메뉴 정보 데이터를 모두 수신하여 휴대용 단말기(110)에 다운로드한 상태에서 카메라 모듈(370)을 통해 획득된 영상 정보에 다운로드된 메뉴 정보 데이터를 합성하여 빠르게 출력할 수 있는 것이다.
도 6은 본 발명의 일 실시예에 따른 휴대용 단말기 통해 증강 현실을 나타내는 예시도이다.
도 6에 도시된 휴대용 단말기(110)의 화면을 설명의 편의상 '서울 명동'의 일부 지역을 촬영한 실사 영상으로 가정하며, 실사 영상에 합성된 지역 정보 데이터는 증강 현실 제공 서버(130)의 서버 저장부(230)가 기 구축한 데이터 베이스로부터 수신된 것으로 가정하도록 한다.
휴대용 단말기(110)의 디지털 영상처리 기술에 있어서 디지털 이미지는 특징점 추출이 가능하며 이는 디지털 이미지 내에 포함된 특정 오브젝트에 대한 색상 정보, 에지 정보, 외곽선 정보, 텍스처 정보, 텍스트 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 영상 특징점을 디지털 데이터 세트(Set)로 표현할 수 있다. 특히, 획득한 영상 정보는 본 발명의 일 실시예를 적용할 요구가 많다고 여겨지는 옥외 거리 사진의 경우 대부분이다. 옥외 거리 사진의 경우, 직선으로 이루어진 빌딩, 도로, 간판, 로고, 글자 및 특정 패턴 등이 많이 포함되어 있기 때문에 일반적인 무정형 오브젝트(Non Rigid Object)보다 그 영상 특징점의 추출이 용이하게 이루어질 수 있다.
도 6에 도시된 바와 같이, '서울 명동'의 거리 상에 수 많은 간판이 있다고 가정하면, '커피점 간판', '성형외과 간판', '노래방 간판' 및 '의류 판매점' 등의 다양한 간판 이미지를 포함한 전체적인 외곽 및 건물 외곽, 간판의 내용 등을 영상 특징점으로 추출할 수 있다. 또한, '서울 명동'의 거리를 다양한 각도에서 촬영하는 경우 간판의 크기가 문자 정보 등을 영상 특징점으로 추출할 수 있다. 이러한 영상 특징점을 표현하는 데이터의 데이터 량을 추출 알고리즘과 이미지에 포함된 정보에 따라서는 원본 이미지 데이터 크기의 10분의 1에서 100분의 1 이하로 표현이 가능하다. 예를 들어서, 원본 영상이 100 Kbyte인 경우, 추출된 특징점 데이터는 1 ~ 10 Kbyte 이하로 표현 가능한 것이다. 이때, 추출된 특징점과 POI 정보, 예를 들어 '커피점'의 전화번호나 현재 진행 중인 프로모션(판촉) 정보, 고객이 등록한 사용 후기, 특정 인터넷 링크 등을 결합한 새로운 DB의 생성이 가능한데, 이러한 DB가 증강 현실 제공 서버(130)의 서버 저장부(230)로 활용될 수 있는 것이다. 즉, 사용자가 휴대용 단말기(110)의 카메라 모듈(370)을 이용하여 '명동 사거리'에서 건물을 촬영하면, 휴대용 단말기(110)가 증강 현실 제공 서버(130)와 연동하여 건물 외벽에 표시된 상점의 이름, 전화번호, 프로모션 정보, 관광정보 및 기타 태깅 정보 등을 수신하여 획득한 영상 정보에 합성하여 도 6과 같이 나타내게 되는 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼 트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 실사 영상 내에 존재하는 실제 오브젝트에 대한 부가 정보 사용자가 선택한 정보만 선별적으로 나타나도록 할 수 있는 사용자 선택 정보에 의해 증강 현실을 제공하는 다양한 분야에 적용되어, 획득된 영상 정보에 선택 메뉴에 해당하는 정보를 바로 합성하여 출력할 수 있으므로, 증강 현실을 빠르게 구동할 수 있는 효과를 발생하는 유용한 발명이다.
도 1은 본 발명의 일 실시예에 따른 사용자 선택 정보에 의해 증강 현실을 제공하는 시스템을 개략적으로 나타낸 블럭 구성도,
도 2는 본 발명의 일 실시예에 따른 증강 현실 제공 서버를 개략적으로 나타낸 블럭 구성도,
도 3은 본 발명의 일 실시예에 따른 휴대용 단말기를 개략적으로 나타낸 블럭 구성도,
도 4는 본 발명의 일 실시예에 따른 사용자 선택 정보에 의해 증강 현실을 제공하는 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시예에 따른 휴대용 단말기와 증강 현실 제공 서버의 기능을 설명하기 위한 예시도,
도 6은 본 발명의 일 실시예에 따른 휴대용 단말기 통해 증강 현실을 나타내는 예시도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
110: 휴대용 단말기 120: 유무선 통신망
130: 증강 현실 제공 서버 210: 서버 통신부
220: 서버 제어부 230: 서버 저장부
340: GPS 모듈 360: 단말기 통신부
370: 카메라 모듈 380: 단말기 제어부

Claims (11)

  1. 촬영된 영상에 정보를 오버레이(Overlay)한 증강 현실(Augmented Reality)을 제공하는 서버에 있어서,
    휴대용 단말기와 연동하는 서버 통신부; 및
    상기 휴대용 단말기로부터 선택 메뉴 정보를 수신하고, 기 저장된 위치 기반 관련 정보와 상기 수신된 선택 메뉴 정보를 비교하여, 상기 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하고, 상기 생성된 제 1 메뉴 정보 데이터를 상기 휴대용 단말기로 전송하는 서버 제어부를 포함하되, 상기 서버 제어부는 상기 위치 기반 관련 정보에 포함된 복수 개의 메뉴 중 상기 선택 메뉴 정보에 부합하는 일부 메뉴만 상기 제 1 메뉴 정보 데이터로 생성하는 것을 특징으로 하는 증강 현실 제공 서버.
  2. 제 1 항에 있어서,
    상기 서버 제어부는,
    상기 위치 기반 관련 정보에 포함된 실사 영상 정보를 상기 휴대용 단말기로 전송하는 것을 특징으로 하는 증강 현실 제공 서버.
  3. 제 2 항에 있어서,
    상기 서버 제어부는,
    상기 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 상기 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 추출한 상기 제 1 메뉴 정보 데이터를 상기 휴대용 단말기로 전송하는 것을 특징으로 하는 증강 현실 제공 서버.
  4. 제 1 항에 있어서,
    상기 서버 제어부는,
    상기 휴대용 단말기로부터 수신한 위치 측위 정보를 이용하여 상기 휴대용 단말기의 현재 위치 정보를 산출하고, 상기 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위치 기반 관련 정보 중 상기 산출된 현재 위치 정보 및 상기 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 상기 제 3 메뉴 정보 데이터를 생성하며, 상기 생성된 제 3 메뉴 정보 데이터를 상기 휴대용 단말기로 전송하는 것을 특징으로 하는 증강 현실 제공 서버.
  5. 제 1 항에 있어서,
    상기 서버 제어부는,
    상기 휴대용 단말기와 동조하는 기지국의 위치 정보에 근거하여 상기 휴대용 단말기의 현재 위치 정보를 산출하고, 상기 산출된 현재 위치 정보를 기반으로 기 설정된 반경 이내에 포함되는 위치 기반 관련 정보 중 상기 산출된 현재 위치 정보 및 상기 수신된 선택 메뉴 정보와 부합하는 데이터를 추출한 상기 제 4 메뉴 정보 데이터를 생성하며, 상기 생성된 제 4 메뉴 정보 데이터를 상기 휴대용 단말기로 전송하는 것을 특징으로 하는 증강 현실 제공 서버.
  6. 증강 현실 제공 서버와 연동하여 실시간(Real Time)으로 증강 현실(Augmented Reality)을 제공받는 단말기에 있어서,
    구동중인 어플리케이션의 실행 화면을 표시하는 표시부;
    증강 현실 제공 서버와 연동하는 단말기 통신부;
    정지영상 또는 동영상에 해당하는 영상 정보를 획득하는 카메라 모듈;
    사용자 명령을 입력받는 키 입력부; 및
    상기 입력된 사용자 명령에 의한 선택 메뉴 정보를 상기 증강 현실 제공 서버로 전송하며, 상기 증강 현실 제공 서버로부터 상기 선택 메뉴 정보에 대응하는 제 1 메뉴 정보 데이터를 다운로드하며, 상기 획득된 영상 정보에 상기 다운로드된 제 1 메뉴 정보 데이터를 합성하여 상기 표시부를 통해 출력하는 단말기 제어부
    를 포함하는 것을 특징으로 하는 휴대용 단말기.
  7. 제 6 항에 있어서,
    상기 단말기 제어부는,
    상기 다운로드된 제 1 메뉴 정보 데이터에 포함된 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 상기 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 상기 획득된 영상 정보에 합성하는 것을 특징으로 하는 휴대용 단말기.
  8. 제 6 항에 있어서,
    상기 단말기 제어부는,
    상기 획득된 영상 정보로부터 영상 특징점을 추출하고, 상기 추출된 영상 특징점을 상기 다운로드된 제 1 메뉴 정보 데이터와 비교하여 상기 추출된 영상 특징점과 매칭되는 데이터를 추출한 제 2 메뉴 정보 데이터를 생성하고, 상기 생성된 제 2 메뉴 정보 데이터를 상기 획득한 영상 정보와 합성하는 것을 특징으로 하는 휴대용 단말기.
  9. 제 8 항에 있어서,
    상기 단말기 제어부는,
    상기 획득한 영상 정보에 포함된 특정 오브젝트(Object)에 대한 색상 정보, 에지(Edge) 정보, 외곽선 정보, 텍스처(Texture) 정보, 텍스트(Text) 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 상기 영상 특징점을 추출하는 것을 특징으로 하는 휴대용 단말기.
  10. 제 8 항에 있어서,
    전파 신호에 포함된 항법 데이터(Navigation Data)를 근거로 위치 측위 정보를 생성하는 GPS 모듈을 추가로 포함하되,
    상기 단말기 제어부는 상기 증강 현실 제공 서버로 상기 생성된 위치 측위 정보를 전송하며, 상기 증강 현실 제공 서버로부터 상기 선택 메뉴 정보 및 상기 전송된 위치 측위 정보에 대응하는 제 3 메뉴 정보 데이터를 다운로드하며, 상기 다운로드된 제 3 메뉴 정보 데이터를 상기 획득된 영상 정보에 합성하는 것을 특징으로 하는 휴대용 단말기.
  11. 촬영된 영상에 정보를 오버레이(Overlay)한 증강 현실(Augmented Reality)을 제공하는 방법에 있어서,
    휴대용 단말기로부터 선택 메뉴 정보를 수신하는 단계;
    기 저장된 위치 기반 관련 정보와 상기 수신된 선택 메뉴 정보를 비교하여, 상기 수신된 선택 메뉴 정보에 부합하는 데이터를 추출한 제 1 메뉴 정보 데이터를 생성하는 단계;
    상기 위치 기반 관련 정보에 포함된 실사 영상 정보를 상기 휴대용 단말기로 전송하는 단계; 및
    상기 제 1 메뉴 정보 데이터에 상기 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보, 광고 정보, 이름 정보, 전화번호 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 상기 수신된 선택 메뉴 정보와 부합하는 적어도 하나 이상의 정보를 포함시켜 상기 휴대용 단말 기로 전송하는 단계
    를 포함하는 것을 특징으로 하는 사용자 선택 정보에 의해 증강 현실을 제공하는 방법.
KR1020090070269A 2009-07-30 2009-07-30 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기 KR101343054B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090070269A KR101343054B1 (ko) 2009-07-30 2009-07-30 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
PCT/KR2010/004191 WO2011013910A2 (ko) 2009-07-30 2010-06-29 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
CN201610480922.6A CN106101115B (zh) 2009-07-30 2010-06-29 用于提供增强现实的方法、服务器和便携终端
US13/387,472 US9130999B2 (en) 2009-07-30 2010-06-29 Method for providing augmented reality, server for same, and portable terminal
CN201080042741.6A CN102625993B (zh) 2009-07-30 2010-06-29 用于提供增强现实的方法、服务器和便携终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090070269A KR101343054B1 (ko) 2009-07-30 2009-07-30 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기

Publications (2)

Publication Number Publication Date
KR20110012523A KR20110012523A (ko) 2011-02-09
KR101343054B1 true KR101343054B1 (ko) 2013-12-18

Family

ID=43772434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090070269A KR101343054B1 (ko) 2009-07-30 2009-07-30 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기

Country Status (1)

Country Link
KR (1) KR101343054B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145890B1 (ko) * 2010-06-09 2012-05-15 유빈스 주식회사 영상 입출력 기기를 통한 증강현실 시스템 및 그 제공 방법
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
KR101401961B1 (ko) * 2012-05-01 2014-06-02 주식회사 라임페이퍼 증강현실 컨텐츠 공유시스템 및 방법
KR101583286B1 (ko) 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009029423A1 (en) 2007-08-24 2009-03-05 Motorola, Inc. Mobile virtual and augmented reality system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009029423A1 (en) 2007-08-24 2009-03-05 Motorola, Inc. Mobile virtual and augmented reality system

Also Published As

Publication number Publication date
KR20110012523A (ko) 2011-02-09

Similar Documents

Publication Publication Date Title
US9130999B2 (en) Method for providing augmented reality, server for same, and portable terminal
KR101343055B1 (ko) 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR101370320B1 (ko) 사용자 선택 지역에 의한 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
KR101423196B1 (ko) 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기
CN102741797B (zh) 用于转换三维地图对象以呈现导航信息的方法和装置
US20100248741A1 (en) Method and apparatus for illustrative representation of a text communication
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
CN103003847A (zh) 用于渲染基于位置的用户界面的方法和装置
CN103826201A (zh) 一种基于地理位置的虚拟交互方法及其系统
KR20140038355A (ko) 뷰이미지의 적어도 하나의 피처에 주석을 달기 위한 컴퓨터화 방법 및 장치
KR101343054B1 (ko) 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
CN112149659B (zh) 定位方法及装置、电子设备和存储介质
KR101557663B1 (ko) 증강 현실을 이용한 위치 기반 서비스 제공 방법과 그를 위한 시스템, 서버 및 휴대용 단말기
KR20140143777A (ko) 증강 현실 통신 및 정보의 방법
JP2011233005A (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
CN104010206A (zh) 基于地理位置的虚拟现实视频播放的方法和系统
CN101201253A (zh) 以即时讯息分享资料的电子装置及其方法
KR102100514B1 (ko) 다양한 마커패턴을 이용하는 증강현실 제공 방법 및 장치
KR101458805B1 (ko) 증강 현실 메시지 송수신 방법과 그를 위한 단말기 및 컴퓨터로 읽을 수 있는 기록매체
KR101363317B1 (ko) 방향 정보를 이용한 위치 기반 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20200100274A (ko) 증강 현실을 이용한 영상패턴 mark 및 이미지 인식시스템
CN106648499A (zh) 一种增强现实地球仪的呈现的方法、装置及系统
KR20200137523A (ko) 증강현실 컨텐츠 공유 시스템 및 그 구동방법
CN106920131A (zh) 基于实物扫描输出广告的方法、客户端及系统
WO2021044851A1 (ja) 情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 7