KR101423196B1 - 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기 - Google Patents

영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기 Download PDF

Info

Publication number
KR101423196B1
KR101423196B1 KR1020090070258A KR20090070258A KR101423196B1 KR 101423196 B1 KR101423196 B1 KR 101423196B1 KR 1020090070258 A KR1020090070258 A KR 1020090070258A KR 20090070258 A KR20090070258 A KR 20090070258A KR 101423196 B1 KR101423196 B1 KR 101423196B1
Authority
KR
South Korea
Prior art keywords
information
image
portable terminal
augmented reality
server
Prior art date
Application number
KR1020090070258A
Other languages
English (en)
Other versions
KR20110012514A (ko
Inventor
김남훈
임정빈
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090070258A priority Critical patent/KR101423196B1/ko
Priority to CN201610480922.6A priority patent/CN106101115B/zh
Priority to PCT/KR2010/004191 priority patent/WO2011013910A2/ko
Priority to US13/387,472 priority patent/US9130999B2/en
Priority to CN201080042741.6A priority patent/CN102625993B/zh
Publication of KR20110012514A publication Critical patent/KR20110012514A/ko
Application granted granted Critical
Publication of KR101423196B1 publication Critical patent/KR101423196B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예는 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기에 관한 것이다.
본 발명의 일 실시예는 휴대용 단말기와 연동하는 서버 통신부; 및 상기 휴대용 단말기로부터 수신된 영상 정보로부터 영상 특징점을 추출하고, 상기 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하여 상기 추출된 영상 특징점과 매칭되는 지역 정보 데이터를 추출하며, 상기 추출된 지역 정보 데이터를 상기 휴대용 단말기로 전송하는 서버 제어부를 포함하되, 상기 휴대용 단말기가 상기 영상 정보를 상기 서버 통신부로 송신할 때, 획득한 영상의 일부만 상기 영상 정보로서 송신하는 것을 특징으로 하는 증강 현실 제공 서버를 제공한다.
본 발명의 일 실시예에 의하면, 데이터 크기에 따른 지연 발생하지 않은 상태에서 증상 현실을 제공할을 수 있는 효과가 있다.
증강 현실, 영상 정보, 영상 특징

Description

영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기{Method for Providing Augmented Reality by Using Image Feature, Server And Portable Terminal Therefor}
본 발명의 일 실시예는 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기에 관한 것이다. 더욱 상세하게는, 휴대용 단말기로부터 수신한 영상 정보로부터 영상 특징점을 추출하고, 그에 대한 지역 정보 데이터를 추출하여 제공함으로써, 실사 영상 내에 존재하는 실제 오브젝트를 정확하게 인식하고 그에 대한 지역 정보를 매핑하여 보다 정확한 증강 현실을 제공할 수 있는 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기에 관한 것이다.
위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 증강 현실 (Augmented Reality: AR) 기술이라 한다. 더욱 구체적으로, 증강 현실은 가상현실(Virtual Reality: VR)의 한 분야로서 실제 환경에 가상 사물을 합성하여 원래 의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로서, 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반에 가상 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 기술이다. 현재 증강 현실 기술은 방송, 광고, 전시, 게임, 테마 파크, 군용, 교육 및 프로모션 등의 분야에서 사용 중이지만 아직 대중적으로 확산되지는 않은 상태이다.
이러한 증강 현실 기술은 통신 단말기에서 사용되는 모바일 AR 기술 분야에서 각광받고 있는 추세이다. 현재 모바일 AR 기술의 어플리케이션들이 조금씩 등장하고 있는 상태이며, 초기 단계 기술로서 마커 기반의 모바일 AR 기술 또는 센서 기반의 모바일 AR 기술이 등장하고 있다. 마커 기반의 모바일 AR 기술은 특정 건물을 촬영할 때, 특정 건물과 대응되는 특정 기호를 같이 촬영한 후 특정 기호를 인식하여 해당하는 건물을 인식하는 기술이며, 센서 기반의 모바일 AR 기술은 단말기에 탑재된 GPS와 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치와 바라보고 있는 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다. 이러한 종래의 기술들은 모두 단말기에 구비된 GPS, 전자 나침반 등을 이용하여 현재 위치와 단말기가 바라보고 있는 방향을 유추할 뿐 단말기를 통해 입력된 영상을 정확하게 인식하는 기술을 제공하지 못하고 있다.
전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 실사 영상 내에 존재하는 실제 오브젝트를 정확하게 인식하고 그에 대한 지역 정보를 매핑하여 보다 정확한 증강 현실을 제공할 수 있는 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기를 제공하는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 휴대용 단말기와 연동하는 서버 통신부; 및 상기 휴대용 단말기로부터 수신된 영상 정보로부터 영상 특징점을 추출하고, 상기 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하여 상기 추출된 영상 특징점과 매칭되는 지역 정보 데이터를 추출하며, 상기 추출된 지역 정보 데이터를 상기 휴대용 단말기로 전송하는 서버 제어부를 포함하되, 상기 휴대용 단말기가 상기 영상 정보를 상기 서버 통신부로 송신할 때, 획득한 영상의 일부만 상기 영상 정보로서 송신하는 것을 특징으로 하는 증강 현실 제공 서버를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 구동중인 어플리케이션의 실행 화면을 표시하는 표시부; 증강 현실 제공 서버와 연동하는 단말기 통신부; 정지영상 또는 동영상에 해당하는 영상 정보를 획득하는 카메라 모듈; 상기 획득된 영상 정보를 상기 증강 현실 제공 서버로 전송하며, 상기 증강 현실 제공 서버로부터 상기 전송된 영상 정보에 대응하는 지역 정보 데이터를 수신하며, 상기 획득된 영상 정보에 상기 수신된 지역 정보 데이터를 합성하여 상기 표시부를 통해 출력하는 단말기 제어부를 포함하는 것을 특징으로 하는 휴대용 단말기를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 휴대용 단말기에서 정지영상 또는 동영상에 해당하는 영상 정보를 획득하고, 상기 획득된 영상 정보를 전송하는 단계; 증강 현실 제공 서버에서 상기 수신된 영상 정보로부터 영상 특징점을 추출하는 단계; 상기 증강 현실 제공 서버에서 상기 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하여 상기 추출된 영상 특징점과 매칭되는 지역 정보 데이터를 추출하여 전송하는 단계; 및 상기 휴대용 단말기에서 상기 획득된 영상 정보에 상기 수신된 지역 정보 데이터를 합성하여 출력하는 단계를 포함하는 것을 특징으로 하는 영상 특징을 이용한 증강 현실 제공 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 실사 영상 내에 존재하는 실제 오브젝트를 정확하게 인식하고 그에 대한 지역 정보를 매핑하여 보다 정확한 증강 현실을 제공할 수 있는 효과가 있다. 또한, 본 발명의 일 실시예에 의하면, 휴대용 단말기에서 획득한 영상 정보 중 일부의 정보만을 증상 현실 제공 서버로 전송함으로써, 데이터 크기에 따른 지연 발생하지 않은 상태에서 증상 현실을 제공할 수 있는 효과가 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 시스템을 개략적으로 나타낸 블럭 구성도이다.
본 발명의 일 실시예에 따른 증강 현실 제공 시스템은 휴대용 단말기(110), 유무선 통신망(120) 및 증강 현실 제공 서버(130)를 포함한다.
휴대용 단말기(110)는 유무선 통신망(120)과 연동하여 무선 통신으로 통상적인 음성 통화 및 데이터 통신을 수행하는 단말기를 의미한다. 예를 들어서, 휴대용 단말기(110)는 PDA(Personal Digital Assistant), 셀룰러폰, PCS(Personal Communication Service)폰, 핸드헬드 PC(Hand-Held PC), CDMA-2000 폰, WCDMA 폰, PMP(Portable Multimedia Player), PSP(PlayStation Portable) 및 MBS(Mobile Broadband System)폰 등이 될 수 있다.
본 발명의 일 실시예에 따른 휴대용 단말기(110)는 카메라 모듈(370)을 구비 한 단말기로서, 구비된 카메라 모듈(370)을 이용하여 정지영상 또는 동영상에 해당하는 영상 정보를 획득한다. 한편, 휴대용 단말기(110)는 GPS 모듈(340)을 구비할 수 있으며, 구비된 GPS 모듈(340)을 이용하여 전파 신호에 포함된 항법 데이터(Navigation Data)를 근거로 위치 측위 정보를 생성하는 기능을 수행한다. 본 발명의 구현을 위해 휴대용 단말기(110)가 GPS 모듈(340)을 반드시 구비할 필요는 없으나, GPS 모듈(340)이 구비된 경우 구비된 GPS 모듈(340)을 이용하여 휴대용 단말기(110)의 현재 위치 정보를 산출할 수 있으며, 증강 현실 제공 서버(130)에서 위치 정보를 이용하지 않은 경우에 대비하여 AR DB의 검색 시간을 단축하는 데 현재 위치 정보를 이용할 수 있다.
또한, 휴대용 단말기(110)는 카메라 모듈(370)을 통해 획득된 영상 정보를 증강 현실 제공 서버(130)로 전송하며, 증강 현실 제공 서버(130)로부터 전송된 영상 정보에 대응하는 지역 정보 데이터를 수신하며, 획득된 영상 정보에 수신된 지역 정보 데이터를 합성하여 표시부(320)를 통해 출력하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 획득한 영상 정보에서 최초의 1 내지 2 프레임, 키 프레임(Key Frame) 및 기 설정된 조건을 벗어나는 특정 이벤트가 발생한 경우의 영상 프레임 중 적어도 어느 하나 이상의 프레임만을 추출하여 증강 현실 제공 서버(130)로 전송하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 증강 현실 제공 서버(130)로 생성된 위치 측위 정보를 전송하며, 증강 현실 제공 서버(130)로부터 전송된 위치 측위 정보에 대응하는 현재 위치 정보를 수신하며, 수신된 현재 위치 정보를 기반으로 획득된 영상 정보에 수신된 지역 정보 데이터를 합성하는 기능을 수행한다. 또한, 휴대용 단말기(110)는 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 지역 정보 데이터를 획득한 영상 정보와 합성하는 기능을 수행한다.
유무선 통신망(120)은 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 인터넷 프로토콜로 데이터를 송수신할 수 있는 망을 말한다. 유무선 통신망(120)은 증강 현실 제공 서버(130)와 휴대용 단말기(110)들을 연결하는 망(Network)으로서 LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크일 수도 있으나, 인터넷(Internet)과 같은 개방형인 것이 바람직하다. 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전세계적인 개방형 컴퓨터 네트워크 구조를 의미한다. 또한, 휴대용 단말기(110)가 이동통신 단말기인 경우, 유무선 통신망(120)은 이동통신망을 포함할 수도 있다. 여기서, 유무선 통신망(120)에 대한 기술은 이미 공지된 기술이므로 더 자세한 설명은 생략하도록 한다.
본 발명의 일 실시예에 따른 증강 현실 제공 서버(130)는 휴대용 단말기(110)와 연동하며, 휴대용 단말기(110)로부터 수신된 영상 정보로부터 영상 특징점을 추출하고, 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하여 추출된 영상 특징점과 매칭되는 지역 정보 데이터를 추출하며, 추출된 지역 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 수신한 영상 정보에 포함된 특정 오브젝트(Object)에 대한 색상 정보, 에지(Edge) 정보, 외곽선 정보, 텍스처(Texture) 정보, 텍스트(Text) 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 영상 특징점을 추출하는 기능을 수행한다.
또한, 증강 현실 제공 서버(130)는 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 지역 정보 데이터를 휴대용 단말기(110)로 전송하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 실사 영상을 촬영한 실사 영상 정보, 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보 및 광고 정보 중 적어도 하나 이상의 정보를 포함하는 위치 기반 정보를 저장한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)로부터 수신한 위치 측위 정보를 이용하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보에 근거하여 지역 정보 데이터를 추출하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)와 동조하는 기지국의 위치 정보에 근거하여 지역 정보 데이터를 추출하는 기능을 수행한다.
도 2는 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 서버를 개략적으로 나타낸 블럭 구성도이다.
본 발명의 일 실시예에 따른 증강 현실 제공 서버(130)는 서버 통신부(210), 서버 제어부(220) 및 서버 저장부(230)를 포함하여 구성된다.
본 발명의 일 실시예에서는 증강 현실 제공 서버(130)가 서버 통신부(210), 서버 제어부(220) 및 서버 저장부(230)만을 포함하여 구성되는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 증강 현실 제공 서버(130)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
서버 통신부(210)는 유무선 통신망(120)을 경유하여 휴대용 단말기(110)와 연동하는 기능을 수행하는 통신 수단으로서, 각종 데이터를 송수신하는 기능을 수행한다. 여기서, 서버 통신부(210)를 증강 현실 제공 서버(130) 내에 포함된 모듈로 기재하고 있으나, 반드시 이에 한정되는 것은 아니며, 통신을 위한 이동통신사의 별도의 서버일 수 있다.
본 발명의 일 실시예에 따른 서버 제어부(220)는 서버의 전반적인 기능을 제어하는 제어 수단으로서, 서버 통신부(210)를 제어하여 휴대용 단말기(110)로부터 수신된 영상 정보로부터 영상 특징점을 추출하고, 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하여 추출된 영상 특징점과 매칭되는 지역 정보 데이터를 추출하며, 추출된 지역 정보 데이터를 서버 통신부()를 이용하여 휴대용 단말기(110)로 전송하도록 제어하는 기능을 수행한다. 또한, 서버 제어부(220)는 수신한 영상 정보에 포함된 특정 오브젝트에 대한 색상 정보, 에지 정보, 외곽선 정보, 텍스처 정보, 텍스트 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 상기 영상 특징점을 추출하는 기능을 수행한다. 또한, 서버 제어부(220)는 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션 정보, 인터넷 링크 정보 및 태깅 정보 중 적어도 하나 이상의 정보를 포함하는 지역 정보 데이터를 서버 통신부()를 이용하여 휴대용 단말기(110)로 전송하도록 제어하는 기능을 수행한다.
서버 제어부(220)는 휴대용 단말기(110)로부터 수신한 위치 측위 정보를 이용하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보에 근거하여 지역 정보 데이터를 추출하는 기능을 수행한다. 또한, 서버 제어부(220)는 휴대용 단말기(110)와 동조하는 기지국의 위치 정보에 근거하여 지역 정보 데이터를 추출하는 기능을 수행한다. 이러한, 서버 제어부(220)는 증강 현실 제공 서버(130)의 구성 요소를 제어하기 위한 프로그램을 저장하는 메모리와 해당 프로그램을 실행하여 증강 현실 제공 서버(130)의 각 구성 요소를 제어하는 마이크로프로세서 등을 포함하여 구성될 수 있다.
서버 저장부(230)는 서버의 동작에 필요한 각종 데이터를 저장하는 저장수단으로서, 실사 영상 정보, 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보 및 광고 정보 중 적어도 하나 이상의 정보를 포함하는 위치 기반 정보 및 지역 정보 데이터를 저장한다.
도 3은 본 발명의 일 실시예에 따른 영상 특징을 이용한 휴대용 단말기를 개략적으로 나타낸 블럭 구성도이다.
본 발명의 일 실시예에 따른 휴대용 단말기(110)는 메모리부(310), 표시부(320), 키 입력부(320), GPS 모듈(340), 마이크로폰(350), 스피커(360), 단말기 통신부(360), 카메라 모듈(370) 및 단말기 제어부(380)를 포함하여 구성된다.
본 발명의 일 실시예에서는 휴대용 단말기(110)가 메모리부(310), 표시부(320), 키 입력부(320), GPS 모듈(340), 마이크로폰(350), 스피커(360), 단말기 통신부(360), 카메라 모듈(370) 및 단말기 제어부(380)만을 포함하여 구성되는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 휴대용 단말기(110)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
메모리부(310)는 휴대용 단말기(110)를 구동하고 음성 및 데이터 통신을 수행하는 기본 소프트웨어, 카메라 기능 등 다양한 부가 기능을 수행하는 다수의 소프트웨어, 무선통신을 수행하기 위해 송수신하는 메시지를 처리하는 프로토콜 소프트웨어 등을 저장하는 저장 수단이다. 표시부(320)는 전원의 사용 상태, 전파의 수신 강도, 날짜와 시간을 포함하여 휴대용 단말기(110)의 동작 상태를 표시해 주며, 문자, 숫자, 이미지 등의 형태로 정보가 전달되는 경우에는 이 정보를 출력하는 화면 표시 수단이다. 키 입력부(320)는 숫자, 문자, 기호 및 메뉴를 입력하기 위한 버튼을 구비하여 휴대용 단말기(110)를 사용하는 사용자로부터 키 또는 명령을 입력받는 키 입력 수단이다. GPS 모듈(340)은 전파 신호에 포함된 항법 데이 터(Navigation Data)를 근거로 위치 측위 정보를 생성하는 기능을 수행한다. 마이크로폰(350)은 이동통신 가입자의 음성 입력을 전기적인 신호로 변환하여 전달하는 음성 입력 수단이다. 스피커(360)는 전달되는 음성 신호를 가청음으로 변환하여 출력하는 음성 출력 수단이다.
단말기 통신부(360)는 음성 신호를 코딩 또는 디코딩하고 다중 경로 잡음 제거를 위해 이퀄라이저 기능을 수행하며 음향 데이터 처리 기능 등을 수행하는 디지털 신호 처리 기능, 송수신되는 신호에 대해 기저 대역의 신호로 변환하며, 디지털-아날로그 변환 및 아날로그-디지털 변환 처리 등을 수행하는 베이스밴드 변환 기능, RF(Radio Frequency) 신호를 수신하여 IF(Intermediate Frequency) 신호로 변환하고, IF 신호를 RF 신호로 변화하며, RF 신호를 복조 및 증폭하는 RF 신호 처리 기능, 공기 중으로 무선 신호를 송수신하는 안테나 기능 등을 수행하여 무선통신을 처리하는 무선통신 처리 수단이다. 한편, 단말기 통신부(360)는 증강 현실 제공 서버(130)와 연동하는 기능을 수행한다. 카메라 모듈(370)은 정지영상 또는 동영상에 해당하는 영상 정보를 획득하는 기능을 수행한다.
본 발명의 일 실시예에 따른 단말기 제어부(380)는 카메라 모듈(370)을 통해 획득된 영상 정보를 단말기 통신부()를 이용하여 증강 현실 제공 서버(130)로 전송하며, 증강 현실 제공 서버(130)로부터 전송된 영상 정보에 대응하는 지역 정보 데이터를 수신하며, 획득된 영상 정보에 수신된 지역 정보 데이터를 합성하여 표시부(320)를 통해 출력하는 과정을 제어한다. 또한, 단말기 제어부(380)는 획득한 영상 정보에서 최초의 1 내지 2 프레임, 키 프레임 및 기 설정된 조건을 벗어나는 특 정 이벤트가 발생한 경우의 영상 프레임 중 적어도 어느 하나 이상의 프레임만을 추출하여 증강 현실 제공 서버(130)로 전송하는 기능을 수행한다. 또한, 단말기 제어부(380)는 증강 현실 제공 서버(130)로 생성된 위치 측위 정보를 전송하며, 증강 현실 제공 서버(130)로부터 전송된 위치 측위 정보에 대응하는 현재 위치 정보를 수신하며, 수신된 현재 위치 정보를 기반으로 획득된 영상 정보에 수신된 지역 정보 데이터를 합성하는 기능을 수행한다. 또한, 단말기 제어부(380)는 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 지역 정보 데이터를 획득한 영상 정보와 합성하는 기능을 수행한다.
도 4는 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 방법을 설명하기 위한 순서도이다.
휴대용 단말기(110)는 탑재된 카메라 모듈(370)을 구동하여 정지영상 또는 동영상에 해당하는 영상 정보를 획득한다(S410). 즉, 휴대용 단말기(110)는 카메라 모듈(370)을 구비한 단말기로서, 구비된 카메라 모듈(370)을 이용하여 정지영상 또는 동영상에 해당하는 영상 정보를 획득할 수 있다.
휴대용 단말기(110)는 획득된 영상 정보를 증강 현실 제공 서버(130)로 전송한다(S430). 여기서, 휴대용 단말기(110)는 획득한 영상 정보를 모두 전송하는 경우, 획득한 영상 정보의 데이터 사이즈로 인해 지연이 발생할 수 있으므로, 획득한 영상 정보에서 최초의 1 내지 2 프레임, 키 프레임 및 기 설정된 조건을 벗어나는 특정 이벤트가 발생한 경우의 영상 프레임 중 적어도 어느 하나 이상의 프레임만을 추출하여 증강 현실 제공 서버(130)로 전송할 수 있다.
증강 현실 제공 서버(130)는 휴대용 단말기(110)로부터 수신된 영상 정보로부터 영상 특징점을 추출한다(S430). 여기서, 증강 현실 제공 서버(130)는 수신된 영상 정보에 포함된 특정 오브젝트에 대한 색상 정보, 에지 정보, 외곽선 정보, 텍스처 정보, 텍스트 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 영상 특징점을 추출하는 기능을 수행한다.
증강 현실 제공 서버(130)는 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하고(S440), 비교된 결과에 따라 수신된 영상 특징점과 매칭되는 지역 정보 데이터를 추출(S450)하고, 추출된 지역 정보 데이터를 휴대용 단말기(110)로 전송한다(S460). 여기서, 증강 현실 제공 서버(130)는 실사 영상 정보, 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보 및 광고 정보 중 적어도 하나 이상의 정보를 포함하는 위치 기반 정보를 저장한다. 이에 따라, 증강 현실 제공 서버(130)는 기 저장된 위치 기반 정보를 이용하여 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 지역 정보 데이터를 추출하며, 추출된 지역 정보 데이터를 휴대용 단말기(110)로 전송한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)로부터 수신한 위치 측위 정보를 이용하여 휴대용 단말기(110)의 현재 위치 정보를 산출하고, 산출된 현재 위치 정보에 근거하여 지역 정보 데이터를 추출하는 기능을 수행한다. 또한, 증강 현실 제공 서버(130)는 휴대용 단말기(110)와 동조하는 기지국의 위치 정보에 근거하여 지 역 정보 데이터를 추출할 수 있다.
휴대용 단말기(110)는 증강 현실 제공 서버(130)로부터 지역 정보 데이터를 수신하고, 카메라 모듈(370)을 통해 획득된 영상 정보에 수신된 지역 정보 데이터를 합성하여 표시부(320)를 통해 출력한다(S470). 즉, 휴대용 단말기(110)는 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 지역 정보 데이터를 획득한 영상 정보와 합성하여 표시부(320)를 통해 출력하는 것이다. 한편, 휴대용 단말기(110)는 증강 현실 제공 서버(130)로 생성된 위치 측위 정보를 전송하며, 증강 현실 제공 서버(130)로부터 전송된 위치 측위 정보에 대응하는 현재 위치 정보를 수신하며, 수신된 현재 위치 정보를 기반으로 획득된 영상 정보에 수신된 지역 정보 데이터를 합성할 수 있다.
도 4에서는 휴대용 단말기(110)와 증강 현실 제공 서버(130)가 단계 S410 내지 단계 S470을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 휴대용 단말기(110)와 증강 현실 제공 서버(130)가 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S470 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 4에 기재된 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 방법은 소프트웨어 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 발명의 일 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명의 일 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
도 5는 본 발명의 일 실시예에 따른 휴대용 단말기와 증강 현실 제공 서버의 기능을 설명하기 위한 예시도이다.
도 5에 도시된 바와 같이 증강 현실 제공 서버(130)는 기 구축된 별도의 DB가 필요한데, 이러한 DB는 실제 지형지물(지형, 건물 및 도로 등)을 촬영한 실사 이미지로부터 추출된 영상 특징점과 POI 정보가 결합된 형태의 AR DB를 의미한다. 도 5에 도시된 AR DB, 실영상 DB, POI DB 및 광고 DB는 증강 현실 제공 서버(130)의 서버 저장부(230)에 해당한다. 여기서, AR DB는 영상 특징점, GPS 좌표, POI 정보 및 부가 정보 및 하나 이상의 정보를 저장한 DB이며, 실영상 DB는 실제 거리 이 미지와 이미지에 매칭된 GPS 좌표를 저장한 DB이며, POI DB는 POI 정보를 저장한 DB이며, 광고 DB는 비지니스 레포팅 시스템, 웹 포탈, 광고 컨텐츠 DB와 연동하는 DB를 의미한다.
도 5에 도시된 바와 같이, 휴대용 단말기(110)는 카메라 모듈(370)을 이용하여 획득한 영상 정보를 증강 현실 제공 서버(130)로 전송한다. 여기서, 휴대용 단말기(110)는 획득한 영상 정보를 모두 전송하는 경우, 획득한 영상 정보의 데이터 사이즈로 인해 지연이 발생할 수 있으므로, 휴대용 단말기(110)는 획득한 영상 정보에서 최초의 1 내지 2 프레임, 키 프레임 및 기 설정된 조건을 벗어나는 특정 이벤트가 발생한 경우의 영상 프레임 중 적어도 어느 하나 이상의 프레임만을 추출하여 증강 현실 제공 서버(130)로 전송하는 기능을 수행한다. 즉, 휴대용 단말기(110)가 전송한 영상 정보는 유무선 통신망(CDMA, GSM, GPRS 및 WCDMA 등)을 거쳐 증강 현실 제공 서버(130)의 AR DB에 전달된다.
증강 현실 제공 서버(130)는 기 저장된 AR DB를 이용하여 휴대용 단말기(110)로부터 수신된 영상 정보의 실사 영상 내의 프레임을 분석하여 영상 특징점을 추출한다. 증강 현실 제공 서버(130)는 추출된 영상 특징점을 기 저장하고 있는 위치 기반 정보와 비교하여 동일 또는 매칭되는 영상 특징점을 검색하고 해당 POI, 광고, 프로모션, 인터넷링크 및 태깅 정보 등 중 적어도 하나 이상의 정보를 휴대용 단말기(110)로 전달하게 된다. 이때, 위치 정보를 이용하지 않은 경우에 대비하여 증강 현실 제공 서버(130)의 AR DB의 검색 시간을 단축하기 위하여 휴대용 단말기(110)가 위치한 기지국 정보를 이용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 휴대용 단말기 통해 증강 현실을 나타내는 예시도이다.
도 6에 도시된 휴대용 단말기(110)의 화면을 설명의 편의상 '서울 명동'의 일부 지역을 촬영한 실사 영상으로 가정하며, 실사 영상에 합성된 지역 정보 데이터는 증강 현실 제공 서버(130)의 서버 저장부(230)가 기 구축한 데이터 베이스로부터 수신된 것으로 가정하도록 한다.
휴대용 단말기(110)의 디지털 영상처리 기술에 있어서 디지털 이미지는 특징점 추출이 가능하며 이는 디지털 이미지 내에 포함된 특정 오브젝트에 대한 색상 정보, 에지 정보, 외곽선 정보, 텍스처 정보, 텍스트 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 영상 특징점을 디지털 데이터 세트(Set)로 표현할 수 있다. 특히, 획득한 영상 정보는 본 발명의 일 실시예를 적용할 요구가 많다고 여겨지는 옥외 거리 사진의 경우 대부분이다. 옥외 거리 사진의 경우, 직선으로 이루어진 빌딩, 도로, 간판, 로고, 글자 및 특정 패턴 등이 많이 포함되어 있기 때문에 일반적인 무정형 오브젝트(Non Rigid Object)보다 그 영상 특징점의 추출이 용이하게 이루어질 수 있다.
도 6에 도시된 바와 같이, '서울 명동'의 거리 상에 수 많은 간판이 있다고 가정하면, '커피점 간판', '성형외과 간판', '노래방 간판' 및 '의류 판매점' 등의 다양한 간판 이미지를 포함한 전체적인 외곽 및 건물 외곽, 간판의 내용 등을 영상 특징점으로 추출할 수 있다. 또한, '서울 명동'의 거리를 다양한 각도에서 촬영하는 경우 간판의 크기가 문자 정보 등을 영상 특징점으로 추출할 수 있다. 이러한 영상 특징점을 표현하는 데이터의 데이터 량을 추출 알고리즘과 이미지에 포함된 정보에 따라서는 원본 이미지 데이터 크기의 10분의 1에서 100분의 1 이하로 표현이 가능하다. 예를 들어서, 원본 영상이 100 Kbyte인 경우, 추출된 특징점 데이터는 1 ~ 10 Kbyte 이하로 표현 가능한 것이다. 이때, 추출된 특징점과 POI 정보, 예를 들어 '커피점'의 전화번호나 현재 진행 중인 프로모션(판촉) 정보, 고객이 등록한 사용 후기, 특정 인터넷 링크 등을 결합한 새로운 DB의 생성이 가능한데, 이러한 DB가 증강 현실 제공 서버(130)의 서버 저장부(230)로 활용될 수 있는 것이다. 즉, 사용자가 휴대용 단말기(110)의 카메라 모듈(370)을 이용하여 '명동 사거리'에서 건물을 촬영하면, 휴대용 단말기(110)가 증강 현실 제공 서버(130)와 연동하여 건물 외벽에 표시된 상점의 이름, 전화번호, 프로모션 정보, 관광정보 및 기타 태깅 정보 등을 수신하여 획득한 영상 정보에 합성하여 도 6과 같이 나타내게 되는 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼 트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 실사 영상 내에 존재하는 실제 오브젝트를 정확하게 인식하고 그에 대한 지역 정보를 매핑하여 보다 정확한 증강 현실을 제공할 수 있는 다양한 분야에 적용되어, 데이터 크기에 따른 지연 발생하지 않은 상태에서 증상 현실을 제공할을 수 있는 효과를 발생하는 유용한 발명이다.
도 1은 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 시스템을 개략적으로 나타낸 블럭 구성도,
도 2는 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 서버를 개략적으로 나타낸 블럭 구성도,
도 3은 본 발명의 일 실시예에 따른 영상 특징을 이용한 휴대용 단말기를 개략적으로 나타낸 블럭 구성도,
도 4는 본 발명의 일 실시예에 따른 영상 특징을 이용한 증강 현실 제공 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시예에 따른 휴대용 단말기와 증강 현실 제공 서버의 기능을 설명하기 위한 예시도,
도 6은 본 발명의 일 실시예에 따른 휴대용 단말기 통해 증강 현실을 나타내는 예시도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
110: 휴대용 단말기 120: 유무선 통신망
130: 증강 현실 제공 서버 210: 서버 통신부
220: 서버 제어부 230: 서버 저장부
340: GPS 모듈 360: 단말기 통신부
370: 카메라 모듈 380: 단말기 제어부

Claims (12)

  1. 휴대용 단말기와 연동하는 서버 통신부; 및
    상기 휴대용 단말기로부터 수신된 영상 정보로부터 영상 특징점을 추출하고, 상기 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하여 상기 추출된 영상 특징점과 매칭되는 지역 정보 데이터를 추출하며, 상기 추출된 지역 정보 데이터를 상기 휴대용 단말기로 전송하는 서버 제어부를 포함하되, 상기 휴대용 단말기가 상기 영상 정보를 상기 서버 통신부로 송신할 때, 획득한 영상의 일부만 상기 영상 정보로서 송신하는 것을 특징으로 하는 증강 현실 제공 서버.
  2. 제 1 항에 있어서,
    상기 영상 정보는,
    상기 획득한 영상에서 최초의 1 내지 2 프레임, 키 프레임(Key Frame) 및 기 설정된 조건을 벗어나는 특정 이벤트가 발생한 경우의 영상 프레임 중 적어도 어느 하나 이상의 프레임만을 추출한 정보인 것을 특징으로 하는 증강 현실 제공 서버.
  3. 제 1 항에 있어서,
    상기 서버 제어부는,
    상기 수신한 영상 정보에 포함된 특정 오브젝트(Object)에 대한 색상 정보, 에지(Edge) 정보, 외곽선 정보, 텍스처(Texture) 정보, 텍스트(Text) 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 상기 영상 특징점을 추출하는 것을 특징으로 하는 증강 현실 제공 서버.
  4. 제 1 항에 있어서,
    상기 서버 제어부는,
    이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 상기 지역 정보 데이터를 상기 휴대용 단말기로 전송하는 것을 특징으로 하는 증강 현실 제공 서버.
  5. 제 1 항에 있어서,
    실사 영상 정보, 상기 실사 영상 정보에 대응하는 위경도 좌표값 정보, POI(Point Of Interest) 정보 및 광고 정보 중 적어도 하나 이상의 정보를 포함하는 상기 위치 기반 정보를 저장하는 서버 저장부를 추가로 포함하는 것을 특징으로 하는 증강 현실 제공 서버.
  6. 제 1 항에 있어서,
    상기 서버 제어부는,
    상기 휴대용 단말기로부터 수신한 위치 측위 정보를 이용하여 상기 휴대용 단말기의 현재 위치 정보를 산출하고, 상기 산출된 현재 위치 정보에 근거하여 상 기 지역 정보 데이터를 추출하는 것을 특징으로 하는 증강 현실 제공 서버.
  7. 제 1 항에 있어서,
    상기 서버 제어부는,
    상기 휴대용 단말기와 동조하는 기지국의 위치 정보에 근거하여 상기 지역 정보 데이터를 추출하는 것을 특징으로 하는 증강 현실 제공 서버.
  8. 구동중인 어플리케이션의 실행 화면을 표시하는 표시부;
    증강 현실 제공 서버와 연동하는 단말기 통신부;
    정지영상 또는 동영상에 해당하는 영상 정보를 획득하는 카메라 모듈;
    상기 획득된 영상 정보를 상기 증강 현실 제공 서버로 전송하며, 상기 증강 현실 제공 서버로부터 상기 전송된 영상 정보에 대응하는 지역 정보 데이터를 수신하며, 상기 획득된 영상 정보에 상기 수신된 지역 정보 데이터를 합성하여 상기 표시부를 통해 출력하는 단말기 제어부
    를 포함하고, 상기 단말기 제어부는,
    이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 상기 지역 정보 데이터를 상기 획득한 영상 정보와 합성하는 것을 특징으로 하는 휴대용 단말기.
  9. 제 8 항에 있어서,
    상기 단말기 제어부는,
    상기 획득한 영상 정보에서 최초의 1 내지 2 프레임, 키 프레임(Key Frame) 및 기 설정된 조건을 벗어나는 특정 이벤트가 발생한 경우의 영상 프레임 중 적어 도 어느 하나 이상의 프레임만을 추출하여 상기 증강 현실 제공 서버로 전송하는 것을 특징으로 하는 휴대용 단말기.
  10. 제 8 항에 있어서,
    전파 신호에 포함된 항법 데이터(Navigation Data)를 근거로 위치 측위 정보를 생성하는 GPS 모듈을 추가로 포함하되,
    상기 단말기 제어부는 상기 증강 현실 제공 서버로 상기 생성된 위치 측위 정보를 전송하며, 상기 증강 현실 제공 서버로부터 상기 전송된 위치 측위 정보에 대응하는 현재 위치 정보를 수신하며, 상기 수신된 현재 위치 정보를 기반으로 상기 획득된 영상 정보에 상기 수신된 지역 정보 데이터를 합성하는 것을 특징으로 하는 휴대용 단말기.
  11. 삭제
  12. 휴대용 단말기에서 정지영상 또는 동영상에 해당하는 영상 정보를 획득하고, 상기 획득된 영상 정보를 전송하는 단계;
    증강 현실 제공 서버에서 상기 영상 정보로부터 영상 특징점을 추출하는 단계;
    상기 증강 현실 제공 서버에서 상기 추출된 영상 특징점을 기 저장된 위치 기반 관련 정보와 비교하여 상기 추출된 영상 특징점과 매칭되는 지역 정보 데이터를 추출하여 전송하는 단계; 및
    상기 휴대용 단말기에서 상기 획득된 영상 정보에 상기 지역 정보 데이터를 합성하여 출력하는 단계
    를 포함하는 것을 특징으로 하는 영상 특징을 이용한 증강 현실 제공 방법.
KR1020090070258A 2009-07-30 2009-07-30 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기 KR101423196B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090070258A KR101423196B1 (ko) 2009-07-30 2009-07-30 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기
CN201610480922.6A CN106101115B (zh) 2009-07-30 2010-06-29 用于提供增强现实的方法、服务器和便携终端
PCT/KR2010/004191 WO2011013910A2 (ko) 2009-07-30 2010-06-29 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
US13/387,472 US9130999B2 (en) 2009-07-30 2010-06-29 Method for providing augmented reality, server for same, and portable terminal
CN201080042741.6A CN102625993B (zh) 2009-07-30 2010-06-29 用于提供增强现实的方法、服务器和便携终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090070258A KR101423196B1 (ko) 2009-07-30 2009-07-30 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기

Publications (2)

Publication Number Publication Date
KR20110012514A KR20110012514A (ko) 2011-02-09
KR101423196B1 true KR101423196B1 (ko) 2014-07-25

Family

ID=43772425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090070258A KR101423196B1 (ko) 2009-07-30 2009-07-30 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기

Country Status (1)

Country Link
KR (1) KR101423196B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101335729B1 (ko) * 2011-08-09 2013-12-02 인하대학교 산학협력단 위치 정보에 기초하여 컨텐츠의 관련 정보를 제공하는 장치 및 방법
KR101319667B1 (ko) * 2012-05-24 2013-10-17 삼성에스디에스 주식회사 증강현실 제공 시스템 및 그 방법과 이에 사용되는 관심 영역 트래킹 방법 및 단말기
KR101358059B1 (ko) * 2012-06-25 2014-02-05 에이알비전 (주) 증강현실을 이용한 장소정보 표출방법
CN102771535B (zh) * 2012-07-25 2013-08-14 林振雄 一种面包的制作方法
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
KR101855397B1 (ko) * 2016-11-30 2018-06-08 (주)잼투고 모바일 단말기의 실세계 영상을 이용한 현장평가 방법 및 서버
KR101810673B1 (ko) * 2017-05-23 2018-01-25 링크플로우 주식회사 촬상 위치 정보를 결정하는 방법 및 이러한 방법을 수행하는 장치
KR102263633B1 (ko) 2019-11-28 2021-06-10 울산과학기술원 우선 순위에 기초하여 저지연 증강현실 정보를 제공하는 방법, 장치, 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050055506A (ko) * 2003-12-08 2005-06-13 한국전자통신연구원 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
WO2009029423A1 (en) 2007-08-24 2009-03-05 Motorola, Inc. Mobile virtual and augmented reality system
KR20090062748A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 현장 체험 안내 서비스 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050055506A (ko) * 2003-12-08 2005-06-13 한국전자통신연구원 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법
KR20050078136A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
WO2009029423A1 (en) 2007-08-24 2009-03-05 Motorola, Inc. Mobile virtual and augmented reality system
KR20090062748A (ko) * 2007-12-13 2009-06-17 한국전자통신연구원 현장 체험 안내 서비스 시스템 및 방법

Also Published As

Publication number Publication date
KR20110012514A (ko) 2011-02-09

Similar Documents

Publication Publication Date Title
KR101343055B1 (ko) 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
US9130999B2 (en) Method for providing augmented reality, server for same, and portable terminal
KR101370320B1 (ko) 사용자 선택 지역에 의한 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
KR101423196B1 (ko) 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기
CN102741797B (zh) 用于转换三维地图对象以呈现导航信息的方法和装置
CN103635954B (zh) 基于地理和可视信息增强可视数据流的系统
JP4774346B2 (ja) 画像処理方法、画像処理装置およびプログラム
US20110148922A1 (en) Apparatus and method for mixed reality content operation based on indoor and outdoor context awareness
CN103415849A (zh) 用于标注视图图像的至少一个特征的计算机化方法和设备
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
CN105318881A (zh) 地图导航方法、装置及系统
CN103826201A (zh) 一种基于地理位置的虚拟交互方法及其系统
KR100533033B1 (ko) 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
CN103003847A (zh) 用于渲染基于位置的用户界面的方法和装置
KR101557663B1 (ko) 증강 현실을 이용한 위치 기반 서비스 제공 방법과 그를 위한 시스템, 서버 및 휴대용 단말기
CN112149659B (zh) 定位方法及装置、电子设备和存储介质
KR101343054B1 (ko) 사용자 선택 정보에 의해 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
CN101201253A (zh) 以即时讯息分享资料的电子装置及其方法
KR20140087626A (ko) 큐알 코드 인식 장치 및 방법
KR101363317B1 (ko) 방향 정보를 이용한 위치 기반 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20150042893A (ko) 다양한 마커패턴을 이용하는 증강현실 제공 방법 및 장치
KR101458805B1 (ko) 증강 현실 메시지 송수신 방법과 그를 위한 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP2003330953A (ja) サーバ装置、携帯端末、情報提供システム、情報提供方法、及び情報取得方法
KR20140136088A (ko) 증강현실을 이용한 컨텐츠 제공 방법, 이를 위한 시스템 및 장치
CN106920131A (zh) 基于实物扫描输出广告的方法、客户端及系统

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 6