KR20130002663A - 증강 현실 제공 시스템 및 방법 - Google Patents

증강 현실 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20130002663A
KR20130002663A KR1020110063758A KR20110063758A KR20130002663A KR 20130002663 A KR20130002663 A KR 20130002663A KR 1020110063758 A KR1020110063758 A KR 1020110063758A KR 20110063758 A KR20110063758 A KR 20110063758A KR 20130002663 A KR20130002663 A KR 20130002663A
Authority
KR
South Korea
Prior art keywords
information
subject
terminal
image
server
Prior art date
Application number
KR1020110063758A
Other languages
English (en)
Inventor
이봉규
장진용
김동욱
Original Assignee
제주대학교 산학협력단
대한씨앤티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제주대학교 산학협력단, 대한씨앤티(주) filed Critical 제주대학교 산학협력단
Priority to KR1020110063758A priority Critical patent/KR20130002663A/ko
Publication of KR20130002663A publication Critical patent/KR20130002663A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/42—Devices characterised by the use of electric or magnetic means
    • G01P3/44—Devices characterised by the use of electric or magnetic means for measuring angular speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명인 증강 현실 제공 시스템 및 방법은 Full HD 영상 정보를 피사체 정보와 합성하여 단말기에 표시할 수 있고, 위치 측위 정보 및 9축 센서 데이터를 통하여 Full HD 영상 정보에 포함된 피사체의 범위를 한정함으로써 피사체 정보를 검색하는데 걸리는 시간을 단축시킬 수 있고, 영상 정보에 존재하는 실제 피사체를 정확하게 인식하고 해당 피사체의 정보를 합성하여 직관적이고 편리한 영상 인식 기반의 증강 현실을 구현할 수 있다.

Description

증강 현실 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING AUGMENTED REALITY}
본 발명은 증강현실 구현에서 Full HD 카메라 및 기타 센서를 사용하여 피사체의 인식율 및 영상 합성 성능을 높일 수 있는 증강 현실 제공 시스템 및 방법에 관한 것이다.
증강 현실 (Augmented Reality: AR)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.
이러한 증강 현실 기술은 마커 기반의 AR 기술과 센서 기반의 AR 기술이 휴대용 단말기등에 활용되고 있다. 마커 기반의 AR 기술은 특정 건물을 촬영할 때, 특정 건물과 대응되는 특정 기호를 같이 촬영한 후 특정 기호를 인식하여 해당하는 건물을 인식하는 기술이며, 센서 기반의 AR 기술은 단말기에 탑재된 GPS와 전자 나침반 (Digital Compass) 등을 이용하여 단말기의 현재 위치와 바라보고 있는 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.
그러나 마커 기반의 AR 기술과 센서 기반의 AR 기술은 모두 단말기에 구비된 GPS전자 나침반등을 이용하여 현재 위치와 단말기가 바라보고 있는 방향을 유추할 뿐이며 단말기를 통해 입력된 영상을 정확하게 인식하는 단계에는 이르지 못하고 있다.
또한, Full HD 영상정보를 증강 현실에 구현시키려면 증강 현실 제공 서버와 단말기간에 처리되는 정보량이 너무 커서 기존에는 USB Cam의 영상을 사용하여 증강 현실 시스템을 구축하였는데 이 경우, 영상의 퀄리티가 떨어지는 단점이 있었다.
본 발명은 Full HD 영상 정보를 피사체 정보와 합성하여 단말기에 표시할 수 있는 증강 현실 제공 시스템 및 방법을 제공한다.
또한, 본 발명은 위치 측위 정보 및 9축 센서 데이터를 통하여 Full HD 영상 정보에 포함된 피사체의 범위를 한정함으로써 피사체 정보를 검색하는데 걸리는 시간을 단축시킬 수 있는 증강 현실 제공 시스템 및 방법을 제공한다.
또한, 본 발명은 영상 정보에 존재하는 실제 피사체를 정확하게 인식하고 해당 피사체의 정보를 합성하여 직관적이고 편리한 영상 인식 기반의 증강 현실을 구현할 수 있는 증강 현실 제공 시스템 및 방법을 제공한다.
본 발명인 증강 현실 제공 시스템은 단말기, 지역 정보 서버 및 피사체 정보 서버를 포함하는 증강 현실 제공 시스템에 있어서, 전파 신호에 포함된 항법 데이터를 근거로 위치 측위 정보를 생성하는 GPS모듈과, 상기 단말기의 9축 센서데이터를 생성하는 9축 센서 모듈과, 피사체가 포함된 영상 정보를 획득하기 위한 카메라 모듈과, 상기 영상 정보에서 피사체 영상 특징점을 추출하는 영상 특징 추출부와, 상기 지역 정보 서버 및 상기 피사체 정보 서버와 데이터 송수신을 하기 위한 통신부와, 상기 지역 정보 서버로부터 전송받은 구조물들에 대한 정보와 상기 피사체의 영상 특징점을 비교하여 상기 피사체를 인식하는 인식부와, 상기 피사체 정보 서버로부터 전송받은 피사체 정보를 상기 영상 정보와 합성하는 합성부와 구동 중인 프로그램의 실행 화면을 표시하기 위한 표시부 및 제어부를 포함하는 단말기; 상기 단말기로부터 전송받은 상기 위치 측위 정보 및 상기 9축 센서 데이터를 이용하여 상기 단말기가 위치한 지역에 존재하는 구조물들에 대한 정보를 검색하여 상기 단말기로 전송하는 지역 정보 서버; 및 상기 단말기로부터 전송받은 상기 피사체의 인식 정보를 상기 데이터 베이스에 기 저장된 피사체 인식 정보와 비교하여 매칭되는 피사체 정보를 단말기로 전송하는 피사체 정보 서버를 포함한다.
상기 단말기의 상기 카메라 모듈이 획득하는 상기 영상 정보는 Full HD 영상 정보이고, 상기 표시부는 상기 피사체 정보 서버로부터 전송받은 상기 피사체 정보를 상기 Full HD 영상 정보와 합성하여 표시하는 것을 특징으로 한다.
상기 단말기의 9축 센서 모듈은 지자기 센서, 가속도 센서 및 각속도 센서를 포함한다.
본 발명인 증강 현실 제공 방법은 단말기가 GPS모듈 및 9축 센서 모듈을 통하여 상기 단말기의 위치 측위 정보 및 9축 센서 데이터를 획득하여 지역 정보 서버로 전송하는 단계; 상기 지역 정보 서버가 상기 위치 측위 정보 및 상기 9축 센서 데이터를 이용하여 상기 단말기가 위치한 지역에 존재하는 구조물들에 대한 정보를 검색하여 상기 단말기로 전송하는 단계; 상기 단말기가 영상 정보를 획득하고, 상기 영상 정보에 포함된 피사체의 영상 특징점을 추출하는 단계; 상기 단말기가 상기 지역 정보 서버로부터 전송받은 상기 구조물들에 대한 정보와 상기 피사체의 영상 특징점을 비교하여 상기 피사체를 인식하고 상기 피사체의 인식 정보 및 상기 피사체의 영상 특징점을 피사체 정보 서버로 전송하는 단계; 상기 피사체 정보 서버가 상기 피사체의 영상 특징점을 데이터 베이스에 저장하고, 상기 피사체의 인식 정보를 상기 데이터 베이스에 기 저장된 피사체 인식 정보와 비교하여 매칭되는 피사체 정보를 단말기로 전송하는 단계; 상기 단말기가 상기 영상 정보와 상기 피사체 정보 서버로부터 전송받은 상기 피사체 정보를 합성하여 표시하는 단계를 포함한다.
본 발명인 증강 현실 제공 시스템 및 방법은 Full HD 영상 정보를 피사체 정보와 합성하여 단말기에 표시할 수 있다.
또한, 위치 측위 정보 및 9축 센서 데이터를 통하여 Full HD 영상 정보에 포함된 피사체의 범위를 한정함으로써 피사체 정보를 검색하는데 걸리는 시간을 단축시킬 수 있다.
또한, 영상 정보에 존재하는 실제 피사체를 정확하게 인식하고 해당 피사체의 정보를 합성하여 직관적이고 편리한 영상 인식 기반의 증강 현실을 구현할 수 있다.
또한, 증강 현실 시스템의 마커 인식률을 향상시킬 수 있다.
또한, 증강 현실 시스템을 대형모니터의 배경화면에 구현할 수 있다.
도 1은 본 발명의 일실시예에 따른 증강 현실 제공 시스템의 구성도 및
도 2는 본 발명의 일실시예에 따른 증강 현실 제공 방법의 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명하면 다음과 같다. 하기의 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 증강 현실 제공 시스템의 구성도이다. 본 발명의 일실시예에 따른 증강 현실 제공 시스템은 단말기(100), 지역 정보 서버(200) 및 피사체 정보 서버(300)를 포함한다. 지역 정보 서버(200) 및 피사체 정보 서버(300)는 설명을 위해 편의상 따로 나타냈지만 실제로는 하나의 서버에서 지역 정보 서버(200) 및 피사체 정보 서버(300)의 기능을 수행할 수도 있다.
단말기(100)는 네트워크(미도시)를 통하여 데이터 통신을 수행하는 단말기(100)를 의미하며 GPS모듈(110), 9축 센서 모듈(120), 카메라 모듈(130), 영상 특징 추출부(140), 통신부(150), 인식부(160), 합성부(170), 표시부(180) 및 제어부(190)를 포함한다.
GPS 모듈은 전파 신호에 포함된 항법 데이터(Navigation Data)를 근거로 위치 측위 정보를 생성하는 기능을 수행한다. 9축 센서 모듈(120)은 지자기 센서 모듈, 가속도 센서 모듈 및 각속도 센서모듈을 포함하여 구성될 수 있으며 3축 지자기 데이터, 3축 가속도 데이터 및 3축 각속도 데이터를 합하여 9축 센서 데이터를 획득한다.
카메라 모듈(130)은 피사체가 포함된 실사 영상을 촬영하여 정지영상 또는 동영상의 형태로 표시부(180) 및 영상 특징 추출부(140)로 전달한다. 카메라 모듈(130)은 Full HD 카메라 모듈일 수 있다.
영상 특징 추출부(140)는 카메라 모듈(130)로부터 전달받은 정지영상 또는 동영상에 포함된 피사체에 대한 마커, 패턴, 로고, 색상 정보, 에지 정보, 외곽선 정보, 텍스처 정보, 텍스트 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 피사체 특징점을 추출한다.
통신부(150)는 네트워크를 이용하여 지역 정보 서버(200) 및 피사체 정보 서버(300)에 데이터를 전송하거나, 지역 정보 서버(200) 및 피사체 정보 서버(300)로부터 데이터를 전송받는 역할을 한다. 네트워크(미도시)는 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 데이터를 송수신할 수 있는 모든 수단을 말한다.
인식부(160)는 통신부(150)를 통하여 지역 정보 서버(200)로부터 전송받은 단말기(100)가 위치한 지역의 구조물들에 대한 정보를 피사체의 영상 특징점과 비교하여 카메라 모듈(130)에서 촬영한 영상 정보에 포함된 피사체를 인식한다. 인식부(160)는 인식한 피사체에 대한 피사체 인식 정보를 생성하고 통신부(150)를 통하여 피사체 인식정보를 피사체 정보 서버(300)로 전송한다.
합성부(170)는 카메라 모듈(130)에서 획득한 영상 정보에 피사체 정보 서버(300)로부터 전송받은 이름 정보, 전화번호 정보, POI(Point Of Interesting)정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보와 같은 피사체 정보 중 적어도 하나 이상의 정보를 포함하는 피사체 정보를 합성한다.
표시부(180)는 구동 중인 프로그램의 실행 화면을 표시하기 위한 화면 표시 수단으로서, 합성부(170)에서 합성한 영상 정보를 화면에 표시하여 단말기(100)의 외부로 출력하는 기능을 수행한다.
제어부(190)는 단말기의 전반적인 기능을 제어하는 기능을 수행한다. 구체적으로는 카메라 모듈(130))을 통해 획득된 영상 정보, GPS모듈(110) 통해 획득된 위치 측위 정보, 9축 센서 모듈(120)을 통해 획득된 9축 센서 데이타를 통신부(150)를 사용하여, 지역 정보 서버(200)로 전송하여 지역 정보 서버(200)로부터 단말기(100)가 위치한 지역 구조물들에 대한 정보를 수신하여, 인식부(160))로 보내고, 인식부(160)에서 생성한 피사체 인식 정보를 통신부(150)를 사용하여 피사체 정보 서버(300)로 보내, 인식된 피사체의 정보를 수신하여, 합성부(170)로 보내서 영상을 합성하고 합성영상을 표시부(180)로 보내어 출력하는 제어를 한다.
지역 정보 서버(200)에는 마커, 패턴, 로고 정보, 지형 건물 등 기타 GIS(Geographic Information System)등의 지역 정보가 저장된 데이터베이스를 포함한다. 지역 정보 서버(200)는 단말기(100)의 통신부(150)와 연동하며, 단말기(100)의 통신부(150)로부터 수신한 단말기(100)의 위치 측위 정보 및 9축 센서 데이터를 계산하여 단말기(100)의 카메라 모듈(130)이 지향하고 있는 지역의 구조물들에 관한 정보를 추출하고, 이를 단말기(100)의 통신부(150)로 전송하는 기능을 수행한다. 이때, 피사체의 위치는 지역 정보 서버(200)가 계산한 지역의 오차 범위(연산 및 센서 등에 의한 오차) 안에 존재한다. 위치 측위 정보와 9축 센서 데이터를 이용하여 단말기(100)가 위치하는 지역을 한정함으로써 지역 정보 서버(200)가 피사체 정보를 검색하는데 걸리는 시간이 감소하며, 단말기(100)에서 비교할 피사체들에 대한 정보 자료도 감소하게 된다.
피사체 정보 서버(300)는 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 피사체 정보와 피사체 인식 정보들이 저장된 데이터베이스를 포함한다. 피사체 인식 정보는, 콘텐츠 영상 정보를 해석할 수 있는 위치정보나 각도, 경사도는 물론 표시되어 있는 마커의 크기나 경사도등을 통하여 해당 위치를 역산하여 파악할 수 있는 모든 정보들을 말한다. 피사체 정보 서버(300)는 단말기(100)에서 생성하여 전송한 피사체 인식 정보를, 기 저장된 피사체 인식 정보와 비교하여 영상 정보에 포함된 피사체와 매칭되는 피사체 정보를 추출하며, 추출한 피사체 정보를 단말기(100)의 통신부(150)로 전송하는 기능을 수행한다.
도 2는 본 발명의 일실시예에 따른 증강 현실 제공 방법의 순서도이다.
단말기(100)의 GPS모듈(110)은 전파 신호에 포함된 항법 데이터를 근거로 생성한 위치 측위 정보를, 9축 센서 모듈(120)은 지자기 센서 모듈, 가속도 센서 모듈 및 각속도 센서모듈을 통하여 획득한 9축 센서 데이터를 각각 통신부(150)를 통하여 지역 정보 서버(200)로 전송한다. (S210)
지역 정보 서버(200)는 통신부(150)로부터 전송받은 위치 측위 정보 및 9축 센서 데이터를 이용하여 단말기(100)가 위치한 지역에 존재하는 구조물들에 대한 마커, 패턴, 로고 정보, 지형 건물 등 기타 GIS 등의 정보를 검색하여 단말기(100)의 통신부(150)로 전송한다. (S220)
단말기(100)의 카메라 모듈(130)이 피사체가 포함된 실사 영상을 촬영하여 정지영상 또는 동영상의 형태로 영상 특징 추출부(140)로 전달한다. 영상 특징 추출부(140)는 카메라 모듈(130)로부터 전달받은 정지영상 또는 동영상에 포함된 피사체에 대한 마커, 패턴, 로고, 색상 정보, 에지 정보, 외곽선 정보, 텍스처 정보, 텍스트 정보 및 특정 각도에 따른 외곽 형태 정보 중 적어도 하나 이상의 정보에 근거하여 피사체 특징점을 추출하여 인식부(160)로 전달한다. (S230)
단말기(100)의 인식부(160)가 지역 정보 서버(200)로부터 전송받은 구조물들에 대한 정보 및 피사체의 영상 특징점을 비교하여 피사체를 인식하고 피사체 인식 정보 및 피사체의 영상 특징점을 통신부(150)를 통하여 피사체 정보 서버(300)로 전송한다. (S240)
피사체 정보 서버(300)는 피사체의 영상 특징점을 데이터 베이스에 저장하고, 피사체의 인식 정보를 데이터 베이스에 기 저장된 피사체 인식 정보와 비교하여 매칭되는 피사체 정보를 단말기(100)의 통신부(150)로 전송한다. (S250)
단말기(100)의 합성부(170)는 카메라 모듈(130)에서 획득한 영상 정보와 피사체 정보 서버(300)로부터 전송받은 이름 정보, 전화번호 정보, POI 정보, 광고 정보, 프로모션(Promotion) 정보, 인터넷 링크 정보 및 태깅(Tagging) 정보 중 적어도 하나 이상의 정보를 포함하는 피사체 정보를 합성하고, 표시부(180)는 피사체 정보가 합성된 영상 정보를 외부 회면으로 출력한다. (S260)
도 4와 같은 단계를 거치는 경우 단말기(100)와 지역 정보 서버(200) 및 피사체 정보 서버(300)간에 한 번에 처리되는 데이터 크기가 감소되고, 피사체 정보 서버가 검색해야 할 피사체의 수가 한정되므로 Full HD 영상 정보를 이용하여 증강 현실 시스템을 구현할 수 있다. 기존의 증강 현실 시스템의 경우 SD급 영상 정보를 전송 속도 360Mb/s 또는 전송 주파수 180MHz로 데이터를 전송받았다. 그러나 도 4의 경우 피사체 정보 서버(300)에서 검색해야 할 피사체의 수가 한정되므로 1,485Mb/s의 전송 속도 또는 750MHz의 전송 주파수 하에서 데이터 송수신이 가능한 1280*720 해상도의 HD급 영상 정보 또는 1920*1080 해상도의 Full HD 영상 정보를 증강 현실 시스템상에 구현할 수 있다. 또한, 데이터가 손실되지 않는 거리 내에서 화질 열화 없이 영상 정보를 그대로 전송할 수 있으며 오디오 및 제어 신호를 같이 전송할 수 있다.
도 2에서는 단말기(100)와 지역 정보 서버(200) 및 피사체 정보 서버(300)가 처리단계 S210 내지 처리단계 S260을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 단말기(100)와 지역 정보 서버(200) 및 피사체 정보 서버(300)가 도 2에 기재된 순서를 변경하여 실행하거나 처리단계 S210 내지 처리단계 S260 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
100: 단말기 110: GPS 모듈
120: 9축 센서 모듈 130: 카메라 모듈
140: 영상 특징 추출부 150: 통신부
160: 인식부 170: 합성부
180: 표시부 190: 제어부
200: 지역 정보 서버 300:피사체정보서버

Claims (4)

  1. 단말기, 지역 정보 서버 및 피사체 정보 서버를 포함하는 증강 현실 제공 시스템에 있어서,
    전파 신호에 포함된 항법 데이터를 근거로 위치 측위 정보를 생성하는 GPS모듈과, 상기 단말기의 9축 센서데이터를 생성하는 9축 센서 모듈과, 피사체가 포함된 영상 정보를 획득하기 위한 카메라 모듈과, 상기 영상 정보에서 피사체 영상 특징점을 추출하는 영상 특징 추출부와, 상기 지역 정보 서버 및 상기 피사체 정보 서버와 데이터 송수신을 하기 위한 통신부와, 상기 지역 정보 서버로부터 전송받은 구조물들에 대한 정보와 상기 피사체의 영상 특징점을 비교하여 상기 피사체를 인식하는 인식부와, 상기 피사체 정보 서버로부터 전송받은 피사체 정보를 상기 영상 정보와 합성하는 합성부와 구동 중인 프로그램의 실행 화면을 표시하기 위한 표시부 및 제어부를 포함하는 단말기;
    상기 단말기로부터 전송받은 상기 위치 측위 정보 및 상기 9축 센서 데이터를 이용하여 상기 단말기가 위치한 지역에 존재하는 구조물들에 대한 정보를 검색하여 상기 단말기로 전송하는 지역 정보 서버; 및
    상기 단말기로부터 전송받은 상기 피사체의 인식 정보를 상기 데이터 베이스에 기 저장된 피사체 인식 정보와 비교하여 매칭되는 피사체 정보를 단말기로 전송하는 피사체 정보 서버
    를 포함하는 증강 현실 제공 시스템.
  2. 제 1항에 있어서,
    상기 단말기의 상기 카메라 모듈이 획득하는 상기 영상 정보는 Full HD 영상 정보이고, 상기 표시부는 상기 피사체 정보 서버로부터 전송받은 상기 피사체 정보를 상기 Full HD 영상 정보와 합성하여 표시하는 것을 특징으로 하는 증강 현실 제공 시스템.
  3. 제 1항에 있어서,
    상기 단말기의 9축 센서 모듈은 지자기 센서, 가속도 센서 및 각속도 센서를 포함하는 증강 현실 제공 시스템.
  4. 단말기가 GPS모듈 및 9축 센서 모듈을 통하여 상기 단말기의 위치 측위 정보 및 9축 센서 데이터를 획득하여 지역 정보 서버로 전송하는 단계;
    상기 지역 정보 서버가 상기 위치 측위 정보 및 상기 9축 센서 데이터를 이용하여 상기 단말기가 위치한 지역에 존재하는 구조물들에 대한 정보를 검색하여 상기 단말기로 전송하는 단계;
    상기 단말기가 영상 정보를 획득하고, 상기 영상 정보에 포함된 피사체의 영상 특징점을 추출하는 단계;
    상기 단말기가 상기 지역 정보 서버로부터 전송받은 상기 구조물들에 대한 정보와 상기 피사체의 영상 특징점을 비교하여 상기 피사체를 인식하고 상기 피사체의 인식 정보 및 상기 피사체의 영상 특징점을 피사체 정보 서버로 전송하는 단계;
    상기 피사체 정보 서버가 상기 피사체의 영상 특징점을 데이터 베이스에 저장하고, 상기 피사체의 인식 정보를 상기 데이터 베이스에 기 저장된 피사체 인식 정보와 비교하여 매칭되는 피사체 정보를 단말기로 전송하는 단계;
    상기 단말기가 상기 영상 정보와 상기 피사체 정보 서버로부터 전송받은 상기 피사체 정보를 합성하여 표시하는 단계
    를 포함하는 증강 현실 제공 방법.
KR1020110063758A 2011-06-29 2011-06-29 증강 현실 제공 시스템 및 방법 KR20130002663A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110063758A KR20130002663A (ko) 2011-06-29 2011-06-29 증강 현실 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110063758A KR20130002663A (ko) 2011-06-29 2011-06-29 증강 현실 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20130002663A true KR20130002663A (ko) 2013-01-08

Family

ID=47835233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110063758A KR20130002663A (ko) 2011-06-29 2011-06-29 증강 현실 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20130002663A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455236B1 (ko) * 2013-04-19 2014-11-07 주식회사 제이엠랩 이동형 증강현실 제공 장치 및 그 방법
US9462108B2 (en) 2014-05-12 2016-10-04 Lg Electronics Inc. Mobile terminal and method for controlling the mobile terminal
US10198824B2 (en) 2015-11-05 2019-02-05 Samsung Electronics Co., Ltd. Pose estimation method and apparatus
KR20190081034A (ko) * 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템
KR20200114348A (ko) * 2019-03-28 2020-10-07 (주)스페이스포 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법
CN112700546A (zh) * 2021-01-14 2021-04-23 视辰信息科技(上海)有限公司 一种室外大规模三维地图的构建系统与方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455236B1 (ko) * 2013-04-19 2014-11-07 주식회사 제이엠랩 이동형 증강현실 제공 장치 및 그 방법
US9462108B2 (en) 2014-05-12 2016-10-04 Lg Electronics Inc. Mobile terminal and method for controlling the mobile terminal
US10198824B2 (en) 2015-11-05 2019-02-05 Samsung Electronics Co., Ltd. Pose estimation method and apparatus
KR20190081034A (ko) * 2017-12-29 2019-07-09 주식회사 버넥트 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템
KR20200114348A (ko) * 2019-03-28 2020-10-07 (주)스페이스포 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법
CN112700546A (zh) * 2021-01-14 2021-04-23 视辰信息科技(上海)有限公司 一种室外大规模三维地图的构建系统与方法

Similar Documents

Publication Publication Date Title
US11961297B2 (en) Terminal device, information processing device, object identifying method, program, and object identifying system
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
US9129429B2 (en) Augmented reality on wireless mobile devices
KR101303948B1 (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
US8941686B2 (en) Information display apparatus, display control integrated circuit, and display control method for superimposing, for display, information onto images captured in a time sequence
KR20130002663A (ko) 증강 현실 제공 시스템 및 방법
WO2012132334A1 (en) Display control device, display control method, and program
US9418292B2 (en) Methods, apparatuses, and computer program products for restricting overlay of an augmentation
US11776151B2 (en) Method for displaying virtual object and electronic device
KR20120024073A (ko) 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
CN111445583A (zh) 增强现实处理方法及装置、存储介质和电子设备
US20220076469A1 (en) Information display device and information display program
CN110702139B (zh) 一种时延标定方法、装置、电子设备和介质
KR20110012510A (ko) 증강 현실 서비스 제공 방법과 그를 위한 서버 및 휴대용 단말기
JP2012038153A (ja) 周囲情報検索装置及び周囲情報検索方法
JP2011233005A (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US20190164325A1 (en) Augmented reality positioning and tracking system and method
KR20110012514A (ko) 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
US20160155253A1 (en) Electronic device and method of displaying images on electronic device
KR20150094338A (ko) 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법
JP5709261B2 (ja) 情報端末、情報提供システム及び情報提供方法
KR20110116116A (ko) 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
TWI421785B (zh) 即時辨識招牌及顯示店家資訊之系統及方法
KR20120032773A (ko) 광학문자인식을 이용한 증강 현실 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application