KR20110070210A - 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법 - Google Patents

위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법 Download PDF

Info

Publication number
KR20110070210A
KR20110070210A KR1020090126941A KR20090126941A KR20110070210A KR 20110070210 A KR20110070210 A KR 20110070210A KR 1020090126941 A KR1020090126941 A KR 1020090126941A KR 20090126941 A KR20090126941 A KR 20090126941A KR 20110070210 A KR20110070210 A KR 20110070210A
Authority
KR
South Korea
Prior art keywords
image
virtual
outline information
augmented reality
information
Prior art date
Application number
KR1020090126941A
Other languages
English (en)
Inventor
백성복
박갑석
정인택
손진수
유건일
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020090126941A priority Critical patent/KR20110070210A/ko
Publication of KR20110070210A publication Critical patent/KR20110070210A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자가 주시하고 있는 현실 이미지를 취득하기 위한 영상 입력부를 구비하고, 상기 현실 이미지를 미리 저장된 가상 이미지 및 부가 데이터와 중첩함으로써 사용자에게 디지털 증강현실 서비스를 제공하기 위한 이동단말기를 제안한다. 특히 본 발명에 따른 이동단말기는, 상기 가상 이미지에 대한 가상 외곽선 정보를 상기 가상 이미지와 함께 저장하는 저장부; 사용자에 대한 현재의 위치 정보를 감지하는 위치 감지 센서; 사용자에 대한 현재의 방향 정보를 감지하는 방향 감지 센서; 상기 현실 이미지에 대한 현실 외곽선 정보를 추출하고, 상기 위치 정보 및 상기 방향 정보에 기초하여 상기 가상 외곽선 정보 중 상기 현실 이미지와 비교할 비교대상 가상 외곽선 정보를 추출하며, 상기 현실 외곽선 정보와 매칭되는 상기 비교대상 가상 외곽선 정보를 얻어서 그에 대응하는 중첩대상 가상 이미지를 확정하는 제어부; 및 상기 제어부의 명령에 따라, 상기 중첩대상 가상 이미지와 상기 현실 이미지를 합성하여 증강현실 이미지를 출력하는 영상 출력부를 구비하는 것을 특징으로 한다.
현실 이미지, 가상 이미지, 증강현실 이미지, 외곽선 정보

Description

위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법 {MOBILE TERMINAL AND METHOD FOR PROVIDING AUGMENTED REALITY SERVICE USING POSITION-DETECTING SENSOR AND DIRECTION-DETECTING SENSOR}
본 발명은 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법에 관한 것으로, 더욱 상세하게는 이동단말기를 이용하여 증강현실 서비스를 제공받으려는 사용자에게 보다 신속한 증강현실 서비스를 제공할 수 있도록, 사용자가 현재 바라보고 있는 장면과 증강현실 데이터베이스에 존재하는 디지털 이미지를 비교하는 작업을 간소화할 수 있는 증강현실 서비스용 이동단말기 및 이를 이용한 증강현실 서비스 방법에 관한 것이다.
최근 디지털 이미지 처리 기술이 발전함에 따라, 소위 증강현실(Augmented Reality)이라 불리는 기술이 상용화되어 가고 있는 추세이다.
증강현실이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐서 하나의 영상으로 사용자에게 제공하는 가상현실 기술의 일종이다. 이는 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(Hybrid VR System)으로서 1990년대 후반부터 미국과 일본을 중심으로 연구 및 개발이 진행되고 있다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용해야 하지만, 그것이 사용자에게 유용한 그래픽 데이터로서 활용되기 위해서는 현실환경과 가상환경을 보다 정밀하게 접목시키는 것이 매우 중요하다.
증강현실 기술에 있어서 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침으로써 현실환경과 가상화면과의 구분을 제거함과 동시에, 현실환경에서는 볼 수 없었던 다양한 부가 정보가 현실세계의 환경과 함께 사용자에게 보다 현실감 있게 보여지도록 하는 것이 증강현실 서비스의 핵심이라고 할 수 있다.
증강현실 기술은 최근 원격 의료 진단·방송·건축 설계·제조 공정 관리, 관광 명소 안내 등 분야를 막론하고 매우 다양하게 활용되고 있는 추세인데, 증강현실을 실외에서 실현하는 기술로는 착용식 컴퓨터(Wearable Computer)를 들 수 있다. 머리에 쓰는 형태의 특수한 컴퓨터 화면장치는 사용자가 보는 실제 환경에 컴퓨터 그래픽과 문자 등을 겹쳐서 실시간으로 보여줌으로써 증강현실을 가능하게 한다. 이에 따라 증강현실에 대한 연구는 착용컴퓨터 개발이 주를 이루고 있는데, 그 예로는 비디오 방식 내지 광학 방식의 HMD(Head Mounted Display)를 들 수 있다.
그러나, 상술한 바와 같은 종래기술에는 다음과 같은 점에서 한계가 있다.
즉, 앞서 살펴본 바와 같이 증강현실 기술은 현실 세계의 영상 상황을 기본으로 그 위에 3차원 가상 현실을 적용함으로써 현실 세계의 영상을 실감성이 증강 된 영상으로 표현하는 기술로서, 예컨대 사용자(관광객)가 실외에서 거리를 걷다가 흥미로운 관광 명소를 발견한 경우에, 이동식의 증강현실 장치를 사용하여 해당 장치에 내장된 카메라로 사용자가 바라보는 화면을 주시하면, 해당 관광명소의 영상 위에 가상 그래픽이 추가되어 관광객의 관람을 돕는 증강된 영상을 표출하는 것은 가능하다.
그러나, 이러한 형태의 서비스를 구현하기 위해서는 관광객이 증강현실 단말 장치를 통해 주시하고 있는 건물이 어떤 건물인지를 식별하는 것이 전제되어야 하는데, 이를 위해서는 ⅰ) 해당 관광지 내에 존재하는 모든 관광 명소를 360도 전 방향에서 투영한 이미지 정보를 데이터베이스로 저장한 다음, ⅱ) 사용자가 증강현실 장치를 통해 가리키고 있는 이미지와 일치하는 이미지 데이터를 지연 없이 신속하게 데이터베이스로부터 추출해 낼 수 있어야 한다. 만약 관광객이 특정한 건물을 향해 증강현실 장치로 한참 동안을 주시하고 있어야 한다거나, 관광객이 파노라마 사진 등을 찍어서 이를 해당 관광지에 대해 구축된 방대한 양의 데이터베이스와 일일이 비교하고 난 뒤에야 증강현실을 제공할 수 있다면, 이는 실감나는 증강현실 서비스라고 보기 어렵다.
도 1은 종래기술에 따라 증강현실 서비스를 제공받으려는 사용자(관광객)가 겪어야 하는 문제점을 설명하기 위한 도면으로서, 도 1의 사용자는 북쪽(N)의 100a 건물에 대한 증강현실 서비스를 원함에도 불구하고 사용자가 보유한 증강현실 장치(미도시)로서는 데이터베이스(미도시)에 입력되어 있는 사용자를 둘러싼 전 방향의 이미지들(예컨대, 100a, 100b, 100c, 100d 등)과 사용자가 현재 주시하고 있는 북쪽의 이미지 100a 및 100b를 전부 대조해 보아야 한다.
이와 같은 문제점으로 인해, 현재 사용되고 있는 기술들은 주로, 증강현실 서비스를 받기 위해 사용자가 주시해야만 하는 관광 명소를 처음부터 고정시켜 놓고, 사용자가 증강현실 서비스를 제공받기를 원하는 해당 관광 명소의 해당 지점에 도착하면 사용자가 바라보고 있는 이미지와 증강현실 이미지를 중첩하여 증강현실 서비스를 제공하도록 하고 있다.
그러나 이와 같은 종래의 서비스는 사용자(예컨대, 관광객)가 관광지의 어느 곳이든 자유롭게 돌아다니다가 증강현실 단말 장치의 카메라를 열어 임의의 관광 명소를 주시하고 그에 대한 증강현실 자료를 얻고자 하는 경우에는 적용하기 곤란한 기술로서, 예컨대 하나의 관광 도시에 100개의 관광 명소가 있고 각각의 관광 명소 건물을 360도 전 방향에서 촬영하여 외곽선 정보만을 저장한다고 가정하면, 증강현실 장치의 메모리에 저장해야 할 총 외곽선 정보의 수는 해당 도시에서 정보를 제공하고자 하는 관광 명소의 수에 360을 곱한 36,000개가 된다. 그러니까 관람객이 어떤 건물을 주시하고 있는지를 검색하려면 36,000번의 외곽선 비교 과정을 거쳐야 한다는 것인데, 이는 실시간으로 수행하기가 어려워서 사용자로서는 실감나는 증강현실 서비스를 제공받을 수가 없다.
본 발명은 상술한 종래기술의 문제점을 해결하기 위하여 이루어진 것으로, 이동단말기를 이용하여 증강현실 서비스를 제공받으려는 사용자에게 보다 신속한 증강현실 서비스를 제공할 수 있도록, 사용자가 현재 바라보고 있는 장면과 증강현실 데이터베이스에 존재하는 디지털 이미지를 비교하는 작업을 간소화할 수 있는 증강현실 서비스용 이동단말기 및 이를 이용한 증강현실 서비스 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 제 1 측면은 사용자가 주시하고 있는 현실 이미지를 취득하기 위한 영상 입력부를 구비하고, 상기 현실 이미지를 미리 저장된 가상 이미지 및 부가 데이터와 중첩함으로써 사용자에게 디지털 증강현실 서비스를 제공하기 위한 이동단말기를 제안한다. 본 발명에 따른 이동단말기는, 상기 가상 이미지에 대한 가상 외곽선 정보를 상기 가상 이미지와 함께 저장하는 저장부; 사용자에 대한 현재의 위치 정보를 감지하는 위치 감지 센서; 사용자에 대한 현재의 방향 정보를 감지하는 방향 감지 센서; 상기 현실 이미지에 대한 현실 외곽선 정보를 추출하고, 상기 위치 정보 및 상기 방향 정보에 기초하여 상기 가상 외곽선 정보 중 상기 현실 이미지와 비교할 비교대상 가상 외곽선 정보를 추출하며, 상기 현실 외곽선 정보와 매칭되는 상기 비교대상 가상 외곽선 정보를 얻어서 그에 대응하는 중첩대상 가상 이미지를 확정하는 제어부; 및 상기 제어부의 명령에 따라, 상기 중첩대상 가상 이미지와 상기 현실 이미지를 합성하여 증강현실 이미지를 출력하는 영상 출력부를 구비하는 것을 특징으로 한다.
여기서 상기 위치 감지 센서는 GPS일 수 있으며, 상기 방향 감지 센서는 자이로센서, 지자기센서, 기울기센서, 나침반 중 적어도 하나를 포함할 수 있다.
또한 상기 제어부는, 상기 현실 이미지와 상기 현실 외곽선 정보, 상기 가상 이미지와 상기 가상 외곽선 정보 및 상기 증강현실 이미지 중 적어도 하나를 3차원 그래픽으로 처리하여 상기 영상 출력부를 통해 디스플레이하도록 구성 가능하다.
나아가, 상기 이동단말기는 상기 가상 이미지 및 상기 가상 외곽선 정보를 저장 및 관리하는 데이터베이스를 포함한 원격 서버와 무선으로 연동하기 위한 통신부를 더 구비할 수 있으며, 이 경우 상기 원격 서버의 상기 데이터베이스 상에서 업데이트되는 상기 가상 이미지 및 상기 가상 외곽선 정보는 상기 원격 서버와 상기 통신부의 통신에 의하여 상기 저장부 상에서도 실시간으로 업데이트되는 것이 더욱 바람직하다.
한편, 상기 목적을 달성하기 위하여 본 발명의 제 2 측면은 사용자가 주시하고 있는 현실 이미지를 취득하기 위한 영상 입력부 및 사용자에 대한 현재의 위치 정보를 감지하는 위치 감지 센서와 사용자에 대한 현재의 방향 정보를 감지하는 방향 감지 센서를 각각 구비하며, 미리 가상 이미지 및 부가 데이터를 저장 및 관리하는 저장부를 구비한 이동단말기의 사용자에게 디지털 증강현실 서비스를 제공하는 방법을 제안한다. 본 발명에 따른 방법은, 상기 가상 이미지에 대한 가상 외곽선 정보를 추출하는 제 1 단계; 상기 현실 이미지에 대한 현실 외곽선 정보를 추출 하고, 상기 위치 정보 및 상기 방향 정보에 기초하여 상기 가상 외곽선 정보 중 상기 현실 이미지와 비교할 비교대상 가상 외곽선 정보를 추출하는 제 2 단계; 상기 현실 외곽선 정보와 매칭되는 상기 비교대상 가상 외곽선 정보를 얻어서 그에 대응하는 중첩대상 가상 이미지를 확정하는 제 3 단계; 및 상기 중첩대상 가상 이미지와 상기 현실 이미지를 합성하여 증강현실 이미지를 사용자에게 출력하는 제 4 단계를 포함하는 것을 특징으로 한다.
본 발명의 제 2 측면에 따른 방법에 있어서는, 상기 제 1 측면의 경우와 마찬가지로 상기 위치 감지 센서가 GPS일 수 있고, 상기 방향 감지 센서는 자이로센서, 지자기센서, 기울기센서, 나침반 중 적어도 하나를 포함할 수 있다.
또한 상기 제 1 내지 상기 제 4 단계 중 적어도 하나는, 상기 현실 이미지와 상기 현실 외곽선 정보, 상기 가상 이미지와 상기 가상 외곽선 정보 및 상기 증강현실 이미지 중 적어도 하나가 3차원 그래픽으로 처리된 상태에서 수행되도록 구성하는 것이 가능하다.
나아가, 본 발명의 제 2 측면에 있어서도 상기 이동단말기는 상기 가상 이미지 및 상기 가상 외곽선 정보를 저장 및 관리하는 데이터베이스를 포함한 원격 서버와 무선으로 연동하기 위한 통신부를 더 구비할 수 있으며, 이 경우 본 발명에 따른 방법은 상기 원격 서버의 상기 데이터베이스 상에서 업데이트되는 상기 가상 이미지 및 상기 가상 외곽선 정보를 상기 원격 서버와 상기 통신부의 통신에 의하여 상기 저장부 상에서도 실시간으로 업데이트하는 제 5 단계를 더 포함하는 것이 더욱 바람직하다.
본 발명에 의하면 사용자가 이동단말기를 이용하여 증강현실 서비스를 제공받으려는 사용자에게 보다 신속한 증강현실 서비스를 제공할 수 있도록, 사용자가 현재 바라보고 있는 장면과 증강현실 데이터베이스에 존재하는 디지털 이미지를 비교하는 작업을 간소화하는 것이 가능하다.
즉, 본 발명은 증강현실 서비스를 제공하는 이동단말기에 GPS와 같은 위치 감지 센서 및 나침반이나 기울기 센서 등의 방향 감지 센서가 탑재되는 하드웨어 조건을 전제로 하고 있다. 그리고, 본 발명은 이미지의 비교 작업을 간소화하기 위하여 외곽선 비교라는 독특한 방식 또한 채용하고 있는데, ⅰ) 우선 이동단말기의 저장부에 미리 저장되어 있는 가상 이미지 정보의 범위를 위치 감지 센서와 방향 감지 센서로부터 얻어지는 사용자의 현재 위치 정보 및 방향 정보에 기초하여, 사용자가 현재 위치에서 바라보는 방향에 속하는 가상 이미지 정보의 범위로 축소한 다음, ⅱ) 2차적으로는 현실 이미지와 상기 축소된 가상 이미지를 비교하되 외곽선만 추출하여 비교함으로써 보다 신속한 비교가 이루어질 수 있도록 하고 있다. 즉 본 발명에 있어서 비교대상이 되는 것은 현실과 가상의 외곽선 이미지 정보이다.
사용자의 현재 위치 정보 및 방향 정보에 따라 비교 대상의 범위를 축소한 다음 외곽선 비교를 적용할 경우 종래기술의 경우보다 신속하게 증강현실에 사용할 중첩대상 가상 이미지를 확정하는 것이 가능한데, 이 경우 가상 외곽선 이미지는 그 각각에 대응하는 가상 이미지(즉, 외곽선을 포함하는 가상의 풀 이미지)와 링크되어 있어야 함은 물론이다.
결국 본 발명에 있어서 최종적으로 사용자에게 제공되는 증강현실 이미지는 관광객과 같이 이동단말기를 휴대하고 다니는 사용자가 원하는 위치와 방향에서 언제든지 신속하게 제공이 가능하며, 최근 휴대전화 등에 영상 입력이 가능한 카메라와 영상 출력이 가능한 LCD 등의 디스플레이 화면은 물론이고, GPS, 자이로센서, 기울기센서 등을 포함한 기종이 널리 보급되어 가고 있는 추세이므로, 가상 이미지 및 그에 대응하는 가상의 외곽선 이미지 데이터베이스만 제대로 구축해 놓을 경우, 중앙에서 DB를 관리하는 이동통신사의 서버 등에 의해 실시간으로 업데이트되는 증강현실 이미지를 사용자에게 신속하게 제공하는 것도 가능하게 된다.
이하, 첨부도면을 참조하여 본 발명의 일 실시형태에 따라 전자기기에 문자를 전송하는 리모콘 장치 및 방법에 관하여 상세하게 설명한다. 참고로, 상세한 설명 및 상세한 설명이 참조하는 복수의 첨부도면에서 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 2는 본 발명의 일 실시형태에 따른 증강현실 서비스를 제공할 수 있는 이동단말기(300)의 세부 구성을 나타내는 블록도이고, 도 3은 본 발명의 일 실시형태에 따라 증강현실 서비스를 제공하는 방법을 나타내는 순서도이다. 또한, 도 4는 본 발명의 일 실시형태에 따른 증강현실 서비스를 제공하는 이동단말기(300) 및 방법을 이용하는 경우에 종래기술의 경우보다 신속하게 사용자에게 증강현실 서비스가 가능하다는 점을 설명하기 위한 도면이다.
먼저 도 2를 참조하면, 본 발명의 일 실시형태에 따른 이동단말기(300)는 위 성을 이용하여 사용자의 위치를 추적할 수 있는 GPS(110)와 사용자의 현재 위치가 어느 방향을 가리키는지를 검출할 수 있는 나침반(120)을 구비하고 있다.
한편, 도 2의 이동단말기(300)는 실외의 임의의 이미지를 영상 입력부(150)를 이용하여 동화상이나 정지 이미지의 형태로 촬영하는 것이 가능한데, 본 실시형태에 있어서는 영상 입력부(150)가 실시간으로 동영상 이미지 데이터를 수신하는 것으로 가정하고, 또한 영상 입력부(150)의 촬영 대상은 관광 명소(100)인 것으로 가정한다.
본 발명에 따른 이동단말기(300)는 영상 입력부(150)에 의해 취득되는 현실의 영상 이미지 정보로부터 증강현실을 제공할 가상의 이미지를 확정하기 위해 비교할 현실 외곽선 정보를 현실 외곽선 정보 검출부(160)에 의하여 검출해 낸다.
다른 한편으로 이동단말기(300)는 가상 이미지 저장부(130)에서 증강현실에 사용할 가상의 이미지 정보를 저장 및 관리하고 있는데, 이 가상 이미지 저장부(130)에 저장되어 있는 복수의 가상 이미지 각각은 그것에 대응하는 가상의 외곽선 정보를 포함하고 있다.
GPS(110) 및 나침반(120)에 의하여 제공되는 이동단말기(300) 사용자의 현재의 위치 정보 및 방향 정보에 기초하여, 본 발명에 따른 이동단말기(300)는 가상 이미지 저장부(130)에 저장된 수많은 증강현실용 가상 이미지 데이터 중에서 사용자의 현재의 위치와 시선 방향에 부합하는 소정의 범위(이는 GPS와 나침반의 오차 범위와 일치할 수도 있음)에 속하는 가상 이미지를 추출해 낸 다음, 비교대상 가상 외곽선 정보 선택부(140)에 의하여 현실 외곽선 정보와 비교할 비교대상 가상 외곽 선 정보를 선택한다.
외곽선 비교부(170)는 비교대상 가상 외곽선 정보 선택부(140)에 의해 선택된 비교대상 가상 외곽선 정보와, 현실 외곽선 정보 검출부(160)에 의해 검출된 현실 외곽선 정보를 이미지 비교 기법에 의하여 비교하는 구성요소이며, 외곽선 비교부(170)의 비교 결과 가상 및 현실의 외곽선 이미지가 일치하는 것으로 판정될 경우에는, 영상 합성부(190)가 가상 외곽선 정보에 대응하는 가상 이미지와, 현실 외곽선 정보에 대응하는 현실 이미지를 합성하는 동작을 수행한다.
3차원 그래픽 저장부(180)는 영상 합성부(190)와 연동하여 합성 이미지에 3차원 효과를 제공하기 위한 3차원 그래픽 정보를 저장하기 위한 구성요소로서, 이동단말기(300)의 디스플레이 사양에 따라 선택적으로 적용될 수 있는 구성이다.
영상 출력부(200)는 영상 합성부(190)에 의하여 최종적으로 합성된 증강현실 이미지를 이동단말기(300)의 디스플레이 화면으로 출력하기 위한 구성요소이다.
부언하자면, 도 2의 실시형태에서는 위치 감지 센서로서 GPS(110)가 도시되어 있으나, 이 외에 사용자의 위치를 감지할 수 있는 다른 기술(예컨대, 무선주파 신호를 기지국과 교신하도록 하여 사용자의 현재 위치를 기지국측에서 판단한 다음 해당 위치 정보를 이동단말기측으로 전송하는 기술)을 채택하는 것도 가능하다.
나아가, 도 2의 실시형태에서는 방향 감지 센서로는 방위를 나타내는 나침반(120)을 도시하였으나, 이 외에도 회전력을 이용하는 자이로센서, 중력을 이용하는 지자기센서, 기울기센서 등 사용자의 방향 정보를 보다 정확하게 파악하는데 이용 가능한 다양한 방향 감지 센서를 이동단말기(300)에 탑재하여도 무방하다.
요컨대, 위치 감지 센서와 방향 감지 센서에 의해 정밀하게 사용자의 위치 및 방향 정보를 추출해 내는 경우에는, 비교대상 가상 외곽선 정보 선택부(140)가 현실 외곽선 정보와 비교할 것으로서 선정할 대상 이미지의 범위가 축소되는 효과(즉, 사용자의 위치 및 방향에 관한 오차 범위의 감축)를 얻을 수 있을 것이다.
또한, 도 2에 도시된 예에서는 본 발명에 따른 기능을 수행하는 구성요소가 참조번호 140, 160, 170, 190 등의 형태로 도시되어 있어 마치 이들 구성요소가 물리적으로 별개인 것처럼 보이지만, 사실 이들 구성요소를 하나 혹은 그 이상의 물리적인 구성요소로 구현하는 것도 얼마든지 가능하며, 따라서 본 발명에 따른 이동단말기(300)의 동작의 제어와 관련된 구성요소이면 이를 제어부 내지 CPU 등의 명칭으로 호칭하더라도 본 발명의 기술적 범위에는 아무런 차이가 발생하지 않는다는 점에 주의한다.
한편, 도 2에 도시하지는 않았지만 이동단말기(300)는 가상 이미지 및 상기 가상 외곽선 정보를 저장 및 관리하는 데이터베이스(미도시)를 포함한 원격의 서버(미도시)와 무선으로 연동하기 위한 통신부(미도시)를 더 구비할 수 있으며, 이 경우 원격 서버의 데이터베이스 상에서 업데이트되는 가상 이미지 및 가상 외곽선 정보는 이 원격 서버와 통신부(미도시)의 통신에 의하여 이동단말기(300)의 저장부(130 혹은 180) 상에서도 실시간으로 업데이트되도록 구성하는 것이 가능하다. 이와 같은 구성은 본 발명의 일 실시형태에 따른 이동단말기(300)가 휴대전화, PDA, 스마트폰 등과 같이 이동통신 사업자에 의해 제공되는 무선이동통신이나 무선인터넷 서비스가 지원되는 경우를 감안한 것이다.
다음으로 도3을 참조하여 본 발명에 따른 증강현실 서비스의 제공 방법을 설명하면, 먼저 스텝 S401에서 증강현실 서비스가 지원되는 이동단말기(300)의 사용자가 그 이동단말기(300)에 장착된 카메라 등의 영상 입력부(150)를 이용하여 증강현실 서비스를 제공받기를 원하는 임의의 관광 명소(100)를 주시한다.
다음으로 스텝 S402에서 현재 주시되고 있는 관광 명소(100)에 대한 현실 이미지로부터의 현실 외곽선 정보가 현실 외곽선 정보 검출부(160)에 의하여 검출된다.
스텝 S403에서는 GPS(110)와 나침반(120)을 이용하여 사용자의 현재 위치 및 방향 정보가 이동단말기(300)의 제어부에 의해 결정되는데, 이렇게 결정된 위치 및 방향 정보는 현실 외곽선 정보와 비교대상이 될 비교대상 가상 외곽선 정보를 추출하는데 사용된다(스텝 S404).
스텝 S405에서는 현실 및 가상의 외곽선 정보가 외곽선 비교부(170)에 의하여 비교되며, 그 결과 외곽선이 일치하는 관광 명소(100)라고 판정될 경우에는 해당 관광 명소에 대하여 결정되었던 비교대상 가상 외곽선 정보에 대응하는 가상 이미지를 가상 이미지 저장부(130)로부터 추출하여 이를 중첩대상 가상 이미지로서 결정한다(스텝 S406).
이후에는 결정된 중첩대상 가상 이미지와 현실 이미지를 합성하여 최종적인 증강현실 이미지로서 영상 출력부(200)를 통해 출력하게 되는데(스텝 S407), 이 경우 앞서 살펴본 바와 같이 3차원 그래픽 저장부(180)에 저장된 가상 이미지에 관한 3차원 그래픽 정보를 이용하여 영상 합성부(190)에 의해 3차원 효과를 준 증강현실 이미지를 출력하는 것도 가능하다.
끝으로 도 4를 참조하면, 도 1의 경우와 비교할 때 본 발명에 따른 증강현실 서비스용 이동단말기 및 방법은 수만개의 가상 이미지 데이터를 현실 이미지 데이터와 비교할 필요가 없다는 사실을 쉽게 확인할 수 있다. 일반적으로 GPS(110)의 정확도가 30미터 내외인 점을 감안하면, 도 4에 도시된 사용자의 위치와 주시 방향의 범위 내에 속하는, 다시 말해 현실 이미지와의 비교 대상으로 삼을 가상 이미지의 범위를 100A 수준으로 대폭 축소하는 것이 가능하다.
이상 본 발명의 바람직한 실시형태에 대하여 상세하게 설명하였지만, 상술한 사항은 본 발명의 이해를 돕기 위해 본 발명에 따른 증강현실 서비스용 이동단말기(300) 및 방법을 이용하여 증강현실 서비스를 제공하는 사례를 설명한 것일 뿐이기 때문에, 상술한 바가 청구범위에 나타난 본 발명의 핵심적인 아이디어를 제한하는 것으로 해석하여서는 안 된다.
나아가 도 3에서 설명한 본 발명의 일 실시형태에 따른 방법이 도 3에 도시된 프로세스를 전부 순차적으로 진행하여야 하는 것은 아니며, 종래의 증강현실 서비스에서 채택되어 오던 프로세스의 전부 혹은 일부가 본 발명의 청구범위를 넘지 않는 범위 내에서 도 3의 순서도에 추가될 수 있음은 물론이며, 반대로 도 3에 도시된 프로세스 중 일부가 삭제될 수도 있다는 점에 주의해야 한다. 나아가 도 3에 도시된 프로세스 중 둘 이상의 프로세스가 병렬 프로세싱에 의하여 동시에 수행될 수도 있음을 이해하여야 한다.
따라서, 본 발명의 범위는 첨부한 특허청구범위에 의해서만 제한되어야 함을 이해하여야 할 것이다.
도 1은 종래기술에 따라 증강현실 서비스를 제공받으려는 사용자(관광객)가 겪어야 하는 문제점을 설명하기 위한 도면.
도 2는 본 발명의 일 실시형태에 따른 증강현실 서비스를 제공할 수 있는 이동단말기의 세부 구성을 나타내는 블록도.
도 3은 본 발명의 일 실시형태에 따라 증강현실 서비스를 제공하는 방법을 나타내는 순서도.
도 4는 본 발명의 일 실시형태에 따른 증강현실 서비스를 제공하는 이동단말기 및 방법을 이용하는 경우에 종래기술의 경우보다 신속하게 사용자에게 증강현실 서비스가 가능하다는 점을 설명하기 위한 도면.
<도면의 주요부분에 대한 부호의 설명>
100 관광 명소
110 GPS 120 나침반
130 가상이미지 저장부
140 비교대상 가상 외곽선 정보 선택부
150 영상 입력부
160 현실 외곽선 정보 검출부
170 외곽선 비교부
180 3차원 그래픽 저장부 190 영상 합성부
200 영상 출력부 300 이동단말기

Claims (10)

  1. 사용자가 주시하고 있는 현실 이미지를 취득하기 위한 영상 입력부를 구비하고, 상기 현실 이미지를 미리 저장된 가상 이미지 및 부가 데이터와 중첩함으로써 사용자에게 디지털 증강현실 서비스를 제공하기 위한 이동단말기로서,
    상기 가상 이미지에 대한 가상 외곽선 정보를 상기 가상 이미지와 함께 저장하는 저장부;
    사용자에 대한 현재의 위치 정보를 감지하는 위치 감지 센서;
    사용자에 대한 현재의 방향 정보를 감지하는 방향 감지 센서;
    상기 현실 이미지에 대한 현실 외곽선 정보를 추출하고, 상기 위치 정보 및 상기 방향 정보에 기초하여 상기 가상 외곽선 정보 중 상기 현실 이미지와 비교할 비교대상 가상 외곽선 정보를 추출하며, 상기 현실 외곽선 정보와 매칭되는 상기 비교대상 가상 외곽선 정보를 얻어서 그에 대응하는 중첩대상 가상 이미지를 확정하는 제어부; 및
    상기 제어부의 명령에 따라, 상기 중첩대상 가상 이미지와 상기 현실 이미지를 합성하여 증강현실 이미지를 출력하는 영상 출력부를 구비하는 것을 특징으로 하는 이동단말기.
  2. 청구항 1에 있어서,
    상기 위치 감지 센서는 GPS인 것을 특징으로 하는 이동단말기.
  3. 청구항 1에 있어서,
    상기 방향 감지 센서는 자이로센서, 지자기센서, 기울기센서, 나침반 중 적어도 하나를 포함하는 것을 특징으로 하는 이동단말기.
  4. 청구항 1에 있어서,
    상기 제어부는, 상기 현실 이미지와 상기 현실 외곽선 정보, 상기 가상 이미지와 상기 가상 외곽선 정보 및 상기 증강현실 이미지 중 적어도 하나를 3차원 그래픽으로 처리하여 상기 영상 출력부를 통해 디스플레이하는 것을 특징으로 하는 이동단말기.
  5. 청구항 1에 있어서,
    상기 이동단말기는 상기 가상 이미지 및 상기 가상 외곽선 정보를 저장 및 관리하는 데이터베이스를 포함한 원격 서버와 무선으로 연동하기 위한 통신부를 더 구비하며,
    상기 원격 서버의 상기 데이터베이스 상에서 업데이트되는 상기 가상 이미지 및 상기 가상 외곽선 정보는 상기 원격 서버와 상기 통신부의 통신에 의하여 상기 저장부 상에서도 실시간으로 업데이트되는 것을 특징으로 하는 이동단말기.
  6. 사용자가 주시하고 있는 현실 이미지를 취득하기 위한 영상 입력부 및 사용 자에 대한 현재의 위치 정보를 감지하는 위치 감지 센서와 사용자에 대한 현재의 방향 정보를 감지하는 방향 감지 센서를 각각 구비하며, 미리 가상 이미지 및 부가 데이터를 저장 및 관리하는 저장부를 구비한 이동단말기의 사용자에게 디지털 증강현실 서비스를 제공하는 방법으로서,
    상기 가상 이미지에 대한 가상 외곽선 정보를 추출하는 제 1 단계;
    상기 현실 이미지에 대한 현실 외곽선 정보를 추출하고, 상기 위치 정보 및 상기 방향 정보에 기초하여 상기 가상 외곽선 정보 중 상기 현실 이미지와 비교할 비교대상 가상 외곽선 정보를 추출하는 제 2 단계;
    상기 현실 외곽선 정보와 매칭되는 상기 비교대상 가상 외곽선 정보를 얻어서 그에 대응하는 중첩대상 가상 이미지를 확정하는 제 3 단계; 및
    상기 중첩대상 가상 이미지와 상기 현실 이미지를 합성하여 증강현실 이미지를 사용자에게 출력하는 제 4 단계를 포함하는 것을 특징으로 하는 방법.
  7. 청구항 6에 있어서,
    상기 위치 감지 센서는 GPS인 것을 특징으로 하는 방법.
  8. 청구항 6에 있어서,
    상기 방향 감지 센서는 자이로센서, 지자기센서, 기울기센서, 나침반 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  9. 청구항 1에 있어서,
    상기 제 1 내지 상기 제 4 단계 중 적어도 하나는, 상기 현실 이미지와 상기 현실 외곽선 정보, 상기 가상 이미지와 상기 가상 외곽선 정보 및 상기 증강현실 이미지 중 적어도 하나가 3차원 그래픽으로 처리된 상태에서 수행되는 것을 특징으로 하는 방법.
  10. 청구항 6에 있어서,
    상기 이동단말기는 상기 가상 이미지 및 상기 가상 외곽선 정보를 저장 및 관리하는 데이터베이스를 포함한 원격 서버와 무선으로 연동하기 위한 통신부를 더 구비하며,
    상기 원격 서버의 상기 데이터베이스 상에서 업데이트되는 상기 가상 이미지 및 상기 가상 외곽선 정보를 상기 원격 서버와 상기 통신부의 통신에 의하여 상기 저장부 상에서도 실시간으로 업데이트하는 제 5 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020090126941A 2009-12-18 2009-12-18 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법 KR20110070210A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090126941A KR20110070210A (ko) 2009-12-18 2009-12-18 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090126941A KR20110070210A (ko) 2009-12-18 2009-12-18 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법

Publications (1)

Publication Number Publication Date
KR20110070210A true KR20110070210A (ko) 2011-06-24

Family

ID=44401761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090126941A KR20110070210A (ko) 2009-12-18 2009-12-18 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법

Country Status (1)

Country Link
KR (1) KR20110070210A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101248390B1 (ko) * 2012-11-16 2013-04-03 김미화 무선단말을 이용한 기울기 센서 원격관리 시스템
WO2013095400A1 (en) * 2011-12-20 2013-06-27 Intel Corporation Local sensor augmentation of stored content and ar communication
KR101354133B1 (ko) * 2013-12-12 2014-02-05 한라아이엠에스 주식회사 증강현실을 이용한 원격관리형 선박평형수 처리장치
KR101358059B1 (ko) * 2012-06-25 2014-02-05 에이알비전 (주) 증강현실을 이용한 장소정보 표출방법
WO2014129827A1 (ko) * 2013-02-20 2014-08-28 Seo Yong Chang 기준 포즈 데이터와 유사한 포즈를 가지는 동기단말을 검출하는 방법, 메시지 전송 방법 및 이를 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
KR101533886B1 (ko) * 2013-10-24 2015-07-06 (주)굿게이트 문화 유적 가상 체험을 위한 증강 현실 생성 방법
WO2016072785A1 (en) * 2014-11-07 2016-05-12 Samsung Electronics Co., Ltd. Direction based electronic device for displaying object and method thereof
KR101665363B1 (ko) 2015-05-08 2016-10-24 주식회사 인디고엔터테인먼트 가상현실, 증강현실 및 홀로그램을 혼합한 인터랙티브 콘텐츠 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013095400A1 (en) * 2011-12-20 2013-06-27 Intel Corporation Local sensor augmentation of stored content and ar communication
GB2511663A (en) * 2011-12-20 2014-09-10 Intel Corp Local sensor augmentation of stored content and AR communication
KR101358059B1 (ko) * 2012-06-25 2014-02-05 에이알비전 (주) 증강현실을 이용한 장소정보 표출방법
KR101248390B1 (ko) * 2012-11-16 2013-04-03 김미화 무선단말을 이용한 기울기 센서 원격관리 시스템
WO2014129827A1 (ko) * 2013-02-20 2014-08-28 Seo Yong Chang 기준 포즈 데이터와 유사한 포즈를 가지는 동기단말을 검출하는 방법, 메시지 전송 방법 및 이를 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
US9877163B2 (en) 2013-02-20 2018-01-23 Yong Chang Seo Method for detecting synchronized terminal with pose similar to reference pose data, method for transmitting message, and computer readable storage medium recorded with program therefor
KR101533886B1 (ko) * 2013-10-24 2015-07-06 (주)굿게이트 문화 유적 가상 체험을 위한 증강 현실 생성 방법
KR101354133B1 (ko) * 2013-12-12 2014-02-05 한라아이엠에스 주식회사 증강현실을 이용한 원격관리형 선박평형수 처리장치
WO2016072785A1 (en) * 2014-11-07 2016-05-12 Samsung Electronics Co., Ltd. Direction based electronic device for displaying object and method thereof
US10642041B2 (en) 2014-11-07 2020-05-05 Samsung Electronics Co., Ltd Direction based electronic device for displaying object and method thereof
KR101665363B1 (ko) 2015-05-08 2016-10-24 주식회사 인디고엔터테인먼트 가상현실, 증강현실 및 홀로그램을 혼합한 인터랙티브 콘텐츠 시스템

Similar Documents

Publication Publication Date Title
US11776185B2 (en) Server, user terminal, and service providing method, and control method thereof for displaying photo images within a map
KR100651508B1 (ko) 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR101285360B1 (ko) 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR20110070210A (ko) 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법
EP2859718B1 (en) Augmented reality arrangement of nearby location information
US9497391B2 (en) Apparatus and method for displaying images
US11310459B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
US20140300775A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
EP1117256A1 (en) All-around video output method and device
JP6849634B2 (ja) 端末装置および端末装置の制御方法
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP4969053B2 (ja) 携帯端末装置及び表示方法
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US20210217210A1 (en) Augmented reality system and method of displaying an augmented reality image
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP2011166589A (ja) 携帯端末および情報提示方法
CN105917329B (zh) 信息显示装置和信息显示程序
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
WO2021200187A1 (ja) 携帯端末および情報処理方法、並びに記憶媒体
JP2011022662A (ja) 携帯電話端末及び情報処理システム
JP2011041020A (ja) 携帯端末、表示方法及び表示システム
Lo et al. A directive location-based landscape tour service using augmented reality glass
JP2014082764A (ja) 画像表示装置、画像表示方法、サーバ装置、および画像データ構造
JP2016181873A (ja) 天体写真撮影支援装置、天体写真撮影支援方法、およびプログラム
JP2011053181A (ja) 情報端末装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination