KR20130014760A - 이동 단말에서의 증강현실 기반 정보 처리 방법 - Google Patents
이동 단말에서의 증강현실 기반 정보 처리 방법 Download PDFInfo
- Publication number
- KR20130014760A KR20130014760A KR1020110076412A KR20110076412A KR20130014760A KR 20130014760 A KR20130014760 A KR 20130014760A KR 1020110076412 A KR1020110076412 A KR 1020110076412A KR 20110076412 A KR20110076412 A KR 20110076412A KR 20130014760 A KR20130014760 A KR 20130014760A
- Authority
- KR
- South Korea
- Prior art keywords
- view
- augmented reality
- information
- mobile terminal
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 57
- 230000003190 augmentative effect Effects 0.000 claims abstract description 99
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 239000002131 composite material Substances 0.000 claims description 29
- 230000010365 information processing Effects 0.000 abstract 1
- 238000003672 processing method Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
본 발명의 실시예는 이동 단말의 카메라를 통한 실사 뷰(Live View)와 그 실사 뷰에 대응하는 3차원 가상 뷰(Virtual View) 간의 정합을 이용하여 지상은 물론 지하 시설물에 대한 각종 정보를 증강현실 정보로 이동 단말의 사용자에게 실시간 제공하고, 또한, 실시간 제공되는 최종 합성 뷰(실사 뷰 + 3차원 가상 뷰 + 증강현실 정보)를 카메라의 위치, 각도, 방향 등을 포함하는 같은 각종 센서 정보와 함께 저장 및 재생하여 시설물 관리나 유지보수 등에 활용할 수 있도록 하기 위한, 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법 및 기록 매체에 관한 것이다.
Description
본 발명은 증강현실을 기반으로 각종 정보를 제공하기 위한 기술에 관한 것으로, 보다 상세하게는 이동 단말의 카메라를 통한 실사 뷰(Live View)와 그 실사 뷰에 대응하는 3차원 가상 뷰(Virtual View) 간의 정합을 이용하여 지상은 물론 지하 시설물에 대한 각종 정보를 증강현실 정보로 이동 단말의 사용자에게 실시간 제공하고, 또한, 실시간 제공되는 최종 합성 뷰(실사 뷰 + 3차원 가상 뷰 + 증강현실 정보)를 카메라의 위치, 각도, 방향 등을 포함하는 같은 각종 센서 정보와 함께 저장 및 재생하여 시설물 관리나 유지보수 등에 활용할 수 있도록 하기 위한, 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법 및 기록 매체에 관한 것이다.
일반적으로, 기존의 지하시설물의 위치파악 방식은 종이도면을 이용한 방법, GIS를 이용한 방법, 자석이나 RFID를 이용한 마커탐지식방법이 있으나, 종이도면의 경우 휴대의 불편함과 현장에서 확인하는데 어려운 문제점이 있고, GIS를 이용한 방식의 경우 종이도면과 마찬가지로 현장 확인의 문제점이 있으며, 마커탐지식의 경우 모든 지하시설물에 마커를 부착해야하는 초기 도입과 시설투자의 어려움이 있다.
또한, 현재 상수도관, 하수도관, 가스관 등의 지하시설물의 위치는 정확한 위치 파악이 중요함에도 불구하고, 공사업무 수행자들의 경험과 숙련도에 따라 수도관 파열, 가스 폭발 사고와 같은 크고 작은 사고로 이어질 수 있는 가능성과 불편함이 지속 되고 있다.
이에 따라, 해당 기술 분야에 있어서는, 최근 출시되고 있는 모바일 단말(또는 이동 단말이라 칭함)의 일종인 스마트폰에 탑재된 GPS 및 가속도 센서, 방향 센서 등 다양한 센서와 카메라를 이용하여 지하 시설물을 관리 또는 공사하는 현장 업무자에게 보다 현실적인 현장의 지하 시설물 관리 정보를 제공하여 사고방지는 물론 업무의 편의성 및 효율성을 제고하도록 하기 위한 기술 개발이 요구되고 있다.
기존의 증강현실 서비스는 실사 뷰(카메라 및 위치,방향센서값)를 이용하여 증강현실정보의 단순표출에 머물러 있으며 실사 뷰와 증강현실정보를 포함한 합성정보를 저장하여 재사용하는 기능이 없으며 실제적으로도 그러한 기능을 필요로 할 만한 용도나 목적이 없는 상황이다.
그러나 증강현실서비스가 시설물관리나 유지보수와 같은 보다 전문적인 서비스영역에 활용될 경우, 작업이력이나 시간의 흐름과 연관된 정보 등이 필요할 경우 정보의 저장 및 재생이라는 측면은 매우 중요한 의미를 가지게 된다.
예를 들면, GPS를 사용하는 단말기솔루션들(네비게이션, 블랙박스)은 (자신의) 실시간 위치뿐 아니라 이동경로를 저장하여 재사용하는 기능들을 대부분 갖고 있는 경우가 포함될 수 있다. 이중 최근 스마트폰의 확대에 따라 제공되고 있는 블랙박스 앱(App)은 카메라, GPS등 각종 센서를 사용한다는 측면에서는 증강현실솔루션과 매우 닮아있다.
특히, 다수의 블랙박스기능을 하는 애플리케이션을 보면 그 목적 및 용도에 있어서 사고영상의 저장 기능이 매우 중요함에도 불구하고 단순히 카메라영상만을 저장함으로써 영상의 신뢰성과 정보로서의 가치를 높이지 못하는 측면이 있다.
본 발명은 전술한 바와 같은 요구에 따르고 기존의 문제점을 해결하기 위한 것으로, 그 목적은 이동 단말의 카메라를 통한 실사 뷰(Live View)와 그 실사 뷰에 대응하는 3차원 가상 뷰(Virtual View) 간의 정합을 이용하여 지상은 물론 지하 시설물에 대한 각종 정보를 증강현실 정보로 이동 단말의 사용자에게 실시간 제공하고, 특히, 실시간 제공되는 최종 합성 뷰(실사 뷰 + 3차원 가상 뷰 + 증강현실 정보)에서 합성 뷰(실사 뷰 + 3차원 가상 뷰)를 카메라의 위치, 각도, 방향 등을 포함하는 같은 각종 센서 정보 및 해당 증강현실 정보와 함께 저장하거나 또는 그 각종 센서 정보 및 해당 증강현실 정보와 연계하여 별도로 저장하고 사용자의 필요 시 재생하여 시설물 관리나 유지보수 등의 분야에서 활용할 수 있도록 하는, 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법 및 기록 매체를 제공하는 것이다.
상기와 같은 목적을 달성하기 위해 본 발명의 일 측면에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법은, 실제 카메라와 3차원 가상 카메라를 포함하는 이동 단말에서 증강현실 기반 정보를 제공, 저장, 및 재생하는 방법으로서, (a) 상기 실제 카메라를 실행하여 그 실제 카메라를 통한 실사 뷰를 획득하는 단계; (b) 상기 실제 카메라에 대응하는 상기 가상 카메라를 실행하여 상기 실사 뷰에 대응하는 3차원 가상 뷰를 생성하는 단계; (c) 상기 실제 카메라의 위치 및 방향성정보 등을 포함하는 실사 뷰 관련 정보를 기준으로, 상기 실사 뷰에 x, y, z 축의 벡터 뷰 값을 갖는 3차원 격자 큐브로 이루어진 상기 3차원 가상 뷰를 정합하여 합성하는 단계; (d) 상기 가상 카메라의 현재 위치를 기준으로 상기 3차원 가상 뷰의 상기 벡터 뷰 값을 실세계의 3차원 좌표값과 매칭하는 단계; (e) 상기 실세계의 3차원 좌표값에 대응하는 증강현실 정보를 상기 실사 뷰와 상기 3차원 가상 뷰가 정합되어 생성된 합성 뷰 상의 해당 위치에 합성하는 단계; (f) 상기 실사 뷰, 상기 3차원 가상 뷰, 및 상기 증강현실 정보가 합성된 최종 합성 뷰를 표시하는 단계; (g) 상기 합성 뷰를 정지영상 또는 동영상으로 저장하는 단계; 및 (h) 상기 저장된 합성 뷰에 대응하는 상기 실제 카메라의 카메라 관련 정보와 증강현실 정보를, 상기 저장된 합성 뷰에 결합하여 저장하거나 또는 상기 저장된 합성 뷰와 연계하여 별도로 저장하는 단계를 포함할 수 있고, (i) 사용자의 선택에 따라 상기 저장된 합성 뷰와 상기 저장된 증강현실 정보가 합성된 최종 합성 뷰를 재생하는 단계를 더 포함할 수 있다.
상기 단계 (i)는 상기 카메라 관련 정보 및 해당 저장 시간 정보에 근거하여 해당 최종 합성 뷰를 재생할 수 있고, 상기 카메라 관련 정보는 상기 실제 카메라의 적어도 위치, 화면 각도, 초점 거리, 및 방향을 포함할 수 있다.
상기 단계 (g)는, 일 예로 상기 합성 뷰를 이미지로 캡처하여 정지 영상으로 저장하거나, 다른 예로 상기 합성 뷰를 실시간 녹화하여 동영상으로 저장할 수 있다.
상기 단계 (g) 및 (h)는, 일 예로 상기 합성 뷰의 영상 프레임을 순차 추출하고, 그 추출된 영상 프레임에 해당하는 카메라 관련 정보와 증강현실 정보를 결합하여 생성된 새로운 영상 프레임을 저장할 수 있다.
상기 가상 카메라의 현재 위치는 GPS 및 GIS 중 적어도 하나 이상으로부터 제공된 상기 이동 단말의 위치 정보일 수 있고, 상기 증강현실 정보는 원격의 데이터베이스 또는 상기 이동 단말에 내장된 데이터베이스로부터 제공될 수 있으며, 상기 3차원 가상 뷰로써의 상기 3차원 격자 큐브는 3차원 그래픽 라이브러리를 이용하여 생성하고 숨김(hidden)처리될 수 있다.
상기와 같은 목적을 달성하기 위해 본 발명의 다른 측면에 따르면, 전술한 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
본 발명의 일 측면에 따른 저장 방안은 크게 개별저장방식과 동시저장방식의 두 가지로 나눌 수 있는데, 이 두 가지 저장 방식에서 '저장' 옵션은 크게 이미지(jpg) 저장과 동영상(MPEG) 저장으로 나누어질 수 있으며, 영상저장을 위한 기본적인 물리적 구조의 일 예는 다음과 같이 구성할 수 있다.
| 항목 | 동영상 | 이미지 |
| 경로/파일이름 | 사용 | 사용 |
| 비디오 소스(Video Source) | 카메라 | 카메라 |
| 오디오 소스(Audio Source) | 마이크(MIC) | |
| 출력 포맷(Output Format) | MPEG4 등 동영상포맷 | jpg 등 이미지포맷 |
| 비디오 엔코더(Video Encoder) | H.264 | |
| 오디오 엔코더(Audio Encoder) | AMR_NB |
개별저장방식은, 예를 들어, 저장 명령이 실행되면 위 구조에 따라 이미지 또는 동영상이 저장되며 이와 동시에 저장 시점의 카메라의 위치, 방향(Orientation), 센서 정보 등의 환경정보, 데이터베이스정보 등이 별도의 파일로 저장될 수 있다.
동시저장방식은, 예를 들어, 저장 명령이 실행되면 '영상+환경정보+데이타베이스'를 합성하여 만든 합성영상이 파일로 저장될 수 있다.
본 발명이 일 측면에 따른 재생방안은 전술한 저장방안에서의 저장 방식에 따라 개별재생 또는 동시(합성)재생의 2가지로 분류될 수 있다.
개별재생은 저장된 2가지 종류 이상의 파일(영상, 환경정보, 데이타베이스)을 이용하여 저장될 저장 당시의 화면을 재구성하는 방식으로 구현될 수 있고, 동시재생은 모든 정보가 합성된 동영상파일 1개만을 재생하도록 구현될 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 측면에 따르면, 이동 단말의 카메라를 통한 실사 뷰(Live View)와 그 실사 뷰에 매칭되는 3차원 가상 뷰(Virtual View) 간의 정합을 이용하여 지상은 물론 지하 시설물에 대한 각종 정보를 3차원적 증강현실 정보로 이동 단말의 사용자에게 제공할 수 있다. 따라서, 기존의 2차원적인 증강현실 정보와 비교하여 3차원적으로 증강현실 정보 특히, 지하 시설물의 위치, 형상 등에 대한 정보를 보다 정확하고 가시적으로 명확하게 제공할 수 있는 효과가 있다.
또한, 실시간 제공되는 최종 합성 뷰(실사 뷰 + 3차원 가상 뷰 + 증강현실 정보)의 합성 뷰(실사 뷰 + 3차원 가상 뷰)를 카메라의 위치, 각도, 방향 등을 포함하는 같은 각종 센서 정보 및 해당 증강현실 정보와 함께 저장하거나 또는 그 각종 센서 정보 및 해당 증강현실 정보와 연계하여 별도로 저장하고 사용자의 필요에 따라 재생할 수 있으므로, 시설물 관리나 유지보수 등의 분야에서 매우 유용하게 활용할 수 있는 효과를 창출한다.
즉, 본 발명에 따르면 실제카메라로부터 가져오던 영상정보를 저장된 영상파일로 대체함으로써 현실성(Reality)을 구현하며, 디바이스의 센서정보, 3차원가상뷰의 기준, 각종 표출데이타등을 기록한 합성정보가 실시간 증강부분(Augmented Part)을 대체함으로써 저장 당시의 상황을 그대로 재현할 수 있으므로, 사용자의 선택에 따라 어느 시점에서의 시설물의 관리나 유지보수 이력을 한눈으로 파악할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 증강현실 기반 정보 제공/저장/재생 시스템의 구성도,
도 2는 본 발명의 실시예에 따른 증강현실 기반 정보 제공/저장/재생을 위한 이동 단말의 블록 구성도,
도 3은 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법의 흐름도,
도 4는 도 3의 저장 단계의 일 예를 나타내는 세부 흐름도,
도 5는 도 3의 저장 단계의 다른 예를 나타내는 세부 흐름도,
도 6은 도 3의 재생 단계의 일 예를 나타내는 세부 흐름도,
도 7은 도 3의 재생 단계의 다른 예를 나타내는 세부 흐름도,
도 8은 본 발명의 실시예에 따른 이동 단말의 실제 카메라 모듈로부터 획득된 실사 뷰의 예시도,
도 9는 본 발명의 실시예에 따른 이동 단말의 가상 카메라 모듈로부터 생성된 3차원 가상 뷰의 예시도,
도 10은 도 8의 실사 뷰와 도 9의 3차원 가상 뷰가 결합된 예시도,
도 11-14는 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공 방법에 의한 다양한 예시 화면을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 증강현실 기반 정보 제공/저장/재생을 위한 이동 단말의 블록 구성도,
도 3은 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법의 흐름도,
도 4는 도 3의 저장 단계의 일 예를 나타내는 세부 흐름도,
도 5는 도 3의 저장 단계의 다른 예를 나타내는 세부 흐름도,
도 6은 도 3의 재생 단계의 일 예를 나타내는 세부 흐름도,
도 7은 도 3의 재생 단계의 다른 예를 나타내는 세부 흐름도,
도 8은 본 발명의 실시예에 따른 이동 단말의 실제 카메라 모듈로부터 획득된 실사 뷰의 예시도,
도 9는 본 발명의 실시예에 따른 이동 단말의 가상 카메라 모듈로부터 생성된 3차원 가상 뷰의 예시도,
도 10은 도 8의 실사 뷰와 도 9의 3차원 가상 뷰가 결합된 예시도,
도 11-14는 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공 방법에 의한 다양한 예시 화면을 나타낸 도면이다.
이하, 첨부도면을 참조하여 본 발명의 실시예에 대해 구체적으로 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하였다. 또한, 본 발명의 실시예에 대한 설명 시 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 증강현실 기반 정보 제공/저장/재생 시스템의 구성도로, 동 도면에 도시된 바와 같이, 통신망(100)과, 그 통신망(100)을 통하여 일방 또는 쌍방 통신할 수 있도록 서로 연결된 이동 단말(200), 증강현실 정보서버(300), GPS(Global Positioning System)(400), 및 GIS(Geographic Information System)(500)를 포함할 수 있다.
본 실시예에 따른 이동 단말(200)은 적어도 카메라, GPS 모듈 및 IMU센서모듈, 이동통신 모뎀 등을 구비하고 증강현실 기능을 수행할 수 있는 단말로서, 일 예로 스마트 폰(smart phone)이나 위 모듈을 연동한 태블릿 피시(tablet PC) 등으로 구성할 수 있다.
본 실시예에 따른 증강현실 정보서버(300)는 증강현실 정보를 저장 및 관리하는 데이터베이스를 구축하고서 이동 단말(200)과의 통신으로 해당 증강현실 정보를 이동 단말(200)에게 제공하기 위한 것이다.
본 실시예에 따른 GPS(400)는 이동 단말(200)과의 통신으로 해당 GPS 정보를 이동 단말(200)에게 제공하기 위한 것이다.
본 실시예에 따른 GIS(500)는 이동 단말(200)과의 통신으로 해당 GIS 정보를 이동 단말(200)에게 제공하기 위한 것이다.
도 2는 본 발명의 실시예에 따른 증강현실 기반 정보 제공/저장/재생을 위한 이동 단말의 블록 구성도로, 도 1의 이동 단말(200)의 세부 구성도이며, 동 도면에 도시된 바와 같이, GPS 모듈(210), GIS 모듈(220), 실제 카메라 모듈(230), 가상 카메라 모듈(240), 데이터베이스(250), 저장 모듈(200), 재생 모듈(280), 센서 모듈(280), 및 적어도 증강현실 앱(APP)을 포함하는 제어부(290)를 포함할 수 있다.
본 실시예에 따른 GPS 모듈(210)은 통신망(100)을 통한 GPS(400)와의 통신으로 해당 GPS 정보를 GPS(400)로부터 수신하기 위한 것이고, IMU(Inertial Measurement Unit)와 같은 각종 센서 모듈을 포함할 수 있다.
본 실시예에 따른 GIS 모듈(220)은 통신망(100)을 통한 GIS(500)와의 통신으로 해당 GIS 정보를 GIS(500)로부터 제공받기 위한 것이다.
본 실시예에 따른 실제 카메라 모듈(230)은 실제 카메라의 렌즈를 통해 들어오는 실사 뷰(Live View)를 획득하여 화면상에 표시하기 위한 것이다.
본 실시예에 따른 가상 카메라 모듈(240)은 실제 카메라 모듈(230)에 대응하여 실행되는 어플리케이션 모듈로서, 실사 뷰에 대응하는 3차원 가상 뷰(3D Virtual View)를 생성하는 것이다. 본 실시예에서 3차원 가상 뷰는 3차원 그래픽 라이브러리를 이용하여 생성할 수 있고, 일 예로 가상 카메라의 위치를 기준으로 x, y, z 축의 벡터 뷰 값을 갖는 3차원 격자 큐브로 형성할 수 있다. 또한 본 실시예에서 생성된 3차원 가상 뷰로서의 3차원 격자 큐브는, 일 예로 숨김(hidden)처리하여 화면상에 표시되지 않도록 할 수 있고, 다른 예로 숨김 처리하지 않고 화면상에 표시되도록 할 수 있다.
본 실시예에 따른 데이터베이스(250)는 실세계 좌표에 대응하는 증강현실 정보를 저장, 관리 및 제공하기 위한 데이터베이스로 선택적으로 구비될 수 있다. 본 실시예에서 증강현실 정보는 2D 또는 3D 도형, 숫자, 이미지, 텍스트 등의 형태로 구성할 수 있다.
본 실시예에 따른 저장 모듈(260)은 실시간 제공되는 최종 합성 뷰(실사 뷰 + 3차원 가상 뷰 + 증강현실 정보)에서 합성 뷰(실사 뷰 + 3차원 가상 뷰)를 카메라의 위치, 각도, 방향 등을 포함하는 같은 카메라 관련 정보 및 해당 증강현실 정보와 함께 저장하거나 또는 그 카메라 관련 정보 및 해당 증강현실 정보와 연계하여 별도로 저장하기 위한 것이다.
본 실시예에 따른 재생 모듈(270)은 저장 모듈(260)을 통해 저장된 내용을 읽어와 재생하기 위한 것이다.
본 실시예에 따른 센서 모듈(280)은 실제 카메라의 적어도 위치, 화면 각도, 초점 거리, 및 방향 등을 포함하는 카메라 관련 정보를 획득하기 위한 것이다.
본 실시예에 따른 증강현실 앱(APP)을 포함하는 제어부(290)는 해당 증강현식 앱의 구동으로 전술한 모든 구성(210~280)을 총괄 제어하여 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법을 구현하기 위한 것이다.
도 3은 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법의 흐름도로, 일 예로 도 2의 이동 단말(200)의 제어부(290)에 적용되므로 그 이동 단말(200)의 제어부(290)의 제어 동작과 병행하여 설명한다.
먼저, 실제 카메라 모듈(230)의 실제 카메라 구동을 실행하여 그 실제 카메라의 렌즈를 통해 들어오는 도 8과 같은 실사 뷰를 획득하여 화면상에 표시하고(S301), 그 카메라 모듈(230)의 실제 카메라에 대응하는 가상 카메라 모듈(240)의 가상 카메라를 실행하여 해당 실사 뷰에 대응하는 도 9와 같은 3차원 가상 뷰를 생성한다(S303). 도 8은 본 발명의 실시예에 따른 이동 단말의 실제 카메라 모듈(230)로부터 획득된 실사 뷰의 예시도이고, 도 9는 본 발명의 실시예에 따른 이동 단말의 가상 카메라 모듈(240)로부터 생성된 3차원 가상 뷰의 예시도이다.
단계 S303에서 3차원 가상 뷰는 3차원 그래픽 라이브러리를 이용하여 생성할 수 있고, 일 예로 도 9에 도시된 바와 같이 가상 카메라의 위치(501)를 기준(0,0,0)으로 x, y, z 축의 벡터 뷰 값을 갖는 3차원 격자 큐브로 형성할 수 있다. 또한, 단계 S303에서 생성된 도 9의 3차원 가상 뷰로서의 3차원 격자 큐브는, 일 예로 숨김(hidden)처리하여 화면상에 표시되지 않도록 할 수 있고, 다른 예로 숨김 처리하지 않고 화면상에 표시되도록 할 수 있다.
이어, 단계 S301에서 획득된 도 8의 실사 뷰와 단계 S303에서 생성된 도 9의 3차원 가상 뷰를 정합하여 합성하는데, 예를 들어, 실제 카메라 모듈(230)의 실제 카메라의 적어도 위치 및 방향성 정보 등을 포함하는 실사 뷰 관련 정보를 생성하고, 그 생성된 실사 뷰 관련 정보와 도 9의 3차원 가상 뷰의 x, y, z 축의 벡터 뷰 값을 서로 매칭하여, 도 8의 실사 뷰와 도 9의 3차원 가상 뷰를 정합하고 도 10과 같이 실사 뷰와 3차원 가상 뷰가 합성된 합성 뷰를 생성한다(S305). 도 10은 도 8의 실사 뷰와 도 9의 3차원 가상 뷰가 결합된 예시도이다.
한편, 단계 S305에서 실사 뷰 관련 정보는 해당 카메라와 피사체 간의 거리 및 해당 피사체의 높이 등의 정보를 포함할 수 있으며, 이와 같은 정보에 대한 생성은 카메라 영상 분야에서 잘 알려진 기술이므로 상세한 설명은 생략한다.
이어, 단계 S303에서 생성된 3차원 가상 뷰의 x, y, z 축의 벡터 뷰 값을 실세계 좌표값에 매칭한다(S307). 예를 들어,단계 S307은 이동 단말(200)의 현재 실제 위치를 GPS(400) 및 GIS(500)로부터 제공되는 GPS 정보 및 GIS 정보 중 적어도 하나에 따라 획득하고, 그 획득된 위치 정보의 좌표값을 도 9의 3차원 가상 뷰의 가상 카메라의 위치(501)에 대한 기준 좌표값(0,0,0)에 대입한 후, 그 대입비를 기준으로 상대적인 x, y, z 축의 벡터 뷰 값을 실세계 좌표값으로 환산할 수 있다.
이어, 단계 S307에서의 3차원 가상 뷰의 실세계 좌표값에 대응하는 증강현실 정보를 증강현실 정보서버(300)에 구축된 데이터베이스 또는 이동 단말(200)내의 데이터베이스(250)로부터 획득하여 단계 S305에서 합성된 합성 뷰(실사 뷰 + 가상 뷰) 상에 표시한다(S309). 단계 S309에서의 증강현실 정보는 2D 또는 3D 도형, 숫자, 이미지, 텍스트 등의 형태로 구성할 수 있다.
다음, 사용자의 선택에 따라 또는 자동으로 단계 S305에서 합성된 합성 뷰(실사 뷰 + 가상 뷰)를 저장 모듈(200)의 제어를 통하여 정지영상 또는 동영상으로 저장하되, 해당 합성 뷰에 대응하는 실제 카메라의 카메라 관련 정보와 증강현실 정보를, 해당 합성 뷰에 결합하여 저장하거나 또는 해당 합성 뷰와 연계하여 별도로 저장시간 정보와 함께 저장하도록 한다(S309, S311). 본 실시예에서 카메라 관련 정보는 GPS 모듈(210), GIS 모듈(220), 및 센서 모듈(280) 중 적어도 하나 이상을 통하여 획득된 실제 카메라의 적어도 위치, 화면 각도, 초점 거리, 및 방향을 포함할 수 있다.
또한, 사용자의 선택에 따라 재생 모듈(270)을 제어하여 단계 S311에서 저장된 합성 뷰와 증강현실 정보가 합성된 최종 합성 뷰를 예를 들어 카메라 관련 정보 및 해당 저장 시간 정보에 근거하여 재생하도록 한다(S313).
도 4는 도 3의 저장 단계(S311)의 일 예를 나타내는 세부 흐름도로서, 해당 합성 뷰의 영상과 그 영상과 관련하는 관련 정보를 개별 저장하는 저장 방법을 나타낸다.
먼저, 사용자의 선택에 따라 저장 명령이 실행되었는지의 여부를 판단하고, 저장 명령이 실행되었다면 해당 저장 명령이 이미지(또는 '정지영상'이라 칭함) 저장 명령인지 동영상 저장 명령인지의 여부를 판단한다(S410).
이어 단계 S410에서 이미지 저장 명령이 실행되었다고 판단되면, 도 3의 단계 S305에서 생성된 합성 뷰(또는 단계 S301에서 획득된 실사 뷰)의 영상으로부터 현재 표시 중인 해당 영상을 이미지로 캡처(capture)하여 정지영상의 형태로 저장하고(S421,S423), 이와 동시에 해당 이미지에 대응하는 카메라 관련 정보 및 해당 증강현실 정보를 해당 이미지와 저장 시간 정보 등을 통해 서로 연계하여 별도의 파일(file) 형태로 저장한다(S425).
본 실시예에서 카메라 관련 정보는 실제 카메라의 적어도 위치, 화면 각도, 초점 거리, 및 방향을 포함할 수 있고, 이와 같은 카메라 관련 정보는 GPS 모듈(210), GIS 모듈(220), 실제 카메라 모듈(230), 가상 카메라 모듈(240), 또는 센서 모듈(280) 등을 통하여 실시간 획득될 수 있다.
한편 단계 S410에서 이미지 저장 명령이 실행되었다고 판단되면, 도 3의 단계 S305에서 생성된 합성 뷰(또는 단계 S301에서 획득된 실사 뷰)의 영상을 실시간 녹화하여 저장 시간 정보와 함께 동영상으로 저장하고(S431,S433), 이와 동시에 해당 동영상에 대응하는 카메라 관련 정보 및 해당 증강현실 정보를 해당 동영상과 저장 시간 정보 등을 통해 서로 연계하여 별도의 파일(file) 형태로 저장한다(S435).
마지막으로, 사용자의 선택에 따라 단계 S423에서 저장된 이미지 및 단계 S425에서 저장된 카메라 관련 정보를 예를 들어 CD나 USB 메모리 등과 같은 저장 매체에 저장할 수 있다(S440).
도 5는 도 3의 저장 단계(S311)의 다른 예를 나타내는 세부 흐름도로서, 해당 합성 뷰의 영상과 그 영상과 관련하는 관련 정보를 결합하여 동시 저장하는 저장 방법을 나타낸다.
먼저, 사용자의 선택에 따라 저장 명령이 실행되었는지의 여부를 판단하고(S501), 저장 명령이 실행되었다면
도 3의 단계 S305에서 생성된 합성 뷰(또는 단계 S301에서 획득된 실사 뷰)의 영상으로부터 단위 영상 프레임을 순차 추출하고(S501), 추출된 단위 영상 프레임과 해당 카메라 관련 정보와 해당 증강현실 정보를 합성하여(S505) 새로운 단위 영상 프레임으로 생성하고(S507), 그 생성된 새로운 단위 영상 프레임을 저장한다(S509).
본 실시예에서 카메라 관련 정보는 실제 카메라의 적어도 위치, 화면 각도, 초점 거리, 및 방향을 포함할 수 있고, 이와 같은 카메라 관련 정보는 GPS 모듈(210), GIS 모듈(220), 실제 카메라 모듈(230), 가상 카메라 모듈(240), 또는 센서 모듈(280) 등을 통하여 실시간 획득될 수 있다.
다음, 사용자의 선택에 따라 정지 명령이 실행되었는지의 여부를 판단하고, 정지 명령이 실행되지 않았으면 전술한 단계 S503~S509의 과정을 반복적으로 수행하고, 정지 명령이 실행되었다고 판단되면 종료하도록 한다(S511).
본 실시예에서 1개 프레임만으로 생성된 새로운 프레임은 이미지로 저장되고, 모든 프레임을 순차적으로 반복하여 생성된 다수개의 새로운 프레임은 동영상으로 저장되는 것이다.
도 6은 도 3의 재생 단계(S313)의 일 예를 나타내는 세부 흐름도로, 도 4의 개별 저장 방식에 따라 저장된 영상 및 관련 정보를 재생하기 위한 방법을 나타낸다.
먼저, 사용자의 선택에 따라 특정 영상에 대한 재생 명령이 실행되면(S601), 도 4의 단계 S423을 통해 저장된 이미지 또는 도 4의 단계 S433을 통해 저장된 동영상 중 해당 이미지 또는 해당 동영상을 탐색하여 획득한다(S603).
이어, 단계 S603에서 획득된 해당 이미지 또는 해당 동영상과 연계된 카메라 관련 정보 및 증강현실 정보가 있는지의 여부를 판단하고(S605), 해당 관련 정보가 있다면 도 4의 단계 S425 또는 단계 S435를 통해 저장된 정보 중 해당 카메라 관련 정보 및 해당 증강현실 정보를 탐색하여 획득한다(S607).
이어, 단계 S603에서 획득된 해당 이미지 또는 해당 동영상에 단계 S605에서 획득된 해당 카메라 관련 정보 및 해당 증강현실 정보를 정합하여 최종 합성 뷰 영상을 생성하고(S609), 그 생성된 최종 합성 뷰 영상을 재생하여 표시하도록 한다(S611).
한편, 단계 S605의 판단 결과 해당 관련 정보가 없다면 단계 S603에서 획득된 해당 이미지 또는 해당 동영상만을 카메라 관련 정보 및 증강현실 정보 없이 단순 재생하여 표시하도록 한다(S613).
마지막으로, 사용자의 선택에 따라 정지 명령이 실행되었는지의 여부를 판단하고, 정지 명령이 실행되지 않았으면 전술한 단계 S603~S613의 과정을 반복적으로 수행하고, 정지 명령이 실행되었다고 판단되면 종료하도록 한다(S615).
도 7은 도 3의 재생 단계(S313)의 다른 예를 나타내는 세부 흐름도로, 도 5의 동시 저장 방식에 따라 저장된 최종 합성 뷰를 재생하기 위한 방법을 나타낸다.
먼저, 사용자의 선택에 따라 특정 영상에 대한 재생 명령이 실행되면(S701), 도 5의 단계 S509를 통해 이미지 또는 동영상 형태로 저장된 최종 합성 뷰 영상 중 해당하는 최종 합성 뷰 영상을 탐색하여 획득한다(S703).
이어, 단계 S703을 통해 획득된 최종 합성 뷰 영상을 재생하여 표시하고(S705), 마지막으로 사용자의 선택에 따라 정지 명령이 실행되었는지의 여부를 판단하고, 정지 명령이 실행되지 않았으면 전술한 단계 S703~S705의 과정을 반복적으로 수행하고, 정지 명령이 실행되었다고 판단되면 종료하도록 한다(S707).
도 11은 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법에 의한 예시 화면의 일 예를 나타낸 도면으로, 동 도면에 도시된 바와 같이, 피사체로서 아파트 건물과 도로 등을 포함하는 실사 뷰와, 그 실사 뷰내의 피사체로서의 아파트 건물 상에 텍스트로 표시된 '101동', '102동'의 증강현실 정보와, 그 실사 뷰내의 다른 피사체로서의 도로의 양측에 그래픽으로 표시된 하수관로, 상수관로, 상수맨홀, 하수맨홀 등의 그래픽 증강현실 정보와, 및 그 그래픽 증강현실 정보를 설명하는 텍스트 증강현실 정보 등을 이동 단말(200)의 화면에 표시할 수 있다. 도 11에서 3차원 가상 뷰는 숨김 처리된 것이다.
도 11에서 하수관로, 상수관로, 상수맨홀, 하수맨홀 등의 지하시설물에 대한 그래픽 증강현실 정보가 도로 상에 표시된 것을 일 예로 나타내었지만, 다른 예로 본 발명에 따르면 지하시설물은 3차원 가상 뷰의 x, y, z 축의 벡터 뷰 값이 마이너스 값을 가질 수 있으나 이 경우 해당 지하시설물에 대한 그래픽 증강현실 정보를 카메라에 보이지 않는 도로 밑의 해당위치에 입체적으로 나타내는 것이 불가능하므로 도로상에 표시되는 방식을 택하며 지하시설물의 심도 등의 경우에는 속성정보 제공을 통해 표시할 수 있다.
도 12는 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법에 의한 예시 화면의 다른 예를 나타낸 도면으로, 동 도면에 도시된 바와 같이, 도 11의 화면에 3차원 가상 뷰의 일부 격자가 더 표시될 수 있다.
도 13은 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법에 의한 예시 화면의 또 다른 예를 나타낸 도면으로, 3차원 건물 보기의 일 예를 도시한 것이다.
도 14는 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법에 의한 예시 화면의 또 다른 예를 나타낸 도면으로, 건물 정보 및 도로 명 등을 증강현실 정보로 표시한 일 예이다.
이상 전술한 바와 같이 본 발명의 실시예에 따른 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 기록 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 통신망
200: 이동 단말
210: GPS 모듈
220: GIS 모듈
230: 실제 카메라 모듈
240: 가상 카메라 모듈
250: 데이터베이스
260: 저장 모듈
270: 재생 모듈
280: 센서 모듈
290: 제어부(증강현실 앱)
300: 증강현실 정보서버
400: GPS
500: GIS
200: 이동 단말
210: GPS 모듈
220: GIS 모듈
230: 실제 카메라 모듈
240: 가상 카메라 모듈
250: 데이터베이스
260: 저장 모듈
270: 재생 모듈
280: 센서 모듈
290: 제어부(증강현실 앱)
300: 증강현실 정보서버
400: GPS
500: GIS
Claims (11)
- 실제 카메라와 3차원 가상 카메라를 포함하는 이동 단말에서 증강현실 기반 정보를 제공, 저장, 및 재생하는 방법으로,
(a) 상기 실제 카메라를 실행하여 그 실제 카메라를 통한 실사 뷰를 획득하는 단계;
(b) 상기 실제 카메라에 대응하는 상기 가상 카메라를 실행하여 상기 실사 뷰에 대응하는 3차원 가상 뷰를 생성하는 단계;
(c) 상기 실제 카메라의 위치 및 방향성정보 등을 포함하는 실사 뷰 관련 정보를 기준으로, 상기 실사 뷰에 x, y, z 축의 벡터 뷰 값을 갖는 3차원 격자 큐브로 이루어진 상기 3차원 가상 뷰를 정합하여 합성하는 단계;
(d) 상기 가상 카메라의 현재 위치를 기준으로 상기 3차원 가상 뷰의 상기 벡터 뷰 값을 실세계의 3차원 좌표값과 매칭하는 단계;
(e) 상기 실세계의 3차원 좌표값에 대응하는 증강현실 정보를 상기 실사 뷰와 상기 3차원 가상 뷰가 정합되어 생성된 합성 뷰 상의 해당 위치에 합성하는 단계;
(f) 상기 실사 뷰, 상기 3차원 가상 뷰, 및 상기 증강현실 정보가 합성된 최종 합성 뷰를 표시하는 단계;
(g) 상기 합성 뷰를 정지영상 또는 동영상으로 저장하는 단계; 및
(h) 상기 저장된 합성 뷰에 대응하는 상기 실제 카메라의 카메라 관련 정보와 증강현실 정보를, 상기 저장된 합성 뷰에 결합하여 저장하거나 또는 상기 저장된 합성 뷰와 연계하여 별도로 저장하는 단계를 포함하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
(i) 사용자의 선택에 따라, 상기 저장된 합성 뷰와 상기 저장된 증강현실 정보가 합성된 최종 합성 뷰를 재생하는 단계를 더 포함하는 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제2항에 있어서,
상기 단계 (i)는 상기 카메라 관련 정보 및 해당 저장 시간 정보에 근거하여 해당 최종 합성 뷰를 재생하는 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
상기 카메라 관련 정보는 상기 실제 카메라의 적어도 위치, 화면 각도, 초점 거리, 및 방향을 포함하는 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
상기 단계 (g)는 상기 합성 뷰를 이미지로 캡처하여 정지 영상으로 저장하는 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
상기 단계 (g)는 상기 합성 뷰를 실시간 녹화하여 동영상으로 저장하는 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
상기 단계 (g) 및 (h)는 상기 합성 뷰의 영상 프레임을 순차 추출하고, 그 추출된 영상 프레임에 해당하는 카메라 관련 정보와 증강현실 정보를 결합하여 생성된 새로운 영상 프레임을 저장하는 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
상기 가상 카메라의 현재 위치는 GPS 및 GIS 중 적어도 하나 이상으로부터 제공된 상기 이동 단말의 위치 정보인 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
상기 증강현실 정보는 원격의 데이터베이스 또는 상기 이동 단말에 내장된 데이터베이스로부터 제공된 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항에 있어서,
제1항에 있어서,
상기 3차원 가상 뷰로서의 상기 3차원 격자 큐브는 3차원 그래픽 라이브러리를 이용하여 생성하고, 숨김(hidden)처리된 것을 특징으로 하는 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법. - 제1항 내지 제10항 중 어느 한 항의 상기 이동 단말에서의 증강현실 기반 정보 제공/저장/재생 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110076412A KR101280170B1 (ko) | 2011-08-01 | 2011-08-01 | 이동 단말에서의 증강현실 기반 정보 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110076412A KR101280170B1 (ko) | 2011-08-01 | 2011-08-01 | 이동 단말에서의 증강현실 기반 정보 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130014760A true KR20130014760A (ko) | 2013-02-12 |
| KR101280170B1 KR101280170B1 (ko) | 2013-06-28 |
Family
ID=47894715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110076412A KR101280170B1 (ko) | 2011-08-01 | 2011-08-01 | 이동 단말에서의 증강현실 기반 정보 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101280170B1 (ko) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101467533B1 (ko) * | 2013-02-27 | 2014-12-01 | 호남대학교 산학협력단 | 이동통신 단말기의 이미지 데이터 관리장치 및 관리방법 |
| WO2014197387A1 (en) * | 2013-06-03 | 2014-12-11 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
| KR101518696B1 (ko) * | 2014-07-09 | 2015-05-08 | 정지연 | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 |
| WO2016006946A1 (ko) * | 2014-07-09 | 2016-01-14 | 정지연 | 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법 |
| US9354702B2 (en) | 2013-06-03 | 2016-05-31 | Daqri, Llc | Manipulation of virtual object in augmented reality via thought |
| KR20160093769A (ko) * | 2015-01-29 | 2016-08-09 | 전자부품연구원 | 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템 |
| KR101683733B1 (ko) * | 2016-07-13 | 2016-12-09 | (주)대동지앤에스 | 지하설비 관측을 기초로 한 지피에스(gps) 연계형 지도 제작용 지하정밀 측지시스템 |
| WO2018038485A1 (ko) * | 2016-08-22 | 2018-03-01 | 강두환 | 가상현실 어트랙션 제어 방법 및 시스템 |
| KR20190048635A (ko) * | 2017-10-31 | 2019-05-09 | 한국전력공사 | 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
| KR20200049646A (ko) * | 2018-10-29 | 2020-05-08 | 주식회사 매니아마인드 | 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 |
| KR20200142385A (ko) * | 2019-06-12 | 2020-12-22 | 주식회사 디지포레 | 위치기반 증강현실 컨텐츠 공유 방법 및 장치 |
| KR102474451B1 (ko) * | 2022-06-02 | 2022-12-06 | 주식회사 비브스튜디오스 | 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램 |
| KR102621487B1 (ko) * | 2022-09-27 | 2024-01-09 | 주식회사 브로즈 | Vr 이미지 등록 시스템 |
| CN117527992A (zh) * | 2023-11-06 | 2024-02-06 | 中影电影数字制作基地有限公司 | 一种空间模拟拍摄的摄影机校正方法及系统 |
| KR102654323B1 (ko) * | 2022-11-29 | 2024-04-04 | 주식회사 비브스튜디오스 | 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160059376A (ko) | 2014-11-18 | 2016-05-26 | 엘지전자 주식회사 | 전자 기기 및 그 제어방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101312576B1 (ko) * | 2009-12-18 | 2013-09-30 | 한국전자통신연구원 | 시설물 정보 제공 장치 및 방법 |
| KR100997084B1 (ko) * | 2010-06-22 | 2010-11-29 | (주)올포랜드 | 지하시설물의 실시간 정보제공 방법 및 시스템, 이를 위한 서버 및 그 정보제공방법, 기록매체 |
-
2011
- 2011-08-01 KR KR1020110076412A patent/KR101280170B1/ko not_active IP Right Cessation
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101467533B1 (ko) * | 2013-02-27 | 2014-12-01 | 호남대학교 산학협력단 | 이동통신 단말기의 이미지 데이터 관리장치 및 관리방법 |
| WO2014197387A1 (en) * | 2013-06-03 | 2014-12-11 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
| US9354702B2 (en) | 2013-06-03 | 2016-05-31 | Daqri, Llc | Manipulation of virtual object in augmented reality via thought |
| US9996983B2 (en) | 2013-06-03 | 2018-06-12 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
| US9996155B2 (en) | 2013-06-03 | 2018-06-12 | Daqri, Llc | Manipulation of virtual object in augmented reality via thought |
| US9959681B2 (en) | 2014-07-09 | 2018-05-01 | Ji-yeon Jeong | Augmented reality contents generation and play system and method using the same |
| KR101518696B1 (ko) * | 2014-07-09 | 2015-05-08 | 정지연 | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 |
| WO2016006946A1 (ko) * | 2014-07-09 | 2016-01-14 | 정지연 | 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법 |
| KR20160093769A (ko) * | 2015-01-29 | 2016-08-09 | 전자부품연구원 | 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템 |
| KR101683733B1 (ko) * | 2016-07-13 | 2016-12-09 | (주)대동지앤에스 | 지하설비 관측을 기초로 한 지피에스(gps) 연계형 지도 제작용 지하정밀 측지시스템 |
| WO2018038485A1 (ko) * | 2016-08-22 | 2018-03-01 | 강두환 | 가상현실 어트랙션 제어 방법 및 시스템 |
| US10617963B2 (en) | 2016-08-22 | 2020-04-14 | Too Hwan Kang | Method and system for controlling virtual reality attraction |
| KR20190048635A (ko) * | 2017-10-31 | 2019-05-09 | 한국전력공사 | 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
| KR20200049646A (ko) * | 2018-10-29 | 2020-05-08 | 주식회사 매니아마인드 | 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치 |
| KR20200142385A (ko) * | 2019-06-12 | 2020-12-22 | 주식회사 디지포레 | 위치기반 증강현실 컨텐츠 공유 방법 및 장치 |
| KR102474451B1 (ko) * | 2022-06-02 | 2022-12-06 | 주식회사 비브스튜디오스 | 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램 |
| WO2023234532A1 (ko) * | 2022-06-02 | 2023-12-07 | 주식회사 비브스튜디오스 | 버추얼 프로덕션의 데이터 기록 방법, 장치 및 시스템 |
| KR102621487B1 (ko) * | 2022-09-27 | 2024-01-09 | 주식회사 브로즈 | Vr 이미지 등록 시스템 |
| KR102654323B1 (ko) * | 2022-11-29 | 2024-04-04 | 주식회사 비브스튜디오스 | 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템 |
| WO2024117473A1 (ko) * | 2022-11-29 | 2024-06-06 | 주식회사 비브스튜디오스 | 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템 |
| CN117527992A (zh) * | 2023-11-06 | 2024-02-06 | 中影电影数字制作基地有限公司 | 一种空间模拟拍摄的摄影机校正方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101280170B1 (ko) | 2013-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101280170B1 (ko) | 이동 단말에서의 증강현실 기반 정보 처리 방법 | |
| US9619944B2 (en) | Coordinate geometry augmented reality process for internal elements concealed behind an external element | |
| KR101722177B1 (ko) | 하이브리드 방식으로 vr 컨텐츠를 디스플레이하는 방법 및 장치 | |
| CN110505464A (zh) | 一种数字孪生系统、方法及计算机设备 | |
| CN102509330B (zh) | 基于电力gis的变电站虚拟三维系统的应用方法 | |
| KR101697713B1 (ko) | 지능화된 파노라마 vr 컨텐츠를 생성하는 방법 및 장치 | |
| US20110148866A1 (en) | Three-dimensional urban modeling apparatus and method | |
| JP2007133489A5 (ko) | ||
| CN103971392A (zh) | 面向导航的三维视频数据处理方法、装置、系统及终端 | |
| KR102097416B1 (ko) | 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체 | |
| KR20140145217A (ko) | 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법 | |
| KR101280210B1 (ko) | 이동 단말에서의 증강현실 기반 정보 제공 방법 | |
| JPWO2014017200A1 (ja) | 情報処理装置及びプログラム | |
| Fukuda et al. | Improvement of registration accuracy of a handheld augmented reality system for urban landscape simulation | |
| CN106250521A (zh) | 基于三维全息投影的军事地图系统 | |
| CN108957507A (zh) | 基于增强现实技术的燃气管道泄漏处置方法 | |
| Ruffino et al. | Digital technologies for inclusive cultural heritage: The case study of serralunga d’alba castle | |
| JP2011138258A (ja) | 景観再現システム | |
| JP2015108992A (ja) | 付加情報表示システム | |
| CN104683758A (zh) | 一种便捷获得具体位置和周围环境的三维视频监控方法 | |
| JP2010231741A (ja) | 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法 | |
| Liu et al. | A 2d and 3d indoor mapping approach for virtual navigation services | |
| Yokoi et al. | Way-finding assistance system for underground facilities using augmented reality | |
| Ryu et al. | A study on the development and utilization of indoor spatial information visualization tool using the open BIM based IFC model | |
| CN108954016A (zh) | 基于增强现实技术的燃气管道泄漏处置系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |