KR101600456B1 - 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템 - Google Patents

공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템 Download PDF

Info

Publication number
KR101600456B1
KR101600456B1 KR1020150190860A KR20150190860A KR101600456B1 KR 101600456 B1 KR101600456 B1 KR 101600456B1 KR 1020150190860 A KR1020150190860 A KR 1020150190860A KR 20150190860 A KR20150190860 A KR 20150190860A KR 101600456 B1 KR101600456 B1 KR 101600456B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
mobile device
providing
viewpoint
Prior art date
Application number
KR1020150190860A
Other languages
English (en)
Other versions
KR20160007473A (ko
Inventor
이윤식
박민식
김민오
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020150190860A priority Critical patent/KR101600456B1/ko
Publication of KR20160007473A publication Critical patent/KR20160007473A/ko
Application granted granted Critical
Publication of KR101600456B1 publication Critical patent/KR101600456B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H04M1/72522—

Abstract

공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템이 개시된다. 증강 현실 제공 방법은 모바일 디바이스로부터 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 증강 현실(augmented reality)로 제공하는 단계; 상기 모바일 디바이스의 조작에 대응하여 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산하는 단계; 위치 정보를 포함하는 이미지가 저장된 데이터베이스로부터 상기 시점 이동 위치에 대응되는 이미지를 추출하는 단계; 및 상기 모바일 디바이스의 조작에 응답하여 상기 추출된 이미지를 제공하는 단계를 포함할 수 있다.

Description

공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템{METHOD, SYSTEM AND RECORDING MEDIUM FOR PROVIDING AUGMENTED REALITY SERVICE AND FILE DISTRIBUTION SYSTEM}
본 발명의 실시예들은 증강 현실 기능을 제공하기 위한 증강 현실 제공 방법 및 시스템에 관한 것이다.
증강 현실(Augmented Reality)이라 함은 가상 현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강 현실은 현실 세계에 가상의 영상을 중첩하여 표현함으로써 현실 세계를 보충하고 실제 환경과 가상의 객체가 혼합된 형태의 영상을 제공한다. 따라서, 현실 세계만으로는 획득하기 어려운 부가적인 정보들을 현실 세계에 보강하여 제공함으로써 더욱 풍부한 정보를 현실감 있게 제공할 수 있다. 이에 따라, 증강 현실 기술은 다양한 현실 환경에서 응용이 가능하며, 특히 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
위치 기반 서비스(LBS: Location-Based Services) 기술과 무선 인터넷 서비스 기술에 증강 현실을 융합하여 사용자가 관심이 있는 정보를 적시에 제공한다면 무선 통신 기기 등을 사용하는 사용자의 편의를 극대화시킬 수 있다.
한국공개특허공보 제10-2007-0019813호(공개일 2007년 02월 15일)에는 자동차 전방의 실사 영상 데이터를 수집하고 증강 현실을 이용하여 실사 지도 상에 경로 정보를 제공하는 기술이 개시되어 있다.
이와 같이, 일반적인 증강 현실 서비스는 카메라를 통해 보여지는 이미지 상에 도로 네트워크나 시설물 정보 등을 부가하여 표시해줄 수 있다. 그러나, 기존 증강 현실 서비스는 대부분 현재 카메라를 통해 보여지는 이미지를 기반으로 하기 때문에 다른 시설물에 의해 가려져 있는 공간 정보나 사용자의 현재 위치와 거리가 떨어져 있어 보이지 않는 공간 정보는 활용이 어려운 한계가 있다.
거리나 공간의 제약 없이 증강 현실 기능을 제공할 수 있는 증강 현실 제공 방법 및 시스템을 제공한다.
모바일 디바이스에서 수집된 센서 정보를 바탕으로 증강 현실의 시점을 이동하면서 최적의 이미지를 제공할 수 있는 증강 현실 제공 방법 및 시스템을 제공한다.
컴퓨터로 구현되는 증강 현실 제공 방법에 있어서, 모바일 디바이스로부터 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 증강 현실(augmented reality)로 제공하는 단계; 상기 모바일 디바이스의 조작에 대응하여 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산하는 단계; 위치 정보를 포함하는 이미지가 저장된 데이터베이스로부터 상기 시점 이동 위치에 대응되는 이미지를 추출하는 단계; 및 상기 모바일 디바이스의 조작에 응답하여 상기 추출된 이미지를 제공하는 단계를 포함하고, 상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 단계는, 상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고, 상기 추출된 이미지를 제공하는 단계는, 상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것을 특징으로 하는 증강 현실 제공 방법을 제공한다.
컴퓨터 시스템이 증강 현실 기능을 제공하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서, 상기 명령은, 모바일 디바이스로부터 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 단계; 상기 모바일 디바이스의 조작에 대응하여 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산하는 단계; 위치 정보를 포함하는 이미지가 저장된 데이터베이스로부터 상기 시점 이동 위치에 대응되는 이미지를 추출하는 단계; 및 상기 모바일 디바이스의 조작에 응답하여 상기 추출된 이미지를 제공하는 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고, 상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 단계는, 상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고, 상기 추출된 이미지를 제공하는 단계는, 상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것을 특징으로 하는, 컴퓨터 판독가능 저장 매체를 제공한다.
모바일 디바이스로부터 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 제공부; 상기 모바일 디바이스의 조작에 대응하여 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산하는 계산부; 및 위치 정보를 포함하는 이미지가 저장된 데이터베이스로부터 상기 시점 이동 위치에 대응되는 이미지를 추출하는 추출부를 포함하고, 상기 제공부는, 상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고, 상기 모바일 디바이스의 조작에 응답하여 상기 추출된 이미지를 제공하되, 상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것을 특징으로 하는 증강 현실 제공 시스템을 제공한다.
모바일 디바이스에 설치되는 어플리케이션의 파일을 배포하는 파일 배포 시스템에 있어서, 상기 모바일 디바이스의 요청에 따라 상기 파일을 전송하는 파일 전송부를 포함하고, 상기 어플리케이션은, 상기 모바일 디바이스에서 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 서버로부터 수신하여 증강 현실로 표출하도록 상기 모바일 디바이스를 제어하는 모듈; 상기 모바일 디바이스의 움직임이나 사용자 입력 신호에 따라 발생된 조작 명령 신호를 상기 서버로 전송하도록 상기 모바일 디바이스를 제어하는 모듈; 상기 조작 명령 신호에 대하여 상기 서버로부터 기 촬영된 이미지를 수신하도록 상기 모바일 디바이스를 제어하는 모듈; 및 상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈을 포함하고, 상기 서버에서는, 상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고, 상기 조작 명령 신호로부터 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산한 후, 위치 정보를 포함하는 이미지가 저장된 데이터베이스에서 상기 시점 이동 위치에 대응되는 이미지를 추출하고, 상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것을 특징으로 하는 파일 배포 시스템을 제공한다.
본 발명의 실시예에 따르면, 기 촬영된 이미지, 특히 위치 정보를 가진 이미지를 활용함으로써 카메라 영상을 기준으로 하는 증강 현실 환경에서 사용자 단말의 직관적인 조작으로 시점을 이동해가면서 해당 시점에 대응되는 가장 적합한 이미지를 제공할 수 있어 사용자의 현재 위치에서 거리나 공간의 제약 없이 자유롭게 증강 현실 기능을 이용할 수 있다.
본 발명의 실시예에 따르면, 기 촬영된 이미지를 활용하고 사용자 단말의 직관적인 조작을 통해 증강 현실 시점을 전환하기 위한 시점 이동 위치로서 평면 좌표의 이동 거리뿐 아니라 방위와 고도를 함께 반영함으로써 증강 현실 환경에서 특정 건물 외부의 이미지를 보여주는 거리뷰, 특정 위치 상공의 이미지를 보여주는 항공뷰, 특정 위치 지하 시설물의 이미지를 보여주는 지하뷰, 특정 건물 내부의 실내 이미지를 보여주는 실내뷰 등 보다 폭넓고 확장된 증강 현실 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 있어서, 사용자 단말과 증강 현실 제공 시스템 간의 개괄적인 모습을 도시한 것이다.
도 2는 본 발명의 일 실시예에 있어서, 사용자 단말의 조작 환경을 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일 실시예에 있어서, 증강 현실 제공 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 있어서, 증강 현실 제공 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 있어서, 증강 현실 기능 구현을 설명하기 위한 예시 도면이다.
도 6은 본 발명의 일 실시예에 있어서, 위치 값을 가진 이미지들의 위치 분포를 예시적으로 도시한 것이다.
도 7 내지 도 11은 본 발명의 일 실시예에 있어서, 증강 현실 환경에서 이동한 시점에 위치하는 기 촬영된 이미지를 제공하는 예시 화면들을 도시한 것이다.
도 12는 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예들은 위치 기반 서비스 기술과 무선 인터넷 서비스 기술과 융합된 증강 현실 서비스 기술에 관한 것으로, 증강 현실을 통해 사용자 주변의 공간 정보를 제공할 수 있는 증강 현실 제공 방법 및 시스템에 관한 것이다.
도 1은 본 발명의 일 실시예에 있어서, 사용자 단말과 증강 현실 제공 시스템 간의 개괄적인 모습을 도시한 것이다. 도 1에서는 증강 현실 제공 시스템(100) 및 사용자 단말(101)을 도시하고 있다. 도 1에서 화살표는 증강 현실 제공 시스템(100)과 사용자 단말(101) 간에 무선 네트워크를 통해 데이터가 송수신될 수 있음을 의미할 수 있다.
사용자 단말(101)은 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer), 가상 현실 헤드셋 등의 모바일 디바이스로, 증강 현실 제공 시스템(100)과 서비스 전용 어플리케이션(이하, '증강 현실 앱'이라 칭함)의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 이때, 사용자 단말(101)은 증강 현실 앱의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.
증강 현실 제공 시스템(100)은 클라이언트(client)인 사용자 단말(101)을 대상으로 증강 현실 서비스를 제공하는 서비스 플랫폼 역할을 한다. 특히, 증강 현실 제공 시스템(100)은 사용자 단말(101)에서 대상 위치를 가리키면 대상 위치에 대응되는 공간 정보를 제공하여 사용자 단말(101)의 화면을 통해 표시되도록 하는 플랫폼 서비스를 제공할 수 있다.
예를 들어, 사용자 단말(101)에서는 증강 현실 앱의 실행 시 카메라가 켜지고 카메라를 통해 획득한 영상(이하, '카메라 영상'이라 칭함)을 사용자 단말(101)의 위치 정보와 함께 증강 현실 제공 시스템(100)으로 전송할 수 있다. 이때, 증강 현실 제공 시스템(100)에서는 사용자 단말(101)의 위치 정보를 중심으로 관심 영역을 먼저 설정한 후 관심 영역과 카메라 영상 간의 매칭을 통하여 카메라 영상에 포함된 대상 객체(예컨대, 도로, 시설물 등)를 확인하고 대상 객체와 관련된 공간 정보를 사용자 단말(101)로 전송할 수 있다. 이에, 사용자 단말(101)은 카메라 영상에 포함된 대상 객체에 대하여 증강 현실 제공 시스템(100)으로부터 공간 정보가 수신되면 카메라 영상 상에 상기 수신된 공간 정보를 부가하여 표시해줄 수 있다.
이와 같이, 사용자 단말(101)의 카메라를 통해 획득한 현재 영상 중심으로 공간 정보를 표출하게 되는데, 다른 객체에 의해 가려져 있는 객체나 다소 거리가 떨어져 있는 객체의 경우 현재 영상에 공간 정보가 미처 표출되지 못하는 경우가 발생하게 된다.
이러한 문제를 해결하기 위해 본 실시예에서는 기 촬영된 이미지, 특히 위치 정보를 포함하는 이미지를 저장 및 유지하고 있는 데이터베이스 시스템을 활용하여 거리나 공간의 제약을 넘어서 자유롭게 증강 현실 기능을 구현할 수 있으며, 예를 들어, 사용자 단말(101)의 직관적인 조작으로 시점을 이동해가면서 해당 시점에 대응되는 위치 값을 가진 이미지를 제공할 수 있다.
먼저, 사용자 단말(101)의 조작 환경에 대하여 설명하기로 한다.
사용자 단말(101)은 증강 현실 앱을 통해 증강 현실 제공 시스템(100)과 연동하여 카메라 영상에 공간 정보를 부가한 증강 현실 화면을 표시할 수 있으며, 이때 각종 센서로부터 수집된 정보를 증강 현실 화면에 대한 조작 명령 신호로 무선 네트워크를 통해 증강 현실 제공 시스템(100)으로 전송할 수 있다.
일 예로, 사용자 단말(101)은 증강 현실 앱이 실행되는 중에 측위 센서(예컨대, GPS 모듈, WiFi 모듈 등)를 통한 실내외 위치 정보, 지자기 센서를 통한 방향 정보, 가속도 센서를 통한 이동 속도 및 이동 위치 정보, 동작 인식 센서를 통한 특정 동작 또는 터치 센서를 통한 특정 터치에 따른 기능 정보 등을 증강 현실 제공 시스템(100)으로 전송할 수 있다.
예를 들어, 도 2를 참조하면 사용자 단말(101)은 단말에 구비된 센서들을 통해 획득 가능한 수직 각도(201), 수평 각도(202), 초점 거리(zoom)(203) 등을 증강 현실 화면에 대한 조작 명령 신호로 발생 및 전달할 수 있다.
이에, 증강 현실 제공 시스템(100)은 사용자 단말(101)로부터 수신된 조작 명령 신호로부터 시점 이동 위치를 해석한 후 조작 명령 신호에 대한 응답으로 시점 이동 위치에 대응되는 이미지 데이터를 제공할 수 있다. 일 예로, 증강 현실 제공 시스템(100)은 사용자 단말(101)의 카메라를 통해 획득한 이미지, 즉 카메라 영상을 기준으로 공간 정보를 제공하다가 사용자 단말(101)의 직관적인 조작, 예컨대 줌인/줌아웃을 통해 이동하면 시점 이동 위치를 계산하여 시점 이동 위치에 가장 적합한 이미지를 제공할 수 있다.
증강 현실 제공 시스템(100)의 구체적인 동작에 대해서는 이하에서 설명하기로 한다.
도 3은 본 발명의 일 실시예에 있어서, 증강 현실 제공 시스템의 내부 구성을 설명하기 위한 블록도이고, 도 4는 본 발명의 일 실시예에 있어서, 증강 현실 제공 방법을 도시한 흐름도이다.
본 실시예에 따른 증강 현실 제공 시스템(300)은 프로세서(310), 버스(320), 네트워크 인터페이스(330), 메모리(340) 및 데이터베이스(350)를 포함할 수 있다. 메모리(340)는 운영체제(341) 및 증강 현실 루틴(342)를 포함할 수 있다. 프로세서(310)는 계산부(311)와 추출부(312) 및 제공부(313)를 포함할 수 있다. 다른 실시예들에서 증강 현실 제공 시스템(300)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.
메모리(340)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(340)에는 운영체제(341)와 증강 현실 루틴(342)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(340)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(330)를 통해 메모리(340)에 로딩될 수도 있다.
버스(320)는 증강 현실 제공 시스템(300)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(320)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(330)는 증강 현실 제공 시스템(300)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(330)는 증강 현실 제공 시스템(300)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스(350)는 기 촬영된 이미지를 저장 및 유지하고 있는 역할을 하는 것으로, 일 예로 위치 정보를 가진 일반 사진이나 360도 파노라마 사진을 포함할 수 있다. 이때, 위치 정보는 이미지와 연관된 위치 값으로 평면 좌표 값과 방위 값, 그리고 고도 레벨 또는 지저(地底) 레벨을 포함할 수 있다. 도 3에서는 증강 현실 제공 시스템(300)의 내부에 데이터베이스(350)를 구축하여 포함하는 것으로 도시하고 있으나, 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서(310)는 기본적인 산술, 로직 및 증강 현실 제공 시스템(300)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(340) 또는 네트워크 인터페이스(330)에 의해, 그리고 버스(320)를 통해 프로세서(310)로 제공될 수 있다. 프로세서(310)는 계산부(311)와 추출부(312) 및 제공부(313)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(340)와 같은 기록 장치에 저장될 수 있다.
계산부(311)와 추출부(312) 및 제공부(313)는 도 4의 단계들(S410 내지 S440)를 수행하기 위해 구성될 수 있다.
단계(S410)에서 제공부(313)는 사용자 단말로부터 획득한 카메라 영상을 기준으로 카메라 영상에 대응되는 공간 정보를 사용자 단말로 제공함으로써 카메라 영상에 대한 증강 현실을 제공할 수 있다. 일 예로, 제공부(313)는 사용자 단말의 현재 위치를 중심으로 관심 영역을 설정한 후 관심 영역과 카메라 영상 간의 매칭을 통하여 카메라 영상에 포함된 대상 객체(예컨대, 도로, 시설물 등)를 확인하고 대상 객체와 관련된 공간 정보를 제공할 수 있다. 예컨대, 도 5에 도시한 바와 같이 제공부(313)는 사용자 단말에서 획득한 실제 현실 공간에 대한 카메라 영상(510)에 시설물 정보(501)가 표출되는 증강 현실 서비스를 제공할 수 있다.
단계(S420)에서 계산부(311)는 사용자 단말의 조작 명령 신호로부터 증강 현실 시점을 전환하기 위한 시점 이동 속도와 시점 이동 위치를 계산할 수 있다. 일 예로, 계산부(311)는 사용자 단말에 구비된 센서들, 예컨대 측위 센서를 통한 실내외 위치 정보, 지자기 센서를 통한 방향 정보, 가속도 센서를 통한 이동 속도 및 이동 위치 정보, 동작 인식 센서를 통한 특정 동작 또는 터치 센서를 통한 특정 터치에 따른 기능 정보 등을 해석하여 시점 이동 위치를 계산할 수 있다. 이때, 시점 이동 위치는 이동 거리(평면 좌표)와 방위각, 그리고 고도 레벨 또는 지저 레벨을 포함할 수 있다. 예컨대, 도 2에 도시한 바와 같이 계산부(311)는 사용자 단말의 현재 위치를 기준으로 줌인(zoom-in) 또는 줌아웃(zoom-out) 값의 초점 거리(203)에 대응하는 이동 거리를 계산할 수 있고, 사용자 단말이 수평으로 회전한 수평 각도(202)에 대응하는 방위 각을 계산할 수 있으며, 사용자 단말이 수직으로 회전한 수직 각도(201)에 대응하는 고도 레벨 또는 지저 레벨을 계산할 수 있다. 한편, 이동 거리를 계산하는데 사용자 단말의 수직 각도를 이용하고 고도 레벨 또는 지저 레벨을 계산하는데 초점 거리를 이용할 수 있으며, 더 나아가 특정 모션 인식(예컨대, 단말을 손에 쥐고 손을 위로 올리거나 아래로 내리는 모션, 단말을 손에 쥔 상태에서 점프를 하거나 앉는 모션 등)으로부터 고도 레벨 또는 지저 레벨을 계산할 수 있다. 시점 이동 위치를 계산하기 위한 필요 인자들은 사용자 단말의 센서들을 통해 획득 가능한 정보를 활용하여 얼마든지 변경 가능하다.
단계(S430)에서 추출부(312)는 사전에 구축된 데이터베이스(350)에서 시점 이동 위치에 대응되는 이미지를 추출할 수 있다. 다시 말해, 추출부(312)는 데이터베이스(350)에 저장된 이미지 중 위치 정보가 단계(S420)에서 계산된 시점 이동 위치와 일정 범위 내에 매치되는 이미지 데이터를 추출할 수 있다.
단계(S440)에서 제공부(313)는 카메라 영상을 기준으로 증강 현실을 제공하다가 사용자 단말의 조작 명령 신호에 대한 응답으로 단계(S430)에서 추출된 이미지 데이터를 제공할 수 있다.
예컨대, 도 5를 참조하면 사용자가 건물 A 뒤에 있다는 건물 B를 찾고자 하는 경우 증강 현실이 적용된 카메라 영상(510)에서는 건물 B가 건물 A에 가려져 사용자가 건물 B에 대한 정보를 활용하지 못하는 문제가 발생하게 된다. 이때, 사용자가 건물 B에 대한 정보를 얻기 위해 증강 현실이 적용된 카메라 영상(510)에서 줌을 조절하거나 사용자 단말을 (수직 또는 수평으로) 회전하거나 사용자 단말을 소지한 상태에서 특정 모션을 취함으로써 증강 현실 시점의 전환을 요청할 수 있다.
도 6은 데이터베이스(350) 상의 이미지 중 위치 정보가 사용자 단말의 현재 위치를 중심으로 관심 영역 내에 있는 이미지들의 위치 분포를 예시적으로 도시한 것이다. 계산부(311)는 사용자 단말의 조작 명령 신호로부터 시점 이동 위치를 계산할 수 있고, 이때 계산된 시점 이동 위치가 BP 지점에 해당되는 경우 추출부(312)는 데이터베이스(350)로부터 BP 지점과 가장 인접한 위치 정보를 가진 이미지 데이터BI를 추출할 수 있다.
도 7에 도시한 바와 같이, BP 지점에 대응되는 위치 정보가 사용자가 찾고자 하는 건물 B에 해당되는 경우 제공부(313)는 건물 B에 대해 기 촬영된 파노라마 사진(710)을 사용자 단말의 화면 상에 표출되도록 제공할 수 있다.
사용자 단말에서는 사용자 조작에 대응하여 증강 현실 제공 시스템(300)의 제공부(313)에서 제공하는 이미지 데이터를 화면 상에 표시할 수 있다. 일 예로, 사용자 단말에서는 도 8에 도시한 바와 같이 증강 현실이 적용된 카메라 영상(810)에서 사용자 조작에 따라 특정 건물 외부의 파노라마 사진(820)으로 전환될 수 있다. 다른 예로, 사용자 단말에서는 도 9에 도시한 바와 같이 증강 현실이 적용된 카메라 영상(910)에서 사용자 조작에 따라 특정 위치 상공의 파노라마 사진(920)으로 전환될 수 있다. 또 다른 예로, 사용자 단말에서는 도 10에 도시한 바와 같이 증강 현실이 적용된 카메라 영상(1010)에서 사용자 조작에 따라 특정 위치 지하 시설물(예컨대, 지하 상가, 지하 승강장 등)의 파노라마 사진(1020)으로 전환될 수 있다. 또 다른 예로, 사용자 단말에서는 도 11에 도시한 바와 같이 증강 현실이 적용된 카메라 영상(1110)에서 사용자 조작에 따라 특정 건물 내부의 실내 파노라마 사진(1120)으로 전환될 수 있다.
이와 같이, 제공부(313)는 카메라 영상을 기준으로 하는 증강 현실 환경에서 사용자 단말의 조작에 의한 이동 거리와 방위각 및 고도 레벨 또는 지저 레벨에 대응하여 거리뷰(특정 건물 외부의 파노라마 사진), 항공뷰(특정 위치 상공의 파노라마 사진), 지하뷰(특정 위치 지하 시설물의 파노라마 사진), 실내뷰(특정 건물 내부의 실내 파노라마 사진) 중 어느 하나의 서비스로 자동 전환하여 제공할 수 있다. 예컨대, 제공부(313)는 카메라 영상에 대한 줌 조절 시에는 시점 위치를 이동해가면서 다른 위치에 있는 건물 외부의 파노라마 이미지를 제공할 수 있으며, 점프 시에는 상공 파노라마 이미지를, 앉기 시에는 지하 파노라마 이미지를 보여주는 것과 같이 동일 위치의 상하 이미지를 제공하는 것 또한 가능하다. 그리고, 제공부(313)는 특정 위치의 건물에 대해 기 촬영된 실내 이미지가 있는 경우 실외 이미지에서 실내 이미지로 투시해 들어가는 느낌의 증강 현실 기능도 제공할 수 있다.
이때, 제공부(313)는 증강 현실이 반영된 카메라 영상에서 기 촬영된 사진으로의 전환 시 시점 이동 방향에 대응하여 장면 전환 애니메이션이 실행되도록 설정할 수 있으며, 이때 장면 전환 애니메이션은 카메라 영상에서 시점이 점차적으로 시점 이동 위치에 대응되는 지점으로 다가가는 시점 이동 효과나 실외에서 실내로 투시해 들어가는 그래픽 효과 등을 포함할 수 있다. 이때, 장면 전환 속도는 사용자 단말의 조작 명령 신호로부터 계산된 시점 이동 속도에 대응될 수 있다.
따라서, 본 실시예에서는 사용자가 사용자 단말의 카메라나 글래스, 또는 육안으로 주변을 보다가 사용자 단말을 조작하는 경우 사용자 단말의 현재 위치를 기준으로 사용자 조작에 따른 방향 정보와 이동 속도와 이동 위치를 계산하여 가장 적합한 이미지 데이터를 보여줄 수 있다.
도 12는 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 컴퓨터 시스템(1200)은 적어도 하나의 프로세서(processor)(1210), 메모리(memory)(1220), 주변장치 인터페이스(peripheral interface)(1230), 입/출력 서브시스템(I/O subsystem)(1240), 전력 회로(1250) 및 통신 회로(1260)를 적어도 포함할 수 있다. 이때, 컴퓨터 시스템(1200)은 사용자 단말에 해당될 수 있다.
메모리(1220)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1220)는 컴퓨터 시스템(1200)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(1210)나 주변장치 인터페이스(1230) 등의 다른 컴포넌트에서 메모리(1220)에 액세스하는 것은 프로세서(1210)에 의해 제어될 수 있다.
주변장치 인터페이스(1230)는 컴퓨터 시스템(1200)의 입력 및/또는 출력 주변장치를 프로세서(1210) 및 메모리(1220)에 결합시킬 수 있다. 프로세서(1210)는 메모리(1220)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(1200)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(1240)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(1230)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(1240)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(1230)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(1240)을 거치지 않고 주변장치 인터페이스(1230)에 결합될 수도 있다.
전력 회로(1250)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(1250)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
*통신 회로(1260)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(1260)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.
이러한 도 12의 실시예는, 컴퓨터 시스템(1200)의 일례일 뿐이고, 컴퓨터 시스템(1200)은 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 12에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨터 시스템은 도 12에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1260)에 다양한 통신 방식(WiFi, 3G, LET, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨터 시스템(1200)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 실시예에서의 증강 현실 앱은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.
또한, 본 발명의 실시예에 따른 방법들은 사용자 단말을 대상으로 증강 현실 서비스를 제공하는 서버 시스템과 연관된 어플리케이션이 사용자 단말기를 제어하여 수행될 수 있다. 일 예로, 이러한 어플리케이션은 사용자 단말에서 획득한 영상을 기준으로 영상에 대응하는 공간 정보를 서버로부터 수신하여 증강 현실로 표출하도록 사용자 단말을 제어하는 모듈; 사용자 단말의 움직임이나 사용자 입력 신호에 따라 발생된 조작 명령 신호를 서버로 전송하도록 사용자 단말을 제어하는 모듈; 상기 조작 명령 신호에 대하여 서버로부터 기 촬영된 이미지를 수신하도록 사용자 단말을 제어하는 모듈; 및 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 사용자 단말을 제어하는 모듈을 포함할 수 있다. 또한, 이러한 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 사용자 단말기에 설치될 수 있다. 일 예로, 파일 배포 시스템은 사용자 단말기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 기 촬영된 이미지, 특히 위치 정보를 가진 이미지를 활용함으로써 카메라 영상을 기준으로 하는 증강 현실 환경에서 사용자 단말의 직관적인 조작으로 시점을 이동해가면서 해당 시점에 대응되는 가장 적합한 이미지를 제공할 수 있어 사용자의 현재 위치에서 거리나 공간의 제약 없이 자유롭게 증강 현실 기능을 이용할 수 있다. 그리고, 본 발명의 실시예에 따르면, 기 촬영된 이미지를 활용하고 사용자 단말의 직관적인 조작을 통해 증강 현실 시점을 전환하기 위한 시점 이동 위치로서 평면 좌표의 이동 거리뿐 아니라 방위와 고도를 함께 반영함으로써 증강 현실 환경에서 특정 건물 외부의 이미지를 보여주는 거리뷰, 특정 위치 상공의 이미지를 보여주는 항공뷰, 특정 위치 지하 시설물의 이미지를 보여주는 지하뷰, 특정 건물 내부의 실내 이미지를 보여주는 실내뷰 등 보다 폭넓고 확장된 증강 현실 서비스를 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
300: 증강 현실 제공 시스템
311: 계산부
312: 추출부
313: 제공부

Claims (20)

  1. 컴퓨터로 구현되는 증강 현실 제공 방법에 있어서,
    모바일 디바이스로부터 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 증강 현실(augmented reality)로 제공하는 단계;
    상기 모바일 디바이스의 조작에 대응하여 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산하는 단계;
    위치 정보를 포함하는 이미지가 저장된 데이터베이스로부터 상기 시점 이동 위치에 대응되는 이미지를 추출하는 단계; 및
    상기 모바일 디바이스의 조작에 응답하여 상기 추출된 이미지를 제공하는 단계
    를 포함하고,
    상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 단계는,
    상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고,
    상기 추출된 이미지를 제공하는 단계는,
    상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  2. 제1항에 있어서,
    상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 단계는,
    상기 영상에 포함된 대상 객체를 확인한 후 상기 대상 객체와 관련된 상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고,
    상기 시점 이동 위치에 대응되는 이미지를 추출하는 단계는,
    상기 데이터베이스에 저장된 이미지 중에서 상기 시점 이동 위치와 인접한 위치 정보를 포함하는 이미지를 추출하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  3. 제1항에 있어서,
    상기 시점 이동 위치를 계산하는 단계는,
    상기 모바일 디바이스의 움직임이나 사용자 입력 신호에 따라 발생된 조작 명령 신호로부터 평면 좌표의 이동 거리와 방위각 그리고 고도 레벨 또는 지저(地底) 레벨을 계산하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  4. 제1항에 있어서,
    상기 위치 정보를 포함하는 이미지는 기 촬영된 파노라마 이미지를 포함하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  5. 제1항에 있어서,
    상기 위치 정보를 포함하는 이미지는 기 촬영된 이미지로 평면 좌표의 위치 값과 방위 값 그리고 고도 레벨 또는 지저(地底) 레벨을 포함하는 위치 정보와 연관되어 상기 데이터베이스에 저장되는 것
    을 특징으로 하는 증강 현실 제공 방법.
  6. 제1항에 있어서,
    상기 추출된 이미지를 제공하는 단계는,
    상기 시점 이동 위치와 대응되는 위치의 특정 건물 외부의 파노라마 이미지를 제공하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  7. 제1항에 있어서,
    상기 추출된 이미지를 제공하는 단계는,
    상기 시점 이동 위치와 대응되는 위치의 특정 건물 내부의 파노라마 이미지를 제공하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  8. 제1항에 있어서,
    상기 추출된 이미지를 제공하는 단계는,
    상기 시점 이동 위치와 대응되는 위치의 특정 건물 상공의 파노라마 이미지를 제공하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  9. 제1항에 있어서,
    상기 추출된 이미지를 제공하는 단계는,
    상기 시점 이동 위치와 대응되는 위치의 특정 건물 지하의 파노라마 이미지를 제공하는 것
    을 특징으로 하는 증강 현실 제공 방법.
  10. 컴퓨터 시스템이 증강 현실 기능을 제공하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
    상기 명령은,
    모바일 디바이스로부터 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 단계;
    상기 모바일 디바이스의 조작에 대응하여 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산하는 단계;
    위치 정보를 포함하는 이미지가 저장된 데이터베이스로부터 상기 시점 이동 위치에 대응되는 이미지를 추출하는 단계; 및
    상기 모바일 디바이스의 조작에 응답하여 상기 추출된 이미지를 제공하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 단계는,
    상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고,
    상기 추출된 이미지를 제공하는 단계는,
    상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것
    을 특징으로 하는, 컴퓨터 판독가능 저장 매체.
  11. 모바일 디바이스로부터 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 증강 현실로 제공하는 제공부;
    상기 모바일 디바이스의 조작에 대응하여 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산하는 계산부; 및
    위치 정보를 포함하는 이미지가 저장된 데이터베이스로부터 상기 시점 이동 위치에 대응되는 이미지를 추출하는 추출부
    를 포함하고,
    상기 제공부는,
    상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고,
    상기 모바일 디바이스의 조작에 응답하여 상기 추출된 이미지를 제공하되,
    상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것
    을 특징으로 하는 증강 현실 제공 시스템.
  12. 모바일 디바이스에 설치되는 어플리케이션의 파일을 배포하는 파일 배포 시스템에 있어서,
    상기 모바일 디바이스의 요청에 따라 상기 파일을 전송하는 파일 전송부
    를 포함하고,
    상기 어플리케이션은,
    상기 모바일 디바이스에서 획득한 영상을 기준으로 상기 영상에 대응하는 공간 정보를 서버로부터 수신하여 증강 현실로 표출하도록 상기 모바일 디바이스를 제어하는 모듈;
    상기 모바일 디바이스의 움직임이나 사용자 입력 신호에 따라 발생된 조작 명령 신호를 상기 서버로 전송하도록 상기 모바일 디바이스를 제어하는 모듈;
    상기 조작 명령 신호에 대하여 상기 서버로부터 기 촬영된 이미지를 수신하도록 상기 모바일 디바이스를 제어하는 모듈; 및
    상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈
    을 포함하고,
    상기 서버에서는,
    상기 공간 정보를 상기 모바일 디바이스의 화면을 통해 상기 영상에 증강 현실로 표출되도록 제공하고,
    상기 조작 명령 신호로부터 상기 증강 현실에서 시점을 전환하기 위한 시점 이동 위치를 계산한 후,
    위치 정보를 포함하는 이미지가 저장된 데이터베이스에서 상기 시점 이동 위치에 대응되는 이미지를 추출하고,
    상기 모바일 디바이스의 화면 상에 표출되는 영상이 상기 공간 정보가 증강 현실로 적용된 영상에서 상기 시점 이동 위치에 대응되는 이미지로 전환되도록 상기 모바일 디바이스를 제어하는 것
    을 특징으로 하는 파일 배포 시스템.
  13. 제12항에 있어서,
    상기 조작 명령 신호는,
    상기 모바일 디바이스에 구비된 측위 센서를 통한 위치 정보, 지자기 센서를 통한 방향 정보, 가속도 센서를 통한 이동 속도 및 이동 위치 정보, 동작 인식 센서를 통한 특정 동작에 따른 기능 정보, 및 터치 센서를 통한 특정 터치에 따른 기능 정보 중 적어도 하나를 포함하는 것
    을 특징으로 하는 파일 배포 시스템.
  14. 제12항에 있어서,
    상기 조작 명령 신호는,
    상기 영상의 시점에 대하여 평면 좌표의 이동 거리를 조작하기 위한 명령 신호와, 방위각을 조작하기 위한 명령 신호와, 고도 레벨 또는 지저 레벨을 조작하기 위한 명령 신호를 포함하는 것
    을 특징으로 하는 파일 배포 시스템.
  15. 제12항에 있어서,
    상기 위치 정보를 포함하는 이미지는 기 촬영된 파노라마 이미지를 포함하고,
    상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈은,
    상기 증강 현실의 영상에서 상기 시점 이동 위치와 대응되는 위치의 특정 건물 외부의 파노라마 이미지로 전환하는 것
    을 특징으로 하는 파일 배포 시스템.
  16. 제12항에 있어서,
    상기 위치 정보를 포함하는 이미지는 기 촬영된 파노라마 이미지를 포함하고,
    상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈은,
    상기 증강 현실의 영상에서 상기 시점 이동 위치와 대응되는 위치의 특정 건물 내부의 파노라마 이미지로 전환하는 것
    을 특징으로 하는 파일 배포 시스템.
  17. 제12항에 있어서,
    상기 위치 정보를 포함하는 이미지는 기 촬영된 파노라마 이미지를 포함하고,
    상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈은,
    상기 증강 현실의 영상에서 상기 시점 이동 위치와 대응되는 위치의 특정 건물 상공의 파노라마 이미지로 전환하는 것
    을 특징으로 하는 파일 배포 시스템.
  18. 제12항에 있어서,
    상기 위치 정보를 포함하는 이미지는 기 촬영된 파노라마 이미지를 포함하고,
    상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈은,
    상기 증강 현실의 영상에서 상기 시점 이동 위치와 대응되는 위치의 특정 건물 지하의 파노라마 이미지로 전환하는 것
    을 특징으로 하는 파일 배포 시스템.
  19. 제12항에 있어서,
    상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈은,
    상기 수신된 이미지로의 전환 시 상기 증강 현실의 영상과 상기 수신된 이미지 간의 장면 전환 그래픽 효과를 실행하는 것
    을 특징으로 하는 파일 배포 시스템.
  20. 제19항에 있어서,
    상기 증강 현실의 영상을 상기 수신된 이미지로 전환하도록 상기 모바일 디바이스를 제어하는 모듈은,
    상기 조작 명령 신호에 포함된 이동 방향과 이동 속도로 상기 장면 전환 그래픽 효과를 실행하는 것
    을 특징으로 하는 파일 배포 시스템.
KR1020150190860A 2015-12-31 2015-12-31 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템 KR101600456B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150190860A KR101600456B1 (ko) 2015-12-31 2015-12-31 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150190860A KR101600456B1 (ko) 2015-12-31 2015-12-31 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140058918A Division KR101583286B1 (ko) 2014-05-16 2014-05-16 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템

Publications (2)

Publication Number Publication Date
KR20160007473A KR20160007473A (ko) 2016-01-20
KR101600456B1 true KR101600456B1 (ko) 2016-03-08

Family

ID=55308078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150190860A KR101600456B1 (ko) 2015-12-31 2015-12-31 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템

Country Status (1)

Country Link
KR (1) KR101600456B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875697B1 (ko) * 2017-05-22 2018-07-09 김석종 증강 및 가상현실 기반 건물 정보 제공 시스템 및 그 제공 방법
CN108022301B (zh) * 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
KR102117007B1 (ko) * 2018-06-29 2020-06-09 (주)기술공감 영상에서 객체를 인식하는 방법 및 장치
KR102543695B1 (ko) * 2019-01-18 2023-06-16 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
KR102255181B1 (ko) * 2019-12-06 2021-05-24 주식회사 두리번 다수의 카메라에 의한 증강 현실 영상 생성 방법 및 장치
KR102235407B1 (ko) * 2020-02-07 2021-04-02 한국기술교육대학교 산학협력단 증강현실 기반의 드론 라이트 쇼 구현
KR102295226B1 (ko) * 2020-03-12 2021-08-27 수니코리아 엘엘씨(한국뉴욕주립대학교) 증강현실을 이용한 다수의 오브젝트 중 특정 오브젝트를 특정하는 장치 및 방법
KR102282520B1 (ko) * 2020-08-28 2021-07-27 머지리티 주식회사 이미지 종속 컨텐츠 통합 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215946A (ja) 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び、画像生成装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100915084B1 (ko) * 2007-11-27 2009-09-02 에스케이 텔레콤주식회사 가상공간에서의 캐릭터 이동 전환 방법 및 시스템
KR20130053535A (ko) * 2011-11-14 2013-05-24 한국과학기술연구원 무선 통신 디바이스를 이용한 건물 내부의 증강현실 투어 플랫폼 서비스 제공 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215946A (ja) 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び、画像生成装置

Also Published As

Publication number Publication date
KR20160007473A (ko) 2016-01-20

Similar Documents

Publication Publication Date Title
KR101583286B1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
KR101600456B1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
JP7169405B2 (ja) 複合現実システムのための位置特定の決定
EP2572336B1 (en) Mobile device, server arrangement and method for augmented reality applications
KR101260576B1 (ko) Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
EP2915137B1 (en) Using a plurality of sensors for mapping and localization
EP2974509B1 (en) Personal information communicator
KR101013751B1 (ko) 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR20160003553A (ko) 지도 정보를 제공하기 위한 전자 장치
JP2010118019A (ja) 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
CN109561282B (zh) 一种用于呈现地面行动辅助信息的方法与设备
KR20150082358A (ko) 기준 좌표계 결정
CN112815923B (zh) 视觉定位方法和装置
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
KR20150075532A (ko) 증강 현실 제공 장치 및 방법
WO2014017200A1 (ja) 情報処理装置及びプログラム
KR20130053535A (ko) 무선 통신 디바이스를 이용한 건물 내부의 증강현실 투어 플랫폼 서비스 제공 방법 및 장치
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
Cogal et al. A new omni-directional multi-camera system for high resolution surveillance
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
KR102343069B1 (ko) 3차원 기반의 실내위치 추정 장치 및 시스템
KR101572800B1 (ko) 3차원 공간 모델에 대한 카메라 제어 시스템
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
CN115439635B (zh) 一种呈现目标对象的标记信息的方法与设备
KR102243138B1 (ko) 환경 정보 취득을 이용한 혼합 현실 기기 지원 장치 및 그 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5