KR101643024B1 - 시간에 기초한 증강 현실 제공 장치 및 방법 - Google Patents

시간에 기초한 증강 현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR101643024B1
KR101643024B1 KR1020120132068A KR20120132068A KR101643024B1 KR 101643024 B1 KR101643024 B1 KR 101643024B1 KR 1020120132068 A KR1020120132068 A KR 1020120132068A KR 20120132068 A KR20120132068 A KR 20120132068A KR 101643024 B1 KR101643024 B1 KR 101643024B1
Authority
KR
South Korea
Prior art keywords
terminal
information
images
image
augmented reality
Prior art date
Application number
KR1020120132068A
Other languages
English (en)
Other versions
KR20140065043A (ko
Inventor
민진석
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020120132068A priority Critical patent/KR101643024B1/ko
Publication of KR20140065043A publication Critical patent/KR20140065043A/ko
Application granted granted Critical
Publication of KR101643024B1 publication Critical patent/KR101643024B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

시간에 기초한 증강 현실 제공 장치 및 방법이 개시된다. 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 정보 획득부와, 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 검색된 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서를 포함한다.

Description

시간에 기초한 증강 현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY BASED ON TIME}
본 발명의 실시예들은 단말의 위치정보에 대응하는 복수의 이미지 중에서 단말로부터 수신한 시간정보와 연관하여 일부 이미지를 선택하고, 선택된 일부 이미지를 조합하여, 단말로 제공하는 기술에 관한 것이다.
이동 단말은 음성 통화 또는 메시지 통신 뿐만 아니라, 다양한 서비스를 제공할 수 있다. 예컨대, 이동 단말은 AR(Augmented Reality)에 기반하여, 현재 위치와 바라보는 방향 정보에 기초하여 카메라로 인식되는 사물(또는, 지형, 건물) 정보를 제공할 수 있다.
이때, 현재 시점을 기준으로 사물 정보를 제공 함에 따라, 정보의 제공이 제한적일 수 있다.
본 발명은 단말의 위치정보에 대응하는 복수의 이미지 중에서 단말로부터 수신한 시간정보와 연관하여 일부 이미지를 선택하고, 선택된 일부 이미지를 조합하여, 단말로 전송 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실로 제공하는 것을 목적으로 한다.
본 발명은 단말로부터 수신한 촬상 이미지 내 사물 이미지를 이용하여 단말의 위치정보를 조정 함으로써, 보다 정확한 위치에 연관된 이미지를 조합하여 단말로 제공하는 것을 목적으로 한다.
본 발명은 단말의 위치정보에 대응하는 복수의 이미지 중에서 이미지의 방향이 서로 상이한 일부 이미지를 선택하고, 선택된 일부 이미지를 입체적으로 조합하여 단말로 전송 함으로써, 입체 영상의 주변 정보를 증강 현실로 제공하는 것을 목적으로 한다.
상기의 목적을 이루기 위한 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 정보 획득부와, 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 검색된 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서를 포함할 수 있다.
또한, 상기 목적을 달성하기 위한 시간에 기초한 증강 현실 제공 방법은 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 단계와, 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하는 단계와, 상기 검색된 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 단말의 위치정보에 대응하는 복수의 이미지 중에서 단말로부터 수신한 시간정보와 연관하여 일부 이미지를 선택하고, 선택된 일부 이미지를 조합하여, 단말로 전송 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실로 제공할 수 있다.
본 발명의 실시예에 따르면, 단말로부터 수신한 촬상 이미지 내 사물 이미지를 이용하여 단말의 위치정보를 조정 함으로써, 보다 정확한 위치에 연관된 이미지를 조합하여 단말로 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 단말의 위치정보에 대응하는 복수의 이미지 중에서 이미지의 방향이 서로 상이한 일부 이미지를 선택하고, 선택된 일부 이미지를 입체적으로 조합하여 단말로 전송 함으로써, 입체 영상의 주변 정보를 증강 현실로 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 시스템의 구성 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 서비스 일례를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서 이용하는 복수의 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 이미지 조합 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 방법을 나타내는 메시지 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일실시예에 따른, 시간에 기초한 증강 현실 제공 장치 및 방법에 대해 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 시스템의 구성 일례를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 시스템(100)은 단말(101) 및 시간에 기초한 증강 현실 제공 장치(103)를 포함할 수 있다.
단말(101)은 예컨대, 스마트폰일 수 있으며, 사전에, 어플 서버(도시하지 않음)로부터 시간에 기초한 증강 현실 제공 서비스에 관한 어플리케이션을 수신하여 설치할 수 있다.
단말(101)은 상기 어플리케이션을 활성화하고, 증강현실 요청을 발생하여 시간에 기초한 증강 현실 제공 장치(103)로 전송할 수 있다. 이때, 단말(101)은 예컨대, GPS(Global Positioning System) 모듈을 통해 획득한 단말(101)의 위치정보 및 사용자로부터 입력된 시간정보를 상기 증강현실 요청에 포함시켜 발생할 수 있다. 또한, 단말(101)은 예컨대, 지자기 센서를 통해 획득한 시야방향 정보를 시간에 기초한 증강 현실 제공 장치(103)로 더 전송할 수 있다.
단말(101)은 증강현실 요청에 대한 응답으로서, 주변 정보에 관한 복수의 이미지가 조합된 입체 영상을 수신할 수 있으며, 수신된 입체 영상을 표시하여, 증강현실을 구현할 수 있다.
시간에 기초한 증강 현실 제공 장치(103)는 단말(101)로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 단말(101)의 위치정보 및 시간정보를 획득하고, 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색한 후, 상기 검색된 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 단말(101)로 제공할 수 있다. 여기서, m개의 이미지는 이미지의 방향이 서로 상이할 수 있다. 예컨대, 4개의 이미지는 '동, 서, 남, 북'의 이미지의 방향을 각각 갖을 수 있다.
시간에 기초한 증강 현실 제공 장치(103)는 단말(101)로부터 단말(101)의 시야방향 정보를 수신하고, 상기 시야방향 정보를 고려하여 상기 제2 이미지를 가공한 후, 상기 가공된 제2 이미지를 단말(101)로 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치(103)는 정보 획득부(201), 프로세서(203) 및 데이터베이스(205)를 포함할 수 있다.
정보 획득부(201)는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득할 수 있다. 여기서, 상기 단말의 위치정보는 상기 단말 내 GPS 모듈을 통해 획득한 정보일 수 있으며, 시간정보는 상기 단말에서 사용자로부터 입력받은 정보일 수 있다.
정보 획득부(201)는 상기 단말로부터 상기 단말의 시야방향 정보를 수신할 수 있다. 여기서, 시야방향 정보는 상기 단말 내 지자기 센서를 통해 획득한 정보일 수 있다.
정보 획득부(201)는 단말로부터 단말의 위치정보 또는 시야방향 정보를 주기적으로 수신할 수 있다.
또한, 정보 획득부(201)는 상기 단말로부터 촬상 이미지(예컨대, 증강현실을 요청한 위치와 시야방향에서의 단말에 의해 촬상된 이미지)를 더 수신하고, 상기 수신된 촬상 이미지로부터 오브젝트 정보 또는 초점 거리 정보 중 적어도 하나의 정보를 추출할 수 있다. 여기서, 정보 획득부(201)는 오브젝트 정보로서, 예컨대, 지형, 지물 등에 관한 윤곽선을 고려하여, 상기 초점 거리 정보를 추출할 수 있다.
프로세서(203)는 상기 위치정보에 대응하는 제1 이미지를 데이터베이스(205)에서 검색하고, 상기 검색된 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실로 제공할 수 있다.
이때, 프로세서(203)는 정보 획득부(201)에서 촬상 이미지로부터 추출한 오브젝트 정보 또는 초점 거리 정보를 분석한 결과에 따라, 단말의 위치정보를 조정하거나, 또는 상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정할 수 있다. 프로세서(203)는 조정된 위치정보에 대응하여 제1 이미지를 데이터베이스(205)에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공 함으로써, 보다 정확한 위치정보에 기초한 주변 정보를 제공할 수 있다.
이미지 조합을 위한 이미지 선택시, 프로세서(203)는 상기 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지(예컨대, '동, 서, 남, 북'의 이미지의 방향을 각각 갖는 4개의 이미지)를 선택할 수 있다. 또한, 프로세서(203)는 정보 획득부(201)를 통해, 촬상 이미지로부터 추출된 오브젝트 정보 또는 초점 거리 정보를 더 고려하여, 상기 제1 이미지 중에서 m개의 이미지를 선택할 수 있다. 예컨대, 프로세서(203)는 상기 제1 이미지 중에서 상기 추출된 오브젝트 정보와의 매핑률이 상대적으로 높은 이미지를 선택하거나, 또는 추출된 초점 거리 정보와 일치하는 초점 거리를 갖는 이미지를 선택할 수 있다.
프로세서(203)는 상기 선택된 m개의 이미지를 입체적으로 조합하여 입체 영상을 생성하고, 상기 생성된 입체 영상을 상기 단말로 전송 함으로써, 입체 영상의 주변 정보를 증강 현실로 제공할 수 있다. 이때, 프로세서(203)는 예컨대, 에지 추출 방식(edge detecting method)을 통해, 상기 선택된 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하고, 상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 입체 영상을 생성할 수 있다. 예컨대, 프로세서(203)는 이미지_#1의 양측 가장자리 영역 즉, 제1 좌측 영역 및 제1 우측 영역 및 이미지_#2의 양측 가장자리 영역 즉, 제2 좌측 영역 및 제2 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출할 수 있다. 이때, 프로세서(203)는 제1 우측 영역으로부터 추출된 윤곽선과 제2 좌측 영역으로부터 추출된 윤곽선의 매핑 결과, 매핑률이 기설정된 설정값 이상일 경우, 이미지_#1의 제1 우측 영역과 이미지_#2의 제2 좌측 영역을 오버랩(overlap)하여, 이미지_#1과 이미지_#2를 입체적으로 조합할 수 있다.
또한, 프로세서(203)는 정보 획득부(201)에서, 단말의 시야방향 정보가 수신되는 경우, 단말로의 제공 전, 상기 시야방향 정보를 고려하여, 상기 제2 이미지를 가공(예컨대, 시야방향으로, 조합된 이미지에 대한 시야각도 회전)하고, 상기 가공된 제2 이미지를 상기 단말로 제공할 수 있다.
한편, 프로세서(203)는 상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우, 상기 가공된 제2 이미지를 축소 또는 확대하여, 상기 단말로 제공할 수 있다. 여기서, 프로세서(203)는 정보 획득부(201)에 의해, 주기적으로 수신되는 단말의 위치정보 또는 시야방향 정보를 이용하여, 각 변화량을 통해 상기 시야방향 정보의 유지 또는 단말의 위치 변경을 감지할 수 있다.
데이터베이스(205)는 위치정보별 위치정보에 대응하는 제1 이미지를 저장할 수 있다. 여기서, 위치정보에 대응하는 제1 이미지는 상기 위치정보에 위치하는 단말에 의해, 다양한 방향으로 촬상된 이미지일 수 있다.
또한, 데이터베이스(205)는 상기 제1 이미지를 시간정보(예컨대, 년, 월, 일) 별로 구분하여 저장할 수 있다.
도 3은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 서비스 일례를 설명하기 위한 도면이다.
도 3을 참조하면, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득할 수 있다. 시간에 기초한 증강 현실 제공 장치는 상기 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 조합하여, 상기 단말로 제공할 수 있다.
예컨대, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보로서, '강남구 논현동 XX'를 획득하고, 상기 시간정보로서, '2012년 5월 10일'을 획득할 수 있다. 시간에 기초한 증강 현실 제공 장치는 '강남구 논현동 XX'에 대응하는 복수의 이미지를 데이터베이스에서 검색하고, 복수의 이미지 중에서 '2012년 5월 10일'을 고려하여 4개의 이미지를 선택한 후, 선택된 4개의 이미지를 조합하여 상기 단말로 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서 이용하는 복수의 이미지를 설명하기 위한 도면이다.
도 4를 참조하면, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득할 수 있다. 시간에 기초한 증강 현실 제공 장치는 상기 위치정보 및 시간정보에 기초하여, 데이터베이스에서 복수의 이미지를 검색하고, 검색된 복수의 이미지를 조합하여 상기 단말로 제공할 수 있다.
이때, 시간에 기초한 증강 현실 제공 장치는 이미지의 방향이 서로 상이한 상기 복수의 이미지를 조합하여 상기 단말로 제공할 수 있다. 예컨대, 시간에 기초한 증강 현실 제공 장치는 데이터베이스로부터 '동, 서, 남, 북'의 이미지의 방향을 각각 갖는 4개의 이미지(401, 403, 405, 407)를 검색하고, 4개의 이미지(401, 403, 405, 407)를 조합하여 상기 단말로 제공할 수 있다. 여기서, '동, 서, 남, 북'의 이미지의 방향을 각각 갖는 4개의 이미지(401, 403, 405, 407)는 상기 위치정보에 대응하여 위치하는 단말에 의해, 상기 시간정보에 대응하는 시각에, '동, 서, 남, 북' 방향으로 각각 촬상되어 상기 데이터베이스에 기저장된 이미지일 수 있다.
도 5는 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 장치에서의 이미지 조합 일례를 설명하기 위한 도면이다.
도 5를 참조하면, 시간에 기초한 증강 현실 제공 장치는 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하고, 위치정보 및 시간정보에 기초하여 데이터베이스에서 검색된 복수의 이미지를 조합하여 상기 단말로 제공할 수 있다.
이때, 시간에 기초한 증강 현실 제공 장치는 이미지_#1(501)의 양측 가장자리 영역(즉, 제1 좌측 영역 및 제1 우측 영역) 및 이미지_#2(503)의 양측 가장자리 영역(즉, 제2 좌측 영역 및 제2 우측 영역)으로부터 오브젝트에 관한 윤곽선을 추출할 수 있다. 이때, 시간에 기초한 증강 현실 제공 장치는 제1 우측 영역으로부터 추출된 윤곽선과 제2 좌측 영역으로부터 추출된 윤곽선의 매핑 결과, 매핑률이 기설정된 설정값 이상일 경우(즉, 동일한 지형 또는 지물의 윤곽이 겹치는 경우), 이미지_#1의 제1 우측 영역과 이미지_#2의 제2 좌측 영역을 오버랩(overlap)(505)하여, 이미지_#1과 이미지_#2를 입체적으로 조합할 수 있다. 여기서, 이미지_#1 및 이미지_#2 간의 조합에 대해 설명하였으나, 상기 이미지 간 조합 방법은 이미지_#2와 이미지_#3, 이미지_#3과 이미지_#4 및 이미지_#4와 이미지_#1 간의 조합에 대해서도 마찬가지로 적용될 수 있다.
도 6은 본 발명의 일실시예에 따른 시간에 기초한 증강 현실 제공 방법을 나타내는 메시지 흐름도이다.
도 6을 참조하면, 단계 601에서, 단말은 증강현실 요청을 발생하여, 시간에 기초한 증강 현실 제공 장치로 전송할 수 있다. 이때, 단말은 GPS(Global Positioning System) 모듈을 통해 획득한 단말의 위치정보 및 사용자로부터 입력된 시간정보를 상기 증강현실 요청에 포함시켜 발생할 수 있다. 또한, 단말은 예컨대, 지자기 센서를 통해 획득한 시야방향 정보 또는 카메라 모듈에 의해 획득한 촬상 이미지를 시간에 기초한 증강 현실 제공 장치로 더 전송할 수 있다.
단계 603에서, 시간에 기초한 증강 현실 제공 장치는 증강현실 요청으로부터 단말의 위치정보 및 시간정보를 획득할 수 있다.
단계 605에서, 시간에 기초한 증강 현실 제공 장치는 단말의 위치정보 및 시간정보를 이용하여, 데이터베이스에서 복수의 이미지를 선택할 수 있다. 구체적으로, 시간에 기초한 증강 현실 제공 장치는 단말의 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 m(m은 자연수)개의 이미지를 선택할 수 있다. 이때, 시간에 기초한 증강 현실 제공 장치는 상기 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지를 선택할 수 있다.
한편, 시간에 기초한 증강 현실 제공 장치는 제1 이미지를 검색하기 전에, 상기 단말의 위치정보를 조정할 수 있다. 구체적으로, 시간에 기초한 증강 현실 제공 장치는 단말로부터 촬상 이미지를 수신하고, 상기 수신된 촬상 이미지로부터 추출한 오브젝트 정보 또는 초점 거리 정보를 분석한 결과에 따라, 단말의 위치정보를 조정하거나, 또는 상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정할 수 있다. 이후, 시간에 기초한 증강 현실 제공 장치는 조정된 위치정보에 대응하는 제1 이미지를 데이터베이스에서 검색하고, 상기 제1 이미지 중에서 상기 시간정보와 연관하여 m(m은 자연수)개의 이미지를 선택할 수 있다.
단계 607에서, 시간에 기초한 증강 현실 제공 장치는 선택된 m개의 이미지를 제2 이미지로 조합하여 단말로 제공할 수 있다. 이때, 시간에 기초한 증강 현실 제공 장치는 상기 선택된 m개의 이미지를 입체적으로 조합하여 입체 영상을 생성하고, 상기 생성된 입체 영상을 상기 단말로 제공할 수 있다. 구체적으로, 시간에 기초한 증강 현실 제공 장치는 상기 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하고, 상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 입체 영상을 생성할 수 있다.
또한, 시간에 기초한 증강 현실 제공 장치는 단말로부터 시야방향 정보를 더 수신할 수 있으며, 수신된 시야방향 정보를 고려하여, 상기 제2 이미지를 가공하고, 상기 가공된 제2 이미지를 상기 단말로 제공할 수 있다.
시간에 기초한 증강 현실 제공 장치는 상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우, 상기 가공된 제2 이미지를 축소 또는 확대하여, 상기 단말로 제공할 수 있다.
단계 609에서, 단말은 시간에 기초한 증강 현실 제공 장치로부터 상기 제2 이미지를 수신하고, 수신된 제2 이미지를 표시 함으로써, 사용자가 원하는 시간에 해당하는 주변 정보를 증강 현실을 구현할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 시간에 기초한 증강 현실 제공 시스템
101: 단말 103: 시간에 기초한 증강 현실 제공 장치
201: 정보 획득부 203: 프로세서
205: 데이터베이스

Claims (16)

  1. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하고, 상기 단말로부터 수신된 촬상 이미지로부터 오브젝트 정보 또는 초점 거리 정보를 추출하는 정보 획득부; 및
    상기 오브젝트 정보 또는 상기 초점 거리 정보를 분석한 결과에 따라 상기 위치정보를 조정하고, 상기 조정된 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하며, 상기 검색된 복수의 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서
    를 포함하는 시간에 기초한 증강 현실 제공 장치.
  2. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하고, 상기 단말로부터 촬상 이미지를 수신하는 정보 획득부; 및
    상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정하고, 상기 조정된 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하며, 상기 검색된 복수의 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서
    를 포함하는 시간에 기초한 증강 현실 제공 장치.
  3. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하고, 상기 단말로부터 상기 단말의 시야방향 정보를 수신하는 정보 획득부; 및
    상기 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하고, 상기 검색된 복수의 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 단말로의 제공 전, 상기 시야방향 정보를 고려하여 상기 제2 이미지를 가공하는
    시간에 기초한 증강 현실 제공 장치.
  4. 제3항에 있어서,
    상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우,
    상기 프로세서는,
    상기 가공된 제2 이미지를 축소 또는 확대하여, 상기 단말로 제공하는
    시간에 기초한 증강 현실 제공 장치.
  5. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 정보 획득부; 및
    상기 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하고, 상기 검색된 복수의 제1 이미지 중에서, 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 선택된 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하고, 상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 제2 이미지로서, 입체 영상을 생성하는
    시간에 기초한 증강 현실 제공 장치.
  6. 제1항, 제2항, 제3항, 제5항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 복수의 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지를 선택하는
    시간에 기초한 증강 현실 제공 장치.
  7. 삭제
  8. 삭제
  9. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 단계;
    상기 단말로부터 촬상 이미지를 수신하여, 상기 수신된 촬상 이미지로부터 오브젝트 정보 또는 초점 거리 정보를 추출하는 단계;
    상기 오브젝트 정보 또는 상기 초점 거리 정보를 분석한 결과에 따라 상기 위치정보를 조정하는 단계;
    상기 조정된 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하는 단계; 및
    상기 검색된 복수의 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 단계
    를 포함하는 시간에 기초한 증강 현실 제공 방법.
  10. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 단계;
    상기 단말로부터 촬상 이미지를 수신하는 단계;
    상기 촬상 이미지 내 사물 이미지를 이용하여 상기 위치정보를 조정하는 단계;
    상기 조정된 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하는 단계; 및
    상기 검색된 복수의 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 단계
    를 포함하는 시간에 기초한 증강 현실 제공 방법.
  11. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 단계;
    상기 단말로부터 상기 단말의 시야방향 정보를 수신하는 단계;
    상기 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하는 단계; 및
    상기 검색된 복수의 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 단계
    를 포함하고,
    상기 제2 이미지로 조합하여, 상기 단말로 제공하는 단계는,
    상기 시야방향 정보를 고려하여 상기 제2 이미지를 가공하고, 상기 가공된 제2 이미지를 상기 단말로 제공하는 단계
    를 포함하는 시간에 기초한 증강 현실 제공 방법.
  12. 제11항에 있어서,
    상기 가공된 제2 이미지를 상기 단말로 제공하는 단계는,
    상기 시야방향 정보를 유지한 상태에서, 상기 단말의 위치 변경을 감지하는 경우,
    상기 가공된 제2 이미지를 축소 또는 확대하는 단계
    를 포함하는 시간에 기초한 증강 현실 제공 방법.
  13. 단말로부터의 증강현실 요청에 연동하여, 상기 증강현실 요청으로부터 상기 단말의 위치정보 및 시간정보를 획득하는 단계;
    상기 위치정보에 대응하는 복수의 제1 이미지를 데이터베이스에서 검색하는 단계; 및
    상기 검색된 복수의 제1 이미지 중에서 상기 시간정보와 연관하여 선택된 m(m은 자연수)개의 이미지를 제2 이미지로 조합하여, 상기 단말로 제공하는 단계
    를 포함하고,
    상기 제2 이미지로 조합하여, 상기 단말로 제공하는 단계는
    상기 선택된 m개의 이미지 각각의 좌측 영역 및 우측 영역으로부터 오브젝트에 관한 윤곽선을 추출하는 단계; 및
    상기 추출된 윤곽선 간의 매핑을 통해, 상기 m개의 이미지를 입체적으로 조합하여 상기 제2 이미지로서, 입체 영상을 생성하는 단계
    를 포함하는 시간에 기초한 증강 현실 제공 방법.
  14. 제9항, 제10항, 제11항, 제13항 중 어느 한 항에 있어서,
    상기 시간에 기초한 증강 현실 제공 방법은,
    상기 복수의 제1 이미지 중에서 이미지의 방향이 서로 상이한, 상기 m개의 이미지를 선택하는 단계
    를 더 포함하는 시간에 기초한 증강 현실 제공 방법.
  15. 삭제
  16. 삭제
KR1020120132068A 2012-11-21 2012-11-21 시간에 기초한 증강 현실 제공 장치 및 방법 KR101643024B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120132068A KR101643024B1 (ko) 2012-11-21 2012-11-21 시간에 기초한 증강 현실 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120132068A KR101643024B1 (ko) 2012-11-21 2012-11-21 시간에 기초한 증강 현실 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140065043A KR20140065043A (ko) 2014-05-29
KR101643024B1 true KR101643024B1 (ko) 2016-07-26

Family

ID=50892044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120132068A KR101643024B1 (ko) 2012-11-21 2012-11-21 시간에 기초한 증강 현실 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101643024B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509668A (ja) 2006-11-14 2010-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタル画像により取得されたオブジェクトを識別する方法及び装置
JP2010129032A (ja) 2008-12-01 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 画像検索装置および画像検索プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060015460A (ko) * 2005-07-25 2006-02-17 미코이 코포레이션 입체 파노라마 화상 캡처 디바이스
KR101132512B1 (ko) * 2010-06-28 2012-04-02 삼성에스디에스 주식회사 사용자 참여향 3차원 모바일 증강현실 생성 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509668A (ja) 2006-11-14 2010-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタル画像により取得されたオブジェクトを識別する方法及び装置
JP2010129032A (ja) 2008-12-01 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 画像検索装置および画像検索プログラム

Also Published As

Publication number Publication date
KR20140065043A (ko) 2014-05-29

Similar Documents

Publication Publication Date Title
US8963999B1 (en) Augmented reality with earth data
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP5582548B2 (ja) 実環境視像における仮想情報の表示方法
US9342927B2 (en) Augmented reality system for position identification
KR101509415B1 (ko) 전자 지도에 기초한 위치 탐색 방법 및 장치
KR100985737B1 (ko) 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
WO2016017254A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US9361731B2 (en) Method and apparatus for displaying video on 3D map
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
KR20150075532A (ko) 증강 현실 제공 장치 및 방법
US9851870B2 (en) Multi-dimensional video navigation system and method using interactive map paths
US9418284B1 (en) Method, system and computer program for locating mobile devices based on imaging
KR100975128B1 (ko) 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20130137076A (ko) 실시간 관심 지역을 나타내는 3차원 지도를 제공하는 장치 및 방법
KR20180133052A (ko) 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법
CN112165629A (zh) 智能直播方法、可穿戴设备及智能直播系统
KR101643024B1 (ko) 시간에 기초한 증강 현실 제공 장치 및 방법
US20160188141A1 (en) Electronic device and method for displaying target object thereof
JP5709261B2 (ja) 情報端末、情報提供システム及び情報提供方法
KR101135525B1 (ko) 파노라마 이미지의 갱신 방법 및 이를 이용한 지역 검색 서비스 방법
KR102010252B1 (ko) 증강 현실 서비스 제공 장치 및 방법
US10157189B1 (en) Method and computer program for providing location data to mobile devices
CA3063007A1 (en) Human-aided geo-rectification of geospatial metadata in video using a graphical interface
US9911190B1 (en) Method and computer program for generating a database for use in locating mobile devices based on imaging
JP5915558B2 (ja) 画像選択装置、画像選択方法、画像配信システム及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190611

Year of fee payment: 6