KR20180117379A

KR20180117379A - 증강현실 앨범 제공 장치, 증강현실 앨범 제공 서버 및 증강현실 앨범 제공 방법

Info

Publication number: KR20180117379A
Application number: KR1020170050407A
Authority: KR
Inventors: 조동식; 김대환; 김용완; 전우진; 김기홍
Original assignee: 한국전자통신연구원
Priority date: 2017-04-19
Filing date: 2017-04-19
Publication date: 2018-10-29

Abstract

본 발명의 일 실시예는, 주변 환경을 촬영한 주변 환경 이미지와 센서 정보를 증강현실 앨범 제공 서버에 전송하는 단계; 상기 증강현실 앨범 제공 서버로부터, 상기 증강현실 앨범 제공 서버의 데이터베이스에 저장된 데이터 중에서 선정된 상기 주변 환경에 상응하는 앨범 이미지들과 메시지들 중 적어도 하나 이상을 수신하는 단계; 상기 앨범 이미지들과 상기 메시지들을 출력할 위치를 결정하는 단계; 및 상기 앨범 이미지들과 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력하는 단계를 포함하는, 증강현실 앨범 제공 방법을 제공한다.

Description

증강현실 앨범 제공 장치, 증강현실 앨범 제공 서버 및 증강현실 앨범 제공 방법 {DEVICE FOR PROVIDING AUGMENTED REALITY ALBUM, SERVER FOR THE SAME AND METHOD FOR THE SAME}

본 발명은 촬영한 위치와 환경 정보에 기반한 증강현실 앨범 시스템에 관한 것이다.

최근 증강현실 기술을 이용하여 실제 세계의 영상 이미지와 가상의 물체를 합성하여 실제 현실 상의 다양한 상황에 대한 정보를 실시간으로 자연스럽게 경험하게 하는 기술이 보편적으로 일반 사용자에게도 파급화되고 있다. 이 기술은 카메라로부터 입력되는 영상에서 마커 (혹은 마커리스)를 인식하여 그 위치에 가상의 물체를 합성하여 표현되도록 한다. 이러한 증강 현실 시스템의 초기 서비스 모델은 위치를 기반으로 특정 지역의 정보 (상점, tag 정보 등)가 합성되어 표현하도록 하였다.

한편, 사람들이 사진을 보는 방식은 현재 아날로그 앨범 혹은 디지털 앨범 등으로 구성하여 보고 있지만 그 장소에 다시 방문하였을 경우 즉각적으로 그 해당 장소에 매칭되어 볼 수 있도록 하는 서비스 시스템은 아직 없다고 할 수 있겠다. 이에 증강현실 기술을 이용하여 위치와 환경 정보를 기반으로 사진 앨범을 볼 수 있는 미래형 사진 앨범 체험 시스템이 필요할 것으로 판단되어 착안하게 되었다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

국내 공개특허공보 제10-2015-0093931호

본 발명의 목적은 추후 사용자가 이미지들을 촬영한 장소를 방문하였을 때 사용자가 촬영한 이미지들을 증강현실 앨범 형식으로 보여주는 증강현실 앨범 제공 장치, 증강현실 앨범 제공 서버 및 증강현실 앨범 제공 방법을 제공하는 것이다.

또한, 본 발명의 목적은 이미지들이 촬영된 장소와 그 장소에서 촬영된 이미지들이 정합되도록 보여주는 증강현실 앨범 제공 장치, 증강현실 앨범 제공 서버 및 증강현실 앨범 제공 방법을 제공하는 것이다.

이때, 상기 센서 정보는 GPS, 나침반 및 자이로스코프 중 적어도 하나 이상에 상응하는 정보를 포함할 수 있다.

이때, 상기 앨범 이미지들과 상기 메시지들은 상기 주변 환경 이미지에서 추출된 특징점 정보 및 상기 센서 정보를 이용하여 선정될 수 있다.

이때, 상기 증강현실 앨범 제공 방법은 상기 앨범 이미지들에서 하나 이상의 객체들을 추출하는 단계를 더 포함하고, 상기 위치를 결정하는 단계는 상기 객체들 각각의 출력 위치를 결정하고, 상기 출력하는 단계는 상기 객체들, 상기 앨범 이미지들 및 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력할 수 있다.

이때, 상기 위치를 결정하는 단계는 상기 주변 환경 이미지 또는 상기 센서 정보에 포함된 깊이 정보를 이용하여 출력 위치를 결정할 수 있다.

이때, 상기 위치를 결정하는 단계는 상기 주변 환경에 상응하는 절대적 위치를 기준으로 하여 상기 주변 환경 이미지에 상응하는 시점을 트래킹하여 출력 위치를 결정할 수 있다.

본 발명의 다른 일 실시예는, 증강현실 앨범 제공 장치로부터 주변 환경을 촬영한 주변 환경 이미지와 센서 정보를 수신하는 단계; 데이터베이스에 저장된 데이터 중에서 상기 주변 환경에 상응하는 앨범 이미지들과 메시지들을 선정하는 단계; 및 상기 앨범 이미지들과 상기 메시지들 중 적어도 하나 이상을, 상기 증강현실 앨범 제공 장치에서 출력 위치를 결정하고 출력하도록, 상기 증강현실 앨범 제공 장치로 전송하는 단계를 포함하는, 증강현실 앨범 제공 방법을 제공한다.

이때, 상기 증강현실 앨범 제공 방법은 상기 주변 환경 이미지에 상응하는 특징점 정보를 추출하는 단계를 더 포함하고, 상기 선정하는 단계는 상기 주변 환경 이미지에 상응하는 상기 특징점 정보 및 상기 센서 정보를 이용하여 선정할 수 있다.

이때, 상기 증강현실 앨범 제공 장치로 전송하는 단계는 상기 앨범 이미지들에서 하나 이상의 객체들을 추출하고 상기 객체들의 출력 위치를 결정하여 상기 앨범 이미지들, 상기 객체들 및 상기 메시지들을 각각에 상응하는 위치에 출력하도록, 상기 앨범 이미지들 및 상기 메시지들 중 적어도 하나 이상을 상기 증강현실 앨범 제공 장치로 전송할 수 있다.

이때, 상기 출력 위치는 상기 주변 환경 이미지 또는 상기 센서 정보에 포함된 깊이 정보를 이용하여 결정될 수 있다.

이때, 상기 출력 위치는 상기 주변 환경에 상응하는 절대적 위치를 기준으로 하여 상기 주변 환경 이미지에 상응하는 시점을 트래킹하여 결정될 수 있다.

본 발명의 다른 일 실시예는, 주변 환경을 촬영한 주변 환경 이미지와 센서 정보를 증강현실 앨범 제공 서버에 전송하고, 상기 증강현실 앨범 제공 서버의 데이터베이스에 저장된 데이터 중에서 선정된 상기 주변 환경에 상응하는 앨범 이미지들과 메시지들 중 적어도 하나 이상을 상기 증강현실 앨범 제공 서버로부터 수신하는 통신부; 상기 앨범 이미지들과 상기 메시지들을 출력할 위치를 결정하는 위치 결정부; 및 상기 앨범 이미지들과 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력하는 증강현실 출력부를 포함하는, 증강현실 앨범 제공 장치를 제공한다.

이때, 상기 증강현실 앨범 제공 장치는 상기 앨범 이미지들에서 하나 이상의 객체들을 추출하는 객체 추출부를 더 포함하고, 상기 위치 결정부는 상기 객체들 각각의 출력 위치를 결정하고, 상기 증강현실 출력부는 상기 객체들, 상기 앨범 이미지들 및 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력할 수 있다.

이때, 상기 위치 결정부는 상기 주변 환경 이미지 또는 상기 센서 정보에 포함된 깊이 정보를 이용하여 출력 위치를 결정할 수 있다.

이때, 상기 위치 결정부는 상기 주변 환경에 상응하는 절대적 위치를 기준으로 하여 상기 주변 환경 이미지에 상응하는 시점을 트래킹하여 출력 위치를 결정할 수 있다.

본 발명에 따르면, 증강현실 앨범 제공 장치, 증강현실 앨범 제공 서버 및 증강현실 앨범 제공 방법에 의해, 추후 사용자가 이미지들을 촬영한 장소를 방문하였을 때, 사용자가 촬영한 이미지들을 증강현실 앨범 형식으로 보여줌으로써, 추억을 상기시키고 재미 요소를 부각시킬 수 있고, 다양한 엔터테인먼트 및 역사 교육에 적용할 수 있다.

또한, 증강현실 앨범 제공 장치, 증강현실 앨범 제공 서버 및 증강현실 앨범 제공 방법에 의해, 이미지들이 촬영된 장소와 그 장소에서 촬영된 이미지들이 정합되도록 보여줌으로써, 과거로 돌아간 것과 같은 효과를 줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 증강현실 앨범 제공 시스템(1)의 구성을 나타낸 블록도이다.
도 2는 도 1에 도시된 증강현실 앨범 제공 장치(100)의 일 실시예를 나타낸 블록도이다.
도 3은 도 1에 도시된 증강현실 앨범 제공 서버(200)의 일 실시예를 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법을 나타낸 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법을 나타낸 동작 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성되어 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 앨범 제공 시스템(1)의 구성을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 시스템(1)에서 증강현실 앨범 제공 서버(200)는 증강현실 앨범 제공 장치(100) 및 촬영 장치(300)와 상호 연결된다.

사용자는 촬영 장치(300)를 이용하여 사진 또는 동영상들을 촬영하고 메시지를 입력한 뒤 증강현실 앨범 제공 서버(200)로 전송할 수 있다. 또한, 사용자는 증강현실 앨범 제공 장치(100)를 구동하여 구동한 장소에서 촬영된 자신 혹은 그룹으로 등록되어 있는 사용자들의 이미지 앨범을 증강현실 앨범 제공 서버(200)를 통해 즉각적으로 증강현실을 이용하여 볼 수 있다.

본 발명의 일 실시예에 따른 증강현실 앨범 제공 장치(100)는 사용자에 의해 구동되었을 때, 현재 위치에 상응하는 GPS, 나침반, 자이로스코프 등과 같은 구동 센서 정보 및 실제 환경 촬영 이미지 정보를 증강현실 앨범 제공 서버(200)로 전송하고, 증강현실 앨범 제공 서버(200)로부터 현재 위치에 매칭되는 사용자 혹은 사용자가 포함된 그룹에서 촬영 장치(300)를 이용하여 촬영한 이미지들 및 해당 이미지들을 촬영하면서 입력한 메시지들을 수신하여 출력하는 것을 특징으로 한다.

이때, 출력되는 이미지들은 앨범 형태로 출력될 수 있다.

선택적 실시예에서, 증강현실 앨범 제공 장치(100)는 증강현실 앨범 제공 서버(200)로부터 수신한 이미지들에서 전경 추출 기술을 이용하여 사람 또는 물체를 포함한 객체만을 추출하여 빌보드 형태로 증강현실 앨범 제공 장치(100)의 촬영부의 시점에 상응하도록 메시지와 함께 가시화 할 수 있다. 또한, 이미지들에 깊이(depth) 정보가 포함된 경우에는, 3차원으로 저장된 사람 또는 객체를 증강현실 앨범 제공 장치(100)의 촬영부의 시점에 상응하도록 메시지와 함께 가시화 할 수 있다.

이대, 증강현실 앨범 제공 장치(100)의 촬영부는 GPS, 나침반, 자이로스코프 정보 등을 측정할 수 있다.

증강현실 앨범 제공 서버(200)는 사용자가 촬영 장치(300)를 이용하여 촬영한 이미지들, 이미지들에 상응하는 GPS, 나침반, 자이로스코프 정보 등을 포함하는 특징점 정보와 그 이미지들을 촬영하면서 입력한 메시지들을 수신하여 저장 및 관리하고, 증강현실 앨범 제공 장치(100)로부터 수신한 센서 정보 및 이미지 정보를 이용하여, 증강현실 앨범 제공 장치(100)를 구동한 사용자 또는 사용자가 포함된 그룹에서 촬영한 이미지들과 그에 상응하는 메시지들 중에서 증강현실 앨범 제공 장치(100)의 위치 정보에 상응하는 이미지들과 메시지들을 선정하며, 선정한 메시지들과 이미지들을 증강현실 앨범 제공 장치(100)으로 전송하는 것을 특징으로 한다.

촬영 장치(300)는 사진 및 동영상을 포함하는 이미지들을 촬영하고, 촬영한 이미지들에 상응하는 메시지들을 입력받을 수 있으며, 촬영된 이미지들과 그에 상응하는 메시지들을 증강현실 앨범 제공 서버(200)으로 전송하는 것을 특징으로 한다.

여기서, 촬영 장치(300)는 스마트폰, 미러리스 카메라, DSLR 등을 포함할 수 있다.

이때, 촬영 장치(300)는 촬영한 이미지들에 GPS, 나침반, 자이로스코프 정보 등을 포함시킬 수 있다.

이때, 촬영 장치(300)는 깊이(depth) 정보를 포함하는 이미지들을 촬영할 수 있다.

이에 따라, 사용자가 촬영한 이미지들의 위치 정보나 이미지들에 포함된 전경을 용이하게 추출하고, 촬영한 이미지들에서 3차원 객체 모델을 추출할 수도 있으며, 출력 위치를 결정하는데 사용될 수 있다.

도 2는 도 1에 도시된 증강현실 앨범 제공 장치(100)의 일 실시예를 나타낸 블록도이다.

사용자는 증강현실 앨범 제공 장치(100)를 이용하여 증강현실 인터페이스 GUI를 통해서 증강현실을 구동하고, 증강현실 앨범 제공 장치(100)는 구동 센서 정보나 실제 환경 촬영 이미지 정보 등을 증강현실 앨범 제공 서버(도 1의 200 참조)에 전달하여 현재 위치에 상응하여 추출된 이미지들 및 사용자가 입력한 메시지 정보 등 매칭된 정보를 합성하여 가시화하는 역할을 수행한다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 장치(100)는 제어부(110), 통신부(120), 메모리(130), 촬영부(140), 객체 위치 결정부(160) 및 증강현실 출력부(170) 등을 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 장치(100)는 객체 추출부(150)를 더 포함할 수 있다.

상세히, 제어부(110)는 일종의 중앙처리장치로서 증강현실 앨범 제공 장치(100)의 전체 처리 과정을 제어한다. 즉, 제어부(110)는 통신부(120), 촬영부(140), 객체 추출부(150), 객체 위치 결정부(160) 및 증강현실 출력부(170) 등을 제어하여 다양한 기능을 제공할 수 있다.

여기서, 제어부(110)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신부(120)는 증강현실 앨범 제공 장치(100)와 증강현실 앨범 제공 서버(도 1의 200 참조) 간의 송수신 신호를 전송하는데 필요한 통신 인터페이스를 제공한다.

여기서, 통신부(120)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(130)는 제어부(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

촬영부(140)는 주변 환경을 촬영하여 주변 환경 이미지를 생성하고, 증강현실 앨범 제공 서버(200)로 전송하여 앨범을 제공할 앨범 이미지들을 요청할 수 있다.

이때, 촬영부(140)는 GPS, 나침반, 자이로스코프 센서 등을 포함한 센서 정보를 함께 증강현실 앨범 제공 서버(200)로 전송하여 앨범을 제공할 앨범 이미지들을 요청할 수 있다.

여기서, GPS 정보는 증강현실 앨범 제공 장치(100)의 위치에 대한 정보를 파악하는데 이용될 수 있다. 그리고, 나침반 센서 또는 자이로스코프 센서 정보는 증강현실 앨범 제공 장치(100)의 움직임에 대한 정보를 파악하는데 이용될 수 있다.

또한, GPS 정보, 나침반 센서 정보 및 자이로스코프 센서 정보를 종합하여 증강현실 앨범 제공 장치(100)에 상응하는 위치와 증강현실 앨범 제공 장치(100)에서 촬영된 주변 환경 이미지의 시선 방향 등을 보다 정확히 계산할 수 있다.

객체 추출부(150)는 증강현실 앨범 제공 서버(200)로부터 수신한 앨범 이미지들에 대해서 사람이나 물체와 같은 객체를 추출한다.

이때, 객체 추출부(150)는 전경 추출(foreground subtraction) 기술 또는 배경 추출(background subtraction) 기술을 이용하여 앨범 이미지들에 상응하는 사람이나 물건과 같은 객체를 추출할 수 있다.

이때, 객체 추출부(150)는 깊이 정보가 포함된 앨범 이미지들에서 3D 객체를 추출할 수 있다.

객체 위치 결정부(160)는 증강현실 앨범 제공 서버(200)로부터 수신한 앨범 이미지들이나 객체 추출부(150)에서 추출된 객체들을 주변 환경 이미지에 상응하도록 출력하기 위하여 출력 위치를 결정하는 기능을 수행한다.

이때, 객체 위치 결정부(160)는 촬영부(140)에서 촬영되는 주변 환경 이미지를 분석하여 앨범 이미지들이나 추출 객체들의 출력 위치를 결정할 수 있다.

이때, 객체 위치 결정부(160)는 깊이 정보를 측정할 수 있는 센서 등을 이용하여, 주변 환경 이미지에 상응하는 깊이 정보와 앨범 이미지들에 상응하는 깊이 정보를 매칭하여 앨범 이미지들이나 추출 객체들의 출력 위치를 결정할 수 있다.

이때, 객체 위치 결정부(160)는 주변 환경에 상응하는 절대적 위치를 기준으로 촬영부(140)를 통해 측정된 시점을 트래킹하여 출력 위치를 결정할 수 있다.

이에 따라, 증강현실 앨범 제공 장치(100)의 방향을 전환하여 주변 환경 이미지에 상응하는 시점이 변경되더라도, 출력되는 객체, 앨범 이미지 및 메시지들이 주변 환경에 연동되어 출력되도록 할 수 있다.

예컨대, 선정된 앨범 이미지상의 인물이 특정 조형물의 정면에 위치하는 경우에, 증강현실 앨범 제공 장치(100)는 그 시점이 변화하더라도 선정된 앨범 이미지에 상응하도록 해당 조형물의 정면에 인물이 위치하도록 출력할 수 있다.

이때, 객체 위치 결정부(160)는 3D로 복원된 사람을 촬영부(140)를 통해 측정된 시점을 반영하여 트래킹한 뒤 출력 위치를 결정할 수 있다.

증강현실 출력부(170)는 객체 위치 결정부(160)에서 결정한 위치에 따라 앨범 이미지들이나 추출 객체들을 포함한 증강현실 인터페이스를 출력한다.

이때, 증강현실 출력부(170)는 사용자가 주변 환경과 증강현실 인터페이스를 함께 볼 수 있도록 투과성 디스플레이로 구현될 수 있다.

이때, 증강현실 출력부(170)는 직접 실제 환경을 보는 대신에 촬영부(140)에서 촬영된 주변 환경 이미지와 증강현실 인터페이스를 출력하는 불투과성 디스플레이로 구현될 수 있다.

이에 따라, 사용자는 증강현실 앨범 제공 장치(100)를 통해서 과거에 사진이나 동영상들을 촬영하였던 장소에서 해당 사진이나 동영상들을 감상할 수 있다. 또한, 해당 사진이나 동영상에서 객체를 추출하여 실제 환경에 상응하도록 출력하여 과거로 돌아온 듯한 느낌을 줄 수 있다.

또한, 사용자가 구동하는 증강현실 앨범 제공 장치(100)의 성능과 장치의 환경에 따라 다양하게 적응적으로 이미지들을 제시하는 것이 가능하다. 그리고, 사진뿐만 아니라 동영상에도 적용되어 과거를 여행할 수 있는 테마 콘텐츠에의 적용도 가능하다.

도 3은 도 1에 도시된 증강현실 앨범 제공 서버(200)의 일 실시예를 나타낸 블록도이다.

증강현실 앨범 제공 서버(200)는 사용자가 촬영한 이미지들을 데이터베이스(240)에 저장하고, 증강현실 앨범 제공 장치(도 1의 100 참조)로부터 전송 받은 구동 센서 정보나 주변 환경 이미지 등을 이용하여 최적의 앨범 이미지들을 추출하여 증강현실 앨범 제공 장치(도 1의 100 참조)에 제공한다. 여기서, 주변 환경 이미지와 데이터베이스(240)에 저장된 이미지들에서 특징점(feature) 정보를 추출할 수가 있다. 즉, 센서 정보와 이미지 특징점 정보의 융합을 통해 증강현실 앨범 제공 서버(200)에서는 증강현실 앨범 제공 장치(도 1의 100 참조)에 상응하는 위치에서의 사용자 혹은 사용자가 포함된 그룹에서 촬영한 이미지들을 검색할 수 있다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 서버(200)는 제어부(210), 통신부(220), 메모리(230), 데이터베이스(240), 특징점 정보 추출부(250) 및 앨범 선정부(260) 등을 포함한다.

상세히, 제어부(210)는 일종의 중앙처리장치로서 증강현실 앨범 제공 서버(200)의 전체 처리 과정을 제어한다. 즉, 제어부(210)는 통신부(220), 특징점 정보 추출부(250) 및 앨범 선정부(260) 등을 제어하여 다양한 기능을 제공할 수 있다.

여기서, 제어부(210)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신부(220)는 증강현실 앨범 제공 서버(200)와 증강현실 앨범 제공 장치(도 1의 100 참조) 또는 촬영 장치(도 1의 300 참조) 간의 송수신 신호를 전송하는데 필요한 통신 인터페이스를 제공한다.

여기서, 통신부(220)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(230)는 제어부(210)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(230)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(240)는 사용자가 촬영한 이미지들과 사용자가 입력한 메시지들을 포함하여 저장한다.

이때, 데이터베이스(240)에 저장되는 이미지들은 사진들과 동영상들을 포함할 수 있다.

이때, 데이터베이스(240)는 저장하고 있는 이미지들에 상응하는 특징점 정보를 포함할 수 있다.

특징점 정보 추출부(250)는 증강현실 앨범 제공 장치(도 1의 100 참조)로부터 전송 받은 주변 환경 이미지와 데이터베이스(240)에 저장된 이미지들에 상응하는 특징점 정보를 추출한다.

여기서, 추출된 특징점 정보는 주변 환경 이미지와 데이터베이스(240)에 저장된 이미지들 간의 비교를 통해 위치 정보를 비교하는데 사용될 수 있다.

앨범 선정부(260)는 증강현실 앨범 제공 장치(도 1의 100 참조)에서 전송 받은 센서 정보를 이용하여 증강현실 앨범 제공 장치(도 1의 100 참조)에 상응하는 위치에 매칭되는 앨범 이미지들과 메시지들을 선정한다. 여기서 선정된 앨범 이미지들과 메시지들은 증강현실 앨범 제공 장치(도 1의 100 참조)에 전송된다.

이때, 앨범 선정부(260)는 증강현실 앨범 제공 장치(도 1의 100 참조)에서 전송 받은 센서 정보뿐만 아니라 이미지들과 메시지들에서 추출된 특징점 정보을 더 이용하여 증강현실 앨범 제공 장치(도 1의 100 참조)에 상응하는 위치에 매칭되는 앨범 이미지들과 메시지들을 선정할 수 있다. 여기서 선정된 앨범 이미지들은 증강현실 앨범 제공 장치(도 1의 100 참조)에 전송된다.

이에 따라, 증강현실 앨범 제공 서버(200)는 센서 정보 및 특징점 정보 융합 기반으로 데이터베이스에서 앨범 이미지들과 메시지들을 선정하여 정확도를 높인 하이브리드 방식을 제공할 수 있다.

도 4는 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법을 나타낸 동작 흐름도이다.

이 실시예는 증강현실 앨범 제공 장치(도 1의 100 참조)의 측면에서 증강현실 앨범 제공 방법을 설명한다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 장치(도 1의 100 참조)가, 사용자에게 증강현실 앨범을 제공하기 위하여 증강현실 앨범 제공 서버(도 1의 200 참조)로 GPS, 나침반, 자이로스코프 정보 등을 포함하는 센서 정보 및 주변 환경을 촬영한 주변 환경 이미지를 전송한다(S401).

여기서, GPS 정보는 증강현실 앨범 제공 장치(도 1의 100 참조)의 위치에 대한 정보를 파악하는데 이용될 수 있다. 그리고, 나침반 센서 또는 자이로스코프 센서 정보는 증강현실 앨범 제공 장치(도 1의 100 참조)의 움직임에 대한 정보를 파악하는데 이용될 수 있다.

또한, GPS 정보, 나침반 센서 정보 및 자이로스코프 센서 정보를 종합하여 증강현실 앨범 제공 장치(도 1의 100 참조)에 상응하는 위치와 증강현실 앨범 제공 장치(도 1의 100 참조)에서 촬영된 주변 환경 이미지의 시선 방향 등을 보다 정확히 계산할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 장치(도 1의 100 참조)가, 증강현실 앨범 제공 서버(도 1의 200 참조)에서 센서 정보와 주변 환경 이미지에서 추출한 특징점 정보를 이용하여 선정된 사용자 또는 사용자가 포함된 그룹에 상응하는 앨범 이미지들 및 메시지들을 수신한다(S403).

또한, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 장치(도 1의 100 참조)가, 수신한 앨범 이미지들 및 메시지들을 주변 환경 이미지에 상응하도록 출력하기 위하여 출력 위치를 결정한다(S405).

이때, 앨범 이미지들로부터 전경 추출(foreground subtraction) 기술 또는 배경 추출(background subtraction) 기술을 이용하여 앨범 이미지들에 상응하는 사람이나 물건과 같은 객체를 추출하는 경우에는, 추출 객체들의 출력 위치를 결정할 수 있다.

이때, 깊이 정보를 측정할 수 있는 센서 등을 이용하여, 주변 환경 이미지에 상응하는 깊이 정보와 앨범 이미지들에 상응하는 깊이 정보를 매칭하여 앨범 이미지들이나 추출 객체들의 출력 위치를 결정할 수 있다.

이때, 주변 환경에 상응하는 절대적 위치를 기준으로 주변 환경 이미지에 상응하는 시점을 트래킹하여 출력 위치를 결정할 수 있다.

이에 따라, 증강현실 앨범 제공 장치(도 1의 100 참조)의 방향을 전환하여 주변 환경 이미지에 상응하는 시점이 변경되더라도, 출력되는 객체, 앨범 이미지 및 메시지들이 주변 환경에 연동되어 출력되도록 할 수 있다.

예컨대, 선정된 앨범 이미지상의 인물이 특정 조형물의 정면에 위치하는 경우에, 증강현실 앨범 제공 장치(도 1의 100 참조)는 그 시점이 변화하더라도 선정된 앨범 이미지에 상응하도록 해당 조형물의 정면에 인물이 위치하도록 출력할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 장치(도 1의 100 참조)가, 결정된 출력 위치에 따라 앨범 이미지들 및 메시지들을 포함한 증강현실 인터페이스를 출력한다(S407).

이때, 사용자가 주변 환경과 증강현실 인터페이스를 함께 볼 수 있도록 투과성 디스플레이에 증강현실 인터페이스를 출력할 수 있다.

이때, 직접 실제 환경을 보는 대신에 주변 환경 이미지와 증강현실 인터페이스를 함께 불투과성 디스플레이에 출력할 수 있다.

도 5는 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법을 나타낸 동작 흐름도이다.

이 실시예는 증강현실 앨범 제공 서버(도 1의 200 참조)의 측면에서 증강현실 앨범 제공 방법을 설명한다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 서버(도 1의 200 참조)가, 사용자에게 증강현실 앨범을 제공하기 위하여 증강현실 앨범 제공 장치(도 1의 100 참조)로부터 GPS, 나침반, 자이로스코프 정보 등을 포함하는 센서 정보 및 주변 환경을 촬영한 주변 환경 이미지를 수신한다(S501).

또한, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 서버(도 1의 200 참조)가, 수신한 주변 환경 이미지에서 특징점 정보를 추출한다(S503).

이때, 데이터베이스(도 3의 240 참조)에 저장되어 있고, 사용자 또는 사용자가 포함된 그룹에 상응하는 이미지들 중에서 특징점 정보가 아직 추출되지 않은 이미지들에 대해서도 특징점 정보를 추출할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 서버(도 1의 200 참조)가, 센서 정보와 주변 환경 이미지에서 추출한 특징점 정보를 이용하여 사용자 또는 사용자가 포함된 그룹에 상응하는 앨범 이미지들과 메시지들을 선정한다(S505).

이때, 데이터베이스(도 3의 240 참조)에 저장된 이미지들에 상응하는 특징점 정보를 이용하여 앨범 이미지들과 메시지들을 선정할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강현실 앨범 제공 방법은 증강현실 앨범 제공 서버(도 1의 200 참조)가, 선정된 앨범 이미지들과 메시지들을 증강현실 앨범 제공 장치(도 1의 100 참조)에서 주변 환경 이미지에 상응하도록 위치를 결정하여 출력할 수 있도록 증강현실 앨범 제공 장치(도 1의 100 참조)에 전송한다(S507).

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 증강현실 앨범 제공 장치
110: 제어부 120: 통신부
130: 메모리 140: 촬영부
150: 객체 추출부 160: 위치 결정부
170: 증강현실 출력부
200: 증강현실 앨범 제공 서버
210: 제어부 220: 통신부
230: 메모리 240: 데이터베이스
250: 특징점 정보 추출부 260: 앨범 선정부
300: 촬영 장치

Claims

주변 환경을 촬영한 주변 환경 이미지와 센서 정보를 증강현실 앨범 제공 서버에 전송하는 단계;
상기 증강현실 앨범 제공 서버로부터, 상기 증강현실 앨범 제공 서버의 데이터베이스에 저장된 데이터 중에서 선정된 상기 주변 환경에 상응하는 앨범 이미지들과 메시지들 중 적어도 하나 이상을 수신하는 단계;
상기 앨범 이미지들과 상기 메시지들을 출력할 위치를 결정하는 단계; 및
상기 앨범 이미지들과 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력하는 단계
를 포함하는, 증강현실 앨범 제공 방법.
청구항 1에 있어서,
상기 센서 정보는
GPS, 나침반 및 자이로스코프 중 적어도 하나 이상에 상응하는 정보를 포함하는 것인, 증강현실 앨범 제공 방법.
청구항 2에 있어서,
상기 앨범 이미지들과 상기 메시지들은
상기 주변 환경 이미지에서 추출된 특징점 정보 및 상기 센서 정보를 이용하여 선정되는 것인, 증강현실 앨범 제공 방법.
청구항 3에 있어서,
상기 증강현실 앨범 제공 방법은
상기 앨범 이미지들에서 하나 이상의 객체들을 추출하는 단계를 더 포함하고,
상기 위치를 결정하는 단계는
상기 객체들 각각의 출력 위치를 결정하고,
상기 출력하는 단계는
상기 객체들, 상기 앨범 이미지들 및 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력하는 것인, 증강현실 앨범 제공 방법.
청구항 4에 있어서,
상기 위치를 결정하는 단계는
상기 주변 환경 이미지 또는 상기 센서 정보에 포함된 깊이 정보를 이용하여 출력 위치를 결정하는 것인, 증강현실 앨범 제공 방법.
청구항 5에 있어서,
상기 위치를 결정하는 단계는
상기 주변 환경에 상응하는 절대적 위치를 기준으로 하여 상기 주변 환경 이미지에 상응하는 시점을 트래킹하여 출력 위치를 결정하는 것인, 증강현실 앨범 제공 방법.
증강현실 앨범 제공 장치로부터 주변 환경을 촬영한 주변 환경 이미지와 센서 정보를 수신하는 단계;
데이터베이스에 저장된 데이터 중에서 상기 주변 환경에 상응하는 앨범 이미지들과 메시지들을 선정하는 단계; 및
상기 앨범 이미지들과 상기 메시지들 중 적어도 하나 이상을, 상기 증강현실 앨범 제공 장치에서 출력 위치를 결정하고 출력하도록, 상기 증강현실 앨범 제공 장치로 전송하는 단계
를 포함하는, 증강현실 앨범 제공 방법.
청구항 7에 있어서,
상기 센서 정보는
GPS, 나침반 및 자이로스코프 중 적어도 하나 이상에 상응하는 정보를 포함하는 것인, 증강현실 앨범 제공 방법.
청구항 8에 있어서,
상기 증강현실 앨범 제공 방법은
상기 주변 환경 이미지에 상응하는 특징점 정보를 추출하는 단계를 더 포함하고,
상기 선정하는 단계는
상기 주변 환경 이미지에 상응하는 상기 특징점 정보 및 상기 센서 정보를 이용하여 선정하는 것인, 증강현실 앨범 제공 방법.
청구항 9에 있어서,
상기 증강현실 앨범 제공 장치로 전송하는 단계는
상기 앨범 이미지들에서 하나 이상의 객체들을 추출하고 상기 객체들의 출력 위치를 결정하여 상기 앨범 이미지들, 상기 객체들 및 상기 메시지들을 각각에 상응하는 위치에 출력하도록, 상기 앨범 이미지들 및 상기 메시지들 중 적어도 하나 이상을 상기 증강현실 앨범 제공 장치로 전송하는 것인, 증강현실 앨범 제공 방법.
청구항 10에 있어서,
상기 출력 위치는
상기 주변 환경 이미지 또는 상기 센서 정보에 포함된 깊이 정보를 이용하여 결정되는 것인, 증강현실 앨범 제공 방법.
청구항 11에 있어서,
상기 출력 위치는
상기 주변 환경에 상응하는 절대적 위치를 기준으로 하여 상기 주변 환경 이미지에 상응하는 시점을 트래킹하여 결정되는 것인, 증강현실 앨범 제공 방법.
주변 환경을 촬영한 주변 환경 이미지와 센서 정보를 증강현실 앨범 제공 서버에 전송하고, 상기 증강현실 앨범 제공 서버의 데이터베이스에 저장된 데이터 중에서 선정된 상기 주변 환경에 상응하는 앨범 이미지들과 메시지들 중 적어도 하나 이상을 상기 증강현실 앨범 제공 서버로부터 수신하는 통신부;
상기 앨범 이미지들과 상기 메시지들을 출력할 위치를 결정하는 위치 결정부; 및
상기 앨범 이미지들과 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력하는 증강현실 출력부
를 포함하는, 증강현실 앨범 제공 장치.
청구항 13에 있어서,
상기 센서 정보는
GPS, 나침반 및 자이로스코프 중 적어도 하나 이상에 상응하는 정보를 포함하는 것인, 증강현실 앨범 제공 장치.
청구항 14에 있어서,
상기 앨범 이미지들과 상기 메시지들은
상기 주변 환경 이미지에서 추출된 특징점 정보 및 상기 센서 정보를 이용하여 선정되는 것인, 증강현실 앨범 제공 장치.
청구항 15에 있어서,
상기 증강현실 앨범 제공 장치는
상기 앨범 이미지들에서 하나 이상의 객체들을 추출하는 객체 추출부를 더 포함하고,
상기 위치 결정부는
상기 객체들 각각의 출력 위치를 결정하고,
상기 증강현실 출력부는
상기 객체들, 상기 앨범 이미지들 및 상기 메시지들 중 적어도 하나 이상을 각각 결정된 위치에 상응하도록 출력하는 것인, 증강현실 앨범 제공 장치.
청구항 16에 있어서,
상기 위치 결정부는
상기 주변 환경 이미지 또는 상기 센서 정보에 포함된 깊이 정보를 이용하여 출력 위치를 결정하는 것인, 증강현실 앨범 제공 장치.
청구항 17에 있어서,
상기 위치 결정부는
상기 주변 환경에 상응하는 절대적 위치를 기준으로 하여 상기 주변 환경 이미지에 상응하는 시점을 트래킹하여 출력 위치를 결정하는 것인, 증강현실 앨범 제공 장치.