KR20150086698A - 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법 - Google Patents

스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR20150086698A
KR20150086698A KR1020140006680A KR20140006680A KR20150086698A KR 20150086698 A KR20150086698 A KR 20150086698A KR 1020140006680 A KR1020140006680 A KR 1020140006680A KR 20140006680 A KR20140006680 A KR 20140006680A KR 20150086698 A KR20150086698 A KR 20150086698A
Authority
KR
South Korea
Prior art keywords
augmented reality
information
image
portable terminal
streaming server
Prior art date
Application number
KR1020140006680A
Other languages
English (en)
Inventor
이동춘
조창식
이헌주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140006680A priority Critical patent/KR20150086698A/ko
Publication of KR20150086698A publication Critical patent/KR20150086698A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 서비스 시스템에서 스트리밍 서버를 이용한 증강 현실 서비스 방법에 있어서, 휴대용 단말에서 수집된 실제 영상, 측정 정보 및 입력 정보를 수신하는 단계, 수신된 상기 실제 영상, 상기 측정 정보 및 상기 입력 정보를 이용하여 증강 현실 정보를 생성하는 단계, 및 생성된 상기 증강 현실 정보를 사용자에게 제공하도록 상기 휴대용 단말로 전달하는 단계를 포함하는 증강 현실 서비스 방법에 관한 것이다.

Description

스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법{System for service the augmented reality using a streaming server and method thereof}
본 발명은 증강 현실 서비스 시스템에 관한 것으로, 특히, 스트리밍 서버를 이용하여 증강 현실을 서비스하는 기술에 관한 것이다.
증강 현실 서비스 기술은 카메라를 통해 수집되는 실사 영상과 컴퓨터를 사용하여 만들어낸 가상 영상을 합쳐 고품질의 새로운 영상을 생성하여 사용자에게 서비스하는 기술로써, 사용자에게 생성된 가상 영상을 통해 실제 영상의 이해도를 높일 수 있다. 또한, 최근에 휴대용 단말이 급속도로 보급되고, 휴대용 단말에 GPS 센서와 자이로스코프 센서 등 단말기의 위치와 방향을 측정하는 센서들이 장착됨에 따라, 실사 이미지 위에 건물의 명칭을 출력하는 등의 비교적 단순한 형태의 증강 현실 서비스 기술들이 휴대용 단말에서도 서비스되고 있다.
그러나, 현재의 증강 현실 서비스 기술은 많은 양의 연산과 기술적인 부족으로 인해, 주로 실내에서 카메라의 위치 추적을 위한 마크를 사용하는 등의 제한적인 상황에서 많이 사용된다. 또한, 휴대용 단말에서 서비스되는 증강 현실 서비스 기술들은 너무나 단순한 형태로, 예컨대, 실제 건물들 사이에 가상의 건물을 세워 보여주거나 실제 경복궁에서 가상의 왕을 보여주는 등의 고품질의 증강 현실을 서비스하지 못한다. 이는, 고품질의 증강 현실을 서비스하기 위해서 많은 양의 연산을 짧은 시간 안에 처리할 수 있는 높은 사양을 필요로 하는데, 현재의 휴대용 단말에 이러한 사양을 구현하기에는 무리가 있다. 또한, 고품질의 증강 현실을 서비스하기 위해서는 카메라의 위치에 대해 정확한 계산이 필요하나 휴대용 단말의 카메라에 부착된 GPS나 자이로스코프 등의 정보는 오차 범위가 너무 큰 문제점이 있다.
본 발명은 스트리밍 서버를 이용하여 생성된 고품질의 증강 현실 정보를 휴대용 단말을 통해 사용자에게 서비스할 수 있도록 하는 기술적 방안을 서비스함을 목적으로 한다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 증강 현실 서비스 시스템에서 스트리밍 서버를 이용한 증강 현실 서비스 방법은, 휴대용 단말에서 수집된 실제 영상, 측정 정보 및 입력 정보를 수신하는 단계, 수신된 상기 실제 영상, 상기 측정 정보 및 상기 입력 정보를 이용하여 증강 현실 정보를 생성하는 단계, 및 생성된 상기 증강 현실 정보를 사용자에게 제공하도록 상기 휴대용 단말로 전달하는 단계를 포함한다.
본 발명은 휴대용 단말에서 획득된 실제 영상, 위치 정보 및 입력 정보를 상대적으로 오차율이 낮고 많은 연산량을 짧은 시간에 처리할 수 있는 별도의 스트리밍 서버에 전송하여 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 다시 휴대용 단말로 전송하여 사용자에게 제공하여, 증강 현실 정보를 휴대용 단말에서 생성하는 것에 비해 정확하고 고품질의 증강 현실 영상을 사용자에게 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 증강 현실 서비스 시스템의 블록도.
도 2는 본 발명에 따른 증강 현실 서비스 시스템의 증강 현실 정보 생성 과정을 설명하기 위한 도면.
도 3은 증강 현실 생성 과정에서 발생할 수 있는 오류를 예시한 도면.
도 4는 본 발명의 실시예에 따른 증강 현실 서비스 시스템에 의한 증강 현실 정보 생성 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 증강 현실 서비스 시스템의 블록도이다. 도시된 바와 같이, 증강 현실 서비스 시스템은 휴대용 단말(10)과 스트리밍 서버(20)를 포함한다.
휴대용 단말(10)은 실제 영상, 측정 정보, 및 입력 정보를 수집하고, 실제 영상을 기반으로 생성된 증강 현실 영상 및 그에 관련된 증강 현실 정보를 사용자에게 서비스하기 위한 것이다. 예컨대, 휴대용 단말(10)은 사용자가 소유/휴대하는 단말기일 수 있으며, 사용자가 이용하는 이동통신 단말기(예컨대, 스마트폰)일 수 있다.
구체적으로, 휴대용 단말(10)은 촬영부(110), 수집부(120), 단말 통신부(130) 및 출력부(140)를 포함한다.
촬영부(110)는 사용자에 의해 촬영되는 실제 영상을 획득한다. 이때, 획득되는 실제 영상은 이후 사용자에게 서비스되는 증강 현실 영상을 생성하는데에 기반이 되는 영상이다.
촬영부(110)는 휴대용 단말(10) 내 구현된 카메라를 통해 촬영되는 실제 영상을 획득한다. 예컨대, 사용자가 증강 현실 영상의 생성을 위해 기반이 되는 실제 영상을 휴대용 단말(10)의 카메라를 이용하여 촬영하면, 촬영부(110)는 그 실제 영상을 획득할 수 있다.
덧붙여, 촬영부(110)에서 획득된 실제 영상은 스트리밍 서버(20)에 전송되기 전, 실제 영상의 사이즈(용량)를 줄이기 위해 압축(compress)됨이 바람직하다. 이를 위해, 휴대용 단말(10)은 영상 압축을 위한 영상 압축 기능을 내장할 수 있다. 즉, 촬영부(110)에서 획득된 실제 영상은 후술하는 스트리밍 서버(20)로 전송되기 용이한 사이즈로 압축될 수 있다.
수집부(120)는 휴대용 단말(10)에서 수집되는 측정 정보 및 사용자의 입력 정보를 수집한다.
일 예로, 수집부(120)는 휴대용 단말(10) 내 구현된 다수의 측정 모듈로부터 측정 정보를 수집한다. 여기서, 다수의 측정 모듈은 GPS 모듈, 자이로스코프(gyroscope) 모듈을 포함할 수 있다.
GPS 모듈은 휴대용 단말(10)의 위치 정보를 수집하기 위한 것으로서, GPS(Gobal Positioning System) 위성으로부터 위치 좌표(위도/경도) 데이터를 수집할 수 있는 모듈이다. 바람직하게, GPS 모듈은 촬영부(110)에서 실제 영상을 획득할 때(즉, 사용자가 실제 영상을 촬영할 시), GPS 위성으로부터 휴대용 단말(10)의 위치 좌표 데이터를 수집하여 위치 정보를 수집할 수 있다.
자이로스코프 모듈은 휴대용 단말(10)의 방향 정보를 수집하기 위한 것으로서, 로터축(rotor axid)과 그 로터축과 직교한 수평축 및 수직축으로 구성된 자이로스코프(또는, 기울기 및 전자 나침반)를 이용하여 휴대용 단말(10)의 방향 및 각도 데이터를 수집할 수 있는 모듈이다. 바람직하게, 자이로스코프 모듈은 촬영부(110)에서 실제 영상을 획득할 때(즉, 사용자가 실제 영상을 촬영할 시), 휴대용 단말(10)이 향하고 있는 방향(특히, 카메라가 촬영하는 방향) 및 기울어진 각도 데이터를 수집할 수 있다.
다른 예로, 수집부(120)는 휴대용 단말(10)에 구현된 입력 수단을 통해 입력되는 입력 정보를 수집한다. 여기서, 입력 수단은 사용자의 입력을 받기 위해 휴대용 단말(10)에 장착된 자판 입력 장치 또는 터치 입력 장치일 수 있다. 이때, 사용자는 실제 영상을 이용하여 생성되는 증강 현실 영상에서 원하는 정보가 서비스되도록 요청 정보를 휴대용 단말(10)의 입력 수단을 통해 입력할 수 있다. 또는, 사용자는 증강 현실 영상에서 서비스 가능한 정보들 중, 사용자의 조건에 만족하는 정보만이 서비스되도록 조건 정보를 휴대용 단말(10)의 입력 수단을 통해 입력할 수 있다. 즉, 수집부(120)는 휴대용 단말(10)의 입력 수단을 통해 입력되는 사용자의 입력 정보를 수집할 수 있다.
단말 통신부(130)는 휴대용 단말(10)과 스트리밍 서버(20) 간의 정보를 송수신하기 위한 것이다. 구체적으로, 단말 통신부(130)는 휴대용 단말(10)의 촬영부(110)에서 획득된 실제 영상(압축된 실제 영상)과 수집부(120)에서 수집된 측정 정보 및 입력 정보를 스트리밍 서버(20)로 전송한다. 또한, 단말 통신부(130)는 스트리밍 서버(20)에서 생성된 증강 현실 영상 및 그와 관련된 증강 현실 정보를 스트리밍 서버(20)의 서버 통신부(210)로부터 수신한다.
예컨대, 단말 통신부(130)는 휴대용 단말(10)과 스트리밍 서버(20) 간 무선 통신을 지원하는 무선 통신 모듈이다. 여기서, 무선 통신은 블루투스(Bluetooth), NFC(Near Field Communication), RFID(Radio Frequency Identification) 등과 같은 근거리 무선 통신, 와이파이(Wi-Fi), 와이브로(Wibro) 등과 같은 원거리 무선 통신, 및 3G(3Generation), LTE(Long Term Evolution) 등과 같은 이동통신을 포함하나, 이에 한정되는 것은 아니다. 또는, 단말 통신부(130)는 휴대용 단말(10)과 스트리밍 서버(20) 간의 유선 통신을 지원하는 유선 통신 모듈일 수도 있다.
출력부(140)는 증강 현실 영상 및 정보를 사용자에게 제공하기 위한 것이다. 구체적으로, 출력부(140)는 단말 통신부(130)를 통해 스트리밍 서버(20)로부터 수신되는 증강 현실 영상 및 그와 관련된 정보(증강 현실 정보)를 출력하여 사용자에게 제공한다. 예컨대, 출력부(140)에서 출력되는 증강 현실 영상 및 증강 현실 정보는 휴대용 단말(10)의 액정 표시 장치(Liquid Crystal Display)를 통해 사용자에게 시각적으로 제공될 수 있다.
이때, 출력부(140)는 단말 통신부(130)를 통해 수신된 압축된 증강 현실 영상 및 정보를 휴대용 단말(10)의 영상 처리 프로그램을 이용하여 디코딩(압출 풀림, decompress)하여 화면 출력한다. 즉, 출력부(140)는 증강 현실 영상 및 정보를 가시화하여 증강 현실 서비스를 사용자에게 제공할 수 있다.
경우에 따라서, 출력부(140)는 증강 현실 정보를 음향 출력하여 사용자에게 제공할 수도 있다. 예컨대, 스트리밍 서버(20)로부터 수신되는 증강 현실 정보에 음향 정보가 포함된 경우, 출력부(140)는 스피커를 통해 소리로써 사용자에게 증강 현실 정보를 제공한다. 이때, 출력부(140)는 사용자의 음향 재생 입력이 입력된 경우에만 스피커를 통해 증강 현실 정보를 제공할 수 있다.
스트리밍 서버(20)는 휴대용 단말(10)로부터 수신되는 정보를 이용하여 증강 현실 영상 및 정보를 생성하기 위한 것이다. 예컨대, 스트리밍 서버(20)는 정보를 처리, 연산하고, 새로운 정보를 생성하는 컴퓨터 중앙 제어 장치(Central Processing Unit, CPU)일 수 있다.
구체적으로, 스트리밍 서버(20)는 서버 통신부(210), 저장부(220) 및 생성부(230)를 포함한다.
서버 통신부(210)는 스트리밍 서버(20)와 휴대용 단말(10) 간의 정보를 송수신하기 위한 것이다. 구체적으로, 서버 통신부(210)는 휴대용 단말(10)로부터 전송되는 실제 영상, 측정 정보 및 입력 정보를 수신한다. 또한, 서버 통신부(210)는 스트리밍 서버(20)의 생성부(230)에서 생성된 증강 현실 영상 및 그와 관련된 증강 현실 정보를 휴대용 단말(10)의 단말 통신부(130)로 전달한다.
예컨대, 서버 통신부(210)는 스트리밍 서버(20)와 휴대용 단말(10) 간 근거리 혹윽 원거리 통신을 지원하는 통신 모듈일 수 있다. 또는, 서버 통신부(210)는 스트리밍 서버(20)와 휴대용 단말(10) 간의 유선 통신을 지원하는 유선 통신 모듈일 수도 있다.
저장부(220)는 데이터 저장을 위한 메모리이다. 저장부(220)는 여러 사람에 의해 공유되어 사용될 목적으로 통합하여 관리되는 데이터베이스(DataBase, DB)의 형태일 수 있다. 예컨대, 저장부(220)에는 다수의 객체 데이터가 저장되며, 다수의 객체 데이터는 3D형태의 가상의 3D 객체 데이터이다. 이러한 3D 객체 데이터는 실제 영상에 합성(중첩/혼합)되어 증강 현실 영상을 생성하는데 이용된다. 또한, 저장부(220)에는 3D 객체 데이터와 관련된 부가의 정보(예컨대, 3D 객체의 위치 정보, 음성, 건물명과 같은 문자 정보)가 저장될 수 있으며, 이 정보는 증강 현실 영상 생성 시 이용될 수도 있다. 또한, 이러한 부가 정보는 이후 증강 현실 정보로 사용자에게 제공될 수도 있다.
생성부(230)는 증강 현실 영상을 생성하기 위한 것으로서, 영상 처리 프로그램일 수 있다. 구체적으로, 생성부(230)는 서버 통신부(210)를 통해 수신된 실제 영상과 저장부(220)로부터 획득되는 3D 객체 데이터를 혼합하여 증강 현실 영상을 생성한다. 또한, 생성부(230)는 휴대용 단말(10)로부터 서버 통신부(210)를 통해 수신된 측정 정보 및 입력 정보를 추가로 이용하여 증강 현실 영상을 생성한다.
먼저, 생성부(230)는 수신된 측정 정보를 이용하여 휴대용 단말(10)의 카메라 위치를 파악한다. 이때, 수신된 측정 정보 즉, 위치 정보 및 방향 정보는 휴대용 단말(10)의 사양에 따라 오차 범위가 크기 때문에, 생성부(230)는 수신된 실제 영상을 추가로 고려하여 휴대용 단말(10)의 카메라 위치에 대해 정밀하게 계산한다. 예컨대, 생성부(230)는 실제 영상에 포함된 객체(사물, 인물, 건물 등 카메라로 찍은 실제 영상에 포함된 객체)가 촬영된 형태를 분석하여, 휴대용 단말(10)로부터 수신된 측정 정보의 위치 및 방향 정보의 오차를 확인한다. 이를 통해 생성부(230)는 휴대용 단말(10)보다 상대적으로 정확한 휴대용 단말(10)의 위치를 파악할 수 있다.
또한, 생성부(230)는 수신된 실제 영상에 대한 깊이(Depth) 영상을 생성한다. 예컨대, 생성부(230)는 저장부(220)에 저장된 3D 객체 정보와 객체의 위치 정보를 사용하여 3D 영상을 생성해냄으로써, 깊이 영상을 만들어 낸다. 이를 통해, 생성부(230)는 증강 현실 영상을 생성할 시, 가까운 거리에 위치한 객체가 상대적으로 먼 거리에 위치한 객체에 의해 가려지는 오류를 방지할 수 있다.
생성부(230)는 실제 영상과 가상 영상을 합성하여 증강 현실 영상을 생성한다. 구체적으로, 생성부(230)는 저장부(220)에 저장된 3D 객체 데이터를 이용하여 가상 영상을 생성한다. 예컨대, 생성부(230)는 실제 영상에 포함된 객체들에 해당하는 3D 객체 데이터를 이용하여 가상 영상을 생성한다. 이때, 생성부(230)는 사용자의 입력 정보를 확인하여 사용자가 서비스되기 원하는 요청 정보 및 조건 정보에 따라 3D 객체 데이터를 저장부(220)로부터 획득하여 삽입하거나, 삭제하여 가상 영상을 생성할 수 있다. 또한, 생성부(230)는 생성된 가상 영상과 실제 영상을 정합하여 증강 현실 영상을 생성한다.
예를 들어, 도 2의 (a)와 같이 수신된 실제 영상에서, 사용자의 입력 정보에 따라 실제 영상에 포함된 다수의 사람 중 특정 사람(예컨대, 검은색 머리의 사람들, 또는 사용자에 의해 선택된 사람)에게 모자를 씌운 증강 현실 영상을 생성하고자 하면, 생성부(230)는 저장부(220)에 저장된 모자에 해당하는 3D 객체 데이터를 이용하여, 도 2의 (b)와 같은 가상 영상을 생성한다.
나아가, 생성부(230)는 파악된 휴대용 단말(10)의 위치, 및 실제 영상에 포함된 각 객체의 깊이를 고려하여, 도 2의 (c)와 같이 실제 영상에 가상 영상을 합성한다. 즉, 가상 영상의 3D 객체 데이터는 휴대용 단말(10)의 위치 및 깊이에 따라 그 형태가 조정되어 실제 영상에 맞게 정합되어 증강 현실 영상이 생성될 수 있다.
만약, 생성부(230)에 의해 휴대용 단말(10)의 위치가 정확하게 파악되지 않으면, 도 3의 (a)와 같이 실제 영상과 가상 영상에 정합되지 않은 오류가 발생하게 된다. 또한, 생성부(230)에 의해 실제 영상의 깊이가 정확하게 파악되지 않으면, 도 3의 (b)와 같이 상대적으로 뒤에 위치한 객체(사람)에 씌운(매칭된) 모자 이미지가 상대적으로 앞에 위치한 객체(사람)에 앞에 표현되는 오류가 발생하게 된다.
나아가, 사용자의 입력 정보에 의해 실제 영상과 가상 영상의 합성에 의해 생성된 증강 현실 영상에 덧붙여 증강 현실 정보(문자, 표식 등) 또한 제공해야 하는 경우, 생성부(230)는 실제 영상과 가상 영상이 합성되어 생성된 증강 현실 영상에 증강 현실 정보를 오버랩하여 증강 현실 영상을 생성할 수 있다.
이렇게 생성부(230)에서 생성된 증강 현실 영상은 서버 통신부(210)를 통해 휴대용 단말(10)로 전달된다. 이때, 증강 현실 영상은 휴대용 단말(10)에 전송되기 전, 증강 현실 영상의 사이즈(용량)를 줄이기 위해 압축(compress)됨이 바람직하다. 이를 위해, 스트리밍 서버(20)는 영상 압축을 위한 영상 압축 기능을 내장할 수 있다. 즉, 생성부(230)에서 생성된 증강 현실 영상은 휴대용 단말(10)로 전송되기 용이한 사이즈로 압축될 수 있다.
이렇게 휴대용 단말(10)로 전달된 증강 현실 영상은 휴대용 단말(10)의 출력부(140)를 통해 사용자에게 제공된다.
이와 같이, 본 발명은 휴대용 단말에서 획득된 실제 영상, 위치 정보 및 입력 정보를 상대적으로 오차율이 낮고 많은 연산량을 짧은 시간에 처리할 수 있는 스트리밍 서버 별도의 스트리밍 서버에 전송하여 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 다시 휴대용 단말로 전송하여 사용자에게 제공하여, 증강 현실 정보를 휴대용 단말에서 생성하는 것에 비해 정확하고 고품질의 증강 현실 영상을 사용자에게 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 증강 현실 서비스 시스템에 의한 증강 현실 정보 생성 방법 흐름도이다.
먼저, 휴대용 단말(10)은 실제 영상을 획득한다(S110).
이때, 수집되는 실제 영상은 이후 사용자에게 서비스되는 증강 현실 영상을 생성하는데에 기반이 되는 영상이다. 휴대용 단말(10)은 카메라를 통해 촬영되는 실제 영상을 획득한다. 여기서, 카메라는 휴대용 단말(10) 내 구현된 장치로서, 사용자의 카메라 조작에 의해 촬영이 동작하면, 휴대용 단말(10)은 실제 영상을 획득한다.
또한, 휴대용 단말(10)은 측정 정보 및 사용자의 입력 정보를 수집한다(S120).
일 예로, 휴대용 단말(10)은 다수의 측정 모듈로부터 측정 정보를 수집한다. 여기서, 다수의 측정 모듈은 GPS 모듈, 자이로스코프(gyroscope) 모듈을 포함하며, 이러한 측정 모듈은 휴대용 단말(10)에 구현된 것일 수 있다.
GPS 모듈은 휴대용 단말(10)의 위치 정보를 수집하기 위한 것으로서, GPS(Gobal Positioning System) 위성으로부터 위치 좌표(위도/경도) 데이터를 수집할 수 있는 모듈이다. 또한, 자이로스코프 모듈은 휴대용 단말(10)의 방향 정보를 수집하기 위한 것으로서, 로터축(rotor axid)과 그 로터축과 직교한 수평축 및 수직축으로 구성된 자이로스코프(또는, 기울기 및 전자 나침반)를 이용하여 휴대용 단말(10)의 방향 및 각도 데이터를 수집할 수 있는 모듈이다.
바람직하게, 휴대용 단말(10)은 카메라에서 실제 영상을 획득할 때(즉, 사용자가 실제 영상을 촬영할 시), GPS 모듈로부터 휴대용 단말(10)의 위치 좌표 데이터를 위치 정보로 수집하고, 자이로스코프 모듈로부터 휴대용 단말(10)이 향하고 있는 방향(특히, 카메라가 촬영하는 방향) 및 기울어진 각도 데이터를 방향 정보로 수집한다.
다른 예로, 휴대용 단말(10)은 입력 수단을 통해 입력되는 입력 정보를 수집한다. 여기서, 입력 수단은 사용자의 입력을 받기 위해 휴대용 단말(10)에 장착된 자판 입력 장치 또는 터치 입력 장치일 수 있다.
예컨대, 사용자는 실제 영상을 이용하여 생성되는 증강 현실 영상에서 원하는 정보가 서비스되도록 요청 정보를 휴대용 단말(10)의 입력 수단을 통해 입력할 수 있다. 또는, 사용자는 증강 현실 영상에서 서비스 가능한 정보들 중 조건에 만족하는 정보만이 서비스되도록 조건 정보를 휴대용 단말(10)의 입력 수단을 통해 입력할 수 있다.
휴대용 단말(10)은 단계 S110에서 획득된 실제 영상과 단계 S120에서 수집된 측정 정보 및 입력 정보를 스트리밍 서버(20)로 전송한다(S130).
한편, 단계 S110에서 획득된 실제 영상을 스트리밍 서버(20)에 전송하기 전에, 휴대용 단말(10)은 실제 영상의 사이즈(용량)를 줄이기 위한 압축(compress) 과정을 수행한다. 이는, 스트리밍 서버(20)로 실제 영상의 정보 누락 또는 오류를 방지하기 위해, 실제 영상의 사이즈를 전송이 용이한 사이즈로 압축하는 것이다. 이를 위해, 이를 위해, 휴대용 단말(10)은 영상 압축을 위한 영상 압축 기능을 내장할 수 있다.
이렇게 압축된 실제 영상과 측정 정보 및 입력 정보는 무선 통신을 통해 휴대용 단말(10)에서 스트리밍 서버(20)로 전송된다. 이때, 휴대용 단말(10)은 무선 통신을 통해 스트리밍 서버(20)와 정보를 송수신한다. 여기서, 무선 통신은 블루투스, NFC, RFID 등과 같은 근거리 무선 통신, Wi-Fi, Wibro 등과 같은 원거리 무선 통신, 및 3G, LTE 등과 같은 이동통신을 포함할 수 있으며, 이에 한정되는 것은 아니다.
스트리밍 서버(20)는 휴대용 단말(10)로부터 수신된 정보를 이용하여 증강 현실 영상을 생성한다(S210).
이때, 스트리밍 서버(20)는 휴대용 단말(10)로부터 전송된 실제 영상, 측정 정보 및 입력 정보를 수신한다. 바람직하게, 스트리밍 서버(20)는 휴대용 단말(10)과 동일한 통신(유선 또는 무선 통신)을 지원하는 통신 모듈을 포함하며, 이를 통해 정보를 수신한다.
스트리밍 서버(20)는 휴대용 단말(10)로부터 수신된 실제 영상, 측정 정보 및 입력 정보와 별도의 메모리로부터 획득되는 3D 객체 데이터를 혼합하여 증강 현실 영상을 생성한다.
구체적으로, 스트리밍 서버(20)는 수신된 측정 정보를 이용하여 휴대용 단말(10)의 카메라 위치를 파악한다. 이때, 수신된 측정 정보 즉, 위치 정보 및 방향 정보는 휴대용 단말(10)의 사양에 따라 오차 범위가 크기 때문에, 스트리밍 서버(20)는 수신된 실제 영상을 더 고려하여 휴대용 단말(10)의 카메라 위치에 대해 정밀하게 계산한다.
예컨대, 스트리밍 서버(20)는 실제 영상에 포함된 객체(사물, 인물, 건물 등 카메라로 찍은 실제 영상에 포함된 객체)가 촬영된 형태를 분석하여, 휴대용 단말(10)로부터 수신된 측정 정보의 위치 및 방향 정보의 오차를 확인한다. 이를 통해 스트리밍 서버(20)는 휴대용 단말(10)보다 상대적으로 정확하게 휴대용 단말(10)의 위치를 파악할 수 있다.
또한, 스트리밍 서버(20)는 수신된 실제 영상에 대한 깊이(Depth) 영상을 생성한다. 예컨대, 생성부(230)는 저장부(220)에 저장된 3D 객체 정보와 객체의 위치 정보를 사용하여 3D 영상을 생성해냄으로써, 깊이 영상을 만들어 낸다.
이를 통해, 스트리밍 서버(20)는 증강 현실 영상을 생성할 시, 가까운 거리에 위치한 객체가 상대적으로 먼 거리에 위치한 객체에 의해 가려지는 오류를 방지할 수 있다.
스트리밍 서버(20)는 실제 영상과 가상 영상을 합성하여 증강 현실 영상을 생성한다. 이때, 스트리밍 서버(20)는 별도의 메모리에 저장된 3D 객체 데이터를 이용하여 가상 영상을 생성한다.
여기서, 메모리는 여러 사람에 의해 공유되어 사용될 목적으로 통합하여 관리되는 데이터베이스(DataBase, DB)의 형태일 수 있다. 예컨대, 메모리에는 다수의 객체 데이터가 저장되며, 바람직하게, 다수의 객체 데이터는 3D형태의 가상의 3D 객체 데이터이다. 이러한 3D 객체 데이터는 실제 영상에 합성(중첩/혼합)되어 증강 현실 영상을 생성하는데 이용된다. 또한, 메모리에는 3D 객체 데이터와 관련된 정보가 저장될 수 있으며, 이 정보는 증강 현실 영상 생성 시 이용될 수도 있다. 또한, 이러한 정보는 이후 증강 현실 정보로 사용자에게 제공될 수도 있다.
예컨대, 스트리밍 서버(20)는 실제 영상에 포함된 객체들에 해당하는 3D 객체 데이터를 이용하여 가상 영상을 생성한다.
나아가, 사용자의 입력 정보에 의해 실제 영상과 가상 영상의 합성에 의해 생성된 증강 현실 영상에 덧붙여 증강 현실 정보(문자, 표식, 음향 등) 또한 제공해야 하는 경우, 스트리밍 서버(20)는 생성된 증강 현실 영상에 메모리로부터 획득되는 증강 현실 정보를 포함시킬 수 있다.
스트리밍 서버(20)는 이렇게 생성된 증강 현실 영상을 휴대용 단말(10)로 전달한다(S220).
단계 S210과 마찬가지로, 스트리밍 서버(20)는 무선 또는 유선 통신을 통해 증강 현실 영상을 휴대용 단말(10)로 전달한다.
휴대용 단말(10)은 스트리밍 서버(20)로부터 증강 현실 영상을 수신하면, 이를 사용자에게 제공한다(S140).
구체적으로, 휴대용 단말(10)은 스트리밍 서버(20)로부터 수신된 증강 현실 영상을 화면 표시하여 사용자에게 제공한다. 이를 위해, 휴대용 단말(10)은 증강 현실 영상 및 그와 관련된 정보를 화면 출력하기 위한 액정 표시 장치(Liquid Crystal Display)를 포함한다.
이때, 휴대용 단말(10)은 스트리밍 서버(20)로부터 수신된 증강 현실 영상 및 정보가 압축된 정보임에 따라, 영상 처리 프로그램을 이용하여 디코딩(압출 풀림, decompress)하여 화면 출력할 수 있다. 이와 같은 과정을 통해, 휴대용 단말(10)은 증강 현실 영상 및 정보를 가시화하여 증강 현실 서비스를 사용자에게 제공한다.
경우에 따라서, 휴대용 단말(10)은 증강 현실 정보를 음향 출력하여 사용자에게 제공할 수도 있다. 예컨대, 스트리밍 서버(20)로부터 수신되는 증강 현실 정보에 음향 정보가 포함된 경우, 휴대용 단말(10)은 스피커를 통해 소리로써 사용자에게 증강 현실 정보를 제공할 수 있다. 이때, 휴대용 단말(10)은 사용자의 음향 재생 입력이 입력된 경우에만 스피커를 통해 증강 현실 정보를 제공한다.
이와 같이, 본 발명은 휴대용 단말에서 획득된 실제 영상, 위치 정보 및 입력 정보를 무선 통신을 통해 별도의 스트리밍 서버에 전송하여 스트리밍 서버에서 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 다시 휴대용 단말로 전송하여 사용자에게 제공함으로써, 상대적으로 사양이 낮은 휴대용 단말에서 증강 현실 영상을 생성하는 것에 비해 정확하고 고품질의 증강 현실 영상을 생성하여 사용자에게 제공할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10 : 휴대용 단말 110 : 촬영부
120 : 수집부 130 : 단말 통신부
140 : 출력부 20 : 스트리밍 서버
210 : 서버 통신부 220 : 저장부
230 : 생성부

Claims (1)

  1. 증강 현실 서비스 시스템에서 스트리밍 서버를 이용한 증강 현실 서비스 방법에 있어서,
    휴대용 단말에서 수집된 실제 영상, 측정 정보 및 입력 정보를 수신하는 단계;
    수신된 상기 실제 영상, 상기 측정 정보 및 상기 입력 정보를 이용하여 증강 현실 정보를 생성하는 단계; 및
    생성된 상기 증강 현실 정보를 사용자에게 제공하도록 상기 휴대용 단말로 전달하는 단계;
    를 포함하는 증강 현실 서비스 방법.
KR1020140006680A 2014-01-20 2014-01-20 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법 KR20150086698A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140006680A KR20150086698A (ko) 2014-01-20 2014-01-20 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140006680A KR20150086698A (ko) 2014-01-20 2014-01-20 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20150086698A true KR20150086698A (ko) 2015-07-29

Family

ID=53876202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140006680A KR20150086698A (ko) 2014-01-20 2014-01-20 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR20150086698A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102361178B1 (ko) * 2020-12-02 2022-02-15 한국전자기술연구원 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102361178B1 (ko) * 2020-12-02 2022-02-15 한국전자기술연구원 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법
WO2022119022A1 (ko) * 2020-12-02 2022-06-09 한국전자기술연구원 저지연 콘텐츠 스트리밍을 지원하는 콘텐츠 서버 및 방법

Similar Documents

Publication Publication Date Title
US10136057B2 (en) Image management system, image management method, and computer program product
US9032479B2 (en) Method, mobile terminal and system for providing different authentication values according to contact method of mobile terminal
US9584980B2 (en) Methods and apparatus for position estimation
KR101373007B1 (ko) 주변 기기 식별 방법 및 장치
US11570745B2 (en) Positioning method and apparatus
US20200318988A1 (en) Methods, systems, and devices for displaying maps
CN102023289B (zh) 电子装置及地图显示方法
US20230284000A1 (en) Mobile information terminal, information presentation system and information presentation method
US8903957B2 (en) Communication system, information terminal, communication method and recording medium
KR20180037715A (ko) 무선 디바이스 및 무선 시스템
CN110532474B (zh) 信息推荐方法、服务器、系统以及计算机可读存储介质
JP4697931B2 (ja) 情報提供システムおよび携帯端末
KR20150086698A (ko) 스트리밍 서버를 이용한 증강 현실 서비스 시스템 및 그 동작 방법
CN110095792A (zh) 定位终端的方法及装置
CN110320496B (zh) 一种室内定位方法及装置
CN114356182A (zh) 物品定位方法、装置、设备及存储介质
JP5285650B2 (ja) 情報提供システム、高度情報取得システム、高度情報取得装置及びプログラム
JP6428124B2 (ja) 端末装置、コミュニケーションシステム、方法およびプログラム
KR100722307B1 (ko) 방위 센서를 이용하여 감지되는 대상에 대한 상세 정보를제공할 수 있는 방법 및 시스템
CN112292876B (zh) 用于促进对天线的调谐的装置、方法和计算机程序
KR101729115B1 (ko) 이동 단말기
CN118786676A (zh) 运动图像的收发系统、传送终端、程序及方法
KR20150099939A (ko) 이동 단말기 및 상기 이동 단말기에서의 데이터 공유 방법
JP2019008594A (ja) 情報処理装置、情報処理方法及びプログラム
KR20130137075A (ko) 이미지 데이터 저장 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application