KR20110022232A - 이동 로봇 입체 영상 기반 4ｄ 체험 시스템 및 그 서비스 제공방법 - Google Patents

이동 로봇 입체 영상 기반 4ｄ 체험 시스템 및 그 서비스 제공방법 Download PDF

Info

Publication number
KR20110022232A
KR20110022232A KR1020090079731A KR20090079731A KR20110022232A KR 20110022232 A KR20110022232 A KR 20110022232A KR 1020090079731 A KR1020090079731 A KR 1020090079731A KR 20090079731 A KR20090079731 A KR 20090079731A KR 20110022232 A KR20110022232 A KR 20110022232A
Authority
KR
South Korea
Prior art keywords
sensory effect
mobile robot
image
media
unit
Prior art date
Application number
KR1020090079731A
Other languages
English (en)
Inventor
오현우
장종현
박광로
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090079731A priority Critical patent/KR20110022232A/ko
Publication of KR20110022232A publication Critical patent/KR20110022232A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/05—Digital input using the sampling of an analogue quantity at regular intervals of time, input from a/d converter or output to d/a converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Abstract

본 발명은 이동 로봇이 특정 지형을 이동하면서 전·후·상·하·좌·우로 흔들리는 움직임 정보를 파악하여 4D-의자에 앉아있는 사용자에게 이동 로봇에 앉아있는 것과 같은 실감효과를 제공하고, 입체 영상 카메라를 통해 촬영된 영상을 3D 입체 영상으로 재현함으로써, 실감효과를 극대화할 수 있는 4D 체험 서비스를 제공한다.

Description

이동 로봇 입체 영상 기반 4Ｄ 체험 시스템 및 그 서비스 제공방법{FOUR DIMENSION REAL FEELING SYSTEM BASED ON MOVING ROBOT 3D VIDEO AND METHOD FOR PROVIDING SERVICE USING THE SYSTEM}
본 발명은 이동 로봇 입체 영상 기반 4Ｄ 체험 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 실감 효과를 제공할 수 있는 이동 로봇 입체 영상 기반 4Ｄ 체험 시스템 및 그 서비스 제공방법에 관한 것이다.
본 발명은 지식경제부 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다. [과제관리번호: 2007-S-010-03, 과제명: SMMD기반 유비쿼터스홈 미디어 서비스 시스템 개발]
실감 재현 시스템(Single Media Multi Device: SMMD) 기술은 기존의 A/V 및 텍스트 위주의 미디어에 디바이스 동기 및 제어 신호를 부가한 신개념의 미디어를 다양한 주변 디바이스와 연동하여 실감 있는 미디어 서비스를 제공하는 기술이다.
SMMD에 기술과 관련된 종래의 기술(논문: 'Architecture of the SMMD Media Service System', E-ACTIVITES, 2007)에서는, 하나의 미디어에 실감 효과 메타 데이터를 추가하여 단일 ne-미디어가 생성된다. 단일 ne-미디어는 하나의 파일로 제 작되어, 홈서버에 저장된다. 홈서버는 ne-미디어 파일을 읽어 들여 실감효과 메타데이터를 추출하고, 미디어와 동기화를 맞추어 실감효과 디바이스를 제어함으로써, 실감효과를 극대화하는 서비스 구조를 제공한다.
SMMD에 기술과 관련된 또 다른 종래의 기술(한국 특허 출원 공개 번호 10-2008-0016393, 'SMMD 기반 유비쿼터스 홈 미디어 서비스 장치 및 방법과 그를 이용한 홈 미디어 서비스 시스템 및 그 방법')에서는, 동영상, 오디오 및 텍스트로 이루어진 기존의 미디어에 실감 서비스를 위한 디바이스 제어 및 동기화 정보를 추가할 수 있는 새로운 구조의 미디어(ne-미디어)를 생성한다.
상기 생성한 ne-미디어에 개인의 취향 및 주변 디바이스 환경에 맞는 실감 재현 정보를 입력한 후 주변 디바이스로 전송함으로써, 가정, 사무실, 공공 장소 등 사용자의 물리적 위치에 관계없이 주변의 다양한 기능을 가진 디바이스들이 ne-미디어를 통해 자율적으로 융합하여 사용자에게 실감 있는 미디어 서비스를 제공한다.
그러나 상기 종래의 기술들은 기존에 이미 생성된 미디어에 저작자가 의도한 실감효과를 추가하여 ne-미디어를 생성한다. 따라서, 이동로봇에 의해 획득된 3D 입체 영상 즉, 의도하지 않은 실시간의 3D 입체 영상에 실감효과를 제공할 수 없다.
따라서, 본 발명의 목적은 의도하지 않은 실시간의 3D 입체 영상에 실감효과를 제공하고, 이에 기초하여 현실감 있는 4D 체험 서비스를 제공하는 이동 로봇에 의해 획득된 입체 영상 기반의 4Ｄ 체험 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 상기 시스템을 이용한 이동 로봇에 의해 획득된 입체 영상 기반 4Ｄ 체험 서비스 제공방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 이동 로봇에 의해 획득된 입체 영상 기반의 4Ｄ 체험 시스템은, 입체 영상 카메라와 각도 센서를 내장하고, 상기 입체 영상 카메라를 이용하여 이동 중에 촬영한 3D 입체 영상 데이터를 생성하고, 상기 각도 센서에 의해 감지된 센싱 데이터를 생성하는 이동 로봇과, 상기 3D 입체 영상 데이터와 상기 센싱 데이터를 무선 통신 방식에 따라 실시간으로 수신하고, 상기 수신된 3D 입체 영상 데이터와 상기 센싱 데이터를 이용하여 상기 이동 로봇의 움직임을 분석하여, 실감효과 메타데이터를 생성하고, 상기 입체 영상 데이터에 상기 실감효과 메타데이터를 추가한 ne-미디어를 생성하는 SMMD(Single Media Multi Device) 네트워크 서버 및 상기 생성된 ne-미디어를 실시간으로 수신하고, 상기 수신된 ne-미디어로부터 3D 영상과 상기 3D 영상에 동기 된 상기 실감효과 메타데이터를 분리하고, 분리된 상기 3D 영상과 상기 실감효과 메타데이터에 근거하여 상기 이동 로봇의 움직임에 대응하는 실감효과를 재현하는 실감 효과 재현 디바이스를 제어하는 SMMD 홈서버를 포함한다.
상기와 같은 다른 목적을 달성하기 위한 본 발명의 다른 일면에 따른 이동 로봇에 의해 획득된 입체 영상 기반 4Ｄ 체험 서비스 제공방법은, 이동 로봇에 내장된 입체 영상 카메라와 각도 센서를 이용하여 이동 중에 촬영한 3D 입체 영상 데이터 및 센싱 데이터를 생성하는 단계와, SMMD 네트워크 서버가 상기 생성된 3D 입체 영상 데이터와 상기 생성된 센싱 데이터를 이용하여 상기 이동 로봇의 움직임을 분석하여, 실감효과 메타데이터를 생성하고, 상기 입체 영상 데이터에 상기 생성된 실감효과 메타데이터를 추가한 ne-미디어를 생성하는 단계 및 SMMD 홈서버가 상기 생성된 ne-미디어를 실시간으로 수신하고, 상기 수신된 ne-미디어로부터 3D 영상과 상기 3D 영상에 동기 된 상기 실감효과 메타데이터를 분리하고, 분리된 상기 3D 영상과 상기 실감효과 메타데이터에 근거하여 상기 이동 로봇의 움직임에 대응하는 실감효과를 재현하는 실감효과 재현 디바이스를 제어하는 단계를 포함한다.
본 발명에 의하면, 기존에는 이미 제작된 영상에 실감효과를 추가하여 실감효과 디바이스를 통해 실감효과를 제공한 것과는 달리, 의도하지 않은 실시간의 3D 입체 영상에 실감효과를 제공할 수 있다.
또한 본 발명에서는, 이동 로봇에 장착된 자이로 센서로부터 감지된 센싱 데이터를 기반으로 로봇의 움직임을 분석하고, 분석된 결과에 기초하여 움직임에 대한 실감효과 메타데이터를 생성하고 추가함으로써, SMMD 홈서버의 제어를 통해 움직임에 대한 실감효과를 4D 의자를 통해 재현한다. 이로 인해, 현실감 있는 4D 체 험을 가능하게 한다.
또한 본 발명에서는, 자이로 센서로부터 감지된 센싱 데이터 간의 연관성을 분석하여 에그리게이션 모델을 적용함으로써, 무선 네트워크의 부하를 감소시키고, 동시에 움직임에 대한 추출이 가능하다. 더 나아가 이동 로봇의 움직임의 추출 오류에 대해 정정을 통해 센싱 주기를 제어할 수 있다.
또한 본 발명에서는, 다양한 센서로부터 수집될 수 있는 실감효과 메타데이터의 생성과 실시간 삽입에 의해 ne-미디어를 생성하고, 생성된 ne-미디어를 전송함으로써, 미디어와 연계하여 실감효과 및 디바이스 제어를 실시간으로 구현할 수 있다.
본 발명은 이동 로봇이 특정 지형을 이동하면서 전·후·상·하·좌·우로 흔들리는 움직임 정보를 파악하여 4D-의자에 앉아있는 사용자에게 이동 로봇에 앉아있는 것과 같은 실감효과를 제공하고, 입체 영상 카메라를 통해 촬영된 영상을 3D 입체 영상으로 재현함으로써, 실감효과를 극대화할 수 있다.
이하 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예가 기술된다. 도면들 중 동일한 구성요소들에 대해서는 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 또한 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시 예에 따른 이동 로봇 입체 영상 기반 4D 체험 시스템 의 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 이동 로봇 입체 영상 기반 4D 체험 시스템은 이동 로봇(100), SMMD 네트워크 서버(200), SMMD 홈서버(400) 및 복수의 실감 효과 재현 디바이스(500, 600, 700, 800A-800C)를 포함한다.
이동 로봇(100)에는, 3D 입체 영상 카메라(160)와 각속도 센서(이하, "자이로 센서"라 일컫는다)가 내장된다. 본 실시예에서는 자이로 센서로 한정하여 설명하고 있으나, 물체의 움직임 또는 이동 경로 등을 감지할 수 있는 모든 형태의 센서를 포함한다. 예컨대, 자이로 센서 대신 가속도 센서가 사용될 수도 있으며, 가속도 센서와 각속도 센서를 함께 이용하여 물체의 움직임 또는 이동 경로 등을 감지할수도 있다.
3D 입체 영상 카메라(160)는 서로 다른 초점을 갖는 두 대 이상의 카메라일 수도 있으며, 3D 입체 영상을 획득할 수 있는 일체형의 카메라일 수도 있다. 3D 입체 영상 카메라(160)는 이동 로봇(100)이 특정 지형을 이동하는 동안 특정 지형의 주변 상황을 실시간으로 촬영한다. 자이로 센서(150)는 이동 로봇(100)의 이동 중에 발생하는 이동 로봇(100)의 움직임을 감지하고, 감지된 결과에 따라 이동 로봇(100)의 전방, 후방, 상방, 하방, 좌방, 우방 이동 센싱 데이터를 포함하는 자이로 센싱 데이터를 생성한다. 이러한 3D 입체 영상 카메라(160)와 자이로 센서(150)를 내장한 이동 로봇(100)은 각종 무선 통신 장비를 구비하고, 이 무선 통신 장비를 통해 이동성을 지원하기 위한 무선 통신 기능(170)을 수행할 수 있다. 이동 로봇(100)은 무선 통신 기능(170)을 통해 3D 입체 영상 데이터와 자이로 센싱 데이터 를 무선 통신 기능(103)을 통해 실시간으로 SMMD 네트워크 서버(200)로 전송한다.
SMMD 네트워크 서버(200)는 이동 로봇(100)과 무선 통신(170)이 가능한 거리에 위치하며, 무선 통신 기능(170)을 통해 이동 로봇(100)으로부터 3D 입체 영상 데이터와 자이로 센싱 데이터를 수신한다. SMMD 네트워크 서버(200)는 3D 입체 영상 데이터를 좌 영상 데이터와 우 영상 데이터로 배치하고, 좌 영상 데이터 및 우 영상 데이터에 실감효과 메타데이터를 각각 추가하여, 좌 영상 ne-미디어 및 우 영상 ne(neo)-미디어를 각각 생성한다. 즉, SMMD 네트워크 서버(200)는 자이로 센서(150)로부터 감지된 자이로 센싱 데이터에 포함된 방향성 정보, 속도 정보, 변곡성 정보, 경로 추적 정보 등을 통해 이동 로봇(100)의 움직임을 분석하고, 분석 결과로부터 이동 로봇(100)의 움직임에 대한 정보를 추출한다. 이후, SMMD 네트워크 서버(200)는 추출된 움직임에 대한 정보를 실감효과 메타데이터로서 생성하고, 생성된 실감효과 메타데이터를 좌/우 영상 데이터에 추가하여, 좌/우 영상 ne(neo 또는 new)-미디어를 생성한다. SMMD 네트워크 서버(200)는 유선 또는 무선 인터페이스 방식(250)을 통해 인터넷(300)에 접속하여, 좌/우 영상 ne-미디어를 실시간으로 SMMD 홈서버(400)로 전송한다.
SMMD 홈서버(400)는 네트워크 인터페이스 방식(350)을 통해 실시간으로 좌/우 영상 ne-미디어를 수신한다. SMMD 홈서버(400)는 수신된 좌/우 영상 ne-미디어를 파싱하여, 좌/우 영상을 분리하고, 분리된 좌/우 영상은 A/V 인터페이스(450)에 정합된 두 대의 빔프로젝터들(500)을 통해 스크린(600) 상에 투사되어 3D를 구현한다. SMMD 홈서버(400)는 파싱을 통해 좌/우 영상 ne-미디어로부터 분리된 실감효과 메타데이터를 분석하고, 분석결과에 따라 어떤 디바이스를 통해 실감효과를 재현할 것인지를 결정한다. SMMD 홈서버(400)는 4D-의자(700)를 포함하는 실감효과 디바이스(800A-800C)를 좌/우 영상 데이터에 동기 시켜, 시리얼 통신(470)을 통해 상기 실감효과 디바이스(700, 800A-800C)을 제어하고, 상기 제어에 따라 실감효과를 재현한다.
도 2는 도 1에 도시된 이동 로봇의 내부 구성을 보여주는 블록도이다.
도 2를 참조하면, 이동 로봇(100)은 카메라 인터페이스부(101)를 통해 3D 입체 영상 카메라(160)와 정합된다.
입체 영상 입력부(104)는 카메라 인터페이스부(101)를 통해 3D 입체 영상 카메라(160)로부터 3D 입체 영상 데이터를 프레임 단위로 수신한다.
기준 시간 삽입부(103)는 이동 로봇(100) 자체에 내장된 클록 생성기를 통해 시스템 클록을 생성하고, 생성된 시스템 클록을 이용하여 기준 시간 정보를 설정한다. 설정된 기준 시간 정보는 3D 입체 영상 데이터에 프레임 단위로 삽입되고, 또한 센싱 데이터의 기준 시간으로 센싱 데이터에 삽입된다. 실시간으로 수신되는 3D 입체 영상 데이터에는 자이로 센서(150)로부터의 센싱 데이터와의 동기화를 위한 기준 시간 정보가 포함되어 있지 않다. 따라서, 실시간으로 수신되는 3D 입체 영상 데이터와 센싱 데이터 간의 동기화를 위해 3D 입체 영상 데이터와 센싱 데이터에 각각 기준 시간을 삽입해 주는 기준 시간 삽입부(103)가 필요하다.
이동 로봇(100)은 자이로 센서 인터페이스부(102)를 통해 자이로 센서(150)와 정합된다.
센싱 데이터 입력부(206)는 자이로 센서 인터페이스부(102)를 통해 자이로 센서(150)로부터 자이로 센싱 데이터를 수신한다.
센싱 주기 제어부(105)는 센싱 데이터 입력부(206)에서 센싱 데이터를 수신하는 주기(또는 센싱 주기)를 제어한다. 즉, 센싱 주기 제어부(105)는 SMMD 네트워크 서버(200)로부터의 센싱 주기 제어 명령이 무선 인터페이스부(114)를 통해 센싱 주기 제어 명령 수신부(108)에 수신될 때, 자이로 센서(150)의 센싱 주기를 제어한다. 이러한 센싱 주기 제어부(105)는 상기 센싱 주기로 인한 상기 이동 로봇(100)의 움직임 정보에 대한 분석 오류와 상기 이동 로봇(100)의 이동 환경 변화에 따라 센싱 주기를 제어한다. 이에 따라 센싱 데이터의 유효성을 보장하고, 센싱 부하를 줄일 수 있다.
센싱 데이터 입력부(206)에 수신되는 센싱 데이터 간의 연관성을 분석하고, 무선 통신의 열악성을 고려하기 위하여, 센싱 데이터의 에그리게이션(aggregation)이 요구된다. 센싱 데이터의 에그리게이션은 어떠한 모델을 적용하여 에그리게이션을 할 것인지에 대해 판단되어야 한다. 예컨대, 1초 동안에 수신된 복수의 센싱 데이터의 값들이 서로 편차가 없는 경우, 평균을 구하는 에그리게이션이 가능하다. 이 경우, 1초 동안 수신된 모든 값들에 대해 개별적으로 처리할 필요가 없이 평균을 구한 값을 무선통신을 통해 SMMD 네트워크 서버로 전송함으로써, 무선 네트워크의 부하를 줄일 수 있다.
한편, 이동 로봇(100)의 움직임이 급변하는 상황에서는 평균을 구하는 에그리게이션은 오히려 이동 로봇의 움직임 파악을 저해하는 요인이 될 수 있다. 따라 서 이 경우에는 개별 센싱 데이터의 값이 움직임을 파악하는데 중요한 요소가 될 수 있다.
센싱 데이터 연관성 분석부(107)는 이처럼 수신되는 센싱 데이터의 전후 관계성을 분석하고, 분석결과를 에그리게이션 모델 적용부(110)로 전달한다.
에그리게이션 모델 적용부(110)는 분석결과를 이용하여 평균, 편차, 개별값 등과 같은 에그리게이션 모델을 선택한다.
센싱 데이터 에그리게이션부(109)는 에그리게이션 모델 적용부(110)에 의해 선택된 에그리게이션 모델에 따라 센싱 데이터 입력부(106)로부터 입력된 센싱 데이터를 에그리게이션 한다.
실시간 영상 데이터 전송부(111)는 입체 영상 입력부(104)로부터 전달된 3D 입체 영상 데이터를 유무선 인터페이스부(114)를 통해 SMMD 네트워크 서버로 전송한다. 실시간 센싱 데이터 전송부(113)는 센싱데이터 에그리게이션부(109)로부터 전달된 에그리게이션된 센싱 데이터를 유무선 인터페이스부(114)를 통해 SMMD 네트워크 서버로 전송한다. 이때, 3D 입체 영상 데이터와 에그리게이션된 센싱 데이터의 실시간으로 대역폭을 확보하여 데이터 실시간 데이터 전송을 위해 실시간 세션 설정부(112)는 3D 입체 영상 데이터와 센싱 데이터의 실시간 전송 세션을 각각 설정한다.
도 3은 도 1에 도시된 SMMD 네트워크 서버의 구성을 보여주는 블록도이다.
도 3을 참조하면, SMMD 네트워크 서버(200)는 무선 인터페이스부(201)를 통하여 이동 로봇(100, 도 1을 참조)으로부터 실시간 3D 입체 영상 데이터와 센싱 데 이터를 수신한다. 이를 위하여 SMMD 네트워크 서버(200)는 입체 영상 수신부(202)와 센싱 데이터 수신부(206)를 포함한다.
입체 영상 수신부(202)는 무선 인터페이스부(201)를 통해 이동 로봇(100)으로부터 실시간 3D 입체 영상 데이터를 수신하고, 수신된 3D 입체 영상 데이터를 좌/영상 배치부(203)로 출력한다.
좌/영상 배치부(203)는 3D 입체 영상 데이터를 좌 영상 데이터와 우 영상 데이터로 순서적으로 배치하고, 순서적으로 배치된 좌/우 영상 데이터를 좌/우 영상 ne-미디어 생성부(204)로 출력한다.
좌/우 영상 ne-미디어 생성부(204)는 배치된 좌/우 영상 데이터에 실감효과 메타데이터를 추가하여 ne-미디어를 생성한다. 생성된 ne-미디어는 좌/우 영상 ne-미디어 생성부(204)에 의해 파일 형태(이하, ne-미디어 파일)로 저장될 수도 있고, 기 설정된 전송 포맷에 따라 변환될 수도 있다. ne-미디어가 ne-미디어 파일로 저장되는 경우, 좌/우 영상 ne-미디어 생성부(204)에 의한 ne-미디어의 생성과정에서 실감효과 메타데이터가 추가될 수 있다. TS(Transport Stream) 데이터와 같은 방송형 전송 포맷으로 전송되는 경우, 실감효과 메타데이터는 실시간 ne-미디어 전송부(205)에 의한 ne-미디어 전송에 앞서 상기 ne-미디어에 추가될 수 있다.
실시간 ne-미디어 전송부(205)는 좌/우 영상 ne-미디어를 유선 인터페이스부(211)를 통해 실시간으로 네트워크상에 접속된 SMMD 홈서버(400, 도 1을 참조)로 전송된다.
센싱 데이터 수신부(206)는 무선 인터페이스부(201)를 통해 에그리게이션된 센싱 데이터를 수신하고, 수신된 에그리게이션된 센싱 데이터를 움직임 추출부(207)로 전송한다.
움직임 추출부(207)는 센싱 데이터로부터 의미 있는 움직임 정보를 추출한다. 추출된 움직임 정보는 실감효과 메타데이터 생성부(209)로 출력한다. 움직임 추출 과정에서 발생하는 오류 및 효율적인 센싱을 위한 센싱 주기의 조정이 필요한 경우, 센싱 주기 제어 명령 송신부(208)에서 센싱 주기 제어 명령을 생성하고, 생성된 센싱 주기 제어 명령을 무선 인터페이스부(201)를 통해 이동 로봇(100: 도 1을 참조)으로 전송한다. 여기서, 센싱 주기의 조정이 필요한 경우는, 일례로 이동 로봇(100)이 1초 단위로 센싱하면서 평탄한 길을 이동하다가 울퉁불퉁한 길을 이동하게 되면, 센싱 주기는 1초 단위보다 작은 예컨대, 0.1초 단위로 짧아져야 한다. 이를 위하여, 앞서 전술한 바와 같이, 이동 로봇(100)에서는 1초 단위로 센싱되는 데이터의 연관성을 분석하고, 에그리게이션의 모델을 적용하는 것이다. 움직임 추출부(207)는 움직임 정보의 추출 오류 및 효율적인 센싱 주기 제어를 위하여 오류 정정부(207F)를 구비한다.
실감효과 메타데이터 생성부(209)는 움직임 추출부(207)에 의해 추출된 움직임 정보를 전송받고, 전송받은 움직임 정보에 이용하여 정형화되고 표준화된 움직임에 대한 실감효과 메타데이터를 생성한다. 생성된 메타데이터는 실감효과 메타데이터 삽입부(210)로 출력된다.
실감효과 메타데이터 삽입부(210)는 생성된 실감효과 메타데이터를 좌/우 영상 ne-미디어 생성부(204)에 의한 좌/우 영상 ne-미디어 생성 과정에서 삽입하거나 또는 실시간 ne-미디어 전송부(205)에 의한 실시간 ne-미디어 전송에 앞서 삽입한다.
실시간 ne-미디어 전송부(205)는 실감효과 메타데이터가 추가된 좌/우 영상 ne-미디어를 유선 인터페이스부(211)를 통해 네트워크상에 존재하는 홈서버(400, 도 1을 참조)로 전송한다.
도 4는 도 3에 도시된 움직임 추출부의 구성을 보여주는 블록도이다.
도 4를 참조하면, 움직임 추출부(207)는 센싱 데이터 수신부(206)를 통해 전달받은 에그리게이션 센싱 데이터를 입력받아서 움직임 정보를 분석한다. 이를 위하여 움직임 추출부(207)는 방향성 추출부(207A), 변곡성 추출부(207B), 동기화 추출부(207C), 속도 추출부(207D), 경로 추적부(207E) 및 오류 정정부(207F)를 포함한다.
방향성 추출부(207A)는 에그리게이션된 센싱 데이터의 값들이 어떠한 방향으로 진행되고 있는지의 방향성을 추출한다.
변곡성 추출부(207B)는 움직임의 방향이 급작스럽게 변화는 경우를 추출한다.
동기화 추출부(207C)는 이동 로봇(100)의 기준 시간 삽입부(103, 도 2를 참조)에서 삽입된 기준 시간을 기반으로 일련의 움직임 정보에 움직임의 시간을 동기화한다.
속도 추출부(207D)는 움직이는 방향으로 얼마만큼의 속도로 움직이는가를 추출한다.
경로 추적부(207E)는 3차원 상의 움직임 경로를 추적한다.
오류 정정부(207F)는 움직임에 대한 추출 과정에서 센싱 주기가 너무 길어서 움직임을 센싱할 수 없는 경우 즉, 센싱 주기가 기 설정된 임계치 이상인지를 분석하고, 이동 로봇(100, 도 1을 참조)의 이동 지형의 변화 정도에 따라 센싱 주기의 변경이 필요한 경우를 분석한다.
이와 같은 일련의 과정들을 통해 움직임 추출부(207)는 움직임에 대한 의미 있는 정보를 추출한다.
도 5는 도 1에 도시된 SMMD 홈서버 시스템의 구성을 보여주는 블록도이다.
도 5를 참조하면, SMMD 홈서버(400)는 네트워크 인터페이스부(401)를 통하여 인터넷(300, 도 1을 참조)과 연결되며, 상기 인터넷(300)을 통해 실시간 좌/우 영상 ne-미디어를 SMMD 네트워크 서버(104)로부터 수신한다.
구체적으로, SMMD 홈서버(400)는 실시간 ne-미디어 수신부(402), ne-미디어 파싱부(403), 실감효과 디바이스 매핑부(406), 미디어/디바이스 동기화부(407), 좌/우 영상 분리부(408), 미디어 재생부(409), A/V 인터페이스부(410), 실감효과 디바이스 제어부(411) 및 시리어 인터페이스부(412)를 포함한다.
실시간 ne-미디어 수신부(402)는 실시간 좌/우 영상 ne-미디어를 SMMD 네트워크 서버(200, 도 1을 참조)로부터 수신하고. 수신된 실시간 좌/우 영상 ne-미디어를 ne-미디어 파싱부(403)로 전송한다.
ne-미디어 파싱부(403)는 수신된 좌/우 영상 ne-미디어의 전송 프로토콜을 파싱하여, 좌/우 영상 ne-미디어로부터 좌/우 영상 데이터와 실감효과 메타데이터 를 분리하고, 좌/우 영상 ne-미디어로부터 분리된 좌/우 영상 데이터와 실감효과 메타데이터를 각각 좌/우 영상 분리부(404)와 실감효과 메타데이터 분석부(405)로 전송한다.
좌/우 영상 분리부(404)는 좌/우 영상 데이터를 좌 영상 데이터와 우 영상 데이터로 분리하고, 분리된 좌 영상 데이터와 우 영상 데이터를 좌/우 영상 동기화부(408)로 전송한다.
좌/우 영상 동기화부(408)는 좌 영상 데이터와 우 영상 데이터를 개별적으로 입력받아서 좌 영상 데이터와 우 영상 데이터를 동기시킨다.
실감효과 메타데이터 분석부(405)는 ne-미디어 파싱부(403)를 통해 실감효과 메타데이터를 전송받고, 전송받은 실감효과 메타데이터를 분석한다. SMMD 홈서버(400)는 상기 분석된 결과로부터 전송받은 실감효과 메타데이터에 어떠한 실감효과가 존재하고, 해당 실감효과를 언제부터 언제까지 얼마만큼의 성능 효과를 표현하라는 정보를 인지한다. 실감효과 메타데이터 분석부(405)는 인지된 정보를 실감효과 디바이스 매핑부(406)로 전송한다.
실감효과 디바이스 매핑부(406)는 상기 인지된 정보에 근거하여 어떤 디바이스를 통해 실감효과를 재현할 것인지를 선택하고, 선택 결과를 미디어/디바이스 동기화부(407)로 전송한다.
미디어/디바이스 동기화부(407)는 상기 선택 결과에 근거하여 좌 영상 데이터 및 우 영상 데이터와 해당 디바이스을 실감효과 재현 시간을 기준으로 동기시키고, 동기화된 결과인 동기 정보를 실감효과 디바이스 제어부(411)로 전송한다.
미디어 재생부(409)는 좌 영상 데이터와 우 영상 데이터를 재생하고, 재생된 좌 영상 데이터와 우 영상 데이터를 A/V 인터페이스부(410)로 전달하여 재현한다.
실감효과 디바이스 제어부(411)는 미디어/디바이스 동기화부(407)로부터의 동기 정보에 따라 생성된 실감효과 데이터를 생성하고, 생성된 실감효과 데이터를 시리얼 인터페이스부(412)를 통해 4D 의자(700)를 포함하는 실감효과 디바이스(700, 800A-800C)로 전달한다. 실감효과 디바이스(700, 800A-800C)는 실감효과 디바이스 제어부(411)로부터 전달된 실감효과 데이터에 따라 제어된다.
지금까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시 예에 따른 이동 로봇 입체 영상 기반 4D 체험 시스템의 구성도이다.
도 2는 도 1에 도시된 이동 로봇의 내부 구성을 보여주는 블록도이다.
도 3은 도 1에 도시된 SMMD 네트워크 서버의 구성을 보여주는 블록도이다.
도 4는 도 3에 도시된 움직임 추출부의 구성을 보여주는 블록도이다.
도 5는 도 1에 도시된 SMMD 홈서버 시스템의 구조도를 보여주는 블록도이다.

Claims (10)

  1. 내장된 입체 영상 카메라와 각도 센서를 이용하여 3D 입체 영상 데이터 및 센싱 데이터를 각각 생성하는 이동 로봇;
    상기 3D 입체 영상 데이터와 상기 센싱 데이터를 이용하여 상기 이동 로봇의 움직임을 분석하고, 분석결과에 따라 실감효과 메타데이터를 생성하여 상기 입체 영상 데이터에 생성된 상기 실감효과 메타데이터를 삽입한 ne-미디어를 생성하는 SMMD(Single Media Multi Device) 네트워크 서버; 및
    상기 생성된 ne-미디어로부터 3D 영상과 상기 3D 영상에 동기 된 상기 실감효과 메타데이터를 분리하고, 분리된 상기 3D 영상과 상기 실감효과 메타데이터에 근거하여 상기 이동 로봇의 움직임에 대응하는 실감효과를 재현하는 실감효과 재현 디바이스를 제어하는 SMMD 홈서버
    를 포함하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  2. 제1항에 있어서, 상기 실감 효과 재현 디바이스는,
    상기 SMMD 홈서버의 제어에 따라 상기 3D 영상을 출사하는 빔프로젝터;
    출사된 상기 3D 영상을 재현하는 스크린; 및
    상기 실감효과 메타데이터에 근거하여 상기 이동 로봇의 움직임에 대응하는 상기 실감효과를 제공하는 4D-의자를 포함하는 실감효과 디바이스
    를 포함하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  3. 제1항에 있어서, 상기 이동 로봇은,
    상기 3D 입체 영상 데이터와 상기 센싱 데이터 간의 동기화를 위해 상기 3D 입체 영상 데이터와 상기 센싱 데이터에 기준 시간 정보를 실시간으로 삽입하는 기준 시간 삽입부;
    상기 센싱 데이터의 전후 관계성을 분석하는 센싱 데이터 연관성 분석부;
    상기 전후 관계성의 분석결과를 이용하여, 상기 센싱 데이터의 값들의 평균 및 편차를 포함하는 에그리게이션 모델을 선택하는 에그리게이션 모델 적용부;
    상기 선택된 에그리게이션 모델에 따라 상기 센싱 데이터를 에그리게이션하는 센싱 데이터 에그리게이션부;
    센싱 주기 제어명령에 응답하여 상기 각도 센서에 의해 획득된 센싱 데이터의 센싱 주기를 제어하는 센싱 주기 제어부;
    상기 기준 시간 정보가 삽입된 3D 입체 영상 데이터를 무선 통신 방식에 따라 상기 SMMD 네트워크 서버로 전송하는 실시간 영상 데이터 전송부; 및
    상기 에그리게이션된 센싱 데이터를 상기 SMMD 네트워크 서버로 실시간으로 전송하는 실시간 센싱 데이터 전송부
    를 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  4. 제3항에 있어서, 상기 센싱 주기 제어부는,
    상기 센싱 주기로 인한 상기 이동 로봇의 움직임 정보에 대한 분석 오류와 상기 이동 로봇의 이동 환경 변화에 따라 상기 센싱 주기를 제어하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  5. 제3항에 있어서, 상기 기준 시간 정보가 삽입된 3D 입체 영상 데이터와 상기 에그리게이션된 센싱 데이터를 상기 SMMD 네트워크 서버로 실시간 전송을 위해 상기 3D 입체 영상 데이터와 상기 에그리게이션된 센싱 데이터의 실시간 전송 세션을 설정하는 실시간 세션 설정부
    를 더 포함하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  6. 제3항에 있어서, 상기 SMMD 네트워크 서버는,
    상기 실시간 영상 데이터 전송부로부터 상기 3D 입체 영상 데이터를 수신하여, 좌 영상과 우 영상으로 배치하는 좌/우 영상 배치부;
    상기 좌 영상 및 상기 우 영상에 상기 실감효과 메타데이터를 추가하여, 상기 ne-미디어를 생성하는 ne-미디어 생성부;
    상기 생성된 ne-미디어에 실시간으로 실감효과 메타데이터를 추가하여, 상기 SMMD 네트워크 서버로 실시간으로 전송하는 실시간 ne-미디어 전송부;
    상기 에그리게이션된 센싱 데이터에 근거하여 움직임 정보를 추출하는 움직 임 추출부;
    상기 움직임 정보의 추출 과정에서 발생된 오류 및 정정 사항에 기초한 상기 센싱 주기 제어 명령어를 상기 센싱 주기 제어부로 전송하는 센싱 주기 제어 명령 송신부;
    상기 추출된 움직임 정보를 수신하고, 상기 움직임 정보에 대응하는 실감효과 메타데이터를 생성하는 실감효과 메타데이터 생성부; 및
    상기 생성된 실감효과 메타데이터를 상기 ne-미디어 생성부로 전송하여 상기 좌 영상 및 상기 우 영상에 상기 실감효과 메타데이터를 실시간으로 삽입하는 실감효과 메타데이터 삽입부
    를 포함하는 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  7. 제6항에 있어서, 상기 움직임 추출부는,
    상기 에그리게이션된 센싱 데이터의 값들의 방향성을 추출하는 방향성 추출부;
    상기 이동 로봇의 움직임 방향의 변화율을 나타내는 변곡성을 추출하는 변곡성 추출부;
    상기 기준 시간 삽입부에 의해 삽입된 상기 기준 시간 정보에 근거하여 상기 이동 로봇의 일련의 움직임 정보에 움직임 시간을 동기화하는 동기화 추출부;
    상기 움직임 방향으로 상기 이동 로봇의 속도를 추출하는 속도 추출부;
    상기 이동 로봇의 3차원 상의 움직임 경로를 추적하는 경로 추적부; 및
    상기 움직임 정보의 추출 과정에서, 기설정된 임계치 이상인 센싱 주기 및 상기 이동 로봇의 이동 환경의 변화 정도에 근거하여, 상기 센싱 주기의 변경이 필요한 경우를 분석하는 오류 정정부
    를 포함하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  8. 제1항에 있어서, 상기 SMMD 홈서버는,
    상기 SMMD 네트워크 서버로부터 상기 ne-미디어를 실시간으로 수신하고, 상기 수신된 ne-미디어의 전송 프로토콜을 파싱하여, 상기 ne-미디어로부터 좌/우 영상 데이터와 실감효과 메타데이터를 분리하는 ne-미디어 파싱부;
    상기 좌/우 영상 데이터를 좌 영상과 우 영상으로 분리하는 좌/우 영상 분리부;
    상기 좌 영상과 상기 우 영상을 입력받아서 상기 좌 영상과 상기 우 영상을 동기시키는 영상 동기화부;
    ne-미디어 파싱부를 통해 실감효과 메타데이터를 전송받고, 전송받은 실감효과 메타데이터를 분석하는 실감효과 메타데이터 분석부;
    상기 실감효과 메타데이터의 분석 결과에 근거하여 실감효과를 재현하기 위한 디바이스를 선택하는 실감효과 디바이스 매핑부;
    상기 선택 결과에 근거하여 좌 영상 및 우 영상과 상기 선택된 디바이스를 동기시키는 미디어/디바이스 동기화부;
    동기화된 상기 좌 영상과 상기 우 영상을 재생하는 미디어 재생부; 및
    상기 실감효과 메타데이터에 대응하는 실감효과 데이터를 생성하고, 생성된 실감효과 데이터를 상기 실감효과 재현 디바이스로 전달하여, 상기 실감효과 재현 디바이스를 제어하는 실감효과 디바이스 제어부
    를 포함하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 시스템.
  9. 이동 로봇에 내장된 입체 영상 카메라와 각도 센서를 이용하여 3D 입체 영상 데이터 및 센싱 데이터를 각각 생성하는 단계;
    SMMD 네트워크 서버가 상기 생성된 3D 입체 영상 데이터와 상기 센싱 데이터를 이용하여 상기 이동 로봇의 움직임을 분석하고, 분석 결과에 근거하여 실감효과 메타데이터를 생성하고, 상기 입체 영상 데이터에 상기 생성된 실감효과 메타데이터를 삽입한 ne-미디어를 생성하는 단계; 및
    SMMD 홈서버가 상기 생성된 ne-미디어로부터 3D 영상과 상기 3D 영상에 동기 된 상기 실감효과 메타데이터를 분리하고, 분리된 상기 3D 영상과 상기 실감효과 메타데이터에 근거하여 상기 이동 로봇의 움직임에 대응하는 실감효과를 재현하는 실감효과 재현 디바이스를 제어하는 단계
    를 포함하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 서비스를 제공하는 방법
  10. 제9항에 있어서, 상기 실감 효과 재현 디바이스를 제어하는 단계는,
    상기 SMMD 홈서버의 제어에 따라 상기 3D 영상을 출사하는 빔프로젝터를 제어하는 단계;
    상기 출사된 3D 영상을 스크린상에 재현하는 단계; 및
    상기 실감효과 메타데이터에 근거하여 상기 이동 로봇의 움직임에 대응하는 상기 실감효과를 제공하는 4D-의자를 포함하는 실감효과 디바이스를 제어하는 단계
    를 포함하는 것인 이동 로봇에 의해 획득된 입체 영상 기반의 4D 체험 서비스를 제공하는 방법.
KR1020090079731A 2009-08-27 2009-08-27 이동 로봇 입체 영상 기반 4ｄ 체험 시스템 및 그 서비스 제공방법 KR20110022232A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090079731A KR20110022232A (ko) 2009-08-27 2009-08-27 이동 로봇 입체 영상 기반 4ｄ 체험 시스템 및 그 서비스 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090079731A KR20110022232A (ko) 2009-08-27 2009-08-27 이동 로봇 입체 영상 기반 4ｄ 체험 시스템 및 그 서비스 제공방법

Publications (1)

Publication Number Publication Date
KR20110022232A true KR20110022232A (ko) 2011-03-07

Family

ID=43930680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090079731A KR20110022232A (ko) 2009-08-27 2009-08-27 이동 로봇 입체 영상 기반 4ｄ 체험 시스템 및 그 서비스 제공방법

Country Status (1)

Country Link
KR (1) KR20110022232A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185658A1 (en) * 2013-05-15 2014-11-20 Cj 4Dplex Co., Ltd. Method and system for providing 4d content production service and content production apparatus therefor
US11216165B2 (en) 2017-09-15 2022-01-04 Samsung Electronics Co., Ltd. Content processing method and electronic device for supporting same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185658A1 (en) * 2013-05-15 2014-11-20 Cj 4Dplex Co., Ltd. Method and system for providing 4d content production service and content production apparatus therefor
US9830949B2 (en) 2013-05-15 2017-11-28 Cj 4Dplex Co., Ltd. Method and system for providing 4D content production service and content production apparatus therefor
US11216165B2 (en) 2017-09-15 2022-01-04 Samsung Electronics Co., Ltd. Content processing method and electronic device for supporting same

Similar Documents

Publication Publication Date Title
AU2021250896B2 (en) Mixed reality system with spatialized audio
US20200236278A1 (en) Panoramic virtual reality framework providing a dynamic user experience
RU2745414C2 (ru) Устройство обработки информации, способ генерации изображения, способ управления и носитель данных
RU2704608C1 (ru) Устройство управления, способ управления и носитель данных
TWI459369B (zh) 使用頭戴式顯示器用於共享觀察經驗之裝置系統及方法
WO2017200847A1 (en) Intelligent interface for interchangeable sensors
KR20130134130A (ko) 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법
JP2022536182A (ja) データストリームを同期させるシステム及び方法
KR101493884B1 (ko) 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
US20230145948A1 (en) System and method for interleaved media communication and conversion
EP3541068A1 (en) Head-mountable apparatus and methods
JP2019022151A (ja) 情報処理装置、画像処理システム、制御方法、及び、プログラム
EP3742737A2 (en) Image acquisition system and method
KR20210081082A (ko) 객체의 모션 데이터 기반의 아바타 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
KR100961718B1 (ko) 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법
KR20110022232A (ko) 이동 로봇 입체 영상 기반 4ｄ 체험 시스템 및 그 서비스 제공방법
KR20170012109A (ko) 동화상 재생 프로그램, 장치, 및 방법
JP7110378B2 (ja) 深度データを用いた拡張現実画像提供方法及びプログラム
KR20210130486A (ko) 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
WO2020013429A1 (ko) 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
US9516292B2 (en) Image transfer apparatus and method
KR101654009B1 (ko) 4d 데이터 재생 방법 및 시스템
KR102273795B1 (ko) 영상 동기화 처리를 위한 시스템 및 그 제어방법
US20240107089A1 (en) Server, method for processing a video by means of the server, terminal and method used by the terminal to augment the video by means of an object

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination