KR20140093398A - Mpeg-v 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치 - Google Patents

Mpeg-v 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치 Download PDF

Info

Publication number
KR20140093398A
KR20140093398A KR1020130005642A KR20130005642A KR20140093398A KR 20140093398 A KR20140093398 A KR 20140093398A KR 1020130005642 A KR1020130005642 A KR 1020130005642A KR 20130005642 A KR20130005642 A KR 20130005642A KR 20140093398 A KR20140093398 A KR 20140093398A
Authority
KR
South Korea
Prior art keywords
real
media
effect
metadata
immersive
Prior art date
Application number
KR1020130005642A
Other languages
English (en)
Inventor
한미경
김지연
지덕구
윤재관
오현우
박미룡
장종현
박광로
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130005642A priority Critical patent/KR20140093398A/ko
Publication of KR20140093398A publication Critical patent/KR20140093398A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4353—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving decryption of additional data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 명세서에서 이동단말 환경을 위한 실감 미디어의 재현 장치 및 방법을 제공한다. 본 명세서에서 실감미디어를 재생하는 모바일 단말은 실감미디어 파일을 저장하는 실감미디어 저장부; 상기 실감미디어 파일을 로딩(loading)하고, 상기 실감미디어 파일을 분석하여 비디오, 오디오 또는 실감효과 메타데이터로 분리하는 실감미디어 분석부; 상기 비디오 또는 상기 오디오를 디스플레이하는 미디어 디스플레이; 분리된 상기 실감효과 메타데이터를 파싱하는(parsing) 메타데이터 파서; 파싱한 상기 실감효과 메타데이터를 실감효과 별로 매핑하는 메타데이터 매핑부; 상기 실감효과 메타데이터의 시간 동기를 상기 비디오 또는 상기 오디오의 시간 동기와 맞추는 디바이스 동기 제어부; 및 상기 실감효과 메타데이터의 시간 동기 정보 및 상기 실감효과 메타데이터의 매핑 정보를 포함하는 제어정보를 실감미디어 재현장치로 전송하는 디바이스 제어정보 전송부를 포함한다.

Description

MPEG-V 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치{METHOD AND APPARATUS FOR REPRODUCING IMMERSIVE MEDIA FOR MPEG-V BASED MOBILE EQUIPMENT ENVIRONMENT}
본 발명은 이동단말 환경에서 실감 미디어를 재현하는 방법 및 장치에 관한 것으로서, 보다 자세하게는 모바일 단말과 실감미디어 재현장치를 연동하는 방법 및 장치에 관한 것이다.
일반 2D 영상을 제작 후 3D 효과를 제공하거나, 3D 카메라를 통하여 생성된 3D 영상물에 실감효과를 추가하여 4D 라이더물이나 4D 영화관을 위한 4D 미디어를 제작하는 방법이 있다. 2D 영상 또는 3D 영상물을 기반으로 요소별 4D 효과를 추가하여 장치(예, 의자)를 제어하거나 기타 4D 효과들을 제어하여 사용자로 하여금 실감나게 만드는 방법이 있다.
MPEG-V 표준에서, 영상에 추가되는 실감효과에 대한 표준을 제정하여 이를 추가하거나 변경하는 것은 각 업체별 제작자 몫이다. 업체에서는 4D 미디어를 제작할 수 있는 저작도구 또는 이를 시연할 수 있는 시연 시스템을 갖추고 있다.
업체마다 개발된 저작도구들은 2D 영상물 또는 3D 영상물에 실감효과를 추가하거나 수정 또는 변경할 수 있는 기능을 제공한다. 저작도구를 이용하여 실감나는 미디어를 제작하는 과정은 미디어 변경 시마다 계속되는 반복 작업이며 많은 시간과 노력이 걸리는 작업이다.
최근 인터랙션 기반의 모션 게임들이 많이 등장하면서 아케이드 게임 분야뿐만 아니라 개인용 PC 게임환경에서 실감게임 미디어를 포함해서 교육용 미디어 콘텐츠 분야에서도 현실감과 사실감, 몰입감을 극대화할 수 있는 실감체험형 미디어에 대한 수요가 증대되고 있다. 특히, UCC 영상의 활용분야 확대는 모바일 단말 환경에서의 실감 및 실감체험 미디어에 대한 수요 증가로 연결되고 있다. 또한, N-스크린 서비스가 이미 상용화되어 서비스되고 있는 시점에서 PC와 3D TV 및 모바일 단말 환경에서의 N-스크린 서비스를 끊김없이(Seamless) 지원할 수 있는 실감체험 미디어 서비스 지원에 대한 개발이 필수적이다.
그러나, 실감체험형 미디어 재현 디바이스 시스템은 대부분 대형 체험관이나 극장 위주였으며 최근 실감게임에 대한 수요 증가로 PC와 연동가능한 실감체험 디바이스 기기가 개발되고 있으나 모바일 단말 환경에서는 제공가능한 실감효과가 진동효과로 한정되는 기기적인 특성 때문에 실감효과 고유의 특성을 살린 미디어 재현이 어렵다.
따라서, 모바일 단말 환경에서도 실감체험 미디어에 대한 다양한 실감효과를 극대화 할 수 있는 실감미디어 재현 디바이스 장치 및 재현 방법이 요구된다.
본 발명의 기술적 과제는 이동단말 환경에서 실감미디어 서비스를 제공하는 방법 및 장치를 제공함에 있다
본 발명의 다른 기술적 과제는 이동단말 환경에서 조명, 음향, 진동, 바람, 발향효과를 재현할 수 있는 실감효과 재현장치 및 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 실감 미디어로부터 실감 효과 메타데이터 정보를 분리하여 전송하는 방법 및 장치를 제공함에 있다.
본 발명의 일 양태에 따르면, 이동단말용 실감효과 재현장치는 모바일 단말이 고정되는 거치부, 상기 모바일 단말로부터 실감효과 메타데이터의 매핑 정보 및 상기 실감효과 메타데이터의 시간 동기 정보를 포함하는 제어정보를 수신하는 디바이스 제어정보 수신부, 상기 제어정보를 기초로 실감효과를 재현하는 실감효과 재현부를 포함하며, 상기 실감효과 재현부는 진동효과를 재현하는 햅틱부, 조명효과를 재현하는 LED(Light-Emitting Diode)부, 음향효과를 재현하는 음향부, 바람효과를 재현하는 풍향부 및 발향효과를 재현하는 발향부 중 적어도 하나를 포함한다.
상기 실감효과 메타데이터를 상기 실감효과 재현부와 매핑시키는 디바이스 매핑부, 및 상기 실감효과 재현부가 실감효과를 재현하는 것을 제어하는 디바이스 제어부를 더 포함할 수 있다.
상기 거치부는 상기 모바일 단말의 충전을 수행하는 충전부를 더 포함할 수 있다.
상기 디바이스 제어정보 수신부는 블루투스 또는 와이파이(WiFi)를 통해서 상기 제어정보를 수신할 수 있다.
상기 모바일 단말과 실감효과 정보를 송수신하는 유선 케이블을 더 포함하며, 상기 디바이스 제어정보 수신부는 상기 유선 케이블을 통해 상기 제어정보를 수신할 수 있다.
본 발명의 다른 양태에 따르면, 실감미디어를 재생하는 모바일 단말은 실감미디어 파일을 저장하는 실감미디어 저장부, 상기 실감미디어 파일을 로딩(loading)하고, 상기 실감미디어 파일을 분석하여 비디오, 오디오 또는 실감효과 메타데이터로 분리하는 실감미디어 분석부, 상기 비디오 또는 상기 오디오를 디스플레이하는 미디어 디스플레이, 분리된 상기 실감효과 메타데이터를 파싱하는(parsing) 메타데이터 파서, 파싱한 상기 실감효과 메타데이터를 실감효과 별로 매핑하는 메타데이터 매핑부, 상기 실감효과 메타데이터의 시간 동기를 상기 비디오 또는 상기 오디오의 시간 동기와 맞추는 디바이스 동기 제어부, 및 상기 실감효과 메타데이터의 시간 동기 정보 및 상기 실감효과 메타데이터의 매핑 정보를 포함하는 제어정보를 실감미디어 재현장치로 전송하는 디바이스 제어정보 전송부를 포함한다.
상기 실감미디어 분석부에서 분리된 상기 비디오 또는 상기 오디오의 시간 동기를 상기 모바일 단말 자체의 시간 동기와 맞추는 시간동기 관리부를 더 포함할 수 있다.
상기 디바이스 동기 제어부는, 상기 시간동기 관리부의 시간 동기 정보를 기초로 상기 실감효과 메타데이터의 시간 동기를 상기 비디오 또는 상기 오디오의 시간 동기와 맞출 수 있다.
상기 디바이스 제어정보 전송부를 제어하는 네트워크 인터페이스를 더 포함할 수 있다.
상기 실감효과는 진동효과, 조명효과, 음향효과, 바람효과, 풍향효과 또는 발향효과 중 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 양태에 따르면, 실감효과 재현방법은 모바일 단말로부터 매핑되는 실감효과 메타데이터의 매핑 정보 및 상기 실감효과 메타데이터의 시간 동기 정보를 포함하는 제어정보를 수신하는 단계, 상기 제어정보를 실감효과 종류별로 실감효과 재현부에 매핑시키는 단계, 상기 실감효과 종류별로 실감효과 재현동작을 수행하는 단계를 포함하며, 상기 실감효과는 진동효과, 조명효과, 음향효과, 바람효과, 풍향효과 또는 발향효과 중 적어도 하나인 것을 특징으로 하는 실감효과 재현방법.
본 발명의 또 다른 양태에 따르면, 모바일 단말에서 실감미디어를 재생하는 방법은 모바일 단말 내에서 실감미디어 파일을 로딩(loading)하는 단계, 상기 실감미디어 파일의 포맷 또는 버전 정보를 기초로 상기 실감미디어 파일의 유효성을 분석하는 단계, 상기 실감미디어 파일에서 비디오, 오디오 또는 실감효과 메타데이터를 분리하는 단계, 상기 비디오 또는 상기 오디오를 디스플레이(display)하는 단계, 상기 실감효과 메타데이터를 파싱하고 실감효과 별로 매핑하는 단계, 상기 실감효과 메타데이터의 매핑 정보 및 상기 실감효과 메타데이터의 시간 동기 정보를 포함하는 제어정보를 실감미디어 재현장치로 전송하는 단계를 포함한다.
본 발명에 따르면, 이동단말 환경에서 조명, 음향, 진동, 바람 및 발향효과를 포함하는 실감미디어 재현효과를 제공할 수 있다.
본 발명에 따르면, N-스크린 환경에서의 실감 및 실감체험 미디어에 대한 재현을 지원할 수 있다.
본 발명에 따르면, 게임 분야 뿐만 아니라 교육용 미디어 콘텐츠 분야를 포함한 실감미디어의 활성화를 기대할 수 있으며, 극장과 같은 대형 화면 위주의 체험환경을 개인 이동단말에서 재현 가능하다.
도 1은 본 발명에 따른 실감미디어 재현장치의 일 예를 나타낸 도이다.
도 2는 본 발명에 따라서 실감미디어를 재생하는 모바일 단말 및 상기 모바일 단말과 연동되는 실감미디어 재현장치의 일 예를 나타내는 블록도이다.
도 3은 본 발명에 따라서 모바일 단말의 실감미디어 재현 동작의 일 예를 나타내는 순서도이다.
도 4는 본 발명에 따라서 실감미디어 재현장치의 동작의 일 예를 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.
본 발명의 목적, 특징 및 장점은 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 한다.
먼저, MPEG-V를 설명한다. 미디어와 제어 장치들이 비표준화되어 영상물의 상호 교환이 어렵다. 새로운 라이더 장치에서 작동하기 위하여 새로운 실감효과를 제작해야 한다. 이를 위하여 ISO에서는 MPEG-V 표준을 제정하였다.
MPEG-V(Media Context and Control standards) 표준은 멀티미디어 콘텐츠에 대한 대표적인 국제표준화 기구인 MPEG(Moving Picture Experts Group)에서 제정한 표준으로서, MPEG은 MPEG-V 프로젝트(ISO/IEC 23005)를 통하여 가상세계와 가상세계 그리고 가상세계와 현실세계간 소통을 위한 인터페이스 규격을 정의하고 있다. 규격화가 진행되고 있는 대상들은 바람, 온도, 진동 등과 같은 실감효과들의 표현 방법에서부터, 아바타 및 가상 오브젝트들의 표현 방법, 가상세계와 디바이스 연동을 위한 제어 명령어 기술 방법 등의 다양한 범위를 다루고 있다. MPEG-V 표준은 크게 7개의 파트로 구분되어 진행되고 있다.
파트1에서는 MPEG-V 시스템 전반에 대한 개요 및 구조 기술을 다루고, 파트2에서는 디바이스를 제어하는데 있어 상호호환성 보장을 위한 디바이스 성능 정보와 사용자 맞춤형 디바이스 제어를 위한 사용자의 선호도 정보 기술 방식을 정의하고, 파트3에서는 가상 세계 또는 현실 세계에서 표현 가능한 실감효과들에 대한 정의를 하고, 파트4에서는 아바타 또는 가상 오브젤트들에 대한 표준화된 타입들을 정의하고, 파트5에서는 가상세계와 디바이스 연동을 위한 제어 신호 및 센서 정보들에 대한 포맷을 정의하고, 파트6에서는 MPEG-V 전 파트들에서 공통적으로 사용될 수 있는 데이터 타입들을 정의하고, 파트7에서는 레퍼런스 소프트웨어를 제공한다.
특히, 안구추적 센서, 좌표 측정 센서, 멀티 포인팅 센서 등과 같은 지능형 센서들을 통해 현실세계와 가상세계가 소통할 수 있는 시스템 기능 및 소셜 네트워크 서비스(Social Network Service : SNS) 제공을 위해 필요한 사용자 정보 기술 및 관리 방법들이 논의되는 쟁점 기술이다.
특히, 좌표 측정 센서는 위치 측정을 가능케 하는 모든 장치를 의미하며, 측정하고자 하는 위치 역시 절대적 위치일 수도 있고, 상대적 위치가 될 수도 있다. 좌표 측정 센서란 GPS, GSM 기반의 삼각측량, Wi-Fi 기반의 삼각측량, 비접촉 포지션(Non-Contact Position) 센서 등을 말하며, 센서로부터 획득된 표준 규격의 위치정보와 특정 시간의 기록이 연동된다면, 다양한 탈것들에 대한 사고 위치 추적과
이제, 본 발명에 따라서 실감미디어를 재현하는 방법 및 장치를 설명한다. 실감미디어의 현실감과 사실감, 몰입감을 극대화 할 수 있는 실감체험형 미디어를 모바일 단말을 이용하여 재현하는 방법 및 장치이다. 일 예로, N-스크린 환경에서 실감미디어 및 실감체험 미디어가 재현될 수 있다.
도 1은 본 발명에 따른 실감미디어 재현장치의 일 예를 나타낸 도이다.
도 1을 참조하면, 모바일 단말을 위한 실감미디어 재현장치는 모바일 단말용 충전 거치대 형태일 수 있다.
실감미디어 재현장치는 거치부(105), 햅틱부(110), LED부(115), 음향부(120), 풍향부(125), 및 발향부(130) 중 적어도 하나를 포함할 수 있다.
거치부(105)는 단말(150)의 고정 기능을 수행하며, 동시에 단말(150)의 충전기능도 수행할 수 있다. 또는, 상기 거치부(105)는 단말을 충전하는 충전부를 더 포함할 수 있다.
햅틱부(110)는 실감효과 중 진동효과를 재현할 수 있다.
LED부(115)는 실감효과 중 조명효과를 재현할 수 있다.
음향부(120)는 실감효과 중 음향효과를 재현할 수 있으며, 일 예로, 5.1채널로 음향효과정보를 제공할 수 있다.
풍향부(125)는 실감효과 중 바람효과를 재현할 수 있다.
발향부(130)는 실감효과 중 발향효과를 제공할 수 있다.
실감미디어 재현장치는 단말(150)에게 실감효과 정보를 전송하는 유선 케이블(135)을 더 포함할 수 있다. 상기 유선 케이블(135)는 USB 케이블일 수 있다.
실감효과 정보는 유선 케이블(135)을 통해서 단말(150)로 전송될 수 있지만, 블루투스나 WiFi와 같은 통신망을 통해서 전송될 수도 있다.
도 2는 본 발명에 따라서 실감미디어를 재생하는 모바일 단말 및 상기 모바일 단말과 연동되는 실감미디어 재현장치의 일 예를 나타내는 블록도이다.
도 2를 참조하면, 실감미디어를 재생하는("제공하는" 또는 "재현하는"이라고도 한다) 단말(200, 또는 모바일 단말이라고도 한다)은 미디어 저장부(205), 실감미디어 분석부(210), 시간동기 관리부(215), 미디어 디스플레이(220), 메타데이터 파서(225), 메타데이터 매핑부(230), 디바이스 동기 제어부(235), 디바이스 제어정보 전송부(240), 및 네트워크 인터페이스(245) 중 적어도 하나를 포함할 수 있다.
미디어 저장부(205)는 실감미디어를 저장한다.
실감미디어 분석부(210)는 미디어 저장부(205)로부터 실감미디어 파일을 로딩하고(loading), 로딩한 실감미디어 파일을 분석하여 영상(예, 비디오 또는 오디오)과 실감효과 메타데이터를 분리한다. 실감미디어 분석부(210)는 실감미디어 파일분석부, 미디어분석부 또는 파일분석부라고도 불릴 수 있다.
시간동기 관리부(215)는 실감미디어 분석부(210)에서 분석한 미디어(예, 비디오 또는 오디오)의 시간 동기를 맞추는데, 일 예로, 단말 자체의 시간 동기와 맞출수 있다.
미디어 디스플레이(220)는 시간 동기를 맞춘 미디어(예, 비디오 또는 오디오)를 사용자에게 디스플레이(display)한다.
메타데이터 파서(225)는 실감미디어 분석부(210)에서 분리한 실감효과 메타데이터에 대해 파싱을 수행한다.
메타데이터 매핑부(230)는 파싱한 실감효과 메타데이터를 각 실감효과 종류별로 또는 형태 별로 매핑한다. 일 예로, 실감효과 중 진동효과는 실감효과 재현장치의 햅틱부에 매핑하고, 실감효과 중 조명효과는 실감효과 재현장치의 LED부에 매핑하고, 실감효과 중 음향효과는 실감효과 재현장치의 음향부에 매핑하고, 실감효과 중 바람효과는 실감효과 재현장치의 풍향부에 매핑하고 실감효과 중 발향효과는 실감효과 재현장치의 발향부에 매핑할 수 있다.
디바이스 동기 제어부(235)는 실감효과 메타데이터의 시간 동기를 미디어(예, 비디오 또는 오디오)의 시간 동기와 맞춘다. 이때, 디바이스 동기 제어부(235)는 시간동기 관리부(215)에서 제공하는 시간 동기 정보를 기초로 시간 동기를 맞출 수 있다.
디바이스 제어정보 전송부(240)는 디바이스 제어정보를 실감미디어 재현장치(250)로 전송한다. 이때, 디바이스 제어정보는 상기 메타데이터 매핑부에서 매핑되는 매핑 정보 및 상기 디바이스 동기 제어부에서 제어되는 상기 실감효과 메타데이터의 시간 동기 정보를 포함할 수 있다. 이때, 네트워크 인터페이스(245)가 디바이스 제어정보 전송부(240)를 제어할 수 있다.
한편, 본 발명에 따르면 상기 모바일 단말(200)과 연동되는 실감미디어 재현장치(250)는 디바이스 제어정보 수신부(255), 디바이스 매핑부(260), 디바이스 제어부(265), 및 실감효과 재현부(270) 중 적어도 하나를 포함할 수 있다.
디바이스 제어정보 수신부(255)는 단말(250)로부터 디바이스 제어정보를 수신한다. 이때, 디바이스 제어정보는 상기 단말에서 매핑되는 실감효과 메타데이터의 매핑 정보 및 상기 실감효과 메타데이터의 시간 동기 정보를 포함할 수 있다.
디바이스 매핑부(260)는 수신한 제어정보를 기초로 실감효과 메타데이터를 실감효과 별로 매핑시키며, 디바이스 제어부(265)가 실감효과 재현부(270)의 재현 동작을 제어한다.
실감효과 재현부(270)는 실감효과 중 진동효과를 재현하는 햅틱부(272), 실감효과 중 조명효과를 재현하는 LED부(274). 실감효과 중 음향효과를 재현하는 음향부(276), 실감효과 중 바람효과를 재현하는 풍향부(278), 및 실감효과 중 발향효과를 재현하는 발향부(280) 중 적어도 하나를 포함할 수 있다. 일 예로, 상기 도 1과 같은 형태일 수 있다.
도 3은 본 발명에 따라서 모바일 단말의 실감미디어 재현 동작의 일 예를 나타내는 순서도이다.
도 3을 참조하면, 모바일 단말은 단말 내 미디어 저장부로부터 실감미디어를 로딩하여 파일을 읽는다(S300).
모바일 단말은 실감미디어의 실행여부를 확인하기 위해 파일 포맷 또는 파일내 헤더정보에 저장된 버전 정보 등 실감미디어 파일을 분석하여, 실감미디어 파일의 유효성을 점검할 수 있다(S305).
이어서, 모바일 단말은 실감미디어에서 비디오, 오디오 또는 실감효과 메타데이터등을 분리한다(S310).
만약, 분리한 데이터가 실감효과 메타데이터인지 판단하여(S315), 분리한 데이터가 실감효과 메타데이터가 아니라 비디오 또는 오디오인 경우, 모바일 단말은 단말 내 미디어 디스플레이 기능을 이용하여 비디오와 오디오를 디스플레이한다(S320).
만약, 분리한 데이터가 실감효과 메타데이터인 경우, 모바일 단말은 실감효과 메타데이터를 파싱한다(S325).
파싱한 메타데이터에 오류가 존재하는지 판단하여(S330), 오류가 존재하면 모바일 단말은 화면에 오류를 표시하고(S335), 종료한다.
파싱한 메타데이터에 오류가 존재하지 않고 정상인 경우, 모바일 단말은 실감효과 메타데이터를 각 실감효과 별로 매핑한다(S340). 이어서, 모바일 단말은 실감미디어 재현장치와 네트워크 연결을 설정한 후(S345), 상기 파싱 및 상기 매핑을 기초로 생성된 디바이스 제어정보를 실감미디어 재현장치로 전송한다(S350). 디바이스 제어정보는 상기 단말에서 매핑되는 실감효과 메타데이터의 매핑 정보 및 상기 실감효과 메타데이터의 시간 동기 정보를 포함할 수 있다. 이를 기초로 실감미디어 재현장치가 실감미디어 재현 동작을 수행할 수 있다.
도 4는 본 발명에 따라서 실감미디어 재현장치의 동작의 일 예를 나타내는 순서도이다.
도 4를 참조하면, 실감미디어 재현장치는 모바일 단말로부터 디바이스 제어정보를 수신한다(S400). 디바이스 제어정보는 상기 단말에서 매핑되는 실감효과 메타데이터의 매핑 정보 및 상기 실감효과 메타데이터의 시간 동기 정보를 포함할 수 있다.
수신한 제어정보를 기초로 실감효과 메타데이터를 각 실감효과 별로 매핑시킨 후(S405), 실감효과 재현부를 제어하여(S410), 실감효과 재현부의 각 유닛 별로 실감효과를 재현하도록 동작한다(S415). 일 예로, 상기 실감효과 재현부는 상기 도 1과 같은 형태일 수 있으며, 상기 실감효과 재현부의 유닛은 실감효과 중 진동효과를 재현하는 햅틱부, 실감효과 중 조명효과를 재현하는 LED부. 실감효과 중 음향효과를 재현하는 음향부, 실감효과 중 바람효과를 재현하는 풍향부, 및 실감효과 중 발향효과를 재현하는 발향부 중 적어도 하나를 포함할 수 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 가지 치환, 변형 및 변경이 가능하므로, 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims (1)

  1. 실감미디어를 재생하는 모바일 단말에 있어서,
    실감미디어 파일을 저장하는 실감미디어 저장부;
    상기 실감미디어 파일을 로딩(loading)하고, 상기 실감미디어 파일을 분석하여 비디오, 오디오 또는 실감효과 메타데이터로 분리하는 실감미디어 분석부;
    상기 비디오 또는 상기 오디오를 디스플레이하는 미디어 디스플레이;
    분리된 상기 실감효과 메타데이터를 파싱하는(parsing) 메타데이터 파서;
    파싱한 상기 실감효과 메타데이터를 실감효과 별로 매핑하는 메타데이터 매핑부;
    상기 실감효과 메타데이터의 시간 동기를 상기 비디오 또는 상기 오디오의 시간 동기와 맞추는 디바이스 동기 제어부; 및
    상기 실감효과 메타데이터의 시간 동기 정보 및 상기 실감효과 메타데이터의 매핑 정보를 포함하는 제어정보를 실감미디어 재현장치로 전송하는 디바이스 제어정보 전송부를 포함하는 모바일 단말.
KR1020130005642A 2013-01-18 2013-01-18 Mpeg-v 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치 KR20140093398A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130005642A KR20140093398A (ko) 2013-01-18 2013-01-18 Mpeg-v 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130005642A KR20140093398A (ko) 2013-01-18 2013-01-18 Mpeg-v 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140093398A true KR20140093398A (ko) 2014-07-28

Family

ID=51739596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130005642A KR20140093398A (ko) 2013-01-18 2013-01-18 Mpeg-v 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20140093398A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770596A (zh) * 2017-09-25 2018-03-06 北京达佳互联信息技术有限公司 一种特效同步方法、装置及移动终端
US9953682B2 (en) 2015-03-11 2018-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing sensory effects for vestibular rehabilitation therapy

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953682B2 (en) 2015-03-11 2018-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing sensory effects for vestibular rehabilitation therapy
CN107770596A (zh) * 2017-09-25 2018-03-06 北京达佳互联信息技术有限公司 一种特效同步方法、装置及移动终端
US10971189B2 (en) 2017-09-25 2021-04-06 Bejing Dajia Internet Information Technology Co., Ltd Special effect synchronization method and apparatus, and mobile terminal
US11355157B2 (en) 2017-09-25 2022-06-07 Beijing Dajia Internet Information Technology Co., Ltd. Special effect synchronization method and apparatus, and mobile terminal

Similar Documents

Publication Publication Date Title
CN102257825B (zh) 用于在3d视频上覆盖3d图形的方法和设备
RU2387013C1 (ru) Система и способ для генерации интерактивных видеоизображений
US9849378B2 (en) Methods, apparatuses, and systems for remote play
JP2018527655A (ja) ユーザ・ハプティック空間（ＨａｐＳｐａｃｅ）に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置
US9035942B2 (en) Graphic image processing method and apparatus
KR20130107917A (ko) 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
TW201631544A (zh) 虛擬導覽控制系統與方法
US10437055B2 (en) Master device, slave device, and control method therefor
US11985381B2 (en) Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines
CN116233493A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
US20190138085A1 (en) Provision of Virtual Reality Content
JP2012243042A (ja) 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
US20190114823A1 (en) Image generating apparatus, image generating method, and program
KR20140093398A (ko) Mpeg-v 기반 이동단말 환경을 위한 실감미디어 재현 방법 및 장치
CN113628324A (zh) 一种智慧高速公路vr互动教学系统
CN111903135A (zh) 信息处理装置、信息处理方法以及程序
KR20230016782A (ko) Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법
KR20120106157A (ko) 실감 미디어 통합 데이터 파일을 구성 및 재생하는 방법과 그 장치
US20140015931A1 (en) Method and apparatus for processing virtual world
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
KR20110090601A (ko) 부가 정보 표시 방법 및 장치
EP4036690A1 (en) Information processing device, information processing method, server device, and program
KR101682215B1 (ko) 가상현실 vr 웹툰의 제공 장치 및 방법
KR20200005968A (ko) 컨텐츠 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application