KR100961718B1 - 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법 - Google Patents

엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법 Download PDF

Info

Publication number
KR100961718B1
KR100961718B1 KR1020080094063A KR20080094063A KR100961718B1 KR 100961718 B1 KR100961718 B1 KR 100961718B1 KR 1020080094063 A KR1020080094063 A KR 1020080094063A KR 20080094063 A KR20080094063 A KR 20080094063A KR 100961718 B1 KR100961718 B1 KR 100961718B1
Authority
KR
South Korea
Prior art keywords
media
mpeg4
metadata
video
sensory effect
Prior art date
Application number
KR1020080094063A
Other languages
English (en)
Other versions
KR20100034859A (ko
Inventor
오현우
이해룡
박광로
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080094063A priority Critical patent/KR100961718B1/ko
Priority to US12/429,790 priority patent/US20100074598A1/en
Publication of KR20100034859A publication Critical patent/KR20100034859A/ko
Application granted granted Critical
Publication of KR100961718B1 publication Critical patent/KR100961718B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 엠펙4 포맷의 미디어, 문서 및 동작 스크립트 등을 입력으로 받아 오브젝트를 추출하고 해당 오브젝트의 동작 및 행동 패턴을 분석하고, 환경 및 디바이스에 관한 온톨로지 프로파일을 기반으로 상황을 인지하고, 이에 따른 실감 효과 메타 데이터를 생성하여 혼합된 미디어를 제작하여 전송하고, 전송된 미디어를 수신하여 실감 효과 메타 데이터를 추출하고, 해당 환경에 있는 디바이스 수집 정보와 온톨로지 프로파일을 이용하여 제어 디바이스를 분석하고, 제어 명령어를 생성하여 실제 실감 효과 디바이스를 엠펙4 미디어 및 문서 등과 함께 프리젠테이션한다.
Figure R1020080094063
동영상, MPEG-4, 단일 미디어, 멀티 디바이스, 오브젝트, 온톨로지

Description

엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치 및 방법{TRANSMITTING/RECEIVING MULTI-DEVICE MOVIE BASED ON MPEG-4 SINGLE MEDIA AND METHOD THEREOF}
본 발명은 엠펙4(MPEG-4) 단일 미디어 기반 멀티 디바이스 동영상 재생에 관한 것으로, 특히, 엠펙4 포맷의 미디어, 문서 및 동작 스크립트(script) 등을 입력으로 받아 오브젝트(object)를 추출하고 해당 오브젝트의 동작 및 행동 패턴을 분석하고, 환경 및 디바이스에 관한 온톨로지 프로파일(ontology profile)을 기반으로 상황을 인지하고, 이에 따른 실감 효과 메타 데이터(meta data)를 생성하여 혼합된 미디어를 제작하여 전송하고, 전송된 미디어를 수신하여 실감 효과 메타 데이터를 추출하고, 해당 환경에 있는 디바이스 수집 정보와 온톨로지 프로파일을 이용하여 제어 디바이스를 분석하고, 제어 명령어를 생성하여 실제 실감 효과 디바이스를 엠펙4 미디어 및 문서 등과 함께 프리젠테이션(presentation)하는 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치 및 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-010-02, 과제명: SMMD 기반 유비쿼터스 홈 미디어 서비스 시스템 개발].
종래의 논문('Development of the Multiple Devices Control Technology for Ubiquitous Home Media Service System', International Conference of Ubiquitous Information Technology, 2007)은 디바이스 제어 메타데이터가 포함된 미디어를 오프라인 상에서 제작해 두고 이를 플레이하는 홈서버 시스템에서 디바이스 제어 메타데이터를 추출하여 이미 알고 있는 디바이스를 제어하는 방법을 다루고 있다.
위 방법은 미디어를 편집하는 사람이 어떤 디바이스를 어떻게 제어할 것인지를 이미 알고 있고, 이를 디바이스 제어 메타 데이터 형태로 미디어에 삽입하는 것이다. 또한 재현하는 홈서버(home server)에서는 이미 연결된 디바이스를 알고 있고 디바이스 제어 메타데이터에 의해 해당 디바이스를 제어한다.
그러나, 위와 같은 종래 방법에서는 실감 효과에 대한 메타데이터 구성이 아니라 디바이스 제어를 위한 메타데이터이기 때문에 메타데이터의 디바이스와 재현하는 공간에 존재하는 디바이스가 반드시 일치해야 한다. 따라서 만일 홈서버에 접속되는 디바이스가 추가되거나 변경이 되면 미디어에 포함된 디바이스 제어 메타데이터를 통해 해당 디바이스를 제어하지 못하게 되는 문제점이 있으며, 또한 동일한 실감 효과 미디어를 시청하는 사용자가 동일한 디바이스를 가지고 있지 않다는 현실적인 전제에 맞지 않는 문제점이 있다.
다른, 종래 기술로, 동영상, 오디오 및 텍스트로 이루어진 기존의 미디어에 실감 서비스를 위한 디바이스 제어 및 동기화정보를 추가할 수 있는 새로운 구조의 미디어(ne-미디어)를 생성하고, 상기 생성한 ne-미디어에 개인의 취향 및 주변 디 바이스 환경에 맞는 실감 재현정보를 입력한 후 주변 디바이스로 전송함으로써, 가정, 사무실, 공공장소등 사용자의 물리적 위치에 관계없이 주변의 다양한 기능을 가진 디바이스들이 ne-미디어를 통해 자율적으로 융합하여 사용자에게 실감 있는 미디어 서비스를 제공하도록 하는 기술이 있다.
그러나, 위와 같은 종래 기술은 오프라인 상에서 미디어에 디바이스 제어 및 동기화 메타데이터를 추가하여 ne-미디어를 제작하고 재현하는 환경에서 ne-미디어로부터 디바이스 제어 및 동기화 메타데이터를 추출하여 ne-미디어 재생과 함께 디바이스를 제어하는 것에 관한 일반적인 것으로, 앞서 언급한 논문에서 언급한 문제점과 같이 디바이스 제어를 위한 메타데이터를 이용하기 때문에 메타데이터의 디바이스와 재현하는 공간에 존재하는 디바이스가 반드시 일치해야 하는 제한이 있으며, 따라서 새로운 디바이스 및 다른 디바이스는 제어하지 못하는 문제점이 있다.
따라서, 상기와 같은 문제점을 해결하기 위한 본 발명이 이루고자 하는 기술적 과제는, 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치 및 그 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 원천 엠펙4 미디어로부터 장면을 구성하는 오브젝트를 추출하고 해당 오브젝트의 행동 패턴을 분석하고 분석된 행동 패턴을 온톨로지 프로파일을 기반으로 상황 인지하여 실감 효과 메타데이터를 생성하는 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 미디어를 재생하는 환경에서 존재하는 실감 효과 디바이스가 갖는 실감 효과 제어 정보를 독립적으로 수집 및 관리하고, 실감 효과 메타데이터가 포함된 미디어를 수신하여 실감 효과 메타데이터를 추출하고 해당 실감 효과를 재현하기 위해 필요한 디바이스가 무엇이며 어떻게 제어해야 하는지를 분석하고 온톨로지 프로파일을 기반으로 분석하여 해당 실감 효과 디바이스를 제어하는 명령을 만들어 미디어 재생, 문서 열람 및 추가적인 액션과 함께 실감 효과 디바이스를 제어하는 방법을 제공하는 것이다.
상술한 본 발명은 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신장치로서, 엠펙4 미디어를 입력받는 입력부와, 상기 입력된 엠펙4 미디어로부터 오브 젝트 정보를 추출하는 오브젝트 추출기와, 상기 추출된 개별 오브젝트들의 동작 패턴을 분석하는 동작 분석기와, 상기 분석된 오브젝트의 동작 패턴을 온톨로지 프로파일을 이용하여 동작 상황을 인지하는 상황인지 분석기와, 상기 상황인지에 따라 상기 엠펙4 미디어를 재생할 실감 효과 디바이스를 제어하기 위한 메타데이터를 생성하는 실감효과 메타데이터 생성기와, 상기 메타데이터와 온톨로지 프로파일, 엠펙4 미디어를 하나의 단일 미디어로 제작하는 다중 트랙 미디어 생성기와, 상기 생성된 단일 미디어를 방송을 통해 전송하는 방송 미디어 전송기를 포함한다.
또한, 본 발명은 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치로서, 방송을 통해 전송되는 엠펙4 미디어를 수신하는 방송 미디어 수신기와, 상기 수신된 엠펙4 미디어로부터 메타데이터를 추출하는 실감효과 메타데이터 추출기와, 상기 추출된 메타데이터를 분석하는 제어 디바이스 분석기와, 상기 수신된 엠펙4 미디어를 재생하는 실감효과 디바이스를 수집 관리하는 제어 디바이스 수집기와, 상기 엠펙4 미디어의 재생 시 각 동작 패턴의 동작 정의를 저장하는 온톨로지 프로파일부와, 상기 분석된 메타데이터와 상기 온톨로지 프로파일부에 저장된 정보를 기반으로 상기 엠펙4 미디어를 재생할 실감효과 디바이스를 제어하기 위한 명령을 생성하는 제어 명령어 생성기와, 상기 제어 명령어 생성기로부터 인가되는 제어 명령에 따라 상기 실감효과 디바이스를 제어하여 상기 엠펙4 미디어를 재생하는 출력부를 포함한다.
또한, 본 발명은 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신방법으로서, 입력되는 엠펙4 미디어로부터 오브젝트 정보를 추출하는 단계와, 상기 추출된 오브젝트 정보로부터 개별 오브젝트들의 동작 패턴을 분석하는 단계와, 상기 분석된 오브젝트의 동작 패턴을 온톨로지 프로파일을 이용하여 동작 상황을 인지하는 단계와, 상기 상황인지에 따라 상기 엠펙4 미디어를 재생할 실감 효과 디바이스를 제어하기 위한 메타데이터를 생성하는 단계와, 상기 메타데이터와 온톨로지 프로파일, 엠펙4 미디어를 하나의 단일 미디어로 생성하는 단계와, 상기 생성된 단일 미디어를 방송 미디어로 전송하는 단계를 포함한다.
또한, 본 발명은 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신방법으로서, 방송을 통해 송신되는 엠펙4 미디어를 수신하는 단계와, 상기 수신된 엠펙4 미디어로부터 실감효과 정보를 포함하고 있는 메타데이터를 추출하는 단계와, 상기 추출된 메타데이터를 분석하여 상기 엠펙4 미디어 재생 시 각 동작 패턴을 분석하는 단계와, 상기 엠펙4 미디어 재생 시 각 동작 패턴의 동작 정의를 온토로지 프로파일로 저장하는 단계와, 상기 분석된 메타데이터와 상기 온톨로지 프로파일을 기반으로 상기 엠펙4 미디어를 재생할 실감효과 디바이스를 선택하는 단계와, 상기 선택된 실감효과 디바이스를 제어하기 위한 명령을 생성하는 단계와, 상기 제어 명령어 따라 상기 실감효과 디바이스를 제어하여 상기 엠페4 미디어를 재생하는 단계를 포함한다.
본 발명에서는 하나의 미디어에 포함된 실감 효과 데이터를 기반으로 다중의 실감 효과 디바이스를 제어함으로써 미디어를 즐기는 사용자가 주변의 실감 효과 디바이스들이 미디어에 동기화되어 동작됨을 통해 보다 미디어를 보는 즐거움을 증대시킬 수 있으며, 또한 원천 미디어에 포함된 특정 오브젝트를 추출하고 이 오브젝트의 행동 패턴을 분석하여 온톨로지 프로파일을 기반으로 상황인지를 하고 이 상황인지에 따른 실감 효과 메타데이터를 생성할 수 있다.
또한, 본 발명에서는 동일한 원천 미디어에 대해서도 온톨로지 프로파일을 변경함으로써 동일한 오브젝트의 행동 패턴에 대한 상황인지결과에 차별화를 줄 수 있고 이에 맞는 실감 효과 메타데이터를 생성할 수 있으며, 또한 미디어를 재현하는 환경에 어떤 실감 효과 디바이스들이 존재하는지를 알 수 있고 해당 실감 효과 메타데이터를 통해 어떤 실감 효과를 재현하기 위해 어떤 디바이스를 어떻게 제어해야 하는지를 분석하여 해당 실감 효과 디바이스를 제어할 수 있다.
또한, 본 발명에서는 동영상뿐만 아니라 문서 및 액션 스크립트 등을 통합적으로 처리함으로써 미디어만을 출력하는 것이 아니라 문서 및 기술된 액션을 함께 출력함으로써 보다 실감 효과를 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그 러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 구체적인 핵심 기술요지를 살펴보면, 엠펙4 포맷의 미디어, 문서 및 동작 스크립트 등을 입력으로 받아 오브젝트를 추출하고 해당 오브젝트의 동작 및 행동 패턴을 분석하고, 환경 및 디바이스에 관한 온톨로지 프로파일을 기반으로 상황을 인지하고, 이에 따른 실감 효과 메타 데이터를 생성하여 혼합된 미디어를 제작하여 전송하고, 전송된 미디어를 수신하여 실감 효과 메타 데이터를 추출하고, 해당 환경에 있는 디바이스 수집 정보와 온톨로지 프로파일을 이용하여 제어 디바이스를 분석하고, 제어 명령어를 생성하여 실제 실감 효과 디바이스를 엠펙4 미디어 및 문서 등과 함께 프리젠테이션하는 기술을 통해 본 발명에서 이루고자 하는 바를 쉽게 달성할 수 있다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신 장치 블록 구성을 도시한 것이다.
이하, 도 1과 멀티 디바이스 동영상 송신 동작 흐름을 도시한 도 2를 참조하여 본 발명의 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송신 장치 각 구성요소에서의 동작을 상세히 설명하기로 한다.
먼저, 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송신장치는 시스템 입력부(104)에서 카메라(101)를 통해 입력되는 동영상, 이미 제작된 문서(102), 문서 또는 동영상 재현시 필요한 액션을 정의한 스크립트(103) 등의 동영상 정보를 입력 받는다(S200).
이어, 오브젝트 추출기(111)에서 시스템 입력부(104)로부터 수신된 엠펙4 동영상을 장면단위로 장면에 속한 오브젝트를 추출한다(S202). 예를 들면 e-러닝에서 가르치는 교사, 교사가 가지고 있는 빔 포인터 또는 마우스 등등이 오브젝트로 추출될 수 있다. 이렇게 추출된 오브젝트는 행동 분석기(112)에서 해당 오브젝트의 행동 패턴을 분석한다(S204). 예를 들면 "교사가 손을 스크린 방향으로 향했고 빔포인터가 눌려졌다"와 같은 행동 패턴이 분석된다.
온톨로지 프로파일(114)은 예를 들어 "교실이라는 공간에 교수라는 엔터티가 손을 뻗었다"는 동작에 대한 것과 "빔포인터 엔터티가 눌려졌다"는 동작에 대한 것이 정의되는데, 상황인지 분석기(113)는 위와 같은 온톨로지를 기반으로 "교수가 학습을 위해 특정 프리젠테이션 문서의 특정 영역을 빔포인터로 가리켰다"라는 등의 행동패턴 분석에 따른 전체적인 상황을 인지하게 된다(S206).
이어, 실감 효과 메타데이터 생성기(121)는 위와 같이 인지된 상황을 기반으로 실감 효과 디바이스를 제어하기 위한 메타데이터를 생성한다(S208). 예를 들면 교수가 빔포인터를 동작시키는 시간에 빔 포인팅 효과를 삽입하는데 해당 문서가 있으면 해당 문서의 어떤 위치에 빔이 포인팅 되도록 하라는 메타데이터를 생성한다. 이때 해당 문서는 입력부(104)에서 입력된 문서로 예를 들면 수업을 위한 파워포인트 자료가 된다. 또한 액션 스크립트는 "빔포인터가 동작될 때는 동영상 대신 문서를 화면에 비춰라" 라든지 또는, "빔포인터가 동작될 때 문서를 화면 전체에 그리고 동영상은 문서 화면의 오른쪽 구석에 크기는 25% 사이즈로 해라"라는 명령 이 기술된다.
위와 같이 실감효과 메타데이터가 생성되는 경우, 다중 트랙 미디어 생성기(122)는 동영상, 실감 효과 메타데이터, 문서, 액션 스크립트 및 온톨로지 프로파일 등을 단일 미디어로 제작하고, 방송 미디어 전송기(131)는 생성된 단일 미디어를 전송한다(S210).
다음으로, 도 1과 멀티 디바이스 동영상 수신 동작 흐름을 도시한 도 3을 참조하여 본 발명의 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 수신 장치 각 구성요소에서의 동작을 상세히 설명하기로 한다.
엠펙4 단일 미디어 기반 멀티 디바이스 동영상 수신장치의 방송 미디어 수신기(132)는 전송된 단일 미디어를 수신하고(S300), 실감 효과 메타데이터 추출기(141)는 수신된 단일 미디어로부터 실감 효과 메타데이터를 추출해 낸다(S302). 이때 실감 효과 메타데이터를 추출할 때 기본적인 미디어 파싱이 이루어지기 때문에 문서 및 액션 스크립트 그리고 온톨로지 프로파일에 대한 분류도 자연스럽게 이루어진다.
제어 디바이스 수집기(153)는 미디어가 재생되는 환경에 어떤 실감 효과 디바이스가 존재하는지 수집하고 관리한다. 이때 실감 효과 디바이스들(181, 182, 183)과 제어 디바이스 수집기(153)간에는 실감 효과 제어 정보를 교환할 수 있는 별도의 프로토콜(protocol)이 존재하게 된다. 제어 디바이스 수집기(153)는 수집된 실감 효과 디바이스들(181, 182, 183)의 목록과 이들이 어떤 실감 효과를 낼 수 있는 디바이스이며, 이를 위해 어떻게 제어할 수 있는지에 대한 정보를 DB화하여 관 리한다.
한편, 멀티 디바이스 동영상 수신장치에서의 온톨로지 프로파일(151)은 단일 미디어 제작에 활용되었던 온톨로지 프로파일(114)을 사용할 수도 있고 재현하는 환경에 보다 맞는 별도의 온톨로지 프로파일을 사용할 수도 있다. 이렇게 온톨로지 프로파일을 변경할 수 있게 함으로써 동일한 미디어에 대해서도 서로 다른 효과를 줄 수 있게 된다.
제어 디바이스 분석기(152)는 온톨로지 프로파일(151)을 기반으로 실감 효과 메타데이터에 기술된 실감 효과를 극대화시킬 수 있는 디바이스가 무엇이고 언제 어떻게 제어해야 하는지 분석하게 된다(S304). 이어, 제어 명령어 생성기(161)는 해당 실감 효과 디바이스를 제어 디바이스 분석기(152)에서 분석한 정보를 토대로 실감 효과 디바이스를 제어하는 명령어를 생성한다(S306). 이때 액션 스크립트를 참조하여 화면 전환이라든지 동영상의 위치라든지 동영상 화면 크기 등을 조절하는 명령도 생성한다.
위와 같이, 실감효과 디바이스의 선택 및 제어 명령이 생성되면, 수신된 단일 미디어는 출력부(174)를 통해 제작시 삽입된 실감효과가 그대로 재현되는 동영상으로 재생된다(S308).
이때, 실제 재현을 위한 출력부(174)에는 동영상 재생기(171), 디바이스 제어기(172), 문서 열람기(173) 등이 있으며, 동영상 재생기(171)는 미디어를 재생(181)하고, 디바이스 제어기(172)는 실감 효과 디바이스(182)를 제어 명령어에 따라 제어한다.
또한, 문서 열람기(173)는 해당 문서를 디스플레이 장치(183)를 통해 출력한다. 예를 들면, 빔포인팅에 대한 실감 효과 메타데이터가 있을 때 제어 디바이스 수집기(153)에서는 빔포인팅 효과를 낼 수 있는 디바이스 정보를 제공하고, 제어 디바이스 분석기(152)는 온톨로지 프로파일(151)을 기반으로 빔포인팅 효과 디바이스를 어떤 방향으로 얼마만큼의 빔을 어느 정도의 강도로 동작시켜야 하는지 분석한다.
제어 명령어 생성기(161)는 빔포인터가 눌려졌기 때문에 문서를 열람시키고, 동영상은 해당 문서의 빔포인팅 위치가 가려지지 않도록 위치와 크기를 조절시키고, 실감 효과 디바이스를 제어하는 명령어를 생성한다. 이어, 디바이스 제어기(172)에서는 빔포인팅 효과 디바이스를 제어하고, 문서열람기(173)에서는 해당 문서를 디스플레이 장치(183)에 출력한다.
이상에서는 본 발명에 대하여 바람직한 실시 예들을 중심으로 살펴보았다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발 명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시 예에 따른 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치 블록 구성도,
도 2는 본 발명의 실시 예에 따른 멀티 디바이스 동영상 송신 처리 흐름도,
도 3은 본 발명의 실시 예에 따른 멀티 디바이스 동영상 수신 처리 흐름도.
<도면의 주요 부호에 대한 간략한 설명>
104 : 시스템 입력부 111 : 오브젝트 추출기
112 : 행동 분석기 113 : 상황인지 분석기
114 : 온톨로지 프로파일 121 : 실감효과 메타데이터 생성기
122 : 다중트랙 미디어 생성기 131 : 방송미디어 전송기
132 : 방송미디어 수신기 141 : 실감효과 메타데이터 추출기
151 : 온톨로지 프로파일 152 : 제어 디바이스 분석기
153 : 제어 디바이스 수집기 161 : 제어 명령어 생성기
171 : 동영상 재생기 172 : 디바이스 제어기
173 : 문서 열람기

Claims (18)

  1. 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신장치로서,
    엠펙4 미디어를 입력받는 입력부와,
    상기 입력된 엠펙4 미디어로부터 오브젝트 정보를 추출하는 오브젝트 추출기와,
    상기 추출된 개별 오브젝트들의 동작 패턴을 분석하는 동작 분석기와,
    상기 분석된 오브젝트의 동작 패턴을 온톨로지 프로파일을 이용하여 동작 상황을 인지하는 상황인지 분석기와,
    상기 상황인지에 따라 상기 엠펙4 미디어를 재생할 실감 효과 디바이스를 제어하기 위한 메타데이터를 생성하는 실감효과 메타데이터 생성기와,
    상기 메타데이터와 온톨로지 프로파일, 엠펙4 미디어를 하나의 단일 미디어로 제작하는 다중 트랙 미디어 생성기와,
    상기 생성된 단일 미디어를 방송을 통해 전송하는 방송 미디어 전송기
    를 포함하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신장치.
  2. 제 1 항에 있어서,
    상기 엠펙4 미디어는,
    동영상과, 상기 동영상과 관련되어 제작된 문서, 상기 동영상 재생과 관련된 동작을 정의한 액션 스크립트 정보를 포함하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신장치.
  3. 제 1 항에 있어서,
    상기 오브젝트 추출기는,
    상기 입력된 엠펙4 미디어의 동영상을 장면단위로 구분하여 각 장면에 속한 오브젝트 정보를 추출하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신장치.
  4. 제 1 항에 있어서,
    상기 온톨로지 프로파일은,
    상기 분석된 각 동작 패턴의 구체적인 동작 정의를 저장하고 있는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신장치.
  5. 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치로서,
    방송을 통해 전송되는 엠펙4 미디어를 수신하는 방송 미디어 수신기와,
    상기 수신된 엠펙4 미디어로부터 메타데이터를 추출하는 실감효과 메타데이터 추출기와,
    상기 추출된 메타데이터를 분석하는 제어 디바이스 분석기와,
    상기 수신된 엠펙4 미디어를 재생하는 실감효과 디바이스를 수집 및 관리하는 제어 디바이스 수집기와,
    상기 엠펙4 미디어의 재생 시 각 동작 패턴의 동작 정의를 저장하는 온톨로지 프로파일부와,
    상기 분석된 메타데이터와 상기 온톨로지 프로파일부에 저장된 정보를 기반으로 상기 엠펙4 미디어를 재생할 실감효과 디바이스를 제어하기 위한 명령을 생성하는 제어 명령어 생성기와,
    상기 제어 명령어 생성기로부터 인가되는 제어 명령에 따라 상기 실감효과 디바이스를 제어하여 상기 엠펙4 미디어를 재생하는 출력부
    를 포함하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치.
  6. 제 5 항에 있어서,
    상기 메타데이터 추출기는,
    상기 실감효과 메타데이터 추출 시, 상기 수신된 방송 미디어내 포함된 동영상, 문서, 액션 스크립트 정보를 분리하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치.
  7. 제 5 항에 있어서,
    상기 온톨로지 프로파일부는,
    상기 엠펙4 미디어 제작시 정의된 온톨로지 프로파일 정보를 상기 엠펙4 미디어의 재생을 위한 실감효과 디바이스 특성에 따라 변경 설정 가능한 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치.
  8. 제 5 항에 있어서,
    상기 제어 디바이스 분석기는,
    상기 메타데이터와 온톨로지 프로파일 정보를 기반으로 실감 효과 디바이스를 선택하고 해당 실감효과 디바이스의 제어 방법을 분석하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치.
  9. 제 6 항에 있어서,
    상기 제어 명령어 생성기는,
    상기 메타데이터로부터 분리된 액션 스크립트 정보를 참조하여 화면전환 또는 동영상 재생 위치 또는 화면크기를 조절하는 명령어를 생성하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치.
  10. 제 5 항에 있어서,
    상기 출력부는,
    상기 엠펙4 미디어를 재생하는 동영상 재생기와,
    상기 엠펙4 미디어 재생 시 상기 온톨로지 프로파일 정보에 따라 실감효과를 수행하는 실감효과 디바이스를 제어하는 디바이스 제어기와,
    상기 방송 미디어 재생과 관련된 문서를 디스플레이장치를 통해 출력하는 문서 열람기
    를 포함하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신장치.
  11. 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신방법으로서,
    입력되는 엠펙4 미디어로부터 오브젝트 정보를 추출하는 단계와,
    상기 추출된 오브젝트 정보로부터 개별 오브젝트들의 동작 패턴을 분석하는 단계와,
    상기 분석된 오브젝트의 동작 패턴을 온톨로지 프로파일을 이용하여 동작 상황을 인지하는 단계와,
    상기 동작 상황의 인지에 따라 상기 엠펙4 미디어를 재생할 실감 효과 디바이스를 제어하기 위한 메타데이터를 생성하는 단계와,
    상기 메타데이터와 온톨로지 프로파일, 엠펙4 미디어를 하나의 단일 미디어로 생성하는 단계와,
    상기 생성된 단일 미디어를 방송 미디어로 전송하는 단계
    를 포함하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신방법.
  12. 제 11 항에 있어서,
    상기 엠펙4 미디어는,
    동영상과, 상기 동영상과 관련되어 제작된 문서, 상기 동영상 재생과 관련된 동작을 정의한 액션 스크립트 정보를 포함하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신방법.
  13. 제 11 항에 있어서,
    상기 오브젝트 정보 추출단계는,
    상기 입력된 엠펙4 미디어의 동영상을 장면단위로 구분하여 각 장면에 속한 오브젝트 정보를 추출하는 단계인 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신방법.
  14. 제 11 항에 있어서,
    상기 온톨로지 프로파일은,
    상기 분석된 각 동작 패턴의 구체적인 동작 정의를 저장하고 있는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 송신방법.
  15. 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신방법으로서,
    방송 미디어로 송신되는 엠펙4 미디어를 수신하는 단계와,
    상기 수신된 엠펙4 미디어로부터 실감효과 정보를 포함하고 있는 메타데이터를 추출하는 단계와,
    상기 추출된 메타데이터를 분석하여 상기 엠펙4 미디어 재생 시 각 동작 패턴을 분석하는 단계와,
    상기 엠펙4 미디어 재생 시 각 동작 패턴의 동작 정의를 온톨로지 프로파일로 저장하는 단계와,
    상기 분석된 메타데이터와 상기 온톨로지 프로파일을 기반으로 상기 엠펙4 미디어를 재생할 실감효과 디바이스를 선택하는 단계와,
    상기 선택된 실감효과 디바이스를 제어하기 위한 명령을 생성하는 단계와,
    상기 제어 명령어 따라 상기 실감효과 디바이스를 제어하여 상기 엠펙4 미디어를 재생하는 단계
    를 포함하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신방법.
  16. 제 15 항에 있어서,
    상기 메타데이터 추출단계에서,
    상기 실감효과 메타데이터 추출 시, 상기 수신된 방송 미디어내 포함된 동영상, 문서, 액션 스크립트 정보를 분리하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신방법.
  17. 제 15 항에 있어서,
    상기 온톨로지 프로파일은,
    상기 엠펙4 미디어의 재생을 위한 실감효과 디바이스 특성에 따라 상기 엠펙4 미디어 제작시 정의된 온톨로지 프로파일과 다르게 변경 설정 가능한 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신방법.
  18. 제 16 항에 있어서,
    상기 엠펙4 미디어 재생단계에서,
    상기 메타데이터로부터 분리된 액션 스크립트 정보를 참조하여 화면전환 또는 동영상 재생 위치 또는 화면크기를 조절하는 엠펙4 단일 멀티미디어 기반 멀티 디바이스 동영상 수신방법.
KR1020080094063A 2008-09-25 2008-09-25 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법 KR100961718B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080094063A KR100961718B1 (ko) 2008-09-25 2008-09-25 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법
US12/429,790 US20100074598A1 (en) 2008-09-25 2009-04-24 System and method of presenting multi-device video based on mpeg-4 single media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080094063A KR100961718B1 (ko) 2008-09-25 2008-09-25 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법

Publications (2)

Publication Number Publication Date
KR20100034859A KR20100034859A (ko) 2010-04-02
KR100961718B1 true KR100961718B1 (ko) 2010-06-10

Family

ID=42037779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080094063A KR100961718B1 (ko) 2008-09-25 2008-09-25 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법

Country Status (2)

Country Link
US (1) US20100074598A1 (ko)
KR (1) KR100961718B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110110641A1 (en) * 2009-11-11 2011-05-12 Electronics And Telecommunications Research Institute Method for real-sense broadcasting service using device cooperation, production apparatus and play apparatus for real-sense broadcasting content thereof
US20120169855A1 (en) * 2010-12-30 2012-07-05 Electronics And Telecommunications Research Institute System and method for real-sense acquisition
KR20120106157A (ko) * 2011-03-17 2012-09-26 삼성전자주식회사 실감 미디어 통합 데이터 파일을 구성 및 재생하는 방법과 그 장치
CN103596044A (zh) * 2013-11-22 2014-02-19 深圳创维数字技术股份有限公司 一种视频文件的处理及播放方法、装置及系统
WO2016072120A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 情報処理システム、制御方法、および記憶媒体
KR101721231B1 (ko) * 2016-02-18 2017-03-30 (주)다울디엔에스 미디어 플랫폼을 이용한 mpeg-v 표준 기반의 4d 미디어 제작방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6593936B1 (en) * 1999-02-01 2003-07-15 At&T Corp. Synthetic audiovisual description scheme, method and system for MPEG-7
GB2421597A (en) * 2004-12-17 2006-06-28 Motorola Inc Method and apparatus for alert management.
WO2009126069A1 (en) * 2008-04-10 2009-10-15 Telefonaktiebolaget Lm Ericsson (Publ) Adaption of metadata based on network conditions

Also Published As

Publication number Publication date
KR20100034859A (ko) 2010-04-02
US20100074598A1 (en) 2010-03-25

Similar Documents

Publication Publication Date Title
US11151890B2 (en) 5th-generation (5G) interactive distance dedicated teaching system based on holographic terminal and method for operating same
KR100961718B1 (ko) 엠펙4 단일 미디어 기반 멀티 디바이스 동영상 송/수신장치및 방법
CA2924065C (en) Content based video content segmentation
KR102023788B1 (ko) 스트리밍 배신 장치 및 방법, 스트리밍 수신 장치 및 방법, 스트리밍 시스템, 프로그램과 기록 매체
US20120151320A1 (en) Associating comments with playback of media content
CN103988520B (zh) 接收装置、控制接收装置的方法、分发装置、分发方法、分发系统
RU2292584C2 (ru) Способ и устройство для синхронизации интерактивного содержимого
CN101193200A (zh) 用于关联基本装置和扩展装置的设备和方法
US9767825B2 (en) Automatic rate control based on user identities
Agulló et al. Making interaction with virtual reality accessible: rendering and guiding methods for subtitles
KR100963005B1 (ko) 자유시점 ａｖ 서비스에 따른 파일 생성 방법
KR20100033954A (ko) 실감 효과 표현 방법 및 장치
KR20130050465A (ko) 그래픽 오브젝트를 이용한 증강 미디어 콘텐츠를 제공하기 위한 미디어 콘텐츠 송신 방법 및 장치, 및 수신 방법 및 장치
KR20130134130A (ko) 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법
KR101198091B1 (ko) 학습 콘텐츠 서비스 제공 방법 및 시스템
KR20150112113A (ko) 이벤트 처리 기반의 온라인 강의 콘텐츠 관리방법
CN112995530A (zh) 视频的生成方法、装置及设备
KR101721231B1 (ko) 미디어 플랫폼을 이용한 mpeg-v 표준 기반의 4d 미디어 제작방법
KR101425381B1 (ko) 자막 학습 시스템 및 방법
KR20200089417A (ko) 사용자와의 상호작용이 가능한 동영상 기반 학습 콘텐츠 제공 방법 및 동영상 기반 학습 콘텐츠 제공 시스템
CN111726692B (zh) 音视图数据的互动播放方法
KR20170132561A (ko) 동영상 자막과 IoT 디바이스의 연동 방법 및 시스템
KR101951032B1 (ko) 인터랙티브 미디어 제공 시스템 및 방법
KR20180036197A (ko) 스크립트 길이 기반의 장면 인식 방법 및 시스템
KR20060108971A (ko) 강의목차, 강의교재와 연동되는 동영상 강의 저작도구 및그 저작방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150427

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee