KR100622645B1 - 임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법 - Google Patents

임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법 Download PDF

Info

Publication number
KR100622645B1
KR100622645B1 KR1020040105440A KR20040105440A KR100622645B1 KR 100622645 B1 KR100622645 B1 KR 100622645B1 KR 1020040105440 A KR1020040105440 A KR 1020040105440A KR 20040105440 A KR20040105440 A KR 20040105440A KR 100622645 B1 KR100622645 B1 KR 100622645B1
Authority
KR
South Korea
Prior art keywords
scene
mpeg
event
embedded system
rendering
Prior art date
Application number
KR1020040105440A
Other languages
English (en)
Other versions
KR20060066906A (ko
Inventor
이윤주
이석필
임태범
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020040105440A priority Critical patent/KR100622645B1/ko
Publication of KR20060066906A publication Critical patent/KR20060066906A/ko
Application granted granted Critical
Publication of KR100622645B1 publication Critical patent/KR100622645B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text

Abstract

본 발명은 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치로서, 사용자와의 인터페이스를 수신하는 사용자 인터페이스와, 상기 사용자 인터페이스에서 수신된 사용자 이벤트를 수신하여 관리하며 객체의 교체 또는 객체의 속성 변환에 대한 이벤트를 처리하는 장면 이벤트 관리기와, 상기 장면 이벤트 관리기로부터 상기 이벤트를 수신하여 상기 이벤트에 해당하는 객체의 교체 또는 객체의 속성 변환에 관계된 노드를 찾아 갱신시키는 장면 트리와, 상기 장면 트리로부터 갱신된 장면 트리를 수신받아 장면을 다시 렌더링하여 구성하는 장면 렌더러를 포함하는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치에 관한 것이다.
본 발명에 따르면, 임베디드 시스템 상의 MPEG-4 장면 렌더링에서 사용자 이벤트 처리를 위해 불필요한 노드 파싱(parsing)을 제거하고 이벤트 처리 절차를 간략히 수행하여 효율적인 객체 교체와 객체 속성 변환이 가능하며, 이로써 임베디드 시스템 환경에서 대용량의 멀티미디어 컨텐츠를 재생하고 사용자 이벤트를 받아 실시간으로 처리하는 경우에도 임베디드 시스템의 제한된 자원으로 인한 한계점을 극복할 수 있어 대화형 멀티미디어를 프리젠테이션할 수 있다.
임베디드 시스템, MPEG-4, 대화형 멀티미디어, 미디어 플레이어, 이벤트, 렌더러, 프리젠터, 파서, 이벤트 관리기, 전달 관리기

Description

임베디드 시스템 상의 ＭＰＥＧ-4 장면 렌더링에서의 객체 교체와 속성 변환 장치 및 방법{METHOD AND APPARATUS FOR OBJECT REPLACEMENT AND ATTRIBUTE TRANSFORMATION FOR MPEG-4 SCENE RENDERING IN EMBEDDED SYSTEM}
도 1은 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치를 구비하는 MPEG-4 미디어 플레이어의 블록도.
도 2는 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치에 있어서 이벤트를 전달받아 직접 노드의 속성 값을 변경하여 처리하는 것을 나타내는 도면.
도 3은 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치에 있어서 객체의 교체와 객체의 속성 값을 변경한 사용자 인터페이스의 예를 나타내는 도면.
도 4는 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법의 흐름도.
도 5는 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법의 흐름도.
<도면의 주요부분에 대한 부호의 설명>
100: MPEG-4 미디어 플레이어 110: 운영 체제
115: 그래픽 라이브러리 120: 전달 관리기
125a: 오디오 디코더 버퍼 125b: 비디오 디코더 버퍼
125c: BIFS/OD 디코더 버퍼 125d: 파일 헤더 파서
130: 파서 관리기 132: BIFS/OD 파서
134: 장면 트리 135a: 오디오 디코더
135b: 비디오 디코더 137a: 노드 테이블
137b: 노드 데이터타입 테이블 137c: 노드 코딩 테이블
140a: 오디오 컴포지션 버퍼 140b: 비디오 컴포지션 버퍼
150: 장면 렌더러 153: 장면 프리젠터
155: 2D/이미지/텍스트 드로잉 모듈 158: 드로잉 노드 리스트 생성기
160: 오디오 재생기 165: 사운드 디바이스
170: 사용자 인터페이스 180: 장면 이벤트 관리기
210, 220: 장면 210a, 210b, 220a: 구성요소
230: 그룹 235a: 오디오 소스
235b: 동영상 텍스쳐 235c: 이미지 텍스쳐
245a: 라인 특성
본 발명은 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속 성 변환 장치 및 방법에 관한 것으로, 더욱 구체적으로는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서 사용자 이벤트 처리를 위해 불필요한 노드 파싱을 제거하고 이벤트 처리 절차를 간략히 수행하여 효율적인 객체 교체와 객체 속성 변환이 가능하도록 함으로써, 임베디드 시스템 환경에서 대용량의 멀티미디어 컨텐츠를 재생하고 사용자 이벤트를 받아 실시간으로 처리하는 경우에도 임베디드 시스템의 제한된 자원으로 인한 한계점을 극복할 수 있는 것인 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치 및 방법에 관한 것이다.
임베디드 시스템은 일반적인 용도의 워크스테이션이나 데스크 탑, 노트북 컴퓨터와 같은 범용 컴퓨터가 아니면서 CPU를 사용하는 전자 장치로서 일반적으로 마이크로프로세서 및/또는 전용으로 설계된 반도체 부품을 포함하고 있다.
이러한 임베디드 시스템은 휴대폰, PDA, 그 밖의 휴대용 장치뿐만 아니라 자동차, 항공기, 기차, 우주선, 각종 자동 기계 장치, 카메라, 가전제품, 사무용 기기, 로봇, 장난감 등에 흔히 사용된다.
이러한 임베디드 시스템에 사용되는 운영 체제로는 흔히 사용되는 PC나 서버용 운영
한편 MPEG는 디지털 멀티미디어의 부호화에 대한 표준으로서, MPEG 표준을 통하여 방송 및 통신, 컴퓨터 분야에서의 디지털 멀티미디어 서비스의 괄목할 만한 성장이 이루어졌다. MPEG-4 표준은 방송 및 통신 기술의 발전 추세에 따라 대화형 방송 및 대화형 멀티미디어 매체의 효과를 최대한 실현시키기 위해 1999년 제정되었다.
MPEG-4에서는 객체 기반의 오디오 및 비디오 등 멀티미디어 데이터의 부호화 도구 및 이들 객체기반 멀티미디어 데이터를 기반으로 장면합성을 하기 위한 BIFS(Binary Format for Scene)라는 장면 기술(Scene Description) 언어와 OD(object descriptor)라는 객체 기술자를 표준화하였다. 이러한 객체기반의 멀티미디어 데이터를 활용할 경우 원격지에서 서로가 객체에 대한 접근 및 변환이 자유로워지며, 이에 의해 서로간의 데이터 및 정보공유의 느낌을 극대화할 수 있다.
기존의 임베디드 시스템 환경에서 MPEG-4 등의 규격을 만족하는 대용량의 멀티미디어 컨텐츠를 재생하고 동시에 사용자 이벤트를 수신받아 실시간으로 처리하는 시도가 계속되어 왔다. 그러나 이러한 시도는 전술하였듯이 임베디드 시스템의 제한된 자원으로 인해 한계점이 있었다. 따라서 특히 대화형 멀티미디어의 재생에 있어서 사용자에 의해 생성되는 각각의 이벤트에 효율적으로 대처하지 못하는 문제점이 있다.
따라서 압축률이 좋고 전송 및 재생에 효과적인 MPEG-4 시스템의 표준을 따르는 멀티미디어 컨텐츠를 재생하면서 동시에 임베디드 시스템 상의 제한된 자원에서 사용자와의 대화형 멀티미디어를 프리젠테이션할 수 있는 효율적인 방안에 대한 필요성이 증가하고 있다.
본 발명의 목적은 임베디드 시스템 상의 MPEG-4 장면 렌더링에서 사용자 이벤트 처리를 위해 불필요한 노드 파싱을 제거하고 이벤트 처리 절차를 간략히 수행하여 효율적인 객체 교체와 객체 속성 변환이 가능하도록 함으로써, 임베디드 시스 템 환경에서 대용량의 멀티미디어 컨텐츠를 재생하고 사용자 이벤트를 받아 실시간으로 처리하는 경우에도 임베디드 시스템의 제한된 자원으로 인한 한계점을 극복할 수 있는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치를 제공하는 데 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명은 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치로서, 사용자와의 인터페이스를 수신하는 사용자 인터페이스와, 상기 사용자 인터페이스에서 수신된 사용자 이벤트를 수신하여 관리하며 객체의 교체 또는 객체의 속성 변환에 대한 이벤트를 처리하는 장면 이벤트 관리기와, 상기 장면 이벤트 관리기로부터 상기 이벤트를 수신하여 상기 이벤트에 해당하는 객체의 교체 또는 객체의 속성 변환에 관계된 노드를 찾아 갱신시키는 장면 트리와, 상기 장면 트리로부터 갱신된 장면 트리를 수신받아 장면을 다시 렌더링하여 구성하는 장면 렌더러를 포함하는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치를 제공한다.
본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치에 있어서, 상기 장면 렌더러는, 상기 장면 트리로부터 시청각 장면을 구성하는 데 있어서 현재 그려야 할 노드들을 추출하여 등록하는 드로잉 노드 리스트 생성기와, 2D/이미지/텍스트에 관련된 정보를 그래픽 라이브러리에서 사용되는 함수로 매핑시키는 2D/이미지/텍스트 드로잉 모듈과, 상기 드로잉 노드 리스트 생성기와 상기 2D/이미지/텍스트 드로잉 모듈에 의해서 생성된 정보에 의해서 사용자에 프리젠테이션하는 장면 프리젠터를 포함하는 것이고, 상기 드로잉 노드 리스트 생성기는, 상기 장면 트리로부터 갱신된 장면 트리를 수신받아 갱신되어야 할 노드들을 추출하여 등록하는 것이 바람직하다.
또한 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치에 있어서, 상기 장면 트리는, 상기 이벤트를 수신한 후 라우팅 테이블을 검사하여 상기 이벤트에 해당하는 객체의 교체 또는 객체의 속성 변환에 관계된 노드를 찾아 상기 라우팅 테이블에 연결되어 있는 각 노드의 필드 값을 갱신시키는 것이 바람직하다.
또한 본 발명은 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법으로서, 객체 교체 이벤트를 수신하는 단계와, MPEG-4 장면 트리에서 이벤트 발생과 관련된 노드를 찾는 단계와, 상기 관련된 노드를 갱신하여 상기 장면 트리를 갱신하는 단계와, 상기 갱신된 장면 트리를 이용하여 MPEG-4 장면을 다시 구성하는 단계와, 요구되는 객체 데이터를 버퍼로부터 읽어오는 단계와, 상기 객체 데이터와 상기 MPEG-4 장면을 이용하여 실시간으로 렌더링하는 단계를 포함하는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법을 제공한다.
본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법에 있어서, 상기 관련된 노드를 찾는 단계는, 라우팅 테이블을 검사하여 상기 이벤트에 해당하는 객체 교체에 관계된 노드들을 찾는 단계를 포함하는 것이 바람직하다.
또한 본 발명은 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법으로서, 속성 변환 이벤트를 수신하는 단계와, MPEG-4 장면 트리에서 상기 이벤트 발생과 관련된 노드를 찾는 단계와, 상기 관련된 노드를 갱신하여 상기 장면 트리를 갱신하는 단계와, 상기 갱신된 장면 트리를 이용하여 실시간으로 렌더링하는 단계를 포함하는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법을 제공한다.
본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법에 있어서, 상기 관련된 노드를 찾는 단계는, 라우팅 테이블을 검사하여 상기 이벤트에 해당하는 속성 변환에 관계된 노드들을 찾는 단계를 포함하는 것이 바람직하다.
이하, 본 발명의 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치 및 방법을 도면을 참조로 하여 보다 구체적으로 설명한다.
도 1은 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치를 구비하는 MPEG-4 미디어 플레이어의 블록도이다.
본 발명에 따른 객체 교체와 속성 변환 장치는 사용자 인터페이스(170)와, 장면 이벤트 관리기(180)와, 장면 트리(134)와, 장면 렌더러(150)를 포함하며, 기타 구성 요소는 MPEG-4 미디어 플레이어의 종래 구성 요소이다.
이하 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치를 구비하는 MPEG-4 미디어 플레이어(100)의 세부 사항에 대해서 설명한다.
MPEG-4 미디어 플레이어(100)는 서버(도시되지 않음)로부터 MPEG-4 미디어 스트림 및 BIFS/OD 스트림을 수신한다.
운영 체제(110)는 임베디드 시스템 상에서 동작하는 RTOS이며, 예컨대 윈드리버(Wind River) 사의 VxWorks 등의 상용 RTOS일 수 있다.
그래픽 라이브러리(115)는 상기 운영체제(110)에 적합한 그래픽 기능을 제공한다.
전달 관리기(120)는 수신된 MPEG-4 미디어 스트림 및 BIFS/OD 스트림을 각각 오디오 디코더 버퍼(125a), 비디오 디코더 버퍼(125b) 및 BIFS/OD 디코더 버퍼(125c)에 저장한다.
오디오 디코더 버퍼(125a)에 저장된 오디오 스트림에 대해서는 오디오 디코더(135a)에 의해서 디코딩된다. 오디오 디코더(135a)는 G.723 규격을 만족하는 디코더일 수 있다.
비디오 디코더 버퍼(125b)에 저장된 비디오 스트림에 대해서는 비디오 디코더(135b)에 의해서 디코딩된다. 비디오 디코더(135b)는 H.263 규격을 만족하는 디코더일 수 있다.
BIFS/OD 디코더 버퍼(125c)에 저장된 BIFS/OD 스트림에 대해서는 파서 관리기(130)에 의해서 파싱된다.
또한 전달 관리기(120)에 의해서 전송된 파일 헤더 데이터는 파일 헤더 파서(125d)에 의해서 파싱되어서 파서 관리기(130)에 전송된다.
파서 관리기(130)는 전달 관리기(120)를 통해 전송받은 미디어 스트림으로부터 시청각 장면을 렌더링할 수 있도록 BIFS/OD 스트림 내의 장면 디스크립션을 파 싱하고 장면을 구성하는 장면 트리(134)를 생성하는 역할을 한다. 즉, 파서 관리기(130)는 BIFS/OD 디코더 버퍼(125c)에 저장된 BIFS/OD 스트림을 BIFS/OD 파서(142)에 의해서 파싱하고, 파일 헤더 파서(125d)에 의해서 파싱된 노드 테이블(137a), 노드 데이터 타입 테이블(137b), 노드 코딩 테이블(137c)에 관한 정보를 이용하여 장면 트리(134)를 생성한다. BIFS/OD 스트림 내에서 BIFS 스트림은 장면 구성에 관한 정보를, OD 스트림은 미디어에 관한 정보를 포함한다.
비디오/오디오 스트림들은 각각 비디오 디코더(135b)/오디오 디코더(135a)로부터 디코딩되어 비디오 컴포지션 버퍼(140b)/오디오 컴포지션 버퍼(140a)에 저장된다.
장면 렌더러(150)는 파서 관리기(130)에서 생성된 장면 트리(134)를 이용해서 사운드 디바이스(165)와 사용자 인터페이스(170)에 프리젠테이션한다.
장면 렌더러(150)에 대해서 좀 더 구체적으로 설명하면, 드로잉 노드 리스트 생성기(158)는 시청각 장면을 구성하는 데 있어서 현재 그려야 할 노드들을 추출하여 등록한다.
2D/이미지/텍스트 드로잉 모듈(155)은 2D/이미지/텍스트에 관련된 정보를 그래픽 라이브러리(115)에서 사용되는 함수로 매핑시킨다. 예컨대, 점, 직선, 사각형, 원, 타원 등의 2D 그래픽과, JPEG 이미지와 텍스트에 관한 정보를 처리한다.
장면 프리젠터(153)는 드로잉 노드 리스트 생성기(158)와 2D/이미지/텍스트 드로잉 모듈(155)에 의해서 생성된 정보에 의해서 사운드 디바이스(165)와 사용자 인터페이스(170)에 장면을 프리젠테이션한다.
오디오 재생기(160)는 장면 렌더러(150)로부터 장면에 해당되는 오디오 정보를 전송받아 이를 사운드 디바이스(165)를 통해 재생한다.
사용자 인터페이스(170)는 사용자와의 인터페이스를 처리한다.
장면 이벤트 관리기(180)는 사용자 인터페이스(170)에서 직접 사용자 이벤트를 수신받아 관리하며, 삽입, 삭제, 갱신의 명령인 객체의 교체와 객체의 색상, 위치, 시작시간, 끝시간 등의 속성의 변경을 장면 트리(134)에 전달하여 처리한다.
MPEG-4 멀티미디어 렌더링에서 제공하는 사용자 이벤트는 마우스, 키보드, 리모콘, 버튼의 4가지 형태의 이벤트를 지원한다. 이러한 이벤트 각각은 실시간으로 처리되며 이벤트가 발생하면, 콜백(Callback)으로 큐에 저장되어 장면 프리젠터(153)가 이를 처리한다.
즉, MPEG-4 장면에서 예컨대 마우스 이벤트가 발생한 경우 사용자 인터페이스(170)에 의해서 상태와 위치를 파악하여 장면 이벤트 관리기(180)에게 전송되고, 장면 이벤트 관리기(180)는 마우스 이벤트 위치와 상태를 넘겨받아 현재 장면 트리에서 선택된 노드의 위치를 파악하고 해당되는 이벤트에 해당하는 작업을 수행한다.
이 경우 장면 렌더러(150)는 사용자 이벤트 발생시 장면 이벤트 관리기(180)로부터 이벤트 타입과 상태, 마우스 좌표값을 넘겨받아 해당하는 노드의 라우팅 정보를 라우팅 테이블에서 읽어서 발생된 사용자 이벤트에 대응하여 렌더링한다. 즉 드로잉 노드 리스트 생성기(158)는, 장면 트리(134)로부터 갱신된 장면 트리를 수신받아 갱신되어야 할 노드들을 추출하여 등록하게 된다.
도 2는 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치에 있어서 이벤트를 전달받아 직접 노드의 속성 값을 변경하여 처리하는 것을 나타내는 도면이다.
도시되듯이, MPEG-4의 각 장면에 대해서 각 장면(210, 220)을 이루는 구성 요소들(210a, 210b, 220a)에 대해서 미리 그룹(Group, 230)으로 각 노드를 설정하고, 각 노드들에 대해서 2D변환(Transform2D)에 대해서 속성을 지정한 후, 이벤트에 따라서 이를 변경한다.
예컨대, 구성요소(210a)에 대해서 해당 동영상과 음성을 변경하고자 하는 경우라면, 구성요소(210a)에 해당하는 오디오 소스(235a)와 동영상 텍스쳐(235b)의 속성을 직접 변경하고 장면 렌더러(150)에서 다시 렌더링함으로써 개체의 교체 및 속성 변경을 수행할 수 있다.
또한 구성요소(210b)를 변경하고자 하는 경우, 구성요소(210b)에 해당하는 이미지 텍스쳐(235c)의 속성을 직접 변경하고 장면 렌더러(150)에서 다시 렌더링함으로써 개체의 교체 및 속성 변경을 수행할 수 있다.
또한 구성요소(220a)를 변경하고자 하는 경우, 구성요소(220a)에 해당하는 라인 특성(245a)의 속성을 직접 변경하고 장면 렌더러(150)에서 다시 렌더링함으로써 개체의 교체 및 속성 변경을 수행할 수 있다.
마찬가지로, 장면에 표시되는 텍스트나 도형의 형상을 변경하고자 하는 경우라면 각 장면 트리의 해당 속성을 직접 교체 또는 변경하고 장면 렌더러(150)에서 다시 렌더링함으로써 개체의 교체 및 속성 변경을 수행할 수 있다.
이러한 각 속성의 예로는, 색상(ColorProperty), 좌표(Coordinate2DProperty), 폰트(FontStyleProperty), 물질(MaterialProperty), 텍스쳐변형(TextureTransformProperty), 선특성(LineProProperty), 픽셀텍스쳐(PixelTextureProperty), 2D복합텍스쳐(CompositeTexture2DProperty), 사각형(RectangleProperty), 원(CircleProperty), 다각형(PolygonProperty), 선(LineProperty), 점(PointProperty), 곡선(CurveProperty), 문자(TextProperty), 오디오(AudioProperty), 비디오(VideoProperty), 이미지(ImageProperty), 부장면(SubsceneProperty), 앵커(AnchorProperty), 형상(FormProperty), 2D 레이어(Layer2DProperty), 레이아웃(LayoutProperty), 정렬그룹(OrderedGroupProperty), 스위치(SwitchProperty), 그룹(GroupProperty) 등이 있다.
또한 각 속성 별 설정 가능 이벤트로서는, 사각형 또는 원, 또는 다각형의 경우, 스케일(Scale), 색상(Color), 변환(Translation), 회전(Rotation), 채움(Filled), 선특징(LineProperty), 하이퍼링크(HyperLink) 등의 이벤트가 있을 수 있다.
또한 선 또는 곡선의 경우, 스케일(Scale), 변환(Translation), 회전(Rotation), 선특징(LineProperty), 하이퍼링크(HyperLink) 등의 이벤트가 있을 수 있다.
또한 문자의 경우 변환(Translation), 회전(Rotation), 하이퍼링크(HyperLink) 등의 이벤트가 있을 수 있다.
또한 포인트의 경우 스케일(Scale), 색상(Color), 변환(Translation), 하이 퍼링크(HyperLink) 등의 이벤트가 있을 수 있다.
또한 이미지의 경우 변환(Translation), 하이퍼링크(HyperLink) 등의 이벤트가 있을 수 있다.
또한 비디오의 경우 변환(Translation), 속도(Speed), 하이퍼링크(HyperLink), 시작시간(StartTime), 정지 시간(StopTime), 루프(Loop) 등의 이벤트가 있을 수 있다.
또한 오디오의 경우 속도(Speed), 시작시간(StartTime), 정지 시간(StopTime), 루프(Loop), 길이(Length), 피치(Pitch), 채널넘버(numChan), 페이즈그룹(phaseGroup) 등의 이벤트가 있을 수 있다.
또한 부장면의 경우 변환(Translation), 하이퍼링크(HyperLink) 등의 이벤트가 있을 수 있다.
또한 정렬 그룹의 경우, 순서(Order) 등의 이벤트가 있을 수 있다.
또한 스위치의 경우 선택(WhichChoice) 등의 이벤트가 있을 수 있다.
이러한 이벤트들에 대해서 기존의 MPEG-4 미디어 플레이어에서는 장면 구성 정보를 변경할 객체의 속성 값을 라우팅 정보를 파싱하여 사용자의 상호작용에 의한 이벤트를 처리했었다. 매번 사용자 상호작용 이벤트가 있을 때 마다 라우팅 정보를 파싱하고, 장면 구성 정보인 BIFS와 객체 정보인 OD를 갱신하여 스트림을 파싱하고 일련의 과정을 거쳐 화면에 렌더링하여야만 했었다. 따라서 객체의 교체 또는 속성을 변경하는 경우 불필요한 노드 파싱을 수행하여야 하는 단점이 있었다.
하지만, 본 발명에 따른 미디어 플레이어에서는 BIFS 스트림 파싱의 결과물 인 장면 트리(134)와 장면 이벤트 관리기(180) 사이의 인터페이스를 가능하도록 하여서, 장면 트리(134)에서 직접 객체의 교체와 객체의 속성 값을 변경함으로써 불필요한 노드 파싱을 제거하고 이벤트 처리 절차를 간략히 하도록 하였다.
도 3은 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치에 있어서 객체의 교체와 객체의 속성 값을 변경한 사용자 인터페이스의 예이다.
즉 MPEG-4 초기 화면 렌더링[도 3의 (a)]에서 비디오 또는 이미지의 객체 교체에 대한 이벤트가 발생하는 경우, 이를 객체 교체 렌더링을 통하여 실시간으로 렌더링하고[도 3의 (b)], 비디오 또는 이미지의 속성 변경, 예컨대 배경 색상이나 텍스트 바의 색상을 변환하는 이벤트가 발생하는 경우, 이를 속성 변환 렌더링을 통하여 실시간으로 렌더링하게 된다[도 3의 (c)].
도 4는 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법의 흐름도이다.
우선 객체 교체 이벤트를 수신한다(S110). 객체 교체 이벤트는 사용자가 하나의 비디오 동영상을 다른 동영상으로 교체하고자 하는 경우에 발생할 수 있다.
이후 MPEG-4 장면 트리에서 이벤트 발생과 관련된 노드를 검색한다(S120). 이러한 노드 검색은 예컨대 장면 트리에서 라우팅 테이블을 검사하여 수행될 수 있다.
이후 상기 관련된 노드를 갱신하여 상기 장면 트리를 갱신한다(S130).
장면 트리 갱신은 라우팅 테이블에 연결되어 있는 각 노드를 갱신시킴으로서 수행된다.
이후 장면 렌더러에서는 갱신된 장면 트리를 이용하여 MPEG-4 장면을 다시 구성하고(S140), 요구되는 객체 데이터를 버퍼로부터 읽어와서(S150) 실시간으로 렌더링한다(S160).
도 5는 본 발명에 따른 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법의 흐름도이다.
우선 속성 변환 이벤트를 수신한다(S210). 속성 변환 이벤트는 예컨대 사용자가 마우스로 가리키는 객체의 속성 즉, 위치, 칼라, 크기 등의 변환을 요구하는 사용자 이벤트이다.
이후 MPEG-4 장면 트리에서 이벤트 발생과 관련된 노드를 검색한다(S220). 이러한 노드 검색은 예컨대 장면 트리에서 라우팅 테이블을 검사하여 수행될 수 있다.
이후 상기 관련된 노드를 갱신하여 상기 장면 트리를 갱신한다(S230).
장면 트리 갱신은 라우팅 테이블에 연결되어 있는 각 노드를 갱신시킴으로서 수행된다.
이후 장면 렌더러에서는 갱신된 장면 트리를 이용하여 실시간으로 렌더링한다(S240).
본 발명에 따른 속성 변환 방법에서는 객체를 교체하지 않고 단지 색상 등의 속성만을 변환하는 것이므로 요구되는 객체 데이터를 버퍼로부터 읽어오는 단계는 필요하지 않다.
비록 본원 발명이 구성이 예시적으로 설명되었지만 이는 단지 본 발명을 예시하기 위한 것이며, 본 발명의 보호 범위가 이들 예시에 의해 제한되는 것은 아니며, 본원 발명의 보호 범위는 청구범위의 기재를 통하여 정하여진다.
이상 설명한 바와 같이, 본 발명에 따르면 임베디드 시스템 상의 MPEG-4 장면 렌더링에서 사용자 이벤트 처리를 위해 불필요한 노드 파싱을 제거하고 이벤트 처리 절차를 간략히 하여 효율적인 객체 교체와 객체 속성 변환이 가능하며, 이로써 임베디드 시스템 환경에서 대용량의 멀티미디어 컨텐츠를 재생하고 사용자 이벤트를 받아 실시간으로 처리하는 경우에도 임베디드 시스템의 제한된 자원으로 인한 한계점을 극복하여 대화형 멀티미디어를 프리젠테이션할 수 있게 된다.

Claims (7)

  1. 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치로서,
    사용자와의 인터페이스를 수신하는 사용자 인터페이스와,
    상기 사용자 인터페이스에서 수신된 사용자 이벤트를 수신하여 관리하며 객체의 교체 또는 객체의 속성 변환에 대한 이벤트를 처리하는 장면 이벤트 관리기와,
    상기 장면 이벤트 관리기로부터 상기 이벤트를 수신하여 상기 이벤트에 해당하는 객체의 교체 또는 객체의 속성 변환에 관계된 노드를 찾아 갱신시키는 장면 트리와,
    상기 장면 트리로부터 갱신된 장면 트리를 수신받아 장면을 다시 렌더링하여 구성하는 장면 렌더러
    를 포함하는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치.
  2. 제1항에 있어서, 상기 장면 렌더러는,
    상기 장면 트리로부터 시청각 장면을 구성하는 데 있어서 현재 그려야 할 노드들을 추출하여 등록하는 드로잉 노드 리스트 생성기와,
    2D/이미지/텍스트에 관련된 정보를 그래픽 라이브러리에서 사용되는 함수로 매핑시키는 2D/이미지/텍스트 드로잉 모듈과,
    상기 드로잉 노드 리스트 생성기와 상기 2D/이미지/텍스트 드로잉 모듈에 의해서 생성된 정보에 의해서 사용자에 프리젠테이션하는 장면 프리젠터
    를 포함하는 것이고,
    상기 드로잉 노드 리스트 생성기는,
    상기 장면 트리로부터 갱신된 장면 트리를 수신받아 갱신되어야 할 노드들을 추출하여 등록하는 것인 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치.
  3. 제1항에 있어서,
    상기 장면 트리는, 상기 이벤트를 수신한 후 라우팅 테이블을 검사하여 상기 이벤트에 해당하는 객체의 교체 또는 객체의 속성 변환에 관계된 노드를 찾아 상기 라우팅 테이블에 연결되어 있는 각 노드의 필드 값을 갱신시키는 것인 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체와 속성 변환 장치.
  4. 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법으로서,
    객체 교체 이벤트를 수신하는 단계와,
    MPEG-4 장면 트리에서 이벤트 발생과 관련된 노드를 찾는 단계와,
    상기 관련된 노드를 갱신하여 상기 장면 트리를 갱신하는 단계와,
    상기 갱신된 장면 트리를 이용하여 MPEG-4 장면을 다시 구성하는 단계와,
    요구되는 객체 데이터를 버퍼로부터 읽어오는 단계와,
    상기 객체 데이터와 상기 MPEG-4 장면을 이용하여 렌더링하는 단계
    를 포함하는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법.
  5. 제4항에 있어서, 상기 관련된 노드를 찾는 단계는,
    라우팅 테이블을 검사하여 상기 이벤트에 해당하는 객체 교체에 관계된 노드들을 찾는 단계
    를 포함하는 것인 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 객체 교체 방법.
  6. 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법으로서,
    속성 변환 이벤트를 수신하는 단계와,
    MPEG-4 장면 트리에서 상기 이벤트 발생과 관련된 노드를 찾는 단계와,
    상기 관련된 노드를 갱신하여 상기 장면 트리를 갱신하는 단계와,
    상기 갱신된 장면 트리를 이용하여 렌더링하는 단계
    를 포함하는 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법.
  7. 제6항에 있어서, 상기 관련된 노드를 찾는 단계는,
    라우팅 테이블을 검사하여 상기 이벤트에 해당하는 속성 변환에 관계된 노드들을 찾는 단계
    를 포함하는 것인 임베디드 시스템 상의 MPEG-4 장면 렌더링에서의 속성 변환 방법.
KR1020040105440A 2004-12-14 2004-12-14 임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법 KR100622645B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040105440A KR100622645B1 (ko) 2004-12-14 2004-12-14 임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040105440A KR100622645B1 (ko) 2004-12-14 2004-12-14 임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060066906A KR20060066906A (ko) 2006-06-19
KR100622645B1 true KR100622645B1 (ko) 2006-09-19

Family

ID=37161572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040105440A KR100622645B1 (ko) 2004-12-14 2004-12-14 임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100622645B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917546B2 (en) 2007-08-09 2011-03-29 Samsung Electronics Co., Ltd. Method and apparatus for generating media-exchangeable multimedia data, and method and apparatus for reconstructing media-exchangeable multimedia data

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080089119A (ko) * 2007-03-30 2008-10-06 삼성전자주식회사 Ｍｐｅｇ 기반의 ｕｉ 장치 및 이를 이용한 기능 제어 방법
KR101370290B1 (ko) 2007-07-31 2014-03-05 삼성전자주식회사 복호화 레벨을 구비하는 멀티미디어 데이터의 생성 방법과장치 및 복호화 레벨을 이용한 멀티미디어 데이터의 재구성방법과 장치
KR101445074B1 (ko) * 2007-10-24 2014-09-29 삼성전자주식회사 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치
US9570110B2 (en) 2009-12-28 2017-02-14 Korea Electronics Technology Institute Multimedia-data-processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157153A (ja) 1999-11-29 2001-06-08 Matsushita Electric Ind Co Ltd 映像及び音声オブジェクトからなるシーンにおけるシーン情報構造の複雑さを抽象化する方法
KR20010091921A (ko) * 2000-03-14 2001-10-23 윤종용 인터랙티브 멀티미디어 콘텐츠 서비스에서 업스트림채널을 이용한 사용자 요구 처리방법 및 그 장치
US6317795B1 (en) 1997-07-22 2001-11-13 International Business Machines Corporation Dynamic modification of multimedia content
KR20030056034A (ko) * 2001-12-27 2003-07-04 삼성전자주식회사 엠펙 데이터의 수신 장치, 엠펙 데이터 송수신시스템 및송수신방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317795B1 (en) 1997-07-22 2001-11-13 International Business Machines Corporation Dynamic modification of multimedia content
JP2001157153A (ja) 1999-11-29 2001-06-08 Matsushita Electric Ind Co Ltd 映像及び音声オブジェクトからなるシーンにおけるシーン情報構造の複雑さを抽象化する方法
KR20010091921A (ko) * 2000-03-14 2001-10-23 윤종용 인터랙티브 멀티미디어 콘텐츠 서비스에서 업스트림채널을 이용한 사용자 요구 처리방법 및 그 장치
KR20030056034A (ko) * 2001-12-27 2003-07-04 삼성전자주식회사 엠펙 데이터의 수신 장치, 엠펙 데이터 송수신시스템 및송수신방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917546B2 (en) 2007-08-09 2011-03-29 Samsung Electronics Co., Ltd. Method and apparatus for generating media-exchangeable multimedia data, and method and apparatus for reconstructing media-exchangeable multimedia data
US8117241B2 (en) 2007-08-09 2012-02-14 Samsung Electronics Co., Ltd. Method and apparatus for generating media-exchangeable multimedia data and method and apparatus for reconstructing media-exchangeable multimedia data

Also Published As

Publication number Publication date
KR20060066906A (ko) 2006-06-19

Similar Documents

Publication Publication Date Title
US7701458B2 (en) Method to transmit and receive font information in streaming systems
US7454710B2 (en) User interface system, scene description generating device and method, scene description converting device and method, recording medium, and sending medium
EP1567989A2 (en) Apparatus and method for adapting graphics contents and system therefor
US20100095228A1 (en) Apparatus and method for providing user interface based on structured rich media data
JP2001243496A (ja) シーン記述生成装置及び方法、シーン記述変換装置及び方法、シーン記述記憶装置及び方法、シーン記述復号装置及び方法、ユーザインタフェースシステム、記録媒体並びに伝送媒体
KR100622645B1 (ko) 임베디드 시스템 상의 ｍｐｅｇ-4 장면 렌더링에서의 객체교체와 속성 변환 장치 및 방법
EP2397953B1 (en) A computer-implemented method, a computer program product and an embedded system for displaying data more efficiently
Kim et al. Design and implementation of MPEG-4 authoring tool
EP1338149B1 (en) Method and device for video scene composition from varied data
KR20010093190A (ko) 폰트 대체 시스템
Cha Content complexity adaptation for MPEG-4 audio-visual scene
Cheong et al. Development of an interactive contents authoring system for MPEG-4
US20230396808A1 (en) Method and apparatus for decoding point cloud media, and method and apparatus for encoding point cloud media
US11799943B2 (en) Method and apparatus for supporting preroll and midroll during media streaming and playback
US20230224557A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
Lim et al. MPEG Multimedia Scene Representation
EP4229854A1 (en) Method and apparatus for mpeg dash to support preroll and midroll content during media playback
KR20230131911A (ko) 동적 dash 픽처-인-픽처 스트리밍을 위한 방법 및 장치
KR20140079936A (ko) 증강 현실 서비스 송수신 방법 및 장치
KR20040016566A (ko) 엠펙 멀티미디어 컨텐츠의 그룹메타데이터 표현방법 및그의 재생단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee