KR100882381B1 - Ｍｐｅｇ-4 표준의 인터액션 관리 방법 및 관리 장치 - Google Patents
Ｍｐｅｇ-4 표준의 인터액션 관리 방법 및 관리 장치 Download PDFInfo
- Publication number
- KR100882381B1 KR100882381B1 KR1020037009403A KR20037009403A KR100882381B1 KR 100882381 B1 KR100882381 B1 KR 100882381B1 KR 1020037009403 A KR1020037009403 A KR 1020037009403A KR 20037009403 A KR20037009403 A KR 20037009403A KR 100882381 B1 KR100882381 B1 KR 100882381B1
- Authority
- KR
- South Korea
- Prior art keywords
- mpeg
- interaction
- standard
- bifs
- decoder
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000002093 peripheral effect Effects 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 5
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Communication Control (AREA)
Abstract
본 발명은 명령 주변 장치와, MPEG-4 표준을 사용하는 적어도 하나의 멀티미디어 애플리케이션 사이의 인터액션을 관리하기 위한 방법에 관한 것으로서, 상기 명령 주변 장치들은 한 명 또는 다수 유저들의 액션에 근거하여 시그널을 전달한다. 이 장치는 어떤 BIFS[MPEG-4 표준의 용어로 Binary Format for Scene] 노드의 형태를 갖는 디지털 시퀀스를 생성하는 단계를 포함하며, 이 노드는 영상 대상물들에 적용될 인터액션 데이터의 유형과 수를 정의하는 하나 또는 여러 필드들을 포함하며, 디지털 시퀀스는 조합 메모리로 전달하는 단계를 포함하고, 상기 디지털 시퀀스는 상기 액션들과 상기 액션들의 패러미터들을 포함하고, 상기 패러미터들의 값들은 상기 주변 장치들에 의하여 전송된 변수들에 해당하는 것을 특징으로 한다.
애플리케이션, 인터액션, 디지털 시퀀스, 패러미터
Description
본 발명은 멀티미디어 터미널을 통해 접속한 한 명 또는 다수 유저들이 실행하는 멀티미디어 인터액션(interaction)을 관리하는 방법에 관한 것이다. 이때 인터액션은 텍스트는 물론 음성이나 몸짓이 될 수도 있다. 또한 그 인터액션은 마우스, 조이스틱, 키보드와 같은 일반적인 입력 장치는 물론 음성합성 및 인식 시스템, 시선 그리고/또는 몸짓으로 명령하는 인터페이스 등 비 전형적인 입력 장치를 통해서 이루어질 수 있다. 상기 멀티미디어 인터액션은 국제 MPEG-4 표준의 맥락 속에서 다루기로 한다.
MPEG-4 표준(ISO/IEC 14496)은 인터랙티브한 오디오비주얼 영상을 위해 만들어진 통신 시스템이다. 현재 제시하는 명세서에 있어서, 유저들은 멀티미디어 영상과 상호 작용할 수 있는 가능성을 지닌다. 이러한 유저 인터액션은 클라이언트 측에서 로컬로 처리하거나 서버로 재 전송하여 처리한다.
ISO/IEC 14496-1 (MPEG-4 시스템) 표준은 영상을 표현하는 2진 포맷을 정의하고 있는데 (BIFS : BInary Format for Scene) 이것은 어떤 영상 속의 오디오비주얼 객체(object)들을 조직하는 것과 관련된다. 객체들의 상태, 그리고 유저들이 실 행한 인터액션에 대한 객체들의 반응은 소오스와 타게트 (경로)을 사용하거나 센서(이벤트를 개시할 수 있는 특수 노드)의 도움을 받아 BIFS 내에서 구현할 수 있다. 클라이언트 측 인터액션은 유저들이 구체화하는 액션에 따라서 해당 영상의 객체들의 속성을 변경하는 것이다. 그러나 MPEG-4 시스템은 어떤 특수한 유저 인터페이스, 또는 유저 인터액션을 BIFS 이벤트와 결합시키는 어떤 메커니즘을 정의하지 않는다.
BIFS-커멘드는 해당 장면의 그래프와 노드, 또는 그 반응들의 속성을 변경할 수 있게 해 주는 BIFS 기술(description)의 일부이다. 따라서 BIFS-커멘드는 어떤 주어진 순간에 영상의 속성 전체를 변형하는데 사용된다. 해당 명령들은 커멘드 프레임(CommandFrame)들 내에서 재조직되어 어떤 단일 액세스 유닛 내에서 다수의 명령들을 전송할 수 있게 되는데 다음과 같은 네 가지 기본 명령이 있다. 영상 전체 이동/ 노드 구조의 삽입, 삭제 또는 이동/ 이벤트 입력/ MF필드나 경로 내의 색인값(indexed value)인 노출 필드(exposedField). 해당 영상에서 어떤 노드는 nodeID에 의해 식별된다. 어떤 노드 필드는 해당 필드의 INid에 의해 식별된다.
BIFS-Anim은 어떤 영상의 그래프에서 어떤 노드 필드들의 연속 실행에 관계하는 BIFS 기술(description)의 일부이다. BIFS-Anim은 이차원 및 삼차원적 포지션이나 회전, 스케일적 요소 또는 색상 정보와 같은 다양한 종류의 속성은 물론, 얼굴이나 신체, grid(격자눈금) 모델의 애니메이션 등 상이한 타입의 애니메이션을 통합하는 데 사용된다. BIFS-Anim은 특정한 역동적 필드를 포함하는 영상의 어떤 노드들을 움직이기 위해서 코딩 및 디코딩 프로시저와 같은 어떤 플로우를 규정한 다. 본 발명의 범주에 있어서 BIFS-Anim의 주요한 불편사항은 다음과 같다. BIFS-Anim은 어떤 장면(scene)의 모든 노드들의 실행 가능한 모든 필드들을 어떻게 가동할지 그 방법을 규정하지 않는다. 게다가, BIFS-Anim은 해당 디코더의 구성(configuration) 정보의 일부인 어떤 애니메이션 마스크를 사용하는데, 이 애니메이션 마스크는 유저의 직접적인 인터액션으로 변형할 수 없다. 따라서, BIFS-Anim은 변경할 영상의 노드들을 역동적으로 변화시킬 수 있는 높은 유연성을 필요로 하는 유저 인터액션에는 적합하지 않다.
MPEG-J는 MPEG-4 미디어의 확산기(diffuser)와 자바 코드가 상호작용(interworking) 할 수 있도록 보장하는 인터페이스들을 규정한다. 자바 코드는 뚜렷한 기초적인 플로우의 형태를 띠고 MPEG-4 터미널 수준에 이른 다음, 어떤 가상적 자바 머신을 포함하는 MPEG-J 실행 환경으로 인도되는데 그로부터 해당 MPEG-J 프로그램이 MPEG-4 미디어 확산기(diffuser)의 다양한 요소들에 접근하기 된다. 프로그래밍 인터페이스 SceneGraph는 어떤 메커니즘을 제공하는데, 이 메커니즘을 통하여 해당 MPEG-J 애플리케이션들은, BIFS 미디어 확산기와 핸들로써 조합에 이용된 해당 영상에 접근한다. 관건은 그 MPEG-J 애플리케이션이 해당 영상의 이벤트들을 컨트롤하고 프로그램을 통해 그 영상의 나무구조(tree structure)를 변형할 수 있도록 허용하는 어떤 낮은 수준의 인터페이스이다. 노드들은 생성과 조작이 가능하지만 노드의 ID가 정의된 노드들의 필드들만이 MPEG-J 애플리케이션에 접근할 수 있다. 게다가 MPEG-J를 실행하려면 특히 작은 사이즈의 포터블 장치 및 디코더가 관련된 경우, 수많은 애플리케이션을 위한 막대한 리소스가 필요하다. 이처 럼 MPEG-J는 제한된 역량을 가진 터미널이 사용되는 유저 인터페이스 프로시저를 정의하는 데는 적합하지 않다.
상기 제시한 기술 분석에서는 멀티미디어 유저 인터액션 관리에 사용 가능한 주요한 방식들을 간단히 제시하고 검토하였다. 완결 지으려면 실제적인 인터액션 관리의 구조에 연관된 양상들을 첨가해야 한다. 현재까지 인터액션에 대한 접근법은 오직 두 가지 뿐이었다. 첫째, MPEG-4의 범주 내에서, 그리고 오직 포인터 타입의 인터액션만을 이야기 할 때, 해당 조합장치(composition device)가 영상 변형 작용을 통해 유저에게서 나온 이벤트들을 재생하는 역할을 한다. 둘째, MPEG-4 표준 범위 밖에서는 포인터 타입이 아닌 다른 모든 인터액션은 특수한 애플리케이션 속에서 실행되어야 한다. 그 결과, 상호작용을 할 수 없게 된다. 상기 제시한 두 가지 옵션은 통신 시스템의 가장 중요한 목적이라 할 수 있는 멀티 유저의 인터액션 개념을 포괄적 일반적인 범주에서 이해하는데 커다란 한계가 있다.
본 출원은 어떤 멀티미디어 터미널을 사용하는 한 명 또는 다수 유저가 실행하는 멀티미디어 인터액션을 관리하기 위한 어떤 포괄적인 시스템 및 관리 방법을 제안한다. 제안된 시스템은 <<MPEG-4 시스템>> 부문의 명세를 확장한 것으로써 MPEG-4 시스템 구조를 재활용하여 모노 또는 멀티 유저의 인터액션을 BIFS 이벤트와 연결시키는 방법을 규정한다. 본 발명에 연계된 시스템은 포괄적이다. 왜냐하면 마우스나 키보드 등의 기초적인 입력장치에서 여섯 단계의 리버티(liberty)를 고려하거나 또는 음성 인식 시스템을 실행하는 등의 복잡한 입력장치를 사용하는 모든 모노 및 멀티 유저들의 인터액션을 처리할 수 있도록 해 주기 때문이다. 이 시스템은 간단히 기존의 도구를 재사용 함으로써, 조금만 복잡해도 지원하지 못하는 상황을 비롯하여 모든 상황에서 사용할 수 있다.
현재의 기술로는 국제특허출원 WO0000898이 알려져 있는데, 이것은 로컬 유저 컴퓨터에 디지털 오디오 데이터 플로우 또는 디지털 비디오 데이터 플로우 등의 객체 지향 미디어 데이터를 포함하는 어떤 메시지를 생성하고, 또한 원거리 유저의 컴퓨터에 그 메시지를 전송하는 어떤 멀티미디어 통신을 수행하는 멀티 유저 인터액션에 대한 것이다. 그 로컬 유저의 컴퓨터는 객체 지향적 미디어 데이터들을 포함하며 또한 로컬 유저 컴퓨터와 원거리 유저의 컴퓨터가 공유하는 어떤 영상을 게시한다. 원거리 유저의 컴퓨터는 어떤 메시지 관리자의 도움을 받아서 그 메시지를 생성한다. 멀티 미디어 통신을 위한 멀티 유저들의 인터액션은 MPEG-4 버전 1을 확장한 것이다.
또 다른 특허출원 PCT WO9939272는 MPEG-4에 기반한 인터랙티브 통신 시스템을 다루고 있는데, 여기서 명령의 기술자(descriptor)들은 영상의 기술(description) 속에서 명령 경로의 노드 또는 서버 경로와 함께 사용되어 해당 애플리케이션을 위한 특정한 인터액션을 지원한다. 우리는 명령의 매개변수 가운데서 프레젠테이션을 지정하면서 내용 선별을 도울 수 있는데, 이때 명령 확인자(identifier)는 그 명령이 어떤 내용 선별의 명령이라는 것을 보여준다. 우리는 다수의 이미지, 또는 어떤 이미지에 연결된 어떤 프레젠테이션을 묘사하는 하나의 텍스트를 포함하는 초기 영상을 만들어낼 수 있다. 하나의 내용 선별 기술 자(descriptor)는 각각의 이미지 및 해당 텍스트에 연결된다. 유저가 어떤 이미지를 클릭 하면 그 클라이언트는 선택된 프레젠테이션을 포함하는 명령을 전송하고 서버는 새로운 프레젠테이션을 실행한다. 우리는 모든 애플리케이션 상황에서 이 기술을 애플리케이션에 적용할 수 있는데, HTTP 및 CGI를 활용하여 어떤 서버에 기반한 애플리케이션의 전 기능을 실행할 때와 동일한 방식을 취한다.
새롭게 제시한 모노 또는 멀티 유저 멀티미디어 인터액션에 대한 접근의 범주에서, 모든 입력 장치에 의해 생성된 인터액션 데이터는 기초적인 MPEG-4 플로우로 간주된다. 그 결과, 모든 기초적 데이터 플로우에 적용된 것과 유사한 작용들이 디코딩 표준의 연쇄 사슬을 이용하여 실행될 수 있다.
결과적으로 본 발명은 인터액션 데이터를 처리하는데 있어서 MPEG-4에서 나타낸 것과 유사한 어떤 모델을 사용할 것을 제안한다.
그러한 목적으로, 가장 일반적인 개념에 따르면 본 발명은 제어 주변장치(control peripheral)와, MPEG-4 표준을 사용하는 멀티미디어 애플리케이션들 간의 인터액션을 관리하는 한 가지 방식에 관한 것이다. 상기 제어 주변장치는 하나 또는 다수 유저들의 활동에 따라 디지털 시그널을 전달하며, 그 방식은 어떤 BIFS[MPEG-4 표준의 용어 정의에서 Binary Format for Scene] 노드 형태를 띠는 디지털 시퀀스의 생성 단계를 포함하는데, 이 노드는 해당 영상의 객체에 적용할 인터액션 데이터의 수와 종류를 규정하는 하나 또는 다수의 필드를 포함한다.
선호되는 구현 모드 중 하나에 따르면, 이 노드에는 플래그(flag)가 하나 있는데 이 플래그의 상태가 어떤 인터액션이 해당 영상에서 고려될지 배제될지를 결 정한다.
다른 형태에 따르면, 상기 노드는 연결된 장치의 활동성을 신호로 표현하는 단계를 포함한다.
유리하게는, 본 방식은 해당 노드의 하나 또는 다수의 필드의 개입을 통해 해당 영상의 하나 또는 다수의 객체에 대해 실행될 하나 또는 다수의 액션의 성질을 지정하는 단계를 포함한다.
선호되는 어떤 실행 모드에 따르면, 본 방식은 해당 노드의 하나 또는 다수의 필드로부터, 해당 영상에서 실행될 적어도 하나의 액션, 그리고 상기 제어 주변 장치에서 나온 어떤 변수에 부합하는 값을 가진 적어도 하나의 액션 매개변수로 이루어진 또 다른 어떤 디지털 시퀀스를 생성하는 단계를 포함한다.
선호되는 어떤 실행 모드에 따르면, 본 방식은 상기 디지털 시퀀스를 조합 메모리로 전송하는 단계를 포함한다.
선호되는 어떤 실행 모드에 따르면, 상기의 디지털 시퀀스 전송은 MPEG-4 시스템의 디코딩 사슬을 이용하여 인터액션 정보를 조합 장치(composition device)에 전달한다.
어떤 특수한 구현 모드에 따르면, 이 시퀀스의 전송 단계는 적어도 하나의 플로우 기술자(descriptor)를 포함하는 어떤 플로우의 통제 아래 구현되는데 그 플로우 자체도 적절한 디코더로 디코딩 사슬을 구성(configure)하기 위해 꼭 필요한 정보들을 운반한다.
어떤 다른 형태에 따르면, 상기 시퀀스의 생성 단계는 평범한 BIFS 디코더와 동일한 조합 장치 인터페이스를 장착한 어떤 디코더 속에서 구현되며, 어떤 조합 플러그를 거치지 않고 해당 영상에서 디코딩 된 BIFS-커멘드들을 실행한다.
어떤 이형에 따르면, 제 1 생성 단계를 구현하는 BIFS 노드는 사용되는 제어 주변 장치의 타입에 따라 어떤 수의 가변 필드를 가지며, 상기 필드는 경로를 통해 변경할 노드들의 필드들에 연결된다. 그러면 인터액션 디코더는 제어 주변 장치가 생성한 값들을 그 BIFS 노드의 필드들로 전송하며, 해당 경로 메커니즘이 이 값들을 목표 필드에 공급한다.
어떤 특수한 구현 방식에 따르면, 모노 또는 멀티 유저들의 인터액션 데이터 플로우는, 해당 디코더와 연결된 디코딩 메모리 플러그 속에 배치할 액세스 유닛들을 생성하는 장치와 결합한 어떤 DMIF 클라이언트를 통과한다.
어떤 구체적인 예에 따르면, 모노 또는 멀티 유저들의 인터액션 플로우는 때로는 직접적으로, 때로는 연관된 디코딩 메모리 플러그를 통해서 해당 디코더로 들어감으로써 유저 인터액션의 플로우가 가야할 도정을 축소시킨다.
본 발명은 또한 MPEG-4 표준을 사용하는 어떤 멀티미디어 애플리케이션을 실행하기 위한 계산기, 멀티미디어 영상을 재현하기 위한 적어도 하나의 주변 장치, 및 제어 주변 장치를 포함하는 어떤 정보처리장치에 대한 것이다. 이 정보처리장치는 또한 명령 수단의 시그널을 수신하기 위한 어떤 입력 회로와 디지털 시퀀스를 전달하기 위한 어떤 출력 회로를 포함하는 하나의 인터페이스 회로, 그리고 앞에서 인용한 방식에 부합하도록 제어 주변 장치에 의해 제공된 시그널들의 변화에 따라 어떤 출력 시퀀스를 생성하기 위한 하나의 수단을 가지는 것이 특징이다.
본 발명은 첨부한 도면에서 제시한 바와 같이 제한적이지 않은 어떤 구현 예를 통해서 보다 더 잘 이해될 수 있다.
- 도 1은 시스템 디코더 모델의 플로우 챠트.
- 도 2는 유저 인터액션 데이터의 플로우
도 1은 표준 모델을 나타낸 것이다. 도 2는 다음과 같은 두 가지 주요 개념을 보여주는 모델이다. 조합 유닛(CU)을 생성하는 인터액션 디코더/ 유저 인터액션 플로우. 그 데이터들은, 입력장치의 관리자에 접근하는 액세스가 MPEG-4 표준의 DMIF (Delivery Multimedia Integration Framework)의 중재에 의해 영향을 받는 경우에는 어떤 액세스 유닛(AU) 내에 위치한 디코딩 메모리 플러그로부터 나오고, 입력 장치의 디코더와 관리자가 동일한 요소 내에 위치하여 실행되는 경우에는 입력 장치에서 직접 디코더로 이동한다. 후자의 경우, 디코딩 메모리 플러그는 쓸모가 없다.
유저 인터액션을 관리하려면 다음과 같은 요소들이 필요하다.
- 유저 인터액션 (UI)의 데이터를 고려하는 어떤 새로운 플로우 타입
- 유저 인터액션 플로우와 해당 영상의 구성요소들 간의 연결을 규정하고 또한 이러한 인터액션을 허용하거나 차단하기 위한 독특하고 새로운 BIFS 노드
- 입력 장치로부터 또는 디코딩 메모리 플러그로부터 나온 데이터들을 해석하고, 그것들을 영상 변형으로 변경하기 위한 새로운 타입의 디코더. 이 변형작업 은 BIFS-Command와 동일한 포맷을 가진다. 달리 말하면, 인터액션의 디코더의 출력은 BIFS 디코더의 출력과 정확하게 일치한다.
여기서 유저 인터액션 플로우라 부르는 새로운 타입의 플로우(Flow UI, 표 참조)가 정의된다. 그것은 마우스, 키보드, 기계 장갑(instrumented glove) 등의 어떤 입력 장치로부터 나온 액세스 유닛(AU)로 이루어진다. 보다 포괄적이고자 하는 의도에서 여기서는 액세스 유닛의 구조(syntax)를 규정하지 않았다. 그 구조는, 해당 액세스가 DMIF를 통해 이루어질 경우, 어떤 다른 기본적 플로우에서 나온 다른 어떤 액세스 유닛과 동일하나 그렇게만 국한시키지는 않는다. 여기서 규정된 플로우의 타입은 또한 미디어의 어떤 로칼 생성 장치가 인터액션 장치로써 사용된 경우도 포함한다. 이처럼 비주얼 또는 오디오 객체 등 MPEG-4가 지정하는 객체 타입에서 규정된 모든 타입의 객체들을 생성하는 어떤 로컬 장치는 본 발명으로 향상시킨 모델에 의해 관리된다.
InputSensor라고 불리는 새로운 BIFS 노드의 구조(syntax)는 다음과 같다.
| InputSensor{ | |||
| ExposedField | SFBool | Enabled | TRUE |
| ExposedField | SFCommandBuffer | InteractionBuffer | [] |
| Field | SFUrl | url | "" |
| EventOut | SBBool | IsActive | |
| } |
"enabled" 필드는 유저의 허용 여부와 상관없이 "url" 필드에 참조된 유저 인터액션 플로우에서 나온 인터액션을 제어한다. "url" 필드는 MPEG-4 표준의 객체 기술 플랫폼에서 기술한 것처럼, 사용할 기본적 플로우를 규정한다.
"InteractionBuffer" 필드는 디코더가 "url"에 규정된 인터액션 플로우로 무 엇을 할 것인지를 기술하는 일종의 SFCommandBuffer이다. 그 구조(syntax)가 의무적인 것은 아니지만 그 메모리 플러그의 의미론은 다음의 예와 같이 표현된다.
| InputSensor{ | |
| enabled | |
| interactionBuffer | ["REMPLACER N1.size","REMPLACER N2.size"," REMPLACER N3.size"] |
| url | "4" |
| } |
이 센서는 객체 4의 기술자(descriptor)에 결합된 입력 장치에서 나온 적어도 세 개의 매개변수를 복구하며, N1, N2, N3의 "size" 필드를 각각 얻은 변수로 대체한다.
유저 인터액션 디코더의 역할은 때로는 디코딩 메모리 플러그에서, 때로는 입력 장치로부터 직접 수신한 액세스 유닛들을 변형하는 것이다. 그 디코더는, MPEG-4 표준에 의해 규정된 것처럼 그것들을 조합 유닛(CU)으로 변형한 다음 조합 메모리(CM)속에 배치한다. 유저 인터액션 플로우의 디코더에 의해 생성된 조합 유닛들은, MPEG-4 시스템에 의해 규정된 것처럼, BIFS-Updates, 보다 구체적으로는 REPLACE 명령들이다. 그 구조(syntaxe)는 MPEG-4 표준에 의해 규정되고 해당 인터액션 메모리 플러그에서 추출한 그것과 엄격하게 동일하다.
예를 들면, 만약 입력 장치가 전체 3을 생성하고, 인터액션 메모리 플러그가 "REPLACE N1.size"를 내포하고 있다면, 조합 유닛은 디코딩 된 BIFS-Update가 되어 "REPLA계 N1.size by 3"과 같아질 것이다.
언급된 다른 형태들 중 하나는 사용된 제어 주변 장치의 타입과 EventOut 타입에 따라 InputSensor 노드의 interactionBuffer 필드를 어떤 수의 가변 필드로 대체한다. 따라서 유저 인터액션 디코더의 역할은 이 필드들의 값들을 변형하고, 해당 멀티미디어 프레젠테이션의 생성자가 InputSensor 노드의 필드들을 영상 트리의 목표 필드에 연결시키는 경로를 창조하게끔 하는 것이다.
Claims (11)
- 한 명 또는 다수 유저들의 액션에 따라 유저 인터액션 플로우에 상응하는 시그널을 전달하는 적어도 하나의 제어 주변 장치와, MPEG-4 표준을 사용하는 적어도 하나의 멀티미디어 애플리케이션 사이의 인터액션을 관리하기 위한 방법에 있어서,(A) 상기 제어 주변 장치가 BIFS[MPEG-4 표준의 용어로 Binary Format for Scene] 노드의 형태를 띠며, 상기 제어 주변 장치와 상기 멀티미디어 애플리케이션 사이의 인터액션 정보를 갖는 디지털 시퀀스를 생성하는 단계;를 포함하며,상기 노드는 영상의 객체에 적용되는 주어진 인터액션의 형태와 수를 지정하는 적어도 하나의 필드를 포함하는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1 항에 있어서, 상기 디지털 시퀀스는 MPEG-4 시스템의 디코딩 사슬을 사용해서 인터액션 정보를 조합 장치 속으로 입력하는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 (A) 단계 이후에, (B) 상기 BIFS 노드가, 노드의 중개물 또는 필드에 의해서 영상의 하나 또는 다수의 객체들에서 실행할 액션의 성질을 표시하는 단계를 가지는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1항 또는 제 2 항에 있어서, 상기 BIFS 노드가 사용된 제어 주변 장치의 타입에 따라 개수가 정해지는 가변 필드를 가지며, 인터액션 디코더가 제어 주변 장치에 의해 생성된 인터액션 정보를 상기 BIFS 노드의 필드로 전송하고, 경로 메커니즘이 상기 인터액션 정보를 영상 트리의 목표 필드에 공급하는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1항 또는 제 2 항에 있어서, 상기 (A) 단계 이후에, (C) 제어 주변 장치의 활동성을 신호로 표시하는 단계를 더 포함하는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 디지털 시퀀스는, 디코더와 함께 디코딩 사슬을 구성하는데 필요한 정보를 포함하는 기술자(descriptor)가 신호한 플로우의 형태로 전송되는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 디지털 시퀀스를 생성하는 단계가 멀티미디어 애플리케이션 실행 터미널의 디코딩 메모리 플러그 내에서 구현되는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 디지털 시퀀스를 생성하는 단계는 영상에서 디코딩 된 BIFS-커멘드를 수행하는 평범한 BIFS 디코더와 유사하게, 조합 장치와의 인터페이스를 장착한 디코더 속에서 구현되는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 유저 인터액션 플로우가, 디코더에 연결된 디코딩 메모리 플러그 속에 배치할 액세스 유닛을 생성하는 장치와 결합한 DMIF 클라이언트를 통과하는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 유저 인터액션 플로우가 때로는 직접적으로, 때로는 연관된 디코딩 메모리 플러그를 통해서 디코더로 들어감으로써 유저 인터액션의 플로우가 가야할 도정을 축소하는 것을 특징으로 하는 MPEG-4 표준의 인터액션 관리방법.
- MPEG-4 표준을 사용하는 멀티미디어 애플리케이션을 실행하기 위한 계산기, 멀티미디어 영상을 재현하기 위한 적어도 하나의 주변 장치, 및 적어도 하나의 제어 주변 장치를 포함하고,제어 주변 장치의 시그널을 수신하기 위한 입력 회로와 BIFS 타입의 시퀀스를 전달하기 위한 출력 회로를 포함하는 하나의 인터페이스 회로, 그리고 제 1항에 따른 방법에 부합하도록 제어 주변 장치에 의해 제공된 시그널의 변화에 따라 출력 시퀀스를 생성하기 위한 하나의 수단을 가지는 것이 특징으로 하는 MPEG-4 표준의 인터액션 관리장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0100486A FR2819669B1 (fr) | 2001-01-15 | 2001-01-15 | Procede et equipement pour la gestion des interactions entre un peripherique de commande et une application multimedia exploitant la norme mpeg-4 |
| FR01/00486 | 2001-01-15 | ||
| FR0101648A FR2819604B3 (fr) | 2001-01-15 | 2001-02-07 | Procede et equipement pour la gestion des interactions multimedias mono-ou multi-uitilisateurs entre des peripheriques de commande et des applications multimedias exploitant la norme mpeg-4 |
| FR01/01648 | 2001-02-07 | ||
| PCT/FR2002/000145 WO2002056595A1 (fr) | 2001-01-15 | 2002-01-15 | Procede et equipement pour la gestion des interactions dans la norme mpeg-4 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030085518A KR20030085518A (ko) | 2003-11-05 |
| KR100882381B1 true KR100882381B1 (ko) | 2009-02-05 |
Family
ID=26212829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020037009403A KR100882381B1 (ko) | 2001-01-15 | 2002-01-15 | Ｍｐｅｇ-4 표준의 인터액션 관리 방법 및 관리 장치 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US20040054653A1 (ko) |
| EP (1) | EP1354479B1 (ko) |
| JP (1) | JP2004530317A (ko) |
| KR (1) | KR100882381B1 (ko) |
| CN (1) | CN100448292C (ko) |
| AT (1) | ATE369699T1 (ko) |
| AU (1) | AU2002231885B2 (ko) |
| DE (1) | DE60221636T2 (ko) |
| ES (1) | ES2291451T3 (ko) |
| FR (1) | FR2819604B3 (ko) |
| WO (1) | WO2002056595A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7958535B2 (en) * | 2003-09-25 | 2011-06-07 | Sharp Laboratories Of America, Inc. | URI pointer system and method for the carriage of MPEG-4 data in an MPEG-2 transport stream |
| US7808900B2 (en) | 2004-04-12 | 2010-10-05 | Samsung Electronics Co., Ltd. | Method, apparatus, and medium for providing multimedia service considering terminal capability |
| FR2912275B1 (fr) * | 2007-02-02 | 2009-04-03 | Streamezzo Sa | Procede de transmission d'au moins un contenu representatif d'un service, depuis un serveur vers un terminal, dispositif et produit programme d'ordinateur correspondants |
| KR20080089119A (ko) * | 2007-03-30 | 2008-10-06 | 삼성전자주식회사 | Ｍｐｅｇ 기반의 ｕｉ 장치 및 이를 이용한 기능 제어 방법 |
| KR100891984B1 (ko) * | 2007-06-22 | 2009-04-08 | 주식회사 넷앤티비 | 대화형 ｂｉｆｓ 콘텐츠의 객체 선택 제어 방법 |
| KR20080114496A (ko) * | 2007-06-26 | 2008-12-31 | 삼성전자주식회사 | 레이저 콘텐츠를 이용하여 장면을 구성하는 방법 및 장치 |
| KR101487335B1 (ko) * | 2007-08-09 | 2015-01-28 | 삼성전자주식회사 | 객체 미디어 교체가 가능한 멀티미디어 데이터 생성 방법및 장치 그리고 재구성 방법 및 장치 |
| GB201002855D0 (en) * | 2010-02-19 | 2010-04-07 | Materialise Dental Nv | Method and system for achiving subject-specific, three-dimensional information about the geometry of part of the body |
| KR102069538B1 (ko) * | 2012-07-12 | 2020-03-23 | 삼성전자주식회사 | 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010075803A (ko) * | 2000-01-18 | 2001-08-11 | 구자홍 | Ｍｐｅｇ-４ 화상회의를 위한 멀티미디어 정보구조와ｍｐｅｇ-４ 화상회의 시스템 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6092107A (en) * | 1997-04-07 | 2000-07-18 | At&T Corp | System and method for interfacing MPEG-coded audiovisual objects permitting adaptive control |
| JP3191922B2 (ja) * | 1997-07-10 | 2001-07-23 | 松下電器産業株式会社 | 画像復号化方法 |
| US6654931B1 (en) * | 1998-01-27 | 2003-11-25 | At&T Corp. | Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects |
| AU2487799A (en) * | 1998-01-30 | 1999-08-16 | Trustees Of Columbia University In The City Of New York, The | Method and system for client-server interaction in interactive communications |
| US6631403B1 (en) * | 1998-05-11 | 2003-10-07 | At&T Corp. | Architecture and application programming interfaces for Java-enabled MPEG-4 (MPEG-J) systems |
| EP1090505A1 (en) * | 1998-06-26 | 2001-04-11 | General Instrument Corporation | Terminal for composing and presenting mpeg-4 video programs |
| US6766355B2 (en) * | 1998-06-29 | 2004-07-20 | Sony Corporation | Method and apparatus for implementing multi-user grouping nodes in a multimedia player |
| US6185602B1 (en) * | 1998-06-29 | 2001-02-06 | Sony Corporation | Multi-user interaction of multimedia communication |
| JP4159673B2 (ja) * | 1998-10-09 | 2008-10-01 | 松下電器産業株式会社 | オーディオ−ビジュアル・オブジェクトのシーン記述におけるデータ型キャスティングおよび代数処理のための方法 |
| DE19860531C1 (de) * | 1998-12-30 | 2000-08-10 | Univ Muenchen Tech | Verfahren zur Übertragung codierter digitaler Signale |
| US7149770B1 (en) * | 1999-01-29 | 2006-12-12 | The Trustees Of Columbia University In The City Of New York | Method and system for client-server interaction in interactive communications using server routes |
| KR100429838B1 (ko) * | 2000-03-14 | 2004-05-03 | 삼성전자주식회사 | 인터랙티브 멀티미디어 콘텐츠 서비스에서 업스트림채널을 이용한 사용자 요구 처리방법 및 그 장치 |
-
2001
- 2001-02-07 FR FR0101648A patent/FR2819604B3/fr not_active Expired - Lifetime
-
2002
- 2002-01-15 AT AT02711963T patent/ATE369699T1/de not_active IP Right Cessation
- 2002-01-15 WO PCT/FR2002/000145 patent/WO2002056595A1/fr active IP Right Grant
- 2002-01-15 EP EP02711963A patent/EP1354479B1/fr not_active Expired - Lifetime
- 2002-01-15 CN CNB028037502A patent/CN100448292C/zh not_active Expired - Lifetime
- 2002-01-15 ES ES02711963T patent/ES2291451T3/es not_active Expired - Lifetime
- 2002-01-15 AU AU2002231885A patent/AU2002231885B2/en not_active Expired
- 2002-01-15 KR KR1020037009403A patent/KR100882381B1/ko active IP Right Grant
- 2002-01-15 JP JP2002557126A patent/JP2004530317A/ja active Pending
- 2002-01-15 DE DE60221636T patent/DE60221636T2/de not_active Expired - Lifetime
-
2003
- 2003-07-15 US US10/620,130 patent/US20040054653A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010075803A (ko) * | 2000-01-18 | 2001-08-11 | 구자홍 | Ｍｐｅｇ-４ 화상회의를 위한 멀티미디어 정보구조와ｍｐｅｇ-４ 화상회의 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE60221636D1 (de) | 2007-09-20 |
| WO2002056595A1 (fr) | 2002-07-18 |
| ATE369699T1 (de) | 2007-08-15 |
| JP2004530317A (ja) | 2004-09-30 |
| CN100448292C (zh) | 2008-12-31 |
| DE60221636T2 (de) | 2008-06-26 |
| KR20030085518A (ko) | 2003-11-05 |
| EP1354479B1 (fr) | 2007-08-08 |
| FR2819604A1 (fr) | 2002-07-19 |
| FR2819604B3 (fr) | 2003-03-14 |
| EP1354479A1 (fr) | 2003-10-22 |
| ES2291451T3 (es) | 2008-03-01 |
| US20040054653A1 (en) | 2004-03-18 |
| CN1486573A (zh) | 2004-03-31 |
| AU2002231885B2 (en) | 2006-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Price | MHEG: an introduction to the future international standard for hypermedia object interchange | |
| US7146615B1 (en) | System for fast development of interactive applications | |
| US6631403B1 (en) | Architecture and application programming interfaces for Java-enabled MPEG-4 (MPEG-J) systems | |
| US9854296B2 (en) | Distributed system architecture for control of a set top box | |
| US10600149B1 (en) | Multi-user application system environment engine | |
| KR20100088049A (ko) | 사용자 인터페이스 구성 객체들로 이루어진 콘텐츠의 사전 예측 불가능한 경로를 통하여 수신되는 정보들의 처리 방법 및 이를 위한 장치 | |
| JP5850833B2 (ja) | 通信システムにおけるユーザインターフェースを送受信する装置及び方法 | |
| KR20100008735A (ko) | 멀티미디어 시스템의 유저 인터페이스 장치 및 방법 | |
| EP4161067A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
| KR101138020B1 (ko) | 가상 세계 기반에서의 가상 객체 식별 체계 지원 방법 및 이를 지원하는 시스템 | |
| KR100882381B1 (ko) | Ｍｐｅｇ-4 표준의 인터액션 관리 방법 및 관리 장치 | |
| CN102177484B (zh) | 提供基于结构化富媒体数据的用户界面的装置和方法 | |
| EP2344951B1 (en) | Conditional processing method and apparatus | |
| CN114128236A (zh) | 提供云服务的方法和装置 | |
| JP7359966B2 (ja) | ビデオコーディングのための方法と装置 | |
| CN106815028A (zh) | 一种显示界面的构建方法、装置及操作方法和装置 | |
| KR20100036156A (ko) | 리치미디어 서비스를 제공하는 방법 및 장치 | |
| Pedrosa et al. | A multimodal interaction component for digital television | |
| Bates et al. | Supporting interactive presentation for distributed multimedia applications | |
| Colaitis | Opening up multimedia object exchange with MHEG | |
| Black et al. | A compendium of robust data structures | |
| US20040139483A1 (en) | System and method for authorizing data broadcasting contents | |
| CN114095781A (zh) | 多媒体数据处理方法、装置、电子设备及存储介质 | |
| KR20060126928A (ko) | 의미론적 설명의 구성에 변형 기술 사용 | |
| CA2555276C (en) | System and method for describing presentation and behavior information in an itv application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130121 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20140102 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20160104 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20170102 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20180110 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20190102 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 12 |