KR20080069646A

KR20080069646A - 멀티미디어 장면의 렌더링 최적화 방법, 해당 프로그램,신호, 데이터 저장 매체, 단말 및 수신 방법

Info

Publication number: KR20080069646A
Application number: KR1020087012492A
Authority: KR
Inventors: 쟌-클라우드 두포르드; 크리스토프 미켈; 아르나우드 카이그니에뜨
Original assignee: 스트레아메조
Priority date: 2005-11-02
Filing date: 2006-10-30
Publication date: 2008-07-28
Also published as: FR2892883A1; US8421806B2; CN101346994A; EP1952636A1; FR2892883B1; US20090079735A1; WO2007051784A1

Abstract

본 발명은 움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 기술하는 방법에 관한 것이다. 본 발명에 따르면, 상기 방법은, 단말에서 장면 렌더링 알고리즘을 수행하는데 사용되는 자원의 할당의 최적화에 대한 적어도 하나의 기준에 따라, 적어도 두 개의 사용가능한 알고리즘의 세트에서 하나의 장면 렌더링 알고리즘 선택을 허용하도록 제공된 최적화 정보의 적어도 하나의 항목을 제공한다.

멀티미디어 장면, 렌더링, 최적화

Description

멀티미디어 장면의 렌더링 최적화 방법, 해당 프로그램, 신호, 데이터 저장 매체, 단말 및 수신 방법 {METHOD FOR OPTIMIZING THE RENDERING OF A MULTIMEDIA SCENE, CORRESPONDING PROGRAM, SIGNAL, DATA MEDIUM, TERMINAL AND RECEIVING METHOD}

본 발명은 멀티미디어 데이터를 단말로 전송하는 것에 관한 것으로, 더 구체적으로는, 상호작용에 의해 변경될 수 있고 이에 따라 렌더링 단말로 초기 장면의 로딩이 가능한, 장면을 표현하는 멀티미디어의 전송에 관한 것이다.

본 발명의 특정 애플리케이션은 특히, 예를 들어 휴대 전화기와 같은 무선 통신 장치에 의한 멀티미디어 데이터의 렌더링에 관한 것이나, 이로 제한되지는 않으며, 상기 무선 통신 장치는 모델과 종류에 따라 사용자에게 상호작용의 컨텐츠를 갖는 다양한 서비스(특히 휴대 인터넷, WAP (Wireless Application Protocol))를 제공하고, 그 용량과 증대는 종종 가용 메모리 자원 및 전력에 의해 제한된다.

더 구체적으로, 본 발명은 상호작용의 레벨과 복잡도가 시간에 따라 가변하는 멀티미디어 서비스의 유동성의 향상을 위한 것이다.

멀티미디어 장면의 상호작용

예를 들어 인터넷과 같은 다양한 애플리케이션에서, 멀티미디어 장면은 그래픽 객체들로 구성되며 그래픽 인터페이스의 사용에 의해 스크린에 디스플레이된다. 스크린은, 렌더링 단말에 의해 충분히 다운로드된 후, 상호작용의 동적 변경을 겪을 수도 있다. 다양한 타입의 상호작용이 멀티미디어 장면을 변경할 수도 있다:

- 예를 들어 인터넷 페이지로의 상호작용의 링크를 포함하는 객체에 대한 마우스 클릭과 같이, 사용자에 의해 생성되는 이벤트에 뒤따르는, 장면에서 객체의 움직임(animation)을 유발하는 스크립트 또는 프로그램의 실행;

- 전송되는 장면의 특징이 저장되어 있는 서버로부터 전송되는 자동 업데이트.

일반적으로, 장면에서 사용자에 의해 생성되는 형상의 움직임 또는 변경이, 객체들에 대한 상호작용에 해당한다: 번역, 출현, 사라짐, 강조, 특성의 변경 등.

이들 상호작용 및 이들이 발생시키는 변경의 다양성 및 복잡도는 멀티미디어 장면이 실행되는 서비스 및 애플리케이션에 좌우된다.

멀티미디어 장면의 코딩

상호작용의 멀티미디어 장면은, 그래픽 및 상호작용의 기능들을 취급하는 포맷에 따라 기술되고 코딩되어, 사용자에게 매우 매력적인 시각적인 응답 및 그래픽 렌더링을 가능하게 한다.

또한, 많은 표준 그래픽 포맷들은, 시간이 지나도 장면이 변경되지 않도록 장면을 기술한다는 점에서 정적인 반면, 표준화된 LASeR 포맷과 같은 새로운 포맷들은 그래픽 장면 상에서 거의 제한없는 상호작용을 가능하게 한다.

이를 위해 멀티미디어 장면은 그래픽 객체들로 쪼개지며, 그래픽 객체들 각각은, 때때로 미리 정해진 수치를 갖는 애트리뷰트를 포함한다. 특히, 상호작용의 장면을 형성하는 객체들의 움직임에 대한 이들 애트리뷰트 요소들 중에 계산하는 것이 가능하다.

멀티미디어 장면의 렌더링

상호작용의 멀티미디어 그래픽 장면은, 강력한 컴포넌트(그래픽 카드, 고속 네트워크 연결 등)를 갖는 컴퓨터와 같은 정교한 장치들 및 무선 전기통신 시스템과 같이 자원에 있어 더 제한된 장치 모두에 의해 제공되는 다양한 서비스 및 애플리케이션에서 실행될 수 있다.

종래에는, 상호작용의 장면의 렌더링을 위해, 단말의 멀티미디어 판독기는 공지 기술에 따라 렌더링 엔진이라 불리우는 프로그램 모듈을 사용했다.

그 역할은, 그래픽 객체 장면을 형성하는 다양한 객체들의 모든 표면(surface)들을 계산함으로써, 장면 기술(scene description)로부터 합성 이미지의 렌더링을 형성하는 것이다.

렌더링 엔진은, 장면을 형성하는 객체들의 모든 특징 및 애트리뷰트, 특히 그 움직임을 정의하는 애트리뷰트를 조사한다. 렌더링 엔진은, 매우 복잡한 장면을 취급할 수 있는 적어도 하나의 렌더링 모드에서 동작한다. 또한, 렌더링 엔진은, 사용자가 그 상호작용의 컴포넌트 중 적어도 하나와 상호작용할 때, 장면의 변경을 실행하는 역할을 한다.

일반적으로, 멀티미디어 판독기는, 적어도 하나의 완전 모드, 및 빠르지만 표준의 충분히 복잡한 것은 취급할 수 없는 적어도 하나의 간단 모드를 포함하는 사용가능한 여러 동작 모드를 포함한다.

장면의 동적 변경을 위한 프로토콜이 없는 경우, 렌더링 엔진은, 장면을 조사하는 동안, 가장 단순하나 모든 렌더링 옵션을 만족시킬 수 있는 가장 적합한 렌더링 모드를 선택할 수 있다. 가장 적합한 렌더링 모드의 선택은 렌더링을 시작할 때 행해져야 하며, 추후 이를 문제삼지 않는다. 그 지속시간 동안 장면의 렌더링을 결정하는 것은 어려운 선택이다.

장면의 동적 변경을 위한 프로토콜이 사용가능한 경우, 엔더링 엔진은 더 이상 상기 분석 및 상기 렌더링 모드 선택을 수행할 수 없다: 이는, 동적 변경은, 언제든지, 더 복잡한 렌더링 모드를 요구하는 변수를 추가함으로써 단순한 렌더링 모드의 선택을 문제삼을 수 있기 때문이다. 그러나, 렌더링 모드의 선택이 한번, 그리고 시작할 때 수행되어져야 함에 따라, 렌더링 엔진은 유일한 해결책으로서 단지 가장 일반적이고 가장 복잡한 렌더링 모드를 적용한다.

체계적으로, 동적 장면 변경 프로토콜이 존재하는 경우, "움직임" 요소의 컨텐츠는 초기 장면과는 상이한 장면으로 로딩 되어져야만 한다. 따라서, 렌더링 엔진은 두 개의 독립된 장면들을 렌더링할 수 있어야 하며, 이는 실행의 관점에서 복잡도의 증가를 야기한다.

종래 기술로부터 공지된 렌더링 기술에서, 렌더링 엔진은 장면의 복잡도의 레벨을 사전에 결정할 수 있도록 하는 수단, 즉 장면이 멀티미디어 장면 내의 적어도 몇몇 객체들에서 상호작용의 변경을 겪는 것이 야기될지 여부를 아는 수단을 갖지 않는다. 이러한 변경은, 비록 초기 화면의 분석이, 더 쉽고 간단한 렌더링 모드가 단말의 자원의 더 좋은 사용을 제공한다는 가정을 가능하게 할지라도, 더 복잡한 렌더링 모드로의 변경을 필요로 한다.

그러나, 본 발명자는, 서비스 또는 애플리케이션의 대다수는, 상호작용 및/또는 멀티미디어 렌더링의 관점에서, 가장 일반적인 렌더링 모드, 즉, 자원의 관점에서 가장 비싼 모드의 사용을 필요로 하지 않는, 낮은 레벨의 복잡도를 가지고 상호작용의 장면을 수행 및 실행하는 것을 발견했다.

렌더링 엔진이 수신한 장면의 컨텐츠를 사전에 알지 못하기 때문에, 렌더링 엔진은 연산 시간 또는 다운로드의 관점에서 자원의 절약을 가능하게 하는 실질적인 단순화를 할 수 없으나, 이러한 단순화는 사용가능한 적은 연산 자원 또는 가장 최소한으로 제한된 자원을 갖는 무선 통신 단말과 같은 장치 또는 단말에 있어 유리하다.

다시 말하면, 멀티미디어 판독기는, 그것이 여러 사용가능한 동작 모드를 가진다고 하더라도, 렌더링될 장면들을 모두 수신하기 전에는, 단순화된 동작 모드가 멀티미디어 렌더링 측면에서 적합하다는 것을 확실히 할 수 없다.

정보가 없는 경우, 판독기는 후속하여 발생할 수도 있는 장면의 동적 변경을 모두 제공하기 위해, 복잡한 동작 모드를 선택함으로써 안전한 선택을 할 수밖에 없다.

종래 기술의 또 다른 단점은, 종래 기술은 비교적 느린 렌더링 엔진의 기능을 초래한다는 사실과 관련된다.

게다가, 멀티미디어 장면 렌더링 기술의 추가적인 단점은, 예를 들어 무선 통신 단말과 같은 단말에서 상호작용의 멀티미디어 장면의 렌더링 최적화에 관한 규격이 존재하지 않는다는 사실로부터 비롯된다.

마지막으로, 현재까지, 이러한 문제는, 초기 장면의 로딩 후에는 동적 장면 변경이 발생할 가능성이 없는, SVG, SMIL, HTML, 기타 규격들을 기반으로 하는 장면의 기술에서는 존재하지 않았다.

이는, 특히 SVG/SMIL에서는, 초기 장면이 전체 장면을 표현하기 때문이다. SVG/SMIL 멀티미디어 판독기는, 단말의 그래픽 인터페이스를 통해 장면을 복구하기 전에, 및 따라서 모든 최적화 및 단순화를 수행하기 전에 장면 전체를 검사해야만 한다.

게다가, SVG에서는, 텍스트 렌더링, 이미지 렌더링, 형상 렌더링 및 색상 렌더링 애트리뷰트는, 느리다는 단점을 갖는 스무드(smooth) 렌더링 모드를 선호하는지, 또는 빠른 모드를 선호하는지 여부를 렌더링 엔진으로 알려준다. 후자의 경우, 렌더링의 질은 저하된다.

본 발명은 특히, 종래 기술의 이러한 단점을 완화하기 위한 것이다.

더 구체적으로는, 본 발명의 목적은, 렌더링 및 멀티미디어 장면 판독기의 기능의 증진된 최적화를 보장하기 위해, 렌더링 단말의 렌더링 엔진이 사전에 렌더링 되어야 할 멀티미디어 장면의 복잡도를 통지받을 수 있도록 하는 기술을 제공하는 것이다.

본 발명의 또 다른 목적은, 렌더링 엔진이 초기 화면의 로딩을 시작할 때부터 여러 동작 모드 중에서 선택할 수 있도록 하여, 상기 선택이 결정적이고 최적이며, 초기 화면에 후속하여 발생할 수 있는 임의의 변경에 독립적이도록 하는 것이다.

본 발명의 또 다른 목적은, 복잡한 처리 동작, 및 멀티미디어 스트림의 전송 또는 수신 어느 것도 필요로 하지 않는 기술을 제공하는 것이다.

따라서, 본 발명의 목적은, 유용한 비율을 최적화하고 대량의 데이터 전송을 필요로 하지 않는 기술을 제공하는 것이다.

본 발명의 추가적인 목적은, 현재 표준화된 그래픽 움직임 기술 대다수와 호환성이 있는 기술을 제공하는 것이다:

- MPEG-4/BIFS ("바이너리 포맷 장면");

- SVG(Scalable Vector Graphics) 언어;

- 웹 페이지 내에서 멀티미디어 요소들의 통합을 허용하는 것을 목적으로 하는 SMIL(Synchronised Multimedia Integration Language);

- 이벤트 리스너(listener) 및 관련된 이벤트 매니저를 객체 문서 모델의 이벤트 인터페이스와 DOM(Document Object Model) 포맷으로 획일적으로 통합하는 것 을 허용하는 목적을 갖는 XML 이벤트 모듈;

- HTML 등.

본 발명의 적어도 하나의 실시예에서, 본 발명의 또 다른 목적은, 예를 들어 휴대 전화기와 같이 적은 자원과 처리 능력을 갖는 단말에서 멀티미디어 장면의 렌더링을 인지된 방식으로 촉진하는 장치를 제공하는 것이다.

마지막으로, 본 발명의 추가적인 목적은, 주요 장면(예를 들어 상호작용의 링크)에 의해 참조된 장면들의 경우, 렌더링 엔진이 빠른 렌더링 알고리즘뿐만 아니라, 작은 크기의 메모리 표현(memory representation)을 사용할 수 있도록 하는 것이다. 이는 특히 제한된 하드웨어 및 소프트웨어 자원을 갖는 장치에 있어 유리하다.

이러한 목적들, 뿐만 아니라 결과적으로 얻어지는 다른 목적들은, 움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 기술하는 방법에 의해 성취된다.

본 발명에 따르면, 상기 방법은, 장면 렌더링 알고리즘의 실행에 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말에서, 적어도 두 개의 사용가능한 알고리즘의 세트로부터 하나의 장면 렌더링 알고리즘을 선택할 수 있도록 하는 최적화 정보의 적어도 하나의 항목을 사용한다.

따라서, 본 발명은, 최적의 방법으로 장면을 렌더링하기 위해 가장 적합한 특정 알고리즘을 선택하는 것을 목적으로, 장면을 기술하는 파일과 관련된 최적화 정보의 적어도 하나의 항목을 고려하여, 장면을 렌더링하는 단말로 장면을 전송하는 것, 및/또는 단말의 잠재적 자원을 최소화 및/또는 최적화하는 것에 대한 전적으로 새롭고 진보한 접근을 기반으로 한다. 이는, 본 발명에 따르면, 장면을 수신하는 단말은 알고리즘을 선택하는데, 각각의 알고리즘은 장면 렌더링 최적화의 관점에서 특정 이점을 갖기 때문이다: 예를 들어, 첫 번째 알고리즘은 정밀도 및 이에 따라 렌더링에 필요한 연산의 양을 감소시킴으로써 더 빠를 수도 있고, 두 번째 알고리즘은 3 차원의 객체를 오직 2 차원의 객체로 변환함으로써 객체의 렌더링 최적화를 가능하게 할 수도 있으며, 세 번째 알고리즘은 장면에서 특정 객체에 대해서만 정교한 렌더링을 가능하게 할 수도 있다.

따라서, 각각의 알고리즘은 특정 특징 및 이점을 갖는다. 장면 렌더링이 수행될 서비스 또는 애플리케이션의 설계자는 렌더링을 최적화하는 방법을 정의할 수 있으며, 설계자는 특히, 렌더링이 단순화될 수 있는지 또는 가속화될 수 있는지, 전체 장면 또는 그 상호작용들의 렌더링이 필요한지 등을 알 수 있다. 이후, 설계자는, 단말이 해당 렌더링 알고리즘을 선택할 수 있도록 하는 최적화 정보를 삽입할 수도 있다.

상기 정보에 의해, 렌더링 장치는, 특히 사용되는 서비스의 성능에 따라 그 렌더링 엔진의 동작 모드를 적합화할 수 있다.

또한, 상기 최적화 정보의 존재의 결과는, 렌더링 엔진이, 작은 크기의 메모리 표현, 및 휴대 전화기와 같이 제한된 하드웨어 및 소프트웨어 자원을 갖는 렌더링 장치에 대해 유리한 빠른 렌더링 알고리즘을 사용하는 것을 가능하게 한다.

바람직하게는, 본 발명에 따른 최적화 정보의 적어도 하나의 항목은, 단말이, 선택된 장면 렌더링 알고리즘의 적어도 하나의 특징을 변수로 나타내는 것을 허용한다.

즉, 일단 렌더링 알고리즘이 선택되면, 최적화 정보는, 보다 더 정교한 방법으로 장면의 렌더링을 최적화하기 위해, 예를 들어 알고리즘에서 사용되는 특정 변수를 변경함으로써, 단말이 변수를 적합화하는 것을 가능하게 한다. 따라서, 최적화 정보는 추가적인 유연성을 제공한다.

바람직하게는, 제 1 실시예에서, 상기 최적화 정보의 적어도 하나의 항목은, 상기 장면에 프리앰블(preamble)로서 삽입되고, 상기 전체 장면에 적용된다.

따라서, 본 발명의 제 1 실시예에서, 상기 최적화 정보는 전체 장면과 관련된다. 상기 정보는 유용한 데이터 이전에 적절히 삽입되어, 장면 렌더링 장치가 멀티미디어 장면을 수신하자마자 렌더링 알고리즘을 선택할 수 있다.

제 2 실시예에서, 상기 적어도 하나의 최적화 정보의 항목은, 적어도 하나의 장면의 특정 객체에 적용된다.

이는, 멀티미디어 장면의 일부만을 최적화할 필요가 있을 수도 있기 때문이다. 이 경우, 본 발명에 따라, 최적화 정보는, 그 렌더링이 최적화되어야 할 장면의 오직 하나 또는 그 이상의 특정 객체들과 관련된다.

바람직하게는, 본 발명의 특정 실시예에서는, 상기 정보는 "간단" 및 "복잡"으로 알려진 두 개의 복잡도 레벨에 해당하는 바이너리 정보이다.

즉, 상호작용의 멀티미디어 장면과 함께, 멀티미디어 판독기가 렌더링 되어야 할 장면이 렌더링 엔진의 단순 또는 복잡한 기능을 필요로 하는지 여부를 알 수 있도록 해주는 추가적인 정보가 전송된다.

본 발명의 제 2 실시예에서, 상기 정보는, 점진적인 복잡도에 해당하는 수치 정보이다.

본 발명의 제 2 실시예에서, 상기 최적화 정보는, 특히 점진적인 방식으로 등급이 매겨질 수 있는 렌더링 단말의 렌더링 엔진의 동작 모드에 관한 여러 복잡도 레벨을 나타낸다.

바람직하게는, 장면이 적어도 하나의 객체를 위해 일시적인 렌더링 제어를 사용하는 경우, 상기 장면은 "복잡"이라 불리운다.

일반적으로, 이는, 장면의 객체가 시간에 따라 변할 때 효과적이다.

특정 실시예에서, 상기 장면은 SVG/LASeR로 코딩된다.

본 발명의 특정 실시예에서, 상기 최적화 정보의 항목의 하나는, 적어도 일부의 다른 장면의 상기 장면에 포함된 특징들에 대한 정보, 즉 상기 단말의 장면 렌더링 엔진을 위한 정보이다.

특히, 주된 상호작용의 장면이 예를 들어 상호작용 링크에 의해 제 2 멀티미디어 장면을 참조하는 경우, 주된 장면의 최적화 레벨의 정보는, 렌더링 엔진이, 참조된 장면이 단순히 상기 주된 장면에 포함된 것처럼 동작하도록 한다.

또한, 본 발명은 상술한 방법을 구현하는 프로그램 코드 지시들을 포함하는, 통신 네트워크로부터 다운로드 가능하거나, 컴퓨터에 의해 판독가능한 주변장치에 저장되거나, 마이크로프로세서에 의해 실행가능한 컴퓨터 프로그램 제품에 관한 것이다.

또한, 본 발명은 움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 기술하는 신호에 관한 것이다. 본 발명에 따르면, 상기 신호는, 장면 렌더링 알고리즘을 실행하는데 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말이 적어도 두 개의 사용가능한 알고리즘의 세트로부터 장면 렌더링 알고리즘을 선택할 수 있도록 하는 적어도 하나의 최적화 정보를 포함한다.

또한, 본 발명은 멀티미디어 장면을 기술하는 적어도 하나의 신호를 저장하는 데이터 저장 매체에 관한 것이다. 본 발명에 따르면, 상기 데이터 저장 매체는 움직일 수 있는 객체들의 세트를 포함한다. 상기 신호의 적어도 하나는, 장면 렌더링 알고리즘을 실행하는데 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말이 적어도 두 개의 사용가능한 알고리즘의 세트로부터 장면 렌더링 알고리즘을 선택할 수 있도록 하는 적어도 하나의 최적화 정보를 포함한다.

또한, 본 발명은, 움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 렌더링하는 수단을 포함하는 무선 통신 단말에 관한 것이다. 본 발명에 따르면, 상기 단말은, 장면 렌더링 알고리즘을 실행하는데 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말이 적어도 두 개의 사용가능한 알고리즘의 세트로부터 하나의 장면 렌더링 알고리즘을 선택할 수 있도록 하는 최적화 정보를 판독하는 수단을 포함한다.

또한, 본 발명은, 단말에서, 움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 렌더링하는 방법에 관한 것이다. 본 발명에 따르면, 상기 방법은, 최적화 정보의 적어도 하나의 항목을 판독하는 단계; 및 상기 단말의 용량을 제어하고, 장면 렌더링 알고리즘을 실행하는데 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 적어도 두 개의 사용가능한 알고리즘의 세트로부터 하나의 장면 렌더링 알고리즘을 선택하는 단계를 포함한다.

마지막으로, 본 발명은, 상술한 수신 방법을 구현하는 프로그램 코드 지시들을 포함하는 것을 특징으로 하는 통신 네트워크로부터 다운로드 가능하거나, 컴퓨터에 의해 판독가능한 저장 매체에 저장되거나, 마이크로프로세서에 의해 실행가능한 컴퓨터 프로그램 제품에 관한 것이다.

본 발명의 다른 특징들 및 이점들은, 간단한 예시 및 제한적이지 않은 예로서 주어진 아래의 바람직한 실시예의 기재, 및 첨부한 도면으로부터 더 명확하게 도출될 것이다.

도 1은 본 발명에 따른 방법의 일반적인 원리를 개략적으로 도시한다.

도 2는 본 발명을 구현하는 무선 통신 시스템을 도시한다.

도 3은 본 발명에 따라 단말에 의한 수신 방법을 도시하는 순서도이다.

도 4는 본 발명에 따른 멀티미디어 장면의 구조를 도시한다.

본 발명의 일반적인 원리는 최적화 정보를 포함하는 멀티미디어 장면을 기술하는 방법을 기반으로 한 것으로, 상기 최적화 정보는 렌더링 장치 및 특정 렌더링 알고리즘의 사용의 적절한 선택을 가능하게 한다.

렌더링은 멀티미디어 장면을 움직이는 것으로 구성된 인포그래픽 (infographic) 방법이다. 렌더링 엔진은, 특히 "플래시" 타입, 디지털 필름 등의 움직임을 조절할 수 있다.

본 발명의 목적은, 시간이 지남에 따라 업데이트 되어야만 하는 장면에서 중요시되는 렌더링의 최적화를 위한 정보를 제안하는 것이다.

도 1에 관하여, 본 발명에 따라 상호작용의 멀티미디어 장면을 모델링하는 일반적인 원리가 도시되어 있다.

저자는 다양한 복잡도 레벨을 갖는 멀티미디어 장면을 포함하는 상호작용의 서비스를 설계한다.

따라서, 저자를 위한 제 1 단계(11)는, 우선, 멀티미디어 장면의 렌더링의 모델링으로 이루어진다.

서비스의 모델링에 따라 그리고 그 결과 연관된 상관관계의 멀티미디어 장면의 설계에 따라, 저자는, 서비스의 컨텐츠가 복잡하고 그 결과 그래픽 장면의 렌더링이 전체 멀티미디어 표준을 커버하도록 멀티미디어 판독기의 완전 모드를 필요로 하는지 여부를, 또는 서비스의 컨텐츠가 간단하여 오직 멀티미디어 판독기의 단순화된 동작 모드 만을 필요로 하는지 여부를 알 수 있다.

따라서, 저자는, 본 발명에 따른 서비스 설계의 제 2 단계(12)에서, 멀티미 디어 판독기에 의해 사용되는 렌더링 엔진의 더욱 또는 덜 정교한 렌더링 모드 중에서, 상기 서비스에 의해 생성되는 컨텐츠의 렌더링에 가장 적합한 모드를 선택할 수 있다.

본 발명의 더 복잡한 실시예에서, 최적의 렌더링 모드의 선택은, 최적화를 더욱 증가시키기 위해, 반드시 서비스에 대해서가 아니라, 생성되는 각각의 콘텐츠에 대해 상이하게 이루어질 수 있다.

따라서, 적절히 본 발명에 따르면, 본 발명자는, 장면의 기술을 증진하는 단계(13)에서, 장면을 코딩하는 유용한 데이터에 장면을 위한 최적화 정보를 추가할 수 있다. 그러면, 단말은, 상기 최적화 정보로부터, 여러 렌더링 알고리즘에서, 예를 들어 장면의 스크린에서의 디스플레이를 위해 품질 및 속도의 관점에서 가장 적합한 특정 렌더링 알고리즘을 선택할 수 있다.

도 2는 본 발명을 적용하는 장치의 일 예를 도시한다.

서버(21)는, 예를 들어 도 1에 관하여 기술된 본 발명의 방법에 따라 모델링된 상호작용의 멀티미디어 서비스를 구현하는 프로그램의 일부를, 자신의 하드 디스크의 메모리에 포함한다. 상기 서비스는 그래픽 움직임 기술 언어에 따라 모델링된다.

무선 통신 단말(22)은 스크린(221)에서 사용자를 위해 서비스를 렌더링하기 위해 상기 서비스에 접속할 필요가 있다. 이후, 무선 통신 단말(22)은 서버로 서비스 요청(231)을 전송한다.

이후, 서버는, 본 발명의 방법에 따라 프로그램된 서비스의 콘텐츠의 전 송(232)을 시작한다.

이후, 단말의 전자 장치에 통합된 멀티미디어 판독기는, 단말의 스크린(221)에 상호작용의 서비스를 디스플레이하기 위해 그 렌더링 엔진을 사용한다.

장면 최적화 정보의 존재에 의해, 멀티미디어 판독기의 렌더링 엔진은, 즉시 최적으로 동작 모드를 선택할 수 있고, 특히, 상기 최적화 정보에 따라 선택된 렌더링 알고리즘을 사용하여 렌더링 모드를 선택할 수 있다.

따라서, 최적화 정보는, 서비스 발명자와 멀티미디어 판독기 사이의 "계약"이다:

- 서비스의 콘텐츠는, 멀티미디어 판독기가 하나 이상의 멀티미디어 장면의 렌더링에 대해 최적화를 달성하는 것을 가능하게 하는 제약을 따르도록 하기 위해, 저자에 의해 설계된다;

- 서비스의 저자에 의한 최적화 정보를 멀티미디어 판독기로 전송하는 것은, 멀티미디어 판독기가, 특정 기능은 사용되지 않을 것이고, 모드의 변경 없이 그 결과 단말의 사용자에게 완전히 투명한 방법으로 장면의 렌더링을 위한 특정 알고리즘에 의해 렌더링 엔진의 단순화된 렌더링 모드가 사용될 수 있다는 것을 확인할 수 있도록 한다.

본 발명에 따라 멀티미디어 장면을 렌더링하는 방법이 도 3에 자세히 도시되어 있다.

수신(31)은 멀티미디어 판독기에 포함된 렌더링 엔진의 사용으로 개시된다.

이후, 즉시, 멀티미디어 판독기가, 서비스가 설계될 때 저자에 의해 적절히 삽입되어 렌더링될 장면의 기술에 포함된 최적화 정보를 판독하는 단계(32)가 뒤따른다.

단계(32)에 따라, 렌더링 엔진은 서비스를 최적의 방법으로 렌더링하기 위해 필요한 모든 사용가능한 정보를 갖는다: 렌더링 엔진은, 가장 적합한 렌더링 알고리즘을 선택함으로써, 처리 시간, 임의 접근식 메모리 등의 관점에서, 단말의 프로세서에 대해 야기되는 로드(load)에 대해 타협할 수 있다.

본 발명의 특정 실시예에서, 단말(33)의 용량에 대한 확인이 멀티미디어 판독기에 의해 이루어질 수 있다.

렌더링 엔진은, 멀티미디어 장면의 기술 파일에 관한 가능한 최적화의 판독 및 해석 이후에, 서비스를 효과적으로 렌더링할 수 있는 능력을 갖는데, 이 경우, 렌더링 엔진은 장면의 렌더링을 위해 사용될 적합한, 더욱 또는 덜 빠르고 완전한 렌더링 모드를 결정한다(34).

이후, 장면은 멀티미디어 판독기에 의해 온전히 그대로 전송 및/또는 렌더링된다(35).

도 4는 서버 및 단말 사이에 전송되는 장면의 일반적인 구조를 도시한다.

상기 구조는 헤더(41) 및 멀티미디어 장면의 객체들(422)인 유용한 데이터(42) 세트로 구성된다.

본 발명에 따르면, 전체 장면 또는 특정 타입의 모든 객체들에 적용가능한 최적화 정보가 멀티미디어 장면의 헤더(41)에 적절히 삽입되어, 판독기가 가능한 빨리 동작 모드를 선택할 수 있도록 한다. 이는 장면 렌더링의 최적화에 기여한다. 특정 객체들(422)에 적용가능한 최적화 정보(421)는, 관련 객체들(422)에 가능한 가깝게 또는 관련 객체들(422)을 분명하게 식별하는 방법으로 장면에 위치한다.

요약하면, 본 발명에 의해 제안된 그래픽 장면을 위한 최적화 정보의 삽입 방법은, 하드웨어 및/또는 소프트웨어 자원의 관점에서 덜 소모적으로 멀티미디어 장면을 렌더링하는 기술적 결과를 얻을 수 있도록 하며, 따라서 종래 기술의 공지 기술에 반해, 사용자에게 제공된 서비스의 유동성을 유리하게 향상시킬 수 있도록 한다.

유리하게는, 본 발명은, 상호작용을 갖는 그래픽 객체들의 시공의(spatio-temporal) 배열 형식으로 구성된 신호의 표현을 필요로 하는 다수의 애플리케이션에 용이하게 적용될 수 있다.

SVG / LASeR 포맷으로의 적용예

본 발명의 특정 실시예에서, 장면을 위한 최적화 정보의 삽입 방법은, 다음의 문서에 기술된 바와 같이, SVG(Scalable Vector Graphics) 표준으로부터 파생된 표준 LASeR(Lightweight Application Scene Representation) 포맷에 적용된다:

- 인터넷 주소 http://www.w3.org/TR/SVG12에서 이용가능한 "SVG 명세";

- ISO/IEC 14496-1 - "정보 기술 - 시청각 객체들의 코딩 - 파트 1: 시스템";

- ISO/TEC 14496-20 - "정보 기술 - 시청각 객체들의 코딩 - 파트 20";

- Feiner, Foley, Hughes, van Darn, Computer Graphics: Principles and Practice, C에서의 제 2 판, 1996 에디슨-웨슬리 출판사, 뉴욕.

상호작용의 시각 화면의 기술을 허용하는 상기 표준은 벡터 시스템을 기반으로 한다: 이미지는 내부에 색상이 주입된 기하학적 형상(정사각형, 원 등)으로 구성된다. 따라서, 예를 들어, 형상을 구성하는 모든 픽셀을 결정하는 것 대신에, 네 개 점의 좌표 및 색상을 제공하는 것으로 충분하다.

본 발명의 기술은, 주된 멀티미디어 장면 A가 다른 상호작용의 멀티미디어 장면 B를 참조하는 상호작용의 링크를 포함하는 경우에 기술된다.

SMIL, SVG 및 LASeR의 "움직임" 요소는 하나의 장면을 다른 장면에 포함하는 메커니즘이다. 동일한 방식으로, 장면 A가 색상이 있는 직사각형을 포함하는 것이 가능하고, 그래픽 요소, 움직임 및 상호작용을 갖는 다른 장면 B로의 참조를 포함하는 것도 가능하다. 만약, 상기 다른 장면 B가 움직이거나 시간에 따라 동적으로 변경된다면, 주된 장면 A 및 다른 장면 B 사이에서 발생되는 문제는, 주된 장면 및 비디오 사이에서의 문제와 유사하다: 예를 들어 동기화, 다른 장면 또는 비디오의 시작/중단/정지 등. 이런 점에서, 주된 장면 A 및 다른 장면 B 또는 비디오에서 시간의 전개(unfolding)는 동기화되거나 독립적일 수 있다. 주된 장면 및 다른 장면에서의 시간의 전개가 독립적인 일반적인 경우의 취급은, 두 장면이 항상 동기화되는 경우보다 더 복잡하다. 이는, 두 개의 시간의 전개가 동기화될 때, 오직 하나의 시간만 있다는 단순화된 가정을 하는 것이 가능하기 때문이다.

임의의 "움직임" 타입의 요소에 공통된 변수들은, 첫째로, 임시 애트리뷰트들("타이밍" 애트리뷰트)의 그룹:

- begin: 움직임의 시작 시간;

- end: 움직임의 종료 시간;

- dur, min 및 max: 움직임의 지속 시간의 제어;

및, 둘째로, 동기화 애트리뷰트들의 그룹:

- SyncBehavior;

- SyncTolerance;

- SyncBehaviorDefault;

- SyncToleranceDefault

으로 이루어진다.

또한, 멀티미디어 장면이 실행되는 서비스가 상호작용하면, 이들 시간 관리 애트리뷰트들이 사용되고, 움직임 타입 요소에 의해 참조되는 장면 B에서의 시간은 주된 장면 A에서와 같지 않다.

본 발명에 따르면, SVG/LASeR 표준에 따라 코딩된 멀티미디어 장면이 수신되면, 렌더링 엔진은 그 복잡도에 대해 사용가능한 정보를 갖는다.

또한, 최적화 정보는 바이너리이고, 즉, 소위 "간단" 레벨 및 "복잡" 레벨이라 불리우는 두 개의 복잡도 레벨에 해당하는 두 개의 가능한 값을 포함한다.

렌더링 서비스가 참조된 장면 B의 움직임을 렌더링할 수 없는 경우라면, 렌더링 엔진은, 본 발명에 따라, 그래픽 장면을 구성하는 객체들의 움직임에 대한 애트리뷰트가 사용되지 않고 추후에도 사용되지 않을 것이라는 것을 알 수 있게 해주는, 사용가능한 최적화 정보를 갖는다.

렌더링 엔진은, 렌더링 시간이 주된 장면 A 및 다른 참조된 장면 B에서 항상 동일할 것이라고 간주할 수 있다. 이 경우, 참조된 장면 B에서의 객체들이 단순히 움직임 요소 대신 주된 장면 A에 삽입된 것처럼 동작한다.

이는, "움직임" 요소의 렌더링 과정을 단순화하는 것을 가능하게 하는데, 이는 특정 실시예에 따라 아래의 두 단계에서 달성된다.

- 지시된 장면 B는, 마치 단순한 "그루핑" 요소인 것처럼, 단순히 "움직임" 요소에 삽입된다.

- 렌더링 단말은 삽입 동안 발생한 요소의 식별자의 중복을 피해야만 한다.

즉, 단말은, (사용되는 렌더링 서비스가 움직임을 복구하지 않기 때문에) 참조된 장면 B에서의 시간이 항상 주된 장면 A에서의 시간과 동일한 것에 따라, 최적화 정보를 갖는 "움직임" 요소를 수신한다.

이후, "움직임" 요소는 렌더링 트리에서 "g" (그룹) 요소 C에 의해 대체된다. 상기 장면 B의 장면 트리는 C에 삽입된다. C에 B를 삽입하는 모드는, 장면 B의 식별자가 장면 A의 식별자와의 더블릿(doublet)을 피하도록 변경되는 것을 제외하면, LASeR 삽입 명령과 유사하다.

상기 처리 모드는, 일반적인 모드는 멀티미디어 판독기가 동시에 여러 장면들을 렌더링하는 것을 가능하게 하는데 반해, 멀티미디어 판독기가 간단한 "움직임" 요소를 렌더링하기 위해 간단한 장면을 렌더링하는 것을 가능하게 한다.

당연히, 본 발명은 상술한 예시적인 실시예에 제한되지 않는다.

특히, 당업자는 상호작용의 그래픽 장면 코딩 표준의 선택에서 임의의 변경 을 가할 수 있다.

마찬가지로, 특정 실시예에 따라 정의되는 복잡도 레벨의 개수는 두 개로 한정되지 않으며, 구현 및 실행의 복잡도 레벨의 관점에서 더 큰 변동성을 갖는 요소의 사용에 용이하게 적합하게 될 수 있다.

본 발명이 제한된 개수의 실시예들에 대해 기술되었지만, 당업자는 본 명세서로부터 본 발명의 범위로부터 벗어남이 없이 다른 실시예들이 도출될 수 있음을 이해할 것이다.

Claims

움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 기술하는 방법에 있어서,

장면 렌더링 알고리즘의 실행에 사용되는 자원의 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말에서, 적어도 두 개의 사용가능한 알고리즘의 세트로부터 하나의 장면 렌더링 알고리즘의 선택을 허용하는 최적화 정보의 적어도 하나의 항목을 사용하는 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항에 있어서,

상기 최적화 정보의 적어도 하나의 항목은, 상기 단말에서, 선택된 장면 렌더링 알고리즘의 적어도 하나의 특징을 변수로 나타내는 것을 허용하는 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항 또는 제 2 항에 있어서,

상기 최적화 정보의 적어도 하나의 항목은, 상기 장면에 프리앰블(preamble)로서 삽입되고, 상기 장면의 전체에 적용되는 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항 또는 제 2 항에 있어서,

상기 최적화 정보의 적어도 하나의 항목은, 상기 장면의 적어도 하나의 특정 객체에 적용되는 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 최적화 정보의 항목은, "간단" 및 "복잡"이라 불리우는 두 개의 복잡도 레벨을 나타내는 바이너리 정보의 항목인 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 최적화 정보는 여러 복잡도 레벨을 나타내는 수치 정보를 포함하는 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 5 항에 있어서,

상기 장면이 적어도 하나의 객체를 위해 임시 렌더링 제어를 사용하는 경우, 상기 장면은 "복잡"이라 불리우는 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,

상기 장면은 SVG/LASeR로 코딩되는 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,

상기 최적화 정보의 적어도 하나의 항목은, 적어도 일부의 제2 장면의 상기 장면에 포함된 특징에 대한 정보의 항목이고, 상기 포함된 특징에 대한 정보는 상기 단말의 장면 렌더링 엔진을 위한 정보인 것을 특징으로 하는 멀티미디어 장면 기술 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 따른 장면 기술 방법을 구현하는 프로그램 코드 지시들을 포함하는 것을 특징으로 하는 통신 네트워크로부터 다운로드 가능하거나, 컴퓨터에 의해 판독가능한 저장 매체에 저장되거나, 마이크로프로세서에 의해 실행가능한 컴퓨터 프로그램 제품.
움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면의 기술 신호로서,

장면 렌더링 알고리즘의 실행에 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말이 적어도 두 개의 사용가능한 알고리즘의 세트로부터 장면 렌더링 알고리즘을 선택할 수 있도록 하는 최적화 정보의 적어도 하나의 항목을 포함하는 것을 특징으로 하는 멀티미디어 장면 기술 신호.
움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 기술하는 적어도 하나의 신호를 저장하는 데이터 저장 매체로서,

상기 신호의 적어도 하나는, 장면 렌더링 알고리즘의 실행에 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말이 적어도 두 개의 사용가능한 알고리즘의 세트로부터 장면 렌더링 알고리즘을 선택할 수 있도록 하는 최적화 정보의 적어도 하나의 항목을 포함하는 것을 특징으로 하는 데이터 저장 매체.
움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 렌더링하는 수단을 포함하는 무선 통신 단말로서,

장면 렌더링 알고리즘의 실행에 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 단말이 적어도 두 개의 사용가능한 알고리즘의 세트로부터 하나의 장면 렌더링 알고리즘을 선택할 수 있도록 하는 최적화 정보를 판독하는 수단을 포함하는 것을 특징으로 하는 무선 통신 단말.
단말에서, 움직일 수 있는 객체들의 세트를 포함하는 멀티미디어 장면을 렌더링하는 방법에 있어서,

최적화 정보의 적어도 하나의 항목을 판독하는 단계; 및

상기 단말의 용량을 제어하고, 장면 렌더링 알고리즘의 실행에 사용되는 자원 할당의 최적화를 위한 적어도 하나의 기준에 따라, 적어도 두 개의 사용가능한 알고리즘의 세트로부터 하나의 장면 렌더링 알고리즘을 선택하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장면 렌더링 방법.
제 14 항에 따른 장면 수신 방법을 구현하는 프로그램 코드 지시들을 포함하는 것을 특징으로 하는 통신 네트워크로부터 다운로드 가능하거나, 컴퓨터에 의해 판독가능한 저장 매체에 저장되거나, 마이크로프로세서에 의해 실행가능한 컴퓨터 프로그램 제품.