KR100825898B1

KR100825898B1 - 소형매체형식 파일들을 동기식 멀티미디어통합언어로변환하기 위한 시스템 및 방법

Info

Publication number: KR100825898B1
Application number: KR1020050102676A
Authority: KR
Inventors: 크리스 잰슨; 케이쓰 밀러
Original assignee: 노키아 코포레이션
Priority date: 2004-10-29
Filing date: 2005-10-29
Publication date: 2008-04-28
Also published as: KR20060052343A; US20060095452A1; JP2006172432A; US7409464B2

Abstract

매체 및 시각표 정보를 보존하면서 소형멀티미디어형식 파일들을 동기식 멀티미디어통합언어로 변환하기 위한 시스템 및 방법이다. 매체객체들과 시각표 정보는 소형멀티미디어형식 파일로부터 추출된다. 매체는 별도의 파일들에 저장되고, 각 파일은 그 파일이 루프경계에 겹친다면 다수의 파일들로 분리될 수 있다. 동기식 멀티미디어통합언어가 루프들을 포함하는 타이밍정보, 및 매체파일들로부터 만들어진다.

소형매체형식(CMF), 동기식 멀티미디어통합언어(SMIL), 매체객체, 섹션, 섹션경계, 분리

Description

소형매체형식 파일들을 동기식 멀티미디어통합언어로 변환하기 위한 시스템 및 방법{System and method for converting compact media format files to synchronized multimedia integration language}

도 1은 샘플 CMF파일에 관한 현재의 구조의 도면이며,

도 2는 분리 매체객체들을 보이는 변형된 구조의 도면이며,

도 3a와 도 3b는 본 발명의 일 실시예에 따라 CMF파일을 SMIL파일로 변환하기 위한 프로세스를 나타내는 흐름도를 보이며, 그리고

도 4는 본 발명이 구현될 수 있는 일반 전자기기의 도면이다.

기술분야

본 발명은 대체로 멀티미디어 파일들에 관한 것이다. 더 상세하게는, 본 발명은 소형매체형식(compact media format) 파일들의 동기식 멀티미디어통합언어로의 변환에 관한 것이다.

배경기술

소형매체형식(CMF)은 링톤들 및 오디오/시각 프레젠테이션들을 저장하고 전 송하는데 이용된다. CMF형식은 구조에 있어 표준 전자악기디지털인터페이스(MIDI) 형식과 유사하여 영상들, 오디오들 및 텍스트와 같은 매체객체들을 삽입하기 위한 확장부들을 가진다. 본래 CMF는 포함된 매체객체들의 재생을 위한 타이밍정보를 나타낸다. 동기식 멀티미디어통합언어(SMIL)는 프레젠테이션에서의 매체객체들의 레이아웃 및 동기화를 기술하고 월드와이드웹 컨소시움에 의해 표준화된 XML언어이다.

매체객체들과 타이밍정보는 CMF파일로부터 추출되어 SMIL문법에 일치하는 형태로 재구성될 필요가 있다. 각 매체객체의 재생의 시작시간과 지속시간은 CMF파일을 파싱함으로써 결정될 수 있다. 그러나, CMF파일 내의 반복되는 섹션들 또는 루프들의 사용은, CMF플레이어에 의해 내부적으로 다루어질 수 있는 매체객체들 내에서 루프경계들이 발생할 수 있기 때문에, 복잡한 요소이다. SMIL은 매체객체들의 재생을 반복할 능력을 가지나, 매우 미세한 시간 척도로 매체에 무작위 접근하는 CMF플레이어의 능력을 가지지는 않는다. SMIL은 매체객체들을 전체로서 참조하지만 부영역들을 지정할 수도 있고, 매체객체들을 재생 중에 무작위 액세스를 허용하지 않는 복호기 또는 플레이어에 건네 준다.

본 발명의 목적은 원본 파일의 매체특징들 및 시각표(timeline)를 여전히 유지하면서 CMF파일을 SMLIL파일로 변환하기 위한 시스템 및 방법을 제공하는 것이다.

본 발명은 원본 파일의 매체특징들 및 시각표(timeline)를 여전히 유지하면서 CMF파일을 SMLIL파일로 변환하기 위한 시스템 및 방법에 관련한다. CMF파일로부터의 매체객체들은 추출된 다음 별개의 파일들에 저장된다. CMF파일로부터의 루프정보 역시 추출되며, 프레젠테이션의 시각표는 루프경계들에서 섹션들로 분할된다. 그 후 섹션경계가 임의의 매체객체의 중간에서 발생하는지가 판단된다. 객체분리가 이용된다면, 섹션경계에 겹치는 임의의 매체객체는 겹침점에서 2개의 별개의 객체들로 분리된다. 클리핑이 이용된다면, 클리핑점들의 두 집합들은 겹침점에서 객체를 두 영역들로 분할하는 것을 기술하도록 계산된다. 그 후 SMIL파일이 매체객체들의 타이밍 및 반복을 기술하는 변형된 시각표로부터 재구성된다. 그런 후 SMIL과 매체파일들은 추후의 사용, 예컨대, 네트워크 전송 또는 메모리에의 전송에 적합한 소망의 형식으로 패키지된다.

본 발명은 기존 시스템을 뛰어 넘는 다수의 이점들을 제공한다. 본 발명의 방법 및 시스템은 개별 파일들 또는 프레젠테이션들의 크기를 작은 마진 내에서 유지하고 변환 후의 매체의 기록을 요구하지는 않는다. 부가적으로, 본 발명은 또한 SMIL프레젠테이션 내의 복호화지연들을 최소화한다. 무선서비스제공자의 경우, 이 제공자는 소프트웨어응용을 이용하여 CMF파일들의 현존하는 라이브러리의 SMIL프레젠테이션들로의 변환을 자동화할 수 있고, 그러면 SMIL프레젠테이션들은 SMIL 가능 기기들을 가지는 가입자들에게 제공될 수 있다. 본 발명의 변환프로세스는 개인용컴퓨터, 셀룰러전화기, 또는 다른 기기들에 한정되지는 않지만 이것들을 포함하는 폭넓게 다양한 전자기기들에서 완성될 수 있다. 원거리통신능력은 본 발명의 구현 에 요구되는 않는다.

본 발명의 이러한 및 다른 목적들, 이점들 및 특징들은, 그 구성 및 동작 방법과 함께, 첨부 도면들에 연계하여 취해진 다음의 상세한 설명으로부터 명확하게 될 것이고, 첨부 도면들에서 유사한 요소들은 아래에 기재된 몇몇 도면들을 전체를 통해 유사한 번호를 가질 것이다.

바람직한 실시예들의 상세한 설명

위에서 논의된 바와 같이, 본 발명은 원본 파일에 대해 매체특징들 및 시각표를 여전히 유지하면서도 CMF파일을 SMIL파일로 변환하기 위한 시스템 및 방법을 위한 것이다.

CMF파일은 하나의 트랙이 오디오, 영상들 및 MIDI의 각각을 위한 것인 트랙들의 모임이라고 논리적으로 생각될 수 있다. 모든 트랙들은 영인 시간에서 시작되고 동시에 발생한다. 트랙들은 일련의 객체들을 담고 있고, 객체들의 각각은 트랙 상에 겹치지 않는 배치위치를 가진다. 객체는 그 시간 동안 재생되는 매체 단편(일부)에 대한 참조이다. CMF파일의 섹션들은 루프에서 반복될 수 있고, 편이를 위해, 루프들은 다른 매체들과 동일한 것으로 취급된다. 도 1은 일반 CMF파일의 이벤트들에 대응하는 각종 객체들을 보이고 있다.

SMIL은 프레젠테이션에서 멀티미디어객체들의 구조를 기술하기 위한 언어이다. SMIL은 타이밍에 영향을 주는 수 개의 가능한 속성들과 함께 이름에 의해 객체들이 참조될 수 있게 한다. SMIL기술(description)의 본문은 매체객체들의 타이밍을 표현하는 XML요소들의 블록들을 구비한다. 특히 2개의 요소들인 <seq>와 <par> 은 그것들의 하위요소들의 순차적이고 병렬적인 재생을 각각 수행한다.

도 3a와 3b는 본 발명의 일 실시예에 따라 CMF파일을 SMIL파일로 변환하는 프로세스의 흐름도를 보인다. 도 3a의 단계 100에서, 일반 CMF파일이 시스템에 입력된다. 본 발명의 일 실시예에 따른 변환처리의 제1단계는, CMF파일로부터의 매체객체들의 추출과 그것들을 별개의 파일들에 저장하는 것에 관련된다. 이것은 도 3a에는 단계 110, 120 및 130에서 영상들, 오디오클립들, 및 MIDI클립들 각각에 대해 개별적으로 나타나 있다. 그 파일들의 형식은 타겟플랫폼의 지원된 형식들에 맞아야 한다. 임의의 필요한 변환 역시 이때 완료된다. 대부분의 변환들은 단순히 파일형식의 변경 또는 오디오부호화방법을 포함한다. 그러나, MIDI콘텐츠는 표준 MIDI파일형식으로 번역되어야 할 것이다. CMF는 단계 132에서 SMF파일로 변환될 수 있는 MIDI용의 유일한 형식을 이용하고, 이는 단계 134에서 적절히 포맷된 파일명인 midi.mid가 되게 한다. 영상의 경우, 이 영상은 단계 112에서 예컨대 PNG 파일로서 저장된다. 오디오파일들의 경우, 적절한 헤더들이 단계 122에서 부가되고, 이는 단계 124에서 오디오가 예컨대 QCP파일들로 변환되게 한다. 도 3은 영상들, 오디오 및 MIDI의 추출이 순차적으로 일어남을 보이고 있지만, 이 추출은 매체의 모든 3 유형들에 대해 임의의 순서로 또는 동시에 일어날 수 있다는 점에 주의해야 한다. CMF에 의해 지원되는 다른 매체의 영상 및 오디오 형식들이 유사하게 다루어진다.

본 발명에 따른 변환처리의 다음 단계는, 각 오디오클립, MIDI, 영상, 가능한 루프 또는 제어이벤트의 발생시간을 나타내는 매체이벤트들의 목록을 구축하는 것을 포함한다. 이것은 단계 140에 나타나 있다. 그 후 단계 150에서는, 발명의 하 나의 예시적인 실시예에서 CMF파일을 정의하는 임의의 가능한 루프들의 종료점들(루프경계들이라고도 함)에 따라, 프레젠테이션의 시각표는 섹션들로 나누어진다. SMIL은 <seq> 또는 <par> 블록의 "repeatCount" 또는 "repeatDur" 속성을 이용하여 프레젠테이션의 부분들을 반복할 수 있다. 이는 시각표가 예의 루프 종료점들에 의해 섹션화되어야 하고 따라서 반복되는 섹션들이 블록 속에 위치될 수 있게 하는 요건을 만든다.

발명의 일 실시예에서, CMF파일의 모든 트랙들은 SMIL프레젠테이션으로 변환되지 않는다. 예로서, 변환을 수행하는 기기는 오디오 및 MIDI 파일들을 동시에 재생하는 능력을 가지지 않을 수 있다. 이 경우라면, 이러한 트랙들을 SMIL프레젠테이션에 포함시킬 필요는 없다. 따라서 양 파일들을 SMIL프레젠테이션으로 변환하는 것은 불필요하다. 이는 대응하는 정보를 CMF파일로부터 추출하지 않거나 또는 결과적인 SMIL프레젠테이션으로부터 트랙들의 어느 쪽이던 남겨둠으로써 구현될 수 있다.

단계 160에서, 본 발명의 일 실시예에 따라, 각 매체이벤트에 대해, 그 이벤트가 각 시각표 섹션과 겹치는 시간 및 지속시간이 결정된다. 결정된 시간 및 지속시간은 아래에서 논의된 바와 같이 시각표의 특정 섹션 동안 이벤트에 대한 클리핑횟수를 결정하는데 이용된다.

종료점들에 겹치는 매체객체들은 객체의 시작 또는 끝 대신에 종료점 시간에 시작되거나 중단된다. 두 개의 방법들이 이를 다루는데 이용 가능하고, 이 결정은 도 3b의 단계 170에서 반복된다. 제1방법은 각 매체객체에 대해 클리핑횟수를 지정 하는 것이다. 예를 들면, 정확히 오디오트랙을 재생하는 SMIL세그먼트는 다음과 같다:

이것이 비교적 단순한 방법이지만, SMIL플레이어는 이것이 매체의 많은 부분들을 건너뛴다면 긴 시간의 지연을 겪게 될 것이다. 발명의 일 실시예에 따른 단계 180에서의 대안은 매체객체를 둘 이상의 단편들로 분리하고 그 후 파일명을 이벤트로 갱신함으로써 그것에 대한 임의의 참조들을 정정하는 것이다. 각 유형의 매체는 분리를 수행하기 위한 특정 알고리즘을 요구한다. 이 방법은 시작 시에 매체의 각 단편이 재생을 시작하게 함으로써 클리핑 지연 문제를 피한다. 예를 들면, 도 1의 매체객체 audio_2는 시간 4.5s에 두 객체들인 도 2의 audio_2a 및 audio_2b로 분리된다. 그러므로 오디오트랙을 재생하는 SMIL세그먼트는 다음과 같이 된다:

프레젠테이션을 위한 뼈대는 블록들의 중첩(nested blocks)으로 구축된다. 전체 시각표는 각 섹션을 순서대로 재생하는 <seq> 블록 내에 들어 있다. 섹션 내의 트랙들은 그것들이 동시에 재생되므로 <par> 블록 내에 들어 있다. 섹션 내의 각 블록은 트랙 내의 객체들을 순서대로 재생하는 <seq> 블록에 의해 표현된다. 프 레젠테이션을 위해 완성된 SMIL은 다음과 같다:

<head>

<root-layout width="120" height="96" backgroundColor="white" />

</layout>

</head>

<body>

<seq>

<par>

<seq>

</seq>

<seq>

</seq>

</par>

<seq>

</seq>

<seq>

</seq>

<seq>

</seq>

</par>

<par>

<seq>

</seq>

<seq>

</seq>

<seq>

</seq>

</par>

</seq>

</body>

</smil>

이 변환은 단계 190에서 위에서 논의된 바와 같이 SMIL파일을 생성한다. 루프 섹션을 나타내는 각 <par> 블록은 그 루프와 동일한 반복횟수의 RepeatCount 속성을 가진다. 이 구조의 <seq> 및 <par> 블록들과 RepeatCount 속성들의 배치위치는 주위 여건이 허락하는 경우 논리적으로 등가인 구조들로 변환될 수 있다는 점에 주의해야 한다. 단계 200에서, SMIL파일은 전송을 위해 매체파일들과 함께 패키지화된다

도 4는 본 발명이 구현될 수 있는 일반 전자기기(300)를 보인다. 이 전자기기(300)는 컴퓨터프로그램코드를 저장하기 위한 메모리부(340)와 이 프로그램코드를 실행하기 위한 프로세서 둘 다를 수용하는 본체(310)를 구비한다. 전자기기(300)는 영상들을 표시하기 위한 디스플레이(320) 및/또는 오디오 및/또는 MIDI 파일들을 재생하기 위한 스피커(330)를 구비할 수도 있다. 전자기기(300)는 원격의 단말과 통신하기 위해 무선 또는 유선 형태의 데이터통신링크를 구비할 수도 있다. 이 일반 전자기기는 결과적인 SMIL프레젠테이션 자체를 반드시 소비하지 않을 수도 있고, 대신 그것을 다른 기기에서의 사용을 위해 저장 및/또는 송신할 수도 있다.

실시예들이 보이고 설명되었지만, 변경들 및 변형들이 발명의 넓은 양태들로부터 벗어남 없이 발명에 대해 만들어질 수 있다는 것이 이해될 것이다. 발명의 각종 특징들은 다음의 청구범위에서 정의된다.

이상 설명한 바와 같이 본 발명에 의하면, 원본 파일의 매체특징들 및 시각표(timeline)를 여전히 유지하면서 CMF파일을 SMLIL파일로 변환할 수 있다.

Claims

CMF프레젠테이션을 SMIL프레젠테이션으로 변환하는 방법에 있어서,

CMF프레젠테이션으로부터 적어도 하나의 매체객체를 추출하는 단계;

CMF프레젠테이션으로부터 루프정보의 적어도 일부를 추출하는 단계;

CMF프레젠테이션을 복수 개의 섹션들로 나누는 단계;

적어도 하나의 섹션 경계가 적어도 하나의 매체객체 내에서 발생하는지를 판정하는 단계; 및

판정에 기초하여 CMF프레젠테이션을 SMIL프레젠테이션으로 변환하는 단계를 포함하는 방법.
제1항에 있어서, 적어도 하나의 섹션 경계가 적어도 하나의 매체객체 내에서 발생한다고 판정된다면, 적어도 한 번의 클리핑 시기를 상기 적어도 하나의 매체객체에 지정하는 단계를 더 포함하는, 방법.
제1항에 있어서, CMF프레젠테이션은 루프경계들에서 복수 개의 섹션들로 나누어지는, 방법.
제1항에 있어서, 적어도 하나의 섹션 경계가 적어도 하나의 매체객체 내에서 발생한다고 판정된다면,

상기 적어도 하나의 매체객체를 복수 개의 성분들로 분리하는 단계; 및

상기 적어도 하나의 매체객체에 대한 참조들을 수정하여 복수 개의 성분들에 반영하는 단계를 더 포함하는, 방법.
제1항에 있어서, 적어도 하나의 매체객체는 복수 개의 섹션들에 맞는 <par>와 <seq> 블록들을 가지는 구조로 된, 방법.
제5항에 있어서, 섹션을 나타내는 <par> 블록에는 루프와 동일한 카운트를 갖는 반복카운트(RepeatCount) 속성이 제공되는, 방법.
제1항에 있어서, 적어도 하나의 매체객체를 추출한 후, 적어도 하나의 매체객체를 객체 유형에 기초하여 별도의 파일에 저장하는 단계를 더 포함하는, 방법.
CMF프레젠테이션을 SMIL프레젠테이션으로 변환하기 위한 컴퓨터프로그램생성물을 포함하는 컴퓨터 판독가능 저장매체에 있어서, 상기 컴퓨터프로그램생성물은,

CMF프레젠테이션으로부터 적어도 하나의 매체객체를 추출하기 위한 컴퓨터코드;

CMF프레젠테이션으로부터 루프정보의 적어도 일부를 추출하기 위한 컴퓨터코드;

CMF프레젠테이션을 복수 개의 섹션들로 나누기 위한 컴퓨터코드;

적어도 하나의 섹션 경계가 적어도 하나의 매체객체 내에서 발생하는지를 판정하기 위한 컴퓨터코드; 및

판정에 기초하여 CMF프레젠테이션을 SMIL프레젠테이션으로 변환하기 위한 컴퓨터코드를 포함하는 컴퓨터 판독가능 저장매체.
제8항에 있어서, 상기 컴퓨터프로그램생성물은, 적어도 하나의 섹션 경계가 매체객체 내에서 발생한다고 판정된다면, 적어도 한 번의 클리핑 시기를 상기 매체객체에 지정하기 위한 컴퓨터코드를 더 포함하는, 컴퓨터 판독가능 저장매체.
제8항에 있어서, CMF프레젠테이션은 루프경계들에서 복수 개의 섹션들로 나누어지는, 컴퓨터 판독가능 저장매체.
제8항에 있어서, 상기 컴퓨터프로그램생성물은, 적어도 하나의 섹션 경계가 매체객체 내에서 발생한다고 판정된다면, 상기 매체객체를 복수 개의 성분들로 분리하기 위한 컴퓨터코드; 및

상기 매체객체에 대한 참조들을 수정하여 복수 개의 성분들에 반영하기 위한 컴퓨터코드를 더 포함하는, 컴퓨터 판독가능 저장매체.
제8항에 있어서, 적어도 하나의 매체객체는 복수 개의 섹션들에 맞는 <par>와 <seq> 블록들을 가지는 구조로 된, 컴퓨터 판독가능 저장매체.
제12항에 있어서, 섹션을 나타내는 <par> 블록에는 루프와 동일한 카운트를 갖는 반복카운트(RepeatCount) 속성이 제공되는, 컴퓨터 판독가능 저장매체.
제8항에 있어서, 상기 컴퓨터프로그램생성물은, 적어도 하나의 매체객체를 추출한 후, 적어도 하나의 매체객체를 객체 유형에 기초하여 별도의 파일에 저장하기 위한 컴퓨터코드를 더 포함하는, 컴퓨터 판독가능 저장매체.
메모리; 및

메모리에 저장된 정보를 처리하기 위한 적어도 하나의 프로세서를 포함하며,

메모리는, CMF프레젠테이션을 SMIL프레젠테이션으로 변환하기 위한 컴퓨터프로그램생성물을 포함하며, 이 컴퓨터프로그램생성물은,

CMF프레젠테이션으로부터 적어도 하나의 매체객체를 추출하기 위한 컴퓨터코드;

CMF프레젠테이션으로부터 루프정보의 적어도 일부를 추출하기 위한 컴퓨터코드;

CMF프레젠테이션을 복수 개의 섹션들로 나누기 위한 컴퓨터코드;

적어도 하나의 섹션 경계가 적어도 하나의 매체객체 내에서 발생하는지를 판정하기 위한 컴퓨터코드; 및

판정에 기초하여 CMF프레젠테이션을 SMIL프레젠테이션으로 변환하기 위한 컴퓨터코드를 구비하는, 전자기기.
제15항에 있어서, 컴퓨터프로그램생성물은, 적어도 하나의 섹션 경계가 매체객체 내에서 발생한다고 판정된다면, 적어도 한 번의 클리핑 시기를 상기 매체객체에 지정하기 위한 컴퓨터코드를 더 포함하는, 전자기기.
제15항에 있어서, 컴퓨터프로그램생성물은,

적어도 하나의 섹션 경계가 매체객체 내에서 발생한다고 판정된다면, 그 매체객체를 복수 개의 성분들로 분리하기 위한 컴퓨터코드; 및

상기 매체객체에 대한 참조들을 수정하여 복수 개의 성분들에 반영하기 위한 컴퓨터코드를 더 포함하는, 전자기기.
제15항에 있어서, 적어도 하나의 매체객체는 복수 개의 섹션들에 맞는 <par>와 <seq> 블록들을 가지는 구조로 된, 전자기기.
제18항에 있어서, 섹션을 나타내는 <par> 블록에는 루프와 동일한 카운트를 갖는 반복카운트(RepeatCount) 속성이 제공되는, 전자기기.
전자기기와 함께 사용하기 위한 모듈에 있어서,

메모리; 및

메모리에 저장된 정보를 처리하기 위한 적어도 하나의 프로세서를 포함하며,

메모리는, CMF프레젠테이션을 SMIL프레젠테이션으로 변환하기 위한 컴퓨터프로그램생성물을 포함하며, 이 컴퓨터프로그램생성물은,

CMF프레젠테이션으로부터 적어도 하나의 매체객체를 추출하기 위한 컴퓨터코드;

CMF프레젠테이션으로부터 루프정보의 적어도 일부를 추출하기 위한 컴퓨터코드;

CMF프레젠테이션을 복수 개의 섹션들로 나누기 위한 컴퓨터코드;

적어도 하나의 섹션 경계가 적어도 하나의 매체객체 내에서 발생하는지를 판정하기 위한 컴퓨터코드; 및

판정에 기초하여 CMF프레젠테이션을 SMIL프레젠테이션으로 변환하기 위한 컴퓨터코드를 구비하는, 모듈.
제20항에 있어서, 컴퓨터프로그램생성물은,

적어도 하나의 섹션 경계가 매체객체 내에서 발생한다고 판정된다면, 상기 매체객체를 복수 개의 성분들로 분리하기 위한 컴퓨터코드; 및

상기 매체객체에 대한 참조들을 수정하여 복수 개의 성분들에 반영하기 위한 컴퓨터코드를 더 포함하는, 모듈.
제20항에 있어서, 적어도 하나의 매체객체는 복수 개의 섹션들에 맞는 <par>와 <seq> 블록들을 가지는 구조로 된, 모듈.
제22항에 있어서, 섹션을 나타내는 <par> 블록에는 루프와 동일한 카운트를 갖는 반복카운트(RepeatCount) 속성이 제공되는, 모듈.