KR20090051173A

KR20090051173A - 멀티미디어 시퀀스를 자동적 또는 반자동적으로 구성하는 방법 및 장치

Info

Publication number: KR20090051173A
Application number: KR1020097003048A
Authority: KR
Inventors: 씰벵 위에; 쟝-필립 윌리끄; 질 바비네
Original assignee: 엠익쓰뻬4
Priority date: 2006-07-13
Filing date: 2007-07-12
Publication date: 2009-05-21
Also published as: US8357847B2; WO2008020321A2; WO2008020321A3; FR2903804B1; EP2041741A2; US20100050854A1; FR2903804A1; JP2009543150A

Abstract

본 발명에 따른 방법은 기준 멀티미디어 시퀀스 구조를 생성하는 단계, 이 구조를 각각 일련의 기본 하위성분(브릭(

-

))을 포함하는 기본 성분(트랙(P₁,P₂,P_n))으로 분류하는 단계, 이 각각의 기본 하위성분에게 각각 속성이 할당된 복수의 상응하는 하위성분(상응하는 브릭(

,

))을 관련시키는 단계, 및 새로운 멀티미디어 시퀀스를 자동적으로 구성하는 단계를 포함하며, 상기 자동적으로 구성하는 단계는 상기 하위성분을 유지하거나 또는 상기 하위성분을, 선택되는 하위성분의 확률을 결정하고 속성을 고려하는 알고리즘을 고려하고 이들 확률과 관련하여 무작위적 선택을 수행함으로써 산술적으로 선택되는 상응하는 하위성분으로 대체하는 단계를 포함한다.

멀티미디어 시퀀스, 기본 성분, 기본 하위성분, 가상 믹싱 콘솔, 전문 시스템

Description

멀티미디어 시퀀스를 자동적 또는 반자동적으로 구성하는 방법 및 장치{METHOD AND DEVICE FOR THE AUTOMATIC OR SEMI-AUTOMATIC COMPOSITION OF A MULTIMEDIA SEQUENCE}

본 발명은 이미 존재하거나 환경(circumstance)을 위해 구성되는 기준 멀티미디어 시퀀스 구조를 이용하여, 멀티미디어 시퀀스(더 바람직하게는 주로 오디오)를 실시간으로 자동적 또는 반자동적으로 구성하는 방법 및 장치에 관한 것이다.

일반적으로 기존의 멀티미디어 자료를 이용하여 멀티미디어 시퀀스(multimedia sequence)를 생성하는 많은 해결책이 이미 제안되었다.

예컨대, 유럽공동체특허 EP 0 857 343 B1은 도입 장치, 컴퓨터에 연결되는 하나 이상의 녹음 미디어, 리듬 생성기, 피치 실행 프로그램, 및 사운드 생성기를 포함하는 전자 음악 생성기를 개시하고 있다. 상기 전자 음악 생성기가 피스를 단독으로 생성하고 재생하길 원하는 사용자에 의해 조작될 때, 상기 도입 장치는 유입되는 리듬 및 피치 신호를 생성한다. 녹음 미디어는 사용자가 중첩을 통해 솔로를 생성하고 재생할 수 있는 다양한 반주 트랙을 가지며, 또한 다양한 리듬 블록을 갖는데, 상기 리듬 블록은 각각 음표(note)가 재생되어야하는 하나 이상의 순간에 하나 이상의 음표에 대해 정의된다. 녹음 미디어는 주어진 지속시간이 경과하는 동안 사용자에 의해 생성되는 솔로 중 하나 이상의 부분을 녹음한다. 리듬 생성기는 도입 장치에 의해 도입되는 리듬 신호를 수신하고, 상기 신호에 따라 녹음 미디어에서 하나의 리듬 블록을 선택하며, 선택된 리듬 블록에 의해 정의되는 순간에 음표를 재생하도록 명령을 부여한다. 피치 실행 프로그램은 도입 장치에 의해 도입되는 피치 신호를 수신하고, 상기 신호에 따라 적절한 피치를 선택하며, 사용자에 의해 선택되는 반주 트랙과 녹음된 솔로를 선택한다. 피치 실행 프로그램은 이후 적절한 피치를 생성한다. 리듬 생성기로부터 명령을 수신하고, 피치 실행 프로그램으로부터 피치를 수신하며, 사용자에 의해 선택된 반주 트랙의 지시를 수신한 사운드 생성기는 선택된 반주 트랙으로부터 사용자에 의해 생성되는 솔로의 오디오 신호 함수를 생성한다.

또한, 유럽공동체특허 EP 1 326 228은 특정 사용자의 기호에 따라 음악을 획득하기 위해 음악의 구성을 양방향으로 변경할 수 있는 방법을 개시하고 있다. 이 방법은 특히 노래 데이터 구조의 개입(intervention)을 이용하는데, 여기서 사용자에 의해 변경될 수 있는 음악 데이터에는 음악 규칙(musical rule)이 가해진다.

실제로, 상술한 해결책은 대개 진행되는 음악 시퀀스를, 하드-코딩된(hard-coded) 디지털 음악 파일 포맷에 링크되는 연속적인 프로세스에 따라 변성하는 방식으로 구성된다.

본 발명의 목적은 저자에 의해 정의되는 음악 공간(musical space)에서 멀티미디어 시퀀스를 구성할 수 있는 방법으로서, 청취자가 양방향성 툴을 이용하여 조종할 수 있는 방법을 제공하는 것이다.

이를 위해, 본 발명은 멀티미디어 시퀀스를 실시간으로 자동적 또는 반자동적으로 구성하는 방법으로서, 기준 멀티미디어 시퀀스 구조를 생성하고 상기 구조를 트랙(P₁,P₂,P_n)에 동화될 수 있는 기본 성분으로 분류하는 선행 단계와, 하위성분의 선택을 포함하는 새로운 멀티미디어 시퀀스를 실시간으로 자동적으로 구성하는 단계를 포함하며, 상기 기본 성분은 각각 적어도 음악의 악장, 하모니, 또는 스타일로 구성될 수 있는 일련의 기본 하위성분 또는 브릭(

-

)으로 분류되는 방법을 제안한다.

본 발명에 따르면, 이 방법은 상기 선행 단계가 심리음향 기술자(descriptors) 또는 속성을 각각의 하위성분으로 할당하는 단계와, 하위성분과 상기 하위성분에 할당된 기술자 또는 속성을 데이터베이스에 저장하는 단계를 포함하고, 상기 자동적으로 구성하는 단계는 상기 기본 성분에서 하위성분의 시퀀스를 생성하는 단계를 포함하고, 여기서 하위성분을 유지하거나 대체하는 단계에 의해 특성화되는 체이닝이 각각의 하위성분마다 하위성분의 심리음향 기술자 또는 속성 및 컨텍스트 파라미터를 고려하여 선택 기준을 결정하는 알고리즘에 따라 계산되고, 상기 자동적으로 구성하는 단계는 루핑을 통해 반복되고, 각 시퀀스는 하위성분을 각각의 기본 성분에 관련시킴으로써 자신을 영구적으로 재생성하며, 청취자는 상기 알고리즘의 동작에 영향을 미침으로써 하위성분의 선택에 실시간으로 개입할 수 있는 것을 특징으로 한다.

따라서, 이 방법은 사용자가 원할 때(한번이 아니고 시작시부터 계속) 멀티미디어 시퀀스를 실시간으로 생성할 수 있다. 이러한 생성은 루핑함으로써 무한정 계속될 수 있고(자연적으로 종료되지 않음), 시퀀스는 데이터베이스에서 산술적으로 선택되는 하위성분을 관련시킴으로써 그 자신을 영구적으로 재생성하며, 사용자는 상기 알고리즘의 동작에 영향을 미침으로써 하위성분의 선택 레벨에 개입할 수 있다.

상기 방법은 데이터베이스에 저장된 파일에 포함된 복수의 상응하는 하위성분(또는 상응하는 브릭)을 이들 각각의 하위성분에 관련시키는 단계 및 속성이 할당되는 각각의 하위성분에 관련시키는 단계를 포함할 수 있다. 이후 상기 자동적으로 구성하는 단계는 하위성분을 상응하는 하위성분으로 대체하는 단계 및 각각의 상응하는 하위성분에 대해 하위성분의 속성을 고려하여 결정하는 단계(이 선택되는 하위성분의 확률의 기본 하위성분에 대해서도 동일)를 포함할 수 있다.

상술한 것과 같이, 상기 알고리즘은 확률 계산을 기초로 한다. 이는 각각의 하위성분마다 선택되는 확률을 결정하고, 이후 상기 확률과 관련하여 무작위적 선택을 실행한다.

상기 확률은 상기 하위성분의 내용과 독립적인 규칙(예컨대 비 음악적인 규칙)을 가함으로써 계산될 수 있고, 상기 규칙은 하위성분의 선택이 또 다른 동시에 일어나는 선택 또는 일어날 선택에 영향을 미칠 수 있는지 고려할 수 있으며, 따라서 규칙은 예컨대 선행하는 선택에 따라 편차를 선택하는 확률을 변경하도록 구성될 수 있다.

따라서, 시퀀스, 예컨대 음악 시퀀스는 본 발명에 따른 방법에 따라 개입될 수 있다:

- 성분(또는 트랙)의 수 N,

- 이들 각각의 기본 성분(또는 트랙)에 대하여 일련의 하위성분(예컨대 음악 브릭),

- 하위성분(브릭)의 선택이 후속하는 선택에 영향을 미치는 방식을 정의하는 일련의 규칙,

- 사용자가 상기 규칙을 활성화 또는 비활성화할 수 있도록 하는 양방향 키 입력 수단.

기본 성분(트랙)은 활성 상태 또는 비활성 상태(일시정지)에 있을 수 있다. 이 상태는 선행하는 또는 동시에 일어나는 하위성분의 선택에 의해 결정된다.

본 발명에 따른 방법에 따라 실행되는 선택은 최대 확률로부터 얻어지는 하위성분을 수반할 수 있다(따라서, 무작위적으로 선택되지 않음).

상기 규칙은 중요도 또는 우선순위에 의해 특성화될 수 있다. 이 경우, 두 개의 규칙이 모순될 때, 하위성분의 선택이 항상 가능하도록 중요도가 더 낮은 규칙이 순간적으로 삭제된다(확률이 0이 아닌 하나 이상의 브릭).

하위성분(브릭) 선택 알고리즘은 음악의 다른 파라미터, 예컨대 트랙의 볼륨, 재연주 횟수, 에코 계수 등을 선택할 수 있도록 사용될 수 있다.

또한, 하위성분 선택 알고리즘은 음악이 아닌 다른 유형의 콘텐츠에도 사용될 수 있다(비디오 시퀀스의 선택, 텍스트 등).

상술한 것과 같이, 본 발명은 다양하게 실행될 수 있는 음악의 구성으로서, 본 발명의 방법에 따라 구성되는 단일 파일을 사용하여 비제한적으로 사용될 수 있는 음악의 구성을 생성할 수 있다.

컴퓨터 기술은 더 이상 재생성하는 수단에만 국한되지 않고, 음악과 상호작용할 수 있는 수단으로도 사용될 수 있다. 이는 생성되는 음악의 품질에 대해 음악을 생성하는 단계가 항상 중심을 이루고 절대적으로 기본을 이룬다는 점에서 보면 자동적인 음악이라고 할 수 없다.

저자의 작품은 본 발명을 실행함으로써 상당히 변경되고, 이로 인해 청취자가 상호작용 툴을 이용하여 조종할 수 있는 음악 공간이 정의된다.

더 상세하게는, 본 발명에 따른 방법은,

- 미리 정해진 음악 시퀀스를 이용하여 상기 음악 시퀀스에 필터를 가하거나 프로세싱을 통해, 연속적인 음악 브릭으로 구성되는 트랙을 생성하는 단계,

- 이에 의해 생성된 브릭 및 상기 생성된 브릭에 대한 일치성에 따라 선택되는 기존의 브릭을 포함하는 음악 브릭의 베이스를 생성하는 단계,

- 심리음향 기술자의 명명법(nomenclature)을 정의하는 단계,

- 각각의 쌍(브릭;기술자)마다 스코어를 정의하는 테이블을 구성하는 단계,

- 사용자가 믹싱 인터페이스를 매개로 특정한 상호작용 가중치를 통해 상호작용할 수 있는 기술자의 부분집합을 정의하는 단계,

- 믹싱 함수의 리스트를 구성하는 단계로서, 각각의 함수는 트랙에 링크되고, 각각의 함수는 컨텍스트 파라미터(재생되었던 브릭, 현재 다른 트랙에서 재생중인 브릭, 상기 사용자에 의해 정의되는 상호작용 가중치)를 가진 후보 브릭에 가해지며, 결과에 대해 상기 후보 브릭의 적절한 비율을 갖는, 믹싱 함수의 리스트를 구성하는 단계,

- 상기 믹싱 함수의 결과가 최대인 후보 브릭을 선택하는 단계를 포함할 수 있다.

이하에서는 첨부 도면을 참조한 비제한적인 실시예를 통하여 본 발명을 더 상세히 기술한다.

도 1은 본 발명에 따른 방법에 의해 사용되는 원리를 전체적으로 도시한 도면;

도 2는 본 발명에 따른 방법에 따라, 이미 존재하는 음악의 인코딩 프로세스의 원리를 화살표로 도시한 도면;

도 3은 본 발명에 따른 방법에 의해 실행되는 실행 프로그램("플레이어")의 일반적인 동작을 화살표로 도시한 도면이다.

도 1에 도시된 예에서, 본 발명에 따른 방법은 n개의 트랙(P₁,P₂,...P_n)으로 분리되는 기준 멀티미디어 시퀀스를 사용한다.

각각의 트랙은 연속적인 하위성분(subcomponent) 또는 기준 브릭(reference brick)을 포함한다. 그 방식은 아래와 같다.

- 트랙(P₁)은 연속적인 브릭(

) 등을 포함한다.

- 트랙(P₂)는 연속적인 브릭(

) 등을 포함한다.

- 트랙(P_n)은 연속적인 브릭(

) 등을 포함한다.

각 트랙의 기준 브릭은 각각 일련의 상응하는 브릭(homologous brick)과 관련된다. 그 방식은 특히 아래와 같다.

- 브릭(

)은 상응하는 브릭(

)과 관련되고,

- 브릭(

)은 상응하는 브릭()과 관련되고,

- 브릭(

)은 상응하는 브릭(

)과 관련되고,

- 브릭(

)은 상응하는 브릭(

)과 관련된다.

물론 본 발명이 정해진 수의 트랙, 기준 브릭, 또는 상응하는 브릭에 제한되는 것은 아니다. 또한, 트랙, 기준 브릭, 및 상응하는 브릭에 대한 데이터는 파일 또는 데이터베이스(B_1b,B_2a,B_2b,B_n1,B_n2,B_n3,B_n4)에 저장된다.

이들 파일 또는 데이터베이스는 이하 "전문 시스템(SE)"으로 지칭되는 컴퓨터 시스템에 의해 사용되는데, 이는 가상 믹싱 콘솔의 기능을 제공하도록 구성되 고, 아래의 요소를 포함한다.

- 규칙 베이스(BR),

- 다양한 파일(B_1b,B_2a,B_2b,B_n1,B_n2,B_n3,B_n4)에서 (기준 또는 상응하는)브릭을 선택하는 수단(S₁),

- 기준 트랙(P₁,P₂,P_n)의 상태(E₁,E₂,E_n)를 검출하는 수단,

- 사용자에게 다양한 상호작용을 가능하게 하는 제어 버튼(B) 및/또는 커서(C),

- 새로운 가상 트랙(P'₁,P'₂,P'_n)이 개입되는 새로운 멀티미디어 시퀀스를 실시간으로 구성하기 위한 계산 수단(CA)으로서, 상기 새로운 가상 트랙은 각각 선택된 브릭을 포함한다.

이 새로운 멀티미디어 시퀀스는 메모리(M₁)에 일시적으로 기억될 수 있고, 또는 구성될 때 실시간으로 재생될 수도 있다.

· 새로운 트랙(P'₁,P'₂,P'_n)의 상태를 제어하는 수단(CO),

· 선택된 브릭을 필요한 프로세싱 이후에, 예컨대 스피커 인클로저, 디스플레이, 광원과 같은 적절한 멀티미디어 인터페이스(I₁ - I₂)의 목적지로 전송하는 라우팅 스테이션(A).

이 예에서는, 이전에 브릭(

)을 선택함에 따라 선택 장치(S₁)를 통해 브 릭(

)을 선택하는 과정과 이를 트랙(P'_n)으로 통합하는 과정이 도시되어 있다.

트랙(P'₁,P'₂,P'_n)으로 도시된 기준 멀티미디어 시퀀스 구조는 이하 "피스(piece)"라고 지칭되며, 이는 비제한적일 수 있는 임의의 지속시간(duration)을 가진다. 이는 피스를 구성하는 단계, 파일을 생성하는 단계, 파일을 재생하는 단계, 및 대응하는 피스를 실행하는 단계의 끝에서 획득된다.

피스를 구성하는 단계는 아래의 요소에 대해 정의한다.

- 피스의 가상 믹싱 콘솔의 구조로서, 예컨대 오디오/텍스트/비디오와 같은 트랙의 식별자를 가지고, 이 각각의 트랙에 대하여 특정한 속성(예컨대, 오디오 트랙의 경우 볼륨)을 가지며, 사용자에게 제공될 수 있는 상호작용 제어(커서(C) 또는 버튼(B))의 식별자를 가지는, 피스의 가상 믹싱 콘솔의 구조,

- 피스의 상호작용 구조로서, 오디오 트랙의 샘플의 식별자, 스타일, 피스의 구절을 가지고, 일반적으로 이들 요소가 상호작용하고 전개되는 방식의 식별자를 가지며, 상호작용 버튼이 이 구조에서 작용하는 식별자를 가지는, 피스의 상호작용 구조,

- 예컨대 음악의 추출부(extracts), 비디오 추출부, 3D 애니메이션, 텍스트, 오디오 및 비디오 필터로 구성될 수 있는 기본 멀티미디어 성분 "또는 브릭"은 각각의 브릭이 제한된 지속시간, 다양한 멀티미디어 이벤트의 코딩을 갖는 시간 시퀀스로 이해될 수 있다.

이 상호작용 구조(interactive structure)는,

- 예컨대 음악의 스타일, 음악의 구절(예컨대 후렴구/절), 음성 트랙, "오리지널 피스" 트랙 및 다수의 반주 트랙을 관리하는 모델과 같은 구조 모델을 사용하거나,

- 피스의 구조에서 직접 작업을 통해 정의될 수 있다.

파일 또는 상술한 기준 구성 요소는 특히 기본 멀티미디어 성분(브릭)을 포함한다. 이들은 상술한 피스의 구성 단계를 실행하기 위해 전문 시스템(expert system) 타입의 컴퓨터 시스템에 의해 사용되도록 구성된다.

각 멀티미디어 성분의 콘텐츠의 인코딩 포맷은 하드-코딩되지 않으므로, 오디오에 대해 예컨대 윈도우 오디오 비디오 파일 익스텐션(등록 상표), wav(등록 상표), mp3 스탠다드(등록 상표), 또는 전문 시스템이 인식할 수 있는 임의의 포맷이 사용될 수 있다.

전문 시스템(SE)은 파일을 판독하여 대응하는 피스를 실행할 수 있는 소프트웨어로 구성된다. 이는 파일에 포함되거나, 참조되는 멀티미디어 성분(브릭)을 해석할 수 있다.

전문 시스템은 사용자에게 의존하지 않고 사용자에게 일반적으로 상호작용 인터페이스를 제공함으로써 상호작용 제어(버튼)을 자동적으로 처리할 수 있다. 또한, 이는 하나의 피스로부터 또 다른 피스로 스위칭할 수 있도록 한다.

전문 시스템에 의해 실행되는 기능은 아래의 특징을 갖는 가상 믹싱 콘솔을 조작하는 것이다.

- 잠재적으로 무한한 수의 트랙,

- 일원적으로(unitarily) 활성화되고 비활성화될 수 있는 트랙,

- 다양한 특성의 트랙: 오디오, 비디오, 텍스트, 환경, 추상적 제어(abstract control) 등,

- 잠재적으로 무한한 수의 상호작용 커서(interaction cursor),

- 활성화된 트랙은 트랙의 타입과 호환되는 하위성분을 서로 체이닝(chain)한다: 예컨대 오디오 트랙에 대한 오디오 브릭,

- 트랙에 대해 하위성분이 선택될 때, 전문 시스템도 이 하위성분이 유지될 최소 지속시간을 선택한다.

이 믹싱 콘솔은 설정(configure)될 수 있다. 따라서, 예컨대 오디오 트랙의 경우, 고려되는 정보는 재생될 오디오 성분, 볼륨, 성분에 대한 최소 재생 지속시간을 포함할 수 있다. 디스플레이의 경우, 고려되는 정보는 예컨대 디스플레이될 텍스트 요소, 사용되는 문자 폰트를 포함할 수 있다.

전문 시스템은 구조적으로 아래와 같은 두 개의 별개 부분을 포함한다.

- 규칙 베이스(base of rule)에 의해 부과되는 제약조건에서 동작하고 다양한 특성의 하위성분에 대한 선택을 제공하는 추상적 엔진(abstract engine),

- 선택된 요소를 사용하여 상호작용 인터페이스가 생성되도록 하는 믹싱 콘솔의 모델.

전문 시스템에 의해 수행되는 계산은 아래의 고려사항과 계산 규칙을 기초로 한다.

a) 공간(space), 시스템, 및 상태의 개념

공간은 시스템("S")으로 구성되고, 각각의 시스템은 상태("E")의 벡터이다. 따라서, 예컨대

- 트랙은 상태(E)가 음악의 브릭인 시스템(S)이고,

- 일련의 하모니는 상태가 하모니인 시스템이다.

시스템(S)은 중지(suspended)되거나 또는 상태(E)에 있다. 상태(E)에 있는 경우, 상태(E)는 활성이라고 언급된다. 이는 E(S)로 표기된다.

시스템은 비대칭적인 "γ" 및 "τ" 관계(relation)를 통해 상호작용한다.

S'γS: S의 상태가 S'의 상태에 의존함을 의미한다. 관계 γ의 사이클은 허용되지 않고, S₁γS₂γ...S_nγS₁은 불가능하다.

S'τS: S의 상태가 S'의 "이전의" 상태에 의존함을 의미한다. 시스템(S)의 이전 상태는 E'(S)로 표기된다. τ관계는 반사성(reflexive)일 수 있다.

γ 또는 τ관계 및 시스템은 α관계에 의해 상태에 링크될 수 있다.

E α S: E가 비활성이라면, S는 중지된다.

E α γ: E가 비활성이라면, γ는 중지된다.

중지되는 관계는 모든 영향을 잃는다.

두 시스템(S,S')이 γ 또는 τ관계에 있을 때, S의 상태에 대한 S'의 상태의 확률 매트릭스(probability matrix)가 정의된다. 따라서, 식 a γ_p b는 S'의 상태 a가 S의 상태 b에 대한 확률 p에 기여함을 지시할 수 있도록 기록된다. 이러한 기여도는 또한 p_S'γS(a,b)로 표기되고, 모호성(ambiguity)이 없는 경우에는 p(a,b)로 표 기될 수 있다. 이러한 기여도는 양의 실수이다(0도 가능).

중지된 시스템은 γ 또는 τ관계를 통해 계속하여 영향을 미칠 수 있고, 확률 매트릭스는 소스 시스템의 "중지된" 상태로 확장된다.

오직 하나의 상태만을 갖고 α관계를 갖지 않은 시스템은 오직 τ관계의 경우만 활성화할 수 있다는 점에 주목할 필요가 있다. 이는 그 상태가 항상 알려져 있으므로 "절대적으로 제약된 시스템"이다.

제약조건은 시스템을 특정한 상태에 두는 방식으로 정의된다.

이에 의해 τ관계는 제약조건을 갖는 γ관계와 등가이고, SτS'는 아래와 같이 대체된다는 점에 주목할 필요가 있다.

- S와 일치하는 시스템 S_prev(즉, 동일한 상태를 가짐)

- 관계 τ와 동일한 매트릭스의 관계 S_prevγS'

- 제약조건 E(S_prev)=E'(S).

또한, 제약조건은 더 일반적으로는 절대적으로 제약된 시스템과 제약되어야할 시스템 사이의 γ관계로 나타낼 수 있다는 점에 주목할 필요가 있다. 따라서, 이러한 관계에 대한 매트릭스는 하나의 계수를 제외한 모든 계수가 0인 벡터로 감소된다.

제약조건은 모순될 수 있으므로, 제약조건은 중요도를 할당함으로써 순위화되어야 한다. 따라서, 제약조건뿐만 아니라 γ 및 τ관계에도 중요도 레벨이 할당된다.

이 중요도 레벨은 γ관계에 대해 무한대일 수 있다. τ관계 및 제약조건에 대해서는 유한해야 하고, 이는 아래의 사실에 의해 정당화된다.

- 공간을, τ관계를 록킹하는데 필요한 일정한 상태로 유지할 수 있어야 하고,

- 가해지는 제약조건은 필요시 고려되어야 한다.

b) 해상도(또는 축소)의 개념

b₁: 해상도(resolution) 및 자유로이 계산가능한 공간

시스템(S)의 축소(reduction)는 그 각각의 상태에 대한 확률을 결정하고, 이후 이들 확률을 고려하여 무작위적으로 선택한다. 이러한 선택은 시스템(S)의 상태를 결정한다.

정규화 이전에 S의 상태 b의 확률은 아래와 같다.

이 확률은 중지되지 않은 γ 또는 τ관계에서 계산된다.

S의 상태 b의 정규 확률은 아래와 같다.

이 확률은 제수(divisor)에 위치된 합이 0이 아닌 경우에만, 즉 정규화 이전에 0이 아닌 확률을 갖는 하나 이상의 상태가 존재하는 경우에만 존재한다.

이 공간의 해상도는 가능한 관계가 충족될 수 있도록 모든 시스템의 상태를 결정한다.

오직 무한한 중요도의 관계를 고려함으로써 해상도가 존재하는 경우라면, 공간은 "자유로이 계산가능하다".

이하에서는 오직 "자유로이 계산가능한" 공간만을 다룬다.

b₂: 제약조건하의 해상도

제약조건하의 해상도(resolution under constraint)는 일정한 시스템의 상태를 강제한다.

제약조건은 항상 E(S)=b로 둔다.

제약조건은 총 순서를 정의하는 중요도 기준과 관련된다(이 중요도의 개념은 믹싱 계산을 사용하는 애플리케이션에 의존한다).

제약조건하의 해상도는 유한한 중요도의 관계를 포함하는 모든 해상도 및 모든 제약조건이 고려되도록 모든 시스템의 상태를 결정한다.

b₃: 제약조건하의 저해상도

저해상도(low resolution)는 가능하다면 일정한 제약조건 또는 관계를 억제하고 특정한 규칙을 가함으로써 해답을 식별하는데, 상기 특정한 규칙이란, 제약조건하의 해상도가 실패할 때, 실패를 유발한 모든 제약조건 또는 관계가 결정되고, 최소 중요도의 제약조건 또는 관계가 억제되고, 해상도가 다시 개시됨을 의미한다.

"자유로이 계산가능한" 공간은 항상 낮은 방식(low manner)으로 해결될 수 있고, 최악의 경우 유한한 중요도의 모든 제약조건 및 모든 관계를 억제함으로써 해결될 수 있다.

b₄: 시스템 및 산술 관계(arithmetical relation)

산술 시스템(arithmetical system)은 상태가 실수인 특정한 시스템으로 정의된다. S_a _..이 기록된다. 따라서, 이들은 상태가 무한 수이고 실수 영역과 일치하는 시스템이다.

산술 관계가 정의된다. 시스템(S₁,S₂,...,S_n)과 시스템(S) 사이의 감마 및 타우 관계를 정의하는 대신, 이 관계는 시스템(S₁,S₂,...,S_n)과 시스템(S) 사이의 산술식 형태로 표현된다.

이 식은 시스템(S₁,S₂,...,S_n)의 현재 또는 과거 상태를 기초로 하고, S의 활성 상태를 제공한다.

시스템이 산술적이면, 그 상태는 실수이다(시스템이 중지된다면 규약상 0).

예컨대,

S: =if(E(S₁)+E'(S₂))=0 then a else b

S: =1+if(E(S₁))=a₁ then 0 else 1

(여기서 a 및 b는 S의 상태이고, a₁은 S₁의 상태이며, E'(S₂)는 S₂의 이전 상태이다).

프리미티브는 아래와 같다.

- +,*,-,/,%,&,│,&&,││,∧,!,~

- if...then...else...

- rand (0과 1사이의 실수를 반환)

- sin, cos, tan,...

시스템(S)은 산술 해상도(arithmetical resolution)에 있다고 한다. 반대의 경우, 시스템(S)은 양자 해상도(quantum resolution)에 있다.

공간의 해상도에 대한 선행하는 고려사항이 유효하게 되도록, 산술 해상도는 양자 해상도에 산입된다.

해상도의 복잡성을 합리적인 한계 내에 유지하기 위해, 아래와 같은 제한이 설정된다.

- 산술 시스템은 항상 산술 해상도에 있는데, 그렇지 않으면 양자 관계 매트릭스(quantum relations matrices)가 무한대의 크기를 갖기 때문이다

- 제약조건은 산술 해상도에 의존하는 시스템에 가해질 수 없는데, 이는 임의의 산술 함수의 역을 계산하는 것에 해당하기 때문이다

-- 시스템은 산술 해상도에 있지 않다

-- 시스템은 직접적이든 간접적이든 산술 해상도에 있는 시스템에 의존하지 않는다.

이러한 제한은 일정한 경우에 복잡해질 수 있고 양자 해상도로 실행하기에 장황할 수 있다. 예컨대, S=ifE(S')!=E'(S') then a else b.

b₅: 양자 해상도 계산의 예

규약상, 확률 기여도가 지정되지 않을 때, 이는 1의 값을 갖는 것으로 간주 된다.

"Not" 연산자

정의:

SγS'

S={a,b}

S'={a',b'}

P(a,a')=p(b,b')=O

따라서, a≡a'≡참, b≡b'≡거짓으로 간주되고

E(S')= !E(S)

E(S)=a⇔E(S')=b'

E(S)=b⇔E(S')=a'

"Nand" 연산자

정의:

S₁γS'

S₂γS'

S'γS

S₁={a₁,b₁}

S₂={a₂,b₂}

S'={a₁a₂,a₁b₂,b₁a₂,b₁b₂,}

S={a,b}

p(a₁,b₁a₂)=p(a₁,b₁b₂)=0

p(b₁,a₁a₂)=p(b₁,a₁b₂)=0

p(a₂,a₁b₂)=p(a₂,b₁b₂)=0

p(b₂,a₁a₂)=p(b₂,b₁a₂)=0

p(a₁a₂,a)=0

p(a₁b₂,b)=0

p(b₁a₂,b)=0

p(b₁b₂,b)=0

따라서, a₁≡a₂≡a'≡참, b₁≡b₂≡b'≡거짓으로 간주되고

E(S)= !E(S₁)∧E(S₂)

오실레이터

정의

SτS

S={a,b}

p(a,a)=p(b,b)=0

따라서, 각각의 새로운 해상도마다, 시스템(S)은 상태를 변화한다.

롬

정의

S={a}

시스템(S)은 항상 상태 a에 있다.

디스에이블

정의:

S={a}

S'={인에이블,디스에이블}

SγS'

p(a,인에이블)=1

p(a,디스에이블)=0

따라서, 인에이블 상태는 항상 활성이고, 디스에이블 상태는 활성이 아니다.

마르코프 체인

정의:

SτS

S={a,b,c}

p(a,c)=0

p(b,a)=0

p(c,a)=0

S의 초기 상태는 a라고 가정한다.

이후, 시스템은 특정한 시간에 상태 a에 남고, 이후 상태 b로 스위칭하며, 이후 상태 a로 복귀하지 않고 상태 b와 상태 c 사이에서 끊임없이 전개된다.

b₆: 제약조건하의 저해상도 알고리즘

제약조건하의 해상도에 대해, 일련의 제약조건(S,b,n)이 제공되고, 시스템(S)은 중요도 n을 가진 상태 b로 제약된다.

알고리즘은 아래와 같다.

- 준비:

-- 제약조건은 그 시스템과 관련된다. 다수의 제약조건이 동일한 시스템에 가해지면, 더 높은 우선순위를 가진 제약조건이 보존된다

-- 시스템은 "미해결된(unresolved)" 상태에서 초기화된다

- 이후 해결가능한 시스템을 반복적으로 선택:

-- 시스템은 아직 해결되지 않았다

-- 이 시스템의 α관계는 시스템이 해결되는 상태로 유도된다

-- 이 시스템이 양자 해상도에 있다면

-- 모든 유입되는 관계는 알려진 상태에 있다(중지되든 아니든)

-- 유입되는 중지되지 않은 감마 관계는 해결된(resolved) 소스를 갖는다

-- 시스템이 산술 해상도에 있다면

-- 산술 관계에서 사용되는 모든 시스템은 해결된다

-- 휴리스틱: 먼저 산술 해상도에 있는 시스템에 주목하고, 이후 가능한 최소 상태를 갖는 양자 해상도의 시스템에 주목한다

- 시스템이 중지되는지 여부, 중지된다면 시스템을 "중지된" 상태에 둠으로써 해결될 수 있는지 여부가 결정되고, 이는 계속하여 반복된다

- 그렇지 않다면 산술 해상도에 놓인다:

-- 새로운 상태를 부여하는 산술식이 평가된다

-- 이는 반복하여 해결된다

- 그렇지 않다면 양자 해상도:

-- 시스템의 중지되지 않은 상태의 확률이 계산된다

-- 어떠한 상태도 가능하지 않거나 또는 시스템이 불가능한 상태에 제약된다면, 이 시스템의 해상도는 실패하고 후보 상태(candidate state)가 결여된다

-- 확률에 대하여 드로잉이 실행되고, 이후 상태는 최상의 스코어를 획득한 것으로부터 시도된다

-- 상태가 선택되고 반복하여 해결된다

-- 반복 해상도(recursive resolution)가 실패하면, 아래의 상태로 진행한다

-- 어떠한 상태도 가능하지 않다면, 해상도는 실패한다

실패의 경우, 실패를 초래한 최후의 시스템에 주목한다(실패한 최후의 해상도, 후보 상태 부족). 이후 이 시스템으로 유도된 알파, 감파, 및 타우 관계의 트 리(tree)를 따라 다시 이동하고, 이 실패로 유도된 유한한 중요도의 제약조건 및 관계의 리스트가 결정된다. 이후 가장 덜 중요한 제약조건 또는 관계가 억제되고, 해상도가 다시 개시된다.

공간은 자유로이 계산가능하므로, 최악의 경우에도 유한한 중요도의 모든 제약조건 및 모든 관계를 제거하면 항상 해답이 존재한다.

물론, 전술한 개념 및 규칙은 전문 시스템에 의해 실행되는 특이한 함수에 적용되어야만 한다.

따라서, 처음에는 먼저 제1 평가 중에 가해질 초기 제약조건의 리스트(비어있을 수 있음)를 정의하는 것이 적합하다.

일정한 수의 시스템은 "마스터"로 정의될 것이며, 이는 임의의 시스템이 하나 이상의 마스터 시스템(그 자체일 수 있음)에 관련되는 것으로 이해될 수 있다.

마스터 시스템은 자신의 슬레이브 시스템에 대한 다음번 해상도의 시간을 결정한다.

마스터 시스템의 각 상태는 "기본 지속시간(basic duration)"을 정의한다. 마스터 시스템의 상태가 활성화될 때, 새로운 해상도는 기본 지속시간 이후에 일어나야 한다. 이 해상도는 아래와 같이 불완전할 수 있다.

- 이 마스터 시스템의 슬레이브가 아닌 중지되지 않은 시스템에 대해, 활성 상태의 연장 제약조건(prolongation constraint)은 반무한대의 중요도(공간의 나머지 모든 중요도 레벨보다 높음)로 가해진다.

지금까지는 "마스터" 시스템이 부분적인 해상도를 방지하는 전체 공간으로 간주될 수 있다.

또한, 전형적인 트랙의 리스트인 "믹싱 콘솔"을 정의할 수 있다.

각 트랙은 믹싱 계산 공간의 하나 이상의 시스템(S)과 관련된다. 예컨대, 오디오 트랙의 경우:

- 시스템은 재생될 음악 브릭을 지시할 것이다(시스템의 상태는 트랙의 브릭과 일치한다)

- 산술 시스템은 재연주(repetition)의 수를 지시할 것이다

- 산술 시스템은 재연주 제약조건의 중요도를 지시할 것이다

- 산술 시스템은 볼륨을 지시할 것이다.

스타일 트랙의 경우:

- 시스템은 현재 스타일을 지시할 것이다

- 산술 시스템은 스타일을 지속하는 최소 시간을 지시할 것이다

- 산술 시스템은 스타일을 지속하는 제약조건의 중요도를 지시할 것이다

- 기타 등등.

실제로 트랙은 아래와 관련된다.

- 재생중인 하위성분을 선택하는 주요 시스템(main system)

- 트랙의 속성을 정의하는 보조 시스템(secondary system); 이 속성이 일정하다면, 이를 나타내기 위해 시스템의 정의를 방지할 수 있다(어떤 경우라도 알파 관계없이 절대적으로 제약된 시스템이 수반됨).

트랙이 상태를 변화시킬 때, 필요한 최소 지속시간은 속성을 이용하여 결정 된다.

일단 믹싱 콘솔이 정의되면, 각각의 트랙에 가해질 제약조건이 정의된다. 전문 시스템에 의해 수행되는 해상도 중에는 아래와 같다:

- 연장 제약조건: 상태는 필수적으로 유지되어야 한다(종료되지 않은 음악 브릭)

- 재연주 제약조건: 상태는 갱신되어야 한다(음악의 재연주, 스타일의 유지 등)

- 수동 제약조건: 사용자는 주어진 상태로 스위칭을 강제한다.

각각의 제약조건에 대해, 제약조건 또는 산술 시스템의 값을 이용함으로써 중요도 레벨이 정의된다.

물론, 동일한 마스터 시스템에 의존하는 오디오 트랙은 동기화되어야 한다. 따라서, 트랙에서 오디오 브릭이 선택될 때, 상기 오디오 브릭의 재생은 오디오 브릭을 선택한 해상도의 순간에 시작된다. 이러한 재생은 브릭이 반복될지라도 루프의 형태로 실행되지 않으며, 따라서 다음번 해상도 중에는 아래와 같다:

-- 브릭이 여전히 재생중이고(연장 제약조건), 계속 재생되거나

-- 또는 브릭의 재생이 종료되고, 브릭이 선택되어 있다면(예컨대 재연주 제약조건 이후), 재생은 이 새로운 해상도의 순간에 다시 개시된다.

상술한 것과 같이, 전문 시스템은 아래의 요소를 구조화하는 방식으로 서로 연결하도록 구성되는 파일을 이용한다.

- 믹싱 계산의 정의

- 멀티미디어 요소의 정의

- 믹싱 콘솔의 정의

-- 상기 트랙의 정의 및 상기 트랙 사이의 링크

-- 상기 트랙과 이 트랙의 속성 사이의 링크 및 믹싱 계산 시스템

-- 상기 멀티미디어 요소와 상기 믹싱 계산의 상태 사이의 링크

- 상호작용성(interactivity)을 위해 제안되는 제약조건의 정의 및 상호작용성이 전문 시스템에 의해 제공되지 않을 때 홀딩(hold)하기 위한 규정(conduct)의 정의.

이 파일은 xml 기술 파일로 구성되고, 이는 4개 유형의 태그, 즉 성분, 시스템, 제약조건, 프레임워크를 포함한다.

<성분...>

<시스템...>

<제약조건...>

<프레임워크...>

이 태그는 아래의 두 속성을 가질 수 있다.

이름: 검색 또는 디스플레이를 위해 사용되는 이름

id: 전체 파일에 대한 고유 id

속성은 아래와 같다.

- 상수

- 시스템 id, 이후 속성은 시스템의 현재 상태 값을 취한다

성분 태그는 주요 속성을 갖는 믹싱 콘솔의 성분을 기술한다:

타입 = 오디오│추상적│일반적 등.

이는 일반적으로 아래의 속성을 갖는다:

선택: 성분의 현재값(일반적으로 믹싱 콘솔 시스템 id)

"일반적(general)" 성분은 파일의 일반적인 속성(주요 템포, 주요 볼륨 등)을 정의할 수 있도록 한다. 이러한 성분은 보통 선택 속성을 포함하지 않는다.

상기 성분이 아래의 속성 중 하나를 가질 때, 이는 상기 성분이 특정 시간 동안 현재값을 유지할 수 있음을 의미한다.

길이: 지속시간(초)

최소반복/최대반복: 재연주의 수

레벨: 유지 제약조건의 중요도

성분은 "마스터" 속성을 포함할 수도 있는데, 이는 믹싱 콘솔의 평가가 "기본 지속시간"의 끝에서 실행되어야 함을 지시한다. 이 기본 지속시간은 "선택" 속성의 현재 상태의 기본 지속시간에 의해 결정된다.

"오디오" 타입의 성분에 대해, 아래의 속성이 있을 수도 있다:

볼륨_좌측: 좌측 음성 볼륨

볼륨_우측: 우측 음성 볼륨

시스템 태그는 믹싱 계산 시스템뿐만 아니라 이를 결정하는 관계도 기술한다.

상기 시스템 태그의 속성은 "이름" 및 "id" 이외에도 아래와 같다:

타입=선택│수치

평가=양자│산술

타입은 아래의 값을 갖는다:

- 선택: 상태의 리스트로부터 선정

- 수치: 수치값

평가 모드는 아래의 값을 갖는다:

- 양자: 양자 축소(오직 선택 타입에 대해)

- 산술: 산술식

하위태그는 아래와 같다:

<알파...>

<상태...>

<관계...>

<식(expr)...>

알파 하위태그는 시스템에 대한 알파 관계를 정의한다.

속성은 아래와 같다:

상태: 알파 관계를 트리거하는 상태의 id

상태 하위태그는 오직 "선택" 타입의 시스템에 대해서만 시스템의 가능한 하나의 상태를 정의한다.

이름 및 상태는 때때로 수치값으로 해석될 수 있다.

속성은 "이름" 및 "id" 이외에도 아래와 같다:

타입=오디오│추상적

인에이블=온│오프

인에이블이 "오프(off)"와 같을 때, 상태는 선택될 수 없다.

"오디오" 타입의 상태에 대해, 속성은 또한 아래와 같다:

파일: wav 파일

시간: wav 파일의 시간

스테레오: wav 파일의 타입

바이트시작: wav 파일에서 데이터 스트림의 시작 바이트

바이트길이: wav 파일에서 데이터 스트림의 크기

볼륨_좌측: 좌측 음성 볼륨

볼륨_우측: 우측 음성 볼륨

지속시간 또는 재연주에 대한 계수는 또한 아래와 같이 정의된다:

길이: 지속시간(초)

최소반복/최대반복: 재연주의 수

레벨: 유지 제약조건의 중요도

관계 하위태그는 시스템에 대한 감마 또는 타우 관계를 정의한다.

속성은 "이름" 및 "id" 이외에도 아래와 같다:

타입=감마│타우

소스: 소스 시스템의 id

레벨: 중요도의 레벨

아래의 하위태그가 허용된다:

< 알파...>: 임의의 알파 관계

< 매트릭스 >: 확률 매트릭스(이 xml 파일에서 상태가 나타나는 순서)

< 중지 >: 중지된 소스 상태의 확률 벡터

매트릭스와 벡터는, 공간 또는 라인 피드(line feed)에 의해 분리되는 계수의 연속적인 수치값인 필드를 갖는다.

식(expr) 하위태그는 자신의 필드에서 아래의 요소를 기초로 하는 산술식을 정의한다:

- 수치값

- 상태(#id)

- 시스템의 현재값(#id)

- 시스템의 선행값(@id)

- +,*,-,/,%,&,│,&&,││,∧,!,~

- if...then...else...

- rand (0과 1사이의 실수를 반환)

- sin, cos, tan 등.

제약조건 태그는 양방향성일 수 있는 믹싱 계산 제약조건을 기술한다.

상기 제약조건 태그의 속성은 "이름" 및 "id" 이외에도 아래와 같다:

상태: 강제될 상태의 id

레벨: 제약조건의 중요도

양방향성=예│아니오

디폴트: 예│아니오

개시: 예│아니오

아이콘: 그래픽 파일

프레임워크 태그는 파일의 구조 모델을 기술한다. 이는 몇몇 구조 요소(주로는 관계)를 자동적으로 생성함으로써 편집 과정에 유용하다.

예컨대, "노래" 프레임워크에 대해:

- 추상적 성분은 하모니의 역할을 한다

- 추상적 성분은 스타일의 역할을 한다

- 절대적으로 제약된 추상적 성분은 스코어의 역할을 한다

- 트랙은 오리지널을 포함한다

- 음성을 포함하는 트랙

- 알파 관계를 통해 오리지널과 믹스 사이에서 선택되는 추상적 성분

- 스타일에 따른 제약조건

- 오리지널 모드로 스위칭하는 제약조건

- 음성을 억제하는 제약조건

- 기타 등등.

감마 관계는 스코어 성분과 각 오디오 트랙 사이에 가해진다.

감마 관계는 스타일 성분과 각 오디오 트랙 사이에 가해진다.

감마 관계는 하모니 성분과 각 오디오 트랙 사이에 가해진다.

타우 관계는, 다른 곳으로 선형적으로 스위칭하고 재생될 때 제1 하모니를 스킵하기 위해 하모니에 가해진다.

타우 관계는 오리지널 트랙의 요소를 루핑(loop)하기 위해 오리지널 트랙에 가해진다.

타우 관계는 하모니 트랙과 오리지널 트랙 사이에 가해진다.

타우 관계는 오리지널 트랙과 하모니 사이에 가해진다.

피스는 아래와 같이 정의된다:

- xml 기술 파일

- wav, 아이콘 등의 파일

복합 포맷은 단일 파일에서 이들 모든 요소를 함께 그룹화할 수 있도록 정의된다.

완전한 파일은 초기에 하위파일의 테이블을 포함한다:

- 파일의 수,

- 복합 파일에서 파일의 이름, 크기, 인덱스.

기술 파일은 "index.xml"로 명명된다.

xml에 의해 참조되는 파일은 먼저 하위파일 테이블에서 검색되고, 이후 로컬 디스크에서 검색된다.

전문 시스템의 기능은 아래와 같다:

- 연주를 인스턴스화(instantiate)한다

- 연주(performance)에서 상호작용성을 제안한다

- 하나의 연주에서 또 다른 연주로의 스위칭을 처리한다.

도 2 및 도 3에 도시된 예에서, 본 발명에 따른 음악 콘텐츠를 생성하는 방법의 출발점은 디지털 포맷의 오디오 또는 비디오 파일로 구성된다. 이 초기 시퀀스는 템포를 가지며, 상기 템포는 시퀀스로 분류하는데 사용되고 실행 프로그램에 대한 클로킹을 지시하는데 사용될 수 있다.

상기 방법 중 제1 단계는 소절(음악의 경우)의 배수에 대응하는 지속시간의 시퀀스로 분할하는 단계이다. 이러한 분할은 예컨대 전형적인 음악 에디터 소프트웨어를 이용하여, 또는 소절 끝 마커의 녹음을 제어하는 리듬에 의해 제어되는 페달을 통해 수동적으로 실행될 수 있다. 분할은 시퀀스를 분석함으로써 자동적으로 실행될 수도 있다. 이러한 제1의 분할하는 단계로 인해 디지털 파일로 구성된 초기 오디오 자료 또는 초기 비디오 자료가 생성된다.

제2 단계는 이 초기 오디오 또는 비디오 자료에 필터를 가하는 단계로 구성되며, 이로 인해 각각의 초기 자료마다 사용되는 실행 프로그램에 대응하는 포맷(예컨대 MP3 포맷 - 등록 상표)의 하나 이상의 필터링된 자료를 계산할 수 있다. 각각의 필터링된 자료는 식별자, 예컨대 파일의 이름과 관련된다. 이에 의해 일련의 특정한 필터링된 자료가 구성되는데, 즉 이는 초기 시퀀스를 필터링하는 단계로부터 생성된다. 이 필터는 아래와 같이 구성될 수 있다:

- 가수의 음성 또는 오케스트레이션을 격리하는 필터,

- 왜곡 필터,

- 사운드를 추가하는 필터,

- 특수한 효과를 생성하는 필터,

- 기타 등등.

선택적으로, 오리지널 구조(original structure)를 유지하기 위해 다른 필터링된 자료가 조직되는 "리더(leader)"(노래 트랙)가 유지된다.

또한, 길이가 "특정한 필터링된 자료"를 초과할 수 있는 "보편적인(universal)" 필터링된 자료가 추가된다. 이는 초기 비디오 또는 음악 시퀀스에 의존하지 않는 음악 또는 비디오 디지털 파일이다.

청취자가 생성된 파일과 상호작용할 수 있도록, 3열의 성분이 마련된다:

- 심리음향 기준

- 트랙

- 필터링된 자료의 수집 또는 상술한 하위성분을 포함하는 "브릭".

심리음향 기준은 예컨대 아래와 같이 정의된다:

- 볼륨,

- 초기 시퀀스에서 순서 번호

- 초기 시퀀스에 대한 유사도 레벨

- 시작 브릭 또는 피스의 끝의 품질

- 솔로 요소(다른 트랙이 꺼짐)

- 또 다른 브릭과 조직적으로 재생되는 요소 등.

이후, 일련의 트랙이 구성된다(n개의 비디오 트랙, m개의 오디오 트랙, z개의 텍스트 트랙, 조명, 또는 필터, 예컨대 트랙 x 및 y(다른 트랙에 가해지는 효과 를 정의하는 몇몇 트랙, 인터-트랙 관계)에 가해지는 볼륨 등). 또한, "제어(control)"로 지칭되는 트랙이 있을 수 있으며, 이는 눈 또는 귀에 대해 상당한 효과를 갖지는 않지만, 다른 트랙이 베이스로 사용할 파라미터를 결정한다. 예컨대, 이 트랙은 다른 트랙에 의해 고려될 하모니를 결정할 수 있다.

이후 하위성분 또는 브릭이 수집(collection)되고, 각각의 브릭은 아래의 요소와 관련되는 필터링된 자료로 구성된다:

- 각각의 심리음향 기준과 관련하여 그 가중치에 대응하는 계수(수동 또는 자동)

- 트랙의 수집 사이에서 선택되는 트랙.

이후, 사용자가 음악의 실행과 상호작용할 수 있도록 하는 상호작용 커서가 정의된다.

다음 단계는, 상수(심리음향 기준) 및 컨텍스트(커서 값, 현재 실행중인 피스의 히스토리)에 따라 각각의 브릭에 가중치를 부여하는 평가 함수를 각각의 트랙마다 정의하는 단계로 구성된다.

선택적으로, 각각의 트랙마다 내부 변수 변경 함수가 정의되고, 이는 각각의 브릭마다(에지 효과) 각 브릭의 시작과 끝에서 호출된다.

다양한 함수로 인해 기본적인 산술 계산이 가능하고, 난수 생성기에 의존할 수 있으며, 복잡한 구조를 사용할 수 있고, 에지 효과를 관리할 수 있다. 거리 함수(distance function): 브릭 결합의 완전성(totality) 평가를 방지하고, 이제 막 재생이 완료된 브릭에 "근접한" 브릭에만 함수를 가한다. 이에 의해 오디오/비디오 시퀀스는 양방향성 음악(interactive music) 전용의 멀티미디어 포맷에 대응하는 포맷으로 구성된다.

포맷은 "피스(piece)"의 개념을 이용한다. 피스는 비제한적일 수 있는 임의의 지속시간을 갖는 멀티미디어 시퀀스임을 기억할 필요가 있다.

본 발명에 따른 포맷은, 주로는 오디오 브릭이지만 몇몇은 비디오, 텍스트 등일 수도 있는 멀티미디어 하위성분 또는 브릭을 기초로 한다. 몇몇 브릭은 다른 브릭에 가해질 멀티미디어 필터(오디오, 비디오 등의 필터)일 수도 있다.

시스템은 상술한 것과 같이 브릭을 조립하고 믹싱함으로써 멀티미디어 시퀀스를 생성한다.

조립하고 믹싱할 브릭의 선택은 시퀀스가 실행되는 동안 사용자가 상호작용함으로써 이루어질 수 있다.

시스템은 다수의 스테이지로 구성된다:

-- 구성(composition)

-- 파일

-- 실행 프로그램.

피스의 구성은 아래의 요소 중 하나 이상을 조립함으로써 실행된다:

-- "브릭"으로 지칭되는 멀티미디어 요소: 음악 추출부, 비디오 추출부, 3D 애니메이션, 텍스트, 오디오 및 비디오 필터 등. 각각의 브릭은 다양한 멀티미디어 이벤트를 코딩하는 제한된 지속시간의 타이밍 시퀀스이다

-- 브릭의 일정한 속성을 결정하는, "심리음향(psychoacoustic)"으로 지칭되 는 파라미터

-- 상호작용 커서

-- 브릭이 선택되는 방식을 결정하는 평가 함수.

이러한 조립은 보통 상술한 아이템을 포함하거나 참조하는 파일을 생성한다.

본 발명에서 각 브릭의 콘텐츠의 인코딩 포맷은 하드-코딩되지 않는다. 이는 표준 포맷, 예컨대 MP3(등록 상표)를 이용할 수 있다.

포맷은 심리음향 기준에 대응하는 파라미터의 리스트뿐만 아니라 상호작용 커서의 기술을 포함한다.

또한, 포맷은 다양한 평가 함수를 포함한다. 이들 함수는 본 발명의 특징을 이루는 바이트코드 형태로 기술된다. 이 바이트코드는 실행 프로그램에 통합된 가상 머신에 의해 해석될 수 있다.

파일은, 피스를 강화(enrich)할 수 있고 특히 실행 프로그램에 의해 피스의 렌더링을 보강할 수 있는 메타데이터를 용이하게 추가할 수 있다.

실행 프로그램은, 본 발명에 따른 방법에 의해 생성되는 파일을 판독하고 이후 대응하는 피스를 실행할 수 있는 소프트웨어이다.

실행 프로그램은 파일에 포함되어 있거나 참조되는 브릭을 해석할 수 있다.

실행 프로그램은, 사용자에게 의존하지 않고 사용자에게 일반적으로 상호작용 인터페이스를 제공함으로써 상호작용 커서를 가능하다면 자동적으로 관리할 수 있다.

마지막으로, 실행 프로그램은 평가 함수를 평가할 수 있고, 결과에 따라 믹 싱되어야할 브릭을 선택할 수 있다.

피스는 아래와 같이 정의된다:

- 템포: Π

- 일련의 트랙: T

- 트랙이 또 다른 트랙에 작용함을 지시하는, 비대칭적이고 반드시 단사적(injective)일 필요가 없는 β관계: tβt'

- 일련의 심리음향 기준: C

- 각각 트랙과 관련되는 일련의 멀티미디어 브릭: B = {b _tj , t∈T}, 확대하면 B _t 는 특정한 트랙과 관련된 브릭을 나타낼 것이다

- 각각의 심리음향 기준에서 각 브릭을 평가하는 일련의 값: K = {k _c,b , c∈C, b∈B}

- 심리음향 기준에서 유클리드일 수도 있는 거리 함수:

-- d _t : B × B → R ⁺

- 가능하다면 무한대일 수 있는 심리음향 리미터:

∈ R ⁺

- 일련의 상호작용 커서: I

- 각 상호작용 커서의 현재값을 부여하는 일련의 상호작용 파라미터: P = {p _i , i∈I}

- 각 트랙에서 현재 브로드캐스팅하고 있는 브릭의 리스트 및 재연주의 수: H = {h _t , t∈T, h _t ∈B}∪{r _t , t∈T}

- 일련의 일반적 파라미터(예컨대, 피스의 시작 이래로 경과된 시간): G

- 일반적 사용에 대한 일련의 전역 변수: V

- 각각의 트랙과 관련된 평가 함수:

-- F = {f _t , t∈T}, 여기서 f _t : B _t × K × P × H × G × V → R

-- 이들 함수는 rand 랜덤 생성기를 기초로 할 수 있다:

→ R[0,1]

-- 이들 함수는 세트 V 에서 에지 효과를 생성할 수 있다

- 이들 에지 효과의 관리를 최적화하기 위해, 각각의 트랙에서 브릭 시작 및 끝에 대한 함수:

-- S = {s _t , t∈T}, 여기서 s _t : B _t × K × P × H × G × V → R

-- E = {e _t , t∈T}, 여기서 e _t : B _t × K × P × H × G × V → R

피스의 실행 중, 실행 프로그램은 모든 트랙을 영구적으로 믹싱한다. 각각의 트랙에서, 실행 프로그램은 브릭을 하나씩 서로 체이닝한다.

각 브릭의 끝에서, 실행 프로그램은 다음 브릭을 선택하고, 이는 다음 템포에서 시작할 것이다.

트랙 t에서 재생할 다음 브릭의 선택은 f _t (b, K, P, H, G, V)를 최대화하는 브릭 b를 결정함으로써 수행된다. 이러한 계산은 브릭 b∈B _t 에서 d _t ( b, b ₀ ) <

도록 수행되고, 여기서 b ₀ 는 이제 막 완료된 브릭이다.

피스에 포함된 브릭의 수와 실행 프로그램의 계산 능력에 따르면, 값

은 동적으로 감소될 수 있다.

실행 프로그램은 브릭의 시작시에 함수 s _t (b, K, P, H, G, V)를 평가하고, 브릭의 끝에서 함수 e _t (b, K, P, H, G, V)를 평가한다. 함수 s _t 는 적절한 경우 에지 효과에 의해 브릭의 재생 파라미터(재연주, 피치, 일반적 볼륨 등)를 변경할 수 있다.

사용자는 상호작용 파라미터 P 에서 상호작용한다.

믹싱 동작은 브릭의 타입에 의존한다. 일반적으로 트랙은 독립적이지 않고, β관계는 의존도를 정의한다. 예컨대 사운드 효과(볼륨, 에코 등)를 서로 체이닝하는 트랙은 오디오 트랙에서 믹싱에 가해질 수 있다.

예: 순수한 무작위적 동작

실행 프로그램은 이용가능한 모든 피스로부터 언제라도 브릭을 무작위적으로 선택할 수 있다.

d (b, b ₀ ) = 0

f _t (b, K, P, H, G, V) = rand

실행 프로그램은 이용가능한 모든 피스로부터 브릭을 언제라도 무작위적으로 선택할 수 있고, 브릭의 재연주를 1, 2,...2 ⁿ (여기서 n은 브릭의 재연주 파리미터)에 상응하는 횟수만큼 수행한다.

C = {재연주}

d (b, b ₀ ) = 0

f _t (b, K, P, H, G, V) =

if b != h _t then rand

else if r _t < 2 ^k _재연주,b && r _t !=2 ^E( ^rand ^×k _재연주,b ⁾ then - 1

else 1

브릭은 순서화되고, 실행 프로그램은 아래의 브릭을 조직적으로 선택하며, 시퀀스의 끝에서 첫 번째 브릭으로 다시 루핑한다.

C = {순서}

d (b, b ₀ ) = 0

f _t (b, K, P, H, G, V) =

if h _t =

││k _순서,b < = k _순서, _ht then - k _순서,b

else k _순서,ht - k _순서,b

파일은 아래의 요소를 구조화하는 방식으로 그룹화한다:

- 일반적 파라미터(주로는 템포)

- 트랙의 수 및 기술, 특히 각 트랙의 타입(오디오 소스 / 사운드 효과 / 부제 / 비디오 / 시각 필터)

- 트랙 사이의 관계: 예컨대 트랙 3는 트랙 2의 크레센도(crescendo)를 관리한다

- 심리음향 캐릭터의 수 및 기술

- 다양한 멀티미디어 자료(파일에 직접 통합되거나, 디스크 또는 url에서 경로에 의해 참조됨)

- 각 브릭의 리스트 및 기술(브릭은 멀티미디어 자료를 포함하지만, 다수의 브릭에 의해 동일한 자료가 사용될 수 있다)

- 각 브릭의 심리음향 캐릭터 값의 테이블

- 상호작용 커서의 수 및 기술

- 바이트코드 형태로 정의되는 각 트랙의 거리 함수 리스트 및 관련된 리미터

- 바이트코드 형태로 정의되는 각 트랙의 평가 함수 리스트

- 바이트코드 형태로 정의되는 각 트랙의 시작 및 종결 함수 리스트.

멀티미디어 자료의 포맷은 mp3, wav 등 제한이 없다. 실행 프로그램에는 당연히 관련된 코덱이 구비되어야 한다.

바이트코드는 스택 바이트코드로서, 기본적인 산술 계산이 가능하고, 난수 생성기에 의존할 수 있으며, 복잡한 구조(리스트, 튜플, 벡터)를 사용할 수 있고, 함수를 조작할 수 있다.

사용자 인터페이스와 관련하여, 사용자가 브릭을 선택하기 위한 알고리즘에서 상호작용하는 방식이 일정한 다양성을 갖는다는 점을 주목할 필요가 있다.

단순한 대안예에 따르면, 사용자는 예컨대 상호작용을 위한 일정 수의 버튼 또는 커서로 구성되는 그래픽 인터페이스를 가질 수 있는데, 이의 개수 및 타입은 고려중인 작업에 좌우된다.

본 발명에 따른 방법을 사용하는 콘텐츠의 저자는 예컨대 더 평온 / 중간 / 더 활동적과 같이 일정한 유형의 상호작용 유니폼을 형성하기 위해, 이들 버튼 또는 커서의 일부를 저자의 모든 작업(또는 멀티미디어 시퀀스)에 통합할 수 있다.

상호작용 커서는 생체인식 데이터에 의해 구동될 수도 있다:

- 코스 클로킹(보수계, pedometer)

- 심장 리듬

- EEG(뇌전도) 파동, 또는 "뇌파"

이 경우, 특히 사용자의 스트레스 상태 또는 집중 상태를 측정할 수 있는 방법이 알려져 있다. 이에 의해 두 개의 상호작용 모드가 가능하다:

- 능동 모드로서, 사용자는 자신의 정신 상태를 변경함으로써 음악을 구동하도록 요청된다. 이에 따르면 사용자가 자신의 뇌 활동을 제어하는 방법을 배워야 하는데, 이러한 방법은 배우는데 많은 노력이 요구되므로, 특히 사용자 측의 많은 노력을 필요로 한다. 이 모드는 사실상 교육적인 용도 만을 갖는다.

- 수동 모드로서, 사용자는 예컨대 시스템에게 자신을 이완 상태 또는 집중 상태로 유지하도록 요구할 수 있다. 이후 시스템은 단순한 조작(kickdown)을 통해 "더 평온 / 중간 / 더 활동적" 버튼을 자동적으로 구동할 것이다. 즉, 사용자를 평온한 상태로 유지하기 위해, EEG 파동이 사용자가 흥분하기 시작함을 지시할 때 " 더 평온" 버튼이 활성화될 것이며, 사용자가 스트레스 레벨이 낮으면 "중간" 버튼이 활성화될 것이다.

Claims

멀티미디어 시퀀스를 실시간으로 자동적 또는 반자동적으로 구성하는 방법으로서, 기준 멀티미디어 시퀀스 구조를 생성하고 상기 구조를 트랙(P₁,P₂,P_n)에 동화될 수 있는 기본 성분으로 분류하는 선행 단계와, 하위성분의 선택을 포함하는 새로운 멀티미디어 시퀀스를 실시간으로 자동적으로 구성하는 단계를 포함하며, 상기 기본 성분은 각각 적어도 음악의 악장, 하모니, 또는 스타일로 구성될 수 있는 일련의 기본 하위성분 또는 브릭(
-
)으로 분류되는 방법에 있어서,

상기 선행 단계는 심리음향 기술자 또는 속성을 각각의 하위성분으로 할당하는 단계와, 하위성분과 상기 하위성분에 할당된 기술자 또는 속성을 데이터베이스에 저장하는 단계를 포함하고, 상기 자동적으로 구성하는 단계는 상기 기본 성분에서 하위성분의 시퀀스를 생성하는 단계를 포함하고, 여기서 하위성분을 유지하거나 대체하는 단계에 의해 특성화되는 체이닝이 각각의 하위성분마다 하위성분의 심리음향 기술자 또는 속성 및 컨텍스트 파라미터를 고려하여 선택 기준을 결정하는 알고리즘에 따라 계산되고, 상기 자동적으로 구성하는 단계는 루핑을 통해 반복되고, 각 시퀀스는 하위성분을 각각의 기본 성분에 관련시킴으로써 자신을 영구적으로 재생성하며, 청취자는 상기 알고리즘의 동작에 영향을 미침으로써 하위성분의 선택에 실시간으로 개입할 수 있는 방법.
제1항에 있어서,

상기 자동적으로 구성하는 단계 중에 실행되는 하위성분의 선택은, 각각의 하위성분마다 하위성분의 속성 및 컨텍스트를 고려하여 선택될 확률을 결정하는 알고리즘에 의해 정의되는 선택 기준에 따라 무작위적으로 실행되는 것을 특징으로 하는 방법.
제1항 또는 제2항에 있어서,

상기 하위성분의 내용과 독립적인 규칙을 가함으로써 확률이 계산되는 것을 특징으로 하는 방법.
제3항에 있어서,

상기 규칙은 하위성분의 선택이 또 다른 동시에 일어나는 선택 또는 일어날 선택에 영향을 미칠 수 있는지 고려하고, 규칙은 선행하는 선택 또는 동시에 일어나는 선택에 따라 편차를 선택하는 확률을 변경하도록 구성되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 자동적으로 구성하는 단계 중에 이루어지는 선택은 무작위적으로 이루어지지 않고, 최대 선택 기준으로부터 얻어지는 하위성분을 수반하는 것을 특징으로 하는 방법.
제3항에 있어서,

상기 규칙은 중요도 또는 우선순위에 의해 특성화되는 것을 특징으로 하는 방법.
제6항에 있어서,

두 개의 규칙이 모순될 때, 하위성분의 선택이 항상 가능하도록 중요도가 더 낮은 규칙이 순간적으로 삭제되는 것을 특징으로 하는 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,

상기 자동적으로 구성하는 단계는 가상 믹싱 콘솔을 조작하는 시스템(SE)에 의해 실행되고, 상기 가상 믹싱 콘솔은 잠재적으로 무한한 다수의 트랙, 일원적으로 활성화되고 비활성화될 수 있는 트랙, 복수의 특성을 갖는 트랙, 잠재적으로 무한한 다수의 제어 기관인 버튼(B) 또는 커서(C), 트랙의 타입과 호환되는 하위성분을 서로 체이닝하는 트랙의 활성화를 포함하며, 상기 시스템은 선택된 하위성분이 유지되는 최소 지속시간을 결정하는 것을 특징으로 하는 방법.
제8항에 있어서,

상기 시스템(SE)은

- 규칙 베이스에 의해 부과되는 제약조건에서 작동하고 복수의 특성을 갖는 하위성분의 선택을 제공하는 추상적 엔진,

- 선택된 요소를 사용하여 상호작용 인터페이스가 생성되도록 하는 가상 믹싱 콘솔의 모델을 포함하는 것을 특징으로 하는 방법.
제9항에 있어서,

상기 가상 믹싱 콘솔의 각 트랙은 계산 영역의 하나 이상의 시스템과 관련되는 것을 특징으로 하는 방법.
제10항에 있어서,

오디오 트랙에 대해, 시스템은 재생될 하위성분인 음악 브릭을 지시하는 반면, 산술 시스템은 수행될 재연주의 수, 재연주 제약조건의 중요도, 및 볼륨을 지시하는 것을 특징으로 하는 방법.
제10항에 있어서,

상기 트랙은 각각 이 트랙의 하위성분을 선택하는 주요 시스템 및 상기 트랙의 속성을 정의하는 보조 시스템과 관련되고, 상기 트랙이 상태를 변화시킬 때 상기 시스템은 상기 속성을 이용하여 필요한 최소 지속시간을 결정하는 것을 특징으로 하는 방법.
제10항에 있어서,

상기 트랙은 동기화되어야 하고, 상기 트랙 중 하나의 트랙에서 하위성분이 선택되면 상기 하위성분이 선택되는 순간에 상기 하위성분의 재생이 개시되고, 이 순간은 이후에 마스터 시스템의 역할을 하는 시스템 중 하나의 시스템에 의해 결정되는 것을 특징으로 하는 방법.
제13항에 있어서,

상기 하위성분이 다음 해상도 중에,

· 상기 하위성분이 여전히 재생중이고 시스템은 단순히 하위성분을 계속 재생하며,

· 또는 상기 하위성분의 재생이 종료되고, 상기 하위성분이 선택되어 있다면 이 새로운 해상도의 정확한 순간에 재생이 다시 시작되는 방식으로 반복될 경우에도,

상기 하위성분의 재생은 루프에서 실행되지 않는 것을 특징으로 하는 방법.
제8항에 있어서,

상기 시스템은,

- 믹싱 계산의 정의

- 멀티미디어 요소의 정의

- 믹싱 콘솔의 정의

-- 상기 트랙의 정의 및 상기 트랙 사이의 링크

-- 상기 트랙과 이 트랙의 속성 사이의 링크 및 믹싱 계산 시스템

-- 상기 멀티미디어 요소와 상기 믹싱 계산의 상태 사이의 링크

- 상호작용성을 위해 제안되는 제약조건의 정의 및 상호작용성이 전문 시스템에 의해 제공되지 않을 때 홀딩하기 위한 규정의 정의를

구조화되는 방식으로 서로 연결하도록 구성되는 파일을 포함하는 것을 특징으로 하는 방법.
제5항에 있어서,

- 미리 정해진 음악 시퀀스를 이용하여 상기 음악 시퀀스에 필터를 가하거나 프로세싱을 통해, 연속적인 음악 하위성분으로 구성되는 트랙을 생성하는 단계,

- 이에 의해 생성된 하위성분 및 상기 생성된 하위성분에 대한 일치성에 따라 선택되는 기존의 하위성분을 포함하는 음악 하위성분의 베이스를 생성하는 단계,

- 심리음향 기술자의 명명법을 정의하는 단계,

- 각각의 쌍(하위성분;기술자)마다 스코어를 정의하는 테이블을 구성하는 단계,

- 사용자가 믹싱 인터페이스를 매개로 특정한 상호작용 가중치를 통해 상호작용할 수 있는 기술자의 부분집합을 정의하는 단계,

- 믹싱 함수의 리스트를 구성하는 단계로서, 각각의 함수는 트랙에 링크되고, 각각의 함수는 컨텍스트 파라미터(재생되었던 하위성분, 현재 다른 트랙에서 재생중인 하위성분, 상기 사용자에 의해 정의되는 상호작용 가중치)를 가진 후보 하위성분에 가해지며, 결과에 대해 상기 후보 하위성분의 적절한 비율을 갖는, 믹싱 함수의 리스트를 구성하는 단계,

- 상기 믹싱 함수의 결과가 최대인 후보 하위성분을 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항 내지 제16항 중 어느 한 항에 있어서,

상기 하위성분의 하나 이상의 부분은 주변 장치를 구동하기 위한 정보를 포함하는 제어 하위성분인 것을 특징으로 하는 방법.
제1항 내지 제17항 중 어느 한 항에 있어서,

물리적인 센서 또는 원격 컴퓨터 소스에 의해 제공되는 정보에 따라 하위성분을 자동적으로 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항 내지 제18항 중 어느 한 항에 있어서,

음악이 아닌 하위성분을 더 포함하는 것을 특징으로 하는 방법.
제16항에 있어서,

- 일반적 파라미터(주로 템포),

- 트랙의 수 및 기술, 특히 각 트랙의 타입(오디오 소스 / 사운드 효과 / 부 제 / 비디오 / 시각 필터),

- 트랙 사이의 관계,

- 심리음향 캐릭터의 수 및 기술

- 복수의 멀티미디어 자료,

- 각 하위성분의 리스트 및 기술로서, 상기 하위성분은 멀티미디어 자료를 포함하지만 다수의 하위성분에 의해 동일한 자료가 사용될 수 있는 것으로 이해되는, 각 하위성분의 리스트 및 기술,

- 각 하위성분의 심리음향 캐릭터 값의 테이블,

- 상호작용 커서의 수 및 기술

- 바이트코드 형태로 정의되는 각 트랙의 거리 함수 리스트 및 관련된 리미터,

- 바이트코드 형태로 정의되는 각 트랙의 평가 함수 리스트,

- 바이트코드 형태로 정의되는 각 트랙의 시작 및 종결 함수 리스트로 구성되는 요소 중 하나 이상의 요소를 포함하는 파일을 포함하는 방법.
제16항에 있어서,

상기 하위성분의 초기에 상기 컨텍스트 파라미터를 변경하는 함수 s _t 의 실행 프로그램을 실행하고, 상기 하위성분의 끝에서 컨텍스트 파라미터 (b, K, P, H, G, V)에 가해지는 함수 e _t 를 평가하는 실행 프로그램을 실행하는 것을 특징으로 하 는 방법.
제1항 내지 제21항 중 어느 한 항에 따른 방법을 실행하기 위한 장치로서,

상기 장치는 기준 멀티미디어 시퀀스 구조를 생성하고 이 구조를 각각 일련의 하위성분(
-
)을 포함하는 복수의 트랙(P₁,P₂,P_n)으로 분류하는 재생 수단을 포함하고,

기술자 또는 속성을 할당할 수 있는 수단, 이들 하위성분에 대해 새로운 멀티미디어 시퀀스를 실시간으로 자동적으로 구성하는데 도움이 될 수 있는 수단을 더 포함하고, 상기 새로운 멀티미디어 시퀀스는 기준 시퀀스의 모든 또는 일부의 기본 하위성분에 대해 상기 하위성분을 유지하거나 또는 각각의 상응하는 하위성분으로 대체하는 단계를 포함하며, 각각의 기본 하위성분 또는 상응하는 하위성분에 대해 이 하위성분이 자신의 속성을 고려하여 선택되는 확률을 결정하는 알고리즘에 따라, 또한 이후에 상기 확률과 관련하여 상기 하위성분의 선택을 실행함으로써 성분을 산술적으로 선택하는 수단을 더 포함하며, 재루핑, 각 시퀀스의 재생성, 및 하위성분을 각각의 기본 성분에 관련시킴으로써 상기 자동적으로 구성하는 단계를 반복하는 수단을 더 포함하고, 청취자가 상기 알고리즘의 동작에 영향을 미침으로써 하위성분의 선택에 개입할 수 있도록 하는 수단을 더 포함하는 장치.