KR100721523B1 - 멀티미디어 컨텐츠의 형식을 적응 변환하는 장치 및 방법 - Google Patents

Abstract

본 발명은 범용 멀티미디어 접근(UMA) 시스템 중에서 컨텐츠 적응변환 처리과정에 있어 중요한 부분인 형식 변환과정에 대한 시스템적이고 종합적인 접근 방법에 관한 것이다. 컨텐츠 적응 변환 시 어려운 문제들 가운데 하나로 남아있는 형식 변환과정에서 발생하는 문제를 해결하기 위한 효과적인 방법을 제공하고 있다. 이를 위해 본 발명은 형식 변환을 결정하기 위하여 새롭게 제안된 중첩 컨텐츠 모델링과 이와 연관된 형식 변환에 대한 사용자 선호도의 유연한 명시 및 그 적용 방법 그리고 복합 컨텐츠에 자원을 배분하기 위한 사용자 선호 기반 자원 할당 방법을 포함한다. 결과적으로, 이상 세 가지 방법의 통합은 특별하게는 형식 변환에서 야기되는 문제를, 일반적으로는 컨텐츠 적응 변환에서 야기되는 문제를 해결하기 위한 종합적인 해결책을 제공한다.

Description

멀티미디어 컨텐츠의 형식을 적응 변환하는 장치 및 방법{DEVICE AND METHOD FOR MODALITY CONVERSION OF MULTIMEDIA CONTENTS}

본 발명은 멀티미디어 컨텐츠의 형식을 적응 변환하는 장치 및 방법에 관한 것으로서, 특히 범용 멀티미디어 접근(UMA) 시스템의 컨텐츠 적응변환 처리과정에 있어 중요한 부분인 형식 변환과정에 대해 시스템적이고 종합적인 접근 방법에 관한 것이다.

범용 멀티미디어 소비를 위한 시스템에서, 컨텐츠 적응변환은 다양한 종류의 단말 및 다양한 네트워크 접속을 지원해야 한다는 요구사항하에서 최상의 컨텐츠 표현방법을 제공하기 위한 중요한 처리 과정이다. 컨텐츠 적응변환은 두 가지 측면에서 생각 할 수 있다. 하나는 하나의 형식(예, 비디오)에서 다른 형식(예, 이미지)으로 컨텐츠를 변환하는 형식 변환이고, 다른 하나는 형식을 변환하지 않고 컨텐츠의 비트율(또는 질)을 변화시키는 컨텐츠 트랜스코딩(transcoding)이다. 여러 논문에서 트랜스코딩이라는 용어는 형식 변환의 의미로도 종종 사용되지만 본 발명에서는 명확성을 위해 상기에서와 같이 두 가지 용어를 구별해서 사용한다. 형식(modality)은 비디오, 이미지, 그래픽, 오디오, 텍스트와 같은 어떠한 양식(mode)뿐만 아니라, MPEG, JPEG, GIF와 같은 코딩 형식(format)들도 포함한다.

다중 컨텐츠 항목으로 구성된 멀티미디어 문서가 사용자에게 전달하고 단말에서 소비된다고 가정하자. 이 문서를 주어진 자원 제약조건(예, 총 비트율 또는 총 데이터 크기)에 적응시키기 위해서, 판단 엔진(도 1의 104)에서 형식 변환에 대한 QoS(Quality of Service) 관련 결정은 모든 컨텐츠 항목에 대한 두 가지 기본적 질문, 즉, 형식 변환은 언제 이루어져야 하는지, 출력 컨텐츠 항목의 형식은 어떤 것인지에 대한 답을 반영해야 한다. 특히 사용자 입장에서 사용자 선호도를 반영한 위 두 가지 기본적인 질문에 대한 답이 필요하다.

이러한 두 질문에 대한 답변 없이 컨텐츠를 적응시키기 위한 적절한 형식 변환 및 컨텐츠 트랜스코딩 기술을 적용할 수 없다. 지금까지는 동시에 이러한 두 질문에 답할 수 있는 시스템적인 연구가 없었다. 이러한 질문을 다루기 위한 판단 엔진(104)의 결정 과정은 먼저 Rakesh Mohan, John R. Smith, Chung-Sheng Li이 쓴 논문 "Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999"에 기술된 바와 같이 전통적인 자원 할당 문제로 표현될 것이다.

R _i 와 V _i 를 각각 문서에 있는 컨텐츠 항목 i의 자원과 컨텐츠 값(Content Value)이라 한다. 여기서 컨텐츠의 자원은 데이터 크기 또는 비트 율이 될 수 있으며, 컨텐츠 값은 컨텐츠에 의해 전달된 정보의 양을 의미한다. 보편적으로 V _i 는 R _i 에 대해 감소하지 않는 함수이고, 사람들마다 각기 다른 주관적 평가에 의존한다. 컨텐츠 값은 다음과 같은 수식으로 나타낼 수 있다.

[수학식 1]

V _i = f _i (R _i ,P _i ,M)

수학식 1에서 컨텐츠 값 V _i 는 자원 R _i , 형식 지원 능력 M , 및 사용자 선호 P _i 의 함수로 표현된다. 여기서 컨텐츠 항목 i에 대한 자원 할당은 다음 수학식 2와 같이 나타낼 수 있다.

[수학식 2]

(사용자 선호 만족)

여기서 _∧는 논리곱을 가리킨다. 수학식 2는 사용자 선호에 대한 조건은 사용자가 특히 원하는 형식이 최우선적으로 자원할당에 반영되어야 한다는 것을 의미한다. 예를 들어 시각 정보표현에 약한 시각 장애자가 멀티미디어를 소비할 때 비디오, 이미지, 글씨의 형식보다 오디오 형식이 최우선 되어 자원 할당에 반영되어야 한다는 것이다.

수학식 2에서 주어진 자원 제약조건 R _c 및 사용자 선호 조건에 대해 수학식2를 만족하는 {R _i }의 집합을 찾는 문제가 발생한다. 본 발명은 기본적으로 사용자 선호도가 개입된 형식 변환의 관점에서 이 문제에 대한 해결책을 다루고 있다.

기존의 접근 방식에서 컨텐츠 값은 단 하나의 분석 함수 (예, log 함수) 또는 생산자나 제공자에 의해 지정된 임의의 곡선에 따라 자원과 관련을 갖는다. 하지만 하나의 분석 함수로 표현되는 컨텐츠 값 모델은 다른 형식들에 있는 컨텐츠 값들간의 상호 연관성을 보여 줄 수 없다. 특히 사용자 선호조건을 컨텐츠 모델링에 반영할 수가 없다.

또한 컨텐츠 형식 변환에 있어서 사용자 선호도를 고려하는 기존 접근 방식들은 현실적 상황을 구체적으로 반영하지 못한다. 예를 들어, 한 서버의 특정 비디오 클립을 변환해서, 그것을 단말에 전송해야 한다고 가정하자. 그리고 단말이 비디오를 제외한 이미지, 오디오, 텍스트 형식을 모두 지원한다고 가정하자. 초기 전송 시 네트워크 대역폭은 비디오로부터 변환된 이미지를 단말에 전달하기에 충분하다. 그러나 시간이 경과한 어느 시점에서 네트워크 대역폭이 너무 좁아져서 변환된 이미지를 보낼 수 없다면, 비디오는 좀더 적은 대역폭을 요하는 오디오 형식으로 변환될 필요가 있고, 심지어는 비디오에서 텍스트로의 변환이 요구된다. 위 예를 통해, 본 발명에서 다루는 네트워크 대역폭의 가변 특성에 따른 변환 순위를 가진 형식 변환의 필요성을 명확히 알 수 있다.

다른 예로서, 어떤 네트워크가 비디오, 이미지, 오디오, 텍스트의 모든 형식을 전송할 수 있다고 가정하자. 컨텐츠를 이용하는 동안 사용자는 종종 단말을 바꾸어 사용할 가능성이 있다. 먼저 사용자가 PDA를 사용할 경우 PDA 특성상 비디오 형식보다는 이미지 형식을 처리하는데 적합하고 거의 모든 이미지를 보는 것이 가능하기 때문에, 비디오에서 이미지로의 변환이 선택된다. 하지만 사용자가 단말을 PDA에서 이동전화로 전환한다면 비디오에서 오디오로의 형식 변환이 요구된다. 이러한 예는 세션(session) 이동에서 서로 다른 단말 능력 때문에 발생 할 수 있는 형식 변환 필요성을 보여준다.

실제적으로 사용자가 짧은 시간에 일시적인 네트워크 특성을 예측하거나 새로운 단말의 처리 능력을 검사하는 것은 매우 어려운 일이다. 또한 중요한 변화가 일어나는 순간마다 매번 형식 변환 선택을 입력해야 한다는 것은 사용자에게 많은 불편함을 줄 수 있다. 기존의 방법들은 상기 형식 변환을 위한 사용자 선호도의 유연한 명시에 대한 문제를 해결하기 위한 방법을 제시하지 못한다. 또한, 종래의 연구는 자원 할당 방식이 컨텐츠 트랜스코딩에 초점을 맞추고 있을 뿐 모든 컨텐츠 항목에 대한 두 가지 질문인 언제 어떻게 형식 변환이 결정되는지를 설명하지 않으며, 형식 변환에 대한 사용자 선호도가 이들 연구에서는 적절하게 다루어지지 못했다.

따라서 본 발명은 사용자 선호도를 반영하여 자원 제약 조건에 따라 멀티미디어 형식을 자동 변환하는 장치 및 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 컨텐츠 값과 자원 사이의 관계를 모델링하는 것과, 이러한 모델링과 관련하여 사용자 선호도를 표시하는 것을 다른 목적으로 한다.

본 발명은 컨텐츠 값과 자원 사이의 관계를 나타내주는 컨텐츠 값 모델과, 사용자에게 형식 변환에 대한 선택의 기회를 주는 유연한 방식을 제공하는 사용자 선호의 명시(明示) 방법과, 다중 컨텐츠 간에 총 자원을 배분하는 자원 할당 방법을 포함한다. 아울러 사용자 선호도로서 컨텐츠 값 모델을 변경하기 위해 지정 변환 순서와 중요도 또는 가중치 정보를 사용한다. 이와 같은 접근 방법은 복합 문서의 다중 컨텐츠를 다룰 수 있고, 사용자 선호도뿐만 아니라 단말과 네트워크로부터 생길 수 있는 다른 제약조건을 수용할 수 있다.

본 발명은 멀티미디어 컨텐츠의 형식을 적응 변환하는 장치에 있어서, 멀티미디어 컨텐츠와, 상기 멀티미디어 컨텐츠의 메타데이터와, 상기 멀티미디어 컨텐츠의 형식 변환의 순서와 가중치로 표현되는 형식 변환 사용자 선호도와, 자원 제약 조건을 입력받고, 상기 자원 제약 조건에 따른 상기 멀티미디어 컨텐츠의 형식 변환 여부를 판단하는 엔진과, 상기 판단 엔진에 의해 판단된 결과에 따라 상기 입력된 멀티미디어 컨텐츠의 형식을 변환하여 출력하는 엔진을 포함하는 것을 일 특징으로 한다.

바람직하게는 상기 판단 엔진은 상기 입력된 멀티미디어 컨텐츠와 컨텐츠 메타데이터를 이용하여 중첩 컨텐츠 모델을 예측하는 수단과, 상기 형식 변환 사용자 선호도를 이용하여 상기 중첩 컨텐츠 모델을 수정하는 수단과, 상기 자원 제약 조건에 따라 상기 수정된 중첩 컨텐츠 모델에서 최대 컨텐츠 값에 해당하는 상기 멀티미디어 컨텐츠가 표현되도록 상기 멀티미디어 컨텐츠의 형식을 변환하는 시점과 방법을 판단하는 수단을 포함할 수 있다. 상기 중첩 컨텐츠 모델을 수정하는 수단은 사용자의 단말의 형식에 따라 추가로 상기 중첩 컨텐츠 모델을 수정할 수 있다. 상기 판단 엔진은 상기 자원 제약 조건에 따라 상기 멀티미디어 컨텐츠의 비트율을 추가로 판단하고, 상기 판단 엔진에 의해 판단된 비트율에 따라 상기 입력된 멀티미디어 컨텐츠의 비트율을 변환하여 출력하는 컨텐츠 트랜스코딩 엔진을 추가로 포함할 수 있다.

바람직하게는 상기 형식 변환 사용자 선호도는 XML 을 이용한 표준화된 형태로 표현될 수 있다. 상기 형식 변환 사용자 선호도는 일반 컨텐츠 형식 변환 사용자 선호도와 특정 컨텐츠 형식 변환 사용자 선호도를 포함할 수 있다.

또한 본 발명은 멀티미디어 컨텐츠의 형식을 적응 변환하는 방법에 있어서, 외부로부터 멀티미디어 컨텐츠와 상기 멀티미디어 컨텐츠의 메타데이터를 입력 받는 단계와, 상기 멀티미디어 컨텐츠의 형식 변환의 순서와 가중치로 표현되는 형식 변환 사용자 선호도와 자원 제약 조건을 입력받는 단계와, 상기 멀티미디어 컨텐츠와 상기 멀티미디어 컨텐츠의 메타데이터와 상기 형식 변환 사용자 선호도에 따라 상기 자원 제약 조건에 따른 상기 멀티미디어 컨텐츠의 형식 변환 여부를 판단하는 단계와, 상기 판단 결과에 따라 상기 입력된 멀티미디어 컨텐츠의 형식을 변환하여 출력하는 단계를 구비하는 것을 다른 특징으로 한다. 바람직하게는 자원 제약 조건을 추가로 입력 받으며, 상기 적응 변환 단계는 상기 자원 제약 조건도 추가적으로 고려하여 수행된다.

바람직하게는 상기 적응 변환 단계는 상기 입력된 멀티미디어 컨텐츠와 컨텐츠 메타데이터를 이용하여 중첩 컨텐츠 모델을 예측하는 과정과, 상기 형식 변환 사용자 선호도를 이용하여 상기 중첩 컨텐츠 모델을 수정하는 과정과, 상기 자원 제약 조건에 따라 상기 수정된 중첩 컨텐츠 모델에서 최대 컨텐츠 값에 해당하는 형식으로 상기 멀티미디어 컨텐츠가 표현되도록 상기 멀티미디어 컨텐츠의 형식을 변환하는 과정을 포함할 수 있다.

삭제

본 발명에 대한 이해를 돕기 위해 사용되는 기본적인 몇 가지 용어를 명확히 할 필요가 있다. 멀티미디어 문서는 다중 컨텐츠 항목의 집합체이며, 컨텐츠 항목은 비디오, 이미지 그리고 텍스트 등과 같은 수단에 의해 표현될 수 있는 뉴스나 축구 경기와 같은 완전한 정보를 전달하는 실체이다. 즉, 컨텐츠 항목이라는 용어는 정보의 물리적 운반자가 아니라 정보 그 자체를 말한다. 각 컨텐츠 항목은 다른 질과 형식에 대한 많은 컨텐츠 버전을 가질 수 있다. 컨텐츠 버전은 컨텐츠 항목의 물리적 개체이며, 이것은 예를 들어 축구 경기에 대한 정보를 나타내는 연속된 이미지, 오디오 파일 또는 텍스트 단락일 수 있다.

접근 과정은 다음과 같다. 먼저 각 컨텐츠 항목에 그것의 컨텐츠 값과 자원을 연결하는 특정한 컨텐츠 값 모델이 주어진다. 이때, 컨텐츠 값 모델은 사용자 선호도와 단말 능력에 따라 변형된다. 그런 후, 다중 컨텐츠 항목 간의 자원을 분배하기 위해서 자원 할당 방법이 사용된다. 할당된 자원을 컨텐츠 값 모델에 사상(寫像)할 때, 적응된 컨텐츠의 적절한 품질과 형식을 얻을 수 있다.

컨텐츠 값 모델은 컨텐츠에 의해 전달되는 정보의 양인 컨텐츠 값과 자원 사이의 관계를 보여준다. 본 발명에서는 형식 변환에 대한 QoS(Quality of Service) 관련 결정을 지원하기 위해 사용자 선호 조건이 반영된 중첩 컨텐츠 모델(overlapped content model)이라는 새로운 컨텐츠 모델을 제시한다.

도 1은 본 발명에 의한 적응 변환 장치의 구성도.

도 2는 도 1의 판단 엔진의 일 예의 구성도.

도 3은 본 발명에서의 컨텐츠 항목의 중첩 컨텐츠 값 모델을 설명하는 도면.

도 4는 본 발명에서의 컨텐츠 항목의 최종 컨텐츠 값 함수에 대한 개념을 설명하는 도면.

도 5는 본 발명에서의 형식 곡선의 분석 함수에 대한 예를 설명하는 도면.

도 6은 본 발명에서의 형식 능력에 의해 변형되는 컨텐츠 값 모델의 예를 설명하는 도면,

도 7은 본 발명에서의 사용자에 의한 변환 순서 변형을 따르는 컨텐츠 값 모델의 예를 설명하는 도면.

도 8은 본 발명에서의 가중치에 따른 곡선 간의 거리 관계를 설명하는 도면.

도 9는 본 발명에서의 컨텐츠 적응변환 처리 방법을 설명하는 흐름도.

발명의 실시를 위한 최선의 형태

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소 또는 신호를 가리키는 것으로 사용된다.

도 1은 본 발명에 의한 적응 변환 장치의 구성도이다. 도시되어 있는 바와 같이, 판단 엔진(104), 컨텐츠 형식 변환 엔진(106), 트랜스코딩 엔진(108)의 세가지 주요 부분을 포함한다.

먼저 판단 엔진(104)은 멀티미디어 컨텐츠와, 이 멀티미디어 컨텐츠의 기술자(메타데이터)를 입력 받게 되며, 형식 변환 사용자 선호도와 자원 제약 조건(네 트워크, 단말 등등)에 대한 다른 정보들이 또한 판단 엔진(104)으로 입력된다. 적응된 컨텐츠가 사용자에게 표현될 때 최상의 값 또는 질을 갖을 수 있도록 판단 엔진(104)은 컨텐츠 기술자, 사용자 선호도, 제약 조건을 분석하고 형식 변환과 컨텐츠 트랜스코딩에 대한 최적의 결정을 한다.

컨텐츠 형식 변환 엔진(106)과 트랜스코딩 엔진(108)은 판단 엔진(104)의 지시에 따라 컨텐츠를 적응변환 하기 위한 구체적 기술자(descriptor)를 포함한다. 컨텐츠가 형식의 변환 없이 적응변환 될 필요가 있다면 컨텐츠는 트랜스코딩 엔진(108)으로 직접 연결된다. 만일 컨텐츠의 형식이 변환될 필요가 있다면 컨텐츠는 형식 변환 엔진(106)으로 연결되고, 다시 요구되는 출력 비트 율로 적응시키기 위해 트랜스코딩 엔진(108)을 통과할 것이다.

컨텐츠 형식 변환 엔진(106)과 트랜스코딩 엔진(108)은 오프라인 또는 온라인 일 수 있다. 오프라인의 경우, 적응변환 이전에 형식 변환 엔진(106)은 각 컨텐츠를 다른 형식으로 변환을 하고 트랜스코딩 엔진(108)은 각 형식을 다른 질(또는 비트율)의 버전(version)으로 변환을 한다. 적응변환 과정에서, 판단 엔진(104)은 적응변환 된 출력 컨텐츠를 얻기 위해 각 입력 컨텐츠에 대해 단지 특정 형식이나 질의 적절한 버전만을 선택할 뿐이다. 온라인의 경우에는 판단 엔진(104)은 입력 컨텐츠에 대한 적절한 형식을 알아야 하고 그때 입력 컨텐츠에 대한 트랜스코딩 형태와 수준을 또한 알아야 한다. 이 경우에 형식 변환 엔진(106)과 트랜스코딩 엔진(108)은 실시간 변환 요구를 만족시키기 위해 높은 계산 효율성을 가져야만 한다.

이 시스템에서 사용자 선호도의 명시와 적용을 위해 선호도 정보는 XML(eXtended Markup Language)과 같은 구조화된 형태로 표현될 필요가 있다. 표 1은 본 발명에서 제안한 형식 변환 사용자 선호도 기술자를 XML 형식으로 표현한 것이다.

도 2는 도 1의 판단 엔진의 일 예의 구성도이다. 도시되어 있는 바와 같이, 판단 엔진(104)는 중첩 컨텐츠 모델 예측부(202), 중첩 컨텐츠 모델 수정부(204), 형식 변환 판단부(206)를 포함한다.

먼저 중첩 컨텐츠 모델 예측부(202)는 네트워크 등을 통해 외부로부터 멀티미디어 컨텐츠와. 이 멀티미디어 컨텐츠에 대한 기술자(또는 메타데이터)를 입력받고, 이를 이용하여 중첩 컨텐츠 모델을 예측한다. 중첩 컨텐츠 모델 수정부(204)는 형식 변환 사용자 선호도를 이용하여 중첩 컨텐츠 모델 예측부(202)에서 생성된 중첩 컨텐츠 모델을 수정한다. 형식 변환 판단부(206)는 자원 제약 조건에 따라 수정된 중첩 컨텐츠 모델에서 최대 컨텐츠 값에 해당하는 형식으로 상기 멀티미디어 컨텐츠가 표현되도록 멀티미디어 컨텐츠의 형식을 변환하는 시점과 방법을 판단하여 이를 표시하는 데이터를 출력한다. 중첩 컨텐츠 모델 수정부(204)는 사용자의 단말의 형식에 따라 추가로 중첩 컨텐츠 모델을 수정할 수 있다.

도 3는 각각의 컨텐츠 항목에 대해 자원과 각 형식들의 컨텐츠 값의 관계를 표현하는 중첩 컨텐츠 값 모델을 도시한다. 각각의 형식에 대한 곡선은 컨텐츠 제공자에 의해 지정되거나 어떤 분석 함수들에 의해 주어질 수 있다. 형식 곡선에 대한 각 점은 그 형식의 버전과 일치한다. 이 모델에서 곡선의 수는 컨텐츠 항목이 갖는 형식의 수이다.

도 4에 도시되어 있는 바와 같이, 최종 컨텐츠 값 함수는 중첩된 모델의 위쪽 외피일 것이고 교차점은 형식들 사이의 경계를 나타낸다. 컨텐츠 항목의 할당된 자원이 주워진다면, 우리는 쉽게 컨텐츠 항목의 적절한 형식과 컨텐츠 값을 찾을 수 있다.

컨텐츠 값은 명백하게 주관적이다. 이것은 자원량에 의존할 뿐만 아니라 각기 다른 사용자에 따라 다를 수 있다. 본 발명에서는 컨텐츠 값과 자원의 상관적 경향을 먼저 고려하고 더불어 사용자에 따른 컨텐츠 값의 의존성을 고려할 것이다. 후자에서는 위쪽 상피부분이 사용자 선호도와 단말에서 지원되는 형식에 따라 변형될 것이다.

[수학식 3]

V_i = max{VM_ij}, j = 1…K

수학식 3에서 V_i는 컨텐츠 항목의 컨텐츠 값이고, VM_ij는 컨텐츠 항목 i의 형식 j에 대한 컨텐츠 값 곡선이다. 여기서 j = 1…K이고 K는 컨텐츠 항목 i에 대한 형식의 수이며, 또한 VM_ij≥0을 만족해야 한다.

물론 각 형식의 곡선은 임의적일 수 있다. 그러나 만일 각 형식에 있어서 컨텐츠 값을 모델화하는 어떤 받아들일 만한 분석 함수를 찾을 수 있다면 그것이 더 효과적이다. Rakesh Mohan, John R. Smith, Chung-Sheng Li의 "Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999"이라는 논문에서, 컨텐츠 형식에 관계없이 아래와 같이 자연 로그 함수(ln) 는 컨텐츠 값과 자원을 연관시키는데 사용된다.

[수학식 4]

V = a*ln(R)

수학식 4에서 V는 컨텐츠 값, R은 자원 그리고 a는 비례 인자이다. 그러나 자원이 무한대로 증가하는 특별한 경우를 고려해보자. 사용자에게 인지(認知) 정보가 무한하지 않을 것이라는 것은 실제적으로 명확하다. 그럼에도 불구하고, 이 로그 함수는 성질상 무한한 컨텐츠 값을 가질 것이다.

본 발명에서는 수학식 5와 같이 각 형식의 곡선에 대한 간단한 분석 함수를 제안한다.

[수학식 5]

R_i ≥ b_ij 에 대해, VM_ij = a_ij(R_i - b_ij)/(R_i - b_ij ＋ c_ij)

도 4는 수학식 5에서 a_ij = 1, b_ij = 50, c_ij = 100인 경우의 분석 함수를 보여준다. 도 4로부터 a는 함수의 상위 한계, b는 함수의 시작점 그리고 c는 함수의 기울기를 조절함을 알 수 있다. 이러한 분석 함수를 이용할 경우, 매개 변수 a, b, c를 조율함으로써 다른 컨텐츠를 모델화 할 수 있다. 이 분석 함수는 특정 컨텐츠 형태의 복잡한 컨텐츠 값 모델을 수용하기 위한 여러 방식으로 확장 가능하다.

중첩 컨텐츠 모델과 아울러 본 발명에서는 사용자 입장에서 여러 형식 변환을 조절할 수 있는 기능을 제공한다. 본 발명은 사용자의 다양한 형식 변환 선호도를 명시하는 다음과 같은 구체적인 방법을 제공한다.

사용자 선호도의 명시를 위해 두 가지 상황을 고려한다. 하나는 사용자가 특정 형식을 가지는 일반 컨텐츠에 대한 적응변환을 원하는 경우이고, 다른 하나는 사용자가 특정 컨텐츠에 대해서만 형식 변환을 원하는 경우이다. 그러므로 본 발명에서는 일반 컨텐츠와 특정 컨텐츠의 두 가지 경우를 나누어 고려한다.

일반 컨텐츠에 대한 형식 변환의 경우, 사용자는 컨텐츠 내용에 대한 정보를 가지고 있지 않다. 따라서 사용자는 일반적으로 컨텐츠의 내용에 따라 각기 다른 형식 변환을 지정할 수 없고 단지 일률적인 형식 변환이 가능하다. 한가지 특정 형식에 속하는 모든 컨텐츠는 지정된 형식으로 변환될 가능성을 동일하게 가지게 되는 것이다. 예를 들면, 이미지 형식은 오디오 형식으로 변환하는 것이 일반적인 선택이지만, 청각 장애가 있는 사용자는 컨텐츠의 내용에 관계없이 이미지에서 오디오 보다는 텍스트로의 형식 변환을 선택할 것이다.

두 번째로 특정 컨텐츠에 대한 형식 변환의 경우, 사용자는 컨텐츠에 대한 정보를 이미 가지고 있다. 따라서 이 경우에 사용자는 동일한 형식의 특정 컨텐츠 객체에 대해서 각기 다른 선택적 변환을 할 수 있다. 예를 들면, 특정 컨텐츠가 비디오 형식으로 이루어졌다는 정보를 아는 상황에서 콘서트 비디오를 변환할 경우 일반적으로 오디오로 변환하며, 나머지 다른 비디오 형식의 컨텐츠들은 이미지 또는 텍스트로의 각기 다른 선택적 변환이 가능하다.

이러한 두 가지 상황을 수행하기 위한 사용자 선호도 지정은 두 단계로 나뉘어 진다. 첫째, 사용자는 한 형식으로부터 각각의 변환 가능한 형식에 대해 상대적인 순서를 지정한다. 둘째로, 사용자는 각각의 형식 변환에 대해 사용자 선호를 나타내는 중요도 또는 가중치를 수치적으로 지정한다. 주의해야 할 것은 컨텐츠 항목에 대한 중요도나 가중치가 아니고 한 컨텐츠 항목이라도 그 형식 변환에 대한 중요도나 가중치를 말한다.

즉, 첫번째 단계는 선호도를 질적으로 명시하는 것에 해당하며, 두 번째 단계는 정량적 명시에 해당한다. 물론 사용자는 첫번째 단계에서 순서만을 지정하고, 두 번째 단계의 중요도 지정에서는 기본값을 묵시적으로 사용 할 수 있다. 이렇게 지정된 변환 순서는 형식 변환을 할 필요가 있을 때, 판단 엔진(104)에서 어떤 형식으로 변환이 되어야 하는지를 결정하는데 도움을 준다. 또한 지정된 변환에 대한 중요도 정보는 언제 형식 변환이 수행되어져야 하는지를 판단 엔진(104)이 결정하는데 도움을 준다. 즉 이 중요도 정보는 각 형식의 컨텐츠 값 곡선들을 비율에 따라 조정하는데 사용된다.

예를 들어, 비디오 형식 변환에서 형식 변환의 순서와 관련해서 비디오에서 비디오로의 변환, 즉 비디오 무변환을 첫번째, 비디오에서 이미지로의 변환을 두번째, 비디오에서 오디오로의 변환을 세번째, 비디오에서 텍스트로의 변환을 네번째로 지정할 수 있다. 다음에 형식 변환의 가중치와 관련해서 비디오 무변환을 "1.5", 비디오에서 이미지로의 변환을 "1.0", 비디오에서 오디오로의 변환을 "1.0", 비디오에서 텍스트로의 변환을 "1.0"로 지정할 수 있다. 이 예에서와 같이 비디오 무변환의 가중치가 상대적으로 높은 경우에는 비디오 무변환에 오래 머무르게 되므로, 형식 변환의 다음 순서인 비디오에서 이미지로의 변환이 상대적으로 늦게 발생하게 된다.

컨텐츠 항목들의 컨텐츠 값 모델은 적응변환 과정에서 중요한 부가정보 입력 값이다. 컨텐츠 값 모델의 변화는 적응변환 과정에서 출력을 변화시키는 결과를 낳는다.

적응변환 과정에서 단말이 지원하는 형식과 사용자 선호도가 고려 될 필요가 있으며, 본 발명에서 이러한 제약 조건들은 컨텐츠 값 모델을 변경하는데 사용되며, 이것들에 의해 출력도 적절히 변화시킬 수 있다. 그리고 자원할당 알고리즘을 가능한 한 입력 정보에 의존하지 않도록 유지할 필요가 있다. 이러한 분리는 적응변환 과정을 모듈화 할 수 있도록 한다. 명확성을 위해 단말 특성과 사용자 선호도에 따른 컨텐츠 값 모델 변화 과정순서를 살펴본다.

첫번째로, 단말의 형식 지원 특성을 고려한다. 한 단말이 어떤 특정 형식을 지원하지 않을 경우, 지원되지 않는 형식의 컨텐츠들은 단말에서 처리 될 수 없다. 이러한 컨텐츠의 컨텐츠 값은 영(zero)이 된다. 즉, 지원되지 않는 형식의 컨텐츠 값 곡선은 적응변환 과정에서 제거되어야 한다. 수학식6은 이와 같은 내용을 포함한다.

[수학식 6]

V_i = max{VM_ij}, j는 지원되는 형식들

도 6은 오디오 형식이 지원되지 않을 경우의 예를 보인다. 오디오 형식의 곡선은 제거되었으며, 결과적으로 텍스트 형식과 이미지 형식 곡선에 의해 오디오 부분이 대체 되어서 사용된다.

두 번째로, 형식 변환에 있어 변환 순서에 대한 사용자 선호도를 고려한다. 사실상, 사전에 정의된 컨텐츠 값 모델에서 이미 변환의 순서들이 정해져 있지만, 이 경우에 정의된 순서는 컨텐츠 사용자가 아니라 컨텐츠 제공자에 의해 할당된 것이라 할 수 있다. 예를 들어, 도 4에서와 같이, 원래 형식인 비디오는 첫번째로 비디오에서 비디오로의 변환, 즉 비디오 무(無) 변환, 두 번째로 비디오에서 이미지로의 변환, 세 번째로 비디오에서 오디오로의 변환, 네 번째로 비디오에서 텍스트로의 변환의 순서를 갖을 수 있다.

컨텐츠 제공자에 의한 기존의 정보로부터 사용자는 변환 순서를 변경할 수 있으며, 컨텐츠 값 모델의 수정은 기존의 변환 순서 정보와 함께 사용자 선호도에 따른 새로운 변환 정보를 검사한 후 기존의 변환 순서가 사용자 선호도에 따른 변환 순서보다 우선인 형식 변환이 있다면, 그 변환 형식에 해당하는 곡선을 제거한다.

예를 들어, 도 4에서 컨텐츠 항목을 위한 사용자 선호도는 첫번째로 비디오 무(無) 변환, 두 번째로 비디오에서 오디오로의 변환, 세 번째로 비디오에서 이미지로의 변환, 네 번째로 비디오에서 텍스트로의 변환으로 주어진다. 이때 기존 일반적 변환 순서와 비교해서 비디오 무(無) 변환은 유지(維持), 비디오에서 이미지로의 변환은 제거, 비디오에서 오디오로의 변환은 유지, 비디오에서 텍스트로의 변환은 유지와 같은 형식 변환이 만들어진다. 결과적으로 도 7과 같은 새로운 컨텐츠 값 모델이 구성된다.

세 번째로, 형식 변환에 있어서의 중요도 정보를 고려한다. 중요도 정보는 도 8에 도시된 바와 같이, 각 형식 간의 컨텐츠 값 곡선간의 거리(d _ij )를 조율하는데 사용된다. 컨텐츠 값 곡선간의 거리 조율은 각 곡선들의 교차점 또는 경계의 변화에 영향을 미친다. 한 형식의 중요도가 증가하면, 교차점의 변경에 의해 변환을 수행하는 영역이 넓어진다. 여기서 주목해야 할 점은, 거리(d _ij )의 합은 고정이 되어 있으며 이는 컨텐트 항목 i의 최대 컨텐츠 값과 일치한다.

w_ij를 컨텐트 항목 i의 변환 j에 대한 중요도 정보라 한다면, 조율된 거리들은 수학식7에 의해 계산된다.

[수학식 7]

d'_ij = w_ij*d_ij

이렇게 새로 계산된 거리들(d'_ij)의 상대적인 길이는 사용자의 선호도를 반영한다. 하지만 이 길이는 거리의 총합이 변화되지 않도록 재조율 될 필요가 있으며, 수학식 8에 의해 얻어 질 수 있다.

[수학식 8]

수학식 8에서 d ^s 는 최종 조율 된 거리를 의미한다. 즉, 결과적으로

이 됨을 알 수 있다.

도 9는 본 발명에 의한 멀티미디어 컨텐츠의 형식을 적응 변환하는 방법을 설명하는 흐름도이다. 먼저 입력된 멀티미디어 컨텐츠와 컨텐츠 기술자를 이용하여 컨텐츠 항목에 대한 중첩 컨텐츠 값 모델을 예측한다(901). 이렇게 예측된 중첩 컨텐츠 값 모델(902)은 단말에 의해 지원되는 형식 능력(904)들을 참조하여 지원되지 않는 형식의 컨텐츠 값 곡선을 제거함으로써, 중첩 컨텐츠 값 모델이 일차적으로 수정된다(906). 다음에, 컨텐츠 제공자의 형식 변한에 대한 사용자 선호도(908)를 참조하여, 기존 변환 순서와 사용자 선호도에 따른 변환 순서 정보를 검사한다. 검사 결과, 기존의 변환 순서가 사용자 선호도에 따라 주어진 순서보다 우선이라면, 그 변환에 해당하는 형식 곡선은 제거하고, 사용자 선호도에 따른 변환의 중요도 정보에 따라 남아 있는 곡선들의 거리 값들을 조율함으로써(910), 최종 변형된 컨텐츠 값 모델(912)을 생성한다.

이러한 과정은 컨텐츠 적응변환에서 단말 특성 정보와 사용자 선호도를 사용하는 한 예제로서 고려될 수 있으며, 뿐만 아니라 컨텐츠 제공자는 특정 응용에 맞는 적당한 방법들을 찾아 적용 할 수도 있다.

본 발명은 또한, 중첩 컨텐츠 값 모델과 자원 제약 조건(914)이 주어진 상태에서, 모든 컨텐츠 항목에 대한 자원 할당이 이루어진다(916). 이는 적응 변환된 문서가 사용자에게 최적의 값을 할당한다. 할당된 컨텐츠 항목의 자원(918)에 따라 최종 변형된 컨텐츠 값 모델에 자원이 사상(mapping)되며(920), 이에 따라 최적의 형식과 질로 컨텐츠가 변환된다(922).

자원 할당의 문제는 지난 수십 년 동안 논의되어 왔으며, 대체로 두 가지 종류의 기본적인 방법에 의해 해결 가능하다. 그 중의 하나는 라그랑지안(Lagrangian) 방법이고, 다른 하나는 동적 프로그래밍(Dynamic programming) 방법이다. Rakesh Mohan, John R. Smith, Chung-Sheng Li이 쓴 논문 "Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999"에서, Lagrangian 방법은 적절한 양의 자원을 할당하는 컨텐츠 버전을 찾기 위해 사용된다. 그러나 이 방법은 자연 로그 함수와 같은 단일 오목 곡선(single concave curve)에 의해 컨텐츠 값을 모델화하기 때문에, 오목 컨텐츠 값 모델(concave content value model)에만 적용 가능하다. 만일 컨텐츠 값 모델이 볼록 곡선(convex curve)을 갖는다면, 이 모델은 오목 곡선으로 대체된다.

형식 변환을 지원하는 컨텐츠 적응 변환 응용에서, 동적 프로그래밍 방법에 몇 가지 제약 조건을 추가할 필요가 있다. 첫째로, 사용자가 몇 가지 변환 형식을 선택할 때 (예를 들어, 비디오에서 오디오로의 형식 변환), 일반적으로 동적 프로그래밍 방법은 자원의 모든 범위를 탐색한다. 심지어 컨텐츠 값이 영인 경우에도 자원 탐색을 수행한다. 이 경우, 탐색의 결과로 컨텐츠 값이 영인 몇 개의 컨텐츠 항목이 추출 될 수도 있다. 이것은 컨텐츠 항목이 삭제되었음을 의미하고, 결과적으로 사용자가 기대한 결과와 다를 수 있음을 의미한다. 이러한 상황을 피하기 위해, 컨텐츠 값이 영이 아닌 경우에만 탐색을 하도록 탐색 범위를 제한한다.

둘째로, 동적 프로그래밍의 탐색 결과가 유일한 해결책이 아닐 수도 있다. 그 밖의 다른 해결책이 컨텐츠 항목의 형식을 서로 다르게 변환 할 수도 있다. 예를 들어, 두 개의 항목이 있을 경우 첫 번째 해결방법에서는 한 컨텐츠 항목이 비디오 형식을 가지고, 나머지 한 컨텐츠 항목은 낮은 질의 이미지 형식을 가진다고 가정하자. 그리고 두 번째 해결책에서는, 두 개의 컨텐츠 항목 모두 높은 질의 이미지 형식을 가진다고 가정하자. 이 두 가지 해결책에서는 비록 사용자가 초기에 비디오를 선호한다고 해도, 즉 첫 번째 해결방법을 선호한다고 해도, 두 방법 모두 동일한 컨텐츠 값을 가지기 때문에 어느 것을 선택할 지 판단할 수 없다. 따라서, 탐색 후에, 사용자의 선호도를 검사해야 하는 제약조건을 동적 프로그래밍 방법에 둔다. 그러면 사용자 선호에 맞는 보다 높은 형식 변환 순위의 컨텐츠 항목을 많이 가지는 해결책이 최종 해결책으로써 선택된다.

본 발명에 의하면, 사용자의 선호도를 컨텐츠의 형식 변환 과정에 적용함으로써, 단말 및 네트워크의 특성 뿐만 아니라 사용자의 개인적 형식 변환 선호 특성에 따라 해당 컨텐츠의 최적화된 형식 변환을 가능하게 함으로써, 범용적 멀티미디어 접근을 효과적으로 달성할 수 있도록 한다. 이로써 특정 컨텐츠 형식을 선호하는 사용자가 일반 자원할당에서 소비할 수 없었던 컨텐츠 형식을 사용자 선호대로 소비하는 것이 가능하게 되었다. 한 예로 본 발명은 특정 형식을 소비 못하는 시각 또는 청각장애 사용자에게 형식 선택권을 부여하여 유용하게 이용될 수 있다. 또한 본 발명은 미디어 국제 표준인 MPEG-7 및 MPEG-21의 디지털 아이템 적응 변환 부분의 원리에도 부합하기 때문에 차후에 이러한 시스템과의 호환성을 제공받을 수 있다.

Claims (20)

1. 멀티미디어 컨텐츠의 형식(modality)을 적응 변환하는 장치에 있어서,

   멀티미디어 컨텐츠와, 상기 멀티미디어 컨텐츠의 메타데이터와, 상기 멀티미디어 컨텐츠의 형식 변환의 순서와 가중치로 표현되는 형식 변환 사용자 선호도와, 자원 제약 조건을 입력받고, 상기 자원 제약 조건에 따른 상기 멀티미디어 컨텐츠의 형식 변환 여부를 판단하는 엔진과,

   상기 판단 엔진에 의해 판단된 결과에 따라 상기 입력된 멀티미디어 컨텐츠의 형식을 변환하여 출력하는 엔진을

   포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 장치.
2. 제 1 항에 있어서, 상기 판단 엔진은

   상기 입력된 멀티미디어 컨텐츠와 컨텐츠 메타데이터를 이용하여 중첩 컨텐츠 모델을 예측하는 수단과,

   상기 형식 변환 사용자 선호도를 이용하여 상기 중첩 컨텐츠 모델을 수정하는 수단과,

   상기 자원 제약 조건에 따라 상기 수정된 중첩 컨텐츠 모델에서 최대 컨텐츠 값에 해당하는 형식으로 상기 멀티미디어 컨텐츠가 표현되도록 상기 멀티미디어 컨텐츠의 형식을 변환하는 시점과 방법을 판단하는 수단을

   포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 장치.
3. 제 1 항에 있어서,

   상기 중첩 컨텐츠 모델을 수정하는 수단은 사용자의 단말의 형식에 따라 추가로 상기 중첩 컨텐츠 모델을 수정하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 장치.
4. 제 1 항에 있어서,

   상기 판단 엔진은 상기 자원 제약 조건에 따라 상기 멀티미디어 컨텐츠의 비트율을 추가로 판단하고,

   상기 판단 엔진에 의해 판단된 비트율에 따라 상기 입력된 멀티미디어 컨텐츠의 비트율을 변환하여 출력하는 컨텐츠 트랜스코딩 엔진을 추가로 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 장치.
5. 삭제
6. 제 1 항에 있어서,

   상기 형식 변환 사용자 선호도는 XML 형식으로 기술되는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 장치.
7. 제 1 항에 있어서,

   상기 형식 변환 사용자 선호도는 일반 컨텐츠 형식 변환 사용자 선호도와 특정 컨텐츠 형식 변환 사용자 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 장치.
8. 제 1 항에 있어서,

   상기 형식 변환 사용자 선호도는 비디오 형식 변환 선호도와 이미지 형식 변환 선호도와 오디오 형식 변환 선호도와 텍스트 형식 변환 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 장치.
9. 멀티미디어 컨텐츠의 형식을 적응 변환하는 방법에 있어서,

   외부로부터 멀티미디어 컨텐츠와 상기 멀티미디어 컨텐츠의 메타데이터를 입력 받는 단계와,

   상기 멀티미디어 컨텐츠의 형식 변환의 순서와 가중치로 표현되는 형식 변환 사용자 선호도와 자원 제약 조건을 입력받는 단계와,

   상기 멀티미디어 컨텐츠와 상기 멀티미디어 컨텐츠의 메타데이터와 상기 형식 변환 사용자 선호도에 따라 상기 자원 제약 조건에 따른 상기 멀티미디어 컨텐츠의 형식 변환 여부를 판단하는 단계와,

   상기 판단 결과에 따라 상기 입력된 멀티미디어 컨텐츠의 형식을 변환하여 출력하는 단계를

   구비하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
10. 삭제
11. 제 9 항에 있어서,

    상기 형식 변환 사용자 선호도는 XML 형식으로 기술되는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
12. 제 9 항에 있어서,

    상기 형식 변환 사용자 선호도는 일반 컨텐츠 형식 변환 사용자 선호도와 특정 컨텐츠 형식 변환 사용자 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
13. 제 9 항에 있어서,

    상기 형식 변환 사용자 선호도는 비디오 형식 변환 선호도와 이미지 형식 변환 선호도와 오디오 형식 변환 선호도와 텍스트 형식 변환 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
14. 제 13 항에 있어서,

    상기 비디오 형식 변환 선호도는 비디오에서 이미지로의 형식 변환 선호도, 비디오에서 오디오로의 형식 변환 선호도, 비디오에서 텍스트로의 형식 변환 선호 도, 무변환 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
15. 제 13 항에 있어서,

    상기 이미지 형식 변환 선호도는 이미지에서 오디오로의 형식 변환 선호도, 이미지에서 텍스트로의 형식 변환 선호도, 무변환 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
16. 제 13 항에 있어서,

    상기 오디오 형식 변환 선호도는 오디오에서 텍스트로의 형식 변환 선호도, 무변환 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
17. 제 13 항에 있어서,

    상기 텍스트 형식 변환 선호도는 텍스트에서 오디오로의 형식 변환 선호도, 무변환 선호도를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
18. 제 9 항에 있어서,

    자원 제약 조건을 추가로 입력 받으며, 상기 적응 변환 단계는 상기 자원 제 약 조건도 추가적으로 고려하여 수행되는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
19. 제 18 항에 있어서, 상기 적응 변환 단계는

    상기 입력된 멀티미디어 컨텐츠와 컨텐츠 메타데이터를 이용하여 중첩 컨텐츠 모델을 예측하는 과정과,

    상기 형식 변환 사용자 선호도를 이용하여 상기 중첩 컨텐츠 모델을 수정하는 과정과,

    상기 자원 제약 조건에 따라 상기 수정된 중첩 컨텐츠 모델에서 최대 컨텐츠 값에 해당하는 형식으로 상기 멀티미디어 컨텐츠가 표현되도록 상기 멀티미디어 컨텐츠의 형식을 변환하는 과정을

    포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 형식의 적응 변환 방법.
20. 삭제

Images