KR20040073102A - 컨텐츠 적응변환에 있어 사용자 선호기반 형식 변환을위한 시스템적 접근방법 - Google Patents

Abstract

본 발명은 범용 멀티미디어 접근(UMA) 시스템 중에서 컨텐츠 적응변환 처리과정에 있어 중요한 부분인 형식 변환과정에 대한 시스템적이고 종합적인 접근 방법에 관한 것이다. 컨텐츠 적응 변환 시 어려운 문제들 가운데 하나로 남아있는 형식 변환과정에서 발생하는 문제를 해결하기 위한 효과적인 방법을 제공하고 있다. 이를 위해 본 발명은 형식 변환을 결정하기 위하여 새롭게 제안된 중첩 컨텐츠 모델링과 이와 연관된 형식 변환에 대한 사용자 선호도의 유연한 명시 및 그 적용 방법 그리고 복합 컨텐츠에 자원을 배분하기 위한 사용자 선호 기반 자원 할당 방법을 포함한다. 결과적으로, 이상 세 가지 방법의 통합은 특별하게는 형식 변환에서 야기되는 문제를, 일반적으로는 컨텐츠 적응 변환에서 야기되는 문제를 해결하기 위한 종합적인 해결책을 제공한다.

Description

컨텐츠 적응변환에 있어 사용자 선호기반 형식 변환을 위한 시스템적 접근방법 {A SYSTEMATIC APPROACH FOR MODALITY CONVERSION BASED ON USER PREFERENCE IN CONTENT ADAPTATION}

본 발명은 범용 멀티미디어 접근(UMA) 시스템의 컨텐츠 적응변환 처리과정에 있어 중요한 부분인 형식 변환과정에 대해 시스템적이고 종합적인 접근 방법에 관한 것이다. 범용 멀티미디어 소비를 위한 시스템에서, 컨텐츠 적응변환은 다양한 종류의 단말 및 다양한 네트워크 접속을 지원해야 한다는 요구사항 하에서 최상의 컨텐츠 표현방법을 제공하기 위한 중요한 처리 과정이다. 컨텐츠 적응변환은 두 가지 측면에서 생각 할 수 있다. 하나는 하나의 형식(예, 비디오)에서 다른 형식(예, 이미지)으로 컨텐츠를 변환하는 형식 변환이고, 다른 하나는 형식을 변환하지 않고 컨텐츠의 비트율(또는 질)을 변화시키는 컨텐츠 트랜스코딩(transcoding)이다. 여러 논문에서 트랜스코딩이라는 용어는 형식 변환의 의미로도 종종 사용되지만 본 발명에서는 명확성을 위해 상기에서와 같이 두 가지 용어를 구별해서 사용하며, 본 발명은 컨텐츠의 형식 변환에 관한 것이다.

다중 컨텐츠 항목으로 구성된 멀티미디어 문서를 사용자에게 전달하고 단말에서 소비된다고 가정하자. 이 문서를 주어진 자원 제약조건(예, 총 비트율 또는 총 데이터 크기)에 적응시키기 위해서, 판단 엔진(도 1의 31)에서 형식 변환에 대한 QoS(Quality of Service) 관련 결정은 모든 컨텐츠 항목에 대한 두 가지 기본적 질문, 즉, 형식 변환은 언제 이루어져야 하는지, 출력 컨텐츠 항목의 형식은 어떤 것인지에 대한 답을 반영해야 한다. 특히 사용자 입장에서 사용자 선호도를 반영한 위 두가지 기본적인 질문에 대한 답이 필요하다.

상기 두 질문에 대한 답변 없이 컨텐츠를 적응시키기 위한 적절한 형식 변환 및 컨텐츠 트랜스코딩 기술을 적용할 수 없다. 현재는 동시에 상기 두 질문에 답할 수 있는 시스템적인 연구가 없었다. 이러한 질문을 다루기 위한 판단 엔진(31)의 결정 과정은 먼저 Rakesh Mohan, John R. Smith, Chung-Sheng Li이 쓴 논문Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999에서 처럼 전통적인 자원 할당 문제로 표현될 것이다.

R_i와 V_i를 각각 문서에 있는 컨텐츠 항목 i의 자원과 컨텐츠 값(Content Value)이라 한다. 여기서 컨텐츠의 자원은 데이터 크기 또는 비트 율이 될 수 있으며, 컨텐츠 값은 컨텐츠에 의해 전달된 정보의 양을 의미한다. 보편적으로 V_i는 R_i에 대해 감소하지 않는 함수이고, 사람들마다 각기 다른 주관적 평가에 의존한다. 컨텐츠 값은 다음과 같은 수학식 1로 나타낼 수 있다.

상기 수학식 1에서 컨텐츠 값 V_i는 자원 R_i, 형식 지원 능력 M, 및 사용자 선호 P_i의 함수로 표현된다. 여기서 컨텐츠 항목 i에 대한 자원 할당은 다음식으로 나타낼 수 있다.

이 최대) AND ( ) AND (사용자 선호도 만족)

여기서 사용자 선호에 대한 조건은 사용자가 특히 원하는 형식변환이 최우선적으로 자원할당에 반영되어야 한다는 것이다. 예를 들어 시각 정보표현에 약한 시각 장애자가 멀티미디어를 소비할 때 비디오, 이미지, 글씨의 형식보다 오디오 형식이 최우선 되어 자원 할당에 반영되어야 한다는 것이다.

수학식 2에서 주어진 자원 제약조건 R_c및 사용자 선호 조건에 대해 수학식 2를 만족하는 {R_i}의 집합을 찾는 문제가 발생한다. 본 발명은 기본적으로 사용자 선호도가 개입된 형식 변환의 관점에서 이 문제에 대한 해결책을 다루고 있다.

기존의 접근 방식에서 컨텐츠 값은 단 하나의 분석 함수 (예,log함수) 또는 생산자나 제공자에 의해 지정된 임의의 곡선에 따라 자원과 관련을 갖는다. 하지만 하나의 분석 함수로 표현되는 컨텐츠 값 모델은 다른 형식들에 있는 컨텐츠 값의 상호 연관성을 보여 줄 수 없다. 특히 사용자 선호조건을 컨텐츠 모델링에 반영할 수가 없다.

또한 컨텐츠 형식 변환에 있어서 사용자 선호도를 고려하는 기존 접근 방식들은 현실적 상황을 구체적으로 반영하지 못한다. 예를 들어, 한 서버의 특정 비디오 클립을 변환해서, 그것을 단말에 전송해야 한다고 가정하자. 그리고 단말이 비디오를 제외한 이미지, 오디오, 텍스트 형식을 모두 지원한다고 가정하자. 초기 전송 시 네트워크 대역폭은 비디오로부터 변환된 이미지를 단말에 전달하기에 충분하다. 그러나 시간이 경과한 어느 시점에서 네트워크 대역폭이 너무 좁아져서 변환된 이미지를 보낼 수 없다면, 비디오는 좀더 적은 대역폭을 요하는 오디오 형식으로 변환될 필요가 있고, 심지어는 비디오에서 텍스트로의 변환이 요구된다. 상기 예를 통해, 본 발명에서 다루는 네트워크 대역폭의 가변 특성에 따른 변환 순위를 가진 형식 변환의 필요성을 명확히 알 수 있다.

다른 예로써, 어떤 네트워크가 비디오, 이미지, 오디오, 텍스트의 모든 형식을 전송할 수 있다고 가정하자. 컨텐츠를 이용하는 동안 사용자는 종종 단말을 바꾸어 사용할 가능성이 있다. 먼저 사용자가 PDA를 사용할 경우 PDA 특성상 비디오 형식보다는 이미지 형식을 처리하는데 적합하고 거의 모든 이미지를 보는 것이 가능하기 때문에, 비디오에서 이미지로의 변환이 선택된다. 하지만 사용자가 단말을 PDA에서 이동전화로 전환한다면 비디오에서 오디오로의 형식 변환이 요구된다. 상기 예는, 세션 이동에서 서로 다른 단말 능력 때문에 발생 할 수 있는 형식 변환 필요성을 보여준다.

실제적으로 사용자가 짧은 시간에 일시적인 네트워크 특성을 예측하거나 새로운 단말의 처리 능력을 검사하는 것은 매우 어려운 일이다. 또한 중요한 변화가 일어나는 순간마다 매번 형식 변환 선택을 입력해야 한다는 것은 사용자에게 많은 불편함을 줄 수 있다. 기존의 방법들은 상기 형식 변환을 위한 사용자 선호도의 유연한 명시(明示)에 대한 문제를 해결하기 위한 방법을 제시하지 못한다. 또한, 종래의 연구는 자원 할당 방식이 컨텐츠 트랜스코딩에 초점을 맞추고 있을 뿐 모든 컨텐츠 항목에 대한 두가지 질문인 언제 어떻게 형식 변환이 결정되는지를 설명하지 않으며, 형식 변환에 대한 사용자 선호도가 이들 연구에서는 적절하게 다루어 지지 못했다.

따라서 본 발명은 상기와 같은 문제들의 해결책으로써 새로운 사용자 선호도가 반영된 중첩된중첩 컨텐츠 모델과 형식 변환에 대한 사용자 선호도의 유연한명시(明示) 그리고 복합 컨텐츠에 자원을 배분하기 위한 자원 할당 방법을 포함한다. 아울러 사용자 선호도로써 컨텐츠 값 모델을 변경하기 위해 지정 변환 순서와 중요도 또는 가중치 정보를 사용한다. 상기와 같은 접근 방법은 복합 문서의 다중 컨텐츠를 다룰 수 있고, 사용자 선호뿐만 아니라 단말과 네트워크로부터 생길 수 있는 다른 제약조건을 수용할 수 있다.

도 1은 컨텐츠 적응변환 처리과정을 도시한 블록도.

도 2는 컨텐츠 항목의 중첩된 컨텐츠 값 모델에 대한 개념도.

도 3은 컨텐츠 항목의 최종 컨텐츠 값 함수에 대한 개념도.

도 4는 형식 곡선의 분석 함수에 대한 예를 나타내는 개념도.

도 5는 형식 능력에 의해 변형되는 컨텐츠 값 모델의 예를 나타내는 개념도.

도 6은 사용자에 의한 변환 순서 변형을 따르는 컨텐츠 값 모델의 예를 나타내는 개념도.

도 7은 가중치에 따른 곡선 간의 거리 관계를 나타내는 개념도.

도 8은 컨텐츠 적응변환 처리과정을 설명하는 플로우차트.

상기 목적을 달성하기 위해, 본 발명에서 제안하는 접근방식은 컨텐츠 값과 자원 사이의 관계를 나타내주는 컨텐츠 값 모델과 사용자에게 형식 변환에 대한 선택의 기회를 주는 유연한 방식을 제공하는 사용자 선호의 명시(明示) 그리고 다중 컨텐츠 간에 총 자원을 배분하는 자원 할당 방식의 세가지 필수 요소로 구성된다.

본 발명에 대한 이해를 돕기 위해 사용되는 기본적인 몇 가지 용어를 명확히 할 필요가 있다. 멀티미디어 문서는 다중 컨텐츠 항목의 집합체이며, 컨텐츠 항목은 비디오, 이미지 그리고 텍스트 등과 같은 수단에 의해 표현될 수 있는 뉴스나 축구 경기와 같은 완전한 정보를 전달하는 실체이다. 즉, 컨텐츠 항목이라는 용어는 정보의 물리적 운반자가 아니라 정보 그 자체를 말한다. 각 컨텐츠 항목은 다른 질과 형식에 대한 많은 컨텐츠 버전을 가질 수 있다. 컨텐츠 버전은 컨텐츠 항목의 물리적 개체이며, 이것은 예를 들어 축구 경기에 대한 정보를 나타내는 연속된 이미지, 오디오 파일 또는 텍스트 단락일 수 있다.

접근 과정은 다음과 같다. 먼저 각 컨텐츠 항목에 그것의 컨텐츠 값과 자원을 연결하는 특정한 컨텐츠 값 모델이 주어진다. 이때, 컨텐츠 값 모델은 사용자선호도와 단말 능력에 따라 변형된다. 그런 후, 다중 컨텐츠 항목 간의 자원을 분배하기 위해서 자원 할당 방법이 사용된다. 할당된 자원을 컨텐츠 값 모델에 사상(寫像) 할 때, 적응된 컨텐츠의 적절한 품질과 형식을 얻을 수 있다.

컨텐츠 값 모델은 컨텐츠에 의해 전달되는 정보의 양인 컨텐츠 값과 자원 사이의 관계를 보여준다. 본 발명에서는 형식 변환에 대한 QoS(Quality of Service) 관련 결정을 지원하기위해 사용자 선호 조건이 반영된 중첩 컨텐츠 모델(overlapped content model)이라는 새로운 컨텐츠 모델을 제시한다.

도 2에서 각 컨텐츠 항목은 자원과 각 형식들의 컨텐츠 값의 관계를 표현하는 중첩 컨텐츠 값 모델을 갖는다. 각각의 형식에 대한 곡선은 컨텐츠 제공자에 의해 지정되거나 어떤 분석 함수들에 의해 주어질 수 있다. 형식 곡선에 대한 각 점은 그 형식의 버전과 일치한다. 이 모델에서 곡선의 수는 컨텐츠 항목이 갖는 형식의 수이다.

도 3에서 보여지는 것처럼 최종 컨텐츠 값 함수는 중첩된 모델의 위쪽 외피일 것이고 교차점은 형식들 사이의 경계를 나타낸다. 컨텐츠 항목의 할당된 자원이 주워진다면, 우리는 쉽게 컨텐츠 항목의 적절한 형식과 컨텐츠 값을 찾을 수 있다.

컨텐츠 값은 명백하게 주관적이다. 이것은 자원량에 의존할 뿐만 아니라 각기 다른 사용자에 따라 다를 수 있다. 본 발명에서는 컨텐츠 값과 자원의 상관적 경향을 먼저 고려하고 더불어 사용자에 따른 컨텐츠 값의 의존성을 고려 할 것이다. 후자에서는 위쪽 상피부분이 사용자 선호도와 단말에서 지원되는 형식에 따라 변형될 것이다.

상기 수학식 3에서 V_i는 컨텐츠 항목의 컨텐츠 값이고, VM_ij는 컨텐츠 항목 i의 형식 j에 대한 컨텐츠 값 곡선이다. 여기서 j = 1K이고 K는 컨텐츠 항목 i에 대한 형식의 수이며, 또한 VM_ij= 0을 만족해야 한다.

물론 각 형식의 곡선은 임의적일 수 있다. 그러나 만일 각 형식에 있어서 컨텐츠 값을 모델화하는 어떤 받아들일 만한 분석 함수를 찾을 수 있다면 그것이 더 효과적이다. Rakesh Mohan, John R. Smith, Chung-Sheng Li의 Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999이라는 논문에서, 컨텐츠 형식에 관계없이 아래와 같이 자연 로그 함수(ln) 는 컨텐츠 값과 자원을 연관시키는데 사용된다.

수학식 4에서 V는 컨텐츠 값, R은 자원 그리고 a는 비례 인자이다. 그러나 자원이 무한대로 증가하는 특별한 경우를 고려해보자. 사용자에게 인지(認知) 정보가 무한하지 않을 것이라는 것은 실제적으로 명확하다. 그럼에도 불구하고, 이 로그 함수는 성질상 무한한 컨텐츠 값을 가질 것이다.

본 발명에서는 수학식 4와 같은 각 형식의 곡선에 대한 간단한 분석 함수를 제안한다.

도 4는 수학식 5에서 a_ij= 1, b_ij= 50, c_ij= 100인 경우의 분석 함수를 보여준다. 도 4로부터 a는 함수의 상위 한계, b는 함수의 시작점 그리고 c는 함수의 기울기를 조절함을 알 수 있다. 상기 분석 함수를 이용할 경우, 매개 변수 a, b, c를 조율함으로써 다른 컨텐츠를 모델화 할 수 있다. 이 분석 함수는 특정 컨텐츠 형태의 복잡한 컨텐츠 값 모델을 수용하기 위한 여러 방식으로 확장 가능하다.

중첩 컨텐츠 모델과 아울러 본 발명에서는 사용자 입장에서 여러 형식 변환을 조절할 수 있는 기능을 제공한다. 본 발명은 사용자의 다양한 형식 변환 선호도를 명시하는 다음과 같은 구체적인 방법을 제공한다.

사용자 선호도의 명시를 위해 두 가지 상황을 고려한다. 하나는 사용자가 특정 형식을 가지는 일반 컨텐츠에 대한 적응변환을 원하는 경우이고, 다른 하나는 사용자가 특정 컨텐츠에 대해서만 형식 변환을 원하는 경우이다. 그러므로 본 발명에서는 일반 컨텐츠와 특정 컨텐츠의 두 가지 경우를 나누어 고려한다.

일반 컨텐츠에 대한 형식 변환의 경우, 사용자는 컨텐츠 내용에 대한 정보를 가지고 있지 않다. 따라서 사용자는 일반적으로 컨텐츠의 내용에 따라 각기 다른 형식 변환을 지정할 수 없고 단지 일률적인 형식 변환이 가능하다. 한가지 특정 형식에 속하는 모든 컨텐츠는 지정된 형식으로 변환될 가능성을 동일하게 가지게 되는 것이다. 예를 들면 이미지 형식은 오디오 형식으로 변환하는 것이 일반적인 선택이지만, 청각 장애가 있는 사용자는 컨텐츠의 내용에 관계없이 이미지에서 오디오 보다는 텍스트로의 형식 변환을 선택할 것이다.

두 번째로 특정 컨텐츠에 대한 형식 변환의 경우, 사용자는 컨텐츠에 대한 정보를 이미 가지고 있다. 따라서 이 경우에 사용자는 동일한 형식의 특정 컨텐츠 객체에 대해서 각기 다른 선택적 변환을 할 수 있다. 예를 들면, 특정 컨텐츠가 비디오 형식으로 이루어졌다는 정보를 아는 상황에서 콘서트 비디오를 변환할 경우 일반적으로 오디오로 변환하며, 나머지 다른 비디오 형식의 컨텐츠들은 이미지 또는 텍스트로의 각기 다른 선택적 변환이 가능하다.

상기 두 가지 상황을 수행하기 위한 사용자 선호도 지정은 두 단계로 나뉘어 진다. 첫째, 사용자는 한 형식으로부터 각각의 변환 가능한 형식에 대해 상대적인 순서를 지정한다. 둘째로, 사용자는 각각의 형식 변환에 대해 사용자 선호를 나타내는 중요도 또는 가중치를 수치적으로 지정한다. 주의해야 할 것은 컨텐츠 항목에 대한 중요도나 가중치가 아니고 한 컨텐츠 항목이라도 그 형식 변환에 대한 중요도나 가중치를 말한다.

즉, 첫번째 단계는 선호도를 질적으로 명시하는 것에 해당하며, 두 번째 단계는 정량적 명시에 해당한다. 물론 사용자는 첫번째 단계에서 순서만을 지정하고, 두 번째 단계의 중요도 지정에서는 기본값을 묵시적으로 사용 할 수 있다. 이렇게 지정된 변환 순서는 형식 변환을 할 필요가 있을 때, 판단 엔진(31)에서 어떤 형식으로 변환이 되어야 하는지를 결정하는데 도움을 준다. 또한 지정된 변환에 대한 중요도 정보는 언제 형식 변환이 수행되어져야 하는지를 판단엔진(31)이 결정하는데 도움을 준다. 즉 이 중요도 정보는 각 형식의 컨텐츠 값 곡선들을 비율에 따라 조정하는데 사용된다.

컨텐츠 항목들의 컨텐츠 값 모델은 적응변환 과정에서 중요한 부가정보 입력 값이다. 컨텐츠 값 모델의 변화는 적응변환 과정에서 출력을 변화시키는 결과를 낳는다.

적응변환 과정에서 단말이 지원하는 형식과 사용자 선호도가 고려 될 필요가 있으며, 본 발명에서 이러한 제약 조건들은 컨텐츠 값 모델을 변경하는데 사용되며, 이것들에 의해 출력도 적절히 변화 시킬 수 있다. 그리고 자원할당 알고리즘을 가능한 한 입력 정보에 의존하지 않도록 유지 할 필요가 있다. 이러한 분리는 적응변환 과정을 모듈화 할 수 있도록 한다. 명확성을 위해 단말 특성과 사용자 선호도에 따른 컨텐츠 값 모델 변화 과정순서를 살펴본다.

첫번째로, 단말의 형식 지원 특성을 고려한다. 한 단말이 어떤 특정 형식을 지원하지 않을 경우, 지원되지 않는 형식의 컨텐츠들은 단말에서 처리 될 수 없다. 이러한 컨텐츠의 컨텐츠 값은 영(zero)이 된다. 즉, 지원되지 않는 형식의 컨텐츠 값 곡선은 적응변환 과정에서 제거되어야 한다. 수학식 6은 이와 같은 내용을 포함한다.

도 5는 오디오 형식이 지원되지 않을 경우의 예를 보인다. 오디오 형식의 곡선은 제거되었으며, 결과적으로 텍스트 형식과 이미지 형식 곡선에 의해 오디오 부분이 대체 되어서 사용된다.

두 번째로, 형식 변환에 있어 변환 순서에 대한 사용자 선호도를 고려한다. 사실상, 사전에 정의된 컨텐츠 값 모델에서 이미 변환의 순서들이 정해져 있지만, 이 경우에 정의된 순서는 컨텐츠 사용자가 아니라 컨텐츠 제공자에 의해 할당된 것이라 할 수 있다. 예를 들어, 도 3에서와 같이, 원래 형식인 비디오는 첫번째로 비디오 무(無) 변환, 두 번째로 비디오에서 이미지로의 변환, 세 번째로 비디오에서 오디오로의 변환, 네 번째로 비디오에서 텍스트로의 변환 순서를 갖는다.

컨텐츠 제공자에 의한 기존의 정보로부터 사용자는 변환 순서를 변경 할 수 있으며, 컨텐츠 값 모델의 수정은 기존의 변환 순서 정보와 함께 사용자 선호도에 따른 새로운 변환 정보를 검사한 후 기존의 변환 순서가 사용자 선호도에 따른 변환 순서보다 우선인 형식 변환이 있다면, 그 변환 형식에 해당하는 곡선을 제거한다.

예를 들어, 도 3에서 컨텐츠 항목을 위한 사용자 선호도는 첫번째로 비디오 무(無) 변환, 두 번째로 비디오에서 오디오로의 변환, 세 번째로 비디오에서 이미지로의 변환, 네 번째로 비디오에서 텍스트로의 변환으로 주어진다. 이때 기존 일반적 변환 순서와 비교해서 비디오 무(無) 변환은 유지(維持), 비디오에서 이미지로의 변환은 제거, 비디오에서 오디오로의 변환은 유지, 비디오에서 텍스트로의 변환은 유지와 같은 형식 변환이 만들어진다. 결과적으로 도 6과 같은 새로운 컨텐츠 값 모델이 구성된다.

세 번째로, 형식 변환에 있어서의 중요도 정보를 고려한다. 중요도 정보는 도 7에서 보이는 것처럼 각 형식 간의 컨텐츠 값 곡선간의 거리(d _ij )를 조율하는데 사용된다. 컨텐츠 값 곡선간의 거리 조율은 각 곡선들의 교차점 또는 경계의 변화에 영향을 미친다. 한 형식의 중요도가 증가하면, 교차점의 변경에 의해 변환을 수행하는 영역이 넓어진다. 여기서 주목해야 할 점은, 거리(d _ij )의 합은 고정이 되어 있으며 이는 컨텐트 항목 i의 최대 컨텐츠 값과 일치한다.

w_ij를 컨텐트 항목 i의 변환 j에 대한 중요도 정보라 한다면, 조율된 거리들은 수학식7에 의해 계산된다.

이렇게 새로 계산된 거리들(d'_ij)의 상대적인 길이는 사용자의 선호도를 반영한다. 하지만 이 길이는 거리의 총합이 변화되지 않도록 재조율 될 필요가 있으며, 수학식 8에 의해 얻어질 수 있다.

수학식 8에서 d^s는 최종 조율된 거리를 의미한다. 즉, 결과적으로

이 됨을 알 수 있다.

요약하면, 도 8의 플로우차트에 도시된바와 같이, 컨텐츠 값 모델을 변경 시키는 절차는 먼저 단말에 의해 지원되는 형식들을 검사(311)하고, 지원되지 않는 형식의 컨텐츠 값 곡선을 제거한 후 컨텐츠 제공자에 의한 기존 변환 순서와 사용자 선호도에 따른 변환 순서 정보를 검사(312), 기존의 변환 순서가 사용자 선호도에 따라 주어진 순서보다 우선이라면, 그 변환에 해당하는 형식 곡선은 제거하고 사용자 선호도에 따른 변환의 중요도 정보에 따라 남아 있는 곡선들의 거리 값들을 조율(312)하는 순서를 따른다.

이러한 과정은 컨텐츠 적응변환에서 단말 특성 정보와 사용자 선호도를 사용하는 한 예제로서 고려 되어질 수 있으며, 뿐만 아니라 컨텐츠 제공자는 특정 응용에 맞는 적당한 방법들을 찾아 적용 할 수도 있다.

본 발명은 또한, 상기 중첩된중첩 컨텐츠 값 모델과 자원의 제약이 주어진 상태에서, 모든 컨텐츠 항목에 대한 자원 할당 방법을 적용(도 8에서의 3143)할 필요가 있다. 이는 적응 변환된 문서가 사용자에게 최적의 값을 할당한다. 자원 할당의 문제는 지난 수 십년 동안 논의되어 왔으며, 대체로 두 가지 종류의 기본적인 방법에 의해 해결 가능하다. 그 중의 하나는 Lagrangian 방법이고, 다른 하나는 동적 프로그래밍(Dynamic programming) 방법이다. Rakesh Mohan, John R. Smith,Chung-Sheng Li이 쓴 논문 Adapting Multimedia Internet Content for Universal Access, IEEE Trans. Multimedia, Vol. 1, No. 1, pp. 104-114, Mar. 1999에서, Lagrangian 방법은 적절한 양의 자원을 할당하는 컨텐츠 버전을 찾기 위해 사용된다. 그러나 이 방법은 자연 로그 함수와 같은 단일 오목 곡선(single concave curve)에 의해 컨텐츠 값을 모델화하기 때문에, 오목 컨텐츠 값 모델(concave content value model)에만 적용 가능하다. 만일 컨텐츠 값 모델이 볼록 곡선(convex curve)을 갖는다면, 이 모델은 오목 곡선으로 대체된다.

형식 변환을 지원하는 컨텐츠 적응 변환 응용에서, 동적 프로그래밍 방법에 몇 가지 제약 조건을 추가할 필요가 있다.

첫째로, 사용자가 몇 가지 변환 형식을 선택할 때 (예를 들어, 비디오에서 오디오로의 형식 변환), 일반적으로 동적 프로그래밍 방법은 자원의 모든 범위를 탐색한다. 심지어 컨텐츠 값이 영인 경우에도 자원 탐색을 수행한다. 이 경우, 탐색의 결과로 컨텐츠 값이 영인 몇 개의 컨텐츠 항목이 추출 될 수도 있다. 이것은 컨텐츠 항목이 삭제되었음을 의미하고, 결과적으로 사용자가 기대한 결과와 다를 수 있음을 의미한다. 이러한 상황을 피하기 위해, 컨텐츠 값이 영이 아닌 경우에만 탐색을 하도록 탐색 범위를 제한한다.

둘째로, 동적 프로그래밍의 탐색 결과가 유일한 해결책이 아닐 수도 있다. 그 밖의 다른 해결책이 컨텐츠 항목의 형식을 서로 다르게 변환 할 수도 있다. 예를 들어, 두 개의 항목이 있을 경우 첫번째 해결방법에서는 한 컨텐츠 항목이 비디오 형식을 가지고, 나머지 한 컨텐츠 항목은 낮은 질의 이미지 형식을 가진다고 가정하자. 그리고 두 번째 해결책에서는, 두 개의 컨텐츠 항목 모두 높은 질의 이미지 형식을 가진다고 가정하자. 이 두 가지 해결책에서는 비록 사용자가 초기에 비디오를 선호한다고 해도, 즉 첫번째 해결방법을 선호한다고 해도, 두 방법 모두 동일한 컨텐츠 값을 가지기 때문에 어느 것을 선택할 지 판단할 수 없다. 따라서, 탐색 후에, 사용자의 선호도를 검사해야 하는 제약조건을 동적 프로그래밍 방법에 둔다. 그러면 사용자 선호에 맞는 보다 높은 형식 변환 순위의 컨텐츠 항목을 많이 가지는 해결책이 최종 해결책으로써 선택된다.

이러한 본 발명에 따른 변환 장치의 바람직한 실시예를 첨부된 블록도에 의거하여 상세하게 설명하면 다음과 같다.

도 1에 도시(圖示)되어 있는 바와 같이, 컨텐츠 적응변환의 개념적 기술(記述)은 판단 엔진(31), 컨텐츠 형식 변환 엔진(32) 그리고 트랜스코딩 엔진(33)의 세가지 주요 부분을 포함한다.

판단 엔진(31)은 입력 컨텐츠(10)와 입력 컨텐츠의 연관 기술(메타데이터(20))을 받게 되며, 사용자 선호도(40)와 자원 제약조건(네트워크, 단말 등등(50))에 대한 다른 정보들이 또한 판단 엔진(31)으로 입력된다. 적응된 컨텐츠가 사용자에게 표현될 때 최상의 값 또는 질을 갖을 수 있도록 결정 엔진은 컨텐츠 기술, 사용자 선호도, 제약조건을 분석하고 형식 변환과 컨텐츠 트랜스코딩에 대한 최적의 결정을 한다.

컨텐츠 형식 변환 엔진(32)과 트랜스코딩 엔진(33)은 판단 엔진(31)의 지시에 따라 컨텐츠를 적응변환 하기 위한 구체적 기술(技術)을 포함한다. 컨텐츠가 형식의 변환 없이 적응변환 될 필요가 있다면 컨텐츠는 트랜스코딩 엔진(33)으로 직접 연결된다. 만일 컨텐츠의 형식이 변환될 필요가 있다면 컨텐츠는 형식 변환 엔진(32)으로 연결되고, 다시 요구되는 출력 비트 율로 적응시키기 위해 트랜스코딩 엔진(33)을 통과할 것이다.

컨텐츠 형식 변환 엔진(32)과 트랜스코딩 엔진(33)은 오프라인 또는 온라인 일 수 있다. 오프라인의 경우, 적응변환 이전에 형식 변환 엔진(32)은 각 컨텐츠를 다른 형식으로 변환을 하고 트랜스코딩 엔진(33)은 각 형식을 다른 질(또는 비트율)의 버전(version)으로 변환을 한다. 적응변환 과정에서, 판단 엔진(31)은 적응변환 된 출력 컨텐츠을 얻기 위해 각 입력 컨텐츠에 대해 단지 특정 형식이나 질의 적절한 버전만을 선택할 뿐이다. 온라인의 경우에는 판단 엔진(31)은 입력 컨텐츠에 대한 적절한 형식을 알아야 하고 그때 입력 컨텐츠에 대한 트랜스코딩 형태와 수준을 또한 알아야 한다. 이 경우에 형식 변환 엔진(32)과 트랜스코딩 엔진(33)은 실시간 변환 요구를 만족시키기 위해 높은 계산 효율성을 가져야만 한다.

상기 시스템에서 사용자 선호도의 명시와 적용을 위해 선호도 정보는 XML(eXtended Markup Language)과 같은 구조화된 형태로 표현될 필요가 있다. 표 1은 본 발명에서 제안한 형식 변환 사용자 선호도 기술(40)을 XML 형식으로 표현한 것이다.

상기 본 발명의 구성에 의하면, 사용자의 선호도를 컨텐츠의 형식 변환 과정에 적용함으로써, 단말 및 네트워크의 특성 뿐만 아니라 사용자의 개인적 형식 변환 선호 특성에 따라 해당 컨텐츠의 최적화된 형식 변환을 가능하게 함으로써, 범용적 멀티미디어 접근을 효과적으로 달성할 수 있도록 한다. 이로써 특정 컨텐츠 형식을 선호하는 사용자가 일반 자원할당에서 소할 수 없었던 컨텐츠 형식을 사용자 선호대로 소비하는 것이 가능하게 되었다. 한 예로 본 발명은 특정 형식을 소비못하는 시각 또는 청각장애 사용자에게 형식 선택권을 부여하여 유용하게 이용될 수 있다. 또한 본 발명은 미디어 국제 표준인 MPEG-7 및 MPEG-21의 디지털 아이템 적응 변환 부분의 원리에도 부합하기 때문에 차후에 이러한 시스템과의 호환성을 제공받을 수 있다.

Claims (11)

1. 사용자의 형식 변환 선호도에 따라 컨텐츠의 형식을 적응 변환하는 방법에 있어서,

   (가) 입력 컨텐츠와 입력 컨텐츠 기술(記述, 메타 데이터)을 입력 받는 제1 단계

   (나) 형식 변환 사용자 선호도 및 네트워크 또는 단말의 제약 조건을 입력 받는 제2 단계

   (다) 입력 컨텐츠, 입력 컨텐츠 기술, 형식 변환 사용자 선호도, 제약 조건들을 입력으로 하여 컨텐츠 형식을 적응 변환 하는 제3 단계

   (라) 형식 변환된 컨텐츠를 출력 컨텐츠로 내보내는 제4 단계를

   포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
2. 제 1 항에 있어서, 컨텐츠 형식을 적응 변환하는 역할을 수행하는 시스템이 판단 엔진, 컨텐츠 형식 변환 엔진, 컨텐츠 트랜스코딩 엔진을 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
3. 제 1 항에 있어서, 상기 사용자의 형식 변환 선호도는 각 형식 변환의 순서와 가중치로 표현되며, 미리제시된 XML 같은 구조화된 결정된 형태로 입력되는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
4. 제 3 항에 있어서, 형식 변환 사용자 선호도가 일반 컨텐츠 형식 변환 사용자 선호도와 특정 컨텐츠 형식 변환 사용자 선호도를 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
5. 제 4 항에 있어서, 일반 컨텐츠 형식 변환 사용자 선호도와 특정 컨텐츠 형식 변환 사용자 선호도가 비디오 형식 변환 선호도, 이미지 형식 변환 선호도, 오디오 형식 변환 선호도, 텍스트 형식 변환 선호도를 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
6. 제 5 항에 있어서, 비디오 형식 변환 사용자 선호도가 비디오에서 이미지로의 형식 변환 선호도, 오디오로의 형식 변환 선호도, 텍스트로의 형식 변환 선호도, 무변환 선호도를 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
7. 제 5 항에 있어서, 이미지 형식 변환 사용자 선호도가 이미지에서 오디오로의 형식 변환 선호도, 텍스트로의 형식 변환 선호도, 무변환 선호도를 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
8. 제 5 항에 있어서, 오디오 형식 변환 사용자 선호도가 텍스트로의 형식 변환 선호도, 무변환 선호도를 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
9. 제 5 항에 있어서, 텍스트 형식 변환 사용자 선호도가 오디오로의 형식 변환 선호도, 무변환 선호도를 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
10. 컨텐츠 형식 적응 변환 방법에 있어서,

    (가) 판단 엔진이 입력 컨텐츠와 입력 컨텐츠 기술을 이용하여 중첩된 컨텐츠 모델을 예측하는 제1 단계와,

    (나) 단말 및 네트워크 제약 조건을 이용하여 예측된 출력 컨텐츠 값을 형식 변환 사용자 선호도를 이용하여 새로운 컨텐츠 값을 생성하는 제2 단계와,

    (다) 새로운 컨텐츠 값들 가운데 출력 컨텐츠의 최대값을 검출하는 제 3단계와,

    (라) 동적 프로그래밍 기법을 이용하여 자원을 할당하는 제4 단계와,

    (마) 검출된 출력 컨텐츠 값을 컨텐츠 형식 변환 엔진 및 컨텐츠 트랜스코딩 엔진에 전달하는 제5 단계를

    포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.
11. 제 10 항에 있어서, 새로운 컨텐츠 값은 사용자에 의해 주어진 변환 순서와 변환 중요도(또는 가중치)가 있는 요소의 함수로써, 입력 컨텐츠의 원래 형식에서적응된 버전의 형식으로 변환의 우선순위와 중요도를 고려한 컨텐츠의 새로운 예측 컨텐츠 값이 되는 과정을 포함하는 것을 특징으로 하는 컨텐츠 형식 적응 변환 방법.