KR101418951B1 - 멀티미디어 메시징 서비스의 비디오 적응 방법 및 시스템 - Google Patents

멀티미디어 메시징 서비스의 비디오 적응 방법 및 시스템 Download PDF

Info

Publication number
KR101418951B1
KR101418951B1 KR1020107007610A KR20107007610A KR101418951B1 KR 101418951 B1 KR101418951 B1 KR 101418951B1 KR 1020107007610 A KR1020107007610 A KR 1020107007610A KR 20107007610 A KR20107007610 A KR 20107007610A KR 101418951 B1 KR101418951 B1 KR 101418951B1
Authority
KR
South Korea
Prior art keywords
media
adaptation
output
input media
video
Prior art date
Application number
KR1020107007610A
Other languages
English (en)
Other versions
KR20100061728A (ko
Inventor
리차드 엘리엇 노턴
프랑시스 로저 라봉뜨
조제프 레오 끌로드 마리오 라발리에르
Original Assignee
밴트릭스 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 밴트릭스 코오퍼레이션 filed Critical 밴트릭스 코오퍼레이션
Publication of KR20100061728A publication Critical patent/KR20100061728A/ko
Application granted granted Critical
Publication of KR101418951B1 publication Critical patent/KR101418951B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58—Message adaptation for wireless communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

프레젠테이션을 포함하는 MMS(multimedia messaging service) 메시지에 포함되어 있는 미디어를, 프레젠테이션에서 얻은 정보로부터 논리 타임라인을 생성하고, 논리 타임라인으로부터 적응 파이프라인을 생성하고, 적응 파이프라인을 실행시켜, 오디오/비디오 파일 또는 스트림과 같은 단일 미디어 포맷으로 적응시키기 위한 장치 및 시스템이 제공된다.

Description

멀티미디어 메시징 서비스의 비디오 적응 방법 및 시스템{METHOD AND SYSTEM FOR MULTIMEDIA MESSAGING SERVICE (MMS) TO VIDEO ADAPTATION}
본 발명은 멀티미디어 메시징 서비스(MMS: multimedia messaging service)에 관한 것으로, 더 구체적으로, MMS 메시지에 포함된 미디어를 단일 미디어로의 적응기법에 관한 것이다.
본 PCT 출원은 2007년 9월 10일자로 출원한 미국 가출원 번호 60/971,111호(발명의 명칭: "MEDIA MESSAGING SERVICE (MMS) TO VIDEO ADAPTATION") 및 2008년 5월 10일자로 출원한 미국 특허출원 번호 12/118,690호(발명의 명칭: "METHOD AND SYSTEM FOR MULTIMEDIA MESSAGING SERVICE (MMS) TO VIDEO ADAPTATION")의 이익을 주장한다.
예를들어, http/www.openmobilealliance.org/Technical/release_program/ mms_v1_2.aspx의 URL에서 입수가능한, OMA 멀티미디어 메시징 서비스 규격 (승인버전 1.2, 2005년 5월, Open Mobile Alliance, OMA-ERP-MMS-V1_2-20050429-A.zip)에 기재된 바와 같이, 멀티미디어 메시징 서비스(MMS)는 주로 무선 네트워크를 통해 텍스트, 오디오, 정지영상, 및 동영상을 비롯한 다양한 형태의 데이터의 피어-투-피어(peer-to-peer) 및 서버-투-클라이언트(server-to-client) 전송방법들을 제공한다.
MMS가 그와 같은 데이터를 캡슐화(encapsulation)하기 위한 표준방법들을 제공하지만, 데이터의 타입은 평문, 3GP 비디오 및 오디오/음성, 합성 오디오용 SP-MIDI, JPEG 정지영상과 같은 많은 표준 포맷들 중 하나로 코팅될 수 있다 (이들에 대한 상세한 내용은 http://www.3gpp.org/ftp/Specs/html-info/26140.htm의 URL에서 입수가능한, 멀티미디어 메시징 서비스, 미디어 포맷 및 코드, 3GPP TS 26.140, V7.1.0 (2007-06)을 참조).
도 1은 발신 노드(102), 서비스 전달 플랫폼(104), 목적지 노드(106), 및 적응 엔진(108)을 포함하는 MMS 시스템 구성(100)의 일 예를 보여준다. 발신 노드(102)는 "A" 네트워크(110)를 통해 서비스 전달 플랫폼(104)과 통신할 수 있다. 유사하게, 목적지 노드(106)은 "B" 네트워크(112)를 통해 서비스 전달 플랫폼(104)과 통신할 수 있다. "A" 네트워크 및 "B" 네트워크는 가능한 일련의 연결성(connectivity)을 보여주는 예시에 불과하며, 많은 다른 구성들이 또한 가능하다. 예를 들면, 발신 노드(102) 및 목적지 노드(106)는 단일 네트워크를 통해 서비스 전달 플랫폼(104)과 통신할 수 있으며, 발신 노드(102)는 네트워크 등의 개입없이 서비스 전달 플랫폼(104)과 직접적으로 연갈될 수 있다.
적응 엔진(108)은 도 1에 도시된 바와 같이 링크(114)를 통해 서비스 전달 플랫폼(104)과 직접적으로 연결되거나, 네트워크를 통해 서비스 전달 플랫폼(104)과 연결되거나, 서비스 전달 플랫폼(104)에 내장될 수 있다.
일반적인 경우에, 발신 노드(102)는 목적지 노드(106)로 예정된 (멀티미디어) 메시지를 송신할 수 있다. 상기 메시지는 "A" 네트워크(110)를 통해 서비스 전달 플랫폼(104)으로 전달되며, 서비스 전달 플랫폼(104)으로부터 "B" 네트워크(112)를 통해 목적지 노드(106)로 송신된다. 발신 노드(102) 및 목적지 노드(106)는 예를 들어 무선 장치일 수 있으며, 이 경우, "A" 네트워크(110) 및 "B" 네트워크(112)는 무선 네크워크일 수 있으며, 서비스 전달 플랫폼(104)은 멀티미디어 메시지 전달 서비스를 제공할 수 있다.
다른 예로서, 발신 노드(102)는 데이터 네트워크를 통해 서비스 전달 플랫폼(104)과 연결된 컨텐츠 제공자의 서버일 수 있다. 즉, "A" 네트워크(110)는 인터넷일 수 있으며, "B" 네트워크(112)는 무선 장치일 수 있는 목적지 노드(106)와 연계된 무선 네트워크일 수 있다.
더 일반적인 경우에, 목적지 노드(106)의 성능(capability)은 발신 노드(102)로부터 송신된 형태로 메시지를 수신, 디코딩 또는 디스플레이할 수 있는 능력을 가지고 있지 않을 수 있다. 목적지 노드(106)가 메시시를 처리하기 위해서는, 목적지 노드(102)로부터 수신된 메시지는 목적지 노드(106)로 전달되기 전에 적응 엔진(108)에서 변경될 수 있다.
OMA(Open Mobile Alliance)가 제안한 "표준 코딩 인터페이스"는 http:// www.openmobilealliance.org/Technical/release_program/sti_v10.aspx의 URL에서 입수가능한 OMA자료인 OMA-AD-STI-V1_0-20070515-A "표준 트랜스코딩 인터페이스를 이용하는 환경의 구조"에 기재된 바와 같이 MMS용 메시지 적응에 대한 방안을 표준화하기 위한 프레임워크를 제공한다.
도 1의 구성예에서, 메시지 적응이 필요하다고 가정할 경우, 발신 노드(102)로부터 목적지 노드(106)로의 메시지 송신은 다음과 같은 다섯 단계를 포함한다.
단계 1:
"소스 메시지"가 발신 노드(102)로부터 서비스 전달 플랫폼(104)으로 송신된다.
단계 2:
서비스 전달 플랫폼(104)은, 예를 들어, 목적지 노드(106)에 직접 문의(interrogation)하거나 성능 데이터베이스를 참고하여 목적지 노드(106)의 성능을 판단한다.
단계 3:
서비스 전달 플랫폼(104)은 원래의 "소스 메시지" 및 목적지 노드(106)의 성능의 설명을 포함하는 요구를 적응 엔진(108)으로 송신한다.
단계 4:
적응 엔진(108)은 "소스 메시지"를 "적응된 메시지"로의 적응을 수행한다.
단계 5:
적응 엔진(108)은 "적응된 메시지"를 서비스 전달 플랫폼(104)으로 되돌려 보내며, 서비스 전달 플랫폼(104)은 "적응된 메시지"를 목적지 노드(106)로 전달한다.
상술한 OMA 멀티미디어 메시징 서비스 규격(승인 버전 1.2 2005년 5월)에 기재된 "표준 코딩 인터페이스"는 무선 장치들로 예정된 메시지들을 트랜스 코딩하기 위한 프레임워크를 제공하지만, 특정 타입의 목적지 노드들 또는 서비스들을 위한 적응 방법들을 가지는 적응 엔진을 개발할 필요성이 여전히 남아있다.
본 발명의 목적은 종래 기술의 단점들을 회피하거나 완화할 수 있는 멀티미디어 메시징 서비스(MMS)의 비디오 적응를 위한 개선된 방법 및 시스템을 제공하는 것이다.
본 발명의 일측면에 따르면, 프레젠테이션 및 다수의 입력 미디어를 포함하는 멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법에 있어서,
(a) 상기 프레젠테이션을 분석하는 단계;
(b) 상기 분석한 프레젠테이션으로부터 상기 다수의 입력 미디어의 논리 타임라인을 생성하는 단계;
(c) 상기 논리 타임라인으로부터 적응 파이프라인을 생성하는 단계; 및
(d) 상기 적응 파이프라인을 실행하여 상기 출력 단일 미디어를 생성하는 단계를 포함하는 멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법을 제공한다.
상기 (a) 단계는, 상기 프레젠테이션을 상기 다수의 입력 미디어 각각의 시간(times) 및 기간(durations)을 나타내는 요소들로 분해하는 단계를 포함한다.
상기 (b) 단계는,
(i) 상기 입력 미디어 각각의 시작 시간 및 기간을 결정하는 단계;
(ii) 상기 다수의 입력 미디어에서 텍스트 미디어의 존재를 확인하는 단계;
(iii) 상기 텍스트 미디어를 제외한 모든 입력 미디어를 상기 논리 타임라인에 삽입하는 단계; 및
(iv) 상기 (iii) 단계 이후에, 상기 텍스트 미디어를 상기 논리 타임라인에 삽입하는 단계를 포함한다.
상기 (c) 단계는, 상기 논리 타임라인의 순서에 맞춰 상기 적응 파이프라인의 형태로 일련의 개별 적응 명령 단계들을 생성하는 단계를 포함한다. 바람직하게, 상기 개별 적응 명령 단계들은, 상기 출력 단일 미디어의 결과를 낳는, 상기 논리 타임라인의 순서로 수행될 동작들을 정의하는 단계를 포함한다. 상기 (d) 단계는, 상기 출력 단일 미디어의 결과를 낳는 상기 입력 미디어 상에 상기 개별 적응 명령 단계들을 실행하는 단계를 포함한다.
편의상, 상기 개별 적응 명령 단계들 각각은,
트랜스코딩을 위한 하나 또는 그 이상의 입력 미디어를 정의하는 단계;
일련의 트랜스코딩 파라미터들을 이용하여 하나 또는 그 이상의 입력 미디어에 대한 트랜스코딩 동작을 정의하는 단계; 및
상기 트랜스코딩 동작의 결과에 대하여 각각의 목적지 출력 미디어를 정의하는 단계를 포함한다.
본 발명의 일실시에서, 상기 각각의 목적지 출력 미디어는 출력 단일 미디어이다. 편의상, 상기 (d) 단계는 상기 각각의 목적지 출력 미디어를 상기 출력 단일 미디어로 병합하는 단계를 포함한다.
본 발명의 일실시예에서, 상기 멀티미디어 메시지는 MMS (multimedia messaging service) 메시지이다.
상술한 방법에서, 상기 출력 단일 미디어는, 오디오 파일, 비디오 스트림을 포함하는 비디오 파일, 또는 오디오 및 비디오 스트림을 포함하는 결합된 오디오 및 비디오 파일 중 하나이다.
또한, 상기 출력 단일 미디어는, 오디오 스트림, 비디오 스트림, 또는 결합된 오디오 비디오 스트림 중 하나이다.
상술한 방법에서, 상기 (d) 단계는 상기 다수의 입력 미디어의 텍스트 미디어를 그래픽 표현으로 변환하는 단계를 포함하며, 상기 (d) 단계는 상기 비디오 파일 또는 상기 결합된 오디오 및 비디오 파일의 상기 비디오 스트림에 각각 상기 그래픽 표현을 오버레이시키는 단계를 더 포함한다.
유사하게, 상기 (d) 단계는 상기 다수의 입력 미디어의 이미지 미디어를 비디오 표현으로 변환하고, 상기 비디오 표현을 상기 비디오 파일 또는 상기 결합된 오디오 및 비디오 파일의 상기 비디오 스트림으로 각각 삽입하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 프레젠테이션을 포함하는 MMS(multimedia messaging service) 메시지에 포함되어 있는 다수의 입력 미디어를 출력 단일 미디어로 적응시키기 위한 방법에 있어서,
(a) 상기 프레젠테이션을 분석하는 단계;
(b) 상기 분석한 프레젠테이션으로부터 논리 타임라인을 생성하는 단계;
(c) 상기 논리 타임라인으로부터 적응 파이프라인을 생성하는 단계; 및
(d) 상기 적응 파이프라인을 실행하여 상기 출력 단일 미디어를 생성하는 단계를 포함하는 다수의 입력 미디어를 출력 단일 미디어로 적응시키기 위한 방법을 제공한다.
상기 (a) 단계는, 상기 프레젠테이션을 상기 다수의 입력 미디어 각각의 시간 및 기간을 나타내는 요소들로 분해하는 단계를 포함한다.
상기 (b) 단계는,
(i) 상기 입력 미디어 각각의 시작 시간 및 기간을 결정하는 단계;
(ii) 상기 다수의 입력 미디어에서 텍스트 미디어의 존재를 확인하는 단계;
(iii) 상기 텍스트 미디어를 제외한 모든 입력 미디어를 상기 논리 타임라인에 삽입하는 단계; 및
(iv) 상기 (iii) 단계 이후에, 상기 텍스트 미디어를 상기 논리 타임라인에 삽입하는 단계를 포함한다.
상기 (c) 단계는, 상기 논리 타임라인의 순서에 맞춰 상기 적응 파이프라인의 형태로 일련의 개별 적응 명령 단계들을 생성하는 단계를 포함한다.
상기 개별 적응 명령 단계들은, 상기 출력 단일 미디어의 결과를 낳는, 상기 논리 타임라인의 순서로 수행될 동작들을 정의하는 단계를 포함한다.
상기 (d) 단계는, 상기 출력 단일 미디어의 결과를 낳는 상기 입력 미디어 에 대해 상기 개별 적응 명령 단계들을 실행하는 단계를 포함한다.
다수의 입력 미디어를 포함하는 멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 미디어 적응 시스템에 있어서,
상기 멀티미디어 메시지의 프레젠테이션을 분석하는 분석 모듈;
상기 분석한 프레젠테이션으로부터 상기 입력 미디어의 논리 타임라인을 생성하는 타임라이닝 모듈;
상기 논리 타임라인으로부터 적응 파이프라인을 생성하는 파이프라이닝 모듈; 및
상기 적응 파이프라인을 실행하여 상기 출력 단일 미디어를 생성하는 파이프라인 실행 모듈을 포함하는 미디어 적응 시스템을 제공한다.
상기 분석 모듈은, 상기 프레젠테이션을 상기 멀티미디어 메시지의 입력 미디어 각각의 시간 및 기간을 나타내는 요소들로 분해하는 수단을 포함한다.
상기 타임라이닝 모듈은,
(i) 상기 입력 미디어 각각의 시작 시간 및 기간을 결정하기 위한 수단,
(ii) 상기 다수의 입력 미디어에서 텍스트 미디어의 존재를 확인하기 위한 수단,
(iii) 상기 텍스트 미디어를 제외한 모든 입력 미디어를 상기 논리 타임라인에 삽입하기 위한 수단, 및
(iv) 상기 텍스트 미디어를 상기 논리 타임라인에 삽입하는 수단을 포함한다.
상기 파이프라이닝 모듈은, 상기 논리 타임라인의 순서에 맞춰 적응 파이프라인의 형태로 일련의 개별 적응 명령 단계들을 생성하는 수단을 포함한다.
상기 파이프라인 실행 모듈은, 상기 출력 단일 미디어의 결과를 낳는 상기 입력 미디어에 대해 상기 개별 적응 명령 단계들을 실행하는 수단을 포함한다.
상술한 방법의 단계들을 수행하하도록 저장된 컴퓨터 코드 명령들을 포함하는 컴퓨터 판독가능 매체가 제공된다.
이하, 본 발명의 실시예들을 첨부된 도면들을 참조하여 예시적으로 설명하기로 한다.
도 1은 종래 기술에 따른 MMS 시스템 구성(100)의 일 예를 보여준다.
도 2는 본 발명의 일실시예에 따른, 적응 방법(224)을 포함하며, 예시적인 입력된 MMS 메시지(220)의 단일 출력 오디오/비디오 미디어(204)로의 미디어 적응을 보여주는 블록도(200)이다.
도 3은 MMS 메시지(202)의 프레젠테이션(208)에 해당하는 SMIL 코드 세그먼트를 보여준다.
도 4는 적응 방법(224)의 단계들의 흐름도이다.
도 5는 적응 방법(224) 중 404 단계인 "논리 타임라인 생성" 단계의 상세한 흐름도이다.
도 6은 도 3의 예시적인 프레젠테이션(208)에 대응하는 완성된 예시적인 논리 타임라인(600)을 보여준다.
도 7은 예시적인 논리 타임라인(600)으로부터 도출된 예시적인 적응 파이프라인(700)을 보여준다.
도 8은 적응 방법(224) 중 406 단계인 "적응 파이프라인 생성" 단계의 상세한 흐름도이다.
도 9는 본 발명의 바람직한 실시예에 따른 개선된 미디어 적응 시스템(900)을 보여준다.
본 발명은 MMS 메시지들 및 MMS 메시지에 포함된 "미디어"의 처리에 관한 것이다. 단일 미디어는, 읽혀지고, 청취되고 또는 보여질 정보를 나타내는 데이터의 블록이다. "미디어"라는 용어는 종종 더 넓게 적용되기 때문에, 본 명세서에서 "단일 미디어"라는 용어는 다른 단일 미디어를 포함하지 않는 미디어(데이터의 블록)을 가르키는 것으로 사용될 것이다. 즉,
텍스트 단일 미디어 포맷은 텍스트만을 포함할 수 있으며,
이미지 단일 미디어 포맷은 하나 또는 그 이상의 정지영상 또는 동영상만을 포함할 수 있으며,
오디오/비디오 단일 미디어 포맷은 (통상적으로) 오디오/비디오만을 포함할 수 있으며,
오디오 단일 미디어 포맷은 오디오 클립(여기서는 오디오, 음성 및 합성 오디오를 의미함)만을 포함할 수 있다.
이러한 점으로부터, 동영상들은 비디오와 동등한 것으로 여겨진다. 정지영상들은 이미지로 여겨진다.
간단하게 설명하면, 본 발명의 목적은 오디오 클립들, 비디오 클립들, 정지영상들 또는 동영상들, 및 텍스트와 같은 미디어를 포함할 수 있는 입력된 MMS 메시지를 단일 출력 오디오/비디오 미디어로 적응하는 데 있다. 적응된 단일 오디오/비디오 미디어는 이후 특정 포맷 또는 캡슐화로 목적지로 전달될 수 있다.
"미디어" 및 (더 구체적으로) "단일 미디어"라는 용어는 MMS 메시지에 데이터의 명확한 요소 또는 블록을 기술하는데 사용될 것이다. 따라서, 사운드를 포함한 동영상들을 제공하도록 코딩된 블록을 오디오/비디오 미디어로 명명될 수 있으며, 정지영상(들) 또는 동영상(들)을 제공하도록 코딩된 블록은 이미지 미디어로 명명될 수 있으며, 텍스트 블록은 텍스트 미디어로 명명될 수 있다. 따라서, 전반적으로 MMS 메시지들은 하나 또는 그 이상의 "단일 미디어"를 캡슐화하는 "컨테이너 미디어"로 여겨질 수 있다.
MMS 메시지에 포함된 단일 미디어 블록들은 순차적으로 저장된다. MMS 메시지는 "미디어 프레젠테이션" 또는 간단히 "프레젠테이션"이라고 불리우는 특정 타입의 미디어를 선택적으로 포함할 수 있다. 프레젠테이션의 목적은 참조하는 단일 미디어의 프레젠테이션의 시퀀싱(sequencing), 오더링(ordering) 및 타이밍(timing)의 측면에서, 메시지에 포함된 나머지 단일 미디어 블록들 사이의 관계를 나타내는 것이다. 다시 말하면, 프레젠테이션은 각각의 단일 미디어가 MMS 내에서 서로간의 관계에서 언제 그리고 얼마나 오랫동안 제공될지를 나타낸다.
도 2는 본 발명의 일실시예에 따른, 예시적인 입력된 MMS 메시지(202)의 단일 출력 오디오/비디오 미디어(204)로의 미디어 적응을 보여주는 블록도(200)이다.
입력된 MMS 메시지(202)는 "MMS 헤더"(206), "프레젠테이션"(208), 오디오부(210a) 및 비디오부(210v)를 포함하는 "오디오/비디오 미디어"(210), "이미지 미디어"(212), "오디오 미디어"(214), 및 "텍스트 미디어"(216)를 포함한다.
단일 출력 오디오/비디오 미디어(204)는 오디오부(204a) 및 비디오부(204v)를 포함한다. 단일 출력 오디오/비디오 미디어(204)의 오디오부(204a)는 적응된 오디오부(218)를 포함한다. 단일 출력 오디오/비디오 미디어(204)의 비디오부(204v)는 적응된 비디오부(220) 및 텍스트 오버레이를 가지는 적응된 이미지 미디어를 포함한다.
입력된 MMS 메시지(202)는 적응 엔진(108)(도 1 참조)에 로딩된 혁신적인 소프트웨어에 의해 실행될 수 있는 적응 방법(224)을 가지는 단일 출력 오디오/비디오 미디어(204)로 변환되고 적응된다.
예시적인 입력된 MMS 메시지(202)는 상술한 OMA 멀티미디어 메시징 서비스 규격(승인 버전 1.2, 2005년 5월)에 따른 표준 MMS 메시지일 수 있으며, 단일 출력 오디오/비디오 미디어(204)는 정해진 포맷에 따른 미디어 파일일 수 있지만, MMS 메시지의 단일 미디어 포맷으로의 변환 또는 적응을 가능하게 하는 혁신적인 적응 방법(224)이다.
"MMS 헤더"(206)는 메시지가 포함하고 있는 데이터에 관한 세부내용뿐만 아니라 메시지의 발신자, 메시지의 목적지와 같은 입력된 MMS 메시지(202)에 관한 일반적인 정보를 제공한다. MMS 헤더(206)는 또한 메시지에서 프레젠테이션, 본 예에서, "프레젠테이션"(208)의 존재를 확인한다.
일반적으로 말하면, "프레젠테이션"(208)에 포함된 정보는 목적지 장치에서 메시지 컨텐츠(개별 "미디어")를 나타내기 위한 레시피를 포함한다. 본 예에서, "프레젠테이션"(208)은 다음과 같은 시퀀스를 제안한다. 즉,
- 먼저 "오디오/비디오 미디어"(210)를 재생하고,
- "이미지 미디어"(212), "오디오 미디어"(214), 및 "텍스트 미디어"(216)를 동시에 재생
이하, 예시적인 프레젠테이션(208)을 더 상세하게 설명하기로 한다(도 3 참조).
"오디오/비디오 미디어"(210), "이미지 미디어"(212), "오디오 미디어"(214), 및 "텍스트 미디어"(216)는 각각 (사운드를 포함하는) 비디오 클립을 나타내는 코딩된 데이터, 정지영상, 오디오 클립, 및 표시할 텍스트를 포함하는 데이터 블록들일 수 있다. 메시지는 이러한 "미디어"를 물리적으로 포함할 수 있으며, 또는 적응 방법(224)을 실행하는 적응 엔진(108)에 의해 요구될 때 물리적으로 획득할 실제 데이터 블록들에 대한 참조를 포함할 수 있다.
도 2에 도시된 입력된 MMS 메시지(202)는 입력된 MMS 메시지(202)를 단일 출력 오디오/비디오 미디어(204)로 적응시키는 혁신적인 적응 방법(224)을 설명하기 위하여 "단일 미디어"의 각 타입의 일 예를 보여주는 예시에 불과하다. 실제로, 더 낮거나 더 높은 복잡성을 가지는 MMS 메시지들은 또한 단일 오디오/비디오 미디어로 적응될 수 있다.
MMS 메시지가 발신 장치(예를 들어, 발신 노드(102), 도 1 참조)로부터 목적지 장치(목적지 노드(106))로 송신되면, 메시지는 발신 장치의 성능을 이용하여 먼저 생성된다. 이 장치는 목적지 장치의 성능이 무엇인지 판단하는 수단을 가지고 있지 않을 수 있다.
이러한 형태의 트래픽(예를 들어, 서비스 전달 플랫폼(104))을 관리하는 실체(entity)는 MMS 메시지가 발송될 목적지 장치를 확인할 수 있는 능력을 가지고 있다. 상기 장치에게 그의 능력에 대해 질의를 할 수 있는 능력을 가질 수 있다. MMS 메시지의 컨텐츠가 목적지 장치의 성능과 매칭되지 않으면, 적응이 요구된다. 발송 장치 및 수신 장치 모두가 MMS 메시지를 다룰 수 있다면, 적응의 결과는 또한 일반적으로 MMS 메시지이지만 목적지 장치에 적합한 포맷으로의 적응에 의해 변경되었던 컨텐츠(그 안에 포함된 미디어)를 가지고 있는 MMS 메시지이다.
본 발명은 입력된 MMS 메시지의 적응이 요구되어 단일 오디오/비디오 미디어 출력의 결과를 낳는 특정 경우와 관련되어 있다. 이것은 목적지 장치가 몇몇 단일 미디어를 포함하는 MMS 메시지를 다룰 수 있는 성능을 가지고 있지 않지만 하나 또는 그 이상의 오디오/비디오 단일 미디어 포맷들을 다룰 수 있는 능력을 가지고 있을 때 요구된다.
입력된 MMS 메시지의 단일 출력 오디오/비디오 미디어로의 적응은 몇 가지 고도의 단계들을 포함한다.
- 입력된 MMS 메시지의 분석(parsing)
- 입력된 프레젠테이션의 분석. 어떠한 것도 존재하지 않을 경우, 디폴트 프레젠테이션이 미디어의 파라미터들로부터 생성된다.
- MMS 메시지의 컨텐츠가 어떻게 목적지(즉, 메시지를 재생하기를 원하는 장치)로 제공되어야 하는지에 관한 프레젠테이션의 의도를 나타내는 논리 타임라인의 생성.
- 논리 타임라인을 준수하는 단일 출력 오디오/비디오 미디어를 생성할 필요가 있는 적응들을 수행.
입력된 MMS 메시지(예를 들어, 입력된 MMS 메시지(202), 도 2 참조)의 분석은 메시지를 하부 구성요소들(본 예에서, MMS 헤더(206); 프레젠테이션(208); 오디오부(210a) 및 비디오부(210v)를 포함하는 오디오/비디오 미디어(210); 이미지 미디어(212); 오디오 미디어(214); 및 텍스트 미디어(216)를 포함하는 하부 구성요소들)로의 분해를 요구한다. 각각의 하부 구성요소들은 MMS 메시지에 포함된 미디어 중 하나에 대응한다. 메시지 분석 단계의 최종 결과는 MMS 메시지의 구조를 나타내는 (예를 들어, 컴퓨터 메모리에 저장되어 있을 수 있는) 추상적인 데이터 구조(abstract data structure)이다.
프레젠테이션
앞서 설명한 바와 같이, MMS 메시지(예를 들어, 입력된 MMS 메시지(202))에 포함되어 있을 수 있는 프레젠테이션(208)은 목적지 장치에서 메시지 컨텐츠("미디어")를 제공하기 위한 레시피로 여겨질 수 있는 일련의 명령들을 포함한다. 적응 방법(224)은 프레젠테이션(208)에서 얻은 정보를 이용하여 적응 프로세스를 구동한다.
프레젠테이션(208)은 http://www.w3.org/TR/smil20/의 URL에서 입수가능한 SMIL(Synchronized Multimedia Integration Language) 2.0 Specification W3C Recommendation 07-January-2005에 기술된 SMIL 마크업 언어로 코딩된다.
도 3은 일 예로서 프레젠테이션(208)에 대응하는 SMIL 코드 세그먼트를 보여준다.
프레젠테이션(208)은 19 라인의 SMIL 코드를 포함한다. 01 라인은 코드를 SMIL 코드로 식별한다. 헤더(02-08 라인)는 "이미지" 영역(05 라인) 및 "텍스트" 영역(06 라인)에 대한 스크린 레이아웃 규격을 포함한다. 프레젠테이션의 "몸체"(09-18 라인)는 "파"(par)(병렬 단락) 블록들 내에 미디어 규격들을 포함한다.
제1 "파" 블록(10-12 라인)은 상기 비디오 소스("video1.3gp")가 "이미지" 영역에서 재생되는 0 초에서 8,000 밀리초(11 라인)까지의 8,000 밀리초 기간(10 라인)을 명시한다.
제2 "파" 블록(13-17 라인)은 세 개의 미디어가 제공되는 6,000 밀리초 기간(13 라인)을 명시한다. 즉,
0 초부터 6,000 밀리초(14 라인)까지 상기 오디오 소스("audio1.aac");
0 초부터 3,000 밀리초(15 라인)까지 상기 이미지 소스("image1.jpg"); 및
3,000 초부터 6,000 밀리초(16 라인)까지 상기 텍스트 소스("text1.txt")
프레젠테이션(208)은 혁신적인 적응 방법(204)의 기본 개념을 보여주기 위한 간단한 예이다. 더 복잡한 프레젠테이션들을 구성할 수 있으며, SMIL 언어는 프레젠테이션 요소들을 명시하는 데 사용될 수 있는 수 많은 추가적인 키워드들을 포함한다. 여기서 상세하게 설명하지는 않겠지만, 적응 방법(204)은 MMS 메시지의 프레젠테이션에서 명시될 수 있는 모든 특징을 구현하거나 디폴트 거동(default behavior)을 제공하게 될 것이다.
도 4는 "프레젠테이션 분석" 단계인 402 단계, "논리 타임라인 생성" 단계인 404 단계, "적응 파이프라인 생성" 단계인 406 단계, 및 "출력 단일 미디어 생성"단계인 408 단계를 포함하는 "적응 방법(224)의 단계들의 흐름도이다.
(프레젠테이션(208)과 같은) 프레젠테이션이 입력된 MMS 메시지에 존재하면, 이 프레젠테이션이 사용된다. 프레젠테이션이 존재하지 않으면, 전체 기간동안 입력된 MMS 메시지의 모든 단일 미디어를 순차적으로 간단히 제공하는 디폴트 프레젠테이션이 생성된다.
상기 정보를 프레젠테이션에 이용하면, 재생되어야 할 미디어의 순서 및 타이밍을 확인할 수 있다. 본 예에서, 연속적인 "파" 블록들은, 그 블록들이 참조하는 미디어가 어떻게 "재생"되어야 하는지에 관한 정보를 생성하는 프레젠테이션(208)의 SMIL 코드(10-17 라인, 도 3)에서 확인된다.
"프레젠테이션 분석" 단계인 402 단계에서, 프레젠테이션(208)의 이 정보는 입력된 MMS 메시지의 단일 미디어 각각의 시간 및 기간을 나타내는 요소들로 분해된다.
도 5는 (서브) 단계들, 즉 "시작 시간 및 기간 결정" 단계인 502 단계, "텍스트 미디어 식별" 단계인 504 단계, "텍스트를 제외한 모든 미디어 삽입" 단계인 506 단계, 및 "텍스트 미디어 삽입" 단계인 508 단계을 포함하는, 논리 타임라인이 생성되는 "논리 타임라인 생성" 단계인 404 단계의 상세한 흐름도이다.
논리 타임라인을 생성하기 위하여, 프레젠테이션을 "전체 기간 결정" 단계인 502 단계에서 검사하여, 프레젠테이션이 참조하는 각각의 단일 미디어의 시작 시간과 기간을 결정하여 충분한 기간의 빈 타임라인을 생성한다.
적응의 최종적인 목표는 단일 오디오/비디오 미디어임을 유의하여야 한다. 다음으로, "텍스트 미디어 식별" 단계인 504 단계에서, 논리 타임라인에 미디어를 삽입하는 처리 전에, 프레젠테이션을 분석하여 텍스트 미디어의 존재를 확인한다. 이는 비디오/이미지가 입력된 MMS 메시지에 존재하지 않을 경우 요구되는 곳에 비어있는 비디오가 삽입될 수 있도록 하기 위함이다. 이는 텍스트가 텍스트 오버레이의 형태로 출력 오디오/비디오 단일 미디어에 삽입될 수 있도록 한다. 비디오 텍스트 오버레이는 비디오의 존재를 요구한다는 것에 유의하여야 한다.
다음으로, "텍스트를 제외한 모든 미디어 삽입" 단계인 506 단계에서, 모든 오디오, 이미지, 및 비디오 미디어를 프레젠테이션에서 얻은 각각에 대한 시간 및 기간 규격을 이용하여 논리 타임라인 상에 삽입한다. 논리 타임라인 상에 미디어를 삽입시, 이미 삽입된 단일 미디어의 시작 시간 및 기간은 서로 정렬되도록 (동시에 시작하고 동일한 기간을 가지도록) 조정될 수 있다. 이와 같은 조정은 미디어가 하나 이상의 다른 미디어와 중첩되지 않도록 하기 위하여 필요할 수 있다. 이것은 요청된 적응을 최소한의 상호 의존성을 가지는 일련의 개별 적응으로서 수행할 수 있도록 하기 위함이며, 필요시, 침묵(비어있는 오디오) 및/또는 비어있는 비디오 프레임들(비어있는 비디오)을 삽입할 수 있도록 하기 위함이다.
따라서, 초기에, 입력된 MMS 메시지에서 얻은 모든 오디오, 이미지 및 비디오 단일 미디어는 논리 타임라인에 삽입된다.
마지막으로, 텍스트 미디어 삽입" 단계인 508 단계에서, 존재할 수 있는 텍스트 미디어를 삽입함으로써 논리 타임라인 생성을 완료한다.
결과적인 논리 타임라인은, 단일 미디어 세트들의 정렬된 시퀀스이며, 각각의 단일 미디어 세트는 오디오, 이미지 또는 비디오, 및 선택적으로는 텍스트 세그먼트로부터 각 타입 중 많아야 하나인 동시 세트(concurrent set)를 포함한다. "단일 미디어 세트"는 또한 입력된 MMS 메시지의 "입력 미디어"로 대략적으로 명명될 수 있다.
도 6은 예시적인 프레젠테이션(208)(도 3)에 대응하는 완성된 예시적인 논리 타임라인(600)을 보여준다. 논리 타임라인(600)의 스케일은 초단위로 표시된 시간 트랙(ime track)을 통해 제공된다. 논리 타임라인(600)은 오디오 트랙(604), 비디오/이미지 트랙(606), 및 텍스트 트랙(608)을 포함한다.
오디오 트랙(604)은 총 14초의 기간을 가지며, 세 개의 세그먼트, 즉 8초 기간의 "video1.3gp(audio part)" 세그먼트(610), 3초 기간의 "audio1.aac first 3 secs" 세그먼트(612), 및 3초 기간의 "audio1.aac last 3 secs" 세그먼트(614)을 포함한다.
비디오/이미지 트랙(606)도 총 14초의 기간을 가지며, 세 개의 세그먼트, 즉 8초 기간의 "video1.3gp (video part" 세그먼트(616), 3초 기간의 "image1.jpg" 세그먼트(618), 및 3초 기간의 "empty video" 세그먼트(620)을 포함한다.
텍스트 트랙(608)도 총 14초의 기간을 가지며, 두 개의 세그먼트, 즉 11초 기간의 블랭크 세그먼트(622) 및 3초 기간의 "text1.txt" 세그먼트(624)를 포함한다.
단일 미디어 세트들의 측면에서, 예시적인 논리 타임라인(600)은 세 개의 단일 미디어 세트들(SMS)을 포함한다.
- 8초의 "video1.3gp (audio part)" 세그먼트(610) 및 "video1.3gp (video part)" 세그먼트(616)를 포함하는 제1 (8초) SMS(626)
- 3초의 "audio1.aac first 3 secs" 세그먼트(612) 및 "image1.jpg" 세그먼트(618)를 포함하는 제2 (3초) SMS(628)
- 3초의 "audio1.aac last 3 secs" 세그먼트(614), "empty video" 세그먼트(620), 그리고 또한 3초의 "text1.txt" 세그먼트(624)를 포함하는 제3 (3초) SMS(630)
예시적인 논리 타임라인(600)은 502-508 (서브) 단계들을 수행함으로써 예시적인 프레젠테이션(208)(도 3)에 포함되어 있는 정보로부터 "논리 타임라인 생성"단계인 404 단계에서 생성하였다.
"시작 시간 및 기간 결정" 단계인 502 단계에서, 예시적인 시간 트랙(602)의 기간은 적어도 14,000 밀리초 (=14 초)인 예시적인 프레젠테이션(208)의 10 라인(기간=8,000 밀리초) 및 13 라인(기간=6,000 밀리초)으로부터 결정된다.
"텍스트 미디어 식별" 단계인 504 단계에서, 텍스트 미디어("text1.txt")에 대한 참조가 16 라인에서 예시적인 프레젠테이션(208)에서 발견된다.
"텍스트를 제외한 모든 미디어 삽입" 단계인 506 단계에서, 아래의 오디오 항목들이 예시적인 논리 타임라인(600)의 오디오 트랙(604)에 삽입된다. 즉,
8 초 동안 지속되는 (예시적인 프레젠테이션(208) 11 라인 참조) 오디오/비디오 미디어("video1.3gp")의 오디오부가 "video1.3gp (audio part)"(610)와 같이, 0 초 내지 8 초의 시간 범위에서 삽입되며,
6 초 동안 지속되는 (예시적인 프레젠테이션(208) 14 라인 참조) 오디오 미디어 블록("audio1.aac")이 "audio1.aac first 3 secs"(612) 및 "audio1.aac last 3 secs"(614)와 같이, 8 초 내지 11 초 및 11 초 내지 14 초의 시간 범위에서 삽입된다.
6 초의 오디오 미디어 블록("audio1.aac")은 이미지 및 비어있는 비디오 미디어와 정렬되도록 두 개의 3 초 부분들로 분리되어, 이후 오디오 및 비디오 트랙들을 단일 오디오/비디오 미디어로 결합하는 것이 용이하도록 한다는 것에 유의하여야 한다 (아래 참조).
계속해서 "텍스트를 제외한 모든 미디어 삽입" 단계인 506 단계에서, 아래의 비디오/이미지 항목들이 예시적인 논리 타임라인(600)의 비디오/이미지 트랙(606)에 삽입된다. 즉,
8 초(예시적인 프레젠테이션(208) 14 라인 참조) 동안 지속하는 오디오/비디오 미디어("video1.3gp")의 비디오부가 "video1.3gp (video part)"(616)와 같이, 0 초 내지 8 초의 시간 범위에서 삽입되며,
이 후, 3 초 동안 지속하는 (예시적인 프레젠테이션(208) 15 라인 참조) 이미지 미디어("image1.jpg")가 "image1.jpg"(618)과 같이, 8초 내지 11 초의 시간 범위에서 삽입된다.
오디오 트랙은 14 초이며 (앞서 설명한 바와 같이) 목표가 단일 오디오/비디오 미디어를 생성하는 것이기 때문에, 14 초의 비디오 트랙을 채우는 것 또한 필요할 것이다. 그러나, 11 초를 초과하는 비디오 또는 이미지는 예시적인 프레젠테이션(208)에 포함되어 있지 않다. 이러한 이유로, "empty video" 블록(620)이 11 초 내지 14 초의 시간 범위에서 텍스트 트랙에 삽입된다.
마지막으로, "텍스트 미디어 삽입" 단계인 508 단계에서, 3 초 동안 지속되는 (예시적인 프레젠테이션(208) 16 라인 참조) 텍스트 미디어("text1.txt")가 "text1.txt"(618)와 같이 8 초 내지 11 초의 시간 범위에서 텍스트 트랙에 삽입된다.
적응 방법(224)은 단지 본 발명의 더 용이한 이해를 도모하기 위하여 제시한 간단한 예시적인 프레젠테이션(208) 및 이에 대응하는 예시적인 논리 타임라인(600)에 제한되는 것으로 해석되어서는 아니된다.
적응 파이프라인을 생성하는 "적응 파이프라인 생성" 단계인 406 단계의 상세한 설명 전에, 적응 파이프라인의 개념을 간단히 설명한다.
적응 파이프라인은 각각 세 개의 구성요소들, 즉 입력 식별자들(참조된 미디어), 동작, 및 출력 식별자를 가지는 일련의 명령들을 포함한다.
적응 방법(224)의 마지막 단계 즉 "출력 단일 미디어 생성" 단계인 408 단계에서, 동적으로 구성된 적응 파이프라인의 일련의 명령들이 이러한 명령들을 수행하도록 프로그램될 수 있는 컴퓨터에서 간단하게 수행된다.
도 7은 예시적인 논리 타임라인(600)으로부터 얻은 예시적인 적응 파이프라인(700)을 보여준다.
"입력 식별자" 필드(702), "동작" 필드(704), 및 "출력 식별자" 필드(706)의 열들로 배열된 명령 필드들을 가지는 예시적인 적응 파이프라인(700)이 도시되어 있다.
명령은 명령 필드로의 진입으로 정의되며, "동작" 필드(704)는 참조가 "입력 식별자" 필드(702)에 표시되어 있는 미디어에 수행될 적응 동작을 가르키며, 동작은 참조 이름이 "출력 식별자" 필드(706)에 포함되어 있는 각각의 목적지 출력 미디어의 결과를 낳는다.
예시적인 적응 파이프라인(700)에서, 제1 명령 세트(708, 710, 712)는 예시적인 논리 타임라인(600)으로부터 직접 복사한 입력 식별자들(702 열)을 포함한다. 즉,
- 명령(708): "video1.3gp audio part) 및 video1.3gp (video part)" (610, 616)
- 명령(710): "audio1.aac first 3 secs 및 image1.jpg" (612, 618)
- 명령(712): "audio1.aac last 3 secs 및 empty video" (614, 620)
이러한 명령들의 적응 동작들(704 열)은 다음과 같다.
- 명령(708): "원시(raw) 오디오 및 원시 비디오로의 적응"
- 명령(710): "원시 오디오로의 적응 및 이미지로부터 원시 비디오 생성"
- 명령(712): "원시 오디오로의 적응 및 비어있는 비디오 생성"
이러한 적응 동작들에 의해 생성된 출력들은 소정의 별개의 임의 출력 식별자들(706 열)이다. 즉,
- 명령(708): "적응1"
- 명령(710): "적응2"
- 명령(712): "적응3"
예시적인 적응 파이프라인(700)의 네 번째 명령(714)은 다음을 포함한다.
- 입력 식별자들(702 열): "적응3 및 text1.txt"(624)
- 적응 동작(704 열): "텍스트 오버레이를 실행"
- 출력 식별자(706 열): "적응4"
예시적인 적응 파이프라인(700)의 처음 세 개의 적응 명령들(708-712)은 논리 타임라인에서 연속적으로 참조된 미디어를 입력 식별자들로 이용하고, 입력 미디어를 요구되는 대로 일반적인 형태(원시 오디오 및 원시 비디오)로 적응함으로써 예시적인 논리 타임라인(600)을 뒤따른다. 이는, 일반적인 용어로, 압축되거나 코딩된 오디오 및 비디오 파일들(예를 들어, .3gp 오디오 및 비디오 포맷, .aac 포맷)을 "익스플로딩"(exploding)하고, 정지영상(.jpg 포맷)으로부터 원시 비디오를 생성하고, 텍스트 오버레이의 삽입을 대비하여 비어있는 비디오를 생성하는 것을 포함한다.
네 번째 적응 명령(714)의 기능은 이전 명령("적응3")의 출력을 예시적인 논리 타임라인(600)에서 참조되었던 "text1.txt"(624) 미디어와 결합으로써 텍스트 오버레이를 수행한다. 다시 말하면, 네 번째 명령(714)은 오디오와 비어있는 비디오 클립만을 포함하는 "적응3"을 취하고 비디오 상에 "text1.txt"(624)로부터의 텍스트를 "페이트"(paint)한다(페이트된 텍스트를 포함하는 투명층을 부가한다).
본 예에는 제시하지 않지만, 비디오 상에 텍스트 오버레이를 수행할 수 있다. 그것은 비어있는 비디오일 필요는 없다.
예시적인 적응 파이프라인(700)의 다섯 번째 적응 명령(716)은 다음을 포함한다.
- 입력 식별자들(702 열): "적응1, 적응2 및 적응4"
- 적응 동작(열(704 열): "미디어를 교대로 병합"
- 출력 식별자(열(706 열): "적응5"
이 다섯 번째 적응 명령(716)은 단지 이전에 생성된 미디어("적응1", "적응2", "적응4")를 "적응5"로 명명된 단일 미디어로 연결한다. "적응3"은 비디오부에 텍스트 오버레이를 포함하고 있는 "적응4"와 효과적으로 대체되었기 때문에 포함되지 않는다.
예시적인 적응 파이프라인(700)의 마지막 명령(718)에서 최종 적응 동작인 "최종 포맷으로 적응"은 (원시) "적응5"로부터 포맷된 단일 오디오/비디오 미디어인 "최종 출력 단일 미디어"를 생성하는 데 사용된다. "최종 출력 단일 미디어"는 적응된 메시지를 수신할 목적지 노드(예를 들어, 도 1의 목적지 노드(106))의 성능을 매칭시키도록 설계된다.
예시적인 적응 파이프라인(700)은 실제적인 예를 보여주기 위하여 소정의 입력 미디어 포맷(.3gp, .aac, .jpg, .txt 등)으로 설명하였다. 이 예는 본 발명이 이러한 포맷들의 적응에 한정되는 것으로 해석되어서는 아니된다. 반면에, 본 발명의 명백한 목적은 MMS 메시지의 미디어에서 전달될 수 있는 모든 미디어 포맷들을 제공하고, 이것들을 단일 미디어, 예를 들어, 목적지 노드에 의해 요구될 수 있는 실제 포맷으로 인코딩된 단일 오디오/비디오 미디어로 적응하고 병합하는 것이다.
적응 파이프라인(예시적인 적응 파이프라인(700))의 예를 설명한 후, 적응 방법(224)(도 4) 중 "적응 파이프라인 생성" 단계인 406 단계를 일반적으로 설명하기로 한다.
도 8은 다음과 같은 단계들을 포함하는 "적응 파이프라인 생성" 단계인 406 단계의 상세한 흐름도이다.
802 단계 "현재 SMS 획득"
804 단계: "동작 생성"
806 단계 "텍스트 &! 비디오?"
808 단계 "비어있는 비디오 추가"
810 단계 "오디오/비디오를 원시 오디오/비디오로 익스플로딩"
812 단계 "이미지?"
814 단계 "이미지를 비디오로 변환"
816 단계 "파이프라인에 첨부"
818 단계 "텍스트?"
820 단계 "텍스트 오버레이 생성"
822 단계 "완료?"
824 단계 "적응들을 병합"
826 단계 "압축 및 포맷"
논리 타임라인(예를 들어, 예시적인 논리 타임라인(600))을 이용하여, "적응 파이프라인 생성" 단계인 406 단계는 적응 파이프라인을 함께 형성하는 일련의 개별 적응들을 생성한다. 상술한 바와 같이, 적응 파이프라인은 출력 단일 미디어인 최종 결과에 도달하는 데 요구되는 동작들을 포함하는 적응 명령들로 구성된다. 적응 파이프라인이 생성된 후, 적응 파이프라인에 포함된 적응 명령들은 "최종 단일 미디어 생성" 단계인 408 단계에서 순차적으로 실행된다 (아래 참조).
802-820 단계들은 논리 타임라인 중 하나의 SMS를 적응 파이프라인 중 해당하는 하나 또는 그 이상의 적응 명령들로 처리하기 위한 일련의 단계들이다. 이러한 일련의 단계들은 "완료"단계인 824 단계가 모든 단일 미디어 세트가 처리되었다는 것을 가르킬 때 까지 실행된다.
"현재 SMS 획득" 단계인 802 단계에서, 첫 번째 단일 미디어 세트가 루프의 첫 번째 반복에서 논리 타임라인으로부터 선택되고, 다음 SMS가 다음 반복에서 선택된다.
"동작 생성" 단계인 804 단계에서, 적응 동작은 현재 SMS와 함께 생성된다. 이 적응 동작은 아직 텍스트를 포함하고 있지 않다. 텍스트가 현재 SMS에 존재하는 경우는 이후에 설명하기로 한다.
"텍스트 &! 이미지 비디오?"("텍스트 존재, 비디오이미지 비존재")의 806 단계에서, 텍스트는 현재 SMS에 존재하나 비디오는 존재하지 않는지를 판단한다. 텍스트는 존재하지 않고 비디오는 존재하면 (806 단계에서 "아니오"), 810 단계를 수행한다. 텍스트는 현재 SMS에 존재하고 비디오는 존재하지 않으면(806 단계에서 "예"), "비어있는 비디오 추가" 단계인 808 단계를 수행하여 비어있는 비디오를 추가하는 단계가 현재 적응 동작의 일부로서 추가된다.
다음으로, "오디오/비디오를 원시 오디오/비디오로 익스플로딩" 단계인 810 단계에서, 원시 오디오 및/또는 비디오(압축되지 않은 형태의 오디오 및/또는 비디오)를 가지는 출력 단일 미디어를 생성하는 적응 동작이 추가된다.
"이미지?" 단계인 812 단계에서, 정지영상이 현재 SMS에 존재하는지 판단한다.
이미지가 발견되면(812 단계에서 "예"), "이미지를 비디오로 변환"하는 단계인 814 단계가 수행되어, 이미지를 SMS에 주어진 기간 중 비디오부를 형성하는 데 요구되는 많큼의 개별 프레임으로 복제하여 이미지를 비디오로 변환하는 동작을 추가한다. 이미지가 발견되지 않으면(812 단계에서 "아니오"), 즉시 "파이프라인에 첨부" 단계인 816 단계를 수행한다.
다음 단계("파이프라인에 첨부"하는 단계인 816 단계)에서, (논리 타임라인의 SMS로부터) 입력 식별자들 및 출력 식별자뿐만 아니라 현재 동작인 완전한 적응 명령이 적응 파이프라인에 첨부된다.
다음 SMS로 계속하기 전에, "텍스트?" 단계인 818 단계에서 텍스트가 현재 SMS에 존재하는지 판단한다. 텍스트가 존재하면(818 단계에서 "예"), 텍스트 오버레이를 생성하는 "텍스트 오버레이 생성" 단계인 820 단계에서 추가 적응 명령을 생성한다. 이전 적응 동작의 결과로 나온 현재 텍스트 미디어 및 단일 미디어 출력을 입력 식별자들로 사용하며, 다른 적응 출력을 생성할 것이다. 이 추가 적응 명령은 또한 적응 파이프라인에 첨부된다.
802-820 단계들을 실행한 결과는 논리 타임라인 중 하나의 SMS에 포함된 단일 미디어를 나타내는 일련의 하나 또는 그 이상의 적응 명령들이다. 실행되면, 이 적응은 압축되지 않은 오디오 및/또는 비디오(그리고 가능하게는 텍스트 오버레이)를 포함하고 있는 중간 출력 단일 미디어의 결과를 얻을 것이다.
"완료?" 단계인 822 단계에서, 논리 타임라인의 모든 SMS들이 처리되었는지를 판단한다. 현재 SMS가 논리 타임라인의 마지막 SMS이었다면 (822 단계에서 "예"), "적응들 병합" 단계인 824 단계를 수행하고, 그렇지 않으면(822 단계에서 "아니오"), "현재 SMS 획득" 단계인 802 단계로 되돌아가서 논리 타임라인으로부터 다음 SMS를 선택하고 그것을 "현재 SMS"로 만드는 수행을 진행한다.
"적응들을 병합" 단계인 824 단계에서, 명령은 상기 816-820 단계들에서 적응 파이프라인에 이미 추가된 적응들로부터 나온 모든 의미있는 중간 단일 미디어를 하나의 단일 미디어로 병합하는 적응 파이프라인에 첨부된다. 이 단일 미디어는, 원래의 타이밍, 순서 및 기간을 준수하면서 압축되지 않은 형태로, 논리 타임라인에 존재했던 모든 미디어를 나타낼 것이다.
"적응 파이프라인 생성" 단계인 406 단계의 마지막 서브 단계는 "압축 및 포맷" 단계인 826 단계로서, 이전 적응 동작의 결과를 입력으로 받아들이면서, 명령이 적응 파이프라인에 추가되고, 최초에 요구된 최종 출력 포맷으로의 적응을 수행한다. 이 마지막 명령은 또한 요구될 수 있는 특별한 효과의 실행을 맡고 있다.
적응 방법(224) 중 "출력 단일 미디어 생성" 단계인 마지막 408 단계에서, 이전 단계인 "적응 파이프라인 생성" 단계 즉 406 단계에서 생성된 적응 파이프라인에 포함된 각 적응 명령이 순차적으로 실행된다. 이 실행의 결과는 원래 MMS 컨텐츠를 요청된 출력 포맷으로 나타내는 출력 단일 미디어이다.
상술한 방법들의 단계들을 수행하기 위한 컴퓨터 프로그램 코드는, 실행시 상술한 방법들의 단계를 수행하는 반도체 메모리, 플래시 메모리, CD 및 DVD와 같은 컴퓨터로 판독가능한 매체에 저장된다.
도 9는 본 발명의 일실시예에 따른 개선된 미디어 적응 시스템(900)을 보여준다. 개선된 미디어 적응 시스템(900)은 입력 모듈(902), 데이터 메모리(DM)(904), 출력부(906), 프로그램 메모리(PM)(908), 및 프로그램 실행부(910)를 포함한다. 개선된 미디어 적응 시스템(900)은, 컴퓨터 프로그램 코드가 저장되어 있는 CPU 및 메모리를 가지는 범용 또는 전문화된 컴퓨터로 편리하게 구현되어, 리룩스, 맥 오에스엑스(Mac OSX), 유닉스, 또는 윈도우즈와 같은 많은 공지된 운영체계하에서 수행될 수 있다. 시스템(900)의 모듈들은 펌웨어를 포함할 수 있으며, 또는 반도체 메모리, 플래시 메모리, CD 및 DVD와 같은 컴퓨터로 판독가능한 매체에 저장된 컴퓨터 소프트웨어 코드를 포함할 수 있다.
프로그램 메모리(908)은, 분석 모듈(912), 타임라이닝 모듈(914), 파이프라이닝 모듈(916), 및 파이프라인 실행 모듈(918)로 편리하게 나뉘어진 컴퓨터 메모리에 저장된 컴퓨터 프로그램들을 포함한다. 프로그램 메모리(908)는 또한 개선된 미디어 적응 시스템(900)을 설정하고, 실행하고, 유지시키기 위한 다른 컴퓨터 프로그램 모듈들을 포함할 수 있다.
데이터 메모리(904)는 다수의 입력 미디어(920)를 위한 저장장치, 논리 타임라인(922), 적응 파이프라인(924), 및 출력 미디어(926)을 포함한다. 데이터 메모리(904)는 룩업 테이블, 임시 변수들 등을 포함하는, 미디어 적응 시스템(900)의 동작을 용이하게 하기 위한 다른 데이터(도시하지 않음)를 더 포함할 수 있다.
미디어 적응 시스템(900)의 목적은 멀티미디어 메시지(928)를 출력 단일 미디어(930)로 적응시키는 것이다.
동작시, 미디어 적응 시스템(900)은 멀티미디어 메시지(928)를 입력 모듈(902)를 통해 데이터 메모리(904)로 수신한다. 미디어 적응 시스템(900)은 프로그램 메모리(908)에 저장되어 있고 프로그램 실행부(910)에 의해 실행되는 프로그램 모듈들을 이용하여 멀티미디어 메시지(928)를 보유한다. 미디어 적응 시스템(900)은 출력 단일 미디어(930)를 출력부(906)를 통해 전달한다.
도 9에서, 적응을 아래와 같은, 즉,
멀티미디어 메시지(928)로부터 입력부(902)로,
입력부(902)로부터 다수의 입력 미디어(920)로,
다수의 입력 미디어(920)로부터 논리 타임라인(922)로,
논리 타임라인(922)으로부터 적응 파이프라인(924)으로,
적응 파이프라인(924)로부터 출력 미디어(926)로,
출력 미디어(926)로부터 출력부(906)로,
출력부(906)로부터 출력 단일 미디어(930)로와 같이 데이터 흐름선을 통해 부호로 도시하였다.
데이터 흐름선들 상에서 프로그램 모듈들(912-918) 각각으로부터 기능점들(원들)로의 화살표들은, 도 4에 도시된 적응 방법의 단계들에 대응하는, 데이터 처리시 프로그램 모듈들(912-918) 각각에 의해 수행되는 동작들을 가르킨다. 즉,
- 분석 모듈(912)은, 입력부(902)를 통해 수신된 멀티미디어 메시지(928)를 분석하고 다수의 입력 미디어(920)는 저장될 데이터 메모리(904)로 전달하는 "분석 프레젠테이션" 단계인 402 단계(도 4 참조)를 수행한다.
- 타임라이닝 모듈(914)은, 논리 타임라인이 다수의 입력 미디어(920)의 정렬된 순서로 생성하고(도 5 참조) 데이터 메모리(904)에 논리 타임라인(922)으로 저장하는 "논리 타임라인 생성" 단계인 404 단계를 수행한다(예시적인 논리 타임라인(600)(도 6)의 설명 참조).
- 파이프라이닝 모듈(916)은, 적응 명령의 파이프라인이 논리 타임라인(922)로부터 나오고 데이터 메모리(904)에 적응 파이프라인(924)으로 저장되는 "적응 파이프라인 생성" 단계인 406 단계를 수행한다 (예시적인 적응 파이프라인(700)의 설명 참조).
- 파이프라인 실행 모듈(918)은, 적응 파이프라인(924)의 적응 명령들을 순차적으로 실행시키고 (도 7의 예시적인 적응 파이프라인(700)의 마지막 두 번째인 적응 단계(716)의 결과에 해당할 수 있는) 결과 출력 미디어(926)을 데이터 메모리(904)에 저장함으로써 "출력 단일 미디어 생성" 단계인 408 단계를 수행한다.
바람직하게, 출력 미디어(926)는 원하는 최종 포맷으로 포맷팅되고(도 7의 예시적인 적응 파이프라인의 마지막 적응 단계(718)에 해당하는 단계), 출력 단일 미디어(930)로서 출력부(906)를 통해 전달된다.
본 발명의 실시예를 상세히 설명하였지만, 이하의 청구범위 내에서 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게는 당연한 것이다.

Claims (15)

  1. 프레젠테이션 및 다수의 입력 미디어를 포함하는 멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법에 있어서,
    (a) 상기 프레젠테이션을 분석하여, 상기 다수의 입력 미디어에 대하여, 시퀀싱(sequencing), 오더링(ordering) 및 타이밍(timing)의 측면에서의 상기 다수의 입력 미디어들간의 관계를 포함하는, 상기 다수의 입력 미디어를 나타내는 방법에 대한 명령을 구비하는 사양(specification)을 확인하는 단계;
    (b) 상기 사양에 따라 상기 다수의 입력 미디어를 순서대로 배열하기 위해, 상기 분석된 프레젠테이션으로부터 상기 다수의 입력 미디어의 논리 타임라인(logical timeline)을 생성하는 단계;
    (c) 상기 논리 타임라인의 순서를 따르는 적응 명령 단계들이 정의되는 적응 파이프라인을 상기 논리 타임라인으로부터 생성하는 단계; 및
    (d) 상기 다수의 입력 미디어에 대하여 상기 적응 파이프라인에 정의된 적응 명령 단계들을 실행하여, 상기 다수의 입력 미디어에 대한 사양을 준수하는 상기 출력 단일 미디어를 생성하는 단계를 포함하는
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  2. 제1항에 있어서,
    상기 (a) 단계는, 상기 프레젠테이션을 상기 다수의 입력 미디어 각각의 시간 및 기간(time and duration)을 나타내는 요소들로 분해하는 단계를 포함하는 멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  3. 제1항에 있어서,
    상기 (b) 단계는,
    (i) 상기 입력 미디어 각각의 시작 시간 및 기간을 결정하는 단계;
    (ii) 상기 다수의 입력 미디어에서의 텍스트 미디어의 존재를 확인하는 단계;
    (iii) 상기 텍스트 미디어를 제외한 모든 입력 미디어를 상기 논리 타임라인에 삽입하는 단계; 및
    (iv) 상기 (iii) 단계 이후에, 상기 텍스트 미디어를 상기 논리 타임라인에 삽입하는 단계를 포함하는
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  4. 제2항에 있어서,
    상기 (c) 단계는, 상기 논리 타임라인의 순서에 따라 상기 적응 파이프라인의 형태로 개별 적응 명령 단계들의 시퀀스를 생성하는 단계를 포함하는,
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  5. 제4항에 있어서,
    상기 개별 적응 명령 단계들 각각은,
    트랜스코딩을 위한 하나 이상의 입력 미디어를 정의하는 단계;
    트랜스코딩 파라미터들의 세트를 이용하여 하나 이상의 입력 미디어에 대한 트랜스코딩 동작을 정의하는 단계; 및
    상기 트랜스코딩 동작의 결과를 위한 각각의 목적지 출력 미디어를 정의하는 단계를 포함하는
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  6. 제5항에 있어서,
    상기 (d) 단계는 상기 각각의 목적지 출력 미디어를 상기 출력 단일 미디어로 병합하는 단계를 포함하는
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  7. 제1항에 있어서,
    상기 출력 단일 미디어는, 오디오 스트림을 포함하는 오디오 파일, 비디오 스트림을 포함하는 비디오 파일, 또는 오디오 및 비디오 스트림을 포함하는 결합된 오디오 및 비디오 파일 중 하나인
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  8. 제7항에 있어서,
    상기 (d) 단계는 상기 다수의 입력 미디어의 텍스트 미디어를 그래픽 표현으로 변환하는 단계를 포함하며,
    상기 (d) 단계는 상기 비디오 파일 또는 상기 결합된 오디오 및 비디오 파일의 각각의 상기 비디오 스트림상에 상기 그래픽 표현을 오버레이시키는 단계를 더 포함하는
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  9. 제7항에 있어서,
    상기 (d) 단계는 상기 다수의 입력 미디어의 이미지 미디어를 비디오 표현으로 변환하고, 상기 비디오 표현을 상기 비디오 파일 또는 상기 결합된 오디오 및 비디오 파일의 상기 비디오 스트림에 각각 삽입하는 단계를 포함하는
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 멀티미디어 메시지는 MMS (multimedia messaging service) 메시지인
    멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 방법.
  11. 다수의 입력 미디어를 포함하는 멀티미디어 메시지를 출력 단일 미디어로 적응시키기 위한 미디어 적응 시스템에 있어서,
    상기 다수의 입력 미디어에 대하여, 시퀀싱(sequencing), 오더링(ordering) 및 타이밍(timing)의 측면에서의 상기 다수의 입력 미디어들간의 관계를 포함하는, 상기 다수의 입력 미디어를 나타내는 방법에 대한 명령을 구비하는 사양(specification)을 확인하는, 상기 멀티미디어 메시지의 프레젠테이션을 분석하는 분석 모듈;
    (b) 상기 사양에 따라 상기 다수의 입력 미디어를 순서대로 배열하기 위해, 상기 분석된 프레젠테이션으로부터 상기 입력 미디어의 논리 타임라인(logical timeline)을 생성하는 타임라이닝 모듈(timelining module);
    (c) 상기 논리 타임라인의 순서를 따르는 적응 명령 단계들이 정의되는 적응 파이프라인을 상기 논리 타임라인으로부터 생성하는 파이프라이닝 모듈(pipelining module); 및
    (d) 상기 다수의 입력 미디어에 대하여 상기 적응 파이프라인에 정의된 적응 명령 단계들을 실행하여, 상기 다수의 입력 미디어에 대한 사양을 준수하는 상기 출력 단일 미디어를 생성하는 파이프라인 실행 모듈
    을 포함하는 미디어 적응 시스템.
  12. 제11항에 있어서,
    상기 분석 모듈은, 상기 프레젠테이션을 상기 멀티미디어 메시지의 입력 미디어 각각의 시간 및 기간을 나타내는 요소들로 분해하는 수단을 포함하는
    미디어 적응 시스템.
  13. 제11항 또는 제12항에 있어서,
    상기 타임라이닝 모듈은,
    (i) 상기 입력 미디어 각각의 시작 시간 및 기간을 결정하기 위한 수단,
    (ii) 상기 다수의 입력 미디어에서의 텍스트 미디어의 존재를 확인하기 위한 수단,
    (iii) 상기 텍스트 미디어를 제외한 모든 입력 미디어를 상기 논리 타임라인에 삽입하기 위한 수단, 및
    (iv) 모든 다른 입력 미디어가 삽입된 후, 상기 텍스트 미디어를 상기 논리 타임라인에 삽입하는 수단을 포함하는
    미디어 적응 시스템.
  14. 제11항 또는 제12항에 있어서,
    상기 파이프라이닝 모듈은, 상기 논리 타임라인의 순서에 따라 적응 파이프라인의 형태로 개별 적응 명령 단계들(steps)의 시퀀스를 생성하는 수단을 포함하며,
    상기 파이프라인 실행 모듈은, 상기 출력 단일 미디어로 결과하는, 상기 입력 미디어에 대해 상기 개별 적응 명령 단계들을 실행하는 수단을 포함하는
    미디어 적응 시스템.
  15. 제1항 내지 제9항 중 어느 한 항의 방법의 단계들을 수행하도록 저장된 컴퓨터 코드 명령들을 포함하는 컴퓨터 판독가능 저장 매체.
KR1020107007610A 2007-09-10 2008-07-14 멀티미디어 메시징 서비스의 비디오 적응 방법 및 시스템 KR101418951B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US97111107P 2007-09-10 2007-09-10
US60/971,111 2007-09-10
US12/118,690 US8677241B2 (en) 2007-09-10 2008-05-10 Method and system for multimedia messaging service (MMS) to video adaptation
US12/118,690 2008-05-10
PCT/CA2008/001287 WO2009033256A1 (en) 2007-09-10 2008-07-14 Method and system for multimedia messaging service (mms) to video adaptation

Publications (2)

Publication Number Publication Date
KR20100061728A KR20100061728A (ko) 2010-06-08
KR101418951B1 true KR101418951B1 (ko) 2014-07-15

Family

ID=40431719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107007610A KR101418951B1 (ko) 2007-09-10 2008-07-14 멀티미디어 메시징 서비스의 비디오 적응 방법 및 시스템

Country Status (8)

Country Link
US (1) US8677241B2 (ko)
EP (1) EP2188739A4 (ko)
JP (1) JP5352833B2 (ko)
KR (1) KR101418951B1 (ko)
CN (1) CN101802814B (ko)
CA (1) CA2696529C (ko)
IL (1) IL203975A (ko)
WO (1) WO2009033256A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311058B2 (en) * 2008-05-10 2012-11-13 Vantrix Corporation Modular transcoding pipeline
US8677241B2 (en) 2007-09-10 2014-03-18 Vantrix Corporation Method and system for multimedia messaging service (MMS) to video adaptation
US8220051B2 (en) 2007-09-28 2012-07-10 Vantrix Corporation Generation and delivery of multimedia content-adaptation notifications
US8171167B2 (en) * 2007-11-13 2012-05-01 Vantrix Corporation Intelligent caching of media files
US8516074B2 (en) * 2009-12-01 2013-08-20 Vantrix Corporation System and methods for efficient media delivery using cache
KR20120117996A (ko) * 2009-12-09 2012-10-25 인터디지탈 패튼 홀딩스, 인크 세션 복제 및 세션 공유를 위한 방법 및 장치
US8489760B2 (en) * 2011-03-31 2013-07-16 Juniper Networks, Inc. Media file storage format and adaptive delivery system
US9112922B2 (en) 2012-08-28 2015-08-18 Vantrix Corporation Method and system for self-tuning cache management
US20140164507A1 (en) * 2012-12-10 2014-06-12 Rawllin International Inc. Media content portions recommended
CN110234081A (zh) * 2013-01-29 2019-09-13 华为技术有限公司 视频短信的发送、接收方法及其装置和手持电子设备
US9553832B2 (en) 2013-08-13 2017-01-24 Facebook, Inc. Techniques to interact with an application via messaging
US10185468B2 (en) 2015-09-23 2019-01-22 Microsoft Technology Licensing, Llc Animation editor
CN109977239B (zh) * 2019-03-31 2023-08-18 联想(北京)有限公司 一种信息处理方法和电子设备
CN113157973A (zh) * 2021-03-29 2021-07-23 广州市百果园信息技术有限公司 一种封面的生成方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032348A1 (en) 2000-12-22 2004-02-19 Lai Angela C. W. Distributed on-demand media transcoding system and method
US20060242550A1 (en) 2005-04-20 2006-10-26 Microsoft Corporation Media timeline sorting
US20070032348A1 (en) 2005-08-04 2007-02-08 Chou Hong Fitness machine with elliptical and stepping functions

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3526076B2 (ja) * 1994-04-06 2004-05-10 キヤノン株式会社 マルチメディアデータ処理方法及び装置
JP3213225B2 (ja) * 1995-11-01 2001-10-02 松下電器産業株式会社 マルチメディア再生装置
JP3000929B2 (ja) 1996-06-07 2000-01-17 日本電気株式会社 メモリカードを用いた画像表示方法及びシステム
US5978370A (en) * 1997-01-13 1999-11-02 At&Tcorp Circuit-switched switching system
US6289358B1 (en) * 1998-04-15 2001-09-11 Inktomi Corporation Delivering alternate versions of objects from an object cache
US6563517B1 (en) * 1998-10-02 2003-05-13 International Business Machines Corp. Automatic data quality adjustment to reduce response time in browsing
US6970602B1 (en) * 1998-10-06 2005-11-29 International Business Machines Corporation Method and apparatus for transcoding multimedia using content analysis
US6483851B1 (en) 1998-11-13 2002-11-19 Tektronix, Inc. System for network transcoding of multimedia data flow
US6470378B1 (en) * 1999-03-31 2002-10-22 Intel Corporation Dynamic content customization in a clientserver environment
JP2001117809A (ja) 1999-10-14 2001-04-27 Fujitsu Ltd メディア変換方法及び記憶媒体
US6792575B1 (en) * 1999-10-21 2004-09-14 Equilibrium Technologies Automated processing and delivery of media to web servers
US7363361B2 (en) * 2000-08-18 2008-04-22 Akamai Technologies, Inc. Secure content delivery system
US7398312B1 (en) 2000-03-29 2008-07-08 Lucent Technologies Inc. Method and system for caching streaming multimedia on the internet
US7725812B1 (en) * 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
US6785732B1 (en) * 2000-09-11 2004-08-31 International Business Machines Corporation Web server apparatus and method for virus checking
JP2002108870A (ja) 2000-09-27 2002-04-12 Oki Electric Ind Co Ltd 情報処理システムおよび情報処理方法
US7240105B2 (en) * 2001-01-26 2007-07-03 International Business Machines Corporation Distributed multicast caching technique
ATE405101T1 (de) * 2001-02-12 2008-08-15 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
JP2002297495A (ja) * 2001-03-30 2002-10-11 Seiko Epson Corp データ配信システム、端末装置、メディア変換プロキシサーバおよびデータ配信方法
US6813690B1 (en) * 2001-06-12 2004-11-02 Network Appliance, Inc. Caching media data using content-sensitive identifiers
US7010581B2 (en) * 2001-09-24 2006-03-07 International Business Machines Corporation Method and system for providing browser functions on a web page for client-specific accessibility
JP2003143575A (ja) 2001-11-02 2003-05-16 Toshiba Corp マルチメディア再生方法及び装置
US20030110234A1 (en) 2001-11-08 2003-06-12 Lightsurf Technologies, Inc. System and methodology for delivering media to multiple disparate client devices based on their capabilities
US7155475B2 (en) * 2002-02-15 2006-12-26 Sony Corporation System, method, and computer program product for media publishing request processing
JP3713491B2 (ja) * 2002-02-28 2005-11-09 株式会社エヌ・ティ・ティ・ドコモ サーバ装置、及び情報処理方法
JP2003337739A (ja) 2002-03-15 2003-11-28 Neosoft:Kk Ｗｅｂページ情報保存処理プログラム、Ｗｅｂページ変換用プログラム、及び、コンテンツ提供システム
US7076544B2 (en) * 2002-04-08 2006-07-11 Microsoft Corporation Caching techniques for streaming media
JP4352653B2 (ja) 2002-04-12 2009-10-28 三菱電機株式会社 映像コンテンツ管理運用システム
US20040001106A1 (en) * 2002-06-26 2004-01-01 John Deutscher System and process for creating an interactive presentation employing multi-media components
US7127520B2 (en) * 2002-06-28 2006-10-24 Streamserve Method and system for transforming input data streams
JP4232445B2 (ja) * 2002-11-29 2009-03-04 ヤマハ株式会社 ファイル配信装置、ファイル配信方法およびプログラム
US8645470B2 (en) * 2002-12-06 2014-02-04 Core Wireless Licensing S.A.R.L. System, method and computer program product for the delivery of media content
US20040181550A1 (en) * 2003-03-13 2004-09-16 Ville Warsta System and method for efficient adaptation of multimedia message content
JP4430882B2 (ja) * 2003-03-19 2010-03-10 富士通株式会社 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム
WO2004097600A2 (en) 2003-04-28 2004-11-11 Sony Pictures Entertainment Inc. Content management for rich media publishing system
US20050187756A1 (en) * 2004-02-25 2005-08-25 Nokia Corporation System and apparatus for handling presentation language messages
US7692666B1 (en) * 2004-04-07 2010-04-06 Adobe Systems Incorporated Constructing color profile for parameterized image color space
FI20040944A0 (fi) * 2004-07-07 2004-07-07 Nokia Corp Sisältöviestinnän hallinta viestintäjärjestelmässä
CN101027668B (zh) * 2004-07-21 2012-01-04 海滩无极限有限公司 基于块映射表缓冲存储和虚拟文件系统的可堆叠文件系统模块的分布式存储结构
US7430284B2 (en) * 2004-08-19 2008-09-30 Sybase 365, Inc. Architecture and methods for inter-carrier Multi-Media Messaging
JP4234709B2 (ja) * 2004-10-26 2009-03-04 エルジー エレクトロニクス インコーポレイティド 移動通信端末機
US7409464B2 (en) * 2004-10-29 2008-08-05 Nokia Corporation System and method for converting compact media format files to synchronized multimedia integration language
US7876766B1 (en) * 2004-11-22 2011-01-25 Syniverse Icx Corporation Method and apparatus to enable interoperation between multi-media messaging service centers
CN101099146A (zh) * 2004-12-01 2008-01-02 乔·萨巴蒂尼 用于使网络上多媒体内容的交互寄售自动化的装置及方法
US7577848B2 (en) * 2005-01-18 2009-08-18 Microsoft Corporation Systems and methods for validating executable file integrity using partial image hashes
US7669121B2 (en) * 2005-01-19 2010-02-23 Microsoft Corporation Transcode matrix
US8073275B2 (en) * 2005-02-09 2011-12-06 Mobixell Networks Ltd. Image adaptation with target size, quality and resolution constraints
CN1855095A (zh) * 2005-04-27 2006-11-01 国际商业机器公司 用于播放基于smil的多媒体内容的系统、方法及引擎
US8819143B2 (en) * 2005-05-31 2014-08-26 Flash Networks Ltd. Presentation layer adaptation in multimedia messaging
EP1932358A4 (en) 2005-09-28 2011-04-13 Ericsson Telefon Ab L M MEDIA CONTENTS MANAGEMENT
JP4622832B2 (ja) 2005-12-05 2011-02-02 日本電気株式会社 キャッシュ管理システム、キャッシュ管理方法、キャッシュ管理プログラムおよびキャッシュ管理サーバ
US9081609B2 (en) * 2005-12-21 2015-07-14 Xerox Corporation Image processing system and method employing a threaded scheduler
US7929599B2 (en) 2006-02-24 2011-04-19 Microsoft Corporation Accelerated video encoding
US7813724B2 (en) * 2006-03-17 2010-10-12 Comverse Ltd. System and method for multimedia-to-video conversion to enhance real-time mobile video services
US7411531B2 (en) * 2006-06-30 2008-08-12 Agere Systems Inc. Methods and apparatus for asynchronous sampling of a received signal at a downsampled rate
US8266182B2 (en) 2006-06-30 2012-09-11 Harmonic Inc. Transcoding for a distributed file system
WO2008058259A2 (en) 2006-11-08 2008-05-15 Mywaves, Inc. An apparatus and method for dynamically providing web-based multimedia to a mobile phone
CA2672735A1 (en) * 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
US7783757B2 (en) * 2007-03-12 2010-08-24 Citrix Systems, Inc. Systems and methods of revalidating cached objects in parallel with request for object
US20080226173A1 (en) * 2007-03-13 2008-09-18 Motorola, Inc. Method and apparatus for video clip searching and mining
US8095976B2 (en) * 2007-03-15 2012-01-10 Broadcom Corporation Data excess protection
US8311058B2 (en) * 2008-05-10 2012-11-13 Vantrix Corporation Modular transcoding pipeline
US8677241B2 (en) 2007-09-10 2014-03-18 Vantrix Corporation Method and system for multimedia messaging service (MMS) to video adaptation
US8561116B2 (en) * 2007-09-26 2013-10-15 Charles A. Hasek Methods and apparatus for content caching in a video network
US8220051B2 (en) * 2007-09-28 2012-07-10 Vantrix Corporation Generation and delivery of multimedia content-adaptation notifications
US8171167B2 (en) * 2007-11-13 2012-05-01 Vantrix Corporation Intelligent caching of media files
US9060208B2 (en) * 2008-01-30 2015-06-16 Time Warner Cable Enterprises Llc Methods and apparatus for predictive delivery of content over a network
WO2009149063A1 (en) * 2008-06-02 2009-12-10 Azuki Systems, Inc. Media mashup system
US7904464B2 (en) * 2008-08-27 2011-03-08 International Business Machines Corporation Virtual list view support in a distributed directory
WO2010045262A1 (en) * 2008-10-14 2010-04-22 Wanova Technologies, Ltd. Storage-network de-duplication
US9807468B2 (en) * 2009-06-16 2017-10-31 Microsoft Technology Licensing, Llc Byte range caching
US8516074B2 (en) * 2009-12-01 2013-08-20 Vantrix Corporation System and methods for efficient media delivery using cache
WO2012088023A2 (en) 2010-12-20 2012-06-28 Akamai Technologies, Inc. Methods and systems for delivering content to differentiated client devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032348A1 (en) 2000-12-22 2004-02-19 Lai Angela C. W. Distributed on-demand media transcoding system and method
US20060242550A1 (en) 2005-04-20 2006-10-26 Microsoft Corporation Media timeline sorting
US20070032348A1 (en) 2005-08-04 2007-02-08 Chou Hong Fitness machine with elliptical and stepping functions

Also Published As

Publication number Publication date
CN101802814A (zh) 2010-08-11
JP5352833B2 (ja) 2013-11-27
US8677241B2 (en) 2014-03-18
EP2188739A1 (en) 2010-05-26
CA2696529C (en) 2014-06-03
CN101802814B (zh) 2014-08-20
IL203975A (en) 2013-10-31
EP2188739A4 (en) 2013-10-30
JP2010539742A (ja) 2010-12-16
KR20100061728A (ko) 2010-06-08
WO2009033256A1 (en) 2009-03-19
US20090067357A1 (en) 2009-03-12
CA2696529A1 (en) 2009-03-19

Similar Documents

Publication Publication Date Title
KR101418951B1 (ko) 멀티미디어 메시징 서비스의 비디오 적응 방법 및 시스템
US20070239779A1 (en) Analysis of media content via extensible object
US20060176902A1 (en) Method of processing a multimedia message, a storage medium, and an associated processing system
US20070239780A1 (en) Simultaneous capture and analysis of media content
JP2004318188A (ja) 構造化データの受信プログラム
KR100629037B1 (ko) 이동통신 단말기로의 멀티미디어 메시지 전송 방법 및 장치
CN106330667A (zh) 一种微信明信片生成方法及系统
JP2004180258A (ja) 構造化データの送信装置
CN112601131A (zh) 一种hls视频切片文件存储优化方法
JP2004178545A (ja) 構造化データの送信方法
JP2004318197A (ja) 構造化データの受信プログラム
JP2004318191A (ja) 構造化データの受信プログラム
JP2004318771A (ja) 構造化データの受信装置
JP2004318775A (ja) 構造化データの受信装置
JP2004318195A (ja) 構造化データの受信プログラム
JP2004318797A (ja) 構造化データの受信方法
JP2004318796A (ja) 構造化データの受信方法
JP2004318772A (ja) 構造化データの受信装置
JP2004318776A (ja) 構造化データの受信装置
JP2004320071A (ja) 構造化データの受信プログラム
JP2004318795A (ja) 構造化データの受信方法
JP2004318189A (ja) 構造化データの受信プログラム
JP2004318196A (ja) 構造化データの受信プログラム
JP2004318798A (ja) 構造化データの受信方法
JP2004318800A (ja) 構造化データの受信方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 6

R401 Registration of restoration