KR20040083350A - 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 복합미디어 콘텐츠 변환 프로그램 - Google Patents

복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 복합미디어 콘텐츠 변환 프로그램 Download PDF

Info

Publication number
KR20040083350A
KR20040083350A KR1020040014526A KR20040014526A KR20040083350A KR 20040083350 A KR20040083350 A KR 20040083350A KR 1020040014526 A KR1020040014526 A KR 1020040014526A KR 20040014526 A KR20040014526 A KR 20040014526A KR 20040083350 A KR20040083350 A KR 20040083350A
Authority
KR
South Korea
Prior art keywords
media
time
text
layout information
space
Prior art date
Application number
KR1020040014526A
Other languages
English (en)
Other versions
KR101054135B1 (ko
Inventor
미즈따니마사미
도이가즈미
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20040083350A publication Critical patent/KR20040083350A/ko
Application granted granted Critical
Publication of KR101054135B1 publication Critical patent/KR101054135B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

예를 들면 PC용의 복합 미디어 콘텐츠를, 예를 들면 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 경우에, 텍스트의 내용을 손상시키지 않고, 가독성이 확보되도록 변환할 수 있도록 한다. 텍스트 미디어, 텍스트 미디어 이외의 다른 미디어를 포함하고, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 복합 미디어 콘텐츠의 변환 장치로서, 시공간 레이아웃 정보 설정 처리부(11)가, 텍스트 표시 시간 산출 처리부(15)에서 산출된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간을 설정하고, 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 다른 미디어의 재생 시간을 설정한다.

Description

복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 복합 미디어 콘텐츠 변환 프로그램{APPARATUS AND METHOD FOR CONVERTING MULTIMEDIA CONTENTS}
본 발명은, 예를 들면 광대역 회선을 사용하는 퍼스널 컴퓨터(PC) 등의 단말기에서 이용 가능한 복합 미디어 콘텐츠를, 예를 들면 휴대 단말기용의 통신 회선을 사용하는 휴대 단말기로 시청할 수 있도록 변환할 때에 이용하기에 적합한 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 복합 미디어 콘텐츠 변환 프로그램(복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체)에 관한 것이다.
종래, 복합 미디어 콘텐츠를 편집하는 기술로서는, 예를 들면, 텍스트 미디어와 동화상 미디어가 대응지어진 세그먼트 단위로의 편집을 목적으로 하여, 텍스트 미디어와 동화상 미디어의 대응 관계가 관리된 상황 하에서, 다이제스트 영상을 구성하는 영상 신(scene)의 전후의 접속 관계로부터, 적절한 접속 표현을 이용하여, 각 영상 신의 설명문을 접속하고, 영상 내용의 설명문을 자동 생성하기 위한 기술이 있다(예를 들면 일본 특개2001-275058호 공보 참조).
또한, 복수의 미디어를 관련짓는 기술로서는, 예를 들면 일본 특개평5-233719호 공보, 일본 특개평11-175092호 공보에 개시된 기술이 있다.
그런데, 최근, 하나 또는 복수의 미디어의 시공간적 조합으로 프레젠테이션을 구성하기 위해, 미디어의 재생 순서 제어나 재생 동기 제어에 관한 정보를 기술할 수 있도록 한, 예를 들면 SMIL(Synchronized Multimedia Integration Language)과 같은 언어로 작성된 복합 미디어 콘텐츠가 제공되고 있다.
이러한 언어로 작성된 복합 미디어 콘텐츠는, 주로, 대용량(광대역), 또한, 수Mbps 정도의 고속의 통신 속도로 데이터의 송수신을 행할 수 있는 광대역 회선을 사용할 수 있는 PC용의 콘텐츠로서 제공되고 있다.
한편, 현재, 예를 들면 휴대 전화 등의 휴대 단말기용의 통신 회선에서는, 소용량(협대역), 또한, 수백Kbps 정도의 저속의 통신 속도만으로 데이터의 송수신을 행할 수 있기 때문에, 이러한 PC용의 복합 미디어 콘텐츠를 휴대 단말기로 시청하기 위해서는, 휴대 단말기용의 통신 대역이나 휴대 단말기의 능력에 맞는 형식이나 데이터 용량의 복합 미디어 콘텐츠로 변환할 필요가 있다.
예를 들면, 휴대 전화용의 복합 미디어 콘텐츠의 형식으로서, ISO/IEC14496-1 규격의 MPEG-4 File Format(MP4)를 베이스로 제약 및 확장을 실시한 3GPP TS 26.234 V.5.1.0 규격의 파일 포맷(3GPP MP4)이 있다. 이 파일 포맷에서는, 비디오(동화상) 미디어, 오디오 미디어, 텍스트 미디어를 각각 1개의 렌더링 영역(표시 영역)에 표시·재생시키도록 되어 있다.
한편, PC용의 복합 미디어 콘텐츠에서는, 동화상 미디어, 오디오 미디어, 텍스트 미디어를 각각 복수의 렌더링 영역에 표시·재생시키도록 하는 파일 포맷으로 구성되어 있는 경우가 많다.
이 때문에, 동화상 미디어, 오디오 미디어, 텍스트 미디어를 각각 복수의 렌더링 영역에 표시·재생시키는 형식의 PC용의 복합 미디어 콘텐츠를, 동화상 미디어, 오디오 미디어, 텍스트 미디어를 각각 1개의 렌더링 영역에 표시·재생시키는 형식의 휴대 단말기용의 복합 미디어 콘텐츠로 변환할 필요가 있다.
또한, PC용의 복합 미디어 콘텐츠를 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 경우, 통신 시간이나 통신 요금의 비용이 많이 들지 않도록, 가능한 한 데이터 용량을 작게 하기 위해, 소정의 데이터 용량 이하가 되도록 변환할 필요도 있다.
예를 들면, 이하와 같이 하여, PC용의 복합 미디어 콘텐츠를 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 것이 생각된다.
우선, 복합 미디어 콘텐츠를 구성하는 미디어 중, 용량의 대부분을 차지하는 동화상 미디어는, 프레임 레이트, 비트 레이트, 해상도 등을 낮게 변환할 뿐만 아니라, 예를 들면 하이라이트 신(scene)의 영상만을 집약하여 편집하는 내용 요약적인 변환을 행한다.
그리고, 텍스트 미디어와 동화상 미디어의 대응 관계가 관리된 상황 하에서, 텍스트 미디어와 동화상 미디어가 대응지어진 세그먼트 단위로, 편집된 동화상 미디어에 텍스트 미디어 등의 다른 미디어를 관련짓도록 편집한다.
그러나, 가능한 한 데이터 용량을 작게 하기 위해, 도 15에 도시한 바와 같이, 텍스트 미디어와 동화상 미디어를 대응시킨 세그먼트보다 미세한 단위로 동화상 미디어의 일부분을 잘라내어 편집하고자 하는 경우도 있다.
이 경우, 텍스트 미디어와, 세그먼트보다 미세한 단위로 잘라내어진 동화상 미디어와의 대응 관계는 관리되어 있지 않기 때문에, 동화상 미디어의 잘림 개소에, 해당하는 텍스트 미디어를 자동적으로 관련지을 수 없다.
또한, PC와 휴대 단말기에서는 화면의 크기가 크게 다르기 때문에, 예를 들면 PC용의 복합 미디어 콘텐츠는, PC의 화면의 크기에 맞춰, 소정 크기의 화면 상에 표시시키도록 작성되며, 예를 들면 휴대 단말기용의 복합 미디어 콘텐츠는, 휴대 단말기의 화면의 크기에 맞춰, 소정 크기보다 작은 크기의 화면 상에 표시시키도록 작성된다.
이 때문에, PC용의 복합 미디어 콘텐츠를, 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 경우, 특히, 의미적 내용을 포함하는 텍스트 미디어의 내용을 손상시키지 않고, 텍스트 미디어가 확실하게 표시되며, 또한, 가독성이 확보되도록 변환하는 것이 중요하게 된다.
본 발명은, 이러한 과제를 감안하여 창안된 것으로, 예를 들면 PC용의 복합미디어 콘텐츠를, 예를 들면 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 경우에, 의미적 정보를 포함하는 텍스트 미디어의 내용을 손상시키지 않고, 텍스트 미디어가 확실하게 표시되며, 또한, 가독성이 확보되도록 자동적으로 변환할 수 있도록 한, 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 복합 미디어 콘텐츠 변환 프로그램(복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체)을 제공하는 것을 목적으로 한다.
도 1은 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치의 전체 구성을 도시하는 기능 블록도.
도 2는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치의 개략을 설명하기 위한 모식도.
도 3의 (a)∼(d)는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 변환되는 변환 전의 복합 미디어 콘텐츠 및 변환 후의 복합 미디어 콘텐츠의 시간적인 구성을 도시하는 도면.
도 4는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 변환되는 입력 복합 미디어 콘텐츠의 프로그램 데이터의 구성을 도시하는 도면.
도 5의 (a)∼(i)는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 변환되는 입력 복합 미디어 콘텐츠의 시간적인 구성을 도시하는 모식도.
도 6은 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 실행되는 처리를 도시하는 흐름도.
도 7의 (a)∼(h)는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환장치에 입력되는 변환 지시 정보를 도시하는 도면.
도 8의 (a)∼(f)는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 변환되는 입력 복합 미디어 콘텐츠(도 4 참조)를 해석하여 얻어지는 시공간 정보 테이블을 도시하는 도면.
도 9의 (a), (b)는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에서 비동기적 변환 방법에 의해 변환하는 경우의 시공간 레이아웃 정보 테이블 및 세그먼트 정보 테이블을 도시하는 도면.
도 10의 (a), (b)는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에서 동기적 변환 방법에 의해 변환하는 경우의 시공간 레이아웃 정보 테이블 및 세그먼트 정보 테이블을 도시하는 도면.
도 11은 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치의 텍스트 표시 시간 산출 처리부에 의한 처리를 설명하기 위한 모식도.
도 12는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 실행되는 처리를 도시하는 흐름도.
도 13은 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 실행되는 처리를 도시하는 흐름도.
도 14는 본 발명의 일 실시예에 따른 복합 미디어 콘텐츠의 변환 장치에 의해 실행되는 처리를 도시하는 흐름도.
도 15는 일반적인 방법에 의해 복합 미디어 콘텐츠를 변환하는 경우의 과제를 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
10 : 데이터 취득 처리부
11 : 시공간 레이아웃 정보 설정 처리부
12 : 콘텐츠 변환 처리부
13 : 파일 생성 처리부
14 : 정보 해석 처리부
15 : 텍스트 표시 시간 산출 처리부
16 : 시공간 레이아웃 정보 테이블 작성부
17 : 시공간 레이아웃 정보 관리부
이를 위해, 본 발명의 복합 미디어 콘텐츠의 변환 장치는, 텍스트 미디어, 텍스트 미디어 이외의 미디어를 포함하고, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 복합 미디어 콘텐츠의 변환 장치로서, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리부와, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리부와, 시공간 레이아웃 정보에 기초하여, 입력 복합 미디어 콘텐츠를 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리부를 구비하고, 시공간 레이아웃 정보 설정 처리부가, 텍스트 표시 시간 산출 처리부에서 산출된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간을 설정함과 함께, 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 것을 특징으로 하고 있다.
특히, 본 발명의 복합 미디어 콘텐츠의 변환 장치는, 단일 혹은 복수의 미디어 데이터의 시공간적 조합에 의해 프레젠테이션이 구성되는 복합 미디어 콘텐츠를 변환하는 데 적합하다.
여기서, 「시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는」 경우에는, ① 텍스트 미디어의 렌더링 영역의 표시 시간(렌더링 영역의 유효 시간)과 일치하도록, 텍스트 미디어 이외의 미디어의 렌더링 영역의 표시 시간(렌더링 영역의 유효 시간)을 설정하는 경우(비동기), ② 텍스트 미디어의 렌더링 영역의 표시 시간(렌더링 영역의 유효 시간)보다 짧은 시간이 되도록, 텍스트 미디어 이외의 미디어의 렌더링 영역의 표시 시간(렌더링 영역의 유효 시간)을 설정하는 경우(비동기), ③ 텍스트 미디어의 렌더링 영역의 표시 시간(렌더링 영역의 유효 시간)보다 긴 시간이 되도록, 텍스트 미디어 이외의 미디어의 렌더링 영역의 표시 시간(렌더링 영역의 유효 시간)을 설정하는 경우(비동기), ④ 텍스트 미디어의 세그먼트의 표시 시간이, 텍스트 미디어 이외의 미디어의 세그먼트의 표시 시간과 일치하도록 설정하는 경우[이 경우, 텍스트 미디어의 표시 시간(렌더링 영역의 유효 시간)은, 텍스트 미디어 이외의 미디어의 표시 시간(렌더링 영역의 유효 시간)과 일치하게 됨](동기)가 포함된다.
바람직하게는, 텍스트 표시 시간 산출 처리부가, 입력 복합 미디어 콘텐츠로부터 얻어지는 텍스트 정보(예를 들면 입력 복합 미디어 콘텐츠에 포함되는 텍스트데이터로부터 얻어지는 문자 수)와, 변환 지시 정보로서 입력되는 텍스트 표시 형태 정보(예를 들면 스크롤 속도, 표시 영역의 크기, 폰트 타입, 폰트 사이즈, 문자 간격)에 기초하여, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 것으로서 구성한다.
또한, 시공간 레이아웃 정보 설정 처리부를, 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간[텍스트 미디어의 렌더링 영역의 표시 시간(렌더링 영역의 유효 시간)]과 일치하도록 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간[텍스트 미디어 이외의 미디어의 렌더링 영역의 재생 시간(렌더링 영역의 유효 시간)]을 설정하는 것으로서 구성하는 것이 바람직하다.
또한, 출력 복합 미디어 콘텐츠에 포함되는 상기 텍스트 미디어 이외의 미디어의 세그먼트의 재생 시간을 설정하는 세그먼트 재생 시간 설정부와, 세그먼트 재생 시간 설정부에서 설정된 텍스트 미디어 이외의 미디어의 각 세그먼트의 재생 시간에 기초하여 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간을 산출하는 합계 재생 시간 산출부와, 텍스트 표시 시간 산출 처리부에서 산출된 텍스트 미디어의 표시 시간 및 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간에 기초하여, 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 설정하는 반복 재생 횟수 설정 처리부를 포함하는 것으로 하고, 콘텐츠 변환 처리부를, 반복 재생 횟수 설정 처리부에서 설정된 반복 재생 횟수에 기초하여 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어를 변환하는 것으로서 구성하는 것이 바람직하다.
또한, 반복 재생 횟수 설정 처리부를, 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n(n: 정수)회로 하는 경우에, 텍스트 미디어 이외의 미디어의 재생 시간이 텍스트 미디어의 표시 시간보다 짧아지고, 또한, 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n+1회로 하는 경우에, 텍스트 미디어 이외의 미디어의 재생 시간이 텍스트 미디어의 표시 시간보다 길어진다고 하는 조건을 만족시키는 n을 반복 재생 횟수로서 설정하는 것으로서 구성하는 것이 바람직하다.
또한, 시공간 레이아웃 정보 설정 처리부를, n회의 반복 재생 종료 후에, 텍스트 미디어 이외의 미디어가 텍스트 미디어의 표시 종료 시각까지 프리즈(freeze)되도록 설정하는 것으로서 구성하는 것이 바람직하다.
또한, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트와, 텍스트 미디어 이외의 미디어의 세그먼트가 동기하여 표시되도록, 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트의 재생 개시 시각에 기초하여, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 세그먼트의 재생 개시 시각을 설정하는 재생 개시 시각 설정 처리부를 포함하는 것으로 하고, 콘텐츠 변환 처리부를, 재생 개시 시각 설정 처리부에서 설정된 텍스트 미디어 이외의 미디어의 재생 개시 시각에 기초하여 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어를 변환하는 것으로서 구성하는 것이 바람직하다.
본 발명의 복합 미디어 콘텐츠의 변환 방법은, 텍스트 미디어, 텍스트 미디어 이외의 미디어를 포함하고, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 복합 미디어 콘텐츠의 변환 방법으로서, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 단계와, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 단계와, 시공간 레이아웃 정보에 기초하여, 입력 복합 미디어 콘텐츠를 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리 단계를 구비하고, 시공간 레이아웃 정보 설정 처리 단계에서, 텍스트 표시 시간 산출 처리 단계에서 산출된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간이 설정됨과 함께, 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간이 설정되는 것을 특징으로 하고 있다.
본 발명의 복합 미디어 콘텐츠 변환 프로그램은, 텍스트 미디어, 텍스트 미디어 이외의 미디어를 포함하고, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 처리를 컴퓨터에 실행시키기 위한 복합 미디어 콘텐츠 변환 프로그램으로서, 변환 처리가, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 단계와, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 단계와, 시공간 레이아웃 정보에 기초하여, 입력 복합 미디어 콘텐츠를 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠변환 처리 단계를 포함하고, 시공간 레이아웃 정보 설정 처리 단계에서, 텍스트 표시 시간 산출 처리 단계에서 산출된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간이 설정됨과 함께, 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간의 항목값이 설정되는 것을 특징으로 하고 있다.
본 발명의 복합 미디어 콘텐츠의 변환 장치는, 텍스트 미디어, 텍스트 미디어 이외의 미디어를 포함하고, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 변환 지시 정보에 기초하여, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 처리를 실행하는 제어부와, 시공간 레이아웃 정보 테이블을 기억하는 기억부를 구비하고, 제어부가, 변환 지시 정보에 기초하여, 입력 복합 미디어 콘텐츠로부터 소정의 텍스트 미디어에 관한 정보(예를 들면 어드레스 정보)를 취득하며, 기억부에서 시공간 레이아웃 정보 테이블을 판독하여, 소정의 텍스트 미디어에 관한 정보를 설정하여 시공간 레이아웃 정보 테이블의 가작성을 행하는 단계와, 시공간 레이아웃 정보 테이블에 설정된 소정의 텍스트 미디어에 관한 정보를 이용하여, 입력 복합 미디어 콘텐츠로부터 소정의 텍스트 미디어의 데이터를 취득하는 단계와, 소정의 텍스트 미디어의 데이터에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하고, 산출된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보 테이블에 텍스트 미디어의 표시 시간을 설정함과 함께, 시공간 레이아웃 정보 테이블에 설정된 텍스트미디어의 표시 시간에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 시공간 레이아웃 정보 테이블에 설정하여 시공간 레이아웃 정보 테이블을 완성시키는 단계와, 완성된 시공간 레이아웃 정보 테이블에 기초하여, 입력 복합 미디어 콘텐츠를 출력 복합 미디어 콘텐츠로 변환하는 단계를 포함하는 처리를 실행하도록 구성되는 것을 특징으로 하고 있다.
<실시예>
이하, 도면에 의해, 본 발명의 실시예에 대하여 설명한다.
본 실시예에 따른 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 복합 미디어 콘텐츠 변환 프로그램(복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체)에 대하여, 도 1∼도 14를 참조하면서 설명한다.
본 복합 미디어 콘텐츠의 변환 장치는, 도 2에 도시한 바와 같이, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠[텍스트 미디어, 텍스트 미디어 이외의 오디오 미디어, 비디오 미디어(동화상 미디어) 등의 다른 미디어를 포함함; 예를 들면 PC용의 콘텐츠]를, 변환 지시 정보(예를 들면 키보드나 마우스 등의 입력부를 통해 외부로부터 입력됨)에 기초하여, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠[예를 들면 휴대 전화나 PDA(Personal Digital Assistants) 등의 휴대 단말기용의 콘텐츠; 소정의 데이터 용량 이하의 콘텐츠]로 변환하는 것이다.
본 실시예에서는, 의미적 정보를 포함하는 텍스트 미디어에 대해서는 동화상 미디어와 같이 내용 요약적인 편집을 자동적으로 행하는 것이 어렵기 때문에, 변환전의 텍스트 내용을 편집하지 않고, 그대로 변환 후의 출력 복합 미디어 콘텐츠에 포함시키도록 하고 있다.
그러나, 휴대 전화 등의 휴대 단말기에서는, PC에 비해 화면이 작기 때문에, 동일한 내용의 텍스트를 표시시키는 경우에도, 예를 들면 스크롤시키는 등의 표시의 고안이 필요하게 된다.
예를 들면, 텍스트 미디어로서 많은 문자가 포함되어 있는 경우, 스크롤 속도를 고속으로 하여, 텍스트 미디어를 표시시키는 것도 생각되지만, 이 경우, 텍스트 미디어의 표시 시간이 짧아지게 되기 때문에, 사용자가 시간 내에 읽을 수 없는 경우도 발생할 수 있다.
또한, 예를 들면 텍스트 미디어를 구성하는 문자의 크기를 작게 하는 것도 생각되지만, 이 경우, 가독성이 나빠지게 된다.
또한, 이와 같이, 텍스트 미디어의 스크롤 속도를 고속으로 하거나, 텍스트 미디어를 구성하는 문자의 크기를 작게 하거나 해도, 반드시 텍스트 미디어의 모든 문자를 표시시킬 수 있다고는 할 수 없다.
따라서, 본 실시예에서는, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 고려하여, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어(예를 들면 편집된 동화상 미디어)의 재생 시간을 설정하도록 하고 있다.
구체적으로는, 본 복합 미디어 콘텐츠의 변환 장치는, 비디오 미디어(동화상 미디어), 오디오 미디어 및 텍스트 미디어를 포함하고, 예를 들면 도 3의 (a)에 도시한 바와 같은 프레젠테이션 구성으로 되어 있는 입력 복합 미디어 콘텐츠(변환 전의 복합 미디어 콘텐츠)를, 비디오 미디어 및 텍스트 미디어를 포함하고, 예를 들면 도 3의 (b)에 도시한 바와 같은 프레젠테이션 구성의 출력 복합 미디어 콘텐츠(변환 후의 복합 미디어 콘텐츠)로 변환하는 것으로서 구성된다.
여기서, 입력 복합 미디어 콘텐츠(예를 들면 PC용의 콘텐츠)는, 예를 들면 도 3의 (a)에 도시한 바와 같이, 미디어마다 복수(여기서는 2개)의 렌더링 영역을 갖는 것으로서 구성된다.
즉, 도 3의 (a)에 도시한 바와 같이, 제1 비디오 렌더링 영역(Video#1)에는, 비디오 미디어의 세그먼트 Vseg(11)를 부호 T1로 나타내는 시간(T1 시간)만큼 표시시킨 후, 비디오 미디어의 세그먼트 Vseg(12)를 부호 T2로 나타내는 시간(T2 시간)만큼 표시시키고, 제m 비디오 렌더링 영역(Video#m)에는, 비디오 미디어의 세그먼트 Vseg(m1)를 부호 T3, T4로 나타내는 시간(T3+T4 시간)만큼 표시시키도록 되어 있다.
또한, 제1 오디오 렌더링 영역(Audio#1)에는, 오디오 미디어의 세그먼트 Aseg(11)를 부호 T1로 나타내는 시간(T1 시간)만큼 재생하고, 제n 오디오 렌더링 영역(Audio#n)에는, 오디오 미디어의 세그먼트 Aseg(n1)를 부호 T2, T3, T4로 나타내는 시간(T2+T3+T4 시간)만큼 재생하도록 되어 있다.
또한, 제1 텍스트 렌더링 영역(Text#1)에는, 텍스트 미디어의 세그먼트 Tseg(11)를 부호 T1로 나타내는 시간(T1 시간)만큼 표시시킨 후, 부호 T2로 나타내는 시간(T2 시간)만큼 간격을 두고, 텍스트 미디어의 세그먼트 Tseg(12)를 부호 T3으로 나타내는 시간(T3 시간)만큼 표시시키고, 제k 텍스트 렌더링 영역(Text#k)에는, 부호 T1로 나타내는 시간(T1 시간) 경과 후, 텍스트 미디어의 세그먼트 Tseg(k1)를 부호 T2로 나타내는 시간(T2 시간)만큼 표시시키고, 부호 T3으로 나타내는 시간(T3 시간)만큼 간격을 두고, 텍스트 미디어의 세그먼트 Tseg(k2)를 부호 T4로 나타내는 시간(T4 시간)만큼 표시시키도록 되어 있다.
한편, 출력 복합 미디어 콘텐츠(예를 들면 휴대 전화용의 소정 데이터 용량 이하의 콘텐츠)는, 예를 들면 도 3의 (b)에 도시한 바와 같이, 미디어마다 1개의 렌더링 영역을 갖는 것으로서 구성된다.
즉, 도 3의 (b)에 도시한 바와 같이, 텍스트 렌더링 영역(Text)에는, 텍스트 미디어의 세그먼트 Tseg(11)를 부호 T1로 나타내는 시간(T1 시간)만큼 표시시키고, 다음으로, 텍스트 미디어의 세그먼트 Tseg(12)를 부호 T3으로 나타내는 시간(T3 시간)만큼 표시시키며, 계속해서, 텍스트 미디어의 세그먼트 Tseg(k2)를 부호 T4로 나타내는 시간(T4 시간)만큼 표시시키도록 되어 있다. 또한, 여기서는, 휴대 전화용의 소정 데이터 용량 이하의 복합 미디어 콘텐츠로 변환한 경우에도, 텍스트 미디어의 표시 시간은 변화되지 않는 것으로 하고 있다.
또한, 비디오 렌더링 영역(Video)에는, 텍스트 미디어의 세그먼트 Tseg(11)의 표시에 동기시켜, 비디오 미디어의 세그먼트 Vseg(11)'를 부호 T1'로 나타내는 시간(T1' 시간)만큼 표시시키고, 다음으로, 텍스트 미디어의 세그먼트 Tseg(12)의 표시에 동기시켜, 비디오 미디어의 세그먼트 Vseg(m1)'를 부호 T3'으로 나타내는 시간(T3' 시간)만큼 표시시키도록 되어 있다.
또한, 여기서는, 비디오 미디어(텍스트 미디어 이외의 미디어)의 재생 시간은, 텍스트 미디어의 표시 시간보다 짧아지도록 변환되는 것으로 한다. 즉, 비디오 미디어(텍스트 미디어 이외의 미디어)의 각 세그먼트의 재생 시간은, 대응하는 텍스트 미디어의 각 세그먼트의 재생 시간보다 짧아지도록 변환되는 것으로 한다.
또한, 여기서는, PC용의 콘텐츠를 휴대 단말기용의 콘텐츠로 변환해도 텍스트 미디어의 표시 시간이 변화되지 않는 것을 전제로 설명하였지만, 실제로는, PC와 휴대 단말기(특히 휴대 전화)에서는 화면(표시 영역)의 크기가 서로 다르기 때문에, PC용의 콘텐츠를 휴대 단말기용의 콘텐츠로 변환하면, 텍스트 미디어의 표시 시간이 길어지는 것이 일반적이다[도 3의 (d) 참조].
또한, 여기서는, PC용의 콘텐츠를 휴대 단말기용의 콘텐츠로 변환할 때에, 텍스트 미디어의 세그먼트의 표시에 동기하여, 비디오 미디어의 세그먼트가 표시되도록 되어 있지만(이러한 변환 방법을 동기적 변환 방법이라고 함), 이에 한정되는 것이 아니라, 예를 들면 텍스트 미디어의 세그먼트의 표시와는 관계없이(비동기로), 비디오 미디어의 세그먼트가 연속적으로 표시되도록 해도 된다(이러한 변환 방법을 비동기적 변환 방법이라고 함)[도 3의 (c) 참조].
상술한 바와 같이, 본 실시예에 따른 복합 미디어 콘텐츠의 변환 장치는, 텍스트 미디어의 표시 시간을 고려한 프레젠테이션 구성의 복합 미디어 콘텐츠로 변환되도록 구성되기 때문에, 복합 미디어 콘텐츠를 구성하는 텍스트 미디어에 포함되는 문자 수가 많고, 변환한 경우에, 동화상 미디어(비디오 미디어)의 재생 시간에 비해, 텍스트 미디어의 표시 시간쪽이 길어지게 되는 경우에도, 의미적 정보를포함하는 텍스트 미디어의 내용을 손상시키지 않고, 텍스트 미디어가 확실하게 표시되어, 텍스트 미디어의 가독성이 확보되도록 자동적으로 변환할 수 있게 된다.
또한, 본 복합 미디어 콘텐츠의 변환 장치는, PC(예를 들면 데스크탑 퍼스널 컴퓨터나 노트북 컴퓨터 등)용의 콘텐츠를 휴대 단말기(예를 들면 휴대 전화나 PDA)용의 콘텐츠로 변환하는 데 이용되지만, 특히, 텍스트 미디어가 표시되는 것에 중요한 의미가 있는 콘텐츠를 변환하는 데 유용하다.
이하, 본 복합 미디어 콘텐츠의 변환 장치의 구성에 대하여, 도 1을 참조하면서 구체적으로 설명한다.
본 복합 미디어 콘텐츠의 변환 장치는, 입력부(예를 들면 키보드나 마우스 등)와, 출력부로서의 디스플레이(표시부)와, 예를 들면 CPU나 메모리 등으로 이루어지는 제어부(제어 연산부, 컴퓨터)와, 예를 들면 ROM이나 하드디스크 등의 기억부를 구비하는 것으로서 구성된다. 예를 들면 퍼스널 컴퓨터에 복합 미디어 콘텐츠를 다운로드함으로써, 퍼스널 컴퓨터를 복합 미디어 콘텐츠의 변환 장치로서 이용할 수 있다.
그리고, 기억부에는, 오퍼레이팅 시스템(이하, OS라고도 함) 및 다양한 어플리케이션 프로그램뿐만 아니라, 후술하는 바와 같은 기능을 컴퓨터에 실현시키는 복합 미디어 콘텐츠 변환 프로그램도 저장되어 있고, 이들 프로그램이, 제어부의 메모리 상에 로드되어, CPU에 의해 실행됨으로써, 원하는 기능이 실현되도록 되어 있다.
특히, 제어부가 변환 명령(변환 지시 정보를 포함함)에 기초하여 복합 미디어 콘텐츠 변환 프로그램을 실행함으로써, 예를 들면 도 1의 기능 블록도에 도시한 바와 같이, 입력 복합 미디어 콘텐츠로부터 임의의 미디어 데이터[미디어 데이터의 전부 또는 일부(임의의 시간 구간)]를 취득하는 데이터 취득 처리 기능(데이터 취득 처리부(10))과, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 기능(시공간 레이아웃 정보 설정 처리부(11))과, 입력 복합 미디어 콘텐츠에 포함되는 각 미디어 데이터를 시공간 레이아웃 정보 테이블에 기초하여 각 미디어 데이터마다 변환하는 변환 처리 기능(콘텐츠 변환 처리부(12))과, 변환된 각 미디어 데이터를 복합시켜 출력 복합 미디어 콘텐츠 파일을 작성하는 파일 생성 처리 기능(파일 생성 처리부(13))이 실현되게 된다.
여기서, 데이터 취득 처리부(10)는, 입력 복합 미디어 콘텐츠로부터 임의의 텍스트 미디어의 데이터[텍스트 미디어 데이터의 전부 또는 일부(임의의 시간 구간)]를 취득하는 텍스트 데이터 취득 처리 기능(텍스트 데이터 취득 처리부)과, 입력 복합 미디어 콘텐츠로부터 임의의 오디오 미디어의 데이터[오디오 미디어의 데이터의 전부 또는 일부(임의의 시간 구간)]를 취득하는 오디오 데이터 취득 처리 기능(오디오 데이터 취득 처리부)과, 입력 복합 미디어 콘텐츠로부터 임의의 비디오 미디어(동화상 미디어)의 데이터[비디오 미디어의 데이터(동화상 데이터)의 전부 또는 일부(임의의 시간 구간)]를 취득하는 비디오 데이터(동화상 데이터) 취득 처리 기능[비디오 데이터(동화상 데이터) 취득 처리부]을 포함하는 것으로서 구성된다.
예를 들면, 도 3의 (a)에 도시한 바와 같은 입력 복합 미디어 콘텐츠를, 도 3의 (b)에 도시한 바와 같은 출력 복합 미디어 콘텐츠로 변환하는 경우, 데이터 취득 처리부(10)는, 입력 복합 미디어 콘텐츠를 구성하는 비디오 미디어, 오디오 미디어, 텍스트 미디어 중에서 비디오 미디어의 세그먼트 Vseg(11)의 전체 시간 구간(T1 구간), 세그먼트 Vseg(m1)의 T3 구간, 텍스트 미디어의 세그먼트 Tseg(11)의 전체 시간 구간(T1 구간), 세그먼트 Tseg(12)의 전체 시간 구간(T3 구간), 세그먼트 Tseg(k2)의 전체 시간 구간(T4 구간)의 미디어 데이터를 취득한다.
시공간 레이아웃 정보 설정 처리부(11)는, 입력 복합 미디어 콘텐츠를 해석하고, 예를 들면 시각 정보, 시간 정보, 데이터의 소재를 나타내는 어드레스 정보 등의 시공간적인 정보를 취득하여, 시공간 정보 테이블을 작성하는 정보 해석 처리 기능(정보 해석 처리부(14)), 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 기능(텍스트 표시 시간 산출 처리부(15))과, 시공간 레이아웃 정보 테이블을 작성하는 시공간 레이아웃 정보 테이블 작성 기능(시공간 레이아웃 정보 테이블 작성부(16))과, 시공간 레이아웃 정보 테이블 작성부(16)에서 작성된 시공간 레이아웃 정보 테이블을 기억하고, 관리하는 시공간 레이아웃 정보 관리 기능(시공간 레이아웃 정보 관리부(17))을 포함하는 것으로서 구성된다.
여기서, 정보 해석 처리부(14)는, 입력 복합 미디어 콘텐츠가 예를 들면 SMIL과 같은 언어로 기술되어 있는 경우에는, 프레젠테이션 기술 중에 있는 미디어의 재생 순서 제어나 재생 동기 제어에 관한 정보로부터, 각 미디어에 대하여 다른미디어와의 동기 시각이나 연결 시각, 데이터의 소재를 나타내는 어드레스 정보를 구하고, 이들 동기 시각이나 연결 시각, 데이터의 소재를 나타내는 어드레스 정보에 기초하여, 예를 들면 시각 정보, 시간 정보, 데이터의 소재를 나타내는 어드레스 정보 등의 시공간적인 정보를 포함하는 시공간 정보 테이블을 작성하는 것으로서 구성된다. 이 경우, 재생 순서 제어나 재생 동기 제어에 관한 정보를 해석하여 동기 시각이나 연결 시각을 구하기 때문에, 동기 정보 해석 처리부라고도 한다.
텍스트 표시 시간 산출 처리부(15)는, 예를 들면, 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 데이터로부터 얻어지는 문자 수(텍스트 정보)와, 변환 지시 정보로서 입력되는 스크롤 속도, 표시 영역의 크기, 폰트 타입, 폰트 사이즈, 문자 간격(텍스트 표시 형태 정보; 텍스트 텔롭(telop)에 관한 속성 정보)에 기초하여, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트의 표시 시간을 산출하는 것으로서 구성된다.
또한, 텍스트 표시 시간 산출 처리부(15)는, 텍스트 미디어의 세그먼트의 표시 시간에 기초하여, 텍스트 미디어의 표시 시간(텍스트 미디어의 모든 세그먼트의 합계 표시 시간; 렌더링 영역의 유효 시간)을 산출하는 기능도 갖는다.
시공간 레이아웃 정보 테이블 작성부(16)는, 정보 해석 처리부(14)에서 작성된 시공간 정보 테이블, 텍스트 표시 시간 산출 처리부(15)에서 산출된 텍스트 데이터의 표시 시간, 변환 지시 정보에 기초하여, 시공간 레이아웃 정보 테이블 및 이것과 관련지어져 있는 세그먼트 정보 테이블(이들 테이블에 포함되는 정보를 시공간 레이아웃 정보라고 함)에 항목값을 설정하는 것으로서 구성된다. 또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 항목값의 설정에 필요한 각종 연산도 행하는 것으로서 구성된다.
또한, 시공간 레이아웃 정보 테이블(템플릿) 및 세그먼트 정보 테이블(템플릿)은, 동기적 변환 방법이나 비동기적 변환 방법 등의 변환 방법마다 복수 준비되어, 기억부(예를 들면 하드디스크)에 기억되어 있지만, 복합 미디어 콘텐츠 변환 프로그램이 실행될 때에는, 기억부(예를 들면 하드디스크)로부터 판독되어, 시공간 레이아웃 정보 관리부(17)(예를 들면 메모리)에서 관리되고 있다.
콘텐츠 변환 처리부(12)는, 텍스트 표시 시간 산출 처리부(15)에서 산출된 텍스트 미디어의 표시 시간 및 변환 지시 정보에 기초하여, 데이터 취득 처리부(10)로부터 텍스트 미디어의 데이터를 취득하여 변환 처리하는 텍스트 데이터 변환 처리 기능(텍스트 데이터 변환 처리부)과, 재생 시간 설정 처리부에서 설정된 오디오 미디어의 재생 시간 및 변환 지시 정보에 기초하여, 데이터 취득 처리부(10)로부터 오디오 미디어의 데이터를 취득하여 변환 처리하는 오디오 데이터 변환 처리 기능(오디오 데이터 변환 처리부)과, 재생 시간 설정 처리부에서 설정된 비디오 미디어의 재생 시간 및 변환 지시 정보에 기초하여, 데이터 취득 처리부(10)로부터 비디오 미디어의 데이터를 취득하여 변환 처리하는 비디오 데이터(동화상 데이터) 변환 처리 기능[비디오 데이터(동화상 데이터) 변환 처리부]을 포함하는 것으로서 구성된다.
여기서, 텍스트 데이터 변환 처리부는, 예를 들면, 데이터 취득 처리부(10)로부터 텍스트 미디어의 데이터를 취득하고, 시공간 레이아웃 정보 관리부(17)에서관리되는 시공간 레이아웃 정보 테이블에 기초하여, 텍스트 텔롭 데이터를 생성하는 것으로서 구성된다. 이 때문에, 텔롭 데이터 생성 처리부라고도 한다.
오디오 데이터 변환 처리부는, 예를 들면, 데이터 취득 처리부(10)로부터 오디오 미디어의 데이터를 취득하고, 시공간 레이아웃 정보 관리부(17)에서 관리되는 시공간 레이아웃 정보 테이블에 기초하여, 변환 지시 정보에 포함되는 부호화 조건으로 지정된 부호화 방식의 오디오 데이터를 생성하는 것으로서 구성된다.
비디오 데이터 변환 처리부(동화상 데이터 변환 처리부)는, 예를 들면, 데이터 취득 처리부(10)로부터 취득한 비디오 미디어(동화상 미디어)를, 시공간 레이아웃 정보 관리부(17)에서 관리되는 시공간 레이아웃 정보 테이블에 기초하여, 변환 지시 정보에 포함되는 부호화 조건으로 지정된 부호화 방식의 비디오 미디어(동화상 미디어)로 변환하는 것으로서 구성된다. 예를 들면, 비디오 데이터 변환 처리부는, MPEG-4 Video의 디코더와, 해상도 변환기를 구비하는 것으로서 구성하면 된다.
파일 생성 처리부(13)는, 변환 지시 정보에 포함되는 출력 파일 포맷 정보 및 출력 프레젠테이션 형태 정보에 기초하여, 콘텐츠 변환 처리부(12)에서 생성된 개개의 미디어를 복합시켜, 프레젠테이션 구성 정보를 파일 포맷에 의존한 형식의 출력 복합 미디어 콘텐츠 파일을 생성하는 것으로서 구성된다.
다음으로, 독립된 멀티미디어 오브젝트를, 동기한 멀티미디어 프레젠테이션에 통합하기 위한 언어인 SMIL(Synchronized Multimedia Integration Language)에 의해 작성된 복합 미디어 콘텐츠(도 4 참조)를, 개개의 미디어 데이터마다 서로 다른 부호화 방식으로 변환하고, 3GPP 26.234 V.5.1.0으로 규격화되는 파일 형식의 복합 미디어 콘텐츠로 변환하는 경우를 예로 들어 설명한다.
또한, 도 4에서, <par>은 자(子) 노드의 미디어 데이터를 동기시켜 재생시키는 것을 의도한 제어 정보(동기 제어 정보)이고, <seq>는 자 노드의 미디어 데이터를 순서대로 재생하는 것을 의도한 제어 정보(순서 제어 정보)이다.
예를 들면 도 4에 도시한 바와 같이 구성되는 복합 미디어 콘텐츠에서는, 프레젠테이션의 타임 라인에서의 0초부터 10초까지의 동안(0s∼10s)에는, 도 4에서, ①로 나타내는 기술에 기초하여, 도 5의 (a), (d), (f)에 도시한 바와 같이, v1.mpg의 10s∼20s의 부분(vseg1)이 추출됨과 함께, a1.mpg의 40s∼50s의 부분(aseg1)이 추출되며, 또한 tx1.html(tseg1)이 추출되고, 이들이 동기하여 표시·재생되게 된다.
다음으로, 프레젠테이션의 타임 라인에서의 10초부터 20초까지의 동안(10s∼20s)에는, 도 4에서, ②로 나타내는 기술에 기초하여, 도 5의 (b), (g)에 도시한 바와 같이, v2.mpg의 0s∼10s의 부분(vseg2)이 추출됨과 함께, tx2.html(tseg2)이 추출되고, 이들이 동기하여 표시되게 된다.
계속해서, 프레젠테이션의 타임 라인에서의 20초부터 40초까지의 동안(20s∼40s)에는, 도 4에서, ③으로 나타내는 기술에 기초하여, 도 5의 (c), (h), (i)에 도시한 바와 같이, v3.mpg의 20s∼40s의 부분(vseg3)이 추출됨과 함께, tx3.html(tseg3), tx4.html(tseg4)이 순서대로 추출되고, 이들이 동기하여 표시되게 된다.
또한, 프레젠테이션의 타임 라인에서의 10초부터 40초까지의 동안(10s∼40s)에는, 도 4에서, ④로 나타내는 기술에 기초하여, 도 5의 (e)에 도시한 바와 같이, a2.mpg의 10s∼40s의 부분(aseg2)이 추출되며, 상술한 v2.mpg의 0s∼10s의 부분(vseg2), tx2.html(tseg2), v3.mpg의 20s∼40s의 부분(vseg3), tx3.html(tseg3), tx4.html(tseg4)에 동기하여 재생되게 된다.
이하, 본 복합 미디어 콘텐츠의 변환 장치에 의해 실행되는 변환 처리에 대하여, 도 6의 흐름도를 참조하면서 설명한다.
복합 미디어 콘텐츠 변환 프로그램이 기동되어, 복합 미디어 콘텐츠의 변환 장치의 입력부를 통해 변환 명령(변환 지시 정보를 포함함)이 입력되면, 단계 S10, S20의 처리가 실행된다. 또한, 단계 S10, S20의 처리의 순서는 어느 쪽이 먼저이어도 된다.
여기서, 외부로부터의 지시에 의해 공급되는 변환 지시 정보에는, 예를 들면 도 7의 (a)에 도시한 바와 같은 「출력 파일 포맷 정보」, 예를 들면 도 7의 (b)에 도시한 바와 같은 「출력 프레젠테이션 형태 정보」, 예를 들면 도 7의 (c), (d)에 도시한 바와 같은 「렌더링 영역 천이 정보(시공간 레이아웃 정보#1)」, 예를 들면 도 7의 (e)에 도시한 바와 같은 「렌더링 영역 정보」, 도 7의 (f)에 도시한 바와 같은 「동화상 표시 형태 정보」, 도 7의 (g)에 도시한 바와 같은 「텍스트 표시 형태 정보」, 도 7의 (h)에 도시한 바와 같은 「스크롤 정보」 등이 포함된다.
여기서는, 「출력 파일 포맷 정보」는, 도 7의 (a)에 도시한 바와 같이, 출력 파일 포맷 형식으로서 3GPP TS.26.234 V.5.1.0을 지시하는 것으로서 구성된다.
「출력 프레젠테이션 형태 정보」는, 도 7의 (b)에 도시한 바와 같이, 출력 프레젠테이션 형태로서, 비동기적 변환 방법 「방법1」로 할지, 동기적 변환 방법 「방법2」로 할지, 비동기적 변환 방법 중에서는 어떤 방법으로 할지 「방법1-1」, 「1-2」, 「1-3」을 지시하는 것으로서 구성된다.
「렌더링 영역 천이 정보」는, 도 7의 (c), (d)에 도시한 바와 같이, 렌더링 영역 천이 정보로서, 렌더링 영역을 특정하는 식별자(렌더링 영역 ID)마다 천이 순위를 지시하는 것으로서 구성된다.
「렌더링 영역 정보」는, 예를 들면 도 7의 (e)에 도시한 바와 같이, 렌더링 영역 ID마다, 동일 영역에 표시·재생시키는 미디어 종별(예를 들면 동화상, 텍스트, 오디오 등), 표시 위치[예를 들면 구형의 경우, 좌측 위의 좌표; (0, 0), (-12, 144) 등], 표시 영역[예를 들면 구형의 경우, 폭 width와 높이 height로 지정함; (176×144), (200×10)], 미디어 표시 형태(예를 들면 동화상 표시 형태 정보, 텍스트 표시 형태 정보) 등의 정보를 포함하는 것으로서 구성된다.
여기서, 「동화상 표시 형태 정보」는, 예를 들면 도 7의 (f)에 도시한 바와 같이, 적어도, 부호화 방식(예를 들면 MPEG-4 Video SP@L0), 프레임 레이트(예를 들면 최대 15fps), 비트 레이트(예를 들면 최대 64kbps)를 포함하는 것으로서 구성된다.
「텍스트 표시 형태 정보」는, 예를 들면 도 7의 (g)에 도시한 바와 같이, 적어도, 부호화 방식(예를 들면 3GPP Timed Text), 사용하는 폰트명(예를 들면 Serif), 폰트 사이즈(예를 들면 9pt), 문자 간격(예를 들면 1pt), 폰트의 피치(예를 들면 고정), 및, 장식 정보(예를 들면 스크롤에 관한 정보; 스크롤 정보)를 포함하는 것으로서 구성된다.
여기서, 「스크롤 정보」는, 예를 들면 도 7의 (h)에 도시한 바와 같이, 스크롤 방향으로서, 예를 들면 상하, 좌우 등, 스크롤 속도로서, 예를 들면 30pixel/sec 등을 포함하는 것으로서 구성된다.
우선, 도 6의 단계 S10에서, 정보 해석 처리부(동기 정보 해석 처리부)(14)가, 도 4에 도시한 바와 같이 SMIL로 작성된 복합 미디어 콘텐츠[특히, 복합 미디어 콘텐츠의 프레젠테이션 기술 중에 포함되는 제어 정보(동기 제어 정보, 순서 제어 정보)]로부터, 렌더링 영역(표시 영역)마다, 프레젠테이션의 타임 라인에서 시간 구간마다 재생하는 각 미디어 데이터에 관한 정보를 취득하여, 도 8에 도시한 바와 같은 시공간 정보 테이블을 작성한다.
구체적으로는, 도 4에 도시한 바와 같이 SMIL로 작성된 복합 미디어 콘텐츠를 변환 프로그램에 의해 변환하면, 도 8에 도시한 바와 같은 시공간 정보 테이블이 얻어지도록 되어 있다.
또한, 각 미디어 데이터에 관한 정보는, SMIL에서 독립된 멀티미디어 오브젝트를 동기시키기 위한 동기 제어 정보나 순서 제어 정보로부터 얻어지는 미디어 데이터의 연결 시각이나 동기 시각이기 때문에, 동기 정보라고도 한다.
여기서, 각 미디어 데이터에 관한 정보에는, 도 8의 시공간 정보 테이블에서 좌측 란으로부터 순서대로 도시한 바와 같이, 적어도, 프레젠테이션의 타임 라인의 재생 개시 시각, 재생 시간(이들은 입력 복합 미디어 콘텐츠에 포함되어 있는 미디어 데이터의 타임 라인에서의 개시 시각 및 종료 시각으로부터 구함), 미디어 데이터의 실체의 소재를 나타내는 어드레스 정보(URL), 미디어 데이터의 타임 라인에서의 개시 시각, 종료 시각이 포함된다.
예를 들면, 도 4에 도시한 바와 같이 SMIL로 작성된 복합 미디어 콘텐츠인 경우, 도 4에서, ①로 나타내는 부분으로부터, 프레젠테이션의 타임 라인의 재생 개시 시각으로서 0s, 재생 시간으로서 10s, 비디오 데이터의 실체의 소재를 나타내는 어드레스 정보로서 v1.mpg, 미디어 데이터의 타임 라인에서의 개시 시각으로서 10s, 종료 시각으로서 20s가 취득되어, 도 8의 (a)의 시공간 정보 테이블의 최상 란이 작성된다. 또한, 도 8의 (a)의 시공간 정보 테이블의 다른 란, 도 8의 (b)∼(f)의 시공간 정보 테이블의 각 란도 마찬가지로 작성된다.
다음으로, 단계 S20에서, 시공간 레이아웃 정보 테이블 작성부(16)가, 변환 지시 정보에 기초하여, 변환 후의 복합 미디어 콘텐츠를 위한 시공간 레이아웃 정보 테이블을 가작성한다.
여기서, 시공간 레이아웃 정보 테이블의 가작성에 대하여, 도 12의 흐름도를 참조하면서 설명한다.
우선, 단계 A10에서, 시공간 레이아웃 정보 테이블 작성부(16)가, 변환 지시 정보에 포함되는 「출력 프레젠테이션 형태 정보」의 「프레젠테이션 형태」의 항목값을 참조한다. 즉, 시공간 레이아웃 정보 테이블 작성부(16)는, 「프레젠테이션 형태」의 항목값이 「방법1」(비동기)을 지시하는 항목값인지, 「방법2」(동기)를 지시하는 항목값인지를 판정한다.
다음으로, 「프레젠테이션 형태」의 항목값이 「방법1」(비동기)을 지시하는 항목값인 것으로 판정한 경우에는 단계 A20으로 진행하여, 시공간 레이아웃 정보 테이블 작성부(16)가, 시공간 레이아웃 정보 관리부(17)에 기억되어 있는 비동기용의 시공간 레이아웃 정보 테이블 및 세그먼트 정보 테이블[도 9의 (a), (b) 참조]을 판독한다. 또한, 여기서 판독되는 테이블은 항목값이 공란으로 되어 있는 템플릿이다.
여기서, 비동기의 경우에 이용되는 시공간 레이아웃 정보 테이블은, 도 9의 (a)에 도시한 바와 같이, 렌더링 영역마다 관리되며, 렌더링 영역 ID(예를 들면 VRegionID1, TRegionID1), 표시·재생하는 미디어의 종별(미디어 종별; 예를 들면 동화상, 텍스트), 재생해야 할 미디어 데이터의 세그먼트 ID의 순서 집합(Vseg#1…Vseg#s, Tseg#1…Tseg#t), 프레젠테이션의 타임 라인에서의 재생 개시 시각(예를 들면 0; 렌더링 영역의 표시 개시 시각), 재생 시간[예를 들면 TMP, DurOf(Tseg#1…Tseg#t); 렌더링 영역의 재생 시간(유효 시간)], 효과 지시 정보(예를 들면, 미디어 데이터간에서 재생 시간이 서로 다른 경우에, 재생 시간이 짧은 미디어 데이터의 표시·재생이 완료된 후의 남은 시간에, 그 렌더링 영역에서 어떤 효과를 발생시킬 수 있을지, 즉, 어떤 표시·재생으로 할지를 지시하는 것) 등을 포함하는 것으로서 구성된다.
특히, 시공간 레이아웃 정보 테이블의 「세그먼트」의 항목값으로서는, 해당하는 렌더링 영역에 표시시키는 세그먼트의 「세그먼트 ID」가 설정되지만, 이 「세그먼트 ID」에 의해 특정되는 세그먼트에 관한 정보는, 시공간 레이아웃 정보 테이블과 「세그먼트 ID」에 의해 관련지어져 있는 「세그먼트 정보 테이블」[도 9의 (b) 참조]에서 관리된다.
또한, 비동기의 경우에 이용되는 세그먼트 정보 테이블은, 도 9의 (b)에 도시한 바와 같이, 적어도, 세그먼트 ID(예를 들면 Vseg#1 … Vseg#s, Tseg#1 … Tseg#t), 표시·재생하는 미디어의 종별(미디어 종별; 동화상, 텍스트), 세그먼트의 재생 시간[v#1_ed-v#1_st … v#s_ed-v#s_st, DurOf(Tseg#1) … DurOf(Tseg#t)], 미디어 데이터의 소재를 나타내는 어드레스 정보(예를 들면 URL; URLv1 … URLvs, URLt1 … URLts), 미디어 데이터의 타임 라인에서의 개시 시각(v#1_st … v#1_ed), 종료 시각(v#s_st … v#s_ed)을 포함하는 것으로서 구성된다.
한편, 「프레젠테이션 형태」의 항목값이 「방법2」(동기)를 지시하는 항목값인 것으로 판정한 경우에는 단계 A30으로 진행하여, 시공간 레이아웃 정보 테이블 작성부(16)가, 시공간 레이아웃 정보 관리부(17)에 기억되어 있는 동기용의 시공간 레이아웃 정보 테이블 및 세그먼트 정보 테이블[도 10의 (a), (b) 참조]을 판독한다. 또한, 여기서 판독되는 테이블은 항목값이 공란으로 되어 있는 템플릿이다.
여기서, 동기의 경우에 이용되는 시공간 레이아웃 정보 테이블은, 도 10의 (a)에 도시한 바와 같이, 렌더링 영역마다 관리되며, 렌더링 영역 ID(예를 들면 VRegionID1, TRegionID1), 표시·재생하는 미디어의 종별(미디어 종별; 예를 들면 동화상, 텍스트), 재생해야 할 미디어 데이터의 세그먼트 ID의 순서 집합(Vseg#1 … Vseg#s, Tseg#1 … Tseg#s), 프레젠테이션의 타임 라인에서의 재생 개시 시각(예를 들면 0; 렌더링 영역의 표시 개시 시각), 재생 시간[예를 들면 DurOf(Vseg#1 … Vseg#s), DurOf(Tseg#1 … Tseg#s); 렌더링 영역의 재생 시간(유효 시간)] 등을 포함하는 것으로서 구성된다.
특히, 시공간 레이아웃 정보 테이블의 「세그먼트」의 항목값으로서는, 해당하는 렌더링 영역에 표시시키는 세그먼트의 「세그먼트 ID」가 설정되지만, 이 「세그먼트 ID」에 의해 특정되는 세그먼트에 관한 정보는, 시공간 레이아웃 정보 테이블과 「세그먼트 ID」에 의해 관련지어져 있는 「세그먼트 정보 테이블」[도 10의 (b) 참조]에서 관리된다.
또한, 동기의 경우에 이용되는 세그먼트 정보 테이블은, 도 10의 (b)에 도시한 바와 같이, 적어도, 세그먼트 ID(예를 들면 Vseg#1 … Vseg#s, Tseg#1 … Tseg#s), 표시·재생하는 미디어의 종별(미디어 종별; 동화상, 텍스트), 세그먼트의 재생 시간[Max(DurOf(Tseg#1), (v#1_ed-v#1_st)) … Max(DurOf(Tseg#s), (v#s_ed-v#s_st)); Max(x, y)], 효과 지시 정보(예를 들면, 미디어 데이터의 세그먼트간에서 재생 시간이 서로 다른 경우에, 재생 시간이 짧은 미디어 데이터의 세그먼트의 표시·재생이 종료된 후의 남은 시간에, 그 렌더링 영역에서 어떤 효과를 발생시킬 수 있는지, 즉, 어떤 표시·재생으로 할지를 지시하는 것), 미디어 데이터의 소재를 나타내는 어드레스 정보(예를 들면 URL; URLv1 … URLvs, URLt1 … URLts), 미디어 데이터의 타임 라인에서의 개시 시각(v#1_st … v#1_ed), 종료 시각(v#s_st … v#s_ed)을 포함하는 것으로서 구성된다.
이와 같이 하여, 어느 하나의 루트를 거쳐, 시공간 레이아웃 정보 테이블 및세그먼트 정보 테이블을 판독한 후, 단계 A40에서, 시공간 레이아웃 정보 테이블 작성부(16)가, 변환 지시 정보에 포함되는 「렌더링 영역 천이 순위 정보(시공간 레이아웃 정보#1)」의 「렌더링 영역 ID」 및 「렌더링 영역 정보」의 「표시 미디어 종별」에 설정되어 있는 항목값을 참조하여, 시공간 레이아웃 정보 테이블(시공간 레이아웃 정보#2)의 「렌더링 영역 ID」, 「미디어 종별」의 항목값을 설정한다. 또한, 시공간 레이아웃 정보 테이블의 「재생 시각」의 항목값은 사전에 0으로 설정되어 있다.
여기서, 비동기의 경우에 이용되는 시공간 레이아웃 정보 테이블[도 9의 (a) 참조]의 「효과 지시 정보」의 항목값으로서는, 「미디어 종별」의 항목값으로서 「동화상」이 설정되는 렌더링 영역(비디오용 렌더링 영역; VRegionID1)에는 「반복」(미디어를 지정된 횟수만큼 반복하여 재생하는 것을 지시하는 것)이 설정되며, 「미디어 종별」의 항목값으로서 「텍스트」가 설정되는 렌더링 영역(텍스트용 렌더링 영역; TRegionID1)에는 「프리즈」(재생 종료 시의 상태를 계속시키는 것을 지시하는 것; 예를 들면 블랭크 상태를 계속시키는 스크롤을 지시하는 것, 예를 들면 스테이 상태를 유지하는 것을 지시하는 것)가 설정되도록 되어 있다.
또한, 「텍스트」의 렌더링 영역에는 「N/A」(No Assign; 블랭크화 혹은 렌더링 영역을 소거하는 것을 지시하는 것)가 설정되도록 해도 된다.
한편, 동기의 경우에 이용되는 세그먼트 정보 테이블[도 10의 (b) 참조]의 「효과 지시 정보」의 항목값으로서는, 「미디어 종별」의 항목값으로서 「동화상」이 설정되는 렌더링 영역(비디오용 렌더링 영역; VRegionID1)에는 「프리즈」(반복이어도 됨)가 설정되고, 「미디어 종별」의 항목값으로서 「텍스트」가 설정되는 렌더링 영역(텍스트용 렌더링 영역; TRegionID1)에는 「N/A」(프리즈이어도 됨)가 설정되도록 되어 있다.
다음으로, 단계 A50에서, 정보 해석 처리부(14)에 의해 작성된 시공간 정보 테이블을 이용하여, 시공간 레이아웃 정보 테이블 및 세그먼트 정보 테이블의 소정의 항목값을 설정한다.
여기서, 비동기용의 시공간 레이아웃 정보 테이블이 판독되어 있는 경우[도 9의 (a) 참조]의 시공간 레이아웃 정보 테이블 및 세그먼트 정보 테이블의 소정의 항목값의 설정에 대하여, 도 13의 흐름도를 참조하면서 설명한다.
우선, 단계 B10에서, 입력 복합 미디어 콘텐츠를 구성하는 미디어 데이터 중, 출력 복합 미디어 콘텐츠에 포함시키는 미디어의 세그먼트(또는 그 일부)가 선택되면(즉, 선택 명령이 입력되면), 시공간 레이아웃 정보 테이블 작성부(16)가, 선택된 세그먼트의 세그먼트 ID를, 시공간 레이아웃 정보 테이블의 「세그먼트」의 항목값으로서 설정함과 함께, 선택된 세그먼트의 세그먼트 ID 및 미디어 종별을, 세그먼트 정보 테이블의 「세그먼트 ID」 및 「미디어 종별」의 항목값으로서 설정한다[도 9의 (a), (b) 참조].
그리고, 시공간 레이아웃 정보 테이블 작성부(16)는, 정보 해석 처리부(14)에 의해 작성된 시공간 정보 테이블[도 8의 (a)∼(f) 참조)]로부터, 선택된 세그먼트의 개시 시각, 종료 시각, 데이터의 소재를 나타내는 어드레스 정보 등을 판독하고, 각각, 세그먼트 정보 테이블의 「개시 시각」, 「종료 시각」, 「데이터의 소재」의 항목값으로서 설정한다.
여기서는, 세그먼트 ID(Vseg#1)의 세그먼트에 대하여, 「개시 시각」의 항목값으로서 「v#1_st」가 설정되고, 「종료 시각」의 항목값으로서 「v#1_ed」가 설정되며, 「데이터의 소재」의 항목값으로서 「URLv1」이 설정된다. 또한, 세그먼트 ID(Vseg#s)의 세그먼트에 대하여, 「개시 시각」의 항목값으로서 「v#s_st」가 설정되며, 「종료 시각」의 항목값으로서 「v#s_ed」가 설정되고, 「데이터의 소재」의 항목값으로서 「URLvs」가 설정된다. 또한, 세그먼트 ID(Tseg#1)의 세그먼트에 대하여, 「데이터의 소재」의 항목값으로서 「URLt1」이 설정되고, 세그먼트 ID(Tseg#t)의 세그먼트에 대하여, 「데이터의 소재」의 항목값으로서 「URLts」가 설정된다.
또한, 세그먼트의 선택은, 시공간 정보 테이블(도 8 참조)을 참조하여 임의로 행해지도록 하면 된다. 또한, 오퍼레이터가 입력되어도 된다.
다음으로, 단계 B20에서, 시공간 레이아웃 정보 테이블 작성부(16)는, 세그먼트 정보 테이블의 「미디어 종별」의 항목값으로서 「동화상」이 설정되어 있는 세그먼트의 「재생 시간」의 항목값으로서, 「종료 시각」과 「개시 시각」의 차분의 값이 설정된다.
여기서는, 세그먼트 ID(Vseg#1)의 세그먼트에 대하여, 「개시 시각」의 항목값으로서 「v#1_st」가 설정되고, 「종료 시각」의 항목값으로서 「v#1_ed」가 설정되어 있기 때문에, 「재생 시간」의 항목값으로서 「v#1_ed-v#1_st」가 설정된다. 또한, 세그먼트 ID(Vseg#s)의 세그먼트에 대하여, 「개시 시각」의 항목값으로서 「v#s_st」가 설정되며, 「종료 시각」의 항목값으로서「v#s_ed」가 설정되어 있기 때문에, 「재생 시간」의 항목값으로서 「v#s_ed-v# s_st」가 설정된다.
계속해서, 단계 B30에서, 시공간 레이아웃 정보 테이블 작성부(16)는, 세그먼트 정보 테이블의 「미디어 종별」의 항목값으로서 「텍스트」가 설정되어 있는 세그먼트의 「재생 시간」(텍스트 미디어의 세그먼트의 재생 종료 시각)의 항목값으로서, 후에 텍스트 미디어의 세그먼트의 표시 시간이 산출된 경우에, 산출된 값이 설정되는 것을 나타내는 표기 DurOf( )를 설정한다.
여기서는, 세그먼트 ID(Tseg#1)의 세그먼트에 대하여, 「재생 시간」의 항목값으로서 「DurOf(Tseg#1)」이 설정되고, 세그먼트 ID(Tseg#t)의 세그먼트에 대하여, 「재생 시간」의 항목값으로서 「DurOf(Tseg#t)」가 설정된다.
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 시공간 레이아웃 정보 테이블의 「미디어 종별」의 항목값으로서 「동화상」이 설정되는 렌더링 영역(비디오용 렌더링 영역; VRegionID1)의 「재생 시간」(프레젠테이션의 타임 라인에서의 동화상 미디어의 재생 시간 ; 렌더링 영역의 유효 시간)의 항목값으로서, 후에 설정되는 것을 나타내는 표기 TMP를 설정한다.
또한, TMP에는, 동화상 미디어의 모든 세그먼트를 반복하여 재생하는 것을 고려한 시간(즉, 동화상 미디어의 재생 종료 시각)이 후에 설정되게 된다.
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 시공간 레이아웃 정보 테이블의 「미디어 종별」의 항목값으로서 「텍스트」가 설정되는 렌더링 영역(텍스트용 렌더링 영역; TRegionID1)의 「재생 시간」(프레젠테이션의 타임 라인에서의텍스트 미디어의 재생 시간; 렌더링 영역의 유효 시간)의 항목값으로서, 「세그먼트」의 항목값으로서 설정된 모든 세그먼트(Tseg#1 … Tseg#t)의 합계 재생 시간(효과를 포함한 시간; 즉, 텍스트의 재생 종료 시각)으로서 후에 산출된 경우에, 산출된 값이 설정되는 것을 나타내는 표기 DurOf(Tseg#1 … Tseg#t)를 설정한다.
이와 같이, 비동기의 경우에 이용되는 시공간 레이아웃 정보 테이블은, 동화상 미디어의 프레젠테이션의 타임 라인의 재생 시간의 필드에 변수 TMP를 설정하고, 「효과 지시 정보」에 「반복」이 설정되어 있는 점이 특징이다.
한편, 동기용의 시공간 레이아웃 정보 테이블이 판독되어 있는 경우[도 10의 (a) 참조]의 시공간 레이아웃 정보 테이블 및 세그먼트 정보 테이블의 소정의 항목값의 설정에 대하여, 도 14의 흐름도를 참조하면서 설명한다.
우선, 단계 C10에서 행해지는 처리는, 상술한 비동기의 시공간 레이아웃 정보 테이블이 판독되어 있는 경우와 마찬가지이다(도 13의 단계 B10 참조).
다음으로, 단계 C20에서, 시공간 레이아웃 정보 테이블 작성부(16)는, 세그먼트 정보 테이블의 「미디어 종별」의 항목값으로서 「동화상」이 설정되어 있는 세그먼트의 「재생 시간」(즉, 동화상 미디어의 재생 종료 시각)의 항목값으로서, 「종료 시각」과 「개시 시각」의 차분값 x와, 후에 산출되는 텍스트 미디어의 세그먼트의 표시 시간의 값 y 중에서 큰 쪽의 값이 후에 설정되는 것을 나타내는 Max(x, y)를 설정한다.
여기서는, 세그먼트 ID(Vseg#1)의 세그먼트에 대하여, 「재생 시간」의 항목값으로서 「Max(DurOf(Tseg#1), (v#1_ed-v#1_st))」가 설정된다. 또한, 세그먼트ID(Vseg#s)의 세그먼트에 대하여, 「재생 시간」의 항목값으로서, 「Max(DurOf(Tseg#s), (v#s_ed-v#s_st))」가 설정된다.
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 세그먼트 정보 테이블의 「미디어 종별」의 항목값으로서 「텍스트」가 설정되어 있는 세그먼트의 「재생 시간」(즉, 텍스트 미디어의 재생 종료 시각)의 항목값으로서, 동기하여 재생되는 「동화상」의 세그먼트의 「재생 시간」의 항목값으로서 설정되는 값과 동일한 값이 설정되도록 Max(x, y)를 설정한다.
여기서는, 세그먼트 ID(Tseg#1)의 세그먼트에 대하여, 「재생 시간」의 항목값으로서 「Max(DurOf(Tseg#1), (v#1_ed-v#1_st))」가 설정된다. 또한, 세그먼트 ID(Tseg#s)의 세그먼트에 대하여, 「재생 시간」의 항목값으로서, 「Max(DurOf(Tseg#s), (v#s_ed-v#s_st))」가 설정된다.
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 시공간 레이아웃 정보 테이블의 「미디어 종별」의 항목값으로서 「동화상」이 설정되는 렌더링 영역(비디오용 렌더링 영역; VRegionID1)의 「재생 시간」(프레젠테이션의 타임 라인에서의 동화상 미디어의 재생 시간 ; 렌더링 영역의 유효 시간)의 항목값으로서, 「세그먼트」의 항목값으로서 설정된 모든 세그먼트(Vseg#1 … Vseg#s)의 합계 재생 시간(효과를 포함시킨 시간; 즉, 텍스트의 재생 종료 시각)으로서 후에 산출된 경우에, 산출된 값이 설정되는 것을 나타내는 표기 DurOf(Vseg#1 … Vseg#s)를 설정한다.
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 시공간 레이아웃 정보 테이블의 「미디어 종별」의 항목값으로서 「텍스트」가 설정되는 렌더링 영역(텍스트용 렌더링 영역; TRegionID1)의 「재생 시간」(프레젠테이션의 타임 라인에서의 텍스트 미디어의 재생 시간; 렌더링 영역의 유효 시간)의 항목값으로서, 「세그먼트」의 항목값으로서 설정된 모든 세그먼트(Tseg#1 … Tseg#s)의 합계 재생 시간(효과를 포함시킨 시간; 즉, 텍스트의 재생 종료 시각)으로서 후에 산출된 경우에, 산출된 값이 설정되는 것을 나타내는 표기 DurOf(Tseg#1 … Tseg#s)를 설정한다.
이와 같이, 동기의 경우에 이용되는 세그먼트 정보 테이블의 세그먼트의 재생 시간의 항목은, 동화상 데이터의 세그먼트의 재생 시간과, 이것에 동기하여 표시되는 텍스트 데이터의 세그먼트의 재생 시간 중에서 큰 쪽이 설정되도록 Max(x, y)로 기술하고, 동화상의 「효과 지시 정보」에 「프리즈」를 설정하는 점이 특징이다.
또한, 시공간 레이아웃 정보 테이블(시공간 레이아웃 정보#2)은, 렌더링 영역 천이 순위 정보(시공간 레이아웃 정보#1)를 확장하여 작성된다.
이와 같이 하여 시공간 레이아웃 정보 테이블을 작성한 후, 도 6의 단계 S30에서, 데이터 취득 처리부(10)가, 입력 복합 미디어 콘텐츠에 포함되는 미디어 데이터로부터, 단계 S20에서 작성된 시공간 레이아웃 정보 테이블을 이용하여, 출력 복합 미디어 콘텐츠에 포함시키는 미디어 데이터를 세그먼트마다 취득한다.
즉, 비디오 데이터 취득 처리부는, 입력 복합 미디어 콘텐츠에 포함되는 비디오 데이터로부터, 시공간 레이아웃 정보 테이블(특히 어드레스 정보)을 이용하여, 출력 복합 미디어 콘텐츠에 포함시키는 비디오 데이터를 세그먼트마다 취득하고, 오디오 데이터 취득 처리부는, 입력 복합 미디어 콘텐츠에 포함되는 오디오 데이터로부터, 시공간 레이아웃 정보 테이블(특히 어드레스 정보)을 이용하여, 출력 복합 미디어 콘텐츠에 포함시키는 오디오 데이터를 세그먼트마다 취득하고, 텍스트 데이터 취득 처리부는, 입력 복합 미디어 콘텐츠에 포함되는 텍스트 데이터로부터, 시공간 레이아웃 정보 테이블(특히 어드레스 정보)을 이용하여, 출력 복합 미디어 콘텐츠에 포함시키는 텍스트 데이터를 세그먼트마다 취득한다.
또한, 입력 복합 미디어 콘텐츠에 포함되는 미디어 데이터를 구성하는 세그먼트의 전부를 취득하도록 해도 되고, 일부를 취득하도록 해도 된다.
다음으로, 단계 S40에서, 텍스트 표시 시간 산출 처리부(15)가, 입력 복합 미디어 콘텐츠에 포함되는 텍스트 데이터를 변환 지시 정보에 기초하여(즉, 시공간 레이아웃 정보 테이블을 이용하여) 변환하는 경우에 출력 복합 미디어 콘텐츠에 포함되는 텍스트 데이터의 표시 시간을 산출한다.
우선, 텍스트 표시 시간 산출 처리부(15)는, 텍스트 데이터 취득 처리부로부터 입력 복합 미디어 콘텐츠에 포함되는 텍스트 데이터를 판독하여, 텍스트 데이터의 문자 수(텍스트 정보)를 산출한다. 그리고, 텍스트 데이터의 문자 수와, 변환 지시 정보로서 입력되는 텍스트 표시 형태 정보(예를 들면 스크롤 속도, 표시 영역의 크기, 폰트 타입, 폰트 사이즈, 문자 간격)에 기초하여, 변환 후의 복합 미디어 콘텐츠(출력 복합 미디어 콘텐츠)에 포함되는 텍스트 데이터의 세그먼트의 표시 시간을 산출한다.
예를 들면, 도 11에 도시한 바와 같이, 변환 전의 입력 복합 미디어 콘텐츠의 텍스트 표시 영역(텍스트 렌더링 영역)에 표시되는 텍스트 미디어의 세그먼트에포함되는 캐릭터의 수(문자 수)가 200문자이고, 변환 후의 출력 복합 미디어 콘텐츠의 텍스트 표시 영역(텍스트 텔롭 표시 영역) 200×10pixel, 피치 고정이며, 폰트 사이즈 9pt, 문자 간격 1pt, 스크롤 방향을 좌우로 하여 스크롤 속도 40pixel/sec로 텍스트 표시 영역의 우측으로부터 스크롤 인하여 좌측으로부터 스크롤 아웃시키는 경우, 텍스트 미디어의 표시 시간은, 다음 식에 의해 55초로 산출된다.
{200×(9+1)+200}/40=55sec
다음으로, 단계 S50에서, 시공간 레이아웃 정보 테이블 작성부(16)가, 단계 S40에서 텍스트 표시 시간 산출 처리부(15)에 의해 산출된 텍스트 데이터의 세그먼트의 표시 시간을 이용하여, 시공간 레이아웃 정보 테이블의 미설정의 항목값을 설정하여, 출력 복합 미디어 콘텐츠를 위한 시공간 레이아웃 정보 테이블을 완성시킨다.
특히, 본 실시예에서는, 시공간 레이아웃 정보 테이블 작성부(16)는, 텍스트 표시 시간 산출 처리부(15)에서 산출된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보 테이블의 텍스트 미디어의 표시 시간의 항목값을 설정함과 함께, 시공간 레이아웃 정보 테이블의 텍스트 미디어의 표시 시간의 항목값에 기초하여 시공간 레이아웃 정보 테이블의 텍스트 미디어 이외의 미디어의 재생 시간의 항목값을 설정한다.
이와 같이 하여 작성된 시공간 레이아웃 정보 테이블은 시공간 레이아웃 정보 관리부(17)에 기억되어 관리되게 된다.
이하, (1) 출력 프레젠테이션 형태로서 「방법1」(비동기)이 지시되어 있는 경우와, (2) 출력 프레젠테이션 형태로서 「방법2」(동기)가 지시되어 있는 경우로 나누어, 구체적으로 설명한다.
(1) 출력 프레젠테이션 형태로서 「방법1」(비동기)이 지시되어 있는 경우
시공간 레이아웃 정보 테이블 작성부(16)는, 단계 S40에서 텍스트 표시 시간 산출 처리부(15)에 의해 산출된 텍스트 미디어의 세그먼트의 표시 시간(텍스트 미디어의 표시 시간)을, 세그먼트 정보 테이블의 텍스트 미디어의 세그먼트의 재생 시간[DurOf(Tseg#1) … DurOf(Tseg#t); DurOf(Tseg#n)]으로 설정한다[도 9의 (b) 참조].
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 단계 S40에서 텍스트 표시 시간 산출 처리부(15)에 의해 산출된 텍스트 미디어의 각 세그먼트의 표시 시간을 이용하여, 모든 세그먼트의 합계 표시 시간을 산출하고, 산출된 합계 표시 시간(텍스트 미디어의 표시 시간)을 시공간 레이아웃 정보 테이블의 텍스트 미디어의 재생 시간 DurOf(Tseg#1 … Tseg#t)로 설정한다[도 9의 (a) 참조].
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 시공간 레이아웃 정보 테이블에 설정된 텍스트 미디어의 표시 시간(즉, 텍스트 미디어의 각 세그먼트의 표시 시간 또는 모든 텍스트 미디어의 합계 표시 시간)에 기초하여, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정한다(이 기능을 재생 시간 설정 처리부라고 함).
이 때문에, 시공간 레이아웃 정보 테이블 작성부(16)는, 출력 복합 미디어콘텐츠에 포함되는 텍스트 미디어 이외의 미디어(여기서는 비디오 미디어)의 세그먼트의 재생 시간을 설정하는 기능(세그먼트 재생 시간 설정부), 세그먼트 재생 시간 설정부에서 설정된 텍스트 미디어 이외의 미디어의 각 세그먼트의 재생 시간에 기초하여 텍스트 미디어 이외의 미디어의 모든 세그먼트(이들이 반복의 기본 단위로 됨)의 합계 재생 시간을 산출하는 기능(합계 재생 시간 산출부), 텍스트 표시 시간 산출 처리부(15)에서 산출된 텍스트 미디어의 표시 시간 및 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간에 기초하여, 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 설정하는 기능(반복 재생 횟수 설정 처리부)을 포함하는 것으로서 구성하면 된다.
본 실시예에서는, 이하에 기재한 바와 같이, 시공간 레이아웃 정보 테이블의 동화상 미디어의 재생 시간 TMP를 설정함으로써, 예를 들면 도 3의 (c)에 도시한 바와 같이, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트와, 텍스트 미디어 이외의 다른 미디어(여기서는 비디오 미디어)의 세그먼트가 비동기로 표시되도록 하고 있다.
① 「방법1-1」이 지시되어 있는 경우
시공간 레이아웃 정보 테이블 작성부(16)는, 시공간 레이아웃 정보 테이블의 텍스트 미디어의 재생 시간 DurOf(Tseg#1 … Tseg#t)로 설정한 값과 동일한 값을, 시공간 레이아웃 정보 테이블의 동화상 미디어의 재생 시간 TMP로 설정한다[도 9의 (a) 참조]. 즉, 시공간 레이아웃 정보 테이블 작성부(재생 시간 설정 처리부)(16)는, 시공간 레이아웃 정보 테이블의 텍스트 미디어의 표시 시간의 항목값과 일치하도록 시공간 레이아웃 정보 테이블의 동화상 미디어의 재생 시간의 항목값을 설정한다.
이 경우, 시공간 레이아웃 정보 테이블의 텍스트 미디어 이외의 다른 미디어(여기서는 비디오 미디어)의 「효과 지시 정보」는 「반복」으로 되어 있기 때문에[도 9의 (a) 참조], 다른 미디어(여기서는 비디오 미디어)를 구성하는 모든 세그먼트가 반복하여 재생되게 된다. 그러나, 시공간 레이아웃 정보 테이블 작성부(재생 시간 설정 처리부)(16)에 의해 설정되는 텍스트 미디어 이외의 다른 미디어의 재생 시간(렌더링 영역의 유효 시간)은, 텍스트 미디어의 표시 시간(렌더링 영역의 유효 시간)과 동일하게 되어 있기 때문에, 텍스트 미디어의 표시 종료 시에 다른 미디어(여기서는 비디오 미디어)의 표시도 종료되게 된다.
또한, 「방법1-2」와 같이 반복 재생 횟수를 n회로 설정해도 된다. 이 경우, 시공간 레이아웃 정보 테이블 작성부(16)가, n회의 반복 재생 종료 후에 텍스트 미디어 이외의 미디어의 렌더링 영역이 프리즈되도록, 시공간 레이아웃 정보 테이블의 텍스트 미디어 이외의 미디어의 「효과 지시 정보」에 「프리즈」를 추가하여 설정하면 된다. 이와 같이 「효과 지시 정보」에 「프리즈」를 설정하면, 예를 들면 비디오 미디어의 경우, 비디오 미디어의 최종 프레임의 정지 화상이 텍스트 미디어의 표시 종료 시각까지 표시되게 된다.
② 「방법1-2」가 지시되어 있는 경우
시공간 레이아웃 정보 테이블 작성부(재생 시간 설정 처리부)(16)는, 시공간 레이아웃 정보 테이블의 텍스트 미디어의 재생 시간 DurOf(Tseg#1 … Tseg#t)로 설정한 값을, 세그먼트 정보 테이블에 설정되어 있는 비디오 미디어의 최초의 세그먼트의 종료 시각 v#s_ed로부터 비디오 미디어의 최후의 세그먼트의 개시 시각 v#1_st를 뺀 값(v#s_ed-v#1_st)으로 나눈 경우[DurOf(Tseg#1 … Tseg#t)/(v#s_ed-v#1_st)]의 정수값 n을 구하고, 시공간 레이아웃 정보 테이블의 동화상 미디어의 재생 시간 TMP으로, 식 (v#s_ed-v#1_st)×n에 의해 산출되는 값을 설정한다[도 9의 (a) 참조].
이 경우, 상술한 반복 재생 횟수 설정 처리부를, 텍스트 미디어 이외의 미디어(여기서는 비디오 미디어)의 반복 재생 횟수를 n(n: 정수)회로 하는 경우에, 텍스트 미디어 이외의 미디어의 재생 시간이 텍스트 미디어의 표시 시간보다 짧아지고, 또한, 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n+1회로 하는 경우에, 텍스트 미디어 이외의 미디어의 재생 시간이 텍스트 미디어의 표시 시간보다 길어진다고 하는 조건을 만족시키는 n을 반복 재생 횟수로서 설정하도록 구성하면 된다.
여기서는, 시공간 레이아웃 정보 테이블의 텍스트 미디어 이외의 다른 미디어(여기서는 비디오 미디어)의 「효과 지시 정보」는 「반복」으로 되어 있고[도 9의 (a) 참조], 반복 재생 횟수 설정 처리부에 의해 반복 재생 횟수가 n회로 설정되며, 시공간 레이아웃 정보 테이블 작성부(재생 시간 설정 처리부)(16)에 의해 설정되는 텍스트 미디어 이외의 다른 미디어의 재생 시간(렌더링 영역의 유효 시간)으로서 (v#s_ed-v#1_st)×n에 의해 산출되는 값이 설정된다.
이 때문에, 텍스트 미디어의 표시 시간(렌더링 영역의 유효 시간)보다 짧아져, 텍스트 미디어 이외의 다른 미디어(여기서는 비디오 미디어)를 구성하는 모든 세그먼트가 n회만큼 반복 재생되어, 다른 미디어(여기서는 비디오 미디어)의 재생 시간(렌더링 영역의 유효 시간; (v#s_ed-v#1_st)×n; 반복 재생 시간)의 종료 시에, 다른 미디어(여기서는 비디오 미디어)의 표시 영역(렌더링 영역)을 소거하게 된다. 또한, 텍스트 미디어의 표시 영역(렌더링 영역)은 이보다 후에 소거된다.
③ 「방법1-3」이 지시되어 있는 경우
시공간 레이아웃 정보 테이블 작성부(16)는, 「방법1-2」의 경우와 마찬가지로 하여 [DurOf(Tseg#1 … Tseg#t)/(v#s_ed-v#1_st)]의 정수값 n을 구하고, 시공간 레이아웃 정보 테이블의 동화상 미디어의 재생 시간 TMP로, 식 (v#s_ed-v#1_st)×n+1)에 의해 산출되는 값을 설정한다[도 9의 (a) 참조].
이 경우, 상술한 반복 재생 횟수 설정 처리부를, 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n(n: 정수)회로 하는 경우에, 텍스트 미디어 이외의 미디어의 재생 시간이 텍스트 미디어의 표시 시간보다 짧아지고, 또한, 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n+1회로 하는 경우에, 텍스트 미디어 이외의 미디어의 재생 시간이 텍스트 미디어의 표시 시간보다 길어진다고 하는 조건을 만족시키는 n+1을 반복 재생 횟수로서 설정하도록 구성해도 된다.
여기서는, 시공간 레이아웃 정보 테이블의 텍스트 미디어 이외의 다른 미디어(여기서는 비디오 미디어)의 「효과 지시 정보」는 「반복」으로 되어 있고[도 9의 (a) 참조], 반복 재생 횟수 설정 처리부에 의해 반복 재생 횟수가 n+1회로 설정되며, 시공간 레이아웃 정보 테이블 작성부(재생 시간 설정 처리부)(16)에 의해 설정되는 텍스트 미디어 이외의 다른 미디어의 재생 시간(렌더링 영역의 유효 시간)으로서 (v#s_ed-v#1_st)×(n+1)에 의해 산출되는 값이 설정된다.
이 때문에, 텍스트 미디어의 표시 시간(렌더링 영역의 유효 시간)보다 길어져, 텍스트 미디어 이외의 다른 미디어(여기서는 비디오 미디어)를 구성하는 모든 세그먼트가 n+1회만큼 반복하여 재생되어, 다른 미디어(여기서는 비디오 미디어)의 재생 시간(렌더링 영역의 유효 시간; (v#s_ed-v#1_st)×(n+1); 반복 재생 시간)의 종료 시에, 다른 미디어(여기서는 비디오 미디어)의 표시 영역(렌더링 영역)을 소거하게 된다. 또한, 텍스트 미디어의 표시 영역(렌더링 영역)은 이보다 전에 소거된다.
(2) 출력 프레젠테이션 형태로서「방법2」(동기)가 지시되어 있는 경우
시공간 레이아웃 정보 테이블 작성부(16)는, 단계 S40에서 텍스트 표시 시간 산출 처리부(15)에 의해 산출되어, 시공간 레이아웃 정보 테이블의 텍스트 미디어의 세그먼트의 표시 시간의 항목값으로서 설정되는 DurOf(Tseg#1) … DurOf(Tseg#t)와, 이것과 관련되는 비디오 미디어의 세그먼트의 재생 시간[세그먼트 정보 테이블에 설정되어 있는 비디오 미디어의 세그먼트의 종료 시각 v#1_ed … v#s_ed로부터 비디오 미디어의 세그먼트의 개시 시각 v#1_st … v#s_st를 뺀 값 (v#1_ed-v#1_st) … (v#s_ed-v# s_st)]을 비교하여 큰 쪽의 값을, 세그먼트 정보 테이블의 텍스트 미디어 및 비디오 미디어의 세그먼트의 재생 시간 Max(x, y)로 설정한다[도 10의 (b) 참조].
즉, 시공간 레이아웃 정보 테이블 작성부(16)는, 세그먼트 정보 테이블의 텍스트 미디어의 세그먼트의 재생 시간 Max(x, y)와, 세그먼트 정보 테이블의 비디오 미디어의 세그먼트의 재생 시간 Max(x, y)에 동일한 값을 설정한다.
여기서는, 시공간 레이아웃 정보 테이블 작성부(16)는, 세그먼트 정보 테이블의 텍스트 미디어의 세그먼트의 표시 시간(텍스트 미디어의 표시 시간)의 항목값과 일치하도록 세그먼트 정보 테이블의 텍스트 미디어 이외의 미디어의 세그먼트의 재생 시간(비디오 미디어의 재생 시간)의 항목값을 설정함으로써, 텍스트 미디어의 세그먼트와, 비디오 미디어의 세그먼트가 동기하여 재생되도록 하고 있다.
이에 의해, 예를 들면 도 3의 (d)에 도시한 바와 같이, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트 Tseg(11), Tseg(12)와, 텍스트 미디어 이외의 다른 미디어(여기서는 비디오 미디어)의 세그먼트 Vseg(11)', Vseg(m1)'가 동기하여 표시되게 된다.
여기서는, 변환 지시 정보에 기초하여, 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어(여기서는 비디오 미디어)를 변환하였을 때의 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어(여기서는 비디오 미디어)의 세그먼트의 재생 시간이, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트의 표시 시간보다 짧아지기 때문에, 도 3의 (d)에 도시한 바와 같이, 세그먼트 정보 테이블의 「효과 지시 정보」의 항목값으로서 설정되어 있는 「프리즈」에 따라, 다른 미디어(여기서는 비디오 미디어)의 각 세그먼트의 종료 시에 재생이 프리즈되게 된다.
또한, 세그먼트 정보 테이블의 텍스트 미디어의 세그먼트의 재생 시간Max(x, y)와, 세그먼트 정보 테이블의 비디오 미디어의 세그먼트의 재생 시간 Max(x, y)에 동일한 값을 설정하는 것은, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트의 재생 개시 시각과 일치하도록, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 세그먼트의 재생 개시 시각을 설정하는 것을 의미한다.
이 경우, 시공간 레이아웃 정보 테이블 작성부(16)는, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 세그먼트의 재생 개시 시각에 기초하여, 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 세그먼트의 재생 개시 시각을 설정하는 기능(재생 개시 시각 설정 처리부)을 포함하는 것으로서 구성되게 된다.
또한, 시공간 레이아웃 정보 테이블 작성부(16)는, 상술한 바와 같이 하여 세그먼트 정보 템플릿의 텍스트 미디어의 세그먼트의 재생 시간으로서 설정된 값(텍스트 미디어의 세그먼트의 표시 시간과, 이것에 동기하는 비디오 미디어의 세그먼트의 재생 시간을 비교하여 큰 쪽의 값; Max(x, y))의 모두를 더하여 텍스트 미디어의 세그먼트의 합계 표시 시간을 산출하고, 산출된 합계 표시 시간을, 시공간 레이아웃 정보 템플릿의 텍스트 데이터의 재생 시간 DurOf(Tseg#1 … Tseg#s)로 설정한다[도 10의 (a) 참조].
또한, 상술한 바와 같이 하여 세그먼트 정보 템플릿의 비디오 미디어의 세그먼트의 재생 시간으로서 설정된 값(텍스트 미디어의 세그먼트의 표시 시간과, 이것에 동기하는 비디오 미디어의 세그먼트의 재생 시간을 비교하여 큰 쪽의 값;Max(x, y))의 모두를 더하여 비디오 미디어의 모든 세그먼트의 합계 표시 시간을 산출하고, 산출된 합계 표시 시간을, 시공간 레이아웃 정보 템플릿의 비디오 미디어의 재생 시간 DurOf(Vseg#1 … Vseg#s)로 설정한다[도 10의 (a) 참조].
이 경우, 시공간 레이아웃 정보 템플릿의 텍스트 미디어의 재생 시간과, 비디오 미디어의 재생 시간은 동일하게 된다.
또한, 여기서는, 텍스트 미디어의 표시 시간이나 비디오 미디어의 재생 시간 에 대하여 설명하고 있지만, 다른 미디어의 표시 시간(재생 시간)에 대해서도 마찬가지로 행하면 된다.
다음으로, 단계 S60에서, 콘텐츠 변환 처리부(12)가, 데이터 취득 처리부(10)로부터 미디어 데이터를 취득하여 변환(미디어 변환) 처리를 행한다.
즉, 텍스트 데이터 변환 처리부는, 예를 들면, 텍스트 데이터 취득 처리부에서 텍스트 데이터를 취득하고, 상술한 단계 S50에서 작성되며, 시공간 레이아웃 정보 관리부(17)에서 관리되는 시공간 레이아웃 정보 테이블이나 변환 지시 정보에 기초하여 변환(텍스트 변환)하여, 출력 복합 미디어 콘텐츠를 구성하는 텍스트 미디어를 작성한다(여기서는 텍스트 텔롭 데이터를 생성한다).
이를 위해, 텍스트 데이터 변환 처리부는, 변환 지시 정보에 의해 지정된 부호화 방식(예를 들면 3GPP Timed Text 형식)의 텍스트 텔롭 데이터를 생성하는 텔롭 생성기(예를 들면 3GPP Timed Text 형식의 텔롭 생성기)를 포함하는 것으로서 구성된다.
비디오 데이터 변환 처리부(동화상 변환 처리부)는, 예를 들면, 비디오 데이터 취득 처리부로부터 비디오 데이터를 취득하여, 입력 데이터의 부호화 방식의 복호화기를 이용하여 일단 원화상으로 변환한 후, 상술한 단계 S50에서 작성되며, 시공간 레이아웃 정보 관리부(17)에서 관리되는 시공간 레이아웃 정보 테이블이나 변환 지시 정보에 기초하여 변환(재부호화 조건으로 동화상 변환)하여, 출력 복합 미디어 콘텐츠를 구성하는 비디오 미디어를 작성한다.
이를 위해, 비디오 데이터 변환 처리부는, 원화상 데이터를 변환 지시 정보에 의해 지정된 부호화 방식(예를 들면 MPEG-4 Video SP@L0)의 동화상 데이터로 변환하는 동화상 변환기(예를 들면 MPEG-4 Video SP@L0의 부호화기)를 포함하는 것으로서 구성된다.
오디오 데이터 변환 처리부는, 예를 들면, 오디오 데이터 취득 처리부로부터 오디오 데이터를 취득하여, 입력 데이터의 부호화 방식의 복호화기를 이용하여 일단 원오디오 데이터로 변환한 후, 상술한 단계 S50에서 작성되며, 시공간 레이아웃 정보 관리부(17)에서 관리되는 시공간 레이아웃 정보 테이블이나 변환 지시 정보에 기초하여 변환(재부호화 조건으로 오디오 변환)하여, 출력 복합 미디어 콘텐츠를 구성하는 오디오 데이터를 작성한다.
이를 위해, 오디오 데이터 변환 처리부는, 원오디오 데이터를 변환 지시 정보에 의해 지정된 부호화 방식(예를 들면, GSM-AMR)의 오디오 데이터로 변환하는 변환기(예를 들면 GSM-AMR의 부호화기)를 포함하는 것으로서 구성된다.
다음으로, 단계 S70에서, 파일 생성 처리부(13)가, 상술한 단계 S50에서 작성되며, 시공간 레이아웃 정보 관리부(17)에서 관리되는 시공간 레이아웃 정보 테이블(구체적으로는 이것과 관련지어져 있는 변환 지시 정보)에 기초하여 지정된 파일 포맷 형식으로 출력 복합 미디어 콘텐츠를 생성한다.
이를 위해, 파일 생성 처리부(13)는, 예를 들면 3GPP TS 26.234. V.5.10 형식의 파일화기를 갖는 것으로서 구성된다.
따라서, 본 실시예에 따른 복합 미디어 콘텐츠의 변환 장치 및 변환 방법에 따르면, 예를 들면 PC용의 복합 미디어 콘텐츠를, 예를 들면 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 경우에, 의미적 정보를 포함하는 텍스트 미디어의 내용을 손상시키지 않고, 텍스트 미디어가 확실하게 표시되며, 또한, 가독성이 확보되도록 자동적으로 변환할 수 있게 된다고 하는 이점이 있다. 이에 의해, 일손이 들었던 콘텐츠 작성 작업의 부하를 대폭 경감할 수 있게 된다.
특히, 예를 들면 복합 미디어 콘텐츠 변환 프로그램을, 예를 들면 휴대 전화와 같은 휴대 단말기에 탑재하고, 그 제어부에 의해 동작시킴으로써, PC용의 복합 미디어 콘텐츠를 다운로드하면서 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 경우로서, 시공간 레이아웃 정보에 포함되는 「효과 지시 정보」에 「반복」이 설정되어 있는 경우, 다른 미디어(여기서는 비디오 미디어)를 반복하여 재생할 때에는, 반복의 기본 단위가 되는 세그먼트는 이미 휴대 단말기의 메모리에 다운로드되어 있기 때문에, 이것을 이용하여 반복 재생을 행할 수 있다. 이 경우, 반복 재생을 행할 때에 새롭게 데이터를 다운로드할 필요가 없기 때문에, 시간이 걸리지 않고, 또한 통신 비용이 들지도 않기 때문에 바람직하다.
또한, 상술한 실시예에서는, 복합 미디어 콘텐츠의 데이터 용량을 가능한 한적게 하기 위해서는, 텍스트 미디어 이외의 비디오 미디어, 오디오 미디어 등의 다른 미디어의 데이터 용량을 가능한 한 적게 하는 것이 효과적이기 때문에, 비디오 미디어(텍스트 미디어 이외의 미디어)의 각 세그먼트의 재생 시간이, 대응하는 텍스트 미디어의 각 세그먼트의 재생 시간보다 짧아지도록 변환하고 있지만, 이에 한정되는 것은 아니다.
즉, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환할 수 있는 것이면, 비디오 미디어(텍스트 미디어 이외의 미디어)의 각 세그먼트의 재생 시간이, 대응하는 텍스트 미디어의 각 세그먼트의 재생 시간보다 길어져도 된다. 또한, 비동기적 변환 방법의 경우에는, 텍스트 미디어의 표시 시간(렌더링 영역의 유효 시간)보다 다른 미디어의 표시 시간(렌더링 영역의 유효 시간)이 길어져도 된다.
이 때문에, 텍스트 미디어의 표시 시간과, 텍스트 미디어 이외의 미디어(여기서는 비디오 미디어)의 재생 시간을 비교하여, 텍스트 미디어 이외의 미디어의 재생 시간이 텍스트 미디어의 표시 시간보다 긴 경우에는, 다른 미디어의 종료 시에 적용하였던 효과 지시 정보를 텍스트 미디어의 효과 지시 정보로서 적용하면 된다.
그런데, 상술한 실시예에서는, 복합 미디어 콘텐츠의 변환 장치로서 설명하였지만, 이러한 복합 미디어 콘텐츠의 변환 장치를 실현하기 위한 프로그램(복합 미디어 콘텐츠 변환 프로그램)은, 컴퓨터 판독 가능한 기록 매체에 저장할 수 있어, 기록 매체에 저장한 상태로 반포하여, 시장에 유통시키고, 또한 매매할 수 있다.
그리고, 이러한 기록 매체에 저장되어 있는 복합 미디어 콘텐츠 변환 프로그램을 컴퓨터(예를 들면 퍼스널 컴퓨터나 휴대 단말기)에 인스톨하고, 컴퓨터(예를 들면 퍼스널 컴퓨터나 휴대 단말기)가 이 프로그램을 실행함으로써, 상술한 실시예에서 설명한 복합 미디어 콘텐츠의 변환 장치를 실현할 수 있기 때문에, 기록 매체에 저장되어 있는 복합 미디어 콘텐츠 변환 프로그램에 의해 상술한 복합 미디어 콘텐츠의 변환 장치에 의해 얻어지는 효과와 마찬가지의 효과가 얻어지게 된다.
여기서, 기록 매체에는, 예를 들면 반도체 메모리 등의 메모리, 자기 디스크, 광 디스크(예를 들면 CD-ROM 등), 광 자기 디스크(MO), 자기 테이프, 하드디스크, 플렉시블 디스크, IC 카드, ROM 카트리지, 펀치 카드, 컴퓨터 내부의 기억 장치(RAM이나 ROM 등의 메모리), 외부 기억 장치 등의 프로그램을 기록할 수 있는 것이 포함된다. 또한, 바코드 등의 부호가 인쇄된 인쇄물 등의 컴퓨터 판독 가능한 다양한 매체를 이용할 수도 있다. 또한, CD-ROM, MO, 자기 테이프, IC 카드 등을 가반형 기록 매체라고도 한다.
또한, 여기서는, 복합 미디어 콘텐츠 변환 프로그램을 컴퓨터 판독 가능한 기록 매체에 저장하고 있지만, 기록 매체에 저장하지 않아도 된다. 또한, 복합 미디어 콘텐츠 변환 프로그램은, 상술한 바와 같은 기록 매체에 저장하지 않고서, 예를 들면 전송 매체로서의 네트워크(통신 네트워크)를 통해 전송(송수신)할 수도 있고, 이에 의해 복합 미디어 콘텐츠 변환 프로그램을 반포하여, 시장에 유통시키고, 또한 매매할 수도 있다. 예를 들면, 복합 미디어 콘텐츠 변환 프로그램을 웹 서버등에 업로드하거나, 인터넷 등의 네트워크를 경유하여 예를 들면 웹 서버 등으로부터 다운로드하거나 할 수도 있다.
또한, 본 발명은, 상술한 실시예에 한정되지 않고, 상기 이외에도, 본 발명의 취지를 이탈하지 않는 범위에서 다양하게 변형하여 실시할 수 있다.
(부기 1)
텍스트 미디어, 텍스트 미디어 이외의 미디어를 포함하고, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 복합 미디어 콘텐츠의 변환 장치로서, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리부와, 변환 지시 정보에 기초하여 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리부와, 시공간 레이아웃 정보에 기초하여, 입력 복합 미디어 콘텐츠를 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리부를 구비하고, 시공간 레이아웃 정보 설정 처리부가, 텍스트 표시 시간 산출 처리부에서 산출된 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간을 설정함과 함께, 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간에 기초하여 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
(부기 2)
상기 텍스트 표시 시간 산출 처리부가, 상기 입력 복합 미디어 콘텐츠로부터 얻어지는 텍스트 정보와, 상기 변환 지시 정보로서 입력되는 텍스트 표시 형태 정보에 기초하여, 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 것을 특징으로 하는 부기 1에 기재된 복합 미디어 콘텐츠의 변환 장치.
(부기 3)
시공간 레이아웃 정보 설정 처리부가, 상기 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간과 일치하도록 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 것을 특징으로 하는 부기 1 또는 2에 기재된 복합 미디어 콘텐츠의 변환 장치.
(부기 4)
상기 출력 복합 미디어 콘텐츠에 포함되는 상기 텍스트 미디어 이외의 미디어의 세그먼트의 재생 시간을 설정하는 세그먼트 재생 시간 설정부와,
상기 세그먼트 재생 시간 설정부에서 설정된 상기 텍스트 미디어 이외의 미디어의 각 세그먼트의 재생 시간에 기초하여 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간을 산출하는 합계 재생 시간 산출부와,
상기 텍스트 표시 시간 산출 처리부에서 산출된 상기 텍스트 미디어의 표시 시간 및 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간에 기초하여, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 설정하는 반복 재생 횟수 설정 처리부를 포함하고,
상기 콘텐츠 변환 처리부가, 상기 반복 재생 횟수 설정 처리부에서 설정된 반복 재생 횟수에 기초하여 상기 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어를 변환하는 것을 특징으로 하는 부기 1∼3 중 어느 한 항에 기재된 복합 미디어 콘텐츠의 변환 장치.
(부기 5)
상기 반복 재생 횟수 설정 처리부가, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n(n: 정수)회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 짧아지고, 또한, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n+1회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 길어진다고 하는 조건을 만족시키는 n을 반복 재생 횟수로서 설정하는 것을 특징으로 하는 부기 4에 기재된 복합 미디어 콘텐츠의 변환 장치.
(부기 6)
상기 시공간 레이아웃 정보 설정 처리부가, n회의 반복 재생 종료 후에, 상기 텍스트 미디어 이외의 미디어가 상기 텍스트 미디어의 표시 종료 시각까지 프리즈되도록 설정하는 것을 특징으로 하는 부기 5에 기재된 복합 미디어 콘텐츠의 변환 장치.
(부기 7)
상기 반복 재생 횟수 설정 처리부가, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n(n: 정수)회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 짧아지고, 또한, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n+1회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 길어진다고 하는 조건을 만족시키는 n+1을 반복 재생 횟수로서 설정하는 것을 특징으로 하는 부기 4에 기재된 복합 미디어 콘텐츠의 변환 장치.
(부기 8)
텍스트 미디어, 상기 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 복합 미디어 콘텐츠의 변환 방법으로서,
변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 단계와,
상기 변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 단계와,
상기 시공간 레이아웃 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리 단계를 구비하고,
상기 시공간 레이아웃 정보 설정 처리 단계에서, 상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간이 설정됨과 함께, 상기 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간이 설정되는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 방법.
(부기 9)
상기 텍스트 표시 시간 산출 처리 단계에서, 상기 입력 복합 미디어 콘텐츠로부터 얻어지는 텍스트 정보와, 상기 변환 지시 정보로서 입력되는 텍스트 표시 형태 정보에 기초하여, 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간이 산출되는 것을 특징으로 하는 부기 8에 기재된 복합 미디어 콘텐츠의 변환 방법.
(부기 10)
상기 시공간 레이아웃 정보 작성 처리 단계에서, 상기 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간과 일치하도록 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 것을 특징으로 하는 부기 8 또는 9에 기재된 복합 미디어 콘텐츠의 변환 방법.
(부기 11)
상기 출력 복합 미디어 콘텐츠에 포함되는 상기 텍스트 미디어 이외의 미디어의 세그먼트의 재생 시간을 설정하는 세그먼트 재생 시간 설정 단계와,
상기 세그먼트 재생 시간 설정 단계에서 설정된 상기 텍스트 미디어 이외의 미디어의 각 세그먼트의 재생 시간에 기초하여 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간을 산출하는 합계 재생 시간 산출 단계와,
상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간 및 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간에 기초하여, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 설정하는 반복 재생 횟수 설정 처리 단계를 포함하며,
상기 콘텐츠 변환 처리 단계에서, 상기 반복 재생 횟수 설정 처리 단계에서 설정된 반복 재생 횟수에 기초하여 상기 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어가 변환되는 것을 특징으로 하는 부기 8∼10 중 어느 한 항에 기재된 복합 미디어 콘텐츠의 변환 방법.
(부기 12)
텍스트 미디어, 상기 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 처리를 컴퓨터에 실행시키기 위한 복합 미디어 콘텐츠 변환 프로그램으로서,
상기 변환 처리가,
변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 단계와,
상기 변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 단계와,
상기 시공간 레이아웃 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리 단계를 포함하며,
상기 시공간 레이아웃 정보 설정 처리 단계에서, 상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간이 설정됨과 함께, 상기 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간이 설정되는 것을 특징으로 하는 복합 미디어 콘텐츠 변환 프로그램.
(부기 13)
상기 텍스트 표시 시간 산출 처리 단계에서, 상기 입력 복합 미디어 콘텐츠로부터 얻어지는 텍스트 정보와, 상기 변환 지시 정보로서 입력되는 텍스트 표시 형태 정보에 기초하여, 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 부기 12에 기재된 복합 미디어 콘텐츠 변환 프로그램.
(부기 14)
상기 시공간 레이아웃 정보 설정 처리 단계에서, 상기 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간과 일치하도록 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 부기 12 또는 13에 기재된 복합 미디어 콘텐츠 변환 프로그램.
(부기 15)
상기 출력 복합 미디어 콘텐츠에 포함되는 상기 텍스트 미디어 이외의 미디어의 세그먼트의 재생 시간을 설정하는 세그먼트 재생 시간 설정 단계와,
상기 세그먼트 재생 시간 설정 단계에서 설정된 상기 텍스트 미디어 이외의 미디어의 각 세그먼트의 재생 시간에 기초하여 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간을 산출하는 합계 재생 시간 산출 단계와,
상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간 및 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간에 기초하여, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 설정하는 반복 재생 횟수 설정 처리 단계를 포함하는 처리를 상기 컴퓨터에 실행시키는 것으로서 구성되며,
상기 콘텐츠 변환 처리 단계에서, 상기 반복 재생 횟수 설정 처리 단계에서 설정된 반복 재생 횟수에 기초하여 상기 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어를 변환하는 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 부기 12∼14 중 어느 한 항에 기재된 복합 미디어 콘텐츠 변환 프로그램.
(부기 16)
텍스트 미디어, 상기 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 처리를 컴퓨터에 실행시키기 위한 복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체로서,
상기 변환 처리가,
변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 단계와,
상기 변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 단계와,
상기 시공간 레이아웃 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리 단계를 포함하며,
상기 시공간 레이아웃 정보 설정 처리 단계에서, 상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간이 설정됨과 함께, 상기 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간이 설정되는 것을 특징으로 하는 복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체.
(부기 17)
상기 텍스트 표시 시간 산출 처리 단계에서, 상기 입력 복합 미디어 콘텐츠로부터 얻어지는 텍스트 정보와, 상기 변환 지시 정보로서 입력되는 텍스트 표시 형태 정보에 기초하여, 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 부기 16에 기재된 복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체.
(부기 18)
상기 시공간 레이아웃 정보 설정 처리 단계에서, 상기 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간과 일치하도록 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 부기 16 또는 17에 기재된 복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체.
(부기 19)
상기 출력 복합 미디어 콘텐츠에 포함되는 상기 텍스트 미디어 이외의 미디어의 세그먼트의 재생 시간을 설정하는 세그먼트 재생 시간 설정 단계와,
상기 세그먼트 재생 시간 설정 단계에서 설정된 상기 텍스트 미디어 이외의 미디어의 각 세그먼트의 재생 시간에 기초하여 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간을 산출하는 합계 재생 시간 산출 단계와,
상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간 및 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간에 기초하여, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 설정하는 반복 재생 횟수 설정 처리 단계를 포함하는 처리를 상기 컴퓨터에 실행시키는 것으로서 구성되며,
상기 콘텐츠 변환 처리 단계에서, 상기 반복 재생 횟수 설정 처리 단계에서 설정된 반복 재생 횟수에 기초하여 상기 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어를 변환하는 처리를 상기 컴퓨터에 실행시키는 것을 특징으로 하는 부기 16∼18 중 어느 한 항에 기재된 복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체.
(부기 20)
텍스트 미디어, 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 변환 지시 정보에 기초하여, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 처리를 실행하는 제어부와,
시공간 레이아웃 정보 테이블을 기억하는 기억부를 구비하며,
상기 제어부가, 상기 변환 지시 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠로부터 소정의 텍스트 미디어에 관한 정보를 취득하고, 상기 기억부로부터 상기 시공간 레이아웃 정보 테이블을 판독하여, 소정의 텍스트 미디어에 관한 정보를 설정하여 상기 시공간 레이아웃 정보 테이블의 가작성을 행하는 단계와,
상기 시공간 레이아웃 정보 테이블에 설정된 소정의 텍스트 미디어에 관한 정보를 이용하여, 상기 입력 복합 미디어 콘텐츠로부터 소정의 텍스트 미디어의 데이터를 취득하는 단계와,
소정의 텍스트 미디어의 데이터에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하고, 산출된 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보 테이블에 텍스트 미디어의 표시 시간을 설정함과 함께, 상기 시공간 레이아웃 정보 테이블에 설정된 텍스트 미디어의 표시 시간에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 상기 시공간 레이아웃 정보 테이블에 설정하여 상기 시공간레이아웃 정보 테이블을 완성시키는 단계와,
완성된 시공간 레이아웃 정보 테이블에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 단계를 포함하는 처리를 실행하도록 구성되는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
이상 상술한 바와 같이, 본 발명의 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 복합 미디어 콘텐츠 변환 프로그램(복합 미디어 콘텐츠 변환 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체)에 따르면, 예를 들면 PC용의 복합 미디어 콘텐츠를, 예를 들면 휴대 단말기용의 복합 미디어 콘텐츠로 변환하는 경우에, 의미적 정보를 포함하는 텍스트 미디어의 내용을 손상시키지 않고서, 텍스트 미디어가 확실하게 표시되며, 또한, 가독성이 확보되도록 자동적으로 변환할 수 있도록 되는 이점이 있다.

Claims (10)

  1. 텍스트 미디어, 상기 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 복합 미디어 콘텐츠의 변환 장치로서,
    변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리부와,
    상기 변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리부와,
    상기 시공간 레이아웃 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리부를 구비하며,
    상기 시공간 레이아웃 정보 설정 처리부가, 상기 텍스트 표시 시간 산출 처리부에서 산출된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간을 설정함과 함께, 상기 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
  2. 제1항에 있어서,
    상기 텍스트 표시 시간 산출 처리부가, 상기 입력 복합 미디어 콘텐츠로부터 얻어지는 텍스트 정보와, 상기 변환 지시 정보로서 입력되는 텍스트 표시 형태 정보에 기초하여, 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 시공간 레이아웃 정보 설정 처리부가, 상기 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간과 일치하도록 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 설정하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 출력 복합 미디어 콘텐츠에 포함되는 상기 텍스트 미디어 이외의 미디어의 세그먼트의 재생 시간을 설정하는 세그먼트 재생 시간 설정부와,
    상기 세그먼트 재생 시간 설정부에서 설정된 상기 텍스트 미디어 이외의 미디어의 각 세그먼트의 재생 시간에 기초하여 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간을 산출하는 합계 재생 시간 산출부와,
    상기 텍스트 표시 시간 산출 처리부에서 산출된 상기 텍스트 미디어의 표시 시간 및 상기 텍스트 미디어 이외의 미디어의 모든 세그먼트의 합계 재생 시간에 기초하여, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 설정하는 반복재생 횟수 설정 처리부를 포함하고,
    상기 콘텐츠 변환 처리부가, 상기 반복 재생 횟수 설정 처리부에서 설정된 반복 재생 횟수에 기초하여 상기 입력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어를 변환하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
  5. 제4항에 있어서,
    상기 반복 재생 횟수 설정 처리부가, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n(n: 정수)회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 짧아지고, 또한, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n+1회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 길어진다고 하는 조건을 만족시키는 n을 반복 재생 횟수로서 설정하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
  6. 제5항에 있어서,
    상기 시공간 레이아웃 정보 설정 처리부가, n회의 반복 재생 종료 후에, 상기 텍스트 미디어 이외의 미디어가 상기 텍스트 미디어의 표시 종료 시각까지 프리즈되도록 설정하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
  7. 제4항에 있어서,
    상기 반복 재생 횟수 설정 처리부가, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n(n: 정수)회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 짧아지고, 또한, 상기 텍스트 미디어 이외의 미디어의 반복 재생 횟수를 n+1회로 하는 경우에, 상기 텍스트 미디어 이외의 미디어의 재생 시간이 상기 텍스트 미디어의 표시 시간보다 길어진다고 하는 조건을 만족시키는 n+1을 반복 재생 횟수로서 설정하는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
  8. 텍스트 미디어, 상기 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 복합 미디어 콘텐츠의 변환 방법으로서,
    변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 단계와,
    상기 변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 단계와,
    상기 시공간 레이아웃 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리 단계를 포함하며,
    상기 시공간 레이아웃 정보 설정 처리 단계에서, 상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간이 설정됨과 함께, 상기 시공간 레이아웃 정보로서 설정된 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간이 설정되는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 방법.
  9. 텍스트 미디어, 상기 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 처리를 컴퓨터에 실행시키기 위한 복합 미디어 콘텐츠 변환 프로그램으로서,
    상기 변환 처리가,
    변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하는 텍스트 표시 시간 산출 처리 단계와,
    상기 변환 지시 정보에 기초하여 상기 출력 복합 미디어 콘텐츠의 시공간 레이아웃 정보를 설정하는 시공간 레이아웃 정보 설정 처리 단계와,
    상기 시공간 레이아웃 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 콘텐츠 변환 처리 단계를 포함하며,
    상기 시공간 레이아웃 정보 설정 처리 단계에서, 상기 텍스트 표시 시간 산출 처리 단계에서 산출된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어의 표시 시간이 설정됨과 함께, 상기 시공간 레이아웃 정보로서 설정된 상기 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간이 설정되는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 프로그램.
  10. 텍스트 미디어, 텍스트 미디어 이외의 미디어를 포함하며, 소정 크기의 화면 상에 표시시키는 입력 복합 미디어 콘텐츠를, 변환 지시 정보에 기초하여, 소정 크기보다 작은 화면 상에 표시시키는 출력 복합 미디어 콘텐츠로 변환하는 처리를 실행하는 제어부와,
    시공간 레이아웃 정보 테이블을 기억하는 기억부를 구비하며,
    상기 제어부가, 상기 변환 지시 정보에 기초하여, 상기 입력 복합 미디어 콘텐츠로부터 소정의 텍스트 미디어에 관한 정보를 취득하고, 상기 기억부로부터 상기 시공간 레이아웃 정보 테이블을 판독하여, 소정의 텍스트 미디어에 관한 정보를 설정하여 상기 시공간 레이아웃 정보 테이블의 가작성을 행하는 단계와,
    상기 시공간 레이아웃 정보 테이블에 설정된 소정의 텍스트 미디어에 관한 정보를 이용하여, 상기 입력 복합 미디어 콘텐츠로부터 소정의 텍스트 미디어의 데이터를 취득하는 단계와,
    소정의 텍스트 미디어의 데이터에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어의 표시 시간을 산출하고, 산출된 텍스트 미디어의 표시 시간에 기초하여 상기 시공간 레이아웃 정보 테이블에 텍스트 미디어의 표시 시간을 설정함과 함께, 상기 시공간 레이아웃 정보 테이블에 설정된 텍스트 미디어의 표시시간에 기초하여 상기 출력 복합 미디어 콘텐츠에 포함되는 텍스트 미디어 이외의 미디어의 재생 시간을 상기 시공간 레이아웃 정보 테이블에 설정하여 상기 시공간 레이아웃 정보 테이블을 완성시키는 단계와,
    완성된 시공간 레이아웃 정보 테이블에 기초하여, 상기 입력 복합 미디어 콘텐츠를 상기 출력 복합 미디어 콘텐츠로 변환하는 단계를 포함하는 처리를 실행하도록 구성되는 것을 특징으로 하는 복합 미디어 콘텐츠의 변환 장치.
KR1020040014526A 2003-03-19 2004-03-04 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 기록 매체 KR101054135B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00076197 2003-03-19
JP2003076197A JP4430882B2 (ja) 2003-03-19 2003-03-19 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム

Publications (2)

Publication Number Publication Date
KR20040083350A true KR20040083350A (ko) 2004-10-01
KR101054135B1 KR101054135B1 (ko) 2011-08-03

Family

ID=32821358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040014526A KR101054135B1 (ko) 2003-03-19 2004-03-04 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 기록 매체

Country Status (5)

Country Link
US (1) US7702996B2 (ko)
EP (1) EP1460848B1 (ko)
JP (1) JP4430882B2 (ko)
KR (1) KR101054135B1 (ko)
DE (1) DE602004001896T2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305463B2 (en) 2006-03-15 2012-11-06 Fujitsu Limited Video data saving device and video data saving method

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4430882B2 (ja) * 2003-03-19 2010-03-10 富士通株式会社 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム
US20060149553A1 (en) * 2005-01-05 2006-07-06 At&T Corp. System and method for using a library to interactively design natural language spoken dialog systems
US8185399B2 (en) 2005-01-05 2012-05-22 At&T Intellectual Property Ii, L.P. System and method of providing an automated data-collection in spoken dialog systems
US8478589B2 (en) * 2005-01-05 2013-07-02 At&T Intellectual Property Ii, L.P. Library of existing spoken dialog data for use in generating new natural language spoken dialog systems
KR100732114B1 (ko) * 2005-03-07 2007-06-27 엘지전자 주식회사 휴대단말기에서의 메시지의 사진변환 방법
US20060236219A1 (en) * 2005-04-19 2006-10-19 Microsoft Corporation Media timeline processing infrastructure
US7643820B2 (en) * 2006-04-07 2010-01-05 Motorola, Inc. Method and device for restricted access contact information datum
FR2910671B1 (fr) * 2006-12-21 2009-04-03 Viaccess Sa Procede de gestion du nombre de visualisations,processeur de securite et terminal pour ce procede
US8311058B2 (en) 2008-05-10 2012-11-13 Vantrix Corporation Modular transcoding pipeline
US8677241B2 (en) 2007-09-10 2014-03-18 Vantrix Corporation Method and system for multimedia messaging service (MMS) to video adaptation
US8220051B2 (en) 2007-09-28 2012-07-10 Vantrix Corporation Generation and delivery of multimedia content-adaptation notifications
JP5444611B2 (ja) * 2007-12-18 2014-03-19 ソニー株式会社 信号処理装置、信号処理方法及びプログラム
KR20090070904A (ko) * 2007-12-27 2009-07-01 엔에이치엔(주) 컨텐츠 표시 상태에 기초한 멀티미디어 컨트롤러를제공하기 위한 방법, 단말 장치, 시스템 및 컴퓨터 판독가능한 기록 매체
TW200931359A (en) * 2008-01-10 2009-07-16 Coretronic Corp Method and apparatus for media play
GB2473370A (en) * 2008-05-06 2011-03-09 Hewlett Packard Development Co Spatiotemporal media objects layouts
JP5049908B2 (ja) * 2008-07-30 2012-10-17 富士フイルム株式会社 コンテンツ文書再生データ作成装置、方法およびプログラム
KR101657196B1 (ko) 2009-12-01 2016-09-19 밴트릭스 코오퍼레이션 캐시를 이용한 효율적인 미디어 배송 시스템 및 방법
US8954625B2 (en) * 2010-01-21 2015-02-10 Lee Friedman System, method and computer program product for portable multimedia content display
JP5423425B2 (ja) * 2010-01-25 2014-02-19 富士通モバイルコミュニケーションズ株式会社 画像処理装置
JP5879697B2 (ja) * 2011-02-25 2016-03-08 ソニー株式会社 プログラム、情報処理装置および情報処理方法
US9112922B2 (en) 2012-08-28 2015-08-18 Vantrix Corporation Method and system for self-tuning cache management
WO2014102568A1 (en) 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion detection
WO2014102569A1 (en) * 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion description
US9195281B2 (en) 2013-12-31 2015-11-24 Ultravision Technologies, Llc System and method for a modular multi-panel display
US20150187237A1 (en) 2013-12-31 2015-07-02 Ultravision Holdings, Llc System and Method for a Modular Multi-Panel Display
US9416551B2 (en) 2013-12-31 2016-08-16 Ultravision Technologies, Llc Preassembled display systems and methods of installation thereof
US9582237B2 (en) 2013-12-31 2017-02-28 Ultravision Technologies, Llc Modular display panels with different pitches
US10706770B2 (en) 2014-07-16 2020-07-07 Ultravision Technologies, Llc Display system having module display panel with circuitry for bidirectional communication
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
CN111562895B (zh) * 2020-03-25 2023-09-22 抖音视界有限公司 多媒体信息的展示方法、装置以及电子设备
CN112738554B (zh) * 2020-12-22 2022-12-13 北京百度网讯科技有限公司 视频的处理方法、装置和电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3090233B2 (ja) 1992-02-18 2000-09-18 日本電信電話株式会社 複合的な情報間の関連性識別方法
CA2247795A1 (en) 1997-09-26 1999-03-26 Adobe Systems Incorporated Associating text derived from audio with an image
JP3176893B2 (ja) 1999-03-05 2001-06-18 株式会社次世代情報放送システム研究所 ダイジェスト作成装置，ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
GB2365735B (en) 1999-03-11 2002-08-14 Nec Corp Portable terminal having a display apparatus and method of control thereof
WO2001011462A2 (en) 1999-08-04 2001-02-15 724 Solutions Inc. Dynamic client system
JP3592194B2 (ja) 2000-01-21 2004-11-24 株式会社リコー 映像内容説明文生成方法、映像内容説明文生成装置及び記録媒体
US6260011B1 (en) * 2000-03-20 2001-07-10 Microsoft Corporation Methods and apparatus for automatically synchronizing electronic audio files with electronic text files
KR100502679B1 (ko) * 2000-08-21 2005-07-20 유미특허법인 컨텐츠 가공 시스템 및 그 방법
JP2002026801A (ja) * 2000-07-05 2002-01-25 Toshiba Corp 無線通信端末
US7206854B2 (en) * 2000-12-11 2007-04-17 General Instrument Corporation Seamless arbitrary data insertion for streaming media
JP2002351779A (ja) 2001-05-22 2002-12-06 Minolta Co Ltd データ表示システム、データ送信装置、携帯端末、データ表示方法、データ表示プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7366712B2 (en) 2001-05-31 2008-04-29 Intel Corporation Information retrieval center gateway
KR20030000504A (ko) * 2001-06-25 2003-01-06 에스케이 텔레콤주식회사 휴대 통신 단말기용 웹페이지 변환 시스템 및 그 서비스방법
US20030105880A1 (en) * 2001-12-04 2003-06-05 Koninklijke Philips Electronics N.V. Distributed processing, storage, and transmision of multimedia information
US20030152207A1 (en) * 2002-02-13 2003-08-14 Kevin Ryan Telecommunications and cellular telephone homepage call screening control center
JP4430882B2 (ja) * 2003-03-19 2010-03-10 富士通株式会社 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305463B2 (en) 2006-03-15 2012-11-06 Fujitsu Limited Video data saving device and video data saving method

Also Published As

Publication number Publication date
DE602004001896D1 (de) 2006-09-28
JP2004287595A (ja) 2004-10-14
EP1460848A3 (en) 2004-11-17
JP4430882B2 (ja) 2010-03-10
US7702996B2 (en) 2010-04-20
EP1460848B1 (en) 2006-08-16
EP1460848A2 (en) 2004-09-22
KR101054135B1 (ko) 2011-08-03
DE602004001896T2 (de) 2007-12-06
US20040186723A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
KR101054135B1 (ko) 복합 미디어 콘텐츠의 변환 장치 및 변환 방법과 기록 매체
CN1777945B (zh) 对记录在交互记录介质上的主内容以及其附加内容进行同步再现的方法和设备
Hamakawa et al. Object composition and playback models for handling multimedia data
US20070083851A1 (en) Template-based multimedia editor and editing method thereof
US20040071453A1 (en) Method and system for producing interactive DVD video slides
US20030124502A1 (en) Computer method and apparatus to digitize and simulate the classroom lecturing
US20080126939A1 (en) System, method and medium playing moving images
KR20080090218A (ko) 편집 파일의 자동 업로딩 방법 및 그 장치
JP2005244524A (ja) 議事録ファイル生成方法、議事録ファイル管理方法、会議サーバおよびネットワーク会議システム
CN102833490A (zh) 一种互动视频的编辑播放方法、系统及电子学习设备
GB2400530A (en) Enabling an application program running on an electronic device to provide media manipulation capabilities
US20090244385A1 (en) Information display apparatus and information display method
JP2007067595A (ja) 番組情報の通知方法
WO2005043405A1 (ja) データ処理装置、データ処理方法、およびデータ処理プログラム
WO2022227329A1 (zh) 媒体文件生成、播放方法及设备
JPH07319901A (ja) 画像データベースを利用した希望ジョブ実行方法
KR100860510B1 (ko) 모바일 장치에서 시각 효과가 삽입된 슬라이드 쇼의 생성방법
EP3949369B1 (en) Method and system for combining video sequences
KR20050022072A (ko) 인터렉티브 데이터 처리방법 및 장치
KR100878528B1 (ko) 동영상편집방법 및 그 장치
KR101477492B1 (ko) 동영상 콘텐츠 편집 및 재생을 위한 장치 및 그 방법
JP2004135256A (ja) 情報ファイルのデータ構造、情報ファイル生成方法、情報ファイル生成装置、情報ファイル生成プログラム、これを記憶する記憶媒体、情報ファイル再生方法、情報ファイル再生装置、情報ファイル再生プログラム、及びこれを記憶する記憶媒体
JP2005285076A (ja) 映像情報制作方法
KR100597666B1 (ko) 무선 인터넷 문서의 브라우징 방법 및 그 방법이 구현된무선 인터넷 단말 장치
KR102274760B1 (ko) 상호작용이 가능한 웹 컨텐츠를 생성하는 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140716

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee