KR100713751B1 - 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치 - Google Patents

용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치 Download PDF

Info

Publication number
KR100713751B1
KR100713751B1 KR1020057010633A KR20057010633A KR100713751B1 KR 100713751 B1 KR100713751 B1 KR 100713751B1 KR 1020057010633 A KR1020057010633 A KR 1020057010633A KR 20057010633 A KR20057010633 A KR 20057010633A KR 100713751 B1 KR100713751 B1 KR 100713751B1
Authority
KR
South Korea
Prior art keywords
data
script
template
unit
multimedia
Prior art date
Application number
KR1020057010633A
Other languages
English (en)
Other versions
KR20050084251A (ko
Inventor
다쯔오 스도
준세이 사또
료따 야기
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20050084251A publication Critical patent/KR20050084251A/ko
Application granted granted Critical
Publication of KR100713751B1 publication Critical patent/KR100713751B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Abstract

멀티미디어 처리 장치는, 미디어 데이터가 시계열적으로 기술되는 묘화 정보 기술 부분과, 이벤트와 액션의 대응화, 및 실행 조건이 시계열적으로 기술되는 유저 네비게이트 정보 기술 부분으로 이루어지는 데이터 구조의 스크립트를 실행한다. 멀티미디어 처리 장치가 이 스크립트를 실행함으로써, 시계열적으로 미디어 데이터가 재생되고, 그와 동시에, 시계열적으로 가능한 조작을 나타내는 유저 인터페이스가 출력된다. 그리고, 소정의 타이밍에서 유저 인터페이스에 따라서 조작함으로써, 미디어 데이터의 삽입 등의 소정의 처리를 실행시킬 수 있다.
미디어 데이터, 템플릿, 스크립트, 이벤트, 어플리케이션

Description

용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치{MULTIMEDIA DATA PROCESSING DEVICE WHICH CAN EASILY PREPARE MULTIMEDIA CONTENTS}
본 발명은 멀티미디어 데이터 처리 장치, 멀티미디어 데이터 처리 프로그램 제품, 및 멀티미디어 콘텐츠 데이터를 기록하는 기록 매체에 관한 것으로, 특히, 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치, 멀티미디어 데이터 처리 프로그램 제품, 및 멀티미디어 콘텐츠 데이터를 기록하는 기록 매체에 관한 것이다.
작금의 휴대 전화 등의 통신 기기의 보급에 수반하여, 작성한 멀티미디어 콘텐츠를 다른 유저에게 송신하거나, 다른 유저에 대하여, 멀티미디어 콘텐츠를 작성시키거나 하는 커뮤니케이션이 확대되고 있다.
그러나, 멀티미디어 콘텐츠를 작성할 때에는, 번잡한 조작 수순을 밟을 필요가 있는 경우가 많아, 조작에 익숙해져 있지 않은 유저에 따라서는 작성이 곤란한 경우도 있다.
따라서, 유저의 조작을 간략화하는 것을 지향한 방법이 생각되고 있다.
이러한 커뮤니케이션의 툴로서, 일본 특허 공개 2002-140270호 공보는, 스크립트가 첨부된 메일을 수신하면, 메일 개봉과 연동하여 첨부 스크립트를 추출하여 실행하는 수신 장치이고, 또한 수신 장치에 있어서 실행된 액션을 반영한 스크립트를 생성하여, 메일의 송신원에 대하여 출력하도록 처리 결과의 출력을 제어하는 수신 장치에 대하여 개시하고 있다. 이러한 일본 특허 공개 2002-140270호 공보에 기재된 수신 장치를 이용함으로써, 발송인 측이 원하는 액션을 수신인 측에 실행시킬 수 있다.
또한 일본 특허 공개 2002-324036호 공보에는, 멀티미디어 데이터가 부가된 전자 메일을 용이하게 작성하기 위해서, 콘텐츠의 레이아웃 정보를 기술한 메일 템플릿을 준비하고, 그 템플릿의 레이아웃 정보에 따라서 멀티미디어를 포함하는 메일을 작성하는 방법이 기재되어 있다.
전술한 일본 특허 공개 2002-140270호 공보에 기재된 수신 장치에서 스크립트의 생성을 실행시킴으로써 멀티미디어 콘텐츠의 작성을 시키는 경우에는, 복잡한 스크립트를 기술하여 수신 장치에 송신할 필요가 있다고 하는 문제가 있다. 또한, 실행된 스크립트는 수신인 측의 조작을 유도하는 것이 아니기 때문에, 반드시 발송인 측이 원했던 액션이 얻어지지 않는 경우도 있다고 하는 문제가 있었다.
또한, 메일 등의 메시지 작성자 측에서 메일의 작성을 행하는 것이 용이하지 않다고 하는 문제가 있었다. 즉, 단순히 스크립트와 메시지 작성자가 준비한 데이터를 조합한 메시지를 작성하는 것이 곤란하다.
멀티미디어 데이터를 포함하는 메시지나 메일의 작성을 쉽게 하는 기술로서, 일본 특허 공개 2002-324036호 공보에 개시되어 있는, 레이아웃 정보가 기재된 템플릿을 이용하여, 문자·정지 화상 등의 배치를 쉽게 하는 기술은, PC(Personal Computer)에서 보는 1매의 큰 화면 중에 복수의 화상이나 텍스트가 혼재하는 메일을 작성하는 경우에는 유효하게 기능하지만, A의 씬, B의 씬, C의 씬이라고 하는 식으로, 시간적으로 메일 화면이 불연속적으로 변화하여 콘텐츠가 전환되는 메일을 작성하는 경우에 대해서는 언급되어 있지 않고, 특허 문헌2에 개시되어 있는 기술을 이용하여도, 시간적으로 천이하는 멀티미디어 데이터를 유저가 작성하는 것은 곤란하다고 하는 문제가 있었다.
또한, 종래의 데이터 처리 장치인 휴대 전화나 휴대 단말기 등에 있어서, 단말기 고유하게 보유되는 카메라, 마이크, 및 주소록 등 각종 기능을 이용하여, 메시지의 내용을 재기입하는 것은 불가능하다고 하는 문제도 있다.
또한, 종래의 데이터 처리 장치인 작성자 측의 단말기에서는, 멀티미디어 콘텐츠의 작성에 사용한 스크립트의 일부를 재기입하고, 그 스크립트가 재생 측에서 이용됨으로써, 최소한의 스크립트의 재기입에 의해 작성과 재생을 할 수 있도록 되어 있지는 않다고 하는 문제도 있다.
또한, 종래의 데이터 처리 장치인 작성자 측의 단말기에서는, 멀티미디어 콘텐츠의 작성에 이용한 스크립트 커맨드 혹은 태그 중, 송신 상대가 불필요한 것, 혹은 표준 수순을 따르지 않는 것을 삭제할 수 없다고 하는 문제가 있었다.
본 발명은 이러한 과제를 해결하기 위해서 이루어진 것으로서, 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치, 멀티미디어 데이터 처리 프로그램, 및 멀티미디어 콘텐츠 데이터의 데이터 구조를 제공하는 것을 제1 목적으로 하고, 또한, 상대에게 원하는 멀티미디어 콘텐츠의 작성·편집 조작 을 확실하게 행하게 할 수 있는 멀티미디어 데이터 처리 장치, 멀티미디어 데이터 처리 프로그램, 및 멀티미디어 콘텐츠 데이터의 데이터 구조를 제공하는 것을 제2 목적으로 한다.
〈발명의 개시〉
본 발명에서는 전술한 과제를 해결하기 위해서, 이하에 기재되는 멀티미디어 데이터 처리 장치가 제공된다. 즉, 상기 목적을 달성하기 위해서 본 발명의 하나의 국면에 따르면, 멀티미디어 데이터 처리 장치는, 템플릿에 포함되는 스크립트에 따라서, 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행부와, 스크립트로부터 참조되는 데이터 중, 유저가 변경 가능한 부분을 판별하는 유저 변경 가능 데이터 판별부와, 변경 가능한 부분을 변경하는 데이터 변경부와, 스크립트와 변경된 데이터 중의 적어도 한쪽을 출력하는 스크립트·데이터 출력부를 구비한다.
본 발명의 다른 국면에 따르면, 멀티미디어 데이터 처리 장치는, 템플릿에 포함되는 스크립트에 따라서, 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행부와, 템플릿에 포함되는 스크립트에 따라서, 해당 멀티미디어 데이터 처리 장치의 기능을 선택하는 기능 선택부와, 템플릿에 포함되는 스크립트에 따라서, 선택된 기능을 이용하여, 스크립트로부터 참조되는 데이터에 대하여 어떠한 처리를 행할지를 결정하는 액션 결정부와, 결정된 처리를 실행하는 액션 실행부와, 스크립트로부터 참조되는 데이터를 변경하는 데이터 변경부와, 스크립트와 변경된 데이터 중의 적어도 한쪽을 출력하는 스크립트·데이터 출력부를 구비한다.
본 발명의 또 다른 국면에 따르면, 멀티미디어 데이터 처리 장치는, 스크립트를 포함하여 구성되고, 수신측의 다른 장치에 대하여 요구하는 소정의 액션, 및 액션을 요구하는 시간 정보를 기술한 템플릿의 일람을 취득하는 템플릿 일람 취득과, 템플릿 일람을 표시하는 템플릿 일람 표시부와, 표시된 템플릿의 일람으로부터 원하는 하나 혹은 복수의 템플릿을 선택하는 템플릿 선택부와, 선택된 템플릿을 다른 장치에 메시지로서 송부하는 메시지 송부부를 구비한다.
본 발명의 또 다른 국면에 따르면, 멀티미디어 데이터 처리 장치는, 스크립트를 포함하여 구성되는 템플릿을 취득하는 템플릿 취득부와, 방송국으로부터 프로그램을 취득하는 프로그램 취득부와, 인터넷을 통하여 제공되는 인터넷 콘텐츠를 취득하는 콘텐츠 취득부와, 템플릿에 포함되는 스크립트에 따라서, 스크립트로부터 참조되는 데이터와, 프로그램 취득부에서 취득된 프로그램과, 콘텐츠 취득부에서 취득된 인터넷 콘텐츠 중의 적어도 1개를, 스크립트로 지정되는 화면 상의 위치 및 타이밍으로 재생하는 스크립트 실행부를 구비한다.
본 발명의 또 다른 국면에 따르면, 멀티미디어 데이터 처리 프로그램 제품은, 스크립트를 포함하여 구성되는 템플릿의 처리를 컴퓨터에 실행시키는 프로그램제품으로서, 템플릿에 포함되는 스크립트에 따라서, 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행 단계와, 스크립트로부터 참조되는 데이터 중, 유저가 변경 가능한 부분을 판별하는 유저 변경 가능 데이터 판별 단계와, 변경 가능한 부분을 멀티미디어 데이터 처리 장치의 기능을 이용하여 변경하는 데이터 변경 단계와, 스크립트와 변경된 데이터 중의 적어도 한쪽을 출력하는 스크립트·데이터 출력 단계를 실행시킨다.
본 발명의 또 다른 국면에 따르면, 멀티미디어 데이터 처리 프로그램 제품은, 스크립트를 포함하여 구성되는 템플릿의 처리를 컴퓨터에 실행시키는 프로그램 제품으로서, 템플릿에 포함되는 스크립트에 따라서, 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행 단계와, 템플릿에 포함되는 스크립트에 따라서, 멀티미디어 데이터 처리 장치의 기능을 선택하는 단말 기능 선택 단계와, 선택된 기능을 이용하여, 스크립트로부터 참조되는 데이터에 대하여 어떠한 처리를 행할지를 결정하는 액션 결정 단계와, 결정된 처리를 실행하는 액션 실행 단계와, 스크립트로부터 참조되는 데이터를 변경하는 데이터 변경 단계와, 스크립트와 변경된 데이터의 적어도 하나만을 출력하는 스크립트·데이터 출력 단계를 실행시킨다.
삭제
본 발명의 또 다른 국면에 따른 기록 매체는, 미디어 데이터를 재생하는 재생부와, 유저로부터의 입력 조작을 접수하는 입력부를 포함하는 데이터 처리 장치에서 처리되는 데이터 구조를 갖는 멀티미디어 콘텐츠를 기록하는 기록 매체로서, 데이터 처리 장치의 재생부에서 재생되는 미디어 데이터를 나타내는 재생 기술부와, 데이터 처리 장치의 입력부에서 접수하는 입력 조작과 입력 조작에 대응한 처리를 나타내는 입력 조작 기술부와, 데이터 처리 장치의 재생부에 있어서 재생되는 미디어 데이터의 유효 시간과, 입력부에서 접수하는 입력 조작의 유효 시간을 관리하는 스케줄 기술부를 포함하고, 멀티미디어 콘텐츠 데이터가 처리됨으로써, 스케줄 기술부에 기초하여, 소정의 시간에 데이터 처리 장치의 재생부에서 소정의 미디어 데이터를 재생시키고, 소정의 시간에 데이터 처리 장치의 입력부에서 소정의 입력 조작을 접수하고, 입력 조작 기술부에 기초하여, 데이터 처리 장치에, 소정의 시간에 소정의 입력 조작에 따른 처리를 실행시킨다.
도 1은 본 실시 형태에 있어서의 데이터 통신 시스템의 구성을 도시하는 도면.
도 2는 데이터 통신 시스템에 포함되는 재생·편집 장치인 휴대 전화(1)의 하드웨어 구성의 구체 예를 도시하는 블록도.
도 3은 휴대 전화(1)의 기억부(130)에 기억되는 프로그램과, 휴대 전화(1)에 있어서의 데이터 처리의 흐름을 도시하는 도면.
도 4는 재생·편집 엔진 프로그램(131)의 기능 구성을 도시하는 블록도.
도 5는 스크립트의 데이터 구조를 모식적으로 도시한 도면.
도 6, 도 7, 및 도 47은 스크립트의 구체 예를 도시하는 도면.
도 8은 기동 어플리케이션과 그 때에 표시시키는 UI의 대응을 규정하는 테이 블의 구체 예를 도시하는 도면.
도 9는 휴대 전화(1)에서의, 스크립트의 재생 및 편집 처리를 나타내는 플로우차트.
도 10은 미디어 데이터 묘화 처리의 타임 테이블의 구체 예를 도시하는 도면.
도 11은 이벤트 처리 타임 테이블의 구체 예를 도시하는 도면.
도 12는 UI 할당 상황 표시 타임 테이블의 구체 예를 도시하는 도면.
도 13은 단계 S18에서 실행되는 이벤트에 따른 처리를 나타내는 플로우차트.
도 14는 단계 S24에 있어서의 처리 내용의 결정 처리를 나타내는 플로우차트.
도 15는 단계 S25에 있어서의 메뉴 처리를 도시하는 플로우차트.
도 16은 메뉴 화면의 구체 예를 도시하는 도면.
도 17은 단계 S27에 있어서의 링크 이동 처리를 나타내는 플로우차트.
도 18은 단계 S26에 있어서의 어플리케이션 실행 처리를 나타내는 플로우차트.
도 19 및 도 20은 도 7에 도시되는 스크립트의 제20행 및 제23행을 실행 시의 처리를 나타내는 플로우차트.
도 21, 도 22, 도 33, 및 도 85는 스크립트 실행 시의 표시 화면의 천이의 구체 예를 도시하는 도면.
도 23은 휴대 전화(1)에 있어서의, 스크립트의 프리뷰 처리를 도시하는 플로 우차트.
도 24는 단계 S62에 있어서의 어플리케이션 기동 처리를 나타내는 플로우차트.
도 25는 단계 S64에 있어서의 데이터 취득 처리를 도시하는 플로우차트.
도 26은 단계 S66에 있어서의 스크립트 재기입 처리를 나타내는 플로우차트.
도 27은 단계 S33에 있어서의 이벤트 타임 테이블 참조 처리를 나타내는 플로우차트.
도 28은 논리 심볼과 하드웨어 키의 대응을 규정하는 테이블의 구체 예를 도시하는 도면.
도 29 및 도 30은 스크립트의 구체 예를 도시하는 도면.
도 31 및 도32는 도 30에 도시되는 스크립트의 제19행 및 제21행을 실행 시의 처리를 도시하는 플로우차트.
도 34는 휴대 전화(1)에 있어서의, 스크립트의 메일 첨부 처리를 나타내는 플로우차트.
도 35는 휴대 전화(1)에 있어서의, 스크립트의 슬라이드 삭제 처리를 나타내는 플로우차트.
도 36은 슬라이드 삭제 처리 시의 메뉴 화면의 구체 예를 도시하는 도면.
도 37은 휴대 전화(1)에 있어서의, 스크립트의 슬라이드 재기입 금지 처리를 나타내는 플로우차트.
도 38은 단계 S96에 있어서의 이벤트 처리를 나타내는 플로우차트.
도 39는 프리뷰 처리 시의 메뉴 화면의 구체 예를 도시하는 도면.
도 40은 프리뷰 처리 시의 화면 천이의 구체 예를 도시하는 도면.
도 41A는 템플릿 재기입전의 표시 화면의 구체 예를 도시하는 도면.
도 41B는 템플릿의 재기입후의 화면 천이의 구체 예를 도시하는 도면.
도 42는 제2 실시예의 형태에 있어서의 재생·편집 엔진 프로그램(131)의 기능 구성을 도시하는 블록도.
도 43은 재생·편집 엔진 프로그램에 있어서의 처리를 나타내는 플로우차트.
도 44는 단계 S1201에 있어서의 데이터 출력 처리를 나타내는 플로우차트.
도 45는 카메라 기동 어플리케이션에 의한 재기입의 화면 천이의 구체 예를 도시하는 도면.
도 46은 단계 S1101에 있어서의 재생·편집 처리를 나타내는 플로우차트.
도 48은 제2 실시예의 형태의 변형 예에 있어서의 재생·편집 엔진 프로그램(131)의 기능 구성을 도시하는 블록도.
도 49는 단말기에 따라서 동일한 스크립트이더라도 선택되는 기능이 상이함을 모식적으로 도시하는 도면.
도 50 및 도 61은 작성 측의 단말기에서 사용되는 스크립트의 구체 예를 도시하는 도면.
도 51A 내지 도 51은 씬마다의 썸네일 표시의 구체 예를 도시하는 도면.
도 52는 인라인 카메라 어플리케이션 및 인라인 텍스트 입력 어플리케이션에 의한 재기입의 화면 천이의 구체 예를 도시하는 도면.
도 53은 파일 취득 어플리케이션에 의한 재기입의 화면 천이의 구체 예를 도시하는 도면.
도 54A 및 도 54B는 복수의 처리 중에서 지금부터 개시하는 처리의 선택을 접수하기 위한 선택용의 화면의 구체 예를 도시하는 도면.
도 55는 송신한 메시지와, 메시지를 작성하는 데에 사용한 템플릿의 대응을 유지하는 테이블의 구체 예를 나타내는 도면.
도 56A 내지 도 56C는 스크립트의 참조 정보로 참조되는 미디어 데이터와 취득 데이터를 이벤트의 시간 파라미터 값의 시점에서 합성하는 예를 도시하는 도면.
도 57A 및 도 57B는 취득 데이터를 이벤트의 시간 파라미터 값의 시점에 기입하는 예를 도시하는 도면.
도 58은 전환 테이블의 구체 예를 도시하는 도면.
도 59는 단계 S1110에서의 판정 처리를 나타내는 플로우차트.
도 60은 휴대 전화(1)에 저장되는 데이터 취득 프로그램과 휴대 전화(1)가 서포트하는 미디어 타입과의 대응을 기록하는 테이블의 구체 예를 도시하는 도면.
도 62는 단계 1201에서의 데이터 출력 처리를 도시하는 플로우차트.
도 63은 액션 관리 테이블의 구체 예를 도시하는 도면.
도 64는 씬 이벤트 테이블의 구체 예를 도시하는 도면.
도 65는 단계 S1205에서의 변경 처리를 나타내는 플로우차트.
도 66은 단계 S102에서의 화상 촬영 어플리케이션 기동 처리를 나타내는 플로우차트.
도 67은 스크립트 재생의 재개 시점을 결정하는 처리를 도시하는 플로우차트.
도 68은 슬라이드 편집이 허가될지 금지될지를 기술한 스크립트의 구체 예를 도시하는 도면.
도 69는 단계 S42에서 슬라이드의 편집을 실행하는 허가를 판정하는 처리를 나타내는 플로우차트.
도 70은 스크립트를 묘화 정보 기술부와 유저 네비게이트 기술부로 분할하여 구성하는 경우의, 묘화 정보 기술부를 포함하는 스크립트의 구체 예를 도시하는 도면.
도 71은 스크립트를 묘화 정보 기술부와 유저 네비게이트 기술부로 분할하여 구성하는 경우의, 유저 네비게이트 기술부를 포함하는 스크립트의 구체 예를 도시하는 도면.
도 72A 내지 도 72D는 스크립트를 실행했을 때의 화면 천이의 구체 예를 도시하는 도면.
도 73은 2개의 스크립트를 관계시키는 기술을 포함하는 스크립트의 구체 예를 도시하는 도면.
도 74는 제3 실시 형태에 있어서의 멀티미디어 데이터 처리 장치인 텔레비전을 포함하여 구성되는 데이터 통신 시스템의 구성을 도시하는 도면.
도 75는 제3 실시 형태에 있어서의, 묘화 정보를 기술하는 묘화 정보 기술부를 포함하는 스크립트의 구체 예를 도시하는 도면.
도 76은 제3 실시 형태에 있어서의, 시간대에 따른 프로그램 정보를 기술하는 프로그램표 정보 기술부를 포함하는 스크립트의 구체 예를 도시하는 도면.
도 77은 2개의 스크립트를 관계붙이는 기술을 포함하는 스크립트의 구체 예를 도시하는 도면.
도 78은 수신·재생하여야 할 콘텐츠의 결정 처리의 흐름을 도시하는 플로우차트.
도 79는 스크립트가 SMIL로 기술된 것인 경우의 재생 및 편집 처리의 흐름을 도시하는 플로우차트.
도 80A 및 도 80B는 스크립트의 해석 결과를 저장하는 데이터 구조의 구체 예를 도시하는 도면.
도 81은 스크립트의 해석 결과의 구체 예를 도시하는 도면.
도 82는 갱신된 스크립트의 해석 결과의 구체 예를 도시하는 도면.
도 83은 미디어 데이터를 추가하는 재기입 처리를 실시한 스크립트의 구체 예를 도시하는 도면.
도 84는 미디어 데이터를 추가하는 재기입 처리를 실시한 나중에, 또한 편집 기능을 삭제한 스크립트의 구체 예를 도시하는 도면.
〈발명을 실시하기 위한 최량의 형태〉
이하에, 도면을 참조하면서, 본 발명의 실시 형태에 대하여 설명한다. 이하의 설명에서는 동일한 부품 및 구성 요소에는 동일한 부호를 붙이고 있다. 이들 명칭 및 기능도 동일하다. 따라서 이들에 대한 상세한 설명은 반복하지 않는다.
[제1 실시 형태]
도 1을 참조하여, 본 실시 형태에서의 데이터 통신 시스템은, 스크립트 언어로 기술되어 있는 템플릿을 제공하는 템플릿 제공 서버(이하, 간단히 "서버"라고 함)(2)와, 제공된 템플릿의 재생 및 편집을 행하는, 멀티미디어 데이터 처리 장치인 재생·편집 장치(1)를 포함하여 구성되고, 서버(2)와 재생·편집 장치(1)는, 인터넷 혹은 공중 회선망 혹은 방송망을 통하여 통신을 행한다. 또한, 도 1에는 도시되어 있지 않지만, 서버(2)와 재생·편집 장치(1)는 LAN(Local Area Network) 등의 전용 회선을 통하여 통신을 행하여도 되고, 무선 통신을 행하여도 된다. 또한, 도 1에 도시한 바와 같이, 재생·편집 장치(1)는 휴대 전화나 PDA(Personal Digital Assistants)나 퍼스널 컴퓨터 등이 해당되고, 이하의 설명에서는 재생·편집 장치(1)가 휴대 전화(1)인 것으로 설명을 한다.
또한, 멀티미디어 데이터 처리 장치인 재생·편집 장치(1)로서는, 정보 통신 기기, 영상·음향 기기, 가전 기기, 및 어뮤즈먼트 기기 등이 해당한다.
또한, 정보 통신 기기로서는, 퍼스널 컴퓨터나 홈 서버 등의 정보 기기나 전화기 등의 통신 기기, 그 중에서도 특히, 휴대 전화나 PDA(Personal Digital Assistants)나 노트형, 장착형 컴퓨터 등의 휴대형 정보 통신 기기가 해당한다.
또한, 영상·음향 기기로서는, 화상 기록 기기인 디지털 스틸 카메라, 영상 기록 기기인 디지털 비디오 카메라나 HDD(Hard Disk Drive) 레코더, DVD(Digital Versatile Disk) 레코더, 비디오 테이프 레코더, 영상 재생 기기인 DVD 플레이어나 비디오 플레이어, 음성 기록 기기인 음성 레코더, 음악 기록·재생 기기인 실리콘 오디오 레코더 또는 플레이어, MD(Mini Disk) 레코더 또는 플레이어, CD(Compact Disk) 레코더 또는 플레이어, 방송 데이터 수신, 재생 기기인 텔레비전 수상기나 라디오 등이 해당한다.
또한, 가전 기기로서는 냉장고, 세탁기, 에어콘, 청소기, 공기 청정기, 및 전자 레인지 등의 기기가 해당한다.
또한, 어뮤즈먼트 기기로서는 가정용 혹은 휴대형 게임 기기 등이 해당한다.
또한, 멀티미디어 데이터 처리 장치인 재생·편집 장치(1)로서는, 상기의 정보 처리, 통신, 화상 기록·재생, 영상 기록·재생, 음성 기록·재생, 음악 기록·재생, 방송 데이터 수신·재생 등의 복수의 기능을 갖는 기기이어도 되고, 그 밖에 상기에 예를 든 것 이외에도, 멀티미디어 데이터의 재생 혹은 편집이 가능한 기기이면 어떠한 형태이더라도 상관없다.
본 실시 형태에서는 특히 재생·편집 장치(1)가 휴대 전화(1)인 경우에 대해 상세히 설명한다.
또한, 본 실시 형태에서 미디어 데이터란, 화상(정지 화상) 데이터, 동화상 데이터, 음성 데이터, 음악 데이터, 텍스트 데이터, 및 애니메이션 데이터 중 어느 하나, 혹은 외부로부터 수신한 스트리밍 데이터나 방송 데이터, 혹은 이들을 통합하여 이루어지는 하기의 멀티미디어 데이터를 가리킨다.
또한, 본 실시 형태에서 멀티미디어 데이터란, 1개 이상의 미디어 데이터를 통합하여 이루어지는 데이터를 가리키며, 데이터의 형식은 인간이 판독 가능한 텍스트 형식으로 기술되어도 되고, 인간이 직접 읽을 수 없는 바이너리 형식이어도 된다.
또한, 본 실시 형태에서 스크립트란, 전술한 멀티미디어 데이터를 표시, 재생, 및 편집하기 위해서, 멀티미디어 데이터가 포함하는 각 미디어 데이터에 대하여 화면 상의 레이아웃 정보, 시간축 상의 재생 개시, 종료 타이밍이나, 재생 속도, 음량 등의 속성을 규정하는 기술 형식을 가리킨다. 또한, 외부 어플리케이션의 기동, 장치 내외로부터의 정보 취득, 다른 멀티미디어 데이터에의 링크 천이 등의 제어 정보도, 스크립트 중에 기술하는 것이 가능하다.
또한, 본 실시 형태에서 템플릿이란, 전술한 스크립트를 포함하여 구성되는, 재생 혹은 편집 가능한 멀티미디어 데이터이며, 유저 조작 등을 계기로, 해당 스크립트 내의 미디어 데이터를 참조하는 부분의 기술을 재기입함으로써, 미디어 데이터의 추가, 변경, 및 삭제를 행할 수 있는 멀티미디어 데이터의 일 형태를 가리킨다. 템플릿에는 스크립트로부터 참조되는 미디어 데이터를 1개 이상 포함하여도 된다.
다음으로, 도 2를 참조하여, 본 실시 형태의 데이터 통신 시스템에 포함되는 휴대 전화(1)는, 유저와의 인터페이스인 입출력부(140)와, CPU(Central Processing Unit) 등으로 구성되고, 이 휴대 전화(1)의 전체를 제어하는 제어부(120)와, 다른 장치와 통신하기 위한 통신부(110)와, ROM(Read Only Memory)이나 RAM(Random Access Memory) 등으로 구성되고, 제어부(120)에서 실행되는 프로그램이나, 그 프로그램의 중간 데이터 및 다른 컴퓨터로부터 수신한 데이터 등을 기억하는 기억부(130)를 포함하여 구성된다.
또한 전술한 입출력부(140)는, 「1」, 「2」 등의 숫자 버튼 및 「R」, 「L」 등의 방향 버튼 등을 포함하는 키 코드 입력 디바이스(142)와, 유저에게 정보를 표시하는 LCD(Liquid Crystal Display) 등의 디스플레이(144)와, 음성을 입력하는 마이크로 폰(146)과, 음성을 출력하는 스피커(148)와, 화상을 촬영하여 입력하는 카메라(149)를 포함한다.
또한, 제어부(120)는 그 내부에 타이머를 포함한다.
이러한 휴대 전화(1)에 있어서, 유저가 서버(2)로부터 얻은 템플릿의 재생 및 편집을 행하는 처리는, 휴대 전화(1)의 하드웨어, 기억부(130)에 기억되고 제어부(120)에 의해 실행되는 소프트웨어 및 템플릿에 의해 실현된다. 또한, 도 2에 도시한 휴대 전화(1) 자체의 동작은 주지의 사실이므로, 여기서는 그 상세한 설명은 생략한다.
또한, 본 데이터 통신 시스템에 포함되는 서버(2)는, 일반적인 퍼스널 컴퓨터 등으로 구축되는 서버이고, 그 구성에 대하여 여기서의 상세한 설명은 하지 않는다.
다음으로, 도 3에, 휴대 전화(1)의 기억부(130)에 기억되는 프로그램과, 휴대 전화(1)에서의 데이터 처리의 흐름을 도시한다. 도 3에 도시되는 데이터 처리의 흐름은, 제어부(120)가 기억부(130)에 기억되는 각 프로그램을 실행함으로써, 휴대 전화(1)에 있어서 실현된다. 즉, 통신부(110)에서 서버(2)로부터 수신한 템플릿은, 제어부(120)가 기억부(130)에 기억되는 프로그램을 실행함으로써 재생 및 편집 처리가 이루어진다.
구체적으로는, 도 3을 참조하여, 처음에 제어부(120)는 재생·편집 엔진 프로그램(131)을 실행시킴으로써, 통신부(110)에서 수신한 스크립트와 미디어 데이터를 포함하는 템플릿을 처리한다. 또한, 여기서의 재생·편집 엔진 프로그램(131)의 기능 구성에 대해서는 후술한다.
다음으로, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, UI(User Interface) 내용 표시 프로그램(132)을 실행시킨다. UI 내용 표시 프로그램(132)을 실행시켜 템플릿을 처리함으로써, 템플릿에서의 UI의 내용을 디스플레이(144)에 표시시킨다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 화상 촬영 프로그램(133)을 실행시키고, 카메라(149)로부터의 화상의 입력과 키 코드 입력 디바이스(142)로부터의 각종 지시를 접수한다. 또한, 동화상을 촬영할 때에는, 또한 마이크로 폰(146)으로부터의 음성의 입력도 접수한다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 화상 데이터 표시 재생 프로그램(134)을 실행시키고, 템플릿에 포함되는 화상 데이터를 디스플레이(144) 상에서 재생시킨다. 또한, 그 화상 데이터에 음성도 포함되는 경우에는, 그 음성을 스피커(148)에서 재생시킨다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 음성 데이터 재생 프로그램(135)을 실행시키고, 템플릿에 포함되는 음성 데이터를 스피커(148)에서 재생시킨다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기 초하여, 음성 데이터 녹음 프로그램(136)을 실행시키고, 마이크로 폰(146)으로부터의 음성의 입력과 키 코드 입력 디바이스(142)로부터의 각종 지시를 접수한다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 애니메이션 데이터 표시 재생 프로그램(137)을 실행시키고, 템플릿에 포함되는 애니메이션 데이터를 디스플레이(144) 상에서 재생시킨다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 텍스트 데이터 표시 재생 프로그램(138)을 실행시키고, 템플릿에 포함되는 텍스트 데이터를 디스플레이(144) 상에서 재생시킨다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 텍스트 편집 프로그램(139)을 실행시키고, 키 코드 입력 디바이스(142)로부터의 텍스트 정보와 각종 지시를 접수한다.
또한, 제어부(120)는, 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, WWW(World Wide Web) 브라우저 프로그램(151)을 실행시키고, WWW 콘텐츠를 재생한다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, WWW 브라우저 프로그램(151)을 실행시키고, 통신부(110)를 통하여 서버(2)로부터 데이터를 취득한다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 메일 프로그램(152)을 실행시키고, 키 코드 입력 디바이스(142)로부터의 텍스트 정보와 각종 지시를 접수하고, 메일을 송신시킨다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 통화 프로그램(153)을 실행시키고, 통화를 개시시킨다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 위치 취득 프로그램(154)을 실행시키고, GPS(Global Positioning System)(150)로부터 해당 단말기의 현재 위치를 취득한다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 어드레스 북 프로그램(155)을 실행시키고, 기억부(130)에 기억된 메일 어드레스나 전화 번호를 취득한다.
또한, 제어부(120)는 재생·편집 엔진 프로그램(131)에서의 처리 결과에 기초하여, 파일 취득 프로그램(156)을 실행시키고, 기억부(130)에 기억된 특정한 미디어형의 컨텐츠 데이터를 취득한다.
또한, 제어부(120)는, 전술한 화상 촬영 프로그램(133), 음성 데이터 녹음 프로그램(136), 텍스트 편집 프로그램(139), WWW 브라우저 프로그램(151), 위치 취득 프로그램(154), 어드레스 북 프로그램(155), 및 파일 취득 프로그램(156)을 실행시킴으로써 접수한 정보에 기초하여, 재생·편집 엔진 프로그램(131)을 실행시키고, 스크립트와 미디어 데이터를 포함하는 템플릿을 처리한다.
제어부(120)가 기억부(130)에 기억되는 재생·편집 엔진 프로그램(131)을 실행함으로써, 도 4에 도시되는 각 기능이 휴대 전화(1)에 있어서 실현된다. 도 4를 참조하여, 처음에, 스크립트 판독부(1311)는 통신부(110)에서 수신한 템플릿에 포함되는 스크립트를 판독한다. 그리고, 스크립트 판독부(1311)는 판독한 스크립트 를 구문 해석부(1312)에 전달한다.
다음으로, 구문 해석부(1312)는 스크립트 판독부(1311)로부터 받은 스크립트의 구문을 해석한다. 그리고, 구문 해석부(1312)는 해석 결과를 실행 제어부(1313)와 시간 관리부(1314)에 전달한다.
다음으로, 시간 관리부(1314)는 구문 해석부(1312)로부터 받은 해석 결과에 기초하여, 타임 테이블을 작성한다. 그리고, 시간 관리부(1314)는 작성한 타임 테이블을 실행 제어부(1313)에 전달한다.
또한, 이벤트 관리부(1315)는 이벤트의 발생을 검출한다. 그리고, 이벤트 관리부(1315)는 검출 결과를 실행 제어부(1313)에 전달한다.
다음으로, 실행 제어부(1313)는 시간 관리부(1314)로부터 받은 타임 테이블과, 이벤트 관리부(1315)로부터 받은 이벤트 발생의 검출 결과와, 구문 해석부(1312)로부터 받은 해석 결과에 기초하여, 스크립트를 실행한다. 또한, 실행 제어부(1313)는 이벤트 관리부(1315)로부터 받은 이벤트 발생의 검출 결과에 기초하여, 스크립트 쓰기 시작부(1316)에 스크립트의 재기입을 지시한다.
스크립트 쓰기 시작부(1316)는 실행 제어부(1313)로부터의 지시에 기초하여, 스크립트를 재기입하고, 재기입한 스크립트를 실행 제어부(131)에 전달한다. 그리고, 재기입된 스크립트는 실행 제어부(1313)에서 실행된다.
또한 본 실시 형태에서는, 서버(2)로부터 제공된 템플릿을 휴대 전화(1)에서 처리하는 경우에 대해 설명하지만, 템플릿에 포함되는 스크립트 및 미디어 데이터의 일부 또는 전체는 휴대 전화(1)의 기억부(130)에 기억되어 있는 것이어도 되고, 그 경우, 도 3 혹은 도 4에 도시되는 각 부는 기억부(130)로부터 판독하여 취득한 스크립트 또는 미디어 데이터를 처리한다.
다음으로, 서버(2)로부터 휴대 전화(1)에 제공되고, 휴대 전화(1)에서 처리되는 템플릿에 포함되는 스크립트에 대하여 설명한다. 도 5를 참조하여, 본 실시 형태에서의 휴대 전화(1)에서 처리되는 스크립트는, 묘화 정보 기술 부분과 유저 네비게이트 정보 기술 부분으로 이루어지는 것을 특징으로 한다.
묘화 정보 기술 부분에는, 화상(정지 화상) 데이터나, 동화상 데이터나, 음성 데이터나, 음악 데이터나, 텍스트 데이터나, 애니메이션 데이터나, 스트리밍 데이터나, 방송 데이터 등의 미디어 데이터에의 참조 정보(파일명이나 URL(Uniform Resource Locators)나 방송국의 주파수나 채널 등)가 기술된다.
또한, RFC2397에서 규정되어 있는 데이터 URL 등의 기술 형식을 이용함으로써, 묘화 정보 기술 부분에, 미디어 데이터에의 참조 정보가 아니라 미디어 데이터의 실체 그 자체를 기술해도 된다.
또한, 유저 네비게이트 정보 기술 부분에는, 링크 이동이나 어플리케이션의 기동이나 헬프 표시 등을 실행시키는 스크립트 정의 입력 이벤트와, 액션(동작)과의 대응화, 및 실행 조건이 기술된다.
상기 액션의 예로서는, 카메라 기동에 의한 동화상 혹은 정지 화상의 촬상, 텍스트 에디터 기동에 의한 유저 입력 텍스트 데이터의 취득, 음성 레코더 기동에 의한 음성 데이터의 취득, 파일 선택 어플리케이션 기동에 의한 미디어 데이터 파일의 취득, 기기의 내부 또는 외부로부터의 시각 정보, 위치 정보, 어드레스 북, 스케줄 정보, 그 밖의 정보의 자동 취득, WWW 브라우저나 메일러 등 기기의 어플리케이션의 기동, 전화 발호나 멜로디 재생이나 라이트 점등 등의 기기 고유 기능의 호출, 혹은 다른 스크립트 실행에의 링크 천이, 혹은 텔레비전의 채널 전환, 에어컨의 온도 설정 등, 다른 기기를 제어하는 제어 신호의 발신 등을 들 수 있다.
또한, 묘화 정보 기술 부분과 유저 네비게이트 정보 기술 부분의 양방에, 시계열적인 기술을 포함하는 것을 특징으로 한다. 즉, 묘화 정보 기술 부분에는 시계열적으로 미디어 데이터에의 참조 정보가 기술되고, 유저 네비게이트 정보 기술 부분에는 시계열적으로 이벤트가 기술되는 것을 특징으로 한다.
이러한 구성으로 함으로써, 스크립트에는 화상(정지 화상) 데이터나, 음악 데이터나, 텍스트 데이터나, 애니메이션 데이터나, 스트리밍 데이터나, 방송 데이터 등의 미디어 데이터가 시계열적으로 잇달아 재생되는 멀티미디어 데이터를 기술할 수 있다.
또한, 시계열적으로 이벤트를 기술할 수 있는 것에 의해, 스크립트를 재생시키면서, 소정의 시각이나 시간대에 있어서, 예를 들면 카메라의 기동 등의 이벤트를 실행시킬 수 있다. 또한, 이러한 카메라 기동 이벤트를, 소정의 화상으로 치환하는 액션에 대응하도록 기술함으로써, 전술한 소정의 화상이 표시되어야 할 시간대에 유저가 소정의 키를 누르면 스크립트의 재생이 일단 정지하여 즉시 카메라가 기동되고, 여기서 촬영 조작을 실행하면, 스크립트의 재생으로 복귀하고, 방금 촬영된 화상이 소정의 위치에 표시된다고 하는 어플리케이션을 실현할 수 있다.
이상과 같이, 시계열을 따라서 기동하는 이벤트와 그것에 대응하는 액션을 스크립트 내에서 명시적으로 규정함으로써, 휴대 단말기 등에 있어서 카메라나 마이크, 주소록 등의 기능을 이용하여 복수의 미디어 데이터가 시계열로 재생되는 멀티미디어 데이터를 작성하는 경우라도, 조작 수순을 간략화할 수 있어, 유저의 편리성이 높아진다.
도 6 및 도 7에 구체적인 스크립트를 도시하여 설명한다.
도 6을 참조하여, 처음에, 스크립트의 헤더 부분(제2행∼제16행)의 제12행∼제15행에 액션의 내용이 정의되어 있다. 즉, 도 6을 참조하여, 제12행∼제15행에는 액션의 내용으로서, 액션마다의 고유의 식별 정보(action id)와, 그 액션의 실행 형식(type)과, 액션 내용(dest)과, 액션의 실행 영역(Image)이 정의되어 있다.
보다 구체적으로는, 도 6의 제12행에는, 식별 정보 act_movie인 액션은, Image 영역에 표시되어 있는 정보와, movie에 저장되어 있는 파일을 치환하는(replace) 내용인 취지가 정의되어 있다.
또한, 도 6의 제5행에는 휴대 전화(1)에 있어서 스크립트를 어떻게 사용할지에 대한 힌트가 기술되어 있다. 즉, 스크립트는 콘텐츠 편집 조작을 네비게이트하는 템플릿(template)인 취지가 정의되어 있다. 이 외에, 편집 조작의 네비게이트는 하지 않고 열람 전용의 콘텐츠(contents)인 취지를 정의할 수 있다.
다음으로, 도 7을 참조하여, 스크립트의 본체(보디) 부분(제17행∼제40행)의 제18행∼제39행의 단락에는, 병렬로 실행되는 미디어 데이터나 액션이 기술되어 있다. 또한, 제19행 및 제37행에는 이들 미디어 데이터나 액션이 시계열적으로 실행되는 취지가 기술되어 있다. 또한, 제20행∼제25행, 제26행∼제31행, 및 제32행∼ 제36행의 각 단락에는, 각각, 0초∼8초째, 8초∼15초째, 및 15초∼19초째에 실행되는 미디어 데이터나 액션이 기술되어 있다.
보다 구체적으로는, 도 7의 제21행∼제23행에는, 0초∼8초째에, 각각, 화상 데이터, 텍스트 데이터, 및 음성 데이터를 재생시키는 취지가 기술되어 있고, 제24행에는, 「무비 기동」의 UI를 표시시키고, select 키가 조작된 경우에, 식별 정보 act_movie인 액션을 실행시키는 취지가 기술되어 있다. 제30행에는 「음성 녹음」의 UI를 표시시키고, 2초 나중에 타이머로부터 통지를 받아, 식별 정보 act_speech인 액션을 실행시키는 취지가 기술되어 있다. 또한, 제28행 내지 제30행에 있어서, 「src=」에 후속하여 기술되는 이름은 이벤트의 발생원을 표시하는 소스 ID이다. UI의 표시에 대해서는, 도 7에 도시한 바와 같이 스크립트에 기술되어 있어도 되고, 도 8에 도시한 바와 같은, 기동 어플리케이션과 그 때에 표시시키는 UI와의 대응을 규정하는 테이블이, 미리 휴대 전화(1)의 기억부(130)에 저장되고, 휴대 전화(1)의 제어부(120)가 재생·편집 엔진 프로그램(131)을 실행할 때에 자동적으로 해당 테이블을 판독하여 표시되는 것이어도 무방하다.
이와 같이, 본 실시 형태에서의 휴대 전화(1)에서 처리되는 스크립트는, 시계열적으로 실행되는, 묘화 정보와 유저 네비게이트 정보를 기술하는 묘화 정보 기술 부분과 유저 네비게이트 정보 기술 부분으로 구성되는 것을 특징으로 한다.
또한, 본 실시 형태에서는, 인간에게 판독 가능한 텍스트 형식의 스크립트를 휴대 전화(1)에서 처리하는 경우에 대해서 설명하지만, 스크립트는 인간이 직접 읽을 수 없는 바이너리 형식이어도 된다.
또한, 본 실시 형태에서는 한 묶음의 스크립트를 휴대 전화(1)에서 처리하는 경우에 대해서 설명하지만, 스크립트를 미디어 데이터에의 참조 정보를 포함하는 묘화 정보 기술부와 유저 네비게이트 정보 기술부로 분할하여 구성하고, 미디어 데이터를 치환 또는 삽입할 때에는, 미디어 데이터에의 참조 정보를 포함하는 묘화 정보 기술부가 기술된 스크립트만을 편집하는 구성이어도 된다.
구체적으로, 도 70 및 도 71에, 묘화 정보 기술부와 유저 네비게이트 정보 기술부로 분할하여 구성된 각 스크립트이고, 묘화 정보 기술부가 기술된 스크립트와, 유저 네비게이트 정보 기술부가 기술된 스크립트를 도시한다.
도 70에 도시되는 묘화 정보 기술부가 기술된 스크립트에는, 구체적으로, 스크립트 실행 개시 0초∼2초의 동안은 정지 화상 top.jpg와 텍스트 top.txt가 표시되고, 스크립트 실행 개시 2초∼8초의 동안은 정지 화상 image.jpg, 음악 데이터 bgm.amr, 텍스트 message.txt가 재생되는 것이 기술되어 있다.
또한, 도 71에 도시되는 유저 네비게이트 정보 기술부가 기술된 스크립트는, 도 70에 참조처로서 참조 정보가 기술되어 있는 미디어 데이터 중, image.jpg와 message.txt를 치환, 삽입하는 기능을 실현하는 스크립트이다.
전술한 도 70 및 도 71에 도시되는 스크립트를 본 실시 형태에 관한 휴대 전화(1)에서 구문 해석하여 실행했을 때의 화면 표시의 구체 예를, 도 72A 내지 도 72D에 도시한다. 우선, 도 72A에 도시한 바와 같이, 도 71의 기술에 따라서, 「SELECT PHOTO」의 문자열과 함께 화상 파일 선택 폼, 및 「ENTER BIRTHDAY MESSAGE」의 문자열과 함께 문자열 입력 폼이 표시된다. 도 72A에 도시되는 화면에 있어 서 유저가 화상 파일을 선택하고, 텍스트를 입력한 상황이 도 72B에 도시된다. 도 72B에 도시되는 화면에 있어서 「send」 버튼이 선택 실행되면, 지금 선택된 화상 파일이 image.jpg로서, 입력된 텍스트가 message.txt로서 템플릿에 내장되고, 재생 실행된다. 즉, 해당 스크립트의 재생 개시로부터 0초∼2초의 동안은, 도 72C에 도시한 바와 같이 정지 화상 top.jpg와 텍스트 top.txt가 표시되고, 계속해서 개시 2초∼8초의 동안은, 도 72D에 도시한 바와 같이 image.jpg와 message.txt가 표시되고, 동시에 음악 데이터 bgm.amr이 재생된다. 도 72D에서 표시되는 image.jpg는 유저가 도 72B에 도시되는 화면에서 선택한 화상이고, message.txt는 도 72B에 도시되는 화면에서 입력한 텍스트이다.
이와 같이, 스크립트를 묘화 정보 기술부와 유저 네비게이트 기술부로 분할하여 구성함으로써, 후술하는 바와 같은, 스크립트로부터 유저 네비게이트 기술부를 삭제하여 메일에 첨부하여 송신하는 경우에, 묘화 정보 기술부만을 첨부하는 것으로 하면 되고, 스크립트를 해석하여 어떤 부분을 삭제할 것인지를 고려하는 처리를 생략할 수 있다고 하는 장점이 있다.
또한, 묘화 정보 기술부를 포함하는 스크립트와 유저 네비게이트 기술부를 포함하는 스크립트와의 관계는, 예를 들면 도 73에 도시되는 스크립트와 같이, 양 스크립트를 결부시키는 기술부를 포함하는 스크립트를 별도로 준비하고, 이들 스크립트와, 묘화 정보 기술부를 포함하는 스크립트로부터 참조되는 미디어 데이터군의 세트를 템플릿으로서 취급하기로 하는 것이 바람직하다.
또한, 묘화 정보 기술부를 포함하는 스크립트 내에, 대응하는 유저 네비게이 트 기술부를 포함하는 스크립트에의 링크를 기술함으로써, 묘화 정보 기술부를 포함하는 스크립트를 재생시키면서, 소정의 타이밍에서 유저 네비게이트 기술부를 포함하는 스크립트의 실행으로 옮겨, 도 72A와 같은 입력 화면으로 천이시킬 수도 있다.
다음으로, 본 실시 형태에 있어서의 휴대 전화(1)에서의, 스크립트의 재생 및 편집 처리에 대하여 도 9의 플로우차트를 이용하여 설명한다. 도 9의 플로우차트에 도시되는 처리는, 휴대 전화(1)의 제어부(120)가, 도 4에 구성이 도시되는 재생·편집 엔진 프로그램(131)을 기억부(130)로부터 판독하여 실행함으로써 실현된다.
도 9를 참조하여, 처음에, 단계 S11에 있어서 초기화를 실행한 후, 단계 S12에 있어서, 통신부(110)에서 인터넷을 통하여 서버(2)로부터 스크립트를 취득한다.
다음으로, 단계 S13에 있어서, 제어부(120)는 재생·편집 엔진 프로그램(131)을 실행하고, 스크립트 판독부(1311)에서 취득한 스크립트를 판독한다.
다음으로, 단계 S14에 있어서, 구문 해석부(1312)는 판독한 스크립트를 구문 해석한다. 또한, 여기서의 구문 해석의 방법에 대해서는, 본 발명에 있어서 한정되는 것이 아니라, 일반적인 구문 해석 방법이어도 된다.
다음으로, 단계 S15에 있어서, 시간 관리부(1314)는 구문 해석 결과에 기초하여 도 10 내지 도 12에 도시한 바와 같은 타임 테이블을 작성한다. 도 10은, 시간 관리부(1314)가, 도 6 및 도 7에 도시되는 스크립트의 묘화 정보 기술 부분에 기초하여 작성한 미디어 묘화 처리의 타임 테이블의 구체 예를 도시하는 도면이고, 도 11 및 도 12는 도 6 및 도 7에 도시되는 스크립트의 유저 네비게이트 정보 기술 부분에 기초하여 작성한 이벤트 처리 타임 테이블 및 UI 할당 상황 표시 타임 테이블의 구체 예이다. 즉, 단계 S15에 있어서, 시간 관리부(1314)는, 단계 S14에서 해석된 스크립트에 기초하여, 스크립트 실행 시간과 그 때 재생되는 미디어 데이터와의 대응과, 스크립트 실행 시간과 그 때 발생한 이벤트에 따른 처리와의 대응과, 스크립트 실행 시간과 그 때에 조작되는 UI의 할당과의 대응을, 도 10 내지 도 12에 도시하는 바와 같은 타임 테이블 형식으로 작성한다.
구체적으로는, 도 10에 도시하는 미디어 묘화 처리의 타임 테이블은, 도 6 및 도 7에 도시되는 스크립트의 묘화 정보 기술 부분에 기초하여, 스크립트 실행 개시 0초∼8초의 동안은, 동화상 1(First Image.mpg)과, 텍스트 1(First Text.txt)과, 음악 1(First Sound.smf)이 재생되고, 스크립트 실행 개시 8초∼ 15초의 동안은, 텍스트 2(Second Text.txt)가 재생되고, 스크립트 실행 개시 15초∼19초의 동안은, 정지 화상 3(Third Image.jpg)과, 텍스트 3(Third Text.txt)과, 음악 3(Third Sound.smf)이 재생되는 것을 나타내는 타임 테이블이다.
또한, 스크립트에 포함되는 텍스트나 유저가 입력하는 텍스트가, 다른 화상이나 영상과 동일한 영역에 거듭 표시되는 경우에는, 해당 텍스트의 시인성을 높이기 위해서, 색이나 폰트 등의 속성이 자동적으로 조정되는 것이 바람직하다. 이러한 자동 조정의 가장 단순한 실시는, 구체적인 색 속성의 표현이 RGB의 3치의 세트에 의한 경우, 텍스트와 배경의 색 속성의 거리 √((ΔR)2+(ΔG)2+(ΔB)2)가 소정의 임계치보다도 작은 경우에, 배경 색의 색 속성의 보색(배경 색의 RGB의 각 성분치의 1의 보수를 RGB 성분으로서 갖는 색)을 텍스트의 색 속성으로 함으로써 얻어진다.
또한, 도 11에 도시하는 이벤트 처리 타임 테이블은, 도 6 및 도 7에 도시되는 스크립트의 유저 네비게이트 정보 기술 부분에 기초하여, 스크립트 실행 개시 0초∼8초의 사이에 Select 키가 조작되면 화상 촬영 프로그램(133)인 동화상 촬영 어플리케이션이 기동하고, 스크립트 실행 개시 8초∼15초의 사이에 Select 키가 조작되면, 예를 들면 화상 촬영 프로그램(133)인 동화상 촬영 어플리케이션과, 텍스트 편집 프로그램(139)인 문자 입력 어플리케이션 중에서 1개를 선택시키는 화면을 디스플레이(144)에 표시시켜, 거기서 선택된 프로그램이 기동하고, 스크립트 실행 개시 8초∼15초의 사이에 타이머에 의해 음성 데이터 녹음 프로그램(136)인 음성 입력 어플리케이션을 기동하는 것을 나타내는 타임 테이블이다.
또한, 도 12에 도시하는 UI 할당 상황 표시 타임 테이블은, 도 6 및 도 7에 도시되는 스크립트의 유저 네비게이트 정보 기술 부분에 기초하여, 스크립트 실행 개시 0초∼8초의 사이에는, Select 키가 조작되면 화상 프로그램(133)인 동화상 촬영 어플리케이션이 기동하는 것을 유저에게 보이기 위해서, 디스플레이(144)에 Select 키의 설명으로서 「무비 촬영」으로 표시시키고, 스크립트 실행 개시 8초∼15초의 사이에는, Select 키가 조작되면 화상 촬영 프로그램(133)인 동화상 촬영 어플리케이션과, 텍스트 편집 프로그램(139)인 문자 입력 어플리케이션의 어느 하나가 기동하는 것을 유저에게 알리기 위해서, 디스플레이(144)에 Select 키의 설명 으로서 「카메라 촬영」, 및「텍스트 입력」 등으로 표시시키고, 스크립트 실행 개시 8초∼15초의 사이에는, 타이머에 의해 음성 데이터 녹음 프로그램(136)인 음성 입력 어플리케이션을 기동하는 것을 유저에게 보이기 위해서, 디스플레이(144)에 타이머에 의한 기동의 설명으로서 「녹음」으로 표시시키는 것을 나타내는 타임 테이블이다.
다음으로, 단계 S16에 있어서, 실행 제어부(1313)는 구문 해석 결과 및 타임 테이블에 기초하여, 스크립트를 실행한다. 또한, 스크립트 실행 시에는, 실행 제어부(1313)는 UI 할당 상황 표시 타임 테이블에 기초하여, 스크립트 실행 시간에 수반하여 변화하는 UI를 디스플레이(144)에 표시시키도록, UI 내용 표시 프로그램(132)에 지시한다. 또한, 여기서의 스크립트의 실행 처리에 대해서는, 나중에, 도 6 및 도 7에 도시되는 스크립트에 기초한 구체 예를 들어 설명한다.
그리고, 단계 S17에 있어서, 이벤트 관리부(1315)가 이벤트의 발생을 검출하면(S17에서 '예"), 단계 S18에 있어서, 실행 제어부(1313)에서, 해당 이벤트에 따른 처리를 실행한다. 또한, 여기서의 이벤트에 따른 처리에 대해서는, 나중에 서브루틴을 들어 설명한다.
전술한 단계 S17에서 검출되는 이벤트는 주로, 스크립트의 실행이 시계열로 실행될 때의 실행점의 종단에 도달한 종단 도달 이벤트 등인 시스템 이벤트와, 메뉴 표시를 지시하는 등의 고정적인 처리를 실행시키는 고정 입력 이벤트와, 링크 이동이나 어플리케이션의 기동이나 헬프의 표시 등을 지시하는 스크립트 정의 입력 이벤트의 3가지로 나누어진다. 구체적으로는, 고정 입력 이벤트와 스크립트 정의 입력 이벤트는, 스크립트 실행중의, 키 코드 입력 디바이스(142)로부터의 유저의 지시 입력 등이 해당한다. 그 때문에, 스크립트 실행중에, 키 코드 입력 디바이스(142)로부터 지시 입력 등의 어떠한 이벤트가 발생할 때까지, 스크립트의 실행이 계속된다.
이상으로, 휴대 전화(1)에 있어서의 스크립트의 재생 및 편집 처리를 종료한다.
또한, 상기 재생 및 편집 처리는, 처리의 도중에 통화 프로그램 등에 인터럽트되거나, 또한 유저의 형편이나 전지의 소모에 의해 중단되거나 한 경우, 그 시점에서의 재생 및 편집 시점과 변경중의 스크립트를 기억부(130)에 보존하고 처리를 중단하고, 나중에 재개할 때에는, 기억부(130)로부터 보존된 재생 및 편집 시점과 변경중의 스크립트를 판독하여 중단전의 재생 및 편집 시점으로부터, 복귀할 수 있도록 구성되어 있는 것이 바람직하다.
또한, 스크립트가 SMIL(Synchronized Multimedia Integration Language)로 기술된 것인 경우의 재생 및 편집 처리에 대하여, 구체적으로 도 79의 플로우차트를 이용하여 설명한다.
도 79를 참조하여, 처음에, 휴대 전화(1)에 있어서, 템플릿에 포함되는 SMIL로 기술된 스크립트가 해석(parse)되어 데이터 구조에 저장된다(S2401).
단계 S2401에서의 해석 결과를 저장하는 데이터 구조의 구체 예를 도 80A 및 도 80B에 도시한다. 도 80B에 도시한 바와 같이, 단계 S2401에서는, 스크립트에 참조 정보가 기재되어 참조되고 있는 각 미디어 데이터에 대하여, 미디어의 종별이 나 파일명, 표시 영역 등의 속성치를 유지하는 Display Content 클래스의 인스턴스가 작성되고, 인스턴스의 집합이 도 80A에 도시되는 Display Scheduler에 통합 관리된다.
또한, 단계 S2401에서의 스크립트의 해석 결과를 도 81에 도시한다. 도 81은 구체적으로 도 6 및 도 7에 도시되는 스크립트의 해석 결과를 도시하고 있으며, 스크립트의 해석 결과로서, Display Content 클래스의 인스턴스가 11개 만들어져 있다. 이 수는 이러한 스크립트에 최종적으로 기재되는 참조 정보로 참조되는 미디어 데이터의 개수이다.
또한, 이러한 11개의 인스턴스 중, 인스턴스(5, 6, 7)에 지정되는 미디어 데이터의 파일(Media file)은 비어 있고, 도 6 및 도 7에 도시되는 초기 상태에서는, 해당하는 미디어 데이터가 참조되고 있지 않은 상태임을 나타내고 있다. 나중에 설명하는 편집 처리에 있어서 미디어 데이터의 지정을 접수함으로써 참조 정보가 기재되고, 미디어 데이터가 참조된다. 또는, 소정의 파일을 지정함으로써, 가이던스 표시를 행할 수도 있다. 예를 들면, 인스턴스(5)를 예로 들면 액션 내용이 카메라 기동에 의한 촬상 및 삽입임이 해석되어 있으므로, 카메라의 일러스트 화상(Camera.jpg)을 지정함으로써, 카메라의 일러스트 화상이 가이던스 표시된다. 또한, 보다 간단하게는, EvDesc의 값(「카메라 기동」등)인 문자열을 가이던스 표시로서 화면의 최하 행에 표시시켜도 된다.
그리고, 도 80A 및 도 80B에 도시한 바와 같은 데이터 구조를 찾아가면서, 해당 스크립트가 재생된다(S2402).
이후에 설명하는 바와 같은 미디어 데이터의 삽입이나 교체 처리가 행하여진 경우(S2403에서 '예"), 단계 S2401에서 해석 결과를 저장하는 데이터 구조 중, 해당하는 값이 갱신된다(S2404). 또한, 미디어 데이터의 삽입이나 교체 처리 등의 재기입 처리에 대해서는, 나중에 상세히 설명한다.
단계 S2404에서 갱신된 스크립트의 해석 결과의 구체 예를 도 82에 도시한다. 도 82에 도시되는 편집 결과는, 도 81에 도시된 초기 상태의 도 6 및 도 7에 도시된 스크립트에 대하여 재기입 처리가 실시된 결과이다. 보다 구체적으로는, 전술한 재기입 처리가 실행되고, 초기 상태의 스크립트에 미디어 데이터 「CameraPict01.jpg」「EditText01.txt」「Voice01.amr」이 추가된 경우가 도시되어 있으며, 이들 참조 정보가, 해당하는 인스턴스(5, 6, 7)에 기술되어 있다. 또한, 화상 데이터 「First Image.mpg」에 대해서는, 스크립트 측에서 파일명이 규정되어 있기 때문에, 무비 촬영의 결과 얻어진 무비 파일도 이 이름으로 유지된다. 즉, 파일명이 재기입하지 않고서 파일의 실체가 덮어쓰기 변경된다.
전술한 단계 S2402∼S2404의 처리는 해당 스크립트의 실행점의 종단에 도달할 때까지 반복하여 실행되고(S2405에서 "아니오"), 종단에 도달하면(S2405에서 '예"), 스크립트의 재생 처리를 종료하여 메일에 첨부하여 송신할지의 여부가 판정된다(S2406).
미디어 데이터의 삽입이나 교체 처리 등의 스크립트의 편집이 미완료인 경우에는(S2406에서 "아니오"), 처리를 단계 S2402로 복귀시켜, 그 스크립트의 실행점의 선두부터 재생된다.
한편, 편집이 완료되어, 메일에 첨부하여 송신하는 경우(S2406에서 '예"), 도 82에 도시되는 데이터 구조로부터 SMIL로 기술되는 스크립트가 생성된다(S2407). 그리고, 단계 S2407에서 생성된 SMIL로 기술되는 스크립트가 메일에 첨부되어 송신 또는 보존된다(S2408). 또한, 단계 S2408에서의 메일 첨부 처리에 대해서도, 나중에 설명한다.
단계 S2408에서 송신되는 스크립트의 구체 예를 도 83에 도시한다. 도 83에 도시되는 스크립트는, 도 6 및 도 7에 도시되는 초기 상태의 스크립트에 대하여 화상 데이터, 텍스트 데이터, 및 음성 데이터인 미디어 데이터를 추가하는 재기입 처리를 실시한 스크립트이고, 보다 구체적으로는, 도 83에 밑줄을 그어 나타낸 개소가 해당 재기입 처리에 의해서 삽입된 미디어 데이터의 참조 정보이다.
또한, 스크립트를 송신할 때에, 유저 네비게이트 정보 기술 부분인 편집 기능을 삭제하여 송신해도 된다. 도 84에 도시되는 스크립트는, 도 6 및 도 7에 도시되는 초기 상태의 스크립트에 대하여 화상 데이터, 텍스트 데이터, 및 음성 데이터인 미디어 데이터를 추가하는 재기입 처리를 실시한 나중에, 또한 편집 기능을 삭제한 스크립트이고, 보다 구체적으로는, <action id=…>로 기술된 액션 내용의 정의 부분과, <event ref=…>로 기술된 이벤트와 액션과의 대응화 부분이 삭제되어 있다. 그것은 도 84에 있어서 밑줄을 그어 나타내고 있다.
또한, 단계 S2407에 있어서 도 82에 도시되는 데이터 구조로부터 SMIL로 기술되는 스크립트를 기입하기 시작하여 도 84에 도시되는 스크립트를 생성할 때, 편집 기능을 삭제하는 경우에는, 데이터 구조에 포함되는 Event 및 Action에 관련한 속성은 무시한다. 또는, 편집 기능도 포함시킨 스크립트를 기입하기 시작하는 경우에는, 액션 내용으로서 「삽입」이 지정되어 있지만(Act Type="insert"), 이미 전술한 처리에 의해서 미디어 데이터의 참조 정보가 기술되어 있기 때문에, 액션 내용을 「치환」(Act Type="replace")으로 변경한다. 그것은 도 83에서 밑줄을 그어 나타내고 있다.
다음으로, 전술한 단계 S18에서 실행되는 이벤트에 따른 처리에 대하여, 도 13의 플로우차트를 이용하여 설명한다.
도 13을 참조하여, 전술한 단계 S17에서 이벤트 관리부(1315)로부터 이벤트 발생의 검출 정보를 받으면, 단계 S21에 있어서, 실행 제어부(1312)는 실행하고 있는 스크립트를 일시 정지한다.
그리고, 단계 S17에서 검출된 이벤트가, 스크립트의 실행이 실행점의 종단까지 도달하였음을 나타내는 이벤트인 경우에는(S22에서 '예"), 단계 S23에 있어서, 실행 제어부(1313)는 해당 스크립트의 실행을 종료하고, 처리를 도 9의 단계 S16으로 복귀하여, 재차 스크립트의 실행을 개시한다. 즉, 재차, 스크립트 실행을 실행점의 시단으로 복귀시켜, 시작부터 스크립트의 실행을 반복한다. 또한, 본 실시 형태에서는, 취득한 템플릿에 포함되는 스크립트를 반복하여 실행하는 것으로 하고 있지만, 1회 혹은 소정의 횟수 실행하여, 스크립트의 실행을 종료해도 된다. 혹은, 스크립트 실행을 반복할지 종료할지의 선택지를 화면에 제시하여, 버튼 조작 등의 유저 입력에 의해서 스크립트 실행의 반복 또는 종료를 지시하도록 하여도 된다.
단계 S17에서 검출된 이벤트가, 스크립트의 실행이 실행점의 종단까지 도달하였음을 나타내는 이벤트 이외의 이벤트인 경우에는(S22에서 "아니오"), 단계 S24에 있어서, 실행 제어부(1313)는 검출된 이벤트에 기초하여 처리 내용을 결정하고, 단계 S25∼S27에서 결정된 처리를 실행한다. 또한, 단계 S24에서의 처리 내용의 결정 처리, 및 단계 S25∼S27에 나타낸 각 처리에 대해서는, 나중에 각각 플로우차트를 들어 설명한다.
이상으로, 단계 S18에서의 이벤트에 따른 처리를 종료하고, 처리를 도 9의 플로우차트에 도시되는 재생·편집 처리로 복귀시킨다.
다음으로, 전술한 단계 S24에서의 처리 내용의 결정 처리에 대하여, 도 14의 플로우차트를 이용하여 설명한다.
도 14를 참조하여, 전술한 단계 S17에서 이벤트의 발생을 검출하면, 실행 제어부(1313)는, 그 때의 시간 파라미터 값(S31), 즉, 해당 스크립트 실행 시간을 나타내는 파라미터와, 소스 ID(S32), 즉, 이벤트의 발생 원래의 식별 정보와, 시간 관리부(1314)가 작성한 이벤트 발생 처리 타임 테이블(S33)을 참조하여, 발생한 이벤트를 판단한다. 또한, 판단된 이벤트와 이벤트 발생 처리 타임 테이블로부터, 이벤트 발생 시에 그 이벤트에 대응되고 있는 처리 내용을 결정한다. 또한, 결정된 처리가 복수인 경우에는(S34에서 '예"), 단계 S35에 있어서, 실행 제어부(1313)는, 디스플레이(144) 등에 선택용의 화면을 표시하고, 그 복수의 처리중에서 지금부터 개시하는 처리의 선택을 접수한다. 예를 들면, 도 54A에 도시한 바와 같이 선택용의 화면에 표시한 리스트에 「Invoke Camera」와 「Local Folder」를 제시하 고, 「Invoke Camera」가 선택된 경우에는 카메라를 기동하고, 도 54B에 도시한 바와 같이 「Local Folder」가 선택된 경우에는 데이터 폴더에 액세스한다.
혹은, 단계 S35에 있어서, 실행 제어부(1313)는 결정된 복수의 처리를 순차로 1개씩 전부 실행하는 구성이라도 무방하다. 그 경우, 해당 처리에 대응하는 이벤트의 스케줄 기술이 출현하는 순서로 처리를 실행한다. 보다 구체적으로는, 도 7의 스크립트의 8초째부터 15초째의 사이를 예로 들면 select 키가 눌러진 경우에, 기술의 순서에 따라서 28행에 기재되는 「카메라 기동」이 우선 실행되고, 그 다음으로 29행에 기재되는 「텍스트 입력」이 실행된다. 또한, 스크립트에 복수의 처리의 실행 우선 순서를 기술하고, 그 순서에 따라서 복수의 처리를 순차로 실행하는 구성이라도 무방하다.
또는, 단계 S35에 있어서, 복수의 처리 각각을 실행하기 위한 숏커트 수단이 있는 경우에는, 유저에 의해 지정된 숏커트 수단에 대응하는 처리를 직접 실행하는 구성이어도 된다. 보다 구체적으로는, 도 7의 스크립트의 8초째부터 15초째의 사이를 예로 들면 카메라 기동용 키가 눌러진 경우에 28행에 기재되는 「카메라 기동」이 실행되고, 텍스트 입력용 키가 눌러진 경우에는 29행에 기재되는 「텍스트 입력」이 실행되는 구성이어도 된다.
이상으로, 단계 S24에서의 이벤트에 따른 처리를 종료하고, 처리를 도 13의 플로우차트에 도시되는 이벤트 처리로 복귀시킨다.
또한, 전술한 단계 S33에서의 이벤트 타임 테이블 참조에 대하여, 도 27의 플로우차트를 이용하여 설명한다.
도 27을 참조하여, 참조한 소스 ID가 "timer"인 경우(S131에서 「소스 ID」=timer), 이벤트 처리 타임 테이블의 timer의 란과 시간 파라미터 값을 참조하여 해당하는 처리를 판단한다(S132).
한편, 참조한 소스 ID가 "UI"인 경우(S131에서 「소스 ID」=UI), 또한 이벤트 처리 타임 테이블의 UI의 란과, 타입 ID 즉 이벤트 발생 시에 조작된 키 고유의 식별 정보와, 시간 파라미터 값을 참조하여(S133), 해당하는 처리를 판단한다(S134).
또한, 이벤트 처리 타임 테이블 및 스크립트에 기술하는 상기 키 고유의 식별 정보는, 단말기의 하드웨어 키의 식별 정보를 직접 사용하여도 되고, 논리 심볼을 사용하여, 도 28에 도시하는 바와 같은, 논리 심볼과 하드웨어 키와의 대응을 규정하는 테이블을 미리 휴대 전화(1)의 기억부(130)에 저장하고, 실행 제어부(1313)가 이벤트 타임 테이블을 참조할 때에 해당 테이블을 판독하고, 조작된 하드웨어 키로부터 논리 심볼을 참조하여 이벤트를 판단하도록 하여도 된다.
이상으로 단계 S33에서의 이벤트 타임 테이블 참조를 종료하고, 처리를 도 14의 플로우차트에 도시되는 처리 내용 결정 처리로 복귀시킨다.
상기의 처리에서, 단계 S17에서 발생을 검출한 이벤트가, 메뉴 처리를 실행시키는 이벤트이다고 결정된 경우, 단계 S25에 있어서, 도 15에 도시하는 처리를 실행한다. 즉, 도 15를 참조하여, 처음에, 단계 S41에서 실행 제어부(1313)는, 도 16에 도시하는 바와 같은 메뉴 화면을 디스플레이(144)에 표시하고, 유저로부터의 선택을 접수한다. 구체적으로는, 도 16을 참조하여, 해당 스크립트의 프리뷰 처 리, 데이터 폴더에의 보존 처리, 해당 스크립트로부터 참조되는 미디어 데이터를 개별의 미디어 파일에 보존하는 처리, 해당 스크립트 및 미디어 데이터를 메일에 첨부하는 처리, 해당 스크립트 및 미디어 데이터를 MMS(Multimedia Messaging Service)에 송신하는 처리, 해당 스크립트의 재생중의 슬라이드를 편집하는 처리, 해당 스크립트의 특성을 표시하는 처리, 및 어플리케이션을 종료하는 처리 등의 선택을 접수한다. 그리고, 단계 S42에서, 유저로부터의 선택에 따른 처리를 실행한다. 또한, 슬라이드란, 도 7의 20행부터 25행에 기술되는 바와 같은 병렬로 실행되는 스크립트의 일부분을 나타낸다. 즉, 도 7에 도시되는 스크립트는, 순차 재생되는, 20행∼25행, 26행∼31행, 및 32행∼36행의 3개의 슬라이드로 구성된다.
또한 도 16에 도시하는 바와 같은 메뉴 화면에서 「슬라이드 편집」이 선택된 경우, 단계 S41에 있어서 실행 제어부(1313)는, 도 36에 도시하는 바와 같은 슬라이드를 편집하기 위한 메뉴 화면을 디스플레이(144)에 표시하고, 슬라이드 삭제 처리 또는 슬라이드 재기입 금지 처리의 선택을 접수한다.
또한, 스크립트에 슬라이드 편집이 허가되는지 금지되는지를 기술해 놓고, 금지되는 경우에는 상기 슬라이드 편집의 선택지를 제시하지 않고서, 슬라이드 편집이 가능하지 않도록 하는 구성을 취하는 것도 가능하다.
보다 구체적으로, 그와 같은 슬라이드 편집이 허가되는지 금지되는지를 기술한 스크립트의 예를 도 68에 도시하고, 단계 S42에서 슬라이드의 편집을 실행하는 허가를 판정하는 처리에 대하여 도 69의 플로우차트를 이용하여 설명한다. 즉, 도 69를 참조하여, 스크립트에 도 68의 4행에 도시하는 바와 같은 편집 금지의 메타 기술(name="read Only")이 기술되어 있는 경우(S2201에서 '예"), 금지를 기술하는 속성(content)을 참조한다. 그리고, 그 속성이 "yes"인 경우(S2202에서 '예"), 단계 S42에서의 슬라이드의 편집을 금지한다. 한편, 그 속성이 "yes"가 아닌 경우에는(S2202에서 "아니오"), 단계 S42에서의 슬라이드의 편집을 허가한다. 또한, 애당초 해당 스크립트에 편집 금지의 메타 기술이 없는 경우에도(S2201에서 "아니오"), 단계 S42에서의 슬라이드의 편집을 허가한다.
이상으로 구체 예에 기초한 슬라이드 편집 허가 판정의 설명을 끝낸다.
또한, 전술한 단계 S41에서 도 36에 도시하는 바와 같은 슬라이드 편집의 메뉴 화면에 있어서 슬라이드 삭제가 선택된 경우의 단계 S42에서의 처리에 대하여, 도 35의 플로우차트를 이용하여 설명한다.
즉, 도 35를 참조하여, 전술한 단계 S41에서 해당 스크립트의 재생중의 슬라이드를 삭제하는 처리가 선택되면, 실행 제어부(1313)는 그 때의 시간 파라미터 값, 미디어 묘화 처리 타임 테이블, 및 이벤트 처리 타임 테이블을 참조하여(S171∼S173), 그 시점에서 유효하게 되어 있는 미디어 묘화 처리와 이벤트 처리를 판단한다. 그리고, 그 시점에서 유효하게 되어 있다고 판단된 미디어 묘화 처리와 이벤트 처리의 스케줄 기술 부분을 스크립트로부터 삭제하여, 해당 스크립트를 재기입한다(S174).
이상으로 슬라이드를 삭제하는 처리를 실행하는 경우의 단계 S42에서의 처리를 종료하고, 처리를 도 15의 플로우차트에 도시되는 메뉴 처리로 복귀시킨다.
또한, 전술한 단계 S41에서 도 36에 도시하는 바와 같은 슬라이드 편집의 메 뉴 화면에 있어서 슬라이드 재기입 금지가 선택된 경우의 단계 S42에서의 처리에 대하여, 도 37의 플로우차트를 이용하여 설명한다.
즉, 도 37을 참조하여, 전술한 단계 S41에서 해당 스크립트의 재생중인 슬라이드의 재기입 금지 처리가 선택되면, 실행 제어부(1313)는 그 때의 시간 파라미터 값, 및 이벤트 처리 타임 테이블을 참조하여(S181, S182), 그 시점에서 유효하게 되어 있는 이벤트 처리를 판단한다. 그리고, 그 시점에서 유효하게 되어 있다고 판단된 이벤트 처리의 스케줄 기술 부분을 스크립트로부터 삭제하여, 해당 스크립트를 재기입한다(S183).
이상으로 슬라이드의 재기입을 금지하는 경우의 단계 S42에서의 처리를 종료하고, 처리를 도 15의 플로우차트에 도시되는 메뉴 처리로 복귀시킨다.
또한, 위의 처리에서, 단계 S17에서 발생을 검출한 이벤트가, 링크 이동 처리를 실행시키는 이벤트이다고 결정된 경우, 단계 S27에 있어서, 도 17에 도시하는 처리를 실행한다. 즉, 도 17을 참조하여, 처음에, 단계 S51에서 실행 제어부(1313)는, 스크립트에 포함되는 링크처를 나타내는 파라미터를 참조하여, 단계 S52에서 해당 스크립트의 실행을 중단한다. 그리고, 단계 S53에서, 단계 S51에서 참조한 파라미터에 기초하여 링크처의 스크립트를 취득한다. 그 후, 처리를 도 9에 도시되는 처리의 단계 S13으로 복귀시키고, 취득한 스크립트를 판독하여, 마찬가지로 실행한다.
또한, 위의 처리에서, 단계 S17에서 발생을 검출한 이벤트가, 어플리케이션 실행 처리를 실행시키는 이벤트이다고 결정된 경우, 단계 S26에 있어서, 도 18에 도시하는 처리를 실행한다. 즉, 도 18을 참조하여, 처음에, 실행 제어부(1313)는, 어플리케이션을 기동할지의 여부를 선택시키는 화면을 디스플레이(144)에 표시시킨다. 어플리케이션의 기동이 선택된 경우(S61에서 '예"), 단계 S62에서 실행 제어부(1313)는 소정의 어플리케이션을 기동시킨다. 다음으로, 그 어플리케이션으로부터 소정의 데이터를 취득할 필요가 있는 경우에는(S63에서 '예"), 단계 S64에서 취득한다. 그리고, 실행하고 있는 해당 스크립트의 재기입이 필요한 경우(S65에서 '예"), 단계 S66에서, 스크립트 쓰기 시작부(1316)가 스크립트의 재기입 처리를 실행한다.
또한, 실행 제어부(1313)는, 전술한 스크립트 재기입 처리 종료 후, 스크립트의 재생을 재개한다. 스크립트의 재생은, 스크립트의 재생 개시 시점부터, 또는 그 시점에서의 스크립트 재생 시점부터, 또는 재기입된 구간의 개시 시점부터 시작할 수 있다. 상기 어느 구성을 취하여도 되고, 또한 유저에게 상기 선택지로부터 선택시키는 구성을 취하여도 무방하다.
또한 상기의 재개 시점은, 해당 단말기에 설정된 소정의 룰에 따라서 동적으로 결정되어도 된다. 마찬가지로, 스크립트의 재생의 시간이나, 종료 시점 등의 재생에 관한 다른 시간도 결정되어도 무방하다. 이하에 도 67의 플로우차트를 이용하여, 「스크립트의 남은 재생 시간이 10초 이하이면 스크립트의 현재의 재생 위치부터 재개하고, 그렇지 않은 경우에는, 스크립트의 개시 시점부터 재개한다」고 하는 룰에 따라서 스크립트 재생의 재개 시점을 결정하는 처리에 대하여 구체적으로 설명한다.
도 67을 참조하여, 처음에, 실행 제어부(1313)는, 스크립트의 현재의 재생 위치를 참조한다(S2101). 이 재생 위치는 단계 S21에서 일시 정지를 행한 시점에서의 재생 위치를 나타낸다.
다음으로, 실행 제어부(1313)는 스크립트의 총 재생 시간을 참조한다(S2102). 스크립트의 총 재생 시간은 스크립트의 스케줄 기술 부분으로부터 취득된다. 예를 들면, 스크립트가 도 7에 도시되는 것인 경우, 단계 S2102에서는, 시계열로 실행되는, 제20행∼제25행, 제26행∼제31행, 및 제32행∼제36행의 재생 시간의 총합을 계산하여, 스크립트의 총 재생 시간을 19초로 취득한다.
다음으로, 실행 제어부(1313)는, 단계 S2102에서 취득한 스크립트의 총 재생 시간으로부터 스크립트의 현재의 재생 위치를 감산하여, 스크립트의 잔여 재생 시간을 계산한다(S2103).
그리고, 단계 S2103에서 계산된 스크립트의 잔여 재생 시간이 10초 이하인 경우(S2104에서 "아니오"), 실행 제어부(1313)는 재생 개시 시점을 스크립트의 현재의 재생 시점으로 설정한다. 그렇지 않은 경우(S2104에서 '예"), 실행 제어부(1313)는 재생 개시 시점을 스크립트의 개시 시점으로 설정한다.
이상으로 구체적인 스크립트 재생의 재개 시점을 결정하는 처리의 설명을 끝내다.
다음으로, 전술한 단계 S62에서의 어플리케이션 기동에 대하여, 도 24의 플로우차트를 이용하여 설명한다.
도 24를 참조하여, 실행 제어부(1313)는, 소정의 어플리케이션이 휴대 전화 (1)의 기억부(130)에 등록되어 있는 경우에는(S101에서 '예"), 스크립트에 기술된 재생 시간 및 영역의 사이즈 등을 기동 파라미터로서 기동한다(S102). 소정의 어플리케이션이 휴대 전화(1)의 기억부(130)에 등록되어 있지 않은 경우(S101에서 "아니오"), 또한 해당 스크립트에서 어플리케이션으로부터의 데이터 취득이 필요한 경우에는(S103에서 '예"), 파일 취득 프로그램(156)인, 로컬 파일 취득 어플리케이션을 기동한다(S104).
또한, 상기 단계 S101에서 소정의 어플리케이션이 휴대 전화(1)의 기억부(130)에 등록되어 있지 않은 경우에, 통신부(110)를 통하여 서버(2)로부터 소정의 어플리케이션을 다운로드하여 휴대 전화(1)의 기억부(130)에 기억하고, 기동하는 구성을 취하여도 된다.
또한 이하에, 전술한 단계 S102에서의 동작에 대하여, 기동하는 어플리케이션이 화상 촬영 어플리케이션인 경우를 구체 예로서, 도 66의 플로우차트를 이용하여 설명한다.
즉, 도 66을 참조하여, 처음에 실행 제어부(1313)는, 치환하는 미디어 데이터가 표시되는 묘화 영역의 사이즈를 스크립트로부터 취득한다(S2001). 묘화 영역의 사이즈는 일반적으로 스크립트의 헤더 부분에 기술되어 있다. 구체적으로, 스크립트가 도 6인 것으로 하면, 도 6의 8행의 기술로부터 묘화 영역의 폭(width) 및 높이(height)로 지정되는 수치 176 및 120이 취득된다.
다음으로, 실행 제어부(1313)는, 단계 S2001에서 취득한 묘화 영역의 사이즈에 기초하여, 해당 화상 촬영 어플리케이션에서 해당 묘화 영역을 포함할 수 있는 최소의 촬영 사이즈를 판별한다(S2002). 구체적으로 화상 촬영 어플리케이션이, 촬영 사이즈로서, 폭 600×높이 480, 폭 120×높이 160, 또는 폭 120×높이 128을 선택할 수 있게 되어 있는 경우, 단계 S2002에서는, 촬영 사이즈 폭 600×높이 480이, 구체 예에 있는 폭 176×높이 120의 묘화 영역의 사이즈를 포함할 수 있는 것으로 판별된다.
그리고, 실행 제어부(1313)는 단계 S2002에서의 판별 결과에 기초하여, 화상 촬영 어플리케이션에서의 촬영 사이즈를 폭 600×높이 480으로 지정하고, 화상 촬영 어플리케이션을 기동한다(S2003).
또 전술한 처리와 마찬가지의 처리를 행하여, 기동하는 어플리케이션이 음성 녹음 어플리케이션인 경우, 스크립트에 기술된 시간만큼 녹음할 수 있다. 또한, 기동하는 어플리케이션이 파일 취득 어플리케이션인 경우, 메시지의 파일 사이즈 총계가 송신 가능한 사이즈의 상한을 초과하지 않도록, 이용할 수 있는 잔여 사이즈보다도 큰 사이즈의 파일을 선택할 수 없도록 할 수 있다. 또한, 기동하는 어플리케이션이 동화상을 취득하는 파일 취득 어플리케이션인 경우, 스크립트에 기술된 재생 시간보다도 긴 재생 시간의 파일을 선택할 수 없도록 할 수 있다.
이상으로, 단계 S62에서의 어플리케이션 기동을 종료하고, 처리를 도 18의 플로우차트에 도시되는 어플리케이션 실행 처리로 복귀시킨다.
다음으로, 전술한 단계 S64에서의 데이터 취득에 대하여, 도 25의 플로우차트를 이용하여 설명한다.
도 25를 참조하여, 처음에, 실행 제어부(1313)는, 단계 S62에서 기동한 어플 리케이션으로부터 데이터를 수취한다(S111). 그리고, 그 취득 데이터가, 스크립트에 기술된 재생 시간, 및 영역 사이즈에 적합하지 않은 경우(S112에서 "아니오"), 실행 제어부(1313)는, 취득 데이터를 스크립트의 기술에 적합하도록 변환한다(S113).
또한, 단계 S113에 있어서, 미리 스크립트에 기술된 참조 정보에서 참조되는 미디어 데이터와 취득 데이터를 합성하여, 새롭게 스크립트 또는 미디어 데이터를 생성해도 된다. 취득 데이터가 재생 시간을 갖는 미디어 데이터인 경우에 있어서, 이 생성 처리는 도 56A 내지 도 56C를 이용하여 이하와 같이 설명할 수 있다.
즉, 도 56A의 상부 및 도 56B에 도시한 바와 같이, 본 구체 예에 있어서 「원래의 미디어 데이터」는 5초간의 재생 시간을 갖고, 당초 시각 t1부터 재생되도록 기술되어 있다. 또한, 「취득 데이터」는, 단계 S31에서 참조되는 이벤트의 시간 파라미터 값인 시각 t2(=t1+3)부터 5초간 촬영한 동화상인 것으로 한다. 이 경우, 유저가, 적당한 유저 인터페이스에 의해, 취득 데이터를 촬영하고 있던 시간에 재생 시간이 해당하고 있는 「원래의 미디어 데이터」의 부분을 「취득 데이터」로 치환하도록 지시하면, 「재기입 나중에 재생되는 데이터」의 내용과 재생 시간은 도 56A의 하부 및 도 56C에 도시되는 데이터로 된다. 이러한 효과를 얻는 처리의 하나의 실현 방법은, 실행 제어부(1313)가 지시함으로써, 원래의 미디어 데이터의 소정 부분이고 취득 데이터의 촬영 시간과 재생 시간이 중첩되는 부분을, 화상 데이터 촬영·편집 프로그램(133)에 의해서 재기입하여 보존함으로써 얻어진다. 다른 실현 방법은, 원래의 미디어 데이터 및 취득 데이터 각각의 새로운 개시 시각과 재생 시간을 표현하는 스크립트를, 실행 제어부(1313)로부터 지시를 받은 스크립트 쓰기 시작부(1316)가 생성하여 기입하기 시작하는 것이다. 후자의 실현 방법에 의하면, 전술한 구체 예에 있어서 스크립트 쓰기 시작부(1316)에서 기입되기 시작되는 스크립트는, 도 56B 및 도 56C에 도시하는 스크립트로 된다. 또한, 취득 데이터 중의, 원래의 미디어 데이터와 중첩되지 않는 시각 t3 내지 시각 t4의 부분을 생성되는 데이터에 가할지 여부는, 적당한 유저 인터페이스 등에 따라서 지시되는 것이 바람직하다.
또한, 단계 S113에 있어서, 예를 들면, 동화상 데이터로부터 음성 데이터만을 판독하는 처리를 행하는 등 하여 취득 데이터의 일부를 추출하여, 새롭게 미디어 데이터를 생성해도 된다.
또한, 상기 처리중의 단계 S112 및 단계 S113에 있어서, 취득 데이터가 차지하는 메모리 영역의 사이즈가 소정의 값을 초과해 있는 경우에, 예를 들면, 화상 데이터의 감색이나 음성 데이터의 샘플링 레이트의 저감 등, 데이터 사이즈를 삭감하는 처리를 행하더라도 무방하다.
또한, 상기 처리 중의 단계 S112에 있어서, 취득 데이터가 스크립트의 기술에 적합하지 않은 경우에, 취득 데이터 대신에 휴대 전화(1)의 기억부(130)에 기억된 소정의 미디어 데이터(디폴트의 데이터)를 사용해도 된다.
이상으로, 단계 S64에 있어서의 데이터 취득을 종료하고, 처리를 도 18의 플로우차트에 도시되는 어플리케이션 실행 처리로 복귀시킨다.
다음으로, 전술한 단계 S66에서의 스크립트 재기입 처리에 대하여, 도 26의 플로우차트를 이용하여 설명한다.
도 26을 참조하여, 실행 제어부(1313)는, 스크립트에 포함되는 미디어 데이터와 취득 데이터의 합계가, 기억부(130)에 기억되는 규정치 이하인 경우(S121에서 '예"), 스크립트 쓰기 시작부(1316)에서 스크립트 재기입 처리를 실행시킨다(S122). 그렇지 않은 경우(S121에서 "아니오"), 실행 제어부(1313)는 디스플레이(144)에 스크립트 재기입을 할 수 없다는 취지를 표시한다(S123).
또한, 전술한 단계 S122에 있어서, 실행 제어부(1313)는, 단계 S31에서 참조되는 이벤트의 시간 파라미터 값을 이용하여 취득 데이터를 기입하는 시점을 변경할 수도 있다. 예를 들면, 스크립트 재기입 처리로서, 도 57A에 도시하는 바와 같은 스크립트에 있어서, 도 57B에 도시한 바와 같이, 재생 개시 후 4초째에 키 조작을 행하고, 카메라 어플리케이션을 기동하여 미디어 데이터를 재기입하는 처리를 행하는 경우, 키 조작이 행하여진 시각(4초째)으로부터 촬영을 개시하고, 촬영 종료 후 카메라 어플리케이션으로부터 취득한 동화상 2를, 키 조작이 행해진 시각(4초째)으로부터, 원래의 미디어 데이터인 동화상 1의 재생 종료 시각(8초째)까지의 구간에 기입한다. 또한, 이 예에서는 이벤트의 시간 파라미터 값의 시점에 미디어 데이터를 기입하고 있지만, 이벤트의 시간 파라미터 값보다 후의 시점 또는 전의 시점에 기입하는 것도 가능하다.
이상으로, 단계 S66에서의 스크립트 재기입 처리를 종료하고, 처리를 도 185의 플로우차트에 도시되는 어플리케이션 실행 처리로 복귀시킨다.
이상으로, 본 데이터 통신 시스템에 있어서의 휴대 전화(1)에서의 스크립트 의 재생 및 편집 처리가 종료한다.
보다 구체적으로, 본 데이터 통신 시스템에 있어서의 휴대 전화(1)에서, 도 6 및 도 7에 도시되는 스크립트의 재생 및 편집 처리를 실행하는 경우에 대해서, 도 19 및 도 20의 플로우차트를 이용하여 설명한다.
도 19를 참조하여, 도 7에 도시되는 스크립트의 제20행을 실행할 때, 처음에 재생·편집 엔진 프로그램(131)의 구문 해석부(1312)에서 스크립트의 해석을 행하고, 단계 S71에 있어서, 실행 제어부(1313)는, 화상 데이터 표시 재생 프로그램(134)에 대하여, 0초∼8초에 있어서, Image 영역에 동화상 데이터 「First Image.mpg」를 표시 재생하도록 지시한다. 그렇게 하면, 단계 S72에 있어서, 화상 데이터 표시 재생 프로그램(134)은, 0초∼8초에 있어서, 디스플레이(144)에 동화상 데이터 「First Image.mpg」를 표시 재생하고, 또한, 그 데이터에 소리 데이터가 포함되는 경우에는, 스피커(148)로부터 그 소리 데이터를 재생한다.
다음으로, 0초∼8초의 사이에, 유저로부터 select 키를 조작된다고 하는 이벤트가 발생한 경우, 도 7에 도시되는 스크립트의 제24행에 기술되는 처리인, 도 20에 도시되는 처리를 실행한다. 즉, 도 20을 참조하여, 이벤트 관리부(1315)가 select 키가 조작되었다고 하는 이벤트의 발생을 검출하면, 단계 S81에 있어서, 실행 제어부(1313)는, 도 11에 구체 예가 도시되는 이벤트 처리 타임 테이블을 참조하여, 대응하는 처리 내용(액션)을 결정한다. 즉, 이벤트 처리 타임 테이블을 참조하여, 단계 S82에 있어서, 실행 제어부(1313)는, 대응하는 어플리케이션인 화상 촬영 프로그램(133)과 음성 데이터 녹음 프로그램(136)을 기동시킨다.
다음으로, 단계 S83에 있어서, 화상 촬영 프로그램(133)은, 화상 촬영에 필요한 UI를 디스플레이(144)에 표시하고, 카메라(149)와 키 코드 입력 디바이스(142)를 사용하여 화상 데이터를 생성한다. 또한, 그것과 동시에, 음성 데이터 녹음 프로그램(136)은, 마이크로폰(146)을 사용하여 음성 데이터를 생성한다. 그리고, 도시되지 않은 데이터 합성 프로그램은 생성된 화상 데이터와 음성 데이터를 합성한다. 이와 같이 하여, 단계 S83에 있어서 새로운 데이터를 취득한다.
상기의 처리가 종료하면, 단계 S84에 있어서, 실행 제어부(1313)는 화상 촬영 프로그램(133)과 음성 데이터 녹음 프로그램(136)을 종료시킨다.
그리고, 단계 S85에 있어서, 재생·편집 엔진 프로그램(131)은, 합성된 데이터를 수취하여, 그 데이터가 Image 영역에 0초∼8초 표시되도록, 스크립트 쓰기 시작부(1316)가 스크립트를 재기입한다.
이상으로, 도 6 및 도 7에 도시되는 스크립트의 제24행의 처리를 종료하고, 새롭게 생성된 스크립트의 재생·편집 처리의 실행을 행한다.
본 데이터 통신 시스템의 휴대 전화(1)에서 도 6 및 도 7에 도시되는 스크립트를 재생 및 편집 처리를 실행할 때에는, 위와 같은 처리를 1행씩 실행한다.
이러한 스크립트의 재생·편집 처리에 대하여, 도 21, 도 22 및 도 85에 도시하는 구체적인 표시 화면의 천이를 이용하여 설명한다. 도 21 및 도 22는 구체적인 표시 화면의 천이를 순차로 도시하는 도면이고, 도 85는 이들 표시 화면의 구체 예를 하나의 도면에 도시한 것이다.
도 21의 (A)는 사용 가능한 템플릿의 일람을 표시하는 화면의 구체 예이다. 도 21의 (A)에 도시되는 화면에서는, 템플릿 「지금 여기에 와 있다」 「이것 봐」 「꽤 따분하다」 및 「이것 맛있다!」의 4개의 템플릿이 선택 가능하게 표시된다. 또한, 이 예에서는 템플릿의 명칭만 표시되어 있지만, 템플릿을 이용하여 작성할 수 있는 메시지의 구체적인 이미지가 썸네일 화상으로서 명칭과 함께 표시되는 것이 보다 바람직하다.
또한, 일람 표시되는 템플릿은, 통상은 단말기 내의 메모리에 보존되어 있는 템플릿이지만, 네트워크 접속에 의해 외부 기기나 서버로부터 다운로드 가능한 것을 표시해도 된다.
또한, 이 템플릿 일람 화면에서는, 취득 완료 또는 취득 가능한 템플릿이 전부 표시되어도 되고, 일부의 템플릿만이 표시되더라도 무방하다. 이러한 표시를 행하는 경우, 어떤 템플릿을 표시할 것인지의 선택 방법에 대해서는, 유저 조작 등에 의해, 자주 사용하는 템플릿만을 엄선하여 표시하는 방법, 최근 사용한 템플릿만을 표시하는 방법, 메시지로서 송신하는 경우에, 미리 송신 상대가 지정되어 있고, 또한 송신 상대 단말기의 기능이 판명되는 경우에는, 송신 상대 단말기가 해석 및 실행 가능한 템플릿만을 표시하는 방법, 등이 생각된다. 이와 같이, 송신 상대 단말기의 기능에 따라서 템플릿을 선택 표시하는 것으로 하면, 예를 들면, 송신 상대 단말기가 카메라를 갖지 않는 휴대 전화인 경우에, 카메라를 기동함으로써 그 자리에서 사진을 촬영하여 송부 받을 목적의 템플릿은, 일람으로부터 제외해 놓을 수 있다.
또한, 전술한, 일부의 템플릿만 일람 표시하는 경우에도, 소정의 유저 조작 에 의해서, 다른 취득 완료 또는 취득 가능한 템플릿 전부를 표시할 수 있는 것이 바람직하다. 또한, 송신 상대 단말기의 기능이 판명되는 경우에는, 기술되어 있는 모든 기능이 상대 단말기에서 해석 및 실행할 수 없다고 판명한 템플릿에 대해서는, 색이나 폰트를 구별하여 표시하거나, 선택되었을 때에 경고 화면을 내보내는 등 하여 유저에게 주의를 촉구한다든지, 혹은 선택 조작을 무효로 하여 두어도 된다.
계속해서, 도 21의 (A)에 도시되는 화면에서 템플릿 「꽤 따분하다」를 선택하고, 재생 처리를 실행시키는 경우의 처리에 대하여 구체적으로 설명한다.
도 21을 참조하여, 처음에 소정의 내비게이션 프레임인 스크립트 「꽤 따분하다」를 선택하고, 재생 처리를 실행시킨다. 휴대 전화(1)에서는 상기의 처리가 실행되어 해당 템플릿에 포함되는 스크립트가 해석되고, 도 21의 (B)에 도시한 바와 같이, 이러한 스크립트의 실행이 개시된다.
스크립트 실행에 수반하여 시계열적으로 변화하는 UI 부품이고, 유저를 네비게이트하는 UI 부품이, 도 21의 (C) 이후의 화면에 도시한 바와 같이 디스플레이(144)에 표시된다. 구체적으로는, 도 21의 (C)에 도시되는 실행 화면의 2코마째 재생 시에 「카메라 기동」의 문자열이 디스플레이(144)에 표시된다. 이 상태에서 유저가 아무 조작도 행하지 않은 경우에는, 「카메라 기동」의 문자열이 소정 시간 표시된 후 스크립트는 도 21의 (D)의 화면에 도시되는 종단까지 실행되고, 자동적으로 시단인 도 21의 (B)의 화면으로 되돌아가 재생을 반복한다.
또한, UI 부품으로서 이 예에서는 문자열이 표시되는 것으로 하고 있지만, 카메라 등의 아이콘 화상이나 동화상이 표시되거나, 음성이나 음악이 재생되더라도 무방하다.
도 21의 (C)에 도시되는 「카메라 기동」의 문자열이 디스플레이(144)에 표시되어 있는 타이밍에 유저가 소정의 키 조작을 행함으로써, 화상 촬영 프로그램(133)이 실행되고, 도 21의 (E) 및 (F)에 도시한 바와 같이 카메라(149)로 동화상의 촬영을 행할 수 있다. 그리고, 도 21의 (G)에 도시한 바와 같이, 템플릿 「꽤 따분하다」는 「카메라 기동」의 문자열이 표시되는 시간대에 촬영된 동화상 데이터가 재생되도록 재기입된다. 즉, 유저가 UI 부품의 네비게이트에 따라서 촬영을 행한 후, 스크립트의 시작, 혹은 「카메라 기동」의 UI 부품이 디스플레이(144)에 표시되는 시점에 스크립트의 실행을 복귀시키면, 도 22에 도시한 바와 같이, 먼저 템플릿 「꽤 따분하다」를 실행했을 때에 「카메라 기동」의 UI 부품이 디스플레이(144)에 표시된 시간대에, 도 22의 (B)에 도시한 바와 같이 촬영된 동화상이 재생된다. 또한 그 경우, 스크립트 실행 시에, 「카메라 기동」의 UI 부품이 표시되는 시간대에 동화상 데이터가 등록되었음이 판정되면, 그 시간대에는 「카메라 기동」의 UI 부품이 표시되지 않도록 되는 것이 바람직하다. 혹은, 도 22의 (B)에 도시한 바와 같이 그 시간대에는 「다시 찍음」의 UI 부품이 표시되도록 변경되는 것이 바람직하다.
이후, 종료의 조작을 행할 때까지, 자동적으로 재기입된 스크립트의 실행이 반복된다.
다음으로, 메뉴로부터 「프리뷰」를 선택하여, 프리뷰 실행하는 처리를 실행 한다. 프리뷰 실행에 있어서는, 도 40에 도시한 바와 같이 편집후의 스크립트가 UI 부품의 표시 및 재생을 전부 무효화된 상태에서 재생된다. 즉, 도 22의 (B)에 도시되는 「다시 찍음」의 문자열은 표시되지 않고서, 유저가 소정의 키 조작을 행하더라도, 화상 촬영 프로그램(133)은 실행되지 않는다. 또한 프리뷰 처리에 대해서는 나중에 설명한다.
편집후의 스크립트의 표시를 프리뷰로 확인한 후, 메뉴로부터 「메일 첨부」를 선택하여, 스크립트 및 미디어 데이터를 다른 휴대 전화(1)에 송신한다. 또한 메일 첨부 처리에 대해서는, 나중에 설명한다.
또한, 본 실시 형태의 다른 구체 예로서, 본 데이터 통신 시스템에서의 휴대 전화(1)에서, 도 29 및 도 30에 도시되는 스크립트의 재생을 실행하는 경우에 대하여, 도 31 및 도 32의 플로우차트를 이용하여 설명한다.
도 31을 참조하여, 본 실시 형태에서의 휴대 전화(1)에서 도 30에 도시되는 스크립트의 제19행을 실행할 때, 처음에 재생·편집 엔진 프로그램(131)의 구문 해석부(1312)에서 스크립트의 해석을 행하고, 실행 제어부(1313)는, 화상 데이터 표시 재생 프로그램(134)에 대하여, 0초∼10초에 있어서, top 영역에 화상 데이터 「Product Image.jpg」를 표시 재생하도록 지시한다(S141). 그렇게 하면, 화상 데이터 표시 재생 프로그램(134)은, 0초∼10초에 있어서, 디스플레이(144)에 화상 데이터 「Product Image.jpg」를 표시 재생한다.
다음으로, 도 30에 도시되는 스크립트의 제20행을 실행할 때, 마찬가지로 하여 단계 S142에 있어서, 실행 제어부(1313)는, 텍스트 표시 재생 프로그램(134)에 대하여, 0초∼10초에 있어서, middle 영역에 텍스트 데이터 「Product Desc.txt」를 표시 재생하도록 지시한다(S142). 그렇게 하면, 텍스트 데이터 표시 재생 프로그램(138)은 0초∼10초에 있어서, 디스플레이(144)에 텍스트 데이터 「Product Desc.txt」를 표시 재생한다.
다음으로, 1초∼4초의 사이에, 유저로부터 select 키가 조작된다고 하는 이벤트가 발생한 경우, 도 30에 도시되는 스크립트의 제21행에 기술되는 처리인, 도 32에 도시되는 처리를 실행한다. 즉, 도 32를 참조하여, 이벤트 관리부(1315)가 select 키가 조작되었다고 하는 이벤트의 발생을 검출하면, 실행 제어부(1313)는, 이벤트 처리 타임 테이블을 참조하여, 대응하는 처리 내용(액션)을 결정한다(S151). 그리고, 실행 제어부(1313)는 이벤트 처리 타임 테이블을 참조하여, 대응하는 어플리케이션인 WWW 브라우저 프로그램(151)을 기동시킨다(S152).
다음으로, WWW 브라우저 프로그램(151)은, 통신부(110)를 통하여 WWW 콘텐츠를 취득하고, 디스플레이(144)에 표시한다(S153).
위의 처리가 종료하면, 실행 제어부(1313)는 WWW 브라우저 프로그램(151)을 종료시킨다(S154).
이상으로, 도 29 및 도 30에 도시되는 스크립트의 제 21행의 처리를 종료하고, 스크립트의 재생 처리의 실행을 행한다.
본 데이터 통신 시스템의 휴대 전화(1)에서 도 29 및 도 30에 도시되는 스크립트의 재생 처리를 실행할 때에는, 위와 같은 처리를 1행씩 실행한다. 이러한 스크립트의 재생 처리에 대하여, 도 33에 도시하는 구체적인 표시 화면의 천이를 이 용하여 설명한다.
도 33을 참조하여, 본 데이터 통신 시스템의 휴대 전화(1)는, 통신부(110)로부터 스크립트를 취득하여, 재생 처리를 실행시킨다. 휴대 전화(1)에서는 위의 처리를 실행하여, 스크립트를 해석하고, 스크립트의 실행을 개시한다.
스크립트의 실행이 개시되면, 스크립트의 실행에 수반하여 시계열적으로 변화하는 UI 부품이고, 유저를 네비게이트하는 UI 부품이, 도 33에 도시한 바와 같이 디스플레이(144)에 표시된다. 구체적으로는, 도 33의 (B)에 도시되는 재생 시에 「WWW 브라우저」의 아이콘 화상이 디스플레이(144)에 표시된다. 이 상태에서 유저가 아무 조작도 행하지 않은 경우에는, 자동적으로 도 33의 (C)에 도시되는 상태로 천이하고, 「통화」의 아이콘 화상이 디스플레이(144)에 표시된다. 또한 이 상태에서 유저가 아무 조작도 행하지 않은 경우에는, 자동적으로 도 33의 (D)에 도시되는 상태로 천이하고, 「메일 송신」의 아이콘 화상이 디스플레이(144)에 표시된다.
「WWW 브라우저」의 아이콘 화상이 디스플레이(144)에 표시되어 있는 도 33의 (B)에 도시되는 시간대에 유저가 소정의 키 조작을 행함으로써, WWW 브라우저 프로그램(151)이 실행되고, 통신부(110)를 통하여 소정의 WWW 콘텐츠를 취득하여 디스플레이(144)에 재생할 수 있다. WWW 콘텐츠의 열람후 WWW 브라우저 프로그램을 종료하면, 이전의 재생 위치로부터 스크립트의 재생을 재개한다.
이후, 종료의 조작을 행할 때까지, 스크립트의 재생이 반복된다.
또한, 도 16에 구체 예가 도시되는 메뉴 화면에 「프리뷰」가 선택된 경우 의, 휴대 전화(1)에서의 프리뷰 처리에 대하여 도 23의 플로우차트를 이용하여 설명한다. 즉, 도 23을 참조하여, 프리뷰 처리는, 도 9에 도시되는 스크립트의 재생 및 편집 처리와 거의 마찬가지지만, 프리뷰 처리에 있어서는, 단계 S92에서의 해석 결과에 기초하여, 단계 S93에 있어서, 스크립트의 묘화 정보 기술 부분에 기초하여 미디어 데이터 묘화 처리의 타임 테이블만 작성한다. 그리고, 단계 S94에서, 스크립트의 유저 네비게이트 정보 기술 부분에 기초한 부분은 재생을 실행하지 않고서, 묘화 정보 기술 부분에 기초한 부분을 실행한다. 그리고, 이벤트 관리부(1315)가 이벤트의 발생을 검출하면(S95에서 '예"), 실행 제어부(1313)는, 해당 이벤트에 따른 처리를 실행한다(S96). 또한, 여기서의 이벤트에 따른 처리에 대해서는, 나중에 서브루틴을 들어 설명한다. 프리뷰 처리의 경우에는, 스크립트 정의 입력 이벤트는 무효이고, 단계 S96에 있어서 시스템 이벤트와 고정 입력 이벤트만이 처리된다.
이상으로, 휴대 전화(1)에서의 스크립트의 프리뷰 처리를 종료한다.
다음으로, 전술한 단계 S96에서 실행되는 이벤트에 따른 처리에 대하여, 도 38의 플로우차트를 이용하여 설명한다.
도 38을 참조하여, 처음에, 전술한 단계 S95에서 이벤트 관리부(1315)로부터 이벤트 발생의 검출 정보를 수취하면, 실행 제어부(1312)는 실행하고 있는 스크립트를 일시 정지한다(S191).
그리고, 단계 S95에서 검출된 이벤트가, 스크립트의 실행이 해당 스크립트의 실행점의 종단까지 도달하였음을 나타내는 이벤트인 경우에는(S192에서 '예"), 실 행 제어부(1313)는, 해당 스크립트의 실행을 종료하고(S193), 처리를 도 23의 단계 S94로 복귀시켜, 재차 스크립트의 실행을 개시한다. 즉, 재차, 스크립트 실행을 실행점의 시단으로 복귀시켜, 시작부터 스크립트의 실행을 반복한다.
한편, 단계 S95에서 검출된 이벤트가, 스크립트의 실행이 실행점의 종단까지 도달하였음을 나타내는 이벤트 이외의 이벤트인 경우에는(S192에서 "아니오"), 실행 제어부(1313)는 검출된 이벤트에 기초하여 처리 내용을 결정한다(S194).
단계 S194에서 결정된 처리 내용이 「메뉴」인 경우(S194에서 「처리」=메뉴), 실행 제어부(1312)는 도 15에 도시하는 메뉴 처리를 실행한다(S195). 메뉴 처리의 실행의 수순은 재생·편집 처리를 행하는 경우와 마찬가지이지만, 도 39에 도시한 바와 같이 프리뷰 처리 대신에 편집 처리가 선택지로 되는 메뉴 화면이 디스플레이(144)에 제시된다. 편집 처리가 선택된 경우, 도 9에 도시되는 재생 편집 처리가 실행된다. 또한, 메뉴로부터 재생 편집 처리를 개시하는 경우, 스크립트의 개시 시점부터 개시해도 되고, 프리뷰 처리의 그 시점에서의 스크립트 실행 시간부터 개시해도 된다.
한편, 단계 S194에서 결정된 처리 내용이 「스킵」인 경우(S194에서 「처리」=스킵), 실행 제어부(1312)는 미디어 묘화 처리 타임 테이블을 참조하여, 다음에 실행되는 미디어 묘화 처리를 판단하고, 해당 미디어 묘화 처리의 개시 시점에 스크립트 실행점을 갱신한다(S196).
여기서, 스크립트 실행점의 이동처로서는, 전술한, 다음에 실행되는 미디어 묘화 처리의 개시 시점 외에, 다음의 다음 이후에 실행되는 미디어 묘화 처리의 개 시 시점이나, 스킵 처리가 선택되지 않고서 그대로 스크립트 실행을 계속한 경우에 소정의 시간이 경과한 시점에서의 실행점 등이어도 된다.
다음으로, 도 16에 구체 예가 도시되는 메뉴 화면에 있어서, 해당 스크립트 및 미디어 데이터를 메일에 첨부하는 처리가 선택된 경우의, 휴대 전화(1)에서의 메일 첨부 처리에 대하여 도 34의 플로우차트를 이용하여 설명한다.
도 34를 참조하여, 처음에, 실행 제어부(1313)는 재생 전용 멀티미디어 데이터로서 송신할지의 여부를 선택하는 화면을 디스플레이(144)에 표시시킨다. 그리고, 해당 화면에서 재생 전용 멀티미디어 데이터를 첨부하도록 선택되지 않은 경우(S161에서 "아니오"), 실행 제어부(1313)는, 멀티미디어 데이터를 수신하는 다른 휴대 전화(1)에서 멀티미디어 데이터를 어떻게 사용할지에 대한 힌트를 설정한다(S165). 즉, 단계 S165에 있어서, 실행 제어부(1313)는 해당 멀티미디어 데이터에 대하여, 콘텐츠 편집 조작을 네비게이트하는 템플릿(template)으로서 사용할 것인지, 단순히 열람용의 콘텐츠(contents)인지를 설정한다. 그리고, 처리를 단계 S163으로 진행시킨다.
한편, 재생 전용 멀티미디어 데이터로서 송신할지의 여부를 선택하는 화면에 있어서, 재생 전용 멀티미디어 데이터를 첨부하도록 선택된 경우에는(S161에서 '예"), 실행 제어부(1313)는 스크립트의 유저 네비게이트 정보 기술 부분을 삭제한다(S162).
다음으로, 실행 제어부(1313)는, 기억부(130)에 스크립트를 기입하기 시작한다(S163). 그리고, 실행 제어부(1313)는 첨부 파일로서 전술한 스크립트 및 멀티 미디어 데이터를 설정하여, 메일 프로그램을 기동한다(S164).
또한, 전술한 메일 첨부 처리에 있어서, 재생 전용 멀티미디어 데이터를 첨부하도록 선택된 경우에(S161에서 '예"), 편집전의 멀티미디어 데이터 템플릿을 재생 전용 멀티미디어 데이터와 함께 메일에 첨부해도 된다. 또한, 전술한 메일 첨부 처리의 단계 S162에 있어서, 수신하는 휴대 전화(1)를 처리할 수 없다고 미리 판명되어 있는 기술부가 존재하는 경우에는, 이러한 기술부를 스크립트로부터 삭제해도 된다.
[제2 실시 형태]
다음으로, 도면을 참조하면서, 본 발명의 제2 실시 형태에 대하여 설명한다.
본 발명의 제2 실시 형태에서의 멀티미디어 데이터 처리 장치를 포함하는 데이터 통신 시스템의 구성은, 도 1에 도시되는 제1 실시 형태인 경우와 마찬가지이다. 또한 제2 실시 형태에서의 휴대 전화(1)의 구성 및, 휴대 전화(1)의 기억부(130)에 기억되는 프로그램과 데이터 처리의 흐름도 또한, 각각 도 2, 도 3에 도시되는 제1 실시 형태인 경우와 마찬가지이다.
최초로, 제2 실시 형태에 관한 멀티미디어 데이터 처리 장치인 휴대 전화(1)에서 미디어 데이터의 재생 순서 정보를 포함한 스크립트를 재생하고, 미디어 데이터를 기입하여 변경하여, 미디어 데이터의 재생 순서 정보를 포함한 스크립트를 작성하는 경우에 대해서 설명한다.
도 41A에 도시되는 템플릿은 씬 1∼씬 3의 3개의 씬으로 구성되어 있다. 이들 씬의 천이는, 템플릿 내의 스크립트에 시간 정보가 기재되어 있고 그것에 따르 는 경우, 단말기에서 설정된 전환 시간에 따르는 경우, 씬 전환을 유저가 명시적으로 행하는 경우 등이 생각되지만, 본 발명에서 특별히 규정되는 것은 아니다. 도 41A 및 도 41B에 도시되는 구체 예에서는, 도 41A의 (B)에 도시되는 씬 2의 정지 화상, 및 도 41A의 (C)에 도시되는 씬 3의 텍스트를, 각각 도 41B의 (E) 및 도 41B의 (F)에 도시한 바와 같이 유저가 교체시킴으로써, 수정을 행한 경우를 도시한다.
또한, 도 41A의 화면 표시를 실현하기 위한 스크립트의 구체 예를 도 47에 도시한다. 도 47에 도시되는 스크립트는, 병행하여 재생되는 미디어 데이터의 통합을 나타내는 씬을, 순차로 재생하는 것을 나타내고 있는 스크립트이다. 즉, 도 47을 참조하여, 제15행∼제17행, 제18행∼제21행, 및 제22행∼제25행의 기술은, 각각 씬 1∼씬 3을 나타내고 있다.
보다 상세하게는, 제18행∼제21행에 기술되는 씬 2에 있어서, 제19행에는 화상을 재생하는 것이 기술되고, 제20행에는 텍스트를 재생하는 것이 기술되어 있다. 이들 화상과 텍스트는 제18행∼제21행이 기술하는 씬 2에 속하고, 병행하여 재생된다.
또한, 스크립트 내에 「dur=」에 잇따라 표시되고 있는 시간은, 대응하는 씬의 재생을 행하는 시간을 나타내고, 그 시간이 경과한 나중에는, 다음 씬의 재생으로 전환된다. 본 실시 형태에 있어서 스크립트는 이러한 기술 방법을 이용하고 있는 것으로서 나타내고 있지만, 본 발명에서 스크립트의 기술 방법은 한정되는 것이 아니라, 미디어를 재생하는 시퀀스 정보를 기술할 수 있으면, 어떠한 형식이라도 상관없다.
또한 시퀀스란, 멀티미디어 데이터 재생 시의, 시간적인 순서 관계를 가리킨다. 시퀀스는, 자(子) 요소로서 재생 시간축 상의 특정 구간(구체적으로는 「씬」 「슬라이드」, 더욱 구체적으로는 SMIL로 <par> 태그나 <seq> 태그로 둘러싸임으로써 정의되는 구간)을 하나 내지 복수 포함한다. 시간축 상의 각 구간의 순서 관계를 파악하고, 각 구간(에 포함되는 미디어 데이터)의 재생 개시, 정지, 미디어 데이터의 로드, 언로드를 행할 때의 단서로 되는 데이터 구조를 작성, 유지함으로써, 시퀀스가 관리된다. 구체적으로는, 도 10 내지 12와 같은 타임 테이블을 이용함으로써 시퀀스가 관리된다. 재생 시간축 상에 있어서, 각 구간이 개시, 종료하는 시각을 시퀀스의 변경점이라고 한다. 도 7에 도시되는 UI 할당 상황 표시 타임 테이블의 구체 예에서는, 0, 8, 15, 19초째가 시퀀스의 변경점에 해당한다.
또한 도 42에, 본 실시 형태에 따른 멀티미디어 데이터 처리 장치인 휴대 전화(1)의 재생·편집 엔진 프로그램(131)의 기능 구성에 대하여 블록도에 도시한다. 제어부(120)가 기억부(130)에 기억되는 재생·편집 엔진 프로그램(131)을 실행함으로써, 도 42에 도시되는 각 기능이 휴대 전화(1)에 있어서 실현된다.
도 42를 참조하여, 본 실시 형태에서의 휴대 전화(1)의 재생·편집 엔진 프로그램(131)의 기능은, 템플릿 기억부(1000)와, 선택부(1001)와, 스크립트·데이터 시간 기억부(1002)와, 스크립트 실행부(1003)와, 유저 변경 데이터 판정부(1004)와, 단말 기능 선택부(1005)와, 단말 기능 실행부(1006)와, 데이터 변경부(1007)와, 스크립트·데이터 변경 확정부(1008)와, 스크립트·데이터 출력부(1009)와, 출력 스크립트·데이터 기억부(1010)와, 데이터 매립부(1011)를 포함하여 구성된다.
템플릿 기억부(1000)는 수신부(1015)에서 수신되어 받은 1개 이상의 템플릿을 기억한다. 템플릿 기억부(1000)에 기억되는 템플릿은, 도 47에 도시하는 바와 같은 스크립트와, 그 스크립트가 사용하는 샘플 미디어 데이터(정지 화상이나 텍스트)의 양방이 포함되는 경우가 보통이지만, 미디어 데이터만이 파일 등의 형태를 취하여 별도로 관리되고 있거나, 네트워크에서 접속된 서버에 존재하고 있거나, 템플릿을 이용할 때에 액세스 가능하면 다른 형태이어도 된다.
또한, 템플릿으로부터 템플릿에 포함되는 미디어 데이터만을 추출하고, 별도 전송 혹은 보존 등의 조작을 행하는 것을, 템플릿에 포함되는 스크립트의 기술로 금지 혹은 허가할 수 있는 것이 바람직하다. 또한, 템플릿은 통상 단말기에 복수 기억되어 있고, 유저가 사용하고자 하는 템플릿은 네트워크에서 접속한 서버나 메모리 카드 등으로부터 추가 가능한 것이 바람직하다.
선택부(1001)는 선택 가능하게 표시된 템플릿의 리스트에 있어서, 유저로부터의 템플릿의 선택을 접수한다. 도 21의 템플릿 선택 화면이 전형적인 예이다.
스크립트·데이터 시간 기억부(1002)는 템플릿에 포함되는 스크립트와 미디어 데이터를 일시 기억한다. 스크립트는 재기입 가능한 부분을 포함하기 때문에, 통상적으로, 템플릿을 카피하여 이 일시 기억 에리어인 스크립트·데이터 시간 기억부(1002)에 기억한다. 그러나, 미디어 데이터에 대해서는, 파일명의 재기입 등 미디어 데이터 그 자체에 수정이 가해지지 않는 경우에는, 특별히 복제를 만들 필요는 없다.
스크립트 실행부(1003)는 본 발명의 코어의 부분이다. 본 발명에서 스크립 트는 씬을 전환한 표시를 실현하기 위한 것이다. 스크립트 실행부(1003)는 스크립트 재생시의 씬이나 시간에 대해서는, 미리 테이블을 작성함으로써 관리하는 것이 바람직하다.
유저 변경 데이터 판정부(1004)는 템플릿에 포함되는 미디어가 변경 가능한지의 여부를 판정한다. 템플릿에 포함되는 미디어는, 그 대부분은 재기입 불가능하지만, 그 중의 미디어 파일명 등의 미디어를 참조하는 참조 정보를 재기입함으로써, 최종적으로 유저가 바라는 멀티미디어 데이터를 생성할 수 있다.
템플릿에 포함되는 미디어 데이터는, 스크립트에서는 통상 파일명의 형태로 지정되어 기술된다. 유저 변경 데이터 판정부(1004)는 해당 미디어 데이터가 변경 가능한지 여부를 판정한다. 예를 들면 도 41A의 (B)에 도시되는 씬 2의 경우에는 정지 화상을 교체시키는 것이 단말기 측에서 가능하므로, 유저 변경 데이터 판정부(1004)는, 정지 화상 교체가 가능하다고 판정한다. 또한, 스크립트에 정지 화상 파일이 지정되어 있는 경우에도, 해당 정지 화상 파일은 데이터 변경이 불가능하다고 하는 경우도 있을 수 있다.
또한, 시간으로 관리되는 스크립트인 경우에는, 그 미디어 데이터가 재생되고 있는 시간을 유저 변경 데이터 판정부(1004)에서 선택하여, 재생 시간 그 자체를 재기입하는 것이나, 3개 있는 씬에 또한 4개째의 씬을 추가한다고 하는 것도 유저 변경 데이터 판정부(1004)에서 판정하여 가능하게 하는 것이 바람직하다.
단말 기능 선택부(1005)는, 해당 휴대 전화(1)가 구비하는 기능 중에서, 유저 변경 데이터 판정부(1004)에서 선택된 부분을 변경하는 데 필요한 단말 기능을 선택한다. 예를 들면, 유저 변경 데이터 판정부(1004)에서 선택된 부분이 정지 화상인 경우에는, 단말 기능 선택부(1005)는 정지 화상을 교체시키기 위한 기능을 선택한다. 또한 예를 들면, 해당 휴대 전화(1)가 카메라 단말기인 경우에는, 단말 기능 선택부(1005)는 카메라를 기동하는 기능도 선택할 수 있는 것이 바람직하다.
단말 기능 실행부(1006)는 단말 기능 선택부(1005)에서 선택된 단말 기능을 이용하여 미디어 데이터를 취득한다. 그리고, 단말 기능 실행부(1006)는 취득한 미디어 데이터를 데이터 변경부(1007)에 출력한다.
데이터 변경부(1007)는, 단말 기능 실행부(1006)로부터 입력된 미디어 데이터를 스크립트로부터 참조되는 원래의 미디어 데이터와 교체한다. 이 때에, 템플릿에서는 정지 화상이던 것이 변경 나중에는 동화상이나 텍스트 등 다른 종류의 미디어 데이터로 되어도 상관없다.
또한, 이 때, 스크립트에 있어서 미디어 데이터에의 참조 정보가 파일명으로 기술되어 있는 정보인 경우에는, 변경후의 미디어 데이터를 파일의 형식으로 유지하고, 그 이름을 스크립트에 기술되어 있는 파일명으로 하거나, 또는 변경후의 미디어 데이터가 애당초 파일의 형식이고 이름이 붙여져 관리되고 있는 경우에는, 스크립트 내의 해당 미디어 데이터를 지정하는 부분을, 해당 파일명에 재기입할 필요가 있다.
스크립트·데이터 변경 확정부(1008)는 스크립트 및 미디어 데이터의 변경이 전부 종료하였음의 확정을 유저로부터 접수한다. 그리고, 스크립트·데이터 변경 확정부(1008)는, 스크립트 및 미디어 데이터의 변경이 확정된 취지를, 스크립트· 데이터 출력부(1009)에 출력한다.
스크립트·데이터 출력부(1009)는 변경되고 확정된 스크립트와 미디어 데이터를 출력한다. 스크립트·데이터 출력부(1009)는 전형적으로는 MMS(Multimedia Messaging Service) 등 전자 메일의 형태로 다른 단말기나 서버에 송신한다. 그리고, 스크립트·데이터 출력부(1009)는, 다른 단말기 등에 출력한 스크립트와 미디어 데이터를 출력 스크립트·데이터 기억부(1010)와 데이터 매립부(1011)에 출력한다.
출력 스크립트·데이터 기억부(1010)는, 스크립트·데이터 출력부(1009)로부터 출력된 스크립트와 미디어 데이터를 유지한다. 또한, 데이터 매립부(1011)는 출력된 스크립트와 미디어 데이터로부터 미디어 데이터를 추출하여, 템플릿에 매립한다.
다음으로, 제2 실시 형태에 관한 멀티미디어 데이터 처리 장치인 휴대 전화(1)의 재생·편집 엔진 프로그램에 있어서의 처리에 대하여 도 43의 플로우차트를 이용하여 설명한다. 도 43의 플로우차트에 도시되는 처리도 또한, 휴대 전화(1)의 제어부(120)가, 도 42에 구성이 도시되는 재생·편집 엔진 프로그램(131)을 기억부(130)로부터 판독하여 실행함으로써 실현된다.
도 43을 참조하여, 처음에, 선택부(1001)는 템플릿 기억부(1000)에 기억되는 템플릿, 혹은 다른 장치로부터 취득한 템플릿을 판독하여, 선택 가능하게 디스플레이(144)에 리스트 표시를 행하고, 유저의 선택을 접수한다(S1100). 단계 S1100에 있어서 선택부(1001)는 각 템플릿에 대하여, 해당 템플릿의 최초 혹은 대표적인 화 면을 썸네일로 하여, 해당 템플릿의 타이틀과 함께 표시하는 것이 바람직하다.
다음으로, 스크립트 실행부(1003)는, 단계 S1100에서 선택된 템플릿을 재생하면서, 유저의 지시에 따라서 편집을 행하는 재생·편집 처리를 실행한다(S1101). 또한, 단계 S1101에서의 재생·편집 처리에 대해서는 나중에 상세 내용을 설명한다. 또한, 재생과 편집은 유저가 전환 가능한 모드가 있는 것이 일반적이지만, 편집과 재생을 동시에 할 수 있는 것이 바람직하다.
다음으로, 스크립트·데이터 변경 확정부(1008)는, 유저에 의한 스크립트의 변경이 종료하였는지 여부를 확인한다(S1102). 그리고, 스크립트의 변경이 종료하였으면(S1102에서 '예"), 스크립트·데이터 출력부(1009)는 확정된 스크립트와 데이터 중 어느 하나 혹은 양방을 출력한다(S1103).
이상으로, 본 실시 형태에서의 템플릿의 재생 및 편집 처리를 종료한다. 다음으로, 도 46의 플로우차트를 이용하여, 전술한 단계 S1101에서의 재생·편집 처리에 대하여 설명한다.
도 46을 참조하여, 처음에, 스크립트 실행부(1003)는 스크립트의 기술에 따라서, 재생되는 씬의 전환을 행한다(S1200). 단계 S1200에서의 처리에 대해서는 본 발명에서 한정되는 것이 아니지만, 그 전형적인 처리 방법으로서는, 최초로 시간 테이블 혹은 도 58에 도시한 바와 같은 전환 테이블을 작성하고, 그것에 기초하여 다음 씬으로 이행하는 방법을 들 수 있다.
도 58은 도 47에 도시하는 스크립트를 재생·편집하는 경우의 미디어 관리 테이블의 구체 예를 도시하고 있다. 보다 구체적으로는, 도 58을 참조하여, 「씬 1」에서는 「정지 화상 1」이(도 58의 (A)), 「씬 2」에서는 「정지 화상 2」와 「텍스트 2」가(도 58의 (B)), 「씬 3」에서는 「정지 화상 3」과 「텍스트 3」이(도 58의 (C)) 재생되는 것을 나타내고 있다. 단계 S1200에 있어서 데이터 변경부(1007)는, 이러한 미디어 관리 테이블을 참조하여, 씬 단위로 순차로 재생·편집을 행한다.
다음으로, 스크립트·데이터 출력부(1009)는 단말기의 기능을 이용하여 데이터를 출력한다(S1201). 단계 S1201에 있어서 출력되는 데이터의 형태는, 정지 화상, 동화상, 음악, 텍스트 그 밖에 어떠한 것이라도 상관없다. 또한 단계 S1201에서의 출력 처리에 대해서는, 서브루틴을 들어 나중에 상세히 설명한다.
다음으로, 스크립트 실행부(1003)는 수정 모드인지 재생 모드인지를 판정한다(S1202). 기존의 템플릿을 베이스로 하여 새로운 템플릿을 작성하는 경우에는, 수정 모드를 실행하는 것만으로 재생 모드와의 전환이 불필요한 경우도 있다. 반대로, 다른 단말기로부터 보내져 온 메일이나 메시지를 새로운 템플릿으로서 사용하는 경우에는, 통상은 재생 모드이기 때문에, 수정 모드로 변경 가능한 것이 바람직하다.
단계 S1202에서 수정 모드인 경우(S1202에서 '예"), 또한 유저로부터 입력을 취득하고, 유저 변경 데이터 판정부(1004)는 어떤 입력인지를 판정한다(S1203).
단계 S1203에서의 판정 결과, 유저로부터의 입력이 앞의 씬의 재생을 지시하는 입력이었던 경우에는(S1203에서 「앞 씬」), 스크립트 실행부(1003)는 해당 스크립트의 앞의 씬 표시의 처리를 행한다(S1204).
혹은, 단계 S1203에서의 판정 결과, 유저로부터의 입력이 스크립트의 변경 처리를 지시하는 입력이었던 경우에는(S1203에서 「변경 처리」), 데이터 변경부(1007)는 구체적인 변경 작업을 행한다(S1205). 또한, 단계 S1205에서의 변경 작업에 대해서는, 서브루틴을 들어 나중에 상세히 설명한다.
또한, 스크립트·데이터 변경 확정부(1008)는 단계 S1205에서의 변경후, 유저로부터의 입력을 얻어 재차 확인할지의 여부를 판정한다(S1206). 단계 S1206에서의 판정 결과, 변경후의 스크립트를 재차 확인하는 경우에는(S1206에서 「재출력」), 단계 S1201로 처리를 복귀시키고, 스크립트·데이터 출력부(1009)는, 단계 S1201에서 동일한 씬을 변경후의 데이터를 출력한다. 이것은 정지 화상과 음악이 동시에 출력되는 경우 등, 정지 화상 변경만으로는 씬을 확인할 수 없을 때 등에 유효하다.
그리고, 단계 S1202에서 수정 모드가 아니고(S1202에서 "아니오"), 또한 해당 스크립트의 재생이 종료한 경우에는(S1207에서 '예"), 본 재생 및 편집 처리를 종료한다.
다음으로, 전술한 단계 S1201에 있어서의 데이터 출력 처리에 대하여 도 44의 플로우차트를 이용하여 상세히 설명한다.
도 44를 참조하여, 처음에, 유저 변경 데이터 판정부(1004)는 해당 씬 내의 변경 데이터의 유무를 판정한다(S1110). 단계 S1110에서의 판정 처리에 대해서는 나중에 서브루틴을 들어 상세히 설명한다.
다음으로, 단말 기능 선택부(1005)는 단계 S1110에서 판정된 변경 데이터의 변경 수단을 선택한다(S1111). 예를 들면, 동일한 스크립트이더라도, 도 49에 도시한 바와 같이, 단말기에 의해서 재생에 이용할 수 있는 기능이 서로 다르다. 기능의 선택은, 단말기의 하드웨어뿐만 아니라, 단말기의 소프트웨어에 의한 차이도 고려하는 것이 가능하다. 이 경우, 단계 S1111에서는, 정지 화상 파일 선택, 동화상 카메라 선택 등, 단말기에 맞추어 사용 가능한 기능이 선택되는 것이 바람직하다. 또한, 단계 S1111에서의 변경 데이터의 변경 수단 선택 처리에 대해서는 나중에 서브루틴을 들어 상세히 설명한다.
다음으로, 데이터 변경부(1007)는 조작 가이드로서, 디스플레이(144)에 변경 가이던스를 표시한다(S1112). 단계 S1112에서 표시되는 변경 가이던스란, 예를 들면 정지 화상을 교체하는 경우에, 교체하는 파일을 선택하기 위한 가이드 기능이며, 전형적으로는 정지 화상 파일 선택 버튼의 표시 등을 가리킨다. 단계 S1112에 있어서 데이터 변경부(1007)가 이러한 가이던스를 동적으로 생성함으로써, 유저에게 어떻게 하면 변경 가능할지를 용이하게 알려줄 수 있다.
다음으로, 스크립트 실행부(1003)는 단계 S1112에서 표시된 변경의 가이던스와 함께, 씬의 출력을 실행한다(S1113).
그리고, 스크립트·데이터 시간 기억부(1002)는 변경 데이터마다, 단계 S1111에서 선택된 변경 수단(어플리케이션)과, 단계 S1112에서 생성된 변경의 가이던스에 대응하는 입력 이벤트의 세트를 씬 이벤트 테이블에 기억한다(S1114). 단계 S1114에 있어서, 구체적으로는, 스크립트·데이터 시간 기억부(1002)는, 도 64의 씬 이벤트 테이블의 구체 예에 도시한 바와 같이, 변경 데이터 「정지 화상 2」 는, 「F1」 키 이벤트로 기동되는 「화상 촬영」 어플리케이션과, 「F2」 키 이벤트로 기동되는 「파일 취득」 어플리케이션에 의해 변경할 수 있고, 변경 데이터 「텍스트 2」는, 「select」 키 이벤트로 기동되는 「파일 취득」 어플리케이션에 의해 변경할 수 있음을 기억한다.
다음으로, 전술한 단계 S1205에서의 변경 처리에 대하여 도 65의 플로우차트를 이용하여 설명한다.
도 65를 참조하여, 처음에, 데이터 변경부(1007)는 씬 이벤트 테이블을 참조한다(S1501). 씬 이벤트 테이블에, 단계 S1203에서 입력된 유저 입력 이벤트가 등록되어 있지 않은 경우(S1502에서 "아니오"), 해당 처리를 종료한다.
씬 이벤트 테이블에, 단계 S1203에서 입력된 유저 입력 이벤트가 등록되어 있는 경우(S1502에서 '예"), 스크립트 실행부(1003)는, 씬 이벤트 테이블에서 대응하는 어플리케이션을 판정하여 기동시킨다(S1503). 그리고, 데이터 변경부(1007)는, 유전자 이벤트 테이블에서 대응하는 유저 변경 데이터를 판별하고, 기동한 어플리케이션으로부터 미디어 데이터를 취득하여, 해당 유저 변경 데이터를 기동한 어플리케이션으로부터 취득한 미디어 데이터에 재기입한다(S1504). 보다 구체적으로는, 키 「F1」이 눌러지면, 단계 S1503에 있어서, 「화상 촬영」 어플리케이션이 기동된다. 또한, 유저가 「화상 촬영」 어플리케이션으로 정지 화상을 촬영하여 종료하면, 단계 S1504에 있어서 유저 변경 데이터 「정지 화상 2」가 새롭게 촬영한 데이터에 의해 재기입된다.
또한, 상기의 예에 있어서, 화상, 음성, 영상, 텍스트 등의 미디어 데이터를 유저가 입력하는 조작을 행했을 때에, 템플릿 내에 입력된 미디어 미디어를 삽입하는 것이 가능한 개소가 복수 존재하는 경우에는, 2개 이상의 개소에 해당 미디어 데이터를 삽입해도 상관없다. 혹은, 유저가 입력한 미디어 데이터를 분할하여, 복수의 개소에 그 일부분을 삽입해도 상관없다.
또한, 음성, 음악, 영상, 애니메이션 등의 시간축을 지닌 미디어 데이터를 템플릿에 삽입하는 경우에, 각각의 미디어 데이터의 재생 시간이, 미리 템플릿에서 규정된 시간보다도 긴 경우에는, 그 미디어 데이터는 삽입 금지로 하여도 되고, 규정된 시간에 맞추도록 각 미디어 데이터의 재생 속도를 높여도 되고, 규정된 시간이 경과하였다면 도중에 재생 종료하는 것이라도 무방하며, 규정된 시간에 들어가는 일부분만을 재생하는 것이어도 된다. 혹은, 각 미디어 데이터가 완전히 재생되도록 템플릿의 시간 규정을 변경하는 것이라도 상관없다.
또한, 텍스트, 정지 화상, 동화상, 음성, 음악, 애니메이션 등의 미디어 데이터를 삽입할 때, 상기의 예에서는 삽입되는 미디어 데이터에 따른 파일 선택, 카메라 등의 어플리케이션 기동을 행하고 있지만, 유저가 자유롭게 미디어 데이터를 선택하고, 그 미디어 데이터를 템플릿에 들어가는 미디어 데이터로 변환하도록 해도 상관없다. 예를 들면, 촬영한 동화상으로부터 음성만 추출하여 템플릿에 매립한다든지, 동화상의 선두 프레임을 정지 화상으로서 추출하여 템플릿에 매립하는, 등을 행하더라도 무방하다.
또한, 상기의 텍스트 입력 시에, 기기 내에 유지하고 있는 정형문이나 클립 보드에 일시 보존되어 있는 텍스트, 혹은 기기 내에 유지되어 있고 텍스트 데이터 로서 취득 가능한, 어드레스 북이나 스케줄, 송수신한 메일 등의 데이터를 판독할 수 있는 것이 바람직하다.
다음으로, 전술한 단계 S1110에서의 판정 처리에 대하여 도 59의 플로우차트를 이용하여 설명한다.
즉, 도 59를 참조하여, 유저 변경 데이터 판정부(1004)는, 현재 재생하고 있는 씬과, 미디어 관리 테이블을 참조하여(S1301, S1302), 해당 씬의 미디어 데이터를 판정한다. 예를 들면, 현재 휴대 전화(1)에 있어서 도 47에 도시하는 스크립트의 「씬 2」를 재생하고 있는 경우, 유저 변경 데이터 판정부(1004)는, 도 58에 도시되는 미디어 관리 테이블을 참조하여, 「정지 화상 2」와 「텍스트 2」를 변경 데이터로서 판정한다.
다음으로, 전술한 단계 S1111에서의 변경 데이터의 변경 수단 선택 처리에 대하여 도 60을 참조하여 설명한다. 도 60은 휴대 전화(1)에 저장되는 데이터 취득 프로그램과 휴대 전화(1)가 서포트하는 미디어 타입의 대응을 기록하는 테이블이며, 휴대 전화(1)의 기억부(130)에 기억되어 있는 테이블이다. 보다 구체적으로는, 도 60에 도시되는 테이블에는, 해당 휴대 전화(1)에는 「화상 촬영」 어플리케이션이 등록되고 「정지 화상」과 「동화상」을 취득할 수 있는 것, 「음성 데이터 녹음」 어플리케이션이 등록되고 「음성」을 취득할 수 있는 것, 「파일 취득」 어플리케이션이 등록되고 「정지 화상」과 「동화상」과 「텍스트」를 취득할 수 있는 것이 기록되어 있다.
전술한 단계 S1111에서 단말 기능 선택부(1005)는, 상기 테이블을 참조하여, 단계 S1110에서 판정된 변경 데이터의 미디어 타입에 기초하여, 사용 가능한 변경 수단을 선택한다. 예를 들면, 변경 데이터의 미디어 타입이 「정지 화상」인 경우, 「화상 촬영」과 「파일 취득」의 어플리케이션을 선택한다.
도 53에 휴대 전화(1)에 있어서 스크립트가 실행될 때의 화면 천이의 표시의 구체 예를 도시한다. 도 53을 참조하여, 씬 2에서는 단계 S1113의 처리가 실행되고 정지 화상과 텍스트가 표시됨과 함께, 단계 S1112에서의 처리가 실행되고 변경의 가이던스가 표시되어 있다. 즉, 도 53의 씬 2에서는 「You can attach a picture here」라고 하는 문자(가이던스)가 표시되고, 대응하는 버튼을 누르면 데이터 폴더의 정지화의 데이터가 썸네일로 되어 리스트 표시된다. 이 리스트에서는, 파일명이나 데이터 사이즈 정보 등이 병기되면 보다 바람직하다.
또한, 정지 화상과 음악 등 2개 이상의 미디어가 동일한 씬에서 출력되는 경우에는, 본 휴대 전화(1)는, 「You can attach a picture here」와 「You can attach a music here」의 수정 가이드를 복수 표시하여 숏커트 키 누름 등의 유저 조작에 의해 정지 화상 데이터 입력 또는 음악 데이터 입력 중 어느 하나가 선택되는 방법이나, 시간적으로 전환하여, 최초 「You can attach here」의 가이드를 보내고, 다음으로「You can attach here」의 가이드를 보내는 방법이나, 어떠한 미디어 데이터를 삽입 가능하다는 것을 나타내는 「You can attach data here」의 가이드를 표시하고, 대응하는 버튼을 누르면 다음 화면으로 천이하여, 다음 화면에서는 「Attach a picture」와 「Attach a music」의 메뉴를 선택 가능하게 표시하고, 이것을 유저가 선택함으로써 정지 화상 데이터 입력이나 음악 데이터 입력으로 이행 하는 방법 등, 어느 하나의 방법을 행하는 구성이더라도 상관없다.
또한, 본 휴대 전화(1)는, 수정 가능한 미디어 데이터와 수정 불가능한 미디어 데이터를 구별할 수 있는 경우에는, 그 씬에서 수정 가능한 것을 구별하여, 유저에게 나타내는 것이 바람직하다. 이것은 스크립트 중에 미디어 데이터가 변경 가능한지 여부를 기재함으로써 그 판별을 행할 수 있다.
더욱 바람직하게는, 본 휴대 전화(1)는, 씬마다 다음으로 건너뛰거나 혹은 앞으로 되돌아가는 기능을 구비한다. 통상의 재생에서는, 씬 1이 8초간 표시되는 경우라도, 「다음 씬」 기능을 이용함으로써, 1초 지난 곳에서 유저가 버튼을 누르면 남은 7초는 스킵된다고 하는 식으로, 효율적으로 메일의 작성, 확인이 가능하게 된다.
더욱 바람직하게는, 편집 의사를 유저가 보인 경우에는, 본 휴대 전화(1)는, 그 시점에서 재생을 멈추는 기능을 구비한다. 예를 들면, 도 53의 씬 2에서 정지 화상을 교체하고 있는 곳에서 유저가 버튼을 누름으로써, 정지 화상 선택 화면에서 정지 화상을 선택하는 곳에서 재생의 타이머를 스톱하는 것이 바람직하다. 또한, 데이터의 변경을 끝내고 재생을 재개하는 경우에는, 편집 조작을 행할 때에 멈춘 재생 시간부터 스타트한다든지, 전체의 처음부터 재생한다든지, 혹은 해당 씬의 최초의 시간부터 재개하는 등이 생각된다. 해당 씬의 최초란, 씬 2를 8초째부터 15초째까지 재생할 예정인 곳의 13초인 부분에서 편집 버튼을 눌러 데이터를 교체한 경우에, 씬 2의 최초, 즉 8초째를 가리킨다.
또한, 전술한 템플릿의 편집 공정에 있어서, 텍스트, 정지 화상, 동화상, 음 성, 음악, 및 애니메이션 등의 미디어 데이터를 템플릿에 1 개소 이상 삽입한 시점에, 유저가 현재 선택하여 편집중인 템플릿과는 별도의 템플릿의 편집으로 변경하고 싶다고 생각하는 경우가 생각된다. 이 경우, 어떤 템플릿에의 변경에 있어서도, 지금까지 삽입한 미디어 데이터는 파기하여도 되고, 변경후의 템플릿에 삽입하도록 하여도 된다. 또 이 경우, 변경후의 템플릿에는 변경전에 삽입한 미디어 데이터를 삽입하는 것이 불가능한 경우가 생각되지만, 이 때에는 그와 같은 템플릿에의 변경은 허가하지 않도록 해도 되며, 삽입 불가능한 미디어 데이터는 파기하고, 삽입 가능한 미디어 데이터만 삽입하도록 하여도 된다. 또한, 변경전의 템플릿에 삽입하고 있던 미디어 데이터가 변경후의 템플릿의 복수 개소에 삽입 가능한 경우에는, 복수 개소 중 1개소에 삽입하는 것이어도 무방하고 복수 개소에 삽입하는 것이어도 무방하다. 또한, 애당초 다른 템플릿에의 변경을 전면적으로 허가하지 않도록 하여도 된다.
[변형 예]
다음으로, 미디어 데이터의 재생 순서 정보와 액션의 실행 순서 정보를 포함한 스크립트를 재생하고, 액션을 실행하여, 미디어 데이터의 재생 순서 정보를 포함한 스크립트를 작성하는 처리에 대하여 설명한다.
도 50에 도시되는 스크립트의 기술은, 도 6에 도시되는 스크립트의 기술과 마찬가지로 액션과 묘화 영역을 정의하고 있다. 도 61에 도시되는 스크립트의 기술은, 제17행∼제33행에 있어서, 미디어 데이터의 재생과 액션 실행의 순서 정보를 정의하고 있다. 또한, 제18행∼제32행은 제19행∼제21행, 제22행∼제26행, 및 제 27행∼제31행에서 각각 정의되는 씬 1∼씬 3을 순서대로 실행하는 것을 나타내고 있다.
또한, 제22행∼제26행에서는 제2 씬의 실행을 정의하고 있다. 보다 상세하게는, 제23행에 있어서, "Second Image.jpg"로 표시되는 화상을 "Image" 영역에 표시하는 것을 기술하고 있다. 제24행에 있어서 "Second Text.txt"로 표시되는 텍스트를 "Text" 영역에 표시하는 것을 기술하고 있다. 제25행에 있어서 "UI"의 "select" 키 이벤트가 검출된 경우에 "act Image"에서 참조되는 액션을 실행하는 것을 기술하고 있다.
또한, 도 48에, 제2 실시 형태의 변형 예에서의 휴대 전화(1)의 재생·편집 엔진 프로그램(131)의 기능 구성에 대하여 블록도에 도시한다. 도 48에 있어서 도 42와 동일한 번호가 부가되어 있는 구성 요소는, 도 42에 도시되는 구성 요소와 마찬가지의 것이다. 즉, 도 48을 참조하여, 제2 실시 형태의 변형 예에서의 휴대 전화(1)의 재생·편집 엔진 프로그램(131)의 기능은, 템플릿 기억부(1000)와, 선택부(1001)와, 스크립트·데이터 시간 기억부(1002)와, 스크립트 실행부(1003)와, 단말 기능 선택부(1012)와, 액션 결정부(1013)와, 액션 실행부(1014)와, 데이터 변경 확정부(1008)와, 스크립트·데이터 출력부(1009)와, 출력 스크립트·데이터 기억부(1010)와, 데이터 매립부(1011)를 포함하여 구성된다. 또한, 여기서는 도 42와는 다른 구성 요소에 대하여 설명한다.
단말 기능 선택부(1012)는 스크립트의 기재에 따라서 단말 기능을 선택한다. 스크립트에는 예를 들면 도 50의 제12행∼제15행의 action문 중의 dest라고 하는 형태로 단말 기능이 기입되어 있다. 그리고, 단말 기능 선택부(1012)는 그 선택 결과를, 액션 실행부(1014)에 출력한다.
액션 결정부(1013)는 스크립트의 기재에 따라서 액션을 결정한다. 액션 결정부(1013)에서의 액션 결정은, 예를 들면 도 50에 도시되는 스크립트의 제12행∼제15행의 type로 기재되어 있는 부분을 해석함으로써 실현된다. 그리고, 액션 결정부(1013)는 그 결정 결과를, 액션 실행부(1014)에 출력한다.
액션 실행부(1014)는 단말 기능 선택부(1012)에서 선택된 기능을 이용하여 얻어진 데이터를, 액션 결정부(1013)에서 결정된 액션에 기초하여 처리를 행한다. 액션 실행부(1014)에서는, 명시적으로 기재된 액션을 실행함으로써, 단순히 삽입이나 치환뿐만 아니라, 화상의 합성이나, 음악의 이어 맞춤, 특수 효과 등 각종 처리가 가능하게 된다.
또한, 제2 실시 형태의 변형 예에서의 휴대 전화(1)의 재생·편집 엔진 프로그램에서의 처리는, 도 43에 도시되는 처리와 마찬가지이다. 또한, 제2 실시 형태의 변형 예에 있어서의 휴대 전화(1)에서의, 스크립트인 내비게이션 프레임의 재생 및 편집 처리도, 도 46에 도시되는 처리와 거의 마찬가지이다.
또한 본 변형 예에서는, 도 46에 도시되는 처리에 있어서, 최초로, 도 58에 도시하는 바와 같은 미디어 관리 테이블 외에, 도 63에 도시하는 바와 같은 액션 관리 테이블을 작성한다. 도 63은 도 61에 도시하는 스크립트를 재생·편집하는 경우의 액션 관리 테이블의 구체 예를 도시하는 도면이다. 보다 구체적으로는, 도 63을 참조하여, 「씬 1」에서는 실행 가능한 액션이 없고(도 63의 (A)), 「씬 2」 에서는 「정지 화상 매립 액션」이 실행 가능하고(도 63의 (B)), 「씬 3」에서는 「텍스트 매립 액션」이 실행 가능함(도 63의 (C))을 나타내고 있다. 변형 예의 휴대 전화(1)는 이러한 액션 관리 테이블을 참조하여, 씬 단위로 순차로 재생·편집을 행한다.
다음으로, 변형 예에 있어서의 전술한 단계 1201에서의 데이터 출력 처리에 대하여 도 62의 플로우차트를 이용하여 상세히 설명한다.
도 62를 참조하여, 처음에, 액션 결정부(1013)는, 액션 관리 테이블을 참조하여, 해당 씬에서 실행 가능한 액션을 판정한다(S1401). 다음으로, 액션 결정부(1013)는 디스플레이(144)에, 액션 실행의 가이던스 표시를 행한다(S1402). 액션 실행의 가이던스란, 액션의 실행을 개시하기 위한 조작 가이드 기능이다. 단계 S1402에서의 액션 실행의 가이던스 표시 처리에 대해서는 제1 실시 형태의 단계 S1112에서의 변경 가이던스의 표시 처리와 마찬가지이다. 그리고, 스크립트 실행부(1003)는 단계 S1402에서 표시된 가이드와 함께 씬의 출력을 실행한다(S1403).
도 45에 변형 예에서의 휴대 전화(1)에서 스크립트가 실행될 때의 화면 천이의 표시의 구체 예를 도시한다. 도 45를 참조하여, 도 45의 (B)에 도시되는 씬 2에서는, 단계 S1113의 처리가 실행되고 정지 화상이 표시됨과 함께, 단계 S1112의 처리가 실행되고 변경의 가이던스가 표시되어 있다. 즉, 도 45의 (B)에 도시되는 씬 2에서는 「You can attach picture here」라는 문자(가이던스)가 표시되고, 대응하는 버튼을 누르면 도 45의 (D)에 도시한 바와 같이 카메라 어플리케이션이 기동된다.
또한, 도 49와 같이 사용할 수 있는 기능이 서로 다른 각각의 단말기 전용의 기술을, 스크립트에 모두 기술하고, 템플릿 재생 시에 단말기가 사용할 수 있는 기능에 대한 기술만을 유효하게 하도록 하여도 된다. 이들 기능으로서는, 예를 들면 3D 액정 표시 기능이나, 2 화면 이상의 디스플레이 표시 기능 등을 특히 들 수 있다.
또한, 대상 유저의 속성마다 서로 다른 내용의 미디어 데이터에의 참조 정보를 스크립트에 모두 기술하고, 템플릿 사용 시에, 대상 유저의 속성에 적합한 미디어 데이터만을 유효하게 하는 구성을 취하여도 된다. 이 속성으로서는, 예를 들면 유저가 사용하는 언어나 살고 있는 지역 등을 특히 들 수 있다.
또한, 상기의 실시예에서는, 카메라를 기동하는 것을 나타내는 UI 부품을 화면에 표시하고, 소정의 키 조작에 의해서 카메라를 기동시키는 방법을 설명했지만, 도 52에 도시한 바와 같이 이 시간대에 카메라를 인라인으로 기동하고, 촬영을 실행하는 것을 나타내는 UI 부품을 소정 시간 표시하여(도 52의 (D)), 이 시간대에 소정의 키 조작이 이루어지면 카메라에 의한 촬영을 행하여, 그 화상이나 영상을 바로 재생시키도록 해도 된다. 또한, 이 때 촬영을 행하지 않는 채 「촬영」의 UI 부품을 표시시키는 소정의 시간이 경과한 경우, 해당 시간대의 다음 재생 처리를 진행시키더라도 무방하다. 혹은, 해당 시간대의 종단 시각에 있어서 재생을 일시 정지하고, 「촬영」 조작이 행하여질 때까지 대기해도 된다. 혹은, 해당 시간대의 선두로 되돌아가 해당 시간대의 재생을 반복하여도 무방하다. 이 반복 처리는 「촬영」 조작이 행하여지지 않거나 혹은 중단 처리가 없는 한 무한하게 행하더라도 무방하고, 소정의 횟수만 반복을 행하고, 그것이 끝나면 「촬영」 조작이 완료되지 않았더라도 다음으로 진행하도록 하여도 무방하다.
또한, 상기의 실시예에서의 메시지의 작성 공정에 있어서, 메시지의 데이터 사이즈 총계가, 송신 가능한 사이즈의 상한을 초과하여 버리는 경우가 생각된다. 이 대책으로서, 유저가 메시지의 송신 조작을 행한 시점에서 사이즈 초과의 경고를 보내 송신을 행하지 않도록 해도 된다. 혹은, 유저가 미디어 데이터를 삽입할 때마다 사이즈의 합계를 차례대로 조사하고, 만약 제한을 초과한 경우에는 그 시점에서 경고를 보내 그 삽입 조작을 무효로 하더라도 무방하다. 혹은, 미리 삽입 후보로 되는 미디어 데이터의 사이즈가 판명된 것이면, 현재까지의 메시지 사이즈의 총계와 해당 미디어 데이터의 사이즈의 합계가 송신 가능한 사이즈 상한을 초과하는지 여부를 판별하여, 초과한 경우의 미디어 데이터에 대해서는 선택을 허가하지 않도록 해도 된다.
또한, 전술한 도 50 및 도 61은 작성 측에서만 사용되는 스크립트의 구체 예이다. 이 제12행∼제15행은 메시지를 작성 및 송신하는 장치 측에서만 사용된다. 그 이외의 부분은 메시지를 수신하는 장치 측에서 재생할 때에도 필요하다. 이러한 스크립트를 스크립트·데이터 출력부(1009)에 있어서 출력할 때는, 스크립트중에 포함되는, 수신 장치에서는 불필요한 표기나, 통신 수순중에서 송신할 수 없는 커맨드 등은 최종적으로 삭제 혹은 코멘트 아웃하여 출력하여야 한다. 이러한 경우에는, 스크립트·데이터 출력부(1009)에서는 삭제하여야 할 표기의 룰을 구비하여, 이들을 삭제하는 것이 바람직하다.
또한, 메시지 수신자가 동일한 템플릿 이용하여 별도의 메시지를 작성하는 등의 목적으로, 수신 측에서 템플릿 그 자체를 서버로부터 다운로드하는 경우에 편리하도록, 스크립트·데이터 출력부(1009)는 지금 사용한 템플릿의 다운로드원의 어드레스를 부가하여 보내는 것이 보다 바람직하다.
또한, 스크립트·데이터 처리부(1009)에서 스크립트를 예를 들면 HTML 등의 포맷으로 변환하고, 원래의 스크립트와 함께 변환한 스크립트도 송신하는 것이 바람직하다. 이로써, 수신 측이 완전히 원래의 스크립트를 처리할 수 없는 경우라도, 변환한 스크립트의 처리가 가능하면, 수신 측에서 재생을 행하는 것이 가능하게 된다.
또한, 템플릿을 바탕으로 편집하고, 송신 완료한 메시지를 재편집하여 송신하는 경우에 편리하도록, 출력 스크립트·데이터 기억부(1010)에 있어서, 삭제 처리를 실시하기 전의 스크립트 및 미디어 데이터를 기억해도 된다. 또한 마찬가지의 목적으로, 도 55에 도시한 바와 같이 송신한 메시지와 사용한 템플릿의 대응을 나타내는 테이블을 유지하고, 예를 들면, 메시지 「1221」을 재편집하고자 하는 경우에, 상기 테이블을 검색하여 템플릿 「꽤 따분하다」를 자동적으로 선택하고, 데이터 매립부(1011)에서 메시지 「1221」에 포함되는 미디어 데이터를 템플릿 「꽤 따분하다」에 매립하고 나서 편집하도록 하여도 된다.
또한 편집을 용이하게 하기 위해서, 도 51A 내지 도 51D에 도시한 바와 같이, 씬마다 썸네일을 만드는 것이 바람직하다. 이것은 템플릿에 포함되는 스크립트 전체를 해석하여 도 10과 같은 전체의 타임 테이블 혹은 시퀀스 테이블을 작성 함으로써 용이하게 실현할 수 있다. 이러한 씬마다의 썸네일을 준비함으로써, 스크립트에 기초하여 썸네일의 리스트 표시를 행하여, 유저 조작에 의해 임의의 썸네일을 선택하는 것을 계기로 해당 씬의 재생 실행점부터 재생 개시할 수 있도록 하면, 스크립트의 재기입을 행하는 경우에, 해당 스크립트의 선두로부터의 재생을 행하는 일없이, 원하는 부분의 데이터만을 재기입하는 것이 용이하게 가능해진다.
이러한 스크립트를 휴대 전화(1)에서 실행함으로써 용이하게 멀티미디어 콘텐츠를 작성할 수 있다. 즉, 본 스크립트를 실행함으로써 시계열적으로 변화하여 표시되는 가이던스 정보에 따라서 소정의 조작을 행하는 것만으로, 직감적인 방법으로, 용이하게 멀티미디어 콘텐츠를 작성할 수 있다. 또한, 이미 미디어 데이터가 삽입되어 있는 템플릿에 대하여도, 그 스크립트를 실행함으로써 시계열적으로 변화하여 표시되는 가이던스에 따라서 소정의 조작을 행하는 것만으로, 용이하게 미디어 데이터를 치환할 수 있고, 유저가 원하는 멀티미디어 콘텐츠를 용이하게 작성할 수 있다.
또한, 이러한 템플릿을 다른 휴대 전화(1)에 대하여 송신하여 회신을 요구함으로써, 발송인 측이 원하는 조작을 수신인 측에 행하게 하는 것이 가능하다. 예를 들면, 도 21에 도시하는 바와 같은 템플릿 「꽤 따분하다」에 새로운 동화상의 삽입을 요구하는 취지의 텍스트 메시지를 첨부하여 다른 휴대 전화(1)에 대하여 송신함으로써, 해당 휴대 전화(1)의 유저에게 대하여, 해당 템플릿에 새로운 동화상 데이터를 삽입하는 편집 작업의 실시를 지시할 수 있다.
[제3 실시 형태]
다음으로, 멀티미디어 데이터 처리 장치가 텔레비전 수상기(이하, 텔레비전이라고 함)인 경우에 대해서, 제3 실시 형태로서 설명한다. 즉, 제3 실시 형태에 관한 템플릿에는, 텔레비전 화면의 레이아웃 및 시간 정보가 기술되어 있고, 미디어 데이터의 하나로서, 텔레비전 프로그램이 취급된다.
도 74를 참조하여, 데이터 통신 시스템은, 멀티미디어 데이터 처리 장치인 텔레비전(6)과, 스크립트 언어로 기술되어 있는 템플릿을 제공하는 템플릿 제공 서버(2)와, 텔레비전의 프로그램 정보 및 프로그램 관련 정보를 제공하는 EPG 서버(3)와, 인터넷 콘텐츠를 제공하는 WWW 서버(4)와, 방송파를 통하여 프로그램을 텔레비전(6)에 제공하는 방송국(5)을 포함하여 구성된다.
텔레비전(6)의 멀티미디어 데이터 처리 장치로서의 구성은, 제1 실시 형태에 있어서 도 4에 도시되는 구성과 마찬가지이다. 또한, 텔레비전(6)은 그 표시부에, 메인 영역(7401)과 서브 영역(7402, 7403)을 포함한다.
도 75는 미디어 데이터를 참조하는 묘화 정보 기술부를 포함하는 스크립트를 도시하는 구체 예이고, 도 76은 시간대에 따른 프로그램 정보를 기술하는 프로그램표 정보 기술부를 포함하는 스크립트를 도시하는 구체 예이고, 도 77은 도 75, 도 76에 도시되는 양 스크립트를 관계시키는 기술을 포함하는 스크립트를 도시하는 구체 예이다. 또한, 도 76에 도시되는 스크립트는, 제1 실시 형태에서의, 유저 네비게이트 정보 기술부를 포함하는 스크립트에 상당하는 것이지만, 본 실시 형태에서는, 텔레비전(6)을 시청하는 유저의 조작을 네비게이트하는 것이 아니라, 표시 재생하는 프로그램을 시간대에 따라서 자동적으로 결정하는 역할을 완수하는 스크립 트이다. 이 스크립트가 해석됨으로써, 프로그램표 정보가 얻어진다.
다음으로, 텔레비전(6)에서의 데이터 처리의 흐름을 설명한다. 스크립트의 판독 및 실행 처리, 및 이벤트 처리에 관해서는, 대략적인 흐름이 도 9에 도시된 처리와 마찬가지이기 때문에, 도 9를 이용하여 설명한다.
도 9를 참조하여, 우선 텔레비전(6)은 도 75, 도 76, 및 도 77에 도시되는 각 스크립트를 취득하고(S12), 이들 스크립트를 판독한다(S13). 또한, 판독한 각 스크립트의 구문을 해석하고(S14), 타임 테이블을 작성한다(S15). 그 후, 작성된 타임 테이블에 따라서, 해당 스크립트를 실행(S16)한다.
보다 구체적으로는, 도 75의 14행 및 15행에서는 WWW 서버 상의 화상 파일이 지정되어 있기 때문에, 전술한 단계 S12에서는 이러한 기재에 따라서 WWW 서버(4)로부터 해당 파일이 취득되고, 단계 S16에서의 실행 시에는 영역 「right」 및 「left」로 지정되는 위치인 서브 영역(7402, 7403)에 표시된다.
또한, 도 75의 13행에는, 메인 영역(7401)(main)에 비디오 콘텐츠 「tvcontents」를 재생 표시하는 것이 기재되어 있고, 이러한 비디오 콘텐츠 「tvcontents」는, 도 76에 도시되는 스크립트의 기술에 따라서 결정되는, 무비 데이터 혹은 TV 채널이다. 도 76의 5행의 기술은, 도 76에 도시되는 스크립트가, 도 75에 도시되는 스크립트에서의 id가 「tvcontents」인 부분의 미디어 데이터를 지정하는 것인 것임을 나타내고 있다.
다음으로, 텔레비전(6)에 있어서, 이 비디오 콘텐츠 「tvcontents」를 결정하는 결정 처리의 흐름을, 도 78의 플로우차트를 이용하여 설명한다.
도 78을 참조하여, 우선, 텔레비전(6)에 있어서 스크립트의 묘화 정보 기술부 중에 「video id="tvcontents"」라고 지정되어 있는 것이 해석되면(S2301에서 '예"), 도 76에 도시되는 스크립트의 해석 결과인 프로그램표 정보를 참조하여, 현재 시각에 대응하는 프로그램 정보를 취득한다(S2302).
도 76의 제6행∼제13행에는 0시부터 2시까지의 사이는 텔레비전의 채널 번호4의 프로그램이, 제14행∼제21행에는 2시부터 4시까지의 사이는 제20행에 기술되어 있는 URL로 지정되는 인터넷 콘텐츠가, 비디오 콘텐츠 「tvcontents」에 해당하는 취지의 기술이 이루어져 있다. 따라서, 현재 시각이 0시부터 2시까지의 사이의 시각이면, 이러한 기술로부터 비디오 콘텐츠 「tvcontents」는 채널 번호 4의 텔레비전 프로그램이라고 정해지기 때문에, 단계 S2303에 있어서 그 프로그램 정보의 종별(텔레비전 프로그램일 것)이 판별되고, 그 판별 결과에 따라서 텔레비전(6)은 방송국(5)으로부터 해당하는 방송파를 수신하여 소정의 위치에 표시한다(S2304).
한편, 현재 시각이 2시부터 4시까지의 사이의 시각이면, 이러한 기술로부터 비디오 콘텐츠 「tvcontents」는 도 76의 제20행에 기술되는 URL로 지정되는 인터넷 콘텐츠라고 정해지므로, 단계 S2303에서 그 프로그램 정보의 종별(인터넷 콘텐츠일 것)이 판별되고, 그 판별 결과에 따라서 텔레비전(6)은 WWW 서버(4)로부터 해당 콘텐츠 데이터를 취득하여 소정의 위치에 표시한다(S2305).
또한, 도 76에 도시되는 스크립트로서는 4시 이후의 프로그램 기술 부분에 대해서는 생략되어 있지만, 이러한 시간에 대해서도 마찬가지의 기술이 있으며, 현재 시각이 전술한 시각 이외이더라도 마찬가지의 처리가 행하여진다.
이상의 처리에 의해, 텔레비전(6)에 있어서, 서브 영역(7402, 7403)에는 WWW 서버(4)로부터 취득된 미디어 데이터가 재생 표시되고, 메인 영역(7401)에는, 도 76에 도시되는 스크립트를 해석하여 얻어지는 프로그램표 정보에 기초하여 시간대에 따라서 지정되는, 텔레비전 프로그램 또는 인터넷 콘텐츠가, 방송국(5) 또는 WWW 서버(4)로부터 취득되어 재생 표시된다.
또한 본 실시 형태에서는, 서브 영역(7402, 7403)에 WWW 서버로부터 취득된 정지 화상 데이터가 표시되는 것으로 했지만, 이러한 영역의 표시에 관해서도, 도 75의 제14행 및 제15행의 기술을 제13행과 마찬가지의 기술로 하여 도 76에 도시되는 스크립트의 기술과 조합함으로써, 또는, 제1, 2의 실시 형태에서 설명한 바와 같은 시간에 수반하는 미디어 데이터의 전환이나 이벤트에 관한 기술을 부가함으로써, 시간대에 따라서 EPG 서버(3), WWW 서버(4), 및 방송국(5)으로부터 방송파나 프로그램 관련 정보 등을 취득하여 표시하거나, 유저 조작을 접수하는 UI 콤포넌트를 표시하여 해당 UI 콤포넌트에 대하여 유저 조작이 이루어진 경우에 대응하는 액션을 실행하거나 하도록 하여도 된다.
또한, 이러한 액션으로서는, 텔레비전의 채널 전환이나 음량, 휘도 등의 조정, 「상세 정보」 등의 버튼을 표시하여 유저가 이것을 누름으로써 메인 영역(7401)에서 재생되고 있는 프로그램에 연동한 정보를 표시하는 WEB 콘텐츠에 링크 천이하거나, 혹은 텔레비전(6)이 녹화 기능을 구비하고 있다든지 녹화 기기와 접속되어 있는 경우에는 녹화 조작을 행하거나, 화면의 스크린 샷을 기록하여 다른 유저에게 메일 등에 의해 송신하거나, 전화 기능과 연동할 수 있는 경우에는 소정의 번호에의 발신을 행하는 등을 들 수 있다.
본 실시 형태에서의 멀티미디어 데이터 처리 장치인 텔레비전(6)을 포함하여 구성되는 데이터 통신 시스템은 전술한 구성이라는 점에서, 주로 콘텐츠 제작 업자에게 있어서, 텔레비전 프로그램이나 인터넷 콘텐츠를 조합한 멀티미디어 콘텐츠 데이터를 용이하게 작성할 수 있게 된다고 하는 장점이 있다.
또한, 제1 내지 제3 실시 형태, 및 제2 실시 형태에 변형 예에서는, 서버(2)로부터 제공되는 템플릿을 도 2에 구성의 구체 예가 도시되는 휴대 전화(1) 또는 텔레비전(6)에 있어서 처리하는 경우에 대해서 설명했지만, 템플릿을 처리하는 처리 장치는 휴대 전화(1)와 같은 각 기능이 일체로 구성되어 이루어지는 장치에 한정되는 것이 아니다. 즉, 수신기 등의 템플릿을 취득하는 취득 장치, 화상을 취득하는 카메라 등의 미디어 데이터 입력 장치, 및 텔레비전 수상기 등의 미디어 데이터 출력 장치 등, 휴대 전화(1)나 텔레비전(6)을 구성하는 각 기능이 각각 독립된 장치이어도 된다. 그 경우에도, 서로 전용 회선을 통한 통신 혹은 무선 통신 등을 행하여 데이터나 제어 신호를 주고받고, 데이터 처리 장치에 있어서, 전술한 스크립트의 재생 및 편집 처리를 실행하여, 취득 장치에서 취득시킨 스크립트를 처리하고, 미디어 입력 장치에서 입력시킨 미디어 데이터 등을 이용하여, 멀티미디어 콘텐츠의 편집을 행하는 것이 가능하다. 그리고, 미디어 데이터 출력 장치에서 취득한 템플릿, 혹은 템플릿을 편집한 멀티미디어 데이터를 재생시킬 수 있다.
또한, 이러한 스크립트를 실행하는 스크립트 실행 방법을, 프로그램으로서 제공할 수도 있다. 이러한 프로그램은 컴퓨터에 부속되는 플렉시블 디스크, CD- ROM(Compact Disc-Read Only Memory), ROM(Read Only Memory), RAM(Random Access Memory) 및 메모리 카드 등의 컴퓨터 판독 가능한 기록 매체로 기록시켜, 프로그램 제품으로 제공할 수도 있다. 혹은, 컴퓨터에 내장하는 하드디스크 등의 기록 매체로 기록시켜, 프로그램을 제공할 수도 있다. 또한, 네트워크를 통한 다운로드에 의해서, 프로그램을 제공할 수도 있다.
제공되는 프로그램 제품은 하드디스크 등의 프로그램 저장부에 인스톨되어 실행된다. 또한, 프로그램 제품은 프로그램 자체와 프로그램이 기록된 기록 매체를 포함한다.
금회 개시된 실시 형태는 모든 점에서 예시이고 제한적인 것이 아니라고 생각하여야 된다. 본 발명의 범위는 상기한 설명이 아니라 청구의 범위에 의해서 나타나고, 청구의 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.
이상과 같이, 본 발명에 따르면, 용이하게 멀티미디어 콘텐츠를 작성할 수 있기 때문에, 멀티미디어 콘텐츠의 작성에 있어서 유리하게 적용할 수 있다.

Claims (66)

  1. 템플릿에 포함되는 스크립트에 따라서, 상기 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행부(1003)와,
    상기 스크립트로부터 참조되는 데이터 중, 유저가 변경 가능한 부분을 판별하는 유저 변경 가능 데이터 판별부(1004)와,
    상기 변경 가능한 부분을 변경하는 데이터 변경부(1007)와,
    상기 스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 스크립트및 데이터 출력부(1009)
    를 구비하는 멀티미디어 데이터 처리 장치.
  2. 템플릿에 포함되는 스크립트에 따라서, 상기 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행부(1003)와,
    상기 템플릿에 포함되는 스크립트에 따라서, 해당 멀티미디어 데이터 처리 장치의 기능을 선택하는 단말 기능 선택부(1012)와,
    상기 템플릿에 포함되는 스크립트에 따라서, 상기 선택된 기능을 이용하여, 상기 스크립트로부터 참조되는 데이터에 대하여 어떠한 처리를 행할지를 결정하는 액션 결정부(1013)와,
    상기 결정된 처리를 실행하는 액션 실행부(1014)와,
    상기 스크립트로부터 참조되는 상기 데이터를 변경하는 데이터 변경부(1007)와,
    상기 스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 스크립트및 데이터 출력부(1009)
    를 구비하는 멀티미디어 데이터 처리 장치.
  3. 제2항에 있어서,
    상기 템플릿에는, 상기 스크립트로부터 참조되는 데이터에 대하여 실행하는 액션을 결정하는 시간 제약이 기재되어 있고, 상기 액션 실행부는, 상기 시간 제약에 따라서 상기 결정된 처리를 행하는 멀티미디어 데이터 처리 장치.
  4. 제2항에 있어서,
    상기 액션 결정부는, 상기 선택된 기능을 이용하여, 정지 화상 데이터와, 동화상 데이터와, 음성 데이터와, GPS(Global Positioning System) 등에 의해 취득되는 위치 정보 데이터 중 어느 하나의 데이터를 포함하는 데이터를 취득하고, 상기 취득한 데이터를 이용하여 상기 스크립트로부터 참조되는 데이터에 대하여 어떠한 처리를 행할지를 결정하는 멀티미디어 데이터 처리 장치.
  5. 제2항에 있어서,
    상기 액션 결정부는, 상기 선택된 기능을 이용하여, 네트워크를 통하여 데이터를 취득하고, 상기 취득한 데이터를 이용하여 상기 스크립트로부터 참조되는 데 이터에 대하여 어떠한 처리를 행할지를 결정하는 멀티미디어 데이터 처리 장치.
  6. 제2항에 있어서,
    상기 액션 실행부에서 실행하는 상기 결정된 처리는, 소정의 WEB 페이지에 액세스하는 처리인 멀티미디어 데이터 처리 장치.
  7. 제2항에 있어서,
    상기 액션 실행부에서 실행하는 상기 결정된 처리는, 소정의 전화 번호에 발호하는 처리인 멀티미디어 데이터 처리 장치.
  8. 제2항에 있어서,
    상기 액션 실행부는, 상기 선택된 기능을 이용하여 데이터를 취득하고, 상기 선택된 기능의 사양과 상태와 상기 템플릿과 상기 선택된 기능을 이용하여 취득된 데이터 중 어느 하나를 포함하는 환경 정보에 따라서, 상기 취득된 데이터로 변환 처리를 행하는 것을 특징으로 하고,
    상기 환경 정보에 따른 변환 처리는, 메모리 용량의 제한에 따른 데이터량의 삭감과, 표시 디바이스 또는 상기 멀티미디어 데이터의 해석 결과에 따른 화면 사이즈의 변환, 색 수의 감소, 혹은 데이터 형식의 정합을 포함하는 멀티미디어 데이터 처리 장치.
  9. 제2항에 있어서,
    상기 액션 실행부는, 상기 선택된 기능을 이용하여 데이터를 취득하고, 상기 선택된 기능의 사양과 상태와 상기 템플릿과 상기 선택된 기능을 이용하여 취득된 데이터 중 어느 하나를 포함하는 환경 정보에 따라서, 상기 취득된 데이터로 변환 처리를 행하는 것을 특징으로 하고,
    상기 환경 정보에 따른 변환 처리는, 상기 취득된 데이터를 소정의 대체 데이터로 변경하는 처리인 멀티미디어 데이터 처리 장치.
  10. 제2항에 있어서,
    상기 액션 실행부는, 상기 선택된 기능을 이용하여 데이터를 취득하고, 상기 선택된 기능의 사양과 상태와 상기 템플릿과 상기 선택된 기능을 이용하여 취득된 데이터 중 어느 하나를 포함하는 환경 정보에 따라서, 상기 취득된 데이터의 사용이 필요한지 여부를 판정하는 멀티미디어 데이터 처리 장치.
  11. 제2항에 있어서,
    상기 액션 실행부는, 상기 결정된 처리를 실행하기 직전에, 유저 인터페이스를 통하여, 상기 처리를 행하는 것을 통지한 나중에 상기 처리를 행하는 것과, 상기 처리를 행하는 것에 대한 확인을 접수하는 것과, 상기 처리를 행할지 여부의 선택을 접수하는 것 중의 어느 하나를 실행하는 멀티미디어 데이터 처리 장치.
  12. 제1항 또는 제2항에 있어서,
    상기 템플릿에는 미디어 데이터 재생 상태의 천이 정보가 기재되어 있고, 상기 스크립트 실행부는 상기 미디어 데이터 재생 상태의 천이를 관리하는 멀티미디어 데이터 처리 장치.
  13. 제12항에 있어서,
    상기 스크립트 실행부는, 상기 템플릿에 기재된 상기 미디어 데이터 재생 상태의 천이 정보에 따라서, 상기 미디어 데이터 재생 상태의 천이를, 상기 액션 결정부가 상기 선택된 기능을 이용하여 이벤트를 취득했을 때에 행하는 멀티미디어 데이터 처리 장치.
  14. 제13항에 있어서,
    상기 이벤트는, 소정 시각의 도래와 타이머의 만료 중의 적어도 한쪽을 포함하는 시간 이벤트인 멀티미디어 데이터 처리 장치.
  15. 제1항 또는 제2항에 있어서,
    상기 템플릿에는 미디어 데이터 재생 상태의 천이 정보가 시간 제약과 함께 기재되어 있고, 상기 스크립트 실행부는 상기 미디어 데이터 재생 상태의 천이를 시간적으로 관리하는 멀티미디어 데이터 처리 장치.
  16. 제1항 또는 제2항에 있어서,
    상기 템플릿에는 미디어 데이터 재생 상태의 천이 정보가 기재되어 있고,
    상기 템플릿에 포함되는 미디어 데이터의 썸네일(thumbnail)을 생성하는 썸네일 생성부(1313)와,
    상기 생성한 썸네일을, 상기 천이 정보에 기초하여 표시하는 프리뷰(preview)부(1313)
    를 더 구비하는 멀티미디어 데이터 처리 장치.
  17. 제1항 또는 제2항에 있어서,
    상기 스크립트를 포함하는 템플릿을 취득하는 템플릿 취득부(1015)와,
    상기 취득된 템플릿으로부터 원하는 템플릿을 선택하는 선택부(1001)와,
    상기 데이터의 변경을 확정하는 스크립트ㆍ데이터 변경 확정부(1008)
    를 더 구비하는 멀티미디어 데이터 처리 장치.
  18. 제17항에 있어서,
    상기 템플릿 취득부는, 해당 멀티미디어 데이터 장치 내부의 기억 장치에 축적된 템플릿을 취득하는 멀티미디어 데이터 처리 장치.
  19. 제17항에 있어서,
    상기 템플릿 취득부는, 네트워크를 통하여 다른 장치로부터 템플릿을 취득하 는 멀티미디어 데이터 처리 장치.
  20. 제17항에 있어서,
    상기 템플릿 취득부는, 네트워크를 통하여 수신한 메시지로부터 템플릿을 취득하는 멀티미디어 데이터 처리 장치.
  21. 제1항 또는 제2항에 있어서,
    상기 스크립트에 따라서, 상기 데이터의 변경을 제한하는 데이터 변경부(1007)를 더 구비하는 멀티미디어 데이터 처리 장치.
  22. 제1항 또는 제2항에 있어서,
    상기 스크립트에 기술된 시퀀스를 관리하는 시퀀스 관리부(1313)와,
    상기 시퀀스에 대응하여 변경 가능한 데이터를 나타내는 변경 가능 데이터 제시부(1313)
    를 더 구비하는 멀티미디어 데이터 처리 장치.
  23. 제1항 또는 제2항에 있어서,
    상기 스크립트에 기술된 시퀀스를 관리하는 시퀀스 관리부(1313)와,
    상기 시퀀스에 대응하여 데이터 변경을 행하기 위한 조작 가이드를 제시하는 조작 가이드 제시부(132)
    를 더 구비하는 멀티미디어 데이터 처리 장치.
  24. 제23항에 있어서,
    상기 데이터 변경의 조작을 행하는 경우에, 상기 스크립트 실행부는, 상기 변경된 데이터의 재생 시간을 미리 결정된 룰에 따라서 제어하는 재생 시간 제어부(1314)를 더 구비하는 멀티미디어 데이터 처리 장치.
  25. 제1항 또는 제2항에 있어서,
    상기 스크립트 실행부는, 상기 스크립트로부터 참조되는 데이터 중, 실행 혹은 정지를 행할 수 있는 개소를 판단하여 선택하는 미디어상 시각 선택부(1313)를 더 구비하고,
    상기 스크립트 실행부는, 상기 데이터 중의 상기 선택된 개소를 실행할 때, 상기 개소에서 일시 정지하는 멀티미디어 데이터 처리 장치.
  26. 제25항에 있어서,
    상기 미디어상 시각 선택부에서 선택하는 개소는, 변경 가능한 미디어 데이터가 전환되는 개소인 멀티미디어 데이터 처리 장치.
  27. 제26항에 있어서,
    상기 스크립트 실행부는, 현재부터 가장 가까운 미래의 시퀀스의 변경점을 판정하는 시퀀스 변경점 판정부(1313)를 더 구비하고,
    상기 스크립트 실행부는, 상기 판정된 다음의 시퀀스 변경점까지 상기 데이터의 재생을 스킵하는 멀티미디어 데이터 처리 장치.
  28. 제26항에 있어서,
    상기 스크립트 실행부는, 현재부터 가장 가까운 과거의 시퀀스의 변경점을 판정하는 시퀀스 변경점 판정부(1313)를 더 구비하고,
    상기 스크립트 실행부는, 상기 판정된 바로 가까운 과거의 시퀀스 변경점까지 상기 데이터의 재생을 스킵하는 멀티미디어 데이터 처리 장치.
  29. 제1항 또는 제2항에 있어서,
    상기 데이터 변경의 조작을 행한 경우에, 상기 데이터 중의 변경된 구간의 선두 개소 또는 종료 개소를 상기 데이터의 소정 개소에 가하는 멀티미디어 데이터 처리 장치.
  30. 제1항 또는 제2항에 있어서,
    스크립트·데이터 출력부는, 상기 템플릿에 포함되는 스크립트와 상기 스크립트로부터 참조되는 데이터 중의 적어도 한쪽의 일부를 삭제하여 출력하는 멀티미디어 데이터 처리 장치.
  31. 제30항에 있어서,
    상기 템플릿에 포함되는 스크립트와 상기 스크립트로부터 참조되는 데이터 중의 적어도 한쪽은 XML(Extensible Markup Language)로 기술되어 있고, 상기 스크립트·데이터 출력부는, 소정의 태그의 기술에 대응하여 상기 스크립트로부터 참조되는 데이터를 삭제하는 멀티미디어 데이터 처리 장치.
  32. 제1항 또는 제2항에 있어서,
    상기 스크립트·데이터 출력부는, 해당 멀티미디어 데이터 처리 장치 내부의 기억 장치에 상기 스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 멀티미디어 데이터 처리 장치.
  33. 제1항 또는 제2항에 있어서,
    상기 스크립트·데이터 출력부는, 네트워크를 통하여 다른 장치에 상기 스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 멀티미디어 데이터 처리 장치.
  34. 제33항에 있어서,
    스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 멀티미디어 데이터 처리 장치.
  35. 제33항에 있어서,
    상기 스크립트·데이터 출력부는, MMS(Multimedia Messaging Service)를 이용하여 상기 다른 장치에 상기 스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 멀티미디어 데이터 처리 장치.
  36. 스크립트를 포함하여 구성되고, 수신측의 다른 장치에 대하여 요구하는 소정의 액션, 및 상기 액션을 요구하는 시간 정보를 기술한 템플릿의 일람을 취득하는 템플릿 일람 취득부(110)와,
    상기 템플릿 일람을 표시하는 템플릿 일람 표시부(144)와,
    상기 표시된 템플릿의 일람으로부터 원하는 하나 혹은 복수의 템플릿을 선택하는 템플릿 선택부(142)와,
    상기 선택된 템플릿을 상기 다른 장치에 메시지로서 송부하는 메시지 송부부(110)
    를 구비하는 멀티미디어 데이터 처리 장치.
  37. 제36항에 있어서,
    상기 스크립트는, 재생되는 데이터에의 참조 정보와, 상기 데이터의 재생 방법과, 상기 데이터의 재생 단말기에서 실행되는 기능을 특정하는 액션 정보 중의 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 데이터 처리 장치.
  38. 제37항에 있어서,
    상기 액션 정보는, 동화상 또는 정지 화상의 촬상 기능과, 유저가 입력하는 텍스트 정보를 취득하는 기능과, 음성의 녹음 기능과, 위치 정보를 취득하는 기능과, 데이터를 취득하는 기능 중의 적어도 하나의 기능을 특정하는 멀티미디어 데이터 처리 장치.
  39. 제36항에 있어서,
    스크립트에 따라서 상기 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행부(131)를 더 구비하는 멀티미디어 데이터 처리 장치.
  40. 제36항에 있어서,
    통신 상대 기기의 기능을 취득하는 통신 상대 기능 취득부(110)를 더 구비하고,
    상기 템플릿 일람 취득은, 상기 취득된 상기 통신 상대 기기의 기능에 포함되는 기능으로 실행 가능한 템플릿 일람을 취득하는 멀티미디어 데이터 처리 장치.
  41. 제36항에 있어서,
    통신 상대 기기의 기능을 취득하는 통신 상대 기능 취득부(110)를 더 구비하고,
    상기 템플릿 일람 표시부는, 상기 취득된 상기 통신 상대 기기의 기능에 포함되는 기능으로 실행 가능한 템플릿 일람을 표시하는 멀티미디어 데이터 처리 장치.
  42. 스크립트를 포함하여 구성되는 템플릿을 취득하는 템플릿 취득부(110)와,
    방송국으로부터 프로그램을 취득하는 프로그램 취득부(110)와,
    인터넷을 통하여 제공되는 인터넷 콘텐츠를 취득하는 콘텐츠 취득부(110)와,
    상기 템플릿에 포함되는 스크립트에 따라서, 상기 스크립트로부터 참조되는 데이터와, 상기 프로그램 취득부에서 취득된 프로그램과, 상기 콘텐츠 취득부에서 취득된 인터넷 콘텐츠 중의 적어도 하나를, 상기 스크립트로 지정되는 화면 상의 위치 및 타이밍으로 재생하는 스크립트 실행부(131)
    를 구비하는 멀티미디어 데이터 처리 장치.
  43. 제42항에 있어서,
    상기 템플릿은 프로그램표 정보를 포함하고,
    상기 프로그램표 정보에 기초하여 하나 이상의 프로그램 또는 인터넷 콘텐츠를 선택하는 재생 데이터 선택부(142)를 더 구비하고,
    상기 스크립트 실행부는, 상기 선택된 프로그램 또는 인터넷 콘텐츠를 재생하는 멀티미디어 데이터 처리 장치.
  44. 스크립트를 포함하여 구성되는 템플릿의 처리를 컴퓨터에 실행시키는 프로그램을 기록한 기록 매체로서,
    상기 템플릿에 포함되는 스크립트에 따라서, 상기 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행 단계(S1101)와,
    상기 스크립트로부터 참조되는 데이터 중, 유저가 변경 가능한 부분을 판별하는 유저 변경 가능 데이터 판별 단계(S1110)와,
    상기 변경 가능한 부분을 멀티미디어 데이터 처리 장치의 기능을 이용하여 변경하는 데이터 변경 단계(S1205)와,
    상기 스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 스크립트·데이터 출력 단계(S1103)
    를 실행시키는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  45. 스크립트를 포함하여 구성되는 템플릿의 처리를 컴퓨터에 실행시키는 프로그램을 기록한 기록 매체로서,
    상기 템플릿에 포함되는 스크립트에 따라서, 상기 스크립트로부터 참조되는 데이터를 재생하는 스크립트 실행 단계(S16)와,
    상기 템플릿에 포함되는 스크립트에 따라서, 멀티미디어 데이터 처리 장치의 기능을 선택하는 단말 기능 선택 단계(S17)와,
    상기 선택된 기능을 이용하여, 상기 스크립트로부터 참조되는 데이터에 대하여 어떠한 처리를 행할지를 결정하는 액션 결정 단계(S81)와,
    상기 결정된 처리를 실행하는 액션 실행 단계(S82)와,
    상기 스크립트로부터 참조되는 데이터를 변경하는 데이터 변경 단계(S85)와,
    상기 스크립트와 상기 변경된 데이터 중의 적어도 한쪽을 출력하는 스크립트·데이터 출력 단계(S25)
    를 실행시키는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  46. 제45항에 있어서,
    상기 템플릿에는, 상기 스크립트로부터 참조되는 데이터에 대하여 실행하는 액션을 결정하는 시간 제약이 기재되어 있고, 상기 액션 실행 단계는, 상기 시간 제약에 따라서 상기 결정된 처리를 행하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  47. 제44항 또는 제45항에 있어서,
    상기 템플릿에는 미디어 데이터 재생 상태의 천이 정보가 기재되어 있고, 상기 스크립트 실행 단계는, 상기 미디어 데이터 재생 상태의 천이를 관리하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  48. 제44항 또는 제45항에 있어서,
    상기 템플릿에는 미디어 데이터 재생 상태의 천이 정보가 시간 제약과 함께 기재되어 있고, 상기 스크립트 실행 단계는, 상기 미디어 데이터 재생 상태의 천이를 시간적으로 관리하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  49. 제44항 또는 제45항에 있어서,
    상기 템플릿에는 미디어 데이터 재생 상태의 천이 정보가 기재되어 있고,
    상기 템플릿에 포함되는 미디어 데이터의 썸네일을 생성하는 썸네일 생성 단계(S16)와,
    상기 생성한 썸네일을, 상기 천이 정보에 기초하여 표시하는 프리뷰 단계(S18)
    를 더 실행시키는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  50. 제44항 또는 제45항에 있어서,
    상기 스크립트를 포함하는 템플릿을 취득하는 템플릿 취득 단계(S12)와,
    상기 취득된 템플릿으로부터 원하는 템플릿을 선택하는 선택 단계(S1100)와,
    상기 데이터의 변경을 확정하는 데이터 변경 확정 단계(S1100)
    를 더 실행시키는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  51. 제44항 또는 제45항에 있어서,
    상기 스크립트에 따라서, 상기 데이터의 변경을 제한하는 제한 단계(S121)를 더 실행시키는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  52. 제44항 또는 제45항에 있어서,
    상기 스크립트에 기술된 시퀀스를 관리하는 시퀀스 관리 단계(S1401)와,
    상기 시퀀스에 대응하여 변경 가능한 데이터를 제시하는 변경 가능 데이터 제시 단계(S1402)
    를 더 실행시키는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  53. 제44항 또는 제45항에 있어서,
    상기 스크립트에 기술된 시퀀스를 관리하는 시퀀스 관리 단계(S1401)와,
    상기 시퀀스에 대응하여 데이터 변경을 행하기 위한 조작 가이드를 제시하는 조작 가이드 제시 단계(S1402)
    를 더 실행시키는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  54. 제53항에 있어서,
    상기 데이터 변경의 조작을 행하는 경우에, 상기 스크립트 실행 단계는, 상기 변경된 데이터의 재생 시간을 미리 결정된 룰에 따라서 제어하는 재생 시간 제어 단계(S15)를 더 실행하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  55. 제44항 또는 제45항에 있어서,
    상기 스크립트 실행 단계는, 상기 스크립트로부터 참조되는 데이터 중, 실행 혹은 정지를 행할 수 있는 개소를 판단하여 선택하는 미디어상 시각 선택 단계(S15)를 더 실행하고,
    상기 스크립트 실행 단계는, 상기 데이터 중의 상기 선택된 개소를 실행할 때, 상기 개소에서 일시 정지하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  56. 제55항에 있어서,
    상기 미디어상 시각 선택 단계에서 선택하는 개소는, 변경 가능한 미디어 데이터가 전환되는 개소인 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  57. 제56항에 있어서,
    상기 스크립트 실행 단계는, 현재부터 가장 가까운 미래의 시퀀스의 변경점을 판정하는 시퀀스 변경 선택 단계(S1202)를 더 실행하고,
    상기 스크립트 실행 단계는, 상기 판정된 다음의 시퀀스 변경점까지 상기 데이터의 재생을 스킵하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  58. 제56항에 있어서,
    상기 스크립트 실행 단계는, 현재부터 가장 가까운 과거의 시퀀스의 변경점을 판정하는 시퀀스 변경 선택 단계(S1202)를 더 실행하고,
    상기 스크립트 실행 단계는, 상기 판정된 바로 가까운 과거의 시퀀스 변경점까지 상기 데이터의 재생을 스킵하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  59. 제44항 또는 제45항에 있어서,
    상기 데이터 변경의 조작을 행한 경우에, 상기 데이터 중의 변경된 구간의 선두 개소 또는 종료 개소를 상기 데이터의 소정 개소에 부가하는 멀티미디어 데이터 처리 프로그램을 기록한 기록 매체.
  60. 삭제
  61. 미디어 데이터를 재생하는 재생부와, 유저로부터의 입력 조작을 접수하는 입력부를 포함하는 데이터 처리 장치에서 처리되는 데이터 구조를 갖는 멀티미디어 콘텐츠 데이터를 기록하는 기록 매체로서,
    상기 데이터 처리 장치의 재생부에서 재생되는 미디어 데이터를 나타내는 재생 기술부와,
    상기 데이터 처리 장치의 입력부에서 접수하는 입력 조작과 상기 입력 조작에 대응한 처리를 나타내는 입력 조작 기술부와,
    상기 데이터 처리 장치의 재생부에서 재생되는 미디어 데이터의 유효 시간과, 상기 입력부에서 접수하는 입력 조작의 유효 시간을 관리하는 스케줄 기술부
    를 포함하고,
    상기 멀티미디어 콘텐츠 데이터가 처리됨으로써, 상기 스케줄 기술부에 기초하여, 소정의 시간에 상기 데이터 처리 장치의 재생부에서 소정의 미디어 데이터를 재생시키고, 상기 소정의 시간에 상기 데이터 처리 장치의 입력부에서 소정의 입력 조작을 접수하고, 상기 입력 조작 기술부에 기초하여, 상기 데이터 처리 장치에, 상기 소정의 시간에 상기 소정의 입력 조작에 따른 처리를 실행시키는 기록 매체.
  62. 제61항에 있어서,
    상기 데이터 처리 장치의 입력부에서 접수하는 입력 조작에 대응한 처리는, 상기 멀티미디어 콘텐츠 데이터로 변경을 가하는 처리인 기록 매체.
  63. 제62항에 있어서,
    상기 멀티미디어 콘텐츠 데이터에 가해지는 변경 처리는, 상기 멀티미디어 콘텐츠 데이터의 일부를 치환하는 처리인 기록 매체.
  64. 제62항에 있어서,
    상기 멀티미디어 콘텐츠 데이터에 가해지는 변경 처리는, 상기 멀티미디어 콘텐츠 데이터의 일부를 치환하여 얻어지는 데이터를, 상기 콘텐츠 데이터에 부가하는 처리인 기록 매체.
  65. 제62항에 있어서,
    상기 멀티미디어 콘텐츠 데이터에 가해지는 변경 처리는, 후속하는 소정의 처리에서 상기 멀티미디어 콘텐츠 데이터의 일부를 치환하여 얻어지는 데이터를, 상기 멀티미디어 콘텐츠 데이터에 부가하는 처리인 기록 매체.
  66. 제61항에 있어서,
    상기 멀티미디어 콘텐츠 데이터는 스크립트 언어로 기술된 데이터인 기록 매체.
KR1020057010633A 2002-12-12 2003-12-10 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치 KR100713751B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2002360716 2002-12-12
JPJP-P-2002-00360716 2002-12-12
JP2003122447 2003-04-25
JPJP-P-2003-00122447 2003-04-25
JPJP-P-2003-00403118 2003-12-02
JP2003403118A JP3987025B2 (ja) 2002-12-12 2003-12-02 マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020067001848A Division KR20060016135A (ko) 2002-12-12 2003-12-10 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어데이터 처리 장치

Publications (2)

Publication Number Publication Date
KR20050084251A KR20050084251A (ko) 2005-08-26
KR100713751B1 true KR100713751B1 (ko) 2007-05-07

Family

ID=32512129

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020067001848A KR20060016135A (ko) 2002-12-12 2003-12-10 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어데이터 처리 장치
KR1020057010633A KR100713751B1 (ko) 2002-12-12 2003-12-10 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020067001848A KR20060016135A (ko) 2002-12-12 2003-12-10 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어데이터 처리 장치

Country Status (6)

Country Link
US (4) US8156417B2 (ko)
EP (3) EP2343887B1 (ko)
JP (1) JP3987025B2 (ko)
KR (2) KR20060016135A (ko)
AU (1) AU2003289312A1 (ko)
WO (1) WO2004054254A1 (ko)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7360153B1 (en) * 2000-01-17 2008-04-15 Lucent Technologies Inc. Method and apparatus for importing digital switching system data into a spreadsheet program
JPWO2005076188A1 (ja) * 2004-02-05 2008-01-10 松下電器産業株式会社 コンテンツ作成装置、およびコンテンツ作成方法
FI20045077A (fi) * 2004-03-16 2005-09-17 Nokia Corp Menetelmä ja laitteisto viestin kokorajoituksen indikoimiseksi
WO2006028181A1 (ja) * 2004-09-09 2006-03-16 Matsushita Electric Industrial Co., Ltd. 通信端末とその通信方法
US7773978B2 (en) * 2004-12-20 2010-08-10 Samsung Electronics Co., Ltd. Device and method for processing message-related events in a portable terminal
US8577683B2 (en) * 2008-08-15 2013-11-05 Thomas Majchrowski & Associates, Inc. Multipurpose media players
US20060232573A1 (en) * 2005-04-19 2006-10-19 Sharp Kabushiki Kaisha Display description format providing device, method of controlling same, communications network system, display control device, method of controlling same, display system, program for controlling display description format providing device, program for controlling display control device and storage mediun storing program
JPWO2006114905A1 (ja) * 2005-04-19 2008-12-11 シャープ株式会社 表示用記述フォーマット提供装置およびその制御方法、通信ネットワークシステム、表示制御装置およびその制御方法、表示システム、表示用記述フォーマット提供装置制御プログラム、表示制御装置制御プログラム、ならびに該プログラムを記録した記録媒体
US8738787B2 (en) * 2005-04-20 2014-05-27 Limelight Networks, Inc. Ad server integration
JP2006331035A (ja) 2005-05-25 2006-12-07 Square Enix Co Ltd 表示情報送受信システム、表示情報送信装置及び受信装置
WO2006129384A1 (ja) * 2005-05-31 2006-12-07 Sharp Kabushiki Kaisha 双方向サービスシステム及びマルチメディアコンテンツ処理装置
JP3974921B2 (ja) * 2005-05-31 2007-09-12 シャープ株式会社 コンテンツ再生装置、コンピュータプログラム及び記録媒体
US20060271996A1 (en) * 2005-05-31 2006-11-30 Sharp Kabushiki Kaisha System for providing service related information to content reproducing apparatus
US20090132914A1 (en) * 2005-06-28 2009-05-21 Sharp Kabushiki Kaisha Electronic Program Guide Dispaly Device for Displaying Electronic Program Guide
US8203609B2 (en) 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US8126938B2 (en) * 2005-07-01 2012-02-28 The Invention Science Fund I, Llc Group content substitution in media works
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US7860342B2 (en) 2005-07-01 2010-12-28 The Invention Science Fund I, Llc Modifying restricted images
US20080028422A1 (en) * 2005-07-01 2008-01-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US8732087B2 (en) 2005-07-01 2014-05-20 The Invention Science Fund I, Llc Authorization for media content alteration
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US9092928B2 (en) * 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
KR100776429B1 (ko) * 2005-09-13 2007-11-16 엘지전자 주식회사 공기조화기의 제어방법
TWI388216B (zh) * 2005-10-13 2013-03-01 Lg Electronics Inc 用於編碼／解碼之方法與裝置
KR100703704B1 (ko) * 2005-11-02 2007-04-06 삼성전자주식회사 동적 영상물 자동 생성 장치 및 방법
JP2007199764A (ja) * 2006-01-23 2007-08-09 Mitsubishi Electric Corp マルチメディアコンテンツ編集装置
JP2007207328A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
JP2007215097A (ja) * 2006-02-13 2007-08-23 Matsushita Electric Ind Co Ltd 表示データ生成装置
KR100765781B1 (ko) * 2006-04-13 2007-10-12 삼성전자주식회사 Ｘｈｔｍｌ 데이터 생성 방법 및 장치
EP2037679A4 (en) 2006-06-23 2012-07-11 Sharp Kk PICTURE DISPLAY ARRANGEMENT, PICTURE DISPLAY METHOD, PICTURE DISPLAY SYSTEM, IMAGE TRANSFER ARRANGEMENT, PROGRAM AND RECORDING AID
JP4087420B2 (ja) * 2006-06-28 2008-05-21 シャープ株式会社 画像表示装置、画像データ送信装置、画像表示システム、画像表示方法、画像表示プログラムおよびその記録媒体、並びに、画像データ送信プログラムおよびその記録媒体
JP4102847B2 (ja) * 2006-06-30 2008-06-18 シャープ株式会社 画像データ提供装置、画像表示装置、画像表示システム、画像データ提供装置の制御方法、画像表示装置の制御方法、制御プログラム、および、記録媒体
JP2008035503A (ja) * 2006-06-30 2008-02-14 Sharp Corp 画像データ提供装置、画像表示装置、画像表示システム、画像データ提供装置の制御方法、画像表示装置の制御方法、制御プログラム、および、記録媒体
WO2008007905A1 (en) * 2006-07-12 2008-01-17 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
JP4068119B2 (ja) * 2006-07-25 2008-03-26 シャープ株式会社 映像表示装置、映像表示方法、映像表示プログラム、および記録媒体
JP4060336B2 (ja) * 2006-07-31 2008-03-12 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツデータ送信装置、コンテンツデータ送信方法、プログラム、及び、記録媒体
US20080292268A1 (en) * 2006-08-10 2008-11-27 Sharp Kabushiki Kaisha Content reproducing apparatus, content reproducing method, content reproducing system, content providing apparatus, content data structure, content reproducing program, and storage medium
CN101523910B (zh) * 2006-08-11 2011-12-28 夏普株式会社 图像显示装置、图像数据提供装置、图像显示系统、图像显示系统的控制方法、控制程序以及记录介质
US8161339B2 (en) * 2006-08-11 2012-04-17 Sharp Kabushiki Kaisha Content playback apparatus, content playback method, and storage medium
JP4926852B2 (ja) * 2006-08-11 2012-05-09 シャープ株式会社 画像表示装置、画像データ提供装置、画像表示システム、画像表示システムの制御方法、制御プログラム、および、記録媒体
US8390615B2 (en) 2006-08-11 2013-03-05 Sharp Kabushiki Kaisha Image display apparatus, image data providing apparatus, and image display system providing a control script for executing basic functions
JP4926853B2 (ja) 2006-08-11 2012-05-09 シャープ株式会社 画像表示装置、画像データ提供装置、画像表示システム、画像表示システムの制御方法、制御プログラム、および、記録媒体
JP4860561B2 (ja) * 2006-08-11 2012-01-25 シャープ株式会社 画像表示装置、画像データ提供装置、画像表示システム、画像表示システムの制御方法、制御プログラム、および、記録媒体
US8144006B2 (en) * 2006-09-19 2012-03-27 Sharp Laboratories Of America, Inc. Methods and systems for message-alert display
US7991019B2 (en) 2006-09-19 2011-08-02 Sharp Laboratories Of America, Inc. Methods and systems for combining media inputs for messaging
EP2071837A4 (en) * 2006-09-25 2010-12-15 Korea Electronics Telecomm DEVICE AND METHOD FOR DIGITAL POST DESCRIPTION AND PROCESS WITH A SCENE REPRESENTATION LANGUAGE
US20080178087A1 (en) * 2007-01-19 2008-07-24 Microsoft Corporation In-Scene Editing of Image Sequences
WO2008093782A1 (ja) * 2007-02-02 2008-08-07 Sony Corporation 情報処理装置および方法、並びにプログラム
JP5106877B2 (ja) * 2007-02-02 2012-12-26 株式会社日立システムズ 教材作成システム及び登録管理システム
EP2109045B1 (en) * 2007-02-02 2017-05-03 Sony Corporation Information processing device, method, and program
US20080235590A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of accessing a multimedia timeline
US20080235247A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of adding data objects to a multimedia timeline
US20080235403A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System, method, and device to wirelessly communicate multimedia timeline data
US20080235763A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of providing security for a multimedia timeline
US20080235595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Device and method for accessing a multimedia timeline
US8745501B2 (en) * 2007-03-20 2014-06-03 At&T Knowledge Ventures, Lp System and method of displaying a multimedia timeline
US20080231595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Remote control apparatus and method of interacting with a multimedia timeline user interface
US8213499B2 (en) * 2007-04-04 2012-07-03 General Instrument Corporation Method and apparatus for context address generation for motion vectors and coefficients
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
JP5221904B2 (ja) * 2007-06-27 2013-06-26 株式会社スプラシア 動画像配信システム及び動画像配信方法
KR100898697B1 (ko) * 2007-07-11 2009-05-20 주식회사 케이티프리텔 이동통신망에서 ｍｍｓ 메시지의 동영상 변환 서비스 제공방법 및 시스템
KR101382501B1 (ko) 2007-12-04 2014-04-10 삼성전자주식회사 동영상 촬영 편집 장치 및 방법
US20090150480A1 (en) * 2007-12-08 2009-06-11 Xiyuan Xia Publishing Assets Of Dynamic Nature In UPnP Networks
US20090150520A1 (en) * 2007-12-07 2009-06-11 David Garcia Transmitting Assets In UPnP Networks To Remote Servers
US20090150570A1 (en) * 2007-12-07 2009-06-11 Bo Tao Sharing Assets Between UPnP Networks
US20090150481A1 (en) * 2007-12-08 2009-06-11 David Garcia Organizing And Publishing Assets In UPnP Networks
KR101648711B1 (ko) 2008-01-14 2016-08-24 삼성전자주식회사 스크립트를 기반으로 하는 동영상 부가정보 처리 장치 및방법
JP2009239479A (ja) * 2008-03-26 2009-10-15 Toshiba Corp 情報表示装置、情報表示方法及びプログラム
JP5208560B2 (ja) 2008-03-31 2013-06-12 株式会社東芝 情報映像化配信装置、情報映像化配信方法及びプログラム
EP2324417A4 (en) 2008-07-08 2012-01-11 Sceneplay Inc SYSTEM AND METHOD FOR PRODUCING MEDIA
JP5649273B2 (ja) * 2008-08-25 2015-01-07 株式会社東芝 情報処理装置、情報処理方法および情報処理プログラム
US8860865B2 (en) * 2009-03-02 2014-10-14 Burning Moon, Llc Assisted video creation utilizing a camera
US8818172B2 (en) * 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
US8862173B2 (en) 2009-12-10 2014-10-14 Motorola Solutions, Inc. Method for selecting media for delivery to users at an incident
CN103002407B (zh) * 2011-09-14 2018-01-16 中兴通讯股份有限公司 一种在彩信中传输3d图片的方法及系统
CN103460707B (zh) 2012-02-09 2017-05-17 松下知识产权经营株式会社 多媒体内容数据编辑服务器、多媒体内容数据编辑方法及集成电路
US9154456B2 (en) 2012-04-17 2015-10-06 Trenda Innovations, Inc. Messaging system and method
US9674583B2 (en) * 2012-06-27 2017-06-06 Google Inc. Discovering and displaying media content related to an electronic document
KR101974368B1 (ko) * 2013-04-19 2019-05-02 삼성전자주식회사 가전기기 및 그 제어방법
US9864490B2 (en) * 2013-08-12 2018-01-09 Home Box Office, Inc. Coordinating user interface elements across screen spaces
US10008239B2 (en) 2013-09-08 2018-06-26 Kayihan ERIS System of automated script generation with integrated video production
WO2015047398A1 (en) * 2013-09-30 2015-04-02 Hewlett-Packard Development Company, L.P. Overlays to modify data objects of source data
CN103873929A (zh) * 2014-04-11 2014-06-18 北京鸿达以太文化发展有限公司 一种对多媒体数据的播放方法和装置
TW201601529A (zh) * 2014-06-20 2016-01-01 Insyde Software Corp 互動式多媒體資料即時分享方法及系統、電腦程式產品
WO2016024646A1 (ko) * 2014-08-11 2016-02-18 주식회사 다빈치소프트웨어연구소 웹 콘텐츠 저작 장치 및 그 제어방법
TWI566593B (zh) * 2015-02-17 2017-01-11 沈國曄 應用於多媒體視訊服務的互動系統及其方法
US9805036B2 (en) * 2015-06-05 2017-10-31 Disney Enterprises, Inc. Script-based multimedia presentation
US10320724B2 (en) * 2015-08-28 2019-06-11 International Business Machines Corporation Message assistant via smart templates
CN110945874A (zh) * 2017-07-31 2020-03-31 索尼公司 信息处理装置、信息处理方法以及程序

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US158866A (en) * 1875-01-19 Improvement in monuments
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
JP2701724B2 (ja) 1993-12-28 1998-01-21 日本電気株式会社 シナリオ編集装置
US5862372A (en) * 1994-11-16 1999-01-19 Morris; Robert M. Visually oriented computer implemented application development system utilizing standardized objects and multiple views
EP0758115B1 (en) 1995-07-11 2002-10-16 Matsushita Electric Industrial Co., Ltd. Scenario editor for multimedia data and scenario reproducing apparatus
EP0757485B1 (en) 1995-07-31 2008-03-05 Kabushiki Kaisha Toshiba Interactive television system
JP2994996B2 (ja) * 1995-12-01 1999-12-27 松下電器産業株式会社 マルチメディア編集装置
US5864338A (en) * 1996-09-20 1999-01-26 Electronic Data Systems Corporation System and method for designing multimedia applications
KR100473720B1 (ko) * 1996-11-13 2005-04-14 마츠시타 덴끼 산교 가부시키가이샤 시스템 스트림 재생 제어정보 편집장치 및 그 방법과 그 방법을기록한 기록매체
US6006241A (en) * 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6397387B1 (en) * 1997-06-02 2002-05-28 Sony Corporation Client and server system
AUPO960197A0 (en) * 1997-10-03 1997-10-30 Canon Information Systems Research Australia Pty Ltd Multi-media editing method and apparatus
JP3657424B2 (ja) * 1998-03-20 2005-06-08 松下電器産業株式会社 番組情報を放送するセンター装置と端末装置
AUPP624698A0 (en) * 1998-09-29 1998-10-22 Canon Kabushiki Kaisha Method and apparatus for multimedia editing
US6670966B1 (en) * 1998-11-10 2003-12-30 Sony Corporation Edit data creating device and edit data creating method
EP1024661A3 (en) * 1999-01-27 2002-07-17 Hughes Electronics Corporation Pictographic electronic program guide
WO2001035056A1 (en) * 1999-11-12 2001-05-17 Intercontinental Travel Services, Inc. System for automated multimedia presentation utilizing presentation templates
US6704120B1 (en) * 1999-12-01 2004-03-09 Xerox Corporation Product template for a personalized printed product incorporating image processing operations
US6493677B1 (en) * 2000-01-19 2002-12-10 Jones Soda Co. Method and apparatus for creating and ordering customized branded merchandise over a computer network
JP2001346270A (ja) 2000-05-31 2001-12-14 Toshiba Corp 情報システムおよび電子サービスガイド方法
AUPQ867700A0 (en) * 2000-07-10 2000-08-03 Canon Kabushiki Kaisha Delivering multimedia descriptions
JP4595228B2 (ja) 2000-08-24 2010-12-08 ソニー株式会社 受信装置および方法、送信装置および方法、記録媒体、並びに通信システム
JP2002091881A (ja) 2000-09-13 2002-03-29 Casio Comput Co Ltd メッセージデータ送受信システム
US7260785B2 (en) * 2001-01-29 2007-08-21 International Business Machines Corporation Method and system for object retransmission without a continuous network connection in a digital media distribution system
JP2002324036A (ja) * 2001-02-16 2002-11-08 Sony Computer Entertainment Inc 電子メールシステム、電子メール作成方法、プログラム、その記録媒体
JP2002262223A (ja) 2001-03-01 2002-09-13 Dentsu Inc 広告画面のオーサリングシステムおよびオーサリング方法
JP2003006555A (ja) 2001-06-25 2003-01-10 Nova:Kk コンテンツ配信方法、シナリオデータ、記録媒体およびシナリオデータ生成方法
US7450826B2 (en) * 2001-10-09 2008-11-11 Warner Bros. Entertainment Inc. Media program with selectable sub-segments
US7480864B2 (en) * 2001-10-12 2009-01-20 Canon Kabushiki Kaisha Zoom editor
US20040001106A1 (en) * 2002-06-26 2004-01-01 John Deutscher System and process for creating an interactive presentation employing multi-media components
US7165224B2 (en) 2002-10-03 2007-01-16 Nokia Corporation Image browsing and downloading in mobile networks
GB0230097D0 (en) * 2002-12-24 2003-01-29 Koninkl Philips Electronics Nv Method and system for augmenting an audio signal
US7987423B2 (en) * 2006-10-11 2011-07-26 Hewlett-Packard Development Company, L.P. Personalized slide show generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
없음

Also Published As

Publication number Publication date
EP1571842A4 (en) 2008-03-05
AU2003289312A1 (en) 2004-06-30
EP2343887B1 (en) 2014-09-24
US20090222489A1 (en) 2009-09-03
US8156417B2 (en) 2012-04-10
KR20060016135A (ko) 2006-02-21
US20110041071A1 (en) 2011-02-17
EP2343887A3 (en) 2012-02-15
US20060053468A1 (en) 2006-03-09
JP3987025B2 (ja) 2007-10-03
US8640025B2 (en) 2014-01-28
EP1571842A1 (en) 2005-09-07
EP2343886B1 (en) 2014-09-24
EP2343886A3 (en) 2012-02-15
KR20050084251A (ko) 2005-08-26
WO2004054254A1 (ja) 2004-06-24
EP2343886A2 (en) 2011-07-13
EP2343887A2 (en) 2011-07-13
US20110035649A1 (en) 2011-02-10
JP2004343683A (ja) 2004-12-02
US8650477B2 (en) 2014-02-11

Similar Documents

Publication Publication Date Title
KR100713751B1 (ko) 용이하게 멀티미디어 콘텐츠를 작성할 수 있는 멀티미디어 데이터 처리 장치
JP4684626B2 (ja) 情報表示装置および情報表示方法、情報表示プログラム、記録媒体
KR100690819B1 (ko) 콘텐츠 서비스의 북마크 기능을 갖는 휴대 단말기 및 그동작 방법
KR101397433B1 (ko) 미디어 파일 재생 장치에서 이퀄라이저를 설정하는 방법 및이를 위한 장치
EP2191472B1 (en) Method for editing playlist and multimedia reproducing apparatus employing the same
JP2006523418A (ja) インタラクティブコンテンツ同期化装置及び方法
KR101010490B1 (ko) 데이터 처리 장치
JP4369494B2 (ja) マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
KR100561125B1 (ko) 멀티미디어 템플릿 파일을 기억한 기억 매체, 템플릿 파일 작성 장치, 템플릿 파일 편집 장치, 템플릿 파일 배신 서버, 템플릿 파일 배신 시스템, 템플릿 파일 작성 프로그램을 기억한 기억 매체 및 템플릿 파일 편집 프로그램을 기억한 기억 매체
JP4369434B2 (ja) マルチメディアデータ処理装置、マルチメディアデータ処理プログラム、およびマルチメディアコンテンツデータのデータ構造
JP4954247B2 (ja) マルチメディアデータ処理装置およびマルチメディアコンテンツデータのデータ構造
JP3987096B2 (ja) マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
EP1482727A2 (en) Process of navigation for the selection of documents associated with identifiers, and apparatus implementing the process.
US20080218632A1 (en) Method and apparatus for modifying text-based subtitles
CN109348290A (zh) 控制视频播放的方法、装置、可读存储介质及电子设备
KR100986417B1 (ko) 이동통신 단말기의 멀티미디어 메세지 제어 방법
CN1726708B (zh) 能轻松地预备多媒体内容的多媒体数据处理设备
KR20060031750A (ko) 동영상 재생 및 프로그래밍 기능을 위한 멀티미디어데이터를 기록한 저장매체, 그 재생장치 및 재생방법
JP4546431B2 (ja) 曲データ提供装置、曲データ提供方法、曲データ切り出しプログラム
JP2006209782A (ja) データ処理装置

Legal Events

Date Code Title Description
A201 Request for examination
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130404

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150422

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180413

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee