WO2004054254A1 - 容易にマルチメディアコンテンツを作成できるマルチメディアデータ処理装置 - Google Patents

容易にマルチメディアコンテンツを作成できるマルチメディアデータ処理装置 Download PDF

Info

Publication number
WO2004054254A1
WO2004054254A1 PCT/JP2003/015824 JP0315824W WO2004054254A1 WO 2004054254 A1 WO2004054254 A1 WO 2004054254A1 JP 0315824 W JP0315824 W JP 0315824W WO 2004054254 A1 WO2004054254 A1 WO 2004054254A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
script
unit
template
multimedia
Prior art date
Application number
PCT/JP2003/015824
Other languages
English (en)
French (fr)
Inventor
Tatsuo Sudoh
Junsei Satoh
Ryota Yagi
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to EP03780709A priority Critical patent/EP1571842A4/en
Priority to US10/532,936 priority patent/US8156417B2/en
Priority to CN200380106017.5A priority patent/CN1726708B/zh
Priority to AU2003289312A priority patent/AU2003289312A1/en
Publication of WO2004054254A1 publication Critical patent/WO2004054254A1/ja
Priority to US12/463,317 priority patent/US8650477B2/en
Priority to US12/909,644 priority patent/US8640025B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • Multimedia data processing device that can easily create multimedia contents
  • Japanese Patent Laid-Open Publication No. 2002-140720 discloses that when an e-mail with a script attached is received, an attached script is extracted and executed in conjunction with opening the e-mail.
  • a receiving device that generates a script reflecting an action executed in the receiving device and controls output of a processing result so as to output the script to a sender of the mail. ing.
  • the sender can execute the desired action on the sender.
  • Japanese Patent Application Laid-Open No. 2002-3242004 in order to easily create an e-mail to which multimedia data has been added, an e-mail template describing content layout information is prepared. According to the template layout information A method for creating an email including multimedia is described.
  • a multimedia data processing program is a program for causing a computer to execute processing of a template including a script, and is referred to by the script according to the script included in the template.
  • the data output step is executed.
  • a multimedia data processing program is a program for causing a computer to execute processing of a template including a script.
  • a script execution step for reproducing the referenced data, a terminal function selection step for selecting a function of the multimedia data processing device according to the script included in the template, and the script is referred to using the selected function.
  • An action decision step that decides what kind of processing to perform on the data an action execution step that executes the decided processing, a data change step that changes the data referenced from the script, and a script and change With the data Without even to execute and your script 'data output step of outputting one.
  • the data structure of the multimedia content data is a multimedia processed in a data processing device including: a reproducing unit for reproducing the media data; and an input unit for receiving an input operation from a user.
  • the data structure of the multimedia content data is a multimedia content processed in a data processing device including a playback unit that plays back the media data and an input unit that receives an input operation from a user.
  • the data structure of the data a playback description section indicating media data to be played back by the playback section of the data processing apparatus, an input operation accepted by the input section of the data processing apparatus, and processing corresponding to the input operation.
  • a schedule description section for managing the valid time of the media data reproduced in the reproducing section of the data processing device and the valid time of the input operation accepted in the input section. Is processed, and the data is processed at a predetermined time based on the schedule description section.
  • a predetermined media data is reproduced by a reproducing unit of the device, a predetermined input operation is received by a input unit of the data processing device at a predetermined time, and the data processing device is specified by a predetermined time at a predetermined time based on the input operation description unit. To execute a process corresponding to the input operation.
  • FIG. 3 is a diagram showing a program stored in the storage unit 130 of the mobile phone 1 and a flow of data processing in the mobile phone 1.
  • FIG. 4 is a block diagram showing a functional configuration of the playback / editing engine program 131.
  • FIG. 5 is a diagram schematically showing the data structure of a script.
  • FIG. 6, FIG. 7, and FIG. 47 are diagrams showing specific examples of the script.
  • FIG. 8 is a diagram showing a specific example of a table that defines the correspondence between a startup application and a UI to be displayed at that time.
  • FIG. 9 is a flowchart showing script playback and editing processing in the mobile phone 1.
  • FIG. 10 is a diagram showing a specific example of a time table for media data drawing processing.
  • FIG. 11 is a diagram showing a specific example of an event processing time table.
  • FIG. 12 is a diagram showing a specific example of a UI allocation status display time table.
  • FIG. 13 is a flowchart showing a process corresponding to the event executed in step S18.
  • FIG. 14 is a flowchart showing the processing for determining the processing content in step S24.
  • FIG. 15 is a flowchart showing the menu processing in step S25.
  • FIG. 16 is a diagram showing a specific example of the menu screen.
  • FIG. 17 is a flowchart showing the link moving process in step S27.
  • FIG. 18 is a flowchart showing the application execution process in step S26.
  • FIG. 19 and FIG. 20 are flowcharts showing the processing when executing the lines 20 and 23 of the script shown in FIG.
  • FIG. 21, FIG. 22, FIG. 33, and FIG. 85 are diagrams showing specific examples of transition of the display screen at the time of executing the script.
  • FIG. 25 is a flowchart showing the data acquisition process in step S64.
  • FIG. 26 is a flowchart showing the script rewriting process in step S66.
  • FIG. 27 is a flowchart showing the event time table reference processing in step S33.
  • FIG. 29 and FIG. 30 are diagrams showing specific examples of the scribing.
  • FIG. 31 and FIG. 32 are flowcharts showing the processing when executing the nineteenth line and the twenty-first line of the script shown in FIG.
  • FIG. 34 is a flow chart showing script mail attachment processing in mobile phone 1.
  • FIG. 35 is a flowchart showing a script slide deletion process in the mobile phone 1.
  • FIG. 36 is a diagram showing a specific example of a menu screen at the time of slide deletion processing.
  • FIG. 37 is a flowchart showing a script slide rewriting prohibition process in the mobile phone 1.
  • FIG. 38 is a flowchart showing the event processing in step S96.
  • FIG. 39 is a diagram showing a specific example of a menu screen during preview processing.
  • FIG. 40 is a diagram showing a specific example of screen transition during preview processing.
  • FIG. 45 is a diagram showing a specific example of screen transition of rewriting by the camera activation application.
  • FIG. 48 is a block diagram showing a functional configuration of a reproduction / editing engine program 131 in a modification of the mode of the second embodiment.
  • FIG. 50 and FIG. 61 are diagrams showing specific examples of scripts used in the terminal on the creation side.
  • FIGS. 51A to 51D are diagrams showing specific examples of thumbnail display for each scene. It is a figure showing the example of a screen transition of rewriting by force application.
  • FIG. 55 is a diagram showing a specific example of a table holding correspondence between transmitted messages and templates used to create the messages.
  • FIGS. 56A to 56C are diagrams showing examples in which the media data referred to by the reference information of the script and the acquired data are combined at the time parameter value of the event.
  • FIGS. 57A and 57B are diagrams showing an example of writing the acquired data at the time point of the time parameter value of the event.
  • FIG. 63 is a diagram showing a specific example of an action management tape.
  • FIG. 64 is a diagram showing a specific example of a scene event table.
  • FIG. 65 is a flowchart showing the change processing in step S125.
  • FIG. 66 is a flowchart showing the image photographing application activation process in step S102.
  • FIG. 68 is a diagram showing a specific example of a script describing whether slide editing is permitted or prohibited.
  • FIG. 69 is a flowchart showing a process of determining permission to execute slide editing in step S42.
  • FIG. 70 is a diagram showing a specific example of a script including a drawing information description section when the script is divided into a drawing information description section and a user navigation description section.
  • FIG. 71 is a diagram showing a specific example of a script including a user navigation description section when a script is divided into a drawing information description section and a user navigation description section.
  • FIGS. 72D to 72D are diagrams showing specific examples of screen transition when a script is executed.
  • FIG. 74 is a diagram showing a configuration of a data communication system including a television which is a multimedia data processing device according to the third embodiment.
  • FIG. 75 is a diagram showing a specific example of a script including a drawing information description section that describes drawing information according to the third embodiment.
  • FIG. 76 is a diagram showing a specific example of a script including a program guide information description section for describing program information according to a time zone in the third embodiment.
  • FIG. 77 is a diagram showing a specific example of a script including a description relating two scripts.
  • FIG. 78 is a flowchart showing the flow of a process of determining content to be received and reproduced.
  • FIG. 79 is a flowchart showing the flow of reproduction and editing processing when the script is written in S MIL.
  • FIG. 8OA and FIG. 80B are diagrams showing specific examples of a data structure for storing a script analysis result.
  • FIG. 81 is a view showing a specific example of the result of squaring of the scribing.
  • FIG. 82 is a diagram showing a specific example of the analysis result of the updated script.
  • FIG. 83 is a diagram showing a specific example of a script that has been subjected to a rewriting process for adding media data.
  • a data communication system includes a template providing server (hereinafter, simply referred to as a server) 2 for providing a template described in a script language, and reproduction of a provided template.
  • a playback / editing device 1 which is a multimedia data processing device for performing editing and editing.
  • the server 2 and the playback / editing device 1 communicate with each other via the Internet, a public line network, or a broadcast network. Do. Although not shown in FIG. 1, the server 2 and the playback 'editing device 1 communicate with each other via a dedicated line such as a LAN (Local Area Network). Communication may be performed, or wireless communication may be performed. As shown in FIG.
  • LAN Local Area Network
  • the playback / editing device 1 corresponds to a mobile phone, a PDA (Personal Digital Assistants), a personal computer, or the like.
  • the playback / editing device 1 is a mobile phone 1 The description is made assuming that
  • the reproduction / editing device 1 which is a multimedia data processing device includes an information communication device, a video / audio device, a home appliance, an amusement device, and the like.
  • information communication devices include information devices such as personal computers and home servers, and communication devices such as telephones.
  • portable information communication devices such as mobile phones, PDAs (Personal Digital Assistants), notebooks, and wearable computers. Equipment is applicable.
  • digital still cameras as image recording equipment
  • digital video cameras and HDD (Hard Disk Drive) recorders as video recording equipment
  • DVD (Digital Versatile Disk) recorders video tape recorders
  • video playback Devices such as DVD players and video players
  • voice recorders such as Pois recorders
  • music recording and playback devices Silicon audio recorders or players
  • MD (Mini Disk) recorders or players and CD (Compact Disk) recorders or players
  • television receivers and radios which are broadcast data reception and playback devices.
  • household appliances include appliances such as refrigerators, washing machines, air conditioners, vacuum cleaners, air purifiers, and microwave ovens.
  • the playback / editing device 1 which is a multimedia data processing device includes the above-described information processing, communication, image recording / playback, video recording / playback, audio recording / playback, music recording / playback, broadcast data reception / playback. It may be a device having a plurality of functions such as the above, and other than the above-mentioned devices, in any form as long as the device is capable of reproducing or editing multimedia data. No problem.
  • the media data is any one of image (still image) data, moving image data, audio data, music data, text data, and animation data, or streaming data received from an external device.
  • Broadcast data and multimedia data in the present embodiment refer to data obtained by integrating one or more media data, and the data may be described in a human-readable text format. May be in a binary format that cannot be read directly.
  • a script is a layout information on a screen and a time axis on each media data included in the multimedia data in order to display, play, and edit the multimedia data. It refers to a description format that defines attributes such as playback start and end timing, playback speed, and volume. Control information such as starting an external application, acquiring information from inside and outside the device, and transitioning links to other multimedia data can also be described in the script.
  • a mobile phone 1 included in the data communication system of the present embodiment includes an input / output unit 140 serving as an interface with a user, a CPU (Central Processing Unit), and the like. Then, a control unit 120 for controlling the entire mobile phone 1, a communication unit 110 for communicating with other devices, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. It is configured to include a storage unit 130 configured to store a program executed by the control unit 120, intermediate data of the program, data received from another computer, and the like.
  • a storage unit 130 configured to store a program executed by the control unit 120, intermediate data of the program, data received from another computer, and the like.
  • the above-described input / output unit 140 includes a key code input device 144 including numeric buttons such as “1” and “2” and direction buttons such as “R” and “L”; A display such as an LCD (Liquid Crystal Display) that displays information to the user, a microphone that inputs audio, a speaker that outputs audio, and a camera that captures and inputs images 4 9 and inclusive.
  • a key code input device 144 including numeric buttons such as “1” and “2” and direction buttons such as “R” and “L”
  • a display such as an LCD (Liquid Crystal Display) that displays information to the user, a microphone that inputs audio, a speaker that outputs audio, and a camera that captures and inputs images 4 9 and inclusive.
  • LCD Liquid Crystal Display
  • the control unit 120 includes a timer therein.
  • the server 2 included in the present data communication system is a server constructed by a general personal computer or the like, and a detailed description of its configuration will not be given here.
  • FIG. 3 shows a program stored in the storage unit 130 of the mobile phone 1 and a flow of data processing in the mobile phone 1.
  • the flow of the data processing shown in FIG. 3 is realized in the mobile phone 1 by the control unit 120 executing each program stored in the storage unit 130. That is, the template received by the communication unit 110 from the server 2 is reproduced and edited by the control unit 120 executing the program stored in the storage unit 130.
  • control unit 120 causes the UI (User Interface) content display program 132 to be executed based on the processing result of the playback / edit engine program 131.
  • UI User Interface
  • control unit 120 executes the audio data reproduction program 135 based on the processing result of the reproduction engine program 131, and reproduces the audio data included in the template with the speaker 148. Let it.
  • control unit 120 executes the audio data recording program 1336 based on the processing result of the playback / editing engine program 131, and inputs the sound from the microphone 144 and the key code input device. Accepts various instructions from 14 2. Further, the control unit 120 executes the game data display / playback program 1337 based on the processing result of the playback engine program 131, and plays the animation data included in the template on the display 144. Let it.
  • control unit 120 executes the text editing program 1339 based on the processing result of the playback engine program 131, and executes the text information and various instructions from the key code input device 144. Accept.
  • control unit 120 executes a WWW (World Wide Web) browser program 151 based on the processing result of the playback / edit engine program 131 to play back the WWW content.
  • WWW World Wide Web
  • control unit 120 executes the WWW browser program 151, based on the processing result of the playback / edit engine program 131, and acquires data from the server 2 via the communication unit 110. .
  • the control unit 120 executes the mail program 152 based on the processing result of the playback engine engine 131, and executes the text information and various instructions from the key input device 144. Accept and send mail. Further, the control unit 120 causes the call program 153 to be executed based on the processing result of the playback / editing engine program 131, and starts a call.
  • control unit 120 causes the position acquisition program 154 to be executed based on the processing result of the playback / editing engine program 131, and the current position of the terminal concerned from the GPS (Global Positioning System) 150. To get.
  • GPS Global Positioning System
  • control unit 120 executes the address book program 155 based on the processing result of the playback / editing engine program 131, and stores the main address and telephone number stored in the storage unit 130. To get.
  • control unit 120 causes the file acquisition program 156 to be executed based on the processing result of the playback / editing engine program 131, and the content of a specific media type stored in the storage unit 130. Get data.
  • control unit 120 has the above-mentioned image shooting program 133, audio data recording program 133, text editing program 139, WWW browser program 151, position acquisition program 154, address. Based on the information received by executing the book program 155 and the file acquisition program 156, the playback and editing engine program 131 is executed, and a template including a script and media data is created. To process.
  • script reading unit 1311 reads a script included in the template received by communication unit 110. Then, the script reading section 1311 passes the read script to the parsing section 1312.
  • the time management unit 1314 creates a time table based on the analysis result passed from the syntax analysis unit 1312. Then, the time management unit 13 14 passes the created time table to the execution control unit 13 13.
  • the event management section 1315 detects the occurrence of an event. And Ibe The event management unit 1315 passes the detection result to the execution control unit 1313.
  • the execution control section 13 13 3 includes the time table passed from the time management section 13 14, the detection result of the event occurrence passed from the event management section 13 15, and the syntax analysis section. Execute the script based on the analysis result passed from 1 3 1 2. Further, the execution control unit 1313 instructs the script writing unit 1316 to rewrite the script based on the detection result of the event occurrence passed from the event management unit 1315. The script writing unit 1316 rewrites the stabilization based on the instruction from the execution control unit 1313, and passes the rewritten stabilization to the execution control unit 1311. Then, the rewritten script is executed by the execution control unit 13 13.
  • the template provided from server 2 is processed in mobile phone 1.
  • some or all of the scripts and media data included in the template are stored in mobile phone 1.
  • the information may be stored in the storage unit 130, and in this case, each unit illustrated in FIG. 3 or FIG. 4 processes the script or media data read and acquired from the storage unit 130. .
  • the script processed by mobile phone 1 in the present embodiment is characterized by comprising a drawing information description portion and a user navigation information description portion.
  • the drawing information description part contains reference information for media data such as image (still image) data, video data, audio data, music data, text data, animation data, streaming data, and broadcast data.
  • media data such as image (still image) data, video data, audio data, music data, text data, animation data, streaming data, and broadcast data.
  • URL Uniform Resource Locators
  • script definition input events that execute link movement, application start-up, and display, and functions. (Operation) and execution conditions are described.
  • Examples of the above-mentioned functions include capturing a moving image or still image by starting a camera, obtaining text data input by a user by starting a text editor, obtaining voice data by starting a voice recorder, obtaining a media data file by starting a file selection application, and equipment. Automatic acquisition of time information, location information, address book, schedule information, and other information from inside or outside the device, launching device applications such as WWW browser / mailer, making phone calls, playing melody, lighting lights, etc. Calling of device-specific functions, transition of links to execution of other scripts, switching of TV channels, transmission of control signals for controlling other devices such as air conditioner temperature setting, and the like.
  • both the drawing information description part and the user navigation information description part include a time-series description. That is, reference information to media data is described in time series in the drawing information description part, and events are described in time series in the user navigation information description part.
  • the script can include media data such as image (still image) data, music data, text data, animation data, streaming data, and broadcast data. Multimedia data that can be reproduced one after another in a sequence can be described.
  • events can be described in chronological order, it is possible to execute an event such as, for example, starting a camera at a predetermined time or time zone while playing back a script. Furthermore, by describing such a camera activation event in such a manner that it is associated with an action to be replaced with a predetermined image, when the user presses a predetermined key during a time period when the above-mentioned predetermined image is to be displayed, the script is executed. When the camera is started immediately after the playback is stopped and the shooting operation is performed here, the application returns to the playback of the star and the image just shot is displayed at the predetermined position. .
  • FIGS. 6 and 7 show specific scripts.
  • lines 12 to 15 include the unique identification information (actionid) for each action, the execution format of the action (tyP e), and the action content.
  • actionid the unique identification information for each action
  • execution format of the action the execution format of the action
  • image the action execution area
  • the identification information act_movie replaces the information displayed in the Image area with the file stored in the movie.
  • (Replace) Content is defined.
  • the fifth line of FIG. 6 describes a hint on how to use the script on the mobile phone 1.
  • the script is a template I (temp 1 ate) for navigating the content editing operation.
  • the content is view-only content (cont e nts) without navigating the editing operation.
  • paragraphs from line 18 to line 39 of the body part (line 17 to line 40) of the script include media data functions executed in parallel. Is described. Further, lines 19 and 37 describe that these media data actions are performed in chronological order.
  • lines 20 to 25, lines 26 to 31, and lines 32 to 36 contain the following paragraphs: 0 to 8 seconds, 8 seconds, to 15 seconds, and Describes media data and actions to be executed in the 15th to 19th seconds.
  • lines 21 to 23 of FIG. 7 describe that image data, text data, and audio data are to be reproduced at 0 to 8 seconds, respectively.
  • Line 24 describes that the UI of “movie start” is displayed, and when the select key is operated, the action of the identification information act_moVie is executed.
  • Line 30 displays the "voice recording" UI, and after 2 seconds the timer , And the fact that the act or yong which is the identification information act-speech is to be executed is described.
  • the name following “src2” is the source ID indicating the source of the event.
  • the display of the UI may be described in a script as shown in Fig.
  • a table that defines the correspondence between the start application and the UI to be displayed at that time as shown in Fig. 8 is set in advance.
  • the table is stored in the storage unit 130 of the mobile phone 1 and is automatically read out and displayed when the control unit 120 of the mobile phone 1 executes the playback / editing engine program 1331. May be.
  • the script processed by the mobile phone 1 according to the present embodiment is executed in a chronological order, and includes a drawing information description portion and a user napget information description portion for describing the drawing information and the user navigation information. And characterized in that: Note that, in the present embodiment, a case will be described in which a mobile phone 1 processes a script in a human-readable text format, but the script may be in a binary format that is not directly readable by humans.
  • FIGS. 70 and 71 show each script divided into a drawing information description section and a user navigator information description section, and the script in which the drawing information description section is described. And a starvite in which a user navigation information description section is described.
  • a still image top.jpg and text top.txt are displayed during the start of script execution from 0 to 2 seconds. It is described that a still image, image, jpg, music data bg m. Amr, and text message, txt are reproduced between 2 and 8 seconds after the start of execution.
  • the script in which the user navigation information description section shown in FIG. 71 is described is one of the media data in which reference information is described as a reference destination in FIG.
  • This script implements the function to replace and insert the message, jpg and message, txt. ,
  • the relationship between the script including the drawing information description section and the script including the user navigator description section is as follows: for example, a script including a description section connecting the two scripts is prepared separately, such as a script shown in FIG. 73. It is preferable that a set of these scripts and a media data group referred to by the script including the drawing information description part be used as a template.
  • the corresponding user navigation description is included in the script including the drawing information description section.
  • the script including the drawing information description part is played back, and the script including the user navigator description part is executed at a predetermined timing while playing the script including the drawing information description part. You can also transition to the input screen.
  • script playback and editing processing in mobile phone 1 in the present embodiment will be described using the flowchart in FIG.
  • the process shown in the flowchart of FIG. 9 is performed by the control unit 120 of the mobile phone 1 reading and executing the playback / editing engine program 131, whose configuration is shown in FIG. 4, from the storage unit 130. It will be realized.
  • step S12 communication unit 110 acquires a star from server 2 via the Internet.
  • step S13 the control unit 120 executes the reproduction / editing engine program 131, and reads the script acquired by the script reading unit 1311.
  • step S14 the parsing unit 1312 parses the read script.
  • the syntax analysis method here is not limited to the present invention, but may be a general syntax analysis method.
  • step S15 the time management unit 1314 creates a time tape information as shown in FIGS. 10 to 12 based on the syntax analysis result.
  • FIG. 10 is a diagram showing a specific example of a time table of the media drawing process created by the time management unit 1314 based on the drawing information description portion of the script shown in FIGS. 6 and 7.
  • FIGS. 11 and 12 are specific examples of the event processing time tape information and the UI assignment status display time table created based on the user navigating information description portion of the script shown in FIGS. 6 and 7.
  • the correspondence between the line time and the processing according to the event that occurred at that time, and the correspondence between the script execution time and the allocation of the UI operated at that time are shown in the time table as shown in Figs. 10 to 12. Create in bull format.
  • the time table of the media drawing process shown in FIG. 10 is based on the drawing information description portion of the script shown in FIGS. First Imag e.mpg), text 1 (FirstText.txt), and music 1 (FirstSoun d.smf) are played, and script execution starts from 8 seconds to 15 seconds.
  • the execution control unit 1313 sets the time parameter value (S31) at that time, that is, the script execution time. And the source ID (S32), ie The generated event is determined by referring to the identification information of the event generation source and the event generation processing time table (S33) created by the time management unit 1314. Further, from the determined event and the event occurrence processing time tape, the processing content associated with the event when the event occurs is determined. If there are a plurality of determined processes (YES in S34), in step S35, the execution control unit 1313 displays a selection screen on the display 144 or the like, and executes the plurality of processes. The selection of the process to start from now is accepted.
  • step S41 causes the execution control unit 13 to edit the slide as shown in FIG. A menu screen is displayed on the display 1 4 4 to accept the selection of slide deletion processing or slide rewriting prohibition processing.
  • the execution control unit 1313 executes the time parameter value, the media Drawing processing timetable and event processing tie
  • the media table S171 to S173
  • the media drawing process and the event process that are valid at that time are determined.
  • the schedule description portion of the media drawing process and the event process determined to be valid at that time is deleted from the script, and the script is rewritten (S174).
  • step S17 If it is determined in the above processing that the event detected in step S17 is an event for executing the link movement processing, the processing shown in FIG. 17 is executed in step S27. That is, referring to FIG. 17, first, in step S51, the execution control unit 1313 refers to the parameter indicating the link destination included in the script, and in step S52, the script Interrupts the execution of. Then, in step S53, the script of the link destination is acquired based on the parameters referred to in step S51. Thereafter, the process returns to step S13 of the process shown in FIG. 9, and the acquired script is read out and executed in the same manner.
  • step S 26 when it is determined that the event detected in step S 17 is an event for executing the application execution processing, the processing shown in FIG. 18 is executed in step S 26. I do. That is, referring to FIG. 18, first, the execution control unit 13 13 displays a screen for selecting whether or not to start the application. Display 1 4 4 When the activation of the application is selected (YES in S61), in step S62, the execution control unit 1313 activates a predetermined application. Next, when it is necessary to acquire predetermined data from the application (YES in S63), the data is acquired in step S64. Then, if the script being executed needs to be rewritten (YES in S65), in step S66, the script writing unit 1316 executes a script rewriting process.
  • the execution control section 13 13 resumes the reproduction of the script after the above-described script rewriting processing is completed.
  • the playback of the script can be started from the start of the playback of the script, the playback of the script at that time, or the start of the rewritten section. Any of the above configurations may be employed, or a configuration may be employed in which the user selects from the above options.
  • the execution control unit 1313 refers to the current playback position of the script (S2101). This playback position indicates the playback position at the time when the pause was performed in step S21.
  • the execution control unit 1 3 1 3 subtracts the current play position of the script from the total play time of the script acquired in step S 2 102, and plays the rest of the script.
  • the time is calculated (S2103).
  • step S62 This concludes the description of the specific processing for determining the point at which script playback is restarted.
  • execution control unit 1313 acquires from the script the size of the drawing area in which the media data to be replaced is displayed (S2001).
  • the size of the drawing area is generally described in the header of the script. Specifically, assuming that the script is shown in Fig. 6, the numerical values 176 and 120 specified for the width (width) and height (height) of the drawing area are obtained from the description of eight lines in Fig. 6. Is done.
  • the execution control unit 1313 determines the minimum shooting size that can include the drawing area in the image shooting application. (S2002).
  • the image capture application sets the capture size as width 600 x height 480, width 120 x height 160, or width 120 x height 128. If it can be selected, in step S 200, the shooting size width 600 x height 480 power S, the width 1 76 x height 120 in the specific example drawing area It is determined that the size can be included.
  • the execution control unit 1 3 1 3 specifies the shooting size in the image shooting application as width 600 x height 480 based on the determination result in step S 200, and performs image shooting. Activate the application (S2003).
  • the application to be activated is a voice recording application by performing the same processing as described above, it is possible to record only for the time described in the script. Also, if the application to be launched is a file acquisition application, it is necessary not to select a file larger than the remaining available size so that the total file size of the message does not exceed the maximum size that can be sent. it can. If the application to be started is a file acquisition application that acquires moving images, it is possible to prevent files with a playback time longer than the playback time described in the script from being selected.
  • step S62 the application startup in step S62 is completed, and the process returns to the application execution process shown in the flowchart of FIG.
  • step S64 the data acquisition in step S64 will be described with reference to the flowchart of FIG.
  • execution control section 1313 receives data from the application started in step S62 (S111). If the acquired data does not conform to the playback time and the area size described in the script (NO in S112), the execution control unit 1313 sets the acquired data to conform to the script description. Convert (S113).
  • step S113 the media data and the acquired data referred to by the reference information described in the script in advance are synthesized, and a new script or media is newly created. Key data may be generated.
  • this generation processing can be described as follows with reference to FIGS. 56A to 56C.
  • the “original media data” has a playback time of 5 seconds and is described so as to be played back from the initial time tl. ing.
  • the user instructs by an appropriate user interface to replace the “original media data” part corresponding to the playback time at the time of capturing the acquired data with “acquired data”.
  • the content and playback time of "data to be played back after rewriting" are the data shown in the lower part of FIG.
  • One method of realizing the processing to obtain such an effect is that, when instructed by the execution control unit 13 13, a predetermined portion of the original media data, which overlaps the shooting time and the reproduction time of the acquired data, Image data shooting is obtained by rewriting and saving with the editing program 1 3 3.
  • Another realization method is to write a script expressing the new start time and playback time of each of the original media data and the acquired data into a script writing unit 1 instructed by the execution control unit 13 13 3 16 is to generate and write.
  • the script written by the script writing unit 1316 in the above specific example is the script shown in FIG. 56 and FIG. 56C.
  • whether to add the portion from time t3 to time t4, which does not overlap with the original media data, to the generated data in the acquired data should be specified by an appropriate user interface or the like. Is preferred.
  • a part of the acquired data may be extracted by performing a process of extracting only audio data from the moving image data, and new media data may be generated.
  • the size of the memory area occupied by the acquired data exceeds a predetermined value in steps S112 and S113 during the above processing, for example, the color reduction of image data and the sampling rate of audio data are performed. Processing to reduce the data size, such as reduction of the data size, may be performed. If the acquired data does not conform to the description of the script in step S112 during the above-described processing, the predetermined media data stored in the storage unit 130 of the mobile phone 1 instead of the acquired data ( Default data) may be used.
  • step S64 the data acquisition in step S64 is completed, and the process returns to the application execution process shown in the flowchart of FIG.
  • step S66 the script rewriting process in step S66 will be described with reference to the flowchart in FIG.
  • execution control unit 1313 sets a case where the sum of the media data and the acquired data included in the script is equal to or less than a specified value stored in storage unit 130 (S1). If YES in 21), the script writing section 1316 executes the script writing process (S122). If not (NO in S122), the execution control unit 1313 displays on the display 144 that the script cannot be rewritten (S123). Note that in step S122 described above, the execution control unit 1313 can also change the time at which the acquired data is written using the time parameter value of the event referenced in step S31. . For example, as a script rewriting process, in a script such as that shown in Fig.
  • key operations are performed four seconds after the start of playback, as shown in Fig. 57B, to start the camera application and start media data.
  • the camera starts shooting from the time the key operation is performed (4th second), and after the shooting is completed, the movie 2 obtained from the camera application is displayed at the time the key operation is performed (4th second) Write from to the end of playback of video 1, which is the original media data (the 8th second).
  • the media data is written at the time parameter value of the event, but it can be written at a time point after or before the time parameter value of the event.
  • step S66 ends, and the process returns to the application execution process shown in the flowchart in FIG.
  • step S81 the execution control unit 13 13 Determines the corresponding processing content (action) with reference to the event processing time table whose specific example is shown in FIG. That is, with reference to the event processing time tape information, in step S82, the execution control unit 13 13 activates the corresponding application, ie, the image photographing program 13 3 and the audio data recording program 13 36 .
  • step S83 the image capturing program 133 displays the UI required for image capturing on the display 144, and uses the camera 144 and the key code input device 144. To generate image data.
  • the voice data recording program 1336 uses the microphone 1446 to generate voice data.
  • a data synthesis program (not shown) synthesizes the generated image data and audio data. In this way, in step S83, new data is obtained.
  • UI components that change in time series with the execution of the script and that navigate the user are displayed on the display 144 as shown in the screen after (C) in Fig. 21 . More specifically, the character string “Start Camera” is displayed on the display 144 when the second frame of the execution screen shown in (C) of FIG. 21 is reproduced. If the user does not perform any operation in this state, the script is executed to the end shown on the screen in (D) of Fig. The display automatically returns to the screen shown in (B) of FIG. In this example, a character string is displayed as a UI component, but an icon image such as a camera or a moving image may be displayed, or voice or music may be played.
  • the UI part of "Camera start” is displayed in (B) of Fig. 22 at the time when it is displayed on the display 144. Movie is played back as shown.
  • the “Camera Activated” UI component is activated during that time period. Is preferably not displayed.
  • the UI component of “retake” is changed to be displayed in that time zone.
  • the edited script is reproduced with all UI parts displayed and reproduced invalidated. That is, the character string “Retake” shown in (B) of FIG. 22 is not displayed, and even if the user performs a predetermined key operation, the image photographing program 133 is not executed.
  • the preview process will be described later.
  • the playback is performed by parsing unit 1 of editing engine program 13 1.
  • the script is analyzed in 3 1 2, and the execution control unit 1 3 13 responds to the image data display / reproduction program 1 3 4 from 0 to 10 seconds in the top area in the image data “Product Image”. .jpg " Instruct (SI 41).
  • the image data display / reproduction program 134 displays and reproduces the image data “Product Image.jpg” on the display 144 in 0 to 10 seconds.
  • step S142 the execution control unit 1313 sends the text display / reproduction program 134 a 0 to 10 seconds. Then, an instruction is given to display and reproduce the text data “ProducTesc.txt” in the midd 1 e area (S 142). Then, the text data display / reproduction program 138 displays and reproduces the text data “ProducctDecs.txt” on the display 144 in 0 to 10 seconds.
  • the processing shown in FIG. 32 is executed. That is, referring to FIG. 32, when the event management unit 1315 detects the occurrence of an event that the se1ect key has been operated, the execution control unit 1313 refers to the event processing time table and performs the corresponding processing. The content (action) is determined (S151). Then, the execution control unit 1313 refers to the event processing time table and activates the WWW browser program 151, which is the corresponding application (S152).
  • the WWW browser program 151 acquires the WWW content via the communication unit 110 and displays it on the display 144 (S153).
  • the execution control unit 1313 ends the WWW browser program 151 (S154).
  • mobile phone 1 of the present data communication system includes communication unit 110 Get the script and execute the playback process.
  • the mobile phone 1 executes the above processing, analyzes the script, and starts executing the script.
  • step S93 only a time table for media data drawing processing is created based on the drawing information description portion of the script.
  • step S94 the portion based on the user information information description portion of the script is not executed, but the portion based on the drawing information description portion is executed.
  • the execution control unit 1313 executes a process corresponding to the event (S966).
  • the processing according to the event here will be described later. A description will be given using a chin.
  • the script definition input event is invalid, and only the system event and the fixed input event are processed in step S96.
  • step S95 upon receiving the event occurrence detection information from the event management unit 1315, the execution control unit 1312 executes the script being executed. Is temporarily stopped (S191).
  • step S95 If the event detected in step S95 is an event indicating that the execution of the script has reached the end of the execution point of the script (YES in S192), the execution control unit 1 3 13 ends the execution of the script (S 19 3), returns the processing to step S 94 of FIG. 23, and starts the execution of the script again. That is, the script execution is returned to the beginning of the execution point again, and the execution of the script is repeated from the beginning.
  • step S95 determines the processing content based on the detected event (S194).
  • the procedure for executing the menu process is the same as that for the playback / editing process. However, as shown in Fig. 39, the menu screen where the editing process is an option instead of the preview process is presented on the display 144. Is done.
  • the reproduction editing process shown in FIG. 9 is executed.
  • the playback editing process When the playback editing process is started from the menu, the playback editing process may be started from the start time of the script, or may be started from the script execution time at that point in the preview processing.
  • the destination of the script execution point may be the start time of the media rendering process to be executed next, the start time of the media rendering process to be executed after the next, and the skip process in addition to the above-mentioned start time. If the script execution is continued without being selected, the execution point may be a point at which a predetermined time elapses.
  • the execution control unit 1313 writes the script to the storage unit 130 (S163). Then, the execution control unit 1313 sets the above-described script and multimedia data as attached files, and starts the mail program (S164).
  • a mobile phone 1 which is a multimedia data processing apparatus according to the second embodiment plays back a stabiliton including media data playback order information, writes and modifies the media data, and plays back the media data.
  • a script including order information is created will be described.
  • the template shown in FIG. 41A is composed of three scenes 1 to 3.
  • the transition of these scenes can be considered when the time information is described and followed in the script in the template, when the switching time set in the terminal is followed, or when the user performs the scene switching explicitly. It is not particularly specified in the present invention.
  • FIGS. 41A and 41B the still image of scene 2 shown in (B) of FIG. 41A and the text of scene 3 shown in (C) of FIG. This shows a case where the user makes a change by exchanging as shown in (E) of FIG. 41B and (F) of FIG. 41B, respectively.
  • FIG. 47 a specific example of a script for realizing the screen display of FIG. 41A is shown in FIG.
  • the script shown in FIG. 47 is a script indicating that scenes representing a group of media data to be played back in parallel are played back sequentially. That is, referring to FIG. 47, the descriptions of the 15th to 17th lines, 18th to 21st lines, and 22nd to 25th lines correspond to scenes 1 to 25, respectively. Scene 3 is shown.
  • line 19 Describes that the image is to be reproduced
  • line 20 describes that the text is to be reproduced.
  • the script is shown as using such a description method.However, the description method of the script is not limited in the present invention, and any type of sequence information for reproducing the media can be described. It can be in any format.
  • a sequence refers to a temporal order relationship during multimedia data playback.
  • a sequence is defined as a child element in a specific section on the playback time axis (specifically, “scene” or “slide”, more specifically, enclosed in par> tags or seq> tags in SMIL. Section). Understand the order relationship of each section on the time axis, and create and maintain a data structure that can be used as a clue when starting / stopping playback of each section (including media data), loading / unloading media data By doing so, the sequence is managed. Specifically, the sequence is managed by using a time table as shown in FIGS. The time when each section starts and ends on the playback time axis is called the sequence change point. In the specific example of the UI allocation status display time table shown in FIG. 7, the 0th, 8th, 15th, and 19th seconds correspond to a change in the sequence.
  • FIG. 42 is a block diagram showing a functional configuration of a playback / edit engine program 1331 of the mobile phone 1 which is the multimedia data processing device according to the present embodiment.
  • the functions shown in FIG. 42 are realized in the mobile phone 1 by the control unit 120 executing the reproduction / editing engine program 1331 stored in the storage unit 130.
  • the functions of the playback / editing engine program 13 1 of the mobile phone 1 in the present embodiment are as follows: a template storage unit 100 0, a selection unit 100 1, and script data Time storage unit 1002, script execution unit 1003, user change data determination unit 1004, terminal function selection unit 1005, terminal function execution unit 1 0 0 6, Data change unit 1 0 7, Script data change determination unit 1 0 8, Script data output unit 1 0 9, Output script data storage unit 1 10 0, Data And an embedding section 101.
  • the template storage unit 100 stores one or more templates received and passed by the receiving unit 1015.
  • the template stored in the template storage unit 1000 may include both a script as shown in FIG. 47 and sample media data (still image or text) used by the script. Normal force Only the media data is managed separately in the form of a file or the like, exists on a server connected via a network, or is in another form if accessible when using a template. Is also good.
  • the selection unit 1001 receives selection of a template from the user in the list of templates displayed in a selectable manner.
  • the template selection screen in Figure 21 is a typical example.
  • the script 'data storage unit 1002 temporarily stores the script and media data included in the template. Since the script includes a rewritable part, the template is usually copied and stored in the temporary storage area, ie, the script / data storage unit 1002. However, if the media data itself is not modified, such as rewriting the file name, there is no need to duplicate the media data.
  • the script execution unit 1003 is a core part of the present invention.
  • the star is for realizing a display in which scenes are switched. It is preferable that the script execution unit 1003 manages scenes and times at the time of script reproduction by creating a template in advance.
  • the terminal function selection unit 1005 selects a terminal function required to change the part selected by the user change data determination unit 1004 from the functions of the mobile phone 1. For example, when the portion selected by the user change data determination unit 104 is a still image, the terminal function selection unit 1005 selects a function for replacing the still image. Further, for example, when the mobile phone 1 is a camera-equipped terminal, it is preferable that the terminal function selection unit 1005 can select a function of activating the camera.
  • the terminal function execution unit 1006 obtains media data using the terminal function selected by the terminal function selection unit 1005. Then, the terminal function executing unit 1006 outputs the obtained media data to the data changing unit 1007.
  • the data change unit 1007 replaces the media data input from the terminal function execution unit 1006 with the original media data referenced from the script.
  • the template may be a still image, but after the change, another type of media data such as a moving image or text may be used.
  • the reference information to the media data is If the information is described by a name, the changed media data is stored in a file format, and the name is changed to the file name described in the script, or the changed media data is originally a file. In the case where the file is managed with a name in the format, it is necessary to rewrite the part designating the media data in the script with the file name.
  • the data change determination unit 1008 accepts from the user that the change of the script and the media data has all been completed. Then, the script (1) The data change confirming unit 1008 outputs to the script 'data output unit 1009 that the change of the script and the media data is confirmed.
  • the script data output section 1109 outputs the changed and confirmed script and media data.
  • the script data output unit 1009 typically transmits to another terminal or server via an electronic mail such as an MMS (Multimedia Messaging Service). Then, the script 'data output unit 109 outputs the script and the media data output to another terminal or the like to the output script data storage unit 11010 and the data embedding unit 101.
  • MMS Multimedia Messaging Service
  • the data storage unit 11010 holds the script and the media data output from the script 'data output unit 1109.
  • the data embedding unit 101 extracts media data from the output script and media data, and embeds the media data in the template.
  • the selection unit 1001 reads out the template stored in the template storage unit 1000 or the template acquired from another device, and selectively displays the template.
  • a list is displayed on 4 and the user's selection is accepted (S110).
  • the selection unit 1001 displays the first or representative screen of the template for each template as a thumbnail. It is preferable to display the template together with the title of the template.
  • step S1100 the script execution unit 1003 executes a playback / editing process of editing according to a user's instruction (S1101).
  • the reproduction / edit processing in step S1101 will be described later in detail. Further, it is general that there is a mode in which the user can switch between playback and editing, but it is preferable that editing and playback can be performed simultaneously.
  • the script 'data change determination unit 1008 checks whether the user has completed the script change (S1102). If the script has been changed (YES in S 1102), the script data output unit 1009 outputs one or both of the determined script and data (S 1103)
  • step S1101 the reproduction and editing processing of the template according to the present embodiment ends.
  • step S1101 the reproduction / edit processing in step S1101 will be described with reference to the flowchart in FIG.
  • step S1200 the data change unit 1007 refers to such a media management table and performs reproduction / editing in scene units around j.
  • the script 'data output unit 1009 outputs data using the function of the terminal (S1201).
  • the format of the data output in step S1201 is Stills, videos, music, text, etc. can be anything.
  • the output processing in step S1201 will be described later in detail using a subroutine.
  • the script execution unit 1003 determines whether the mode is the correction mode or the reproduction mode (S1202).
  • the mode is the correction mode or the reproduction mode (S1202).
  • switching to the playback mode may not be necessary just by executing the correction mode.
  • a mail / message sent from another terminal is used as a new template, it is usually in the playback mode, so it is preferable to be able to change to the correction mode.
  • step S1202 If the mode is the correction mode in step S1202 (YES in S1202), an input is further acquired from the user, and the user change data determination unit 1004 determines what input is (S1203).
  • step S1203 if the input from the user is an instruction to play back the previous scene (“previous scene” in S1203), the script execution unit 1003 executes Scene display processing is performed (S1204).
  • step S1203 if the input from the user is an input for instructing a script change process (“change process J” in S1203), the data changing unit 1007 (S1205) The change operation in step S1205 will be described later in detail using a subroutine.
  • step S1205 the script 1 data change determination unit 1008 determines whether or not to obtain the input from the user and confirm again (S1206). As a result of the determination in step S1206, if the changed script is to be confirmed again (“re-output” in S1206), the process returns to step S1201, and the script data output unit 1009 returns to step S1201. Output the data after changing the same scene. This is effective when the scene cannot be confirmed only by changing the still image, such as when the still image and music are output simultaneously.
  • step S 1202 N in S 1 202 O
  • step S 1207 the main reproduction and the editing processing are ended.
  • step S1201 the data output processing in step S1201 will be described in detail with reference to the flowchart of FIG.
  • user change data determination section 1004 determines whether or not there is change data in the scene (S110). The determination processing in step S1110 will be described later in detail with reference to a subroutine.
  • the terminal function selection unit 1005 selects a change means of the change data determined in step S110 (S111).
  • the functions that can be used for playback differ depending on the terminal, as shown in Figure 49.
  • selecting functions it is possible to take into account differences not only in terminal hardware but also in terminal software.
  • step S111 it is preferable to select a function that can be used according to the terminal, such as a still image file selection and a video camera selection. It should be noted that the process for selecting the change means of the change data in step S111 will be described later in detail with reference to a subroutine.
  • the data change unit 1007 displays change guidance on the display 144 as an operation guide (S11112).
  • the change guidance displayed in step S111 is a guide function for selecting a file to be replaced when, for example, replacing a still image, and typically includes displaying a still image file selection button or the like. Point.
  • the data change unit 1007 dynamically generates such guidance, so that the user can easily be informed of how to change the guidance.
  • the script execution unit 1003 executes the output of the scene together with the change guidance displayed in step S111 (S113).
  • the script data storage unit 1002 supports, for each change data, the change means (application) selected in step S111 and the guidance for the change generated in step S111.
  • the set of input events to be performed is stored in the scene event template (S114).
  • the script data storage unit 1002 stores the scene event table of FIG.
  • the change data “Still image 2” is “F1” key event “Image capture” application and “F 2” key event “ It can be changed by the “file retrieval” application, and the change data “Text 2” is memorized that it can be changed by the “file retrieval” application triggered by the “selectj key event”.
  • the multimedia data processing device is a television receiver (hereinafter, abbreviated as a television)
  • a television a television receiver
  • the data communication system includes a television 6 which is a multimedia data processing device, a template providing server 2 which provides a template described in a script language, TV program information and program related information. And a WWW server 4 for providing Internet content, and a broadcast station 5 for providing programs to the television 6 via broadcast waves.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

マルチメディア処理装置は、メディアデータが時系列的に記述される描画情報記述部分と、イベントとアクションとの対応付け、および実行条件とが時系列的に記述されるユーザナビゲート情報記述部分とからなるデータ構造のスクリプトを実行する。マルチメディア処理装置がこのスクリプトを実行することで、時系列的にメディアデータが再生され、それと同時に、時系列的に可能な操作を示すユーザインタフェースが出力される。そして、所定のタイミングでユーザインタフェースに従って操作することで、メディアデータの挿入などの、所定の処理を実行させることができる。

Description

容易にマルチメディアコンテンツを作成できるマルチメディアデータ処理装置 技 分野
本発明は、 マルチメディアデータ処理装置、 マルチメディアデータ処理プログ ラム、 およびマルチメディアコンテンツデータのデータ構造に関し、 特に、 容易 にマルチメディアコンテンツを作成できるマルチメディァデータ処理装置、 マル チメディアデータ処理プログラム、 およびマルチメディアコンテンツデータのデ ータ構造に関する。 背景技術
昨今の携帯電話等の通信機器の普及に伴って、 作成したマルチメディァコンテ ンッを他のユーザに送信したり、 他のユーザに対してマルチメディアコンテンッ を作成させたりするようなコミュニケーションが広がっている。
し力 し、 マルチメディアコンテンツを作成する際には、 煩雑な操作手順を踏む 必要である場合が多く、 操作に慣れていないユーザによっては作成が困難である こともある。
そこで、 ユーザの操作を簡略化することを目指した手法が考えられている。 このようなコミュ-ケーシヨンのツールとして、 特開 2 0 0 2— 1 4 0 2 7 0 号公報は、 スクリプトが添付きれたメールを受信すると、 メール開封と連動して 添付スクリプトを抽出して実行する受信装置であって、 さらに、 受信装置におい て実行されたァクションを反映したスクリプトを生成して、 メールの送信元に対 して出力するように処理結果の出力を制御する受信装置について開示している。 このような特開 2 0 0 2— 1 4 0 2 7 0号公報に記載の受信装置を用いることに より、 送り手側が所望したァクションを受け手側に実行させることができる。 さらに特開 2 0 0 2— 3 2 4 0 3 6号公報には、 マルチメディァデータが付加 された電子メールを容易に作成するために、 コンテンツのレイァゥト情報を記述 したメールテンプレートを用意し、 そのテンプレートのレイァゥト情報にしたが つてマルチメディアを含むメールを作成する手法が記載されている。
上述の特開 2 0 0 2— 1 4 0 2 7 0号公報に記載の受信装置でスクリブトの生 成を実行させることでマルチメディアコンテンツの作成をさせる場合には、 複雑 なスクリプトを記述して受信装置に送信する必要があるという問題がある。 また、 実行されたスクリプトは受け手側の操作を誘導するものでないために、 必ずしも 送り手側が所望したァクションが得られない場合もあるという問題もあった。 さらに、 メールなどのメッセージ作成者側でメールの作成を行なうことが容易 ではないという問題もあった。 すなわち、 単にスクリプトとメッセージ作成者が 用意したデータとを組合わせたメッセージを作成することは困難である。
マルチメディアデータを含むメッセージゃメールの作成を容易にする技術とし て、 特開 2 0 0 2— 3 2 4 0 3 6号公報に開示されている、 レイァゥト情報が記 載されたテンプレートを用いて、 文字 ·静止画などの配置を容易にする技術は、 P C (Personal Computer) で見る 1枚の大きな画面の中に複数の画像やテキス トが混在するメールを作成する場合には有効に働くものの、 Aのシーン、 Bのシ —ン、 Cのシーンというように、 時間的にメーゾレ画面が不連続的に変化してコン テンッが切替わるメールを作成する場合については言及されておらず、 特許文献 2に開示されている技術を用いても、 時間的に遷移するマルチメディアデータを ユーザが作成するのは困難であるという問題があった。
さらに、 従来のデータ処理装置である携帯電話や携帯端末などにおいて、 端末 固有に保有されるカメラ、 マイク、 および住所録など各種機能を利用して、 メッ セージの内容を書換えることはできないという問題もある。
さらに、 従来のデータ処理装置である作成者側の端末では、 マルチメディアコ ンテンッの作成に使用したスクリブトの一部を書換え、 そのスクリブトが再生側 で利用されることで、 最小限のスクリプトの書換えで作成と再生とができるよう にはなっていないという問題もある。
さらに、 従来のデータ処理装置である作成者側の端末では、 マルチメディアコ ンテンッの作成に利用したスクリプトコマンドもしくはタグのうち、 送信相手が 不要であるもの、 もしくは標準手順に沿わないものを削除することができないと いう問題もあった。 本発明は、 このような課題を角早決するためになされたものであって、 容易にマ ルチメディアコンテンツを作成できるマルチメディァデータ処理装置、 マルチメ ディアデータ処理プログラム、 およぴマルチメディアコンテンツデータのデ—タ 構造を提供することを第 1の目的とし、 さらに、 相手に所望のマルチメディアコ ンテンッの作成 ·編集操作を確実に行なわせることのできるマルチメディアデー タ処理装置、 マルチメディアデータ処理プログラム、 およびマルチメディアコン テンッデータのデータ構造を提供することを第 2の目的とする。 発明の開示
本発明においては、 上述の課題を解決するために、 以下に示されるマルチメデ ィァデータ処理装置が提供される。 すなわち、 上記目的を達成するために本発明 のある局面に従うと、 マルチメディアデータ処理装置は、 テンプレートに含まれ るスクリプトにしたがって、 スクリプトから参照されるデータを再生するスクリ ブト実行部と、 スクリプトから参照されるデータのうち、 ユーザが変更可能な部 分を判別するユーザ変更可能データ判別部と、 変更可能な部分を変更するデータ 変更部と、 スクリプトと変更されたデータとの少なくとも一方を出力するスクリ ブト ·データ出力部とを備える。
本発明の他の局面に従うと、 マルチメディアデータ処理装置は、 テンプレート に含まれるスクリプトにしたがって、 スクリプトから参照されるデータを再生す るスクリプト実行部と、 テンプレートに含まれるスクリプトにしたがって、 当該 マルチメディアデータ処理装置の機能を選択する機能選択部と、 テンプレートに 含まれるスクリプトにしたがって、 選択された機能を用いて、 スクリプトから参 照されるデータに対してどのような処理を行なうかを決定するァクション決定部 と、 決定された処理を実行するアクション実行部と、 スクリプトから参照される データを変更するデータ変更部と、 スクリプトと変更されたデータとの少なくと も一方を出力するスクリプト ·データ出力部とを備える。
本発明のさらに他の局面に従うと、 マルチメディアデータ処理装置は、 スクリ プトを含んで構成されるテンプレートの一覧を取得するテンプレート一覧取得部 と、 テンプレート一覧を表示するテンプレート一覽表示部と、 表示されたテンプ レートの一覧から所望の 1つあるいは複数のテンプレートを選択するテンプレー ト選択部と、 選択されたテンプレートを他装置ヘメッセージとして送付するメッ セージ送付部とを備える。
本発明のさらに他の局面に従うと、 マルチメディアデータ処理装置は、 スクリ ブトを含んで構成されるテンプレートを取得するテンプレート取得部と、 放送局 より番組を取得する番組取得部と、 インターネットを介して提供されるインター ネットコンテンツを取得するコンテンツ取得部と、 テンプレートに含まれるスク リプトにしたがって、 スクリプトから参照されるデータと、 番組取得部で取得さ れた番組と、 コンテンツ取得部で取得されたインターネットコンテンツとの少な くとも 1つを再生するスクリプト実行部とを備える。
本発明のさらに他の局面に従うと、 マルチメディァデータ処理プログラムは、 スクリプトを含んで構成されるテンプレートの処理をコンピュータに実行させる プログラムであって、 テンプレートに含まれるスクリプトにしたがって、 スクリ ブトから参照されるデータを再生するスクリプト実行ステップと、 スクリプトか ら参照されるデータのうち、 ユーザが変更可能な部分を判別するユーザ変更可能 データ判別ステップと、 変更可能な部分をマルチメディアデータ処理装置の機能 を用いて変更するデータ変更ステップと、 スクリプトと変更されたデータとの少 なくとも一方を出力するスクリプト ■データ出力ステップとを実行させる。 本発明のさらに他の局面に従うと、 マルチメディアデータ処理プログラムは、 スクリプトを含んで構成されるテンプレ ^トの処理をコンピュータに実行させる プログラムであって、 テンプレートに含まれるスクリプトにしたがって、 スクリ ブトから参照されるデータを再生するスクリプト実行ステップと、 テンプレート に含まれるスクリプトにしたがって、 マルチメディアデータ処理装置の機能を選 択する端末機能選択ステップと、 選択された機能を用いて、 スクリプトから参照 されるデータに対してどのような処理を行なうかを決定するアクション決定ステ ップと、 決定された処理を実行するアクション実行ステップと、 スクリプトから 参照されるデータを変更するデータ変更ステップと、 スクリプトと変更されたデ ータとの少なくとも一方を出力するスクリブト 'データ出力ステップとを実行さ せる。 本発明のさらに他の局面に従うと、 マルチメディアコンテンツデータのデータ 構造は、 メディアデータを再生する再生手段と、 ユーザからの入力操作を受付け る入力手段とを含むデータ処理装置において処理されるマルチメディアコンテン ッデータのデータ構造であって、 データ処理装置の再生手段で再生されるメディ ァデータを示す再生記述部と、 データ処理装置の入力手段において受付ける入力 操作と入力操作に対応した処理とを示す入力操作記述部とを含み、 マルチメディ ァコンテンッデータが処理されることで、 データ処理装置の再生手段で所定のメ ディァデータを再生させ、 データ処理装置の入力手段で所定の入力操作を受付け、 入力操作記述部に基づいて、 データ処理装置に所定の入力操作に応じた処理を実 行させる。
本発明のさらに他の局面に従うと、 マルチメディアコンテンツデータのデータ 構造は、 メディアデータを再生する再生部と、 ユーザからの入力操作を受付ける 入力部とを含むデータ処理装置において処理されるマルチメディアコンテンツデ ータのデータ構造であって、 データ処理装置の再生部で再生されるメディアデー タを示す再生記述部と、 データ処理装置の入力部において受付ける入力操作と入 力操作に対応した処理とを示す入力操作記述部と、 データ処理装置の再生部にお いて再生されるメディアデータの有効時間と、 入力部において受付ける入力操作 の有効時間とを管理するスケジュール記述部とを含み、 マルチメディアコンテン ッデータが処理されることで、 スケジュール記述部に基づいて、 所定の時間にデ ータ処理装置の再生部で所定のメディアデータを再生させ、 所定の時間にデータ 処理装置の入力部で所定の入力操作を受付け、 入力操作記述部に基づいて、 デー タ処理装置に、 所定の時間に所定の入力操作に応じた処理を実行させる。 図面の簡単な説明
第 1図は、 本実施の形態におけるデータ通信システムの構成を示す図である。 第 2図は、 データ通信システムに含まれる再生 ·編集装置である携帯電話 1の ハードゥエァ構成の具体例を示すブロック図である。
第 3図は、 携帯電話 1の記憶部 1 3 0に記憶されるプログラムと、 携帯電話 1 におけるデータ処理の流れとを示す図である。 第 4図は、 再生'編集エンジンプログラム 1 3 1の機能構成を示すブロック図 である。
第 5図は、 スクリプトのデータ構造を模式的に示した図である。
第 6図、 第 7図、 および第 4 7図は、 スクリプトの具体例を示す図である。 第 8図は、 起動アプリケーションとそのときに表示させる U Iとの対応を規定 するテーブルの具体例を示す図である。
第 9図は、 携帯電話 1における、 スクリプトの再生および編集処理を示すフロ 一チャートである。
第 1 0図は、 メディアデータ描画処理のタイムテーブルの具体例を示す図であ る。
第 1 1図は、 イベント処理タイムテーブルの具体例を示す図である。
第 1 2図は、 U I割当状況表示タイムテーブルの具体例を示す図である。 第 1 3図は、 ステップ S 1 8で実行されるイベントに応じた処理を示すフロー チヤ一トである。
第 1 4図は、 ステップ S 2 4における処理内容の決定処理を示すフローチヤ一 トである。
第 1 5図は、 ステップ S 2 5におけるメニュー処理を示すフローチャートであ る。
第 1 6図は、 メェユー画面の具体例を示す図である。
第 1 7図は、 ステップ S 2 7におけるリンク移動処理を示すフローチャートで ある。
第 1 8図は、 ステップ S 2 6におけるアプリケーション実行処理を示すフロー チャートである。
第 1 9図および第 2 0図は、 第 7図に示されるスクリプトの第 2 0行および第 2 3行を実行時の処理を示すフローチャートである。
第 2 1図、 第 2 2図、 第 3 3図、 および第 8 5図は、 スクリプト実行時の表示 画面の遷移の具体例を示す図である。
第 2 3図は、 携帯電話 1における、 スクリプトのプレビュー処理を示すフロー チャートである。 第 2 4図は、 ステップ S 6 2におけるアプリケーション起動処理を示すフロー チヤ一トである。
第 2 5図は、 ステップ S 6 4におけるデータ取得処理を示すフローチャートで ある。
第 2 6図は、 ステップ S 6 6におけるスクリプト書換処理を示すフローチヤ一 トである。
第 2 7図は、 ステップ S 3 3におけるイベントタイムテーブル参照処理を示す フローチャートである。
第 2 8図は、 論理シンボルとハードウェアキーとの対応を規定するテーブルの 具体例を示す図である。
第 2 9図および第 3 0図は、 スクリブトの具体例を示す図である。
第 3 1図および第 3 2図は、 第 3 0図に示されるスクリブトの第 1 9行および 第 2 1行を実行時の処理を示すフローチャートである。
第 3 4図は、 携帯電話 1における、 スクリプトのメール添付処理を示すフロー チャートである。
第 3 5図は、 携帯電話 1における、 スクリプトのスライド削除処理を示すフロ 一チャートである。
第 3 6図は、 スライド削除処理時のメェユー画面の具体例を示す図である。 第 3 7図は、 携帯電話 1における、 スクリプトのスライド書換禁止処理を示す フローチャートである。
第 3 8図は、 ステップ S 9 6におけるィベント処理を示すフローチャートであ る。
第 3 9図は、 プレビュー処理時のメュユー画面の具体例を示す図である。 第 4 0図は、 プレビュー処理時の画面遷移の具体例を示す図である。
第 4 1 A図は、 テンプレート書換前の表示画面の具体例を示す図である。 第 4 1 B図は、 テンプレートの書換後の画面遷移の具体例を示す図である。 第 4 2図は、 第 2の実施例の形態における再生 '編集エンジンプログラム 1 3 1の機能構成を示すブロック図である。
第 4 3図は、 再生'編集エンジンプログラムにおける処理を示すフローチヤ一 トである。
第 4 4図は、 ステップ S 1 2 0 1におけるデータ出力処理を示すフローチヤ一 トである。
第 4 5図は、 カメラ起動アプリケーションによる書換の画面遷移の具体例を示 す図である。
第 4 6図は、 ステップ S 1 1 0 1における再生 ·編集処理を示すフローチヤ一 トである。
第 4 8図は、 第 2の実施例の形態の変形例における再生 ·編集エンジンプログ ラム 1 3 1の機能構成を示すブロック図である。
第 4 9図は、 端末に応じて同じスクリプトであっても選択される機能が異なる ことを模式的に示す図である。
第 5 0図および第 6 1図は、 作成側の端末で使用されるスクリプトの具体例を 示す図である。
第 5 1 A図〜第 5 1 D図は、 シーンごとのサムネイル表示の具体例を示す図で ある。 力アプリケーシヨンによる書換の画面遷移の具体例を示す図である。
第 5 3図は、 ファイル取得アプリケーションによる書換の画面遷移の具体例を 示す図である。
第 5 4 A図および第 5 4 B図は、 複数の処理の中から今から開始する処理の選 択を受付けるための選択用の画面の具体例を示す図である。
第 5 5図は、 送信したメッセージと、 メッセージを作成するのに使用したテン プレートとの対応を保持するテーブルの具体例を示す図である。
第 5 6 A図〜第 5 6 C図は、 スクリプトの参照情報で参照されるメディアデー タと取得データとをィベントの時間パラメータ値の時点で合成する例を示す図で ある。
第 5 7 A図および第 5 7 B図は、 取得データをイベントの時間パラメータ値の 時点に書込む例を示す図である。
第 5 8図は、 切替えテーブルの具体例を示す図である。 第 5 9図は、 ステップ S 1 1 1 0での判定処理を示すフローチヤ一トである。 •第 6 0図は、 携帯電話 1に格納されるデータ取得プログラムと携帯電話 1がサ ポートするメディアタイプとの対応を記録するテーブルの具体例を示す図である。 第 6 2図は、 ステップ 1 2 0 1でのデータ出力処理を示すフローチャートであ る。
第 6 3図は、 アクション管理テープ の具体例を示す図である。
第 6 4図は、 シーンイベントテーブルの具体例を示す図である。
第 6 5図は、 ステップ S 1 2 0 5での変更処理を示すフローチヤ一トである。 第 6 6図は、 ステップ S 1 0 2での画像撮影アプリケーション起動処理を示す フローチャートである。
第 6 7図は、 スクリプト再生の再開時点を決定する処理を示すフローチャート である。
第 6 8図は、 スライド編集が許可されるか禁止されるかを記述したスクリプト の具体例を示す図である。
第 6 9図は、 ステップ S 4 2でスライドの編集を実行する許可を判定する処理 を示すフローチャートである。
第 7 0図は、 スクリプトを描画情報記述部とユーザナビゲート記述部とに分割 して構成する場合の、 描画情報記述部を含むスクリプトの具体例を示す図である。 第 7 1図は、 スクリプトを描画情報記述部とユーザナビグート記述部とに分割 して構成する場合の、 ユーザナビゲート記述部を含むスクリブトの具体例を示す 図である。
第 7 2 Α〜第 7 2 D図は、 スクリプトを実行した際の画面遷移の具体例を示す 図である。
第 7 3図は、 2つのスクリプトを関係付ける記述を含むスクリプトの具体例を 示す図である。
第 7 4図は、 第 3の実施の形態におけるマルチメディァデータ処理装置である テレビを含んで構成されるデータ通信システムの構成を示す図である。
第 7 5図は、 第 3の実施の形態における、 描画情報を記述する描画情報記述部 を含むスクリプトの具体例を示す図である。 第 7 6図は、 第 3の実施の形態における、 時間帯に応じた番組情報を記述する 番組表情報記述部を含むスクリブトの具体例を示す図である。
第 7 7図は、 2つのスクリプトを関係付ける記述を含むスクリプトの具体例を 示す図である。
第 7 8図は、 受信'再生すべきコンテンツの決定処理の流れを示すフローチヤ ートである。
第 7 9図は、 スクリプトが S M I Lで記述されたものである場合の再生および 編集処理の流れを示すフローチャートである。
第 8 O A図および第 8 0 B図は、 スクリプトの解析結果を格納するデータ構造 の具体例を示す図である。
第 8 1図は、 スクリブトの角析結果の具体例を示す図である。
第 8 2図は、 更新されたスクリプトの解析結果の具体例を示す図である。
第 8 3図は、 メディアデータを追加する書換処理を施したスクリプトの具体例 を示す図である。
第 8 4図は、 メディアデータを追加する書換処理を施した後に、 さらに編集機 能を削除したスクリプトの具体例を示す図である。 発明を実施するための最良の形態
以下に、 図面を参照しつつ、 本発明の実施の形態について説明する。 以下の説 明では、 同一の部品および構成要素には同一の符号を付してある。 それらの名称 および機能も同じである。 したがってそれらについての詳細な説明は繰返さない。
[第 1の実施の形態]
図 1を参照して、 本実施の形態におけるデータ通信システムは、 スクリプト言 語で記述されているテンプレートを提供するテンプレート提供サーバ （以下、 単 にサーバと言う） 2と、 提供されたテンプレートの再生および編集を行なう、 マ ルチメディアデータ処理装置である再生 ·編集装置 1とを含んで構成され、 サー パ 2と再生 '編集装置 1とは、 インターネットあるいは公衆回線網あるいは放送 網を介して通信を行なう。 また、 図 1には示されていないものの、 サーバ 2と再 生 '編集装置 1とは L AN (Local Area Network) 等の専用回線を介して通信を 行なってもよいし、 無線通信を行なってもよい。 なお、 図 1に示されるように、 再生 '編集装置 1は携帯電話や P D A (Personal Digital Assistants) やパー ソナルコンピュータ等が該当し、 以下の説明においては、 再生■編集装置 1が携 帯電話 1であるものとして説明を行なう。
なお、 マルチメディァデータ処理装置である再生 ·編集装置 1としては、 情報 通信機器、 映像'音響機器、 家電機器、 およびアミューズメント機器などが該当 する。
また、 情報通信機器としては、 パーソナルコンビュ タやホームサーバなどの 情報機器や電話機などの通信機器、 中でも特に、 携帯電話や P D A (Personal Digital Assistants) やノート型、 装着型コンピュータなどの携帯型情報通信機 器が該当する。
また、 映像 '音響機器としては、 画像記録機器であるデジタルスチルカメラ、 映像記録機器であるデジタルビデオカメラや H D D (Hard Disk Drive) レコー ダ、 D V D (Digital Versatile Disk) レコーダ、 ビデオテープレコーダ、 映像 再生機器である D VDプレーヤやビデオプレーヤ、 音声記録機器であるポイスレ コーダ、 音楽記録 '再生機器であるシリコンオーディオレコーダまたはプレーヤ、 MD (Mini Disk) レコーダまたはプレーヤ、 C D (Compact Disk) レコーダま たはプレーヤ、 放送データ受信、 再生機器であるテレビジョン受像機やラジオな どが該当する。
また、 家電機器としては、 冷蔵庫、 洗濯機、 エアコンディショナ、 掃除機、 空 気清浄機、 および電子レンジなどの機器が該当する。
また、 アミューズメント機器としては、 家庭用もしくは携帯型ゲーム機器など が該当する。
また、 マルチメディアデータ処理装置である再生 '編集装置 1としては、 上記 の情報処理、 通信、 画像記録■再生、 映像記録 ·再生、 音声記録■再生、 音楽記 録 -再生、 放送データ受信 ·再生といった機能の複数を有する機器であってもよ く、 その他、 上記に挙げたもの以外であっても、 マルチメディアデータの再生も しくは編集が可能な機器であればどのような形態であっても構わない。
本実施の形態においては、 特に再生■編集装置 1が携帯電話 1である場合につ いて詳説する。
なお、 本実施の形態においてメディアデータとは、 画像 （静止画） データ、 動 画データ、 音声データ、 音楽データ、 テキストデータ、 およびァ-メーシヨンデ ータのいずれか、 あるいは外部より受信するストリーミングデータや放送データ、 また、 本実施の形態においてマルチメディアデータとは、 1つ以上のメディア データを統合してなるデータを指し、 データの形式は人間に可読なテキスト形式 で記述されてもよいし、 人間が直接読めないバイナリ形式であってもよい。
また、 本実施の形態においてスクリプトとは、 上述のマルチメディアデータを 表示、 再生、 および編集するために、 マルチメディアデータが含む各メディアデ ータに対して画面上のレイアウト情報、 時間軸上の再生開始、 終了タイミングや、 再生速度、 音量などの属性を規定する記述形式を指す。 また、 外部アプリケーシ ヨンの起動、 装置内外からの情報取得、 他のマルチメディアデータへのリンク遷 移などの制御情報も、 スクリプト中に記述することが可能である。
また、 本実施の形態においてテンプレートとは、 上述のスクリプトを含んで構 成される、 再生あるいは編集可能なマルチメディアデータであって、 ユーザ操作 などをきつかけとして、 該スクリプト内のメディァデータを参照する部分の記述 を書換えることにより、 メディアデータの追加、 変更、 および削除を行なうこと ができるマルチメディアデータの一形態を指す。 テンプレートには、 スクリプト から参照されるメディアデータを 1つ以上含んでもよい。
次に、 図 2を参照して、 本実施の形態のデータ通信システムに含まれる携帯電 話 1は、 ユーザとのインタフェースである入出力部 1 4 0と、 C P U (Central Processing Unit) 等から構成されて、 この携帯電話 1の全体を制御する制御部 1 2 0と、 他の装置と通信するための通信部 1 1 0と、 R O M (Read Only Memory) や R AM (Random Access Memory) などから構成されて、 制御部 1 2 0 において実行されるプログラムや、 そのプログラムの中間データおよび他のコン ピュータから受信したデータ等を記憶する記憶部 1 3 0とを含んで構成される。 さらに上述の入出力部 1 4 0は、 「1」 、 「2」 などの数字ボタンおよび 「R」 、 「L」 などの方向ボタンなどを含むキーコード入力デバイス 1 4 2と、 ユーザに情報を表示する L C D (Liquid Crystal Display) などのディスプレイ 1 4 4と、 音声を入力するマイクロフォン 1 4 6と、 音声を出力するスピーカ 1 4 8と、 画像を撮影して入力する力メラ 1 4 9とを含む。
また、 制御部 1 2 0は、 その内部にタイマを含む。
このような携帯電話 1において、 ユーザがサーバ 2から得たテンプレートの再 生および編集を行なう処理は、 携帯電話 1のハードウェア、 記憶部 1 3 0に記憶 され制御部 1 2 0により実行されるソフトウェアおよびテンプレートにより実現 される。 なお、 図 2に示した携帯電話 1自体の動作は周知であるので、 ここでは その詳細な説明は省略する。
また、 本データ通信システムに含まれるサーバ 2は、 一般的なパーソナルコン ピュータ等で構築されるサーバであり、 その構成についてここでの詳細な説明は 行なわない。
次に、 図 3に、 携帯電話 1の記憶部 1 3 0に記憶されるプログラムと、 携帯電 話 1におけるデータ処理の流れとを示す。 図 3に示されるデータ処理の流れは、 制御部 1 2 0が記憶部 1 3 0に記憶される各プログラムを実行することによって、 携帯電話 1において実現される。 すなわち、 通信部 1 1 0でサーバ 2から受信し たテンプレートは、 制御部 1 2 0が記憶部 1 3 0に記憶されるプログラムを実行 することによって再生およぴ編集処理がなされる。
具体的には、 図 3を参照して、 始めに、 制御部 1 2 0は、 再生'編集エンジン プログラム 1 3 1を実行させることで、 通信部 1 1 0において受信したスクリブ トとメディアデータとを含むテンプレートを処理する。 なお、 ここでの再生'編 集エンジンプログラム 1 3 1の機能構成については後述する。
次に、 制御部 1 2 0は、 再生'編集エンジンプログラム 1 3 1での処理結果に 基づいて、 U I (User Interface) 内容表示プログラム 1 3 2を実行させる。 U I内容表示プログラム 1 3 2を実行させてテンプレートを処理することで、 テン プレートにおける U Iの内容をディスプレイ 1 4 4に表示させる。
また、 制御部 1 2 0は、 再生'編集エンジンプログラム 1 3 1での処理結果に 基づいて、 画像撮影プログラム 1 3 3を実行させ、 カメラ 1 4 9からの画像の入 力とキーコード入力デバイス 1 4 2からの各種指示とを受付ける。 また、 動画を 撮影する際には、 さらにマイクロフォン 1 4 6からの音声の入力も受付ける。 また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 画像データ表示再生プログラム 1 3 4を実行させ、 テンプレートに含 まれる画像データをディスプレイ 1 4 4上で再生させる。 また、 その画像データ に音声も含まれる場合には、 その音声をスピー力 1 4 8で再生させる。
また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 音声データ再生プログラム 1 3 5を実行させ、 テンプレートに含まれ る音声データをスピーカ 1 4 8で再生させる。
また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 音声データ録音プログラム 1 3 6を実行させ、 マイクロフォン 1 4 6 からの音声の入力とキーコード入力デバイス 1 4 2からの各種指示とを受付ける。 また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 ァェメデータ表示再生プログラム 1 3 7を実行させ、 テンプレートに 含まれるアニメデータをディスプレイ 1 4 4上で再生させる。
また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 テキストデータ表示再生プログラム 1 3 8を実行させ、 テンプレート に含まれるテキストデータをディスプレイ 1 4 4上で再生させる。
また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 テキスト編集プログラム 1 3 9を実行させ、 キーコード入力デバイス 1 4 2からのテキスト情報と各種指示とを受付ける。
また、 制御部 1 2 0は、 再生'編集エンジンプロダラム 1 3 1での処理結果に 基づいて、 WWW (World Wide Web) ブラウザプログラム 1 5 1を実行させ、 W WWコンテンツを再生する。
また、 制御部 1 2 0は、 再生'編集エンジンプログラム 1 3 1での処理結果に 基づいて、 WWWブラウザプログラム 1 5 1を実行させ、 通信部 1 1 0を介して サーバ 2からデータを取得する。
また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 メールプログラム 1 5 2を実行させ、 キーコ一ド入力デバイス 1 4 2 からのテキスト情報と各種指示と受付け、 メールを送信させる。 また、 制御部 1 2 0は、 再生 '編集エンジンプログラム 1 3 1での処理結果に 基づいて、 通話プログラム 1 5 3を実行させ、 通話を開始させる。
また、 制御部 1 2 0は、 再生'編集エンジンプログラム 1 3 1での処理結果に 基づいて、 位置取得プログラム 1 5 4を実行させ、 G P S (Global Positioning System) 1 5 0から当該端末の現在位置を取得する。
また、 制御部 1 2 0は、 再生.編集エンジンプログラム 1 3 1での処理結果に 基づいて、 ァドレス帳プログラム 1 5 5を実行させ、 記憶部 1 3 0に記憶された メーノレアドレスや電話番号を取得する。
また、 制御部 1 2 0は、 再生'編集エンジンプログラム 1 3 1での処理結果に 基づいて、 ファイル取得プログラム 1 5 6を実行させ、 記憶部 1 3 0に記憶され た特定のメディア型のコンテンツデータを取得する。
.また、 制御部 1 2 0は、 上述の画像撮影プログラム 1 3 3、 音声データ録音プ ログラム 1 3 6、 テキスト編集プログラム 1 3 9、 WWWブラウザプログラム 1 5 1、 位置取得プログラム 1 5 4、 アドレス帳プログラム 1 5 5、 およぴフアイ ル取得プログラム 1 5 6を実行させることによって受付けた情報に基づいて、 再 生 .編集エンジンプログラム 1 3 1を実行させ、 スクリプトとメディアデータと を含むテンプレートを処理する。
制御部 1 2 0が記憶部 1 3 0に記憶される再生 '編集エンジンプログラム 1 3 1を実行することで、 図 4に示される各機能が携帯電話 1において実現される。 図 4を参照して、 始めに、 スクリプト読込部 1 3 1 1は、 通信部 1 1 0において 受信したテンプレートに含まれるスクリプトを読込む。 そして、 スクリプト読込 部 1 3 1 1は、 読込んだスクリブトを構文解析部 1 3 1 2に渡す。
次に、 構文解析部 1 3 1 2は、 スクリプト読込部 1 3 1 1から渡されたスクリ ブトの構文を解析する。 そして、 構文解析部 1 3 1 2は、 解析結果を実行制御部 1 3 1 3と時間管理部 1 3 1 4とに渡す。
次に、 時間管理部 1 3 1 4は、 構文解析部 1 3 1 2から渡された解析結果に基 づいて、 タイムテーブルを作成する。 そして、 時間管理部 1 3 1 4は、 作成した タイムテーブルを実行制御部 1 3 1 3に渡す。
また、 イベント管理部 1 3 1 5は、 イベントの発生を検出する。 そして、 ィべ ント管理部 1 3 1 5は、 検出結果を実行制御部 1 3 1 3に渡す。
次に、 実行制御部 1 3 1 3は、 時間管理部 1 3 1 4から渡されたタイムテープ ルと、 イベント管理部 1 3 1 5から渡されたイベント発生の検出結果と、 構文解 析部 1 3 1 2から渡された解析結果とに基づいて、 スクリプトを実行する。 また、 実行制御部 1 3 1 3は、 イベント管理部 1 3 1 5から渡されたイベント発生の検 出結果に基づいて、 スクリプト書出部 1 3 1 6にスクリプトの書換えを指示する。 スクリプト書出部 1 3 1 6は、 実行制御部 1 3 1 3からの指示に基づいて、 ス タリブトを書換え、 書換えたスタリブトを実行制御部 1 3 1に渡す。 そして、 書 換えられたスクリブトは、 実行制御部 1 3 1 3で実行される。
なお、 本実施の形態においては、 サーバ 2から提供されたテンプレートを携帯 電話 1において処理する場合について説明するが、 テンプレートに含まれるスク リプトおよびメディアデータの一部またはすベては携帯電話 1の記憶部 1 3 0に 記憶されているものであってもよく、 その場合、 図 3あるいは図 4に示される各 部は、 記憶部 1 3 0から読出して取得したスクリプトまたはメディアデータを処 理する。
次に、 サーバ 2から携帯電話 1に提供され、 携帯電話 1において処理されるテ ンプレートに含まれるスクリプトについて説明する。 図 5を参照して、 本実施の 形態における携帯電話 1で処理されるスクリプトは、 描画情報記述部分とユーザ ナビグ一ト情報記述部分とからなることを特徴とする。
描画情報記述部分には、 画像 （静止画） データや、 動画データや、 音声データ や、 音楽データや、 テキストデータや、 アニメーションデータや、 ストリーミン グデータや、 放送データなどのメディアデータへの参照情報 （ファイル名や U R L (Uniform Resource Locators) や放送局の周波数やチャネルなど） が記述さ れる。
なお、 R F C 2 3 9 7で規定されているデータ U R Lなどの記述形式を利用す ることによって、 描画情報記述部分に、 メディアデータへの参照情報ではなくメ ディアデータの実体そのものを記述してもよい。
また、 ユーザナビゲート情報記述部分には、 リンク移動やアプリケーションの 起動やへノレプ表示などを実行させるスクリプト定義入力イベントと、 ァクション (動作） との対応付け、 および実行条件とが記述される。
上記ァクションの例としては、 カメラ起動による動画あるいは静止画の撮像、 テキストエディタ起動によるユーザ入力テキストデータの取得、 ボイスレコーダ 起動による音声データの取得、 フアイル選択アプリケーション起動によるメディ ァデータファイルの取得、 機器の内部または外部からの時刻情報、 位置情報、 ァ ドレス帳、 スケジュール情報、 その他の情報の自動取得、 WWWブラウザゃメー ラなど機器のアプリケーションの起動、 電話発呼やメロディ再生やライ ト点灯な どの機器固有機能の呼出し、 あるいは他のスクリプト実行へのリンク遷移、 ある いはテレビのチャンネル切替え、 エアコンの温度設定など、 他の機器を制御する 制御信号の発信、 などが挙げられる。
さらに、 描画情報記述部分とユーザナビゲート情報記述部分との両方に、 時系 列的な記述を含むことを特徴とする。 すなわち、 描画情報記述部分には時系列的 にメディアデータへの参照情報が記述され、 ユーザナビグート情報記述部分には 時系列的にィベントが記述されることを特徴とする。
このような構成とすることで、 スクリプトには、 画像 （静止画） データや、 音 楽データや、 テキストデータや、 ァ-メーシヨンデータや、 ストリーミングデー タゃ、 放送データなどのメディアデータが時系列的に次々に再生されるようなマ ルチメディァデータを記述することができる。
さらに、 時系列的にイベントが記述できることにより、 スクリプトを再生させ ながら、 所定の時刻や時間帯において、 たとえばカメラの起動などのイベントを 実行させることができる。 さらに、 このようなカメラ起動イベントを、 所定の画 像と置換するァクションに対応付けるように記述することにより、 上述の所定の 画像が表示されるべき時間帯にユーザが所定のキーを押下すると、 スクリプトの 再生を一旦停止して直ちにカメラが起動され、 ここで撮影操作を実行すると、 ス タリブトの再生に復帰し、 今撮影された画像が所定の位置に表示される、 という ようなアプリケーションを実現できる。
以上のように、 時系列に沿って起動するィベントとそれに対応するアクション とをスクリブト内で明示的に規定することによって、 携帯端末などにおいて力メ ラゃマイク、 住所録などの機能を利用して複数のメディァデータが時系列に再生 されるようなマルチメディアデータを作成する場合でも、 操作手順を簡略化する ことができ、 ユーザの利便性が高まる。
図 6および図 7に、 具体的なスクリプトを示して説明する。
図 6を参照して、 始めに、 スクリプトのヘッダ部分 （第 2行〜第 16行） の第 12行〜第 15行に、 アクションの内容が定義されている。 すなわち、 図 6を参 照して、 第 12行〜第 15行には、 アクションの内容として、 アクションごとの 固有の識別情報 （a c t i o n i d) と、 そのァクションの実行形式 (t y P e) と、 アクション内容 （d e s t) と、 ァクションの実行領域 （Ima g e) とが定義されている。
より具体的には、 図 6の第 1 2行には、 識別情報 a c t_mo v i eであるァ クシヨンは、 I ma g e領域に表示されている情報と、 m o v i eに格納されて いるファイルとを置換える （r e p l a c e) 内容である旨が定義されている。 また、 図 6の第 5行には、 携帯電話 1においてスクリプトをどのように使用す るかについてのヒントが記述されている。 すなわち、 スクリプトは、 コンテンツ 編集操作をナビゲートするテンプ I ^一ト （t emp 1 a t e) である旨が定義さ れている。 このほかに、 編集操作のナビゲートはせず閲覧専用のコンテンツ （c o n t e n t s) である旨を定義することができる。
次に、 図 7を参照して、 スクリプトの本体 （ボディ） 部分 （第 17行〜第 40 行） の第 18行〜第 39行の段落には、 並列に実行されるメディアデータゃァク シヨンが記述されている。 さらに、 第 19行および第 37行には、 これらのメデ ィァデータゃァクションが時系列的に実行される旨が記述されている。 さらに、 第 20行〜第 25行、 第 26行〜第 31行、 および第 32行〜第 36行の各段落 には、 各々、 0秒〜 8秒目、 8秒、〜 15秒目、 および 15秒〜 1 9秒目に実行さ れるメディアデータやアクションが記述されている。
より具体的には、 図 7の第 21行〜第 23行には、 0秒〜 8秒目に、 各々、 画 像データ、 テキストデータ、 および音声データを再生させる旨が記述されており、 第 24行には、 「ムービー起動」 の U Iを表示させ、 s e 1 e c tキーが操作さ れた場合に、 識別情報 a c t_mo V i eであるアクションを実行させる旨が記 述されている。 第 30行には、 「音声録音」 の U Iを表示させ、 2秒後にタイマ から通知を受け、 識別情報 a c t— s p e e c hであるァク、 ヨンを実行させる 旨が記述されている。 なお、 第 2 8行から第 3 0行において、 「s r c二」 に続 いて記述される名前はイベントの発生元を表わすソース I Dである。 U Iの表示 については、 図 7に示されるようにスクリプトに記述されていてもよいし、 図 8 に示されるような、 起動アプリケーションとそのときに表示させる U Iとの対応 を規定するテーブルが、 予め携帯電話 1の記憶部 1 3 0に格納され、 携帯電話 1 の制御部 1 2 0が再生■編集エンジンプログラム 1 3 1を実行する際に自動的に 当該テーブルを読出して表示されるものであってもよい。
このように、 本実施の形態における携帯電話 1で処理されるスクリプトは、 時 系列的に実行される、 描画情報とユーザナビグート情報とを記述する描画情報記 述部分とユーザナピゲ一ト情報記述部分とから構成されることを特徴とする。 なお、 本実施の形態においては、 人間に可読なテキスト形式のスクリプトを携 帯電話 1において処理する場合について説明するが、 スクリブトは人間が直接読 めないバイナリ形式であってもよい。
また、 本実施の形態においては、 ひとまとまりのスクリプトを携帯電話 1にお いて処理する場合について説明するが、 スクリプトをメディアデータへの参照情 報を含む描画情報記述部とユーザナビゲート情報記述部とに分割して構成し、 メ ディアデータを置換えまたは揷入する際には、 メディアデータへの参照情報を含 む描画情報記述部が記述されたスクリプトのみを編集する構成であってもよい。 具体的に、 図 7 0および図 7 1に、 描画情報記述部とユーザナビグート情報記 述部とに分割して構成された各スクリプトであって、 描画情報記述部が記述され たスクリプトと、 ユーザナビゲート情報記述部が記述されたスタリブトとを示す。 図 7 0に示される描画情報記述部が記述されたスクリプトには、 具体的に、 ス タリプト実行開始 0秒〜 2秒の間は静止画 t o p . j p gとテキスト t o p . t x tとが表示され、 スクリプト実行開始 2秒〜 8秒の間は静止画 i m a g e , j p g、 音楽テータ b g m. a m r、 テキスト m e s s a g e , t x tと 冉生さ れることが記述されている。
また、 図 7 1に示されるユーザナビゲート情報記述部が記述されたスクリプト は、 図 7 0に参照先として参照情報が記述されているメディアデータのうち、 i ma g e, j p gと me s s a g e, t x tとを置換え、 挿入する機能を実現す るスクリプトである。 ，
上述の図 70および図 71に示されるスクリプトを本実施の形態にかかる携帯 電話 1で構文解析して実行したときの画面表示の具体例を、 図 72A〜図 72D に示す。 まず、 図 72 Aに示されるように、 図 71の記述にしたがって、 「SE LECT PHOT〇」 の文字列と共に画像フアイノレ選択フォーム、 および 「E NTER B I RTHDAY ME S S AG E」 の文字列と共に文字列入力フォ ームが表示される。 図 72 Aに示される画面においてユーザが画像ファイルを選 択し、 テキストを入力した状況が図 72 Bに示される。 図 72 Bに示される画面 において 「s e n d」 ボタンが選択実行されると、 今選択された画像ファイルが ima g e, j p gとして、 入力されたテキストカ e s s a g e. t x tとし てテンプレートに組込まれ、 再生実行される。 すなわち、 当該スクリプトの再生 開始から 0秒〜 2秒の間は、 図 72 Cに示されるように静止画 t o p. j p gと テキスト t o p. t X tとが表示され、 続いて開始 2秒〜 8秒の間は、 図 72D に示されるように i m a g e . 3 §と1!16 8 3 & 6. t x tとが表示されて、 同時に音楽データ b gm. amrが再生される。 図 72 Dで表示される i m a g e . j p gはユーザが図 12 Bに示される画面で選択した画像であり、 me s s a g e. t x tは図 72 Bに示される画面で入力したテキストである。
このように、 スクリプトを描画情報記述部とユーザナピゲ一ト記述部とに分割 して構成することで、 後述するような、 スクリプトからユーザナビゲート記述部 を削除してメールに添付して送信する場合に、 描画情報記述部のみを添付するこ とにすればよく、 スクリプトを解析しどの部分を削除すべきかを考盧する処理を 省略できるというメリットがある。
なお、 描画情報記述部を含むスクリプトとユーザナビグート記述部を含むスク リブトとの関係は、 たとえば図 73に示されるスクリプトのように、 両スクリブ トを結びつける記述部を含むスタリブトを別に用意し、 これらのスクリプトと、 描画情報記述部を含むスクリプトとから参照されるメディアデータ群とのセット をテンプレートとして极ぅことにするのが好ましい。
また、 描画情報記述部を含むスクリプト内に、 対応するユーザナビゲート記述 部を含むスクリプトへのリンクを記述することによって、 描画情報記述部を含む スクリプトを再生させながら、 所定のタイミングでユーザナビゲート記述部を含 むスクリブトの実行へ移り、 図 7 2 Aのような入力画面へ遷移させることもでき る。
次に、 本実施の形態における携帯電話 1での、 スクリプトの再生および編集処 理について図 9のフローチャートを用いて説明する。 図 9のフローチャートに示 される処理は、 携帯電話 1の制御部 1 2 0が、 図 4に構成が示される再生'編集 エンジンプログラム 1 3 1を記憶部 1 3 0から読出して実行することによって実 現される。
図 9を参照して、 始めに、 ステップ S I 1において初期化を実行した後、 ステ ップ S 1 2において、 通信部 1 1 0で、 インターネットを介してサーバ 2よりス タリブトを取得する。
次に、 ステップ S 1 3において、 制御部 1 2 0は、 再生■編集エンジンプログ ラム 1 3 1を実行し、 スクリプト読込部 1 3 1 1で取得したスクリプトを読込む。 次に、 ステップ S 1 4において、 構文解析部 1 3 1 2は、 読込んだスクリプト を構文解析する。 なお、 ここでの構文解析の方法については、 本発明において限 定されるものでなく、 一般的な構文解析方法であってよい。
次に、 ステップ S 1 5において、 時間管理部 1 3 1 4は、 構文解析結果に基づ いて図 1 0〜図 1 2に示すようなタイムテープノレを作成する。 図 1 0は、 時間管 理部 1 3 1 4が、 図 6および図 7に示されるスクリプトの描画情報記述部分に基 づいて作成したメディァ描画処理のタイムテーブルの具体例を示す図であり、 図 1 1および図 1 2は、 図 6および図 7に示されるスクリプトのユーザナビゲート 情報記述部分に基づいて作成したイベント処理タイムテープノレおよび U I割当状 況表示タイムテーブルの具体例である。 すなわち、 ステップ S 1 5において、 時 間管理部 1 3 1 4は、 ステップ S 1 4で解析されたスクリプトに基づいて、 スク リプト実行時間とそのとき再生されるメディアデータとの対応と、 スクリプト実 行時間とそのとき発生したィベントに応じた処理との対応と、 スクリプト実行時 間とそのときに操作される U Iの割当との対応とを、 図 1 0〜図 1 2に示すよう なタイムテ一ブル形式で作成する。 具体的には、 図 10に示すメディア描画処理のタイムテーブルは、 図 6および 図 7に示されるスクリブトの描画情報記述部分に基づいて、 スクリプト実行開始 0秒〜 8秒の間は、 動画 1 (F i r s t I ma g e. mp g) と、 テキスト 1 (F i r s tT e x t. t x t) と、 音楽 1 (F i r s t S o un d. smf ) とが再生され、 スクリプト実行開始 8秒〜 15秒の間は、 テキスト 2 (S e c o n dTe X t. t x t) が再生され、 スクリプト実行開始 15秒〜 19秒の間は、 静止画 3 (Th i r d lma g e. j p g) と、 テキスト 3 (Th i r d T e x t. t x t) と、 音楽 3 (Th i r d S o un d. smf ) とが再生されること を示すタイムテーブルである。
なお、 スクリプトに含まれるテキストやユーザが入力するテキストが、 他の画 像や映像と同じ領域に重ねて表示される場合には、 該テキストの視認性を高める ために、 色やフォントなどの属性を自動的に調整されることが好ましい。 このよ うな自動調整の最も単純な実施は、 具体的な色属性の表現が RGBの 3値の組に よる場合、 テキス トと背景との色属性の距離 V" ( (AR) 2+ (AG) 2+ (Δ B) 2) が所定のしきい値よりも小さい場合に、 背景色の色属性の補色 （背景色 の RGBの各成分 の 1の捕数を RGB成分としてもつ色） をテキストの色属†生 とすることで得られる。
また、 図 1 1に示すイベント処理タイムテーブルは、 図 6および図 7に示され るスクリブトのユーザナビゲート情報記述部分に基づいて、 スクリブト実行開始 0秒〜 8秒の間に S e l e c tキーが操作されると画像撮影プログラム 133で ある動画撮影アプリケーションが起動し、 スクリプト実行開始 8秒〜 15秒の間 に S e 1 e c tキーが操作されると、 たとえば画像撮影プログラム 133である 動画撮影アプリケーションと、 テキスト編集プログラム 139である文字入力ァ プリケーシヨンとの中から 1つを選択させる画面をディスプレイ 144に表示さ せ、 そこで選択されたプログラムが起動し、 スクリプト実行開始 8秒〜 15秒の 間にタイマにより音声データ録音プログラム 136である音声入力アプリケーシ ョンを起動することを示すタイムテーブルである。
また、 図 12に示す U I割当状況表示タィムテーブルは、 図 6およぴ図 7に示 されるスクリブトのユーザナビグート情報記述部分に基づいて、 スクリブト実行 開始 0秒〜 8秒の間には、 S e 1 e c tキーが操作されると画像プログラム 1 3 3である動画撮影アプリケーションが起動することをユーザに示すために、 ディ スプレイ 1 4 4に S e 1 e c tキーの説明として 「ムービー撮影」 と表示させ、 スクリブト実行開始 8秒〜 1 5秒の間には、 S e l e c tキーが操作されると画 像撮影プログラム 1 3 3である動画撮影アプリケーションと、 テキスト編集プロ グラム 1 3 9である文字入力アプリケーションとのいずれかが起動することをュ 一ザに示すために、 ディスプレイ 1 4 4に S e l e c tキーの説明として 「カメ ラ撮影」 、 および 「テキスト入力 J などと表示させ、 スクリプト実行開始 8秒〜 1 5秒の間には、 タイマにより音声データ録音プログラム 1 3 6である音声入力 アプリケーションを起動することをユーザに示すために、 ディスプレイ 1 4 4に タイマによる起動の説明として 「録音」 と表示させることを示すタイムテーブル である。
次に、 ステップ S 1 6において、 実行制御部 1 3 1 3は、 構文解析結果および タイムテーブルに基づいて、 スクリプトを実行する。 また、 スクリプト実行時に は、 実行制御部 1 3 1 3は、 U I割当状況表示タイムテーブルに基づいて、 スク リプト実行時間に伴って変化する U Iをディスプレイ 1 4 4に表示させるよう、 U I内容表示プログラム 1 3 2に指示する。 なお、 ここでのスクリプトの実行処 理については、 後に、 図 6および図 7に示されるスクリプトに基づく具体例を挙 げて説明する。
そして、 ステップ S 1 7において、 イベント管理部 1 3 1 5がイベントの発生 を検出すると （S 1 7で Y E S ) 、 ステップ S I 8において、 実行制御部 1 3 1 3で、 当該イベントに応じた処理を実行する。 なお、 ここでのイベントに応じた 処理については、 後にサブルーチンを挙げて説明する。
上述のステップ S 1 7で検出されるイベントは、 主に、 スクリプトの実行が時 系列に実行する際の実行点の終端に到達した終端到達ィベントなどであるシステ ムイベントと、 メェユー表示を指示するなどの固定的な処理を実行させる固定入 カイベントと、 リンク移動やアプリケーションの起動やヘルプの表示などを指示 するスクリプト定義入力イベントとの 3つに分けられる。 具体的には、 固定入力 イベントとスクリプト定義入力イベントとは、 スクリプト実行中の、 キーコード 入力デバイス 142からのユーザの指示入力などが該当する。 そのため、 スクリ ブト実行中に、 キーコード入力デバイス 142から指示入力などの何らかのィべ ントが発生するまで、 スクリプトの実行が継続される。
以上で、 携帯電話 1におけるスクリブトの再生および編集処理を終了する。 なお、 上記再生および編集処理は、 処理の途中で通話プログラムなどに割込ま れたり、 またユーザの都合や電池の消耗により中断されたりした場合、 その時点 での再生および編集時点と変更中のスクリブトとを記憶部 130に保存して処理 を中断し、 後に再開する際には、 記憶部 13◦から保存された再生および編集時 点と変更中のスクリプトとを読込んで中断前の再生および編集時点から、 復帰で きるように構成されていることが好ましい。
さらにヽ スクリプ卜カ SM I L (Synchronized Multimedia Integration Language) で記述されたものである場合の再生および編集処理について、 具体的 に図 79のフローチャートを用いて説明する。
図 79を参照して、 始めに、 携帯電話 1において、 テンプレートに含まれる S MI Lで記述されたスクリプトが解析 （parse) されてデータ構造に格納される (S 2401) 。
ステップ S 2401での解析結果を格納するデータ構造の具体例を図 8 OAお ょぴ図 80 Bに示す。 図 80Bに示されるように、 ステップ S 2401では、 ス タリブトに参照情報が記載されて参照されている各メディアデータについて、 メ ディアの種別やファイル名、 表示領域等の属性値を保持する D i s p 1 a y Co n t e n tクラスのィンスタンスが作成され、 ィンスタンスの集合が図 8 OAに 示される D i s p l a y S c h e d u l e rに統合管理される。
さらに、 ステップ S 2401でのスクリプトの解析結果を図 8 1に示す。 図 8 1は具体的に図 6および図 7に示されるスクリプトの角军析結果を示しており、 ス クリブトの解析結果として、 D i s p l a yCo n t e n tクラスのィンスタン スが 1 1個作られている。 この数は、 かかるスクリプトに最終的に記載される参 照情報で参照されるメディァデータの個数である。
なお、 かかる 1 1個のインスタンスのうち、 インスタンス 5， 6, 7に指定さ れるメディアデータのファイル （Me d i a f i 1 e) は空であり、 図 6および 図 7に示される初期状態では、 該当するメディアデータが参照されていない状態 であることを示している。 後に説明する編集処理においてメディァデータの指定 を受付けることによって参照情報が記載され、 メディアデータが参照される。 ま たは、 所定のファイルを指定することで、 ガイダンス表示を行なうこともできる。 たとえば、 インスタンス 5を例に挙げると、 アクション内容がカメラ起動による 撮像および揷入であることが解析されているので、 カメラのイラスト画像 （C a me r a. j p g) を指定することで、 カメラのイラスト画像がガイダンス表示 される。 また、 より簡単には、 EvD e s cの値 （ 「カメラ起動」 など） である' 文字列をガイダンス表示として画面の最下行に表示させてもよい。
そして、 図 8 OAおよび図 8 OBに示されたようなデータ構造をたどりながら、 該スクリプトが再生される （S 2402) 。
以降に説明するようなメディアデータの挿入ゃ入替処理が行なわれた場合 （S 2403で YES) 、 ステップ S 2401で解析結果を格納するデータ構造のう ち、 該当する値が更新される （S 2404) 。 なお、 メディアデータの揷入ゃ入 替処理などの書換処理については、 後に詳細に説明する。
ステップ S 2404で更新されたスクリプトの解析結果の具体例を図 82に示 す。 図 82に示される編集結果は、 図 81に示された初期状態の図 6およぴ図 7 に示されたスクリプトに対して書換処理が施された結果である。 より具体的には、 上述の書換処理が実行されて、 初期状態のスクリプトにメディアデータ 「Cam e r a P i c t O l. j p g J 「Ed i tT e x t 01. t x t」 「V o i c e 01. amr」 が追加された場合が示されており、 それらの参照情報が、 該当す るインスタンス 5， 6, 7に記述されている。 なお、 画像データ 「F ί r s t I ma g e. mp g」 については、 スクリプト側でフアイノレ名が規定されているの で、 ムービー撮影の結果得られたムービーファイルもこの名前で保持される。 す なわち、 ファイル名が書換えられずにファイルの実体が上書き変更される。
上述のステップ S 2402〜S 2404の処理は該スクリブトの実行点の終端 に到津するまで繰返し実行されて （S 2405で NO) 、 終端に到達すると (S 2405で YES) 、 スクリプトの再生処理を終了してメールに添付して送信す るか否かが判定される （S 2406) 。 ?一タの揷入ゃ入替処理などのスクリブトの編集が未完了である場合 には （S 2 4 0 6で N O) 、 処理をステップ S 2 4 0 2に戻し、 該スクリプトの 実行点の先頭から再生される。
一方、 編集が完了し、 メールに添付して送信する場合 （S 2 4 0 6で Y E S ) 、 図 8 2に示されるデータ構造より S M I Lで記述されるスクリブトが生成される ( S 2 4 0 7 ) 。 そして、 ステップ S 2 4 0 7で生成された S M I Lで記述され るスクリプトがメールに添付されて送信、 または保存される （S 2 4 0 8 ) 。 な お、 ステップ S 2 4 0 8におけるメール添付処理についても、 後に説明する。 ステップ S 2 4 0 8で送信されるスクリプトの具体例を図 8 3に示す。 図 8 3 に示されるスクリプトは、 図 6および図 7に示される初期状態のスクリプトに対 して画像データ、 テキストデータ、 および音声データであるメディアデータを追 加する書換処理を施したスクリプトであって、 より具体的には、 図 8 3に下線を 付して示された個所が該書換処理によって挿入されたメディアデータの参照情報 である。
また、 スクリプトを送信する際に、 ユーザナビゲート情報記述部分である編集 機能を削除して送信してもよい。 図 8 4に示されるスクリプトは、 図 6および図 7に示される初期状態のスクリプトに対して画像データ、 テキストデータ、 およ ぴ音声データであるメディアデータを追加する書換処理を施した後に、 さらに編 集機能を削除したスクリプトであって、 より具体的には、 く a c t ί o n i d =■ · ■ >で記述されたアクション内容の定義部分と、 く e v e n t r e f
=■ · · >で記述されたイベントとアクションとの対応付け部分とが削除されて いる。 それは、 図 8 4において下線を付して示されている。
なお、 ステップ S 2 4 0 7において図 8 2に示されるデータ構造から S M I L で記述されるスクリプトを書出して図 8 4に示されるスクリプトを生成する際、 編集機能を削除する場合には、 データ構造に含まれる E v e n tおよび A c t i o nに関連する属性は無視する。 または、 編集機能も含めたスクリプトを書出す 場合には、 アクション内容として 「揷入」 が指定されているが （Act Type- "insert" ) 、 すでに上述の処理によってメディアデータの参照情報が記述され ているので、 アクション内容を 「置換」 （Act Type= "replace" ) に変更する。 それは、 図 8 3において下線を付して示されている。
次に、 上述のステップ S 1 8で実行されるイベントに応じた処理について、 図 1 3のフローチャートを用いて説明する。
図 1 3を参照して、 上述のステップ S 1 7でイベント管理部 1 3 1 5からィべ ント発生の検出情報を受けると、 ステップ S 2 1において、 実行制御部 1 3 1 2 は、 実行しているスクリプトを一時停止する。
そして、 ステップ S 1 7で検出されたイベントが、 スクリプトの実行が実行点 の終端まで到達したことを示すイベントである場合には （S 2 2で Y E S ) 、 ス テツプ S 2 3において、 実行制御部 1 3 1 3は当該スクリブトの実行を終了し、 処理を図 9のステップ S 1 6に戻して、 再度スクリプトの実行を開始する。 すな わち、 再度、 スクリプト実行を実行点の始端に戻し、 始めからスクリプトの実行 を繰返す。 なお、 本実施の形態においては、 取得したテンプレートに含まれるス タリブトを操返し実行するものとしている力 1回あるいは所定の回数実行して、 スクリプトの実行を終了してもよい。 あるいは、 スクリプト実行を繰返すか終了 するかの選択肢を画面に提示し、 ポタン操作などのユーザ入力によってスクリプ ト実行の繰返しまたは終了を指示するようにしてもよい。
ステップ S 1 7で検出されたイベントが、 スクリプトの実行が実行点の終端ま で到達したことを示すイベント以外のイベントである場合には ( S 2 2で N O) 、 ステップ S 2 4において、 実行制御部 1 3 1 3は検出されたイベントに基づいて 処理内容を決定し、 ステップ S 2 5〜S 2 7で、 決定された処理を実行する。 な お、 ステップ S 2 4における処理内容の決定処理、 およびステップ S 2 5〜S 2 7に示される各処理については、 後に各々フローチャートを挙げて説明する。 ' 以上で、 ステップ S 1 8におけるイベントに応じた処理を終了し、 処理を図 9 のフローチャートに示される再生■編集処理に戻す。
次に、 上述のステップ S 2 4における処理内容の決定処理について、 図 1 4の フローチャートを用いて説明する。
図 1 4を参照して、 上述のステップ S 1 7でイベントの発生を検出すると、 実 行制御部 1 3 1 3は、 そのときの時間パラメータ値 （S 3 1 ) 、 すなわち、 当該 スクリプト実行時間を表わすパラメータと、 ソース I D ( S 3 2 ) 、 すなわち、 イベントの発生元の識別情報と、 時間管理部 1314が作成したイベント発生処 理タイムテーブル （S 33) とを参照し、 発生したイベントを判断する。 さらに、 判断されたィベントとィベント発生処理タイムテープ とから、 ィベント発生時 にそのイベントに対応付けられている処理内容を決定する。 なお、 決定された処 理が複数である場合には （S 34で YES) 、 ステップ S 35において、 実行制 御部 1313は、 ディスプレイ 144等に選択用の画面を表示して、 その複数の 処理の中から今から開始する処理の選択を受付ける。 たとえば、 図 54Aに示す ように、 選択用の画面に表示したリストに 「 I n v o k e C ame r aJ と 「 Lo c a l Fo l d e r」 と 提示して、 「 I n v o k e C ame r a J が選択された場合にはカメラを起動し、 図 54 Bに示すように 「L o c a 1 F o 1 d e r」 が選択された場合にはデータフォルダにアクセスする。
あるいは、 ステップ S 35において、 実行制御部 1 313は決定された複数の 処理を順に 1つずつすベて実行する構成でもよい。 その場合、 当該処理に対応す るイベントのスケジュール記述が出現する順序に処理を実行する。 より具体的に は、 図 7のスクリプトの 8秒目から 15秒目の間を例にとると、 s e l e c tキ 一が押された場合に、 記述の順序に従って 28行に記載される 「カメラ起動」 が まず実行され、 その次に 29行に記載される 「テキスト入力」 が実行される。 な お、 スクリプトに複数の処理の実行優先順序を記述し、 その順序に従って複数の 処理を順に実行する構成でもよい。
または、 ステップ S 35において、 複数の処理それぞれを実行するためのショ ートカツト手段がある場合には、 ユーザにより指定されたショートカツト手段に 対応する処理を直接実行する構成でもよい。 より具体的には、 図 7のスクリプト の 8秒目から 1 5秒目の間を例にとると、 カメラ起動用キーが押された場合に 2 8行に記載される 「カメラ起動」 が実行され、 テキス ト入力用キーが押された場 合には 29行に記載される 「テキスト入力」 が実行されるような構成であっても よい。
以上で、 ステップ S 24におけるイベントに応じた処理を終了し、 処理を図 1 3のフローチャートに示されるィベント処理に戻す。
さらに、 上述のステップ S 33におけるイベントタイムテーブル参照について、 図 2 7のフローチャートを用いて説明する。
図 2 7を参照して、 参照したソース I Dが "T i m e r " である場合 （S 1 3 1で 「ソース I D」 = T i m e r ) 、 イベント処理タイムテープノレの T i m e r の欄と時間パラメータ値とを参照して該当する処理を判断する （S 1 3 2 ) 。 一方、 参照したソース I Dが "U I " である場合 （S 1 3 1で 「ソース I D」 = U I ) 、 さらにイベント処理タイムテーブルの U Iの欄と、 タイプ I Dすなわ ちイベント発生時に操作されたキー固有の識別情報と、 時間パラメータ値とを参 照し （S 1 3 3 ) 、 該当する処理を判断する （S 1 3 4 ) 。
なお、 ィベント処理タイムテーブルおよびスクリプトに記述する上記キー固有 の識別情報は、 端末のハードウヱアキ一の識別情報を直接使用してもよいし、 論 理シンボルを使用し、 図 2 8に示すような、 論理シンボルとハードウェアキーと の対応を規定するテーブルを予め携帯電話 1の記憶部 1 3 0に格納し、 実行制御 部 1 3 1 3がィベントタイムテープノレを参照する際に当該テーブルを読出して、 操作されたハードゥエアキ一から論理シンポルを参照してイベントを判断するよ うにしてもよレ、。
以上でステップ S 3 3におけるイベントタイムテーブル参照を終了し、 処理を 図 1 4のフローチャートに示される処理内容決定処理に戻す。
上の処理で、 ステップ S 1 7で発生を検出したイベントが、 メェユー処理を実 行させるイベントであると決定された場合、 ステップ S 2 5において、 図 1 5に 示す処理を実行する。 すなわち、 図 1 5を参照して、 始めに、 ステップ S 4 1で 実行制御部 1 3 1 3は、 図 1 6に示されるようなメェユー画面をディスプレイ 1 4 4に表示し、 ユーザからの選択を受付ける。 具体的には、 図 1 6を参照して、 当該スクリプトのプレビュー処理、 データフォルダへの保存処理、 当該スクリブ トから参照されるメディアデータを個別のメディアフアイルに保存する処理、 当 該スクリプトおよびメディアデータをメールに添付する処理、 当該スクリプトお よびメディアデータを MM S (Multimedia Messaging Service) で送信する処理、 当該スクリプトの再生中のスライドを編集する処理、 当該スクリプトのプロパテ ィを表示する処理、 およびアプリケーションを終了する処理などの選択を受付け る。 そして、 ステップ S 4 2で、 ユーザからの選択に応じた処理を実行する。 な お、 スライドとは、 図 7の 2 0行から 2 5行に記述されるような並列に実行され るスクリプトの一部分を表わす。 すなわち、 図 7に示されるスクリプトは、 逐次 再生される、 2 0行〜 2 5行、 2 6行〜 3 1行、 および 3 2行〜 3 6行の 3つの スライドから構成される。
さらに図 1 6に示されるようなメニュー画面において 「スライド編集」 が選択 された場合、 ステップ S 4 1において実行制御部 1 3 1 3は、 図 3 6に示される ようなスライドを編集するためのメニュ—画面をディスプレイ 1 4 4に表示し、 スライド削除処理またはスライド書換え禁止処理の選択を受付ける。
なお、 スクリプトにスライド編集が許可されるか禁止されるかを記述しておき、 禁止される場合には上記スライド編集の選択肢を提示せずに、 スライド編集がで きないようにする構成をとることもできる。
より具体的に、 そのようなスライド編集が許可されるか禁止されるかを記述し たスクリブトの例を図 6 8に示し、 ステップ S 4 2でスライドの編集を実行する 許可を判定する処理について図 6 9のフローチャートを用いて説明する。 すなわ ち、 図 6 9を参照して、 スクリプトに図 6 8の 4行に示されるような編集禁止の メタ記述 （name二" readonly") が記述されている場合 （S 2 2 0 1で Y E S ) 、 禁止を記述する属性 （content) を参照する。 そして、 その属性が " y e s " で ある場合 （S 2 2 0 2で Y E S ) 、 ステップ S 4 2でのスライドの編集を禁止す る。 一方、 その属性が " y e s " でない場合には （S 2 2 0 2で N O) 、 ステツ プ S 4 2でのスライドの編集を許可する。 また、 そもそも当該スクリプトに編集 禁止のメタ記述がない場合にも ( S 2 2 0 1で N O) 、 ステップ S 4 2でのスラ ィドの編集を許可する。
以上で具体例に基づいたスライド編集許可判定の説明を終える。
また、 上述のステップ S 4 1で図 3 6に示されるようなスライド編集のメェュ 一画面においてスライド削除が選択された場合のステップ S 4 2における処理に ついて、 図 3 5のフローチャートを用いて説明する。
すなわち、 図 3 5を参照して、 上述のステップ S 4 1で当該スクリプトの再生 中のスライドを削除する処理が選択されると、 実行制御部 1 3 1 3はそのときの 時間パラメータ値、 メディア描画処理タイムテーブル、 およびイベント処理タイ ムテーブルを参照して （S 1 7 1〜S 1 7 3 ) 、 その時点で有効になっているメ ディア描画処理とイベント処理とを判断する。 そして、 その時点で有効になって いると判断されたメディア描画処理とイベント処理とのスケジュール記述部分を スクリプトから削除して、 当該スクリプトを書換える （S 1 7 4 ) 。
以上でスライドを削除する処理を実行する場合のステップ S 4 2における処理 を終了し、 処理を図 1 5のフローチャートに示されるメニュー処理に戻す。
また、 上述のステップ S 4 1で図 3 6に示されるようなスライド編集のメェュ 一画面においてスライド書換禁止が選択された場合のステップ S 4 2における処 理について、 図 3 7のフローチャートを用いて説明する。
すなわち、 図 3 7を参照して、 上述のステップ S 4 1で当該スクリプトの再生 中のスライドの書換禁止処理が選択されると、 実行制御部 1 3 1 3はそのときの 時間パラメータ値、 およびイベント処理タイムテーブルを参照して （S 1 8 1 , S 1 8 2 ) 、 その時点で有効になっているイベント処理を判断する。 そして、 そ の時点で有効になっていると判断されたィベント処理のスケジュール記述部分を スクリプトから削除して、 当該スクリプトを書換える （S 1 8 3 ) 。
以上でスライドの書換を禁止する場合のステップ S 4 2における処理を終了し、 処理を図 1 5のフローチャートに示されるメニュー処理に戻す。
また、 上の処理で、 ステップ S 1 7で発生を検出したイベントが、 リンク移動 処理を実行させるイベントであると決定された場合、 ステップ S 2 7において、 図 1 7に示す処理を実行する。 すなわち、 図 1 7を参照して、 始めに、 ステップ S 5 1で実行制御部 1 3 1 3は、 スクリプトに含まれるリンク先を示すパラメ一 タを参照して、 ステップ S 5 2で当該スクリプトの実行を中断する。 そして、 ス テツプ S 5 3で、 ステップ S 5 1で参照したパラメータに基づいてリンク先のス クリプトを取得する。 その後、 処理を図 9に示される処理のステップ S 1 3に戻 し、 取得したスクリプトを読出して、 同様に実行する。
また、 上の処理で、 ステップ S 1 7で発生を検出したイベントが、 アプリケー ション実行処理を実行させるイベントであると決定された場合、 ステップ S 2 6 において、 図 1 8に'示す処理を実行する。 すなわち、 図 1 8を参照して、 始めに、 実行制御部 1 3 1 3は、 アプリケーションを起動するか否かを選択させる画面を ディスプレイ 1 4 4に表示させる。 アプリケーションの起動が選択された場合 ( S 6 1で Y E S ) 、 ステップ S 6 2で実行制御部 1 3 1 3は、 所定のアプリケ ーシヨンを起動させる。 次に、 そのアプリケーションから所定のデータを取得す る必要がある場合には （S 6 3で Y E S ) 、 ステップ S 6 4で取得する。 そして、 実行している当該スクリプトの書換えが必要な場合 （S 6 5で Y E S ) 、 ステツ プ S 6 6で、 スクリプト書出部 1 3 1 6がスクリプトの書換処理を実行する。 さらに、 実行制御部 1 3 1 3は、 上述のスクリプト書換処理終了後、 スクリブ トの再生を再開する。 スクリプトの再生は、.スクリプトの再生開始時点から、 ま たはその時点でのスクリプト再生時点から、 または書換えられた区間の開始時点 から始めることができる。 上記いずれの構成をとつてもよいし、 またユーザに上 記選択肢から選択させる構成をとつてもよい。
なお上記の再開時点は、 当該端末に設定された所定のルールに従って動的に決 定されてもよい。 同様に、 スクリプトの再生の時間や、 終了時点などの再生に関 する他の時間も決定されてもよい。 以下に図 6 7のフローチャートを用いて、 「スクリプトの残りの再生時間が 1 0秒以下だったらスクリプトの現在の再生位 置から再開し、 そうでない場合は、 スクリプトの開始時点から再開する」 という ルールに従ってスクリプト再生の再開時点を決定する処理について具体的に説明 する。
図 6 7を参照して、 始めに、 実行制御部 1 3 1 3は、 スクリプトの現在の再生 位置を参照する （S 2 1 0 1 ) 。 この再生位置は、 ステップ S 2 1で一時停止を 行なつた時点での再生位置を示す。
次に、 実行制御部 1 3 1 3は、 スクリブトの総再生時間を参照する （S 2 1 0 2 ) 。 スクリプトの総再生時間は、 スクリプトのスケジュール記述部分から取得 される。 たとえば、 スクリプトが図 7に示されるものである場合、 ステップ S 2 1 0 2では、 時系列に実行される、 第 2 0行〜第 2 5行、 第 2 6行〜第 3 1行、 および第 3 2行〜第 3 6行の再生時間の総和を計算して、 スクリプトの総再生時 間を 1 9秒と取得する。
次に、 実行制御部 1 3 1 3は、 ステップ S 2 1 0 2で取得したスクリブトの総 再生時間からスクリプトの現在の再生位置を減算して、 スクリプトの残りの再生 時間を計算する （S 2103)。
そして、 ステップ S 2103で計算されたスクリブトの残りの再生時間が 10 秒以下の場合 （S 2104で NO) 、 実行制御部 1313は、 再生開始時点をス タリブトの現在の再生時点と設定する。 そうでない場合 （S 2104で YES) 、 実行制御部 1313は、 再生開始時点をスクリブトの開始時点と設定する。
以上で具体的なスクリプト再生の再開時点を決定する処理の説明を終わる。 次に、 上述のステップ S 62におけるアプリケーション起動について、 図 24 のフローチヤ一小を用いて説明する。
図 24を参照して、 実行制御部 1313は、 所定のアプリケーションが携帯電 話 1の記憶部 130に登録されている場合には （S 101で YES) 、 スクリブ トに記述された再生時間および領域のサイズなどを起動パラメータとして、 起動 する （S 102) 。 所定のアプリケーションが携帯電話 1の記憶部 130に登録 されていない場合 （S 101で NO) 、 さらに当該スクリプトにおいてアプリケ ーシヨンからのデータ取得が必要な場合には （S 103で YES) 、 ファイル取 得プログラム 156である、 ローカルファイル取得アプリケーションを起動する (S 104) 。
なお、 上記ステップ S 101で所定のアプリケーションが携帯電話 1の記憶部 130に登録されていない場合に、 通信部 110を介してサーバ 2から所定のァ プリケーシヨンをダウンロードして携帯電話 1の記憶部 130に記憶し、 起動す る構成をとつてもよい。
さらに以下に、 上述のステップ S 102での動作について、 起動するアプリケ ーシヨンが画像撮影アプリケーションである場合を具体例として、 図 66のフロ 一チャートを用いて説明する。
すなわち、 図 66を参照して、 始めに実行制御部 1313は、 置換えるメディ ァデータが表示される描画領域のサイズをスクリプトから取得する （S 200 1) 。 描画領域のサイズは、 一般的にスクリプトのヘッダ部分に記述されている。 具体的に、 スクリプトが図 6であるものとすると、 図 6の 8行の記述から描画領 域の幅 （w i d t h) および高さ （h e i gh t) に指定される数値 176およ び 120が取得される。 次に、 実行制御部 1 3 1 3は、 ステップ S 2 0 0 1で取得した描画領域のサイ ズに基づいて、 当該画像撮影アプリケーションで当該描画領域を含むことができ る最小の撮影サイズを判別する （S 2 0 0 2 ) 。 具体的に画像撮影アプリケーシ ョンが、 撮影サイズとして、 幅 6 0 0 X高さ 4 8 0、 幅 1 2 0 X高さ 1 6 0、 ま たは幅 1 2 0 X高さ 1 2 8を選択できるようになつている場合、 ステップ S 2 0 0 2では、 撮影サイズ幅 6 0 0 X高さ 4 8 0力 S、 具体例にある幅 1 7 6 X高さ 1 2 0の描画領域のサイズを含むことができるものと判別される。
そして、 実行制御部 1 3 1 3は、 ステップ S 2 0 0 2での判別結果に基づいて、 画像撮影アプリケーションでの撮影サイズを幅 6 0 0 X高さ 4 8 0に指定して、 画像撮影アプリケーションを起動する （S 2 0 0 3 ) 。
なお上述の処理と同様の処理を行なって、 起動するアプリケーションが音声録 音アプリケーションである場合、 スクリブトに記述された時間だけ録音すること ができる。 また、 起動するアプリケーションがファイル取得アプリケーションで ある場合、 メッセージのファイルサイズ総計が送信可能なサイズの上限を超えな いように、 利用できる残りサイズよりも大きなサイズのファイルを選択できない ようにすることができる。 また、 起動するアプリケーションが動画を取得するフ アイル取得アプリケーションである場合、 スクリプトに記述された再生時間より も長い再生時間のフアイルを選択できないようにすることができる。
以上で、 ステップ S 6 2におけるアプリケーション起動を終了し、 処理を図 1 8のフローチャートに示されるアプリケーション実行処理に戻す。
次に、 上述のステップ S 6 4におけるデータ取得について、 図 2 5のフローチ ヤートを用いて説明する。
図 2 5を参照して、 始めに、 実行制御部 1 3 1 3は、 ステップ S 6 2で起動し たアプリケーションからデータを受取る （S 1 1 1 ) 。 そして、 その取得データ 力 スクリプトに記述された再生時間、 および領域サイズに適合しない場合 （S 1 1 2で N O) 、 実行制御部 1 3 1 3は、 取得データをスクリプトの記述に適合 するように変換する （S 1 1 3 ) 。
なお、 ステップ S 1 1 3において、 予めスクリプトに記述された参照情報で参 照されるメディァデータと取得データとを合成し、 新たにスクリプトまたはメデ ィァデータを生成してもよい。 取得データが再生時間をもつメディアデータの場 合において、 この生成処理は図 5 6 A〜図 5 6 Cを用いて以下のように説明でき る。
すなわち、 図 5 6 Aの上部および図 5 6 Bに示されるように、 本具体例におい て 「元のメディアデータ」 は 5秒間の再生時間をもち、 当初時刻 t lから再生さ れるように記述されている。 また、 「取得データ」 は、 ステップ S 3 1で参照さ れるイベントの時間パラメータ値である時刻 t 2 (= t 1 + 3 ) から 5秒間撮影 した動画であるものとする。 この場合、 ユーザが、 適当なユーザインタフェース により、 取得データを撮影していた時間に再生時間が該当している 「元のメディ ァデータ」 の部分を 「取得データ」 と置換えるように指示すると、 「書換え後に 再生されるデータ」 の内容と再生時間とは図 5 6 Aの下部および図 5 6 Cに示さ れるデータになる。 このような効果を得る処理の 1つの実現方法は、 実行制御部 1 3 1 3が指示することで、 元のメディアデータの所定部分であって取得データ の撮影時間と再生時間が重なる部分を、 画像データ撮影■編集プログラム 1 3 3 によって書換えて保存することで得られる。 他の実現方法は、 元のメディアデー タおよび取得データそれぞれの新たな開始時刻と再生時間とを表現するスクリプ トを、 実 ί亍制御部 1 3 1 3から指示を受けたスクリプト書出部 1 3 1 6が生成し て書出すことである。 後者の実現方法によると、 上述の具体例においてスクリブ ト書出部 1 3 1 6で書出されるスクリプトは、 図 5 6 Βおよぴ図 5 6 Cに示すス クリプトとなる。 なお、 取得データのうちの、 元のメディアデータと重ならない 時刻 t 3から時刻 t 4の部分を生成されるデータに加えるかどうかは、 適当なュ ーザィンタフェースなどによつて指示されることが好ましい。
なお、 ステップ S I 1 3において、 たとえば、 動画データから音声データのみ を取出す処理を行なうなどして取得データの一部を取出して、 新たにメディアデ ータを生成してもよい。
また、 上記処理中のステップ S 1 1 2およびステップ S 1 1 3において、 取得 データが占めるメモリ領域のサイズが所定の値を超えている場合に、 たとえば、 画像データの減色や音声データのサンプリングレートの低減など、 データサイズ を削減する処理を行なってもよい。 また、 上記処理中のステップ S 1 1 2において、 取得データがスクリプトの記 述に適合しない場合に、 取得データに替えて携帯電話 1の記憶部 1 3 0に記憶さ れた所定のメディアデータ （デフォルトのデータ） を使用してもよい。
以上で、 ステップ S 6 4におけるデータ取得を終了し、 処理を図 1 8のフロー チャートに示されるアプリケーション実行処理に戻す。
次に、 上述のステップ S 6 6におけるスクリプト書換処理について、 図 2 6の フローチャートを用いて説明する。
図 2 6を参照して、 実行制御部 1 3 1 3は、 スクリプトに含まれるメディアデ ータと取得データとの合計が、 記憶部 1 3 0に記憶される規定値以下の場合 （S 1 2 1で Y E S ) 、 スクリプト書出部 1 3 1 6でスクリプト書换処理を実行させ る （S 1 2 2 ) 。 そうでない場合 （S 1 2 1で N O) 、 実行制御部 1 3 1 3は、 ディスプレイ 1 4 4にスクリプト書換えができない旨を表示する （S 1 2 3 ) 。 なお、 上述のステップ S 1 2 2において、 実行制御部 1 3 1 3は、 ステップ S 3 1で参照されるイベントの時間パラメータ値を利用して取得データを書込む時 点を変更することもできる。 たとえば、 スクリプト書換処理として、 図 5 7 Aに 示されるようなスクリプトにおいて、 図 5 7 Bに示されるように、 再生開始後 4 秒目にキー操作を行なって、 カメラアプリケーションを起動してメディアデータ を書換える処理を行なう場合、 キー操作が行なわれた時刻 （4秒目） から撮影を 開始し、 撮影終了後カメラアプリケーションから取得した動画 2を、 キー操作が 行なわれた時刻 （4秒目） から、 元のメディアデータである動画 1の再生終了時 刻 （8秒目） までの区間に書込む。 なお、 この例ではイベントの時間パラメータ 値の時点にメディアデータを書込んでいるが、 イベントの時間パラメータ値より 後の時点または前の時点に書込むこともできる。
以上で、 ステップ S 6 6におけるスクリプト書换処理を終了し、 処理を図 1 8 のフローチャートに示されるアプリケーション実行処理に戻す。
以上で、 本データ通信システムにおける携帯電話 1でのスクリプトの再生およ び編集処理が終了する。
より具体的に、 本データ通信システムにおける携帯電話 1で、 図 6および図 7 に示されるスクリプトの再生および編集処理を実行する場合について、 図 1 9お ょぴ図 2 0のフローチャートを用いて説明する。
図 1 9を参照して、 図 7に示されるスクリプトの第 2 0行を実行するとき、 始 めに再生■編集エンジンプログラム 1 3 1の構文解析部 1 3 1 2でスクリプトの 解析を行なって、 ステップ S 7 1において、 実行制御部 1 3 1 3は、 画像データ 表示再生プログラム 1 3 4に対して、 0秒〜 8秒において、 I m a g e領域に動 画像データ 「F i r s t I m a g e . m p g」 を表示再生するように指示する。 すると、 ステップ S 7 2において、 画像データ表示再生プログラム 1 3 4は、 0 秒〜 8秒において、 ディスプレイ 1 4 4に動画像データ 「F i r s t I m a g e . m p g」 を表示再生し、 さらに、 そのデータに音データが含まれる場合には、 スピーカ 1 4 8からその音データを再生する。
次に、 0秒〜 8秒の間に、 ユーザから s e 1 e c tキーを操作されるというィ ベントが発生した場合、 図 7に示されるスクリプトの第 2 4行に記述される処理 である、 図 2 0に示される処理を実行する。 すなわち、 図 2 0を参照して、 ィべ ント管理部 1 3 1 5が s e 1 e c tキーが操作されたというイベントの発生を検 出すると、 ステップ S 8 1において、 実行制御部 1 3 1 3は、 図 1 1に具体例が 示されるイベント処理タイムテーブルを参照して、 対応する処理内容 （ァクショ ン） を決定する。 すなわち、 イベント処理タイムテープノレを参照して、 ステップ S 8 2において、 実行制御部 1 3 1 3は、 対応するアプリケーションである画像 撮影プログラム 1 3 3と音声データ録音プログラム 1 3 6とを起動させる。
次に、 ステップ S 8 3において、 画像撮影プログラム 1 3 3は、 画像撮影に必 要な U Iをディスプレイ 1 4 4に表示し、 カメラ 1 4 9とキーコード入力デバィ ス 1 4 2とを使用して画像データを生成する。 また、 それと同時に、 音声データ 録音プログラム 1 3 6は、 マイクロフォン 1 4 6を使用して音声データを生成す る。 そして、 図示されないデータ合成プログラムは、 生成された画像データと音 声データとを合成する。 このようにして、 ステップ S 8 3において、 新しいデー タを取得する。
上の処理が終了すると、 ステップ S 8 4において、 実行制御部 1 3 1 3は、 画 像撮影プログラム 1 3 3と音声データ録音プログラム 1 3 6とを終了させる。 そして、 ステップ S 8 5において、 再生'編集エンジンプログラム 1 3 1は、 合成されたデータを受取り、 そのデータが、 I m a g e領域に 0秒〜 8秒に表示 されるように、 スクリプト書出部 1 3 1 6がスクリプトを書換える。
以上で、 図 6および図 7に示されるスクリプトの第 2 4行の処理を終了し、 新 たに生成されたスクリブトの再生■編集処理の実行を行なう。
本データ通信システムの携帯電話 1で図 6および図 7に示されるスクリプトを 再生および編集処理を実行する際には、 上のような処理を 1行ずつ実行する。 このようなスクリプトの再生'編集処理について、 図 2 1、 図 2 2およぴ図 8 5に示す具体的な表示画面の遷移を用いて説明する。 図 2 1および図 2 2は具体 的な表示画面の遷移を順に表わす図であり、 図 8 5は、 それらの表示画面の具体 例を 1つの図で示したものである。
図 2 1の （A) は、 使用可能なテンプレートの一覧を表示する画面の具体例で ある。 図 2 1の （A) に示される画面では、 テンプレート 「今ここにきてる」
「これ見て！」 「かなりひま」 および 「これうまい！」 の 4つのテンプレートが 選択可能に表示される。 なお、 この例ではテンプレートの名称のみ表示されてい るが、 テンプレートを利用して作成できるメッセージの具体的なイメージがサム ネィノレ画像として名称と共に表示されることがより好ましい。
また、 一覧表示されるテンプレートは、 通常は端末内のメモリに保存されてい るテンプレートであるが、 ネットワーク接続により外部機器やサーバからダウン ロード可能であるものを表示してもよい。
また、 このテンプレート一覧画面では、 取得済みまたは取得可能なテンプレー トがすべて表示されてもよいし、 一部のテンプレートのみが表示されてもよい。 このような表示を行なう場合、 どのテンプレートを表示するのかの選択方法につ いては、 ユーザ操作などにより、 よく使用するテンプレートのみを厳選して表示 する方法、 最近使用したテンプレートのみを表示する方法、 メッセージとして送 信する場合において、 予め送信相手が指定されていて、 かつ送信相手端末の機能 が判明する場合には、 送信相手端末が解釈および実行可能であるテンプレートの みを表示する方法、 などが考えられる。 このように、 送信相手端末の機能に応じ てテンプレートを選択表示することにすれば、 たとえば、 送信相手端末がカメラ を持たない携帯電話である場合に、 カメラを起動することでその場で写真を撮影 し送付してもらう目的のテンプレートは、 一覧から除外しておくことができる。 なお、 上述の、 一部のテンプレートのみ一覧表示する場合においても、 所定の ユーザ操作によって、 他の取得済みまたは取得可能なテンプレートすべてを表示 できることが好ましい。 さらに、 送信相手端末の機能が判明する場合には、 記述 されているすべての機能が相手端末にて解釈および実行できないと判明したテン プレートについては、 色やフォントを区別して表示する力 \ 選択されたときに警 告画面を出すなどしてユーザに注意を促がすか、 あるいは選択操作を無効にして おいてもよい。
続いて、 図 2 1の （A) に示される画面においてテンプレート 「かなりひま」 を選択し、 再生処理を実行させる場合の処理について具体的に説明する。
図 2 1を参照して、 始めに所定のナビゲーシヨンフレームであるスクリプト 「かなりひま」 を選択して、 再生処理を実行させる。 携帯電話 1では、 上の処理 が実行されて該テンプレートに含まれるスクリプトが解析され、 図 2 1の （B ) に示されるように、 かかるスクリプトの実行が開始する。
スクリブト実行に伴って時系列的に変化する U I部品であって、 ユーザをナビ ゲートする U I部品が、 図 2 1の （C ) 以降の画面に示されるようにディスプレ ィ 1 4 4に表示される。 具体的には、 図 2 1の （C ) に示される実行画面の 2コ マ目再生時に 「カメラ起動」 の文字列がディスプレイ 1 4 4に表示される。 この 状態でユーザが何の操作も行なわなかった場合には、 「カメラ起動」 の文字列が 所定時間表示された後スクリプトは図 2 1の （D) の画面に示される終端まで実 行され、 自動的に始端である図 2 1の （B ) の画面に戻って再生を繰返す。 なお、 U I部品としてこの例では文字列が表示されるものとしているが、 カメ ラなどのアイコン画像や動画が表示されたり、 音声や音楽が再生されてもよい。 図 2 1の （C ) に示される 「カメラ起動」 の文字列がディスプレイ 1 4 4に表 示されているタイミングにユーザが所定のキー操作を行なうことで、 画像撮影プ ログラム 1 3 3が実行され、 図 2 1の （E ) および （F ) に示されるようにカメ ラ 1 4 9にて動画の撮影を行なうことができる。 そして、 図 2 1の （G) に示さ れるように、 テンプレート 「かなりひま」 は 「カメラ起動」 の文字列が表示され る時間帯に撮影された動画データが再生されるように書替えられる。 すなわち、 ユーザが U I部品のナビゲートにさたがって撮影を行なった後、 スクリプトの始 め、 あるいは 「カメラ起動」 の U I部品がディスプレイ 1 4 4に表示される時点 にスクリプトの実行を戻すと、 図 2 2に示されるように、 先にテンプレート 「か なりひま」 を実行したときに 「カメラ起動」 の U I部品がディスプレイ 1 4 4に 表示された時間帯に、 図 2 2の （B ) に示されるように撮影された動画が再生さ れる。 なお、 その場合、 スクリプト実行の際に、 「カメラ起動」 の U I部品が表 示される時間帯に動画データが登録されたことが判定されると、 その時間帯には 「カメラ起動」 の U I部品が表示されないようにされることが好ましい。 あるい は、 図 2 2の （B ) に示されるようにその時間帯には 「撮り直し」 の U I部品が 表示されるように変更されることが好ましい。
以降、 終了の操作を行なうまで、 自動的に書換えられたスクリプトの実行が繰 返される。
次に、 メニューから 「プレビュー」 を選択して、 プレビュー実行する処理を実 行する。 プレビュー実行においては、 図 4 0に示されるように編集後のスクリプ トが U I部品の表示および再生をすベて無効化された状態で再生される。 すなわ ち、 図 2 2の （B ) に示される 「撮り直し」 の文字列は表示されず、 ユーザが所 定のキー操作を行なっても、 画像撮影プログラム 1 3 3は実行されない。 なおプ レビュー処理については後に説明する。
編集後のスクリプトの表示をプレビューで確認したのち、 メェユーから 「メー ル添付」 を選択して、 スクリプトおよびメディアデータを他の携帯電話 1に送信 する。 なおメール添付処理については、 後に説明する。
さらに、 本実施の形態の他の具体例として、 本データ通信システムにおける携 帯電話 1で、 図 2 9および図 3 0に示されるスクリプトの再生を実行する場合に ついて、 図 3 1および図 3 2のフローチャートを用いて説明する。
図 3 1を参照して、 本実施の形態における携帯電話 1で図 3 0に示されるスク リブトの第 1 9行を実行するとき、 始めに再生 '編集エンジンプログラム 1 3 1 の構文解析部 1 3 1 2でスクリプトの解析を行なって、 実行制御部 1 3 1 3は、 画像データ表示再生プログラム 1 3 4に対して、 0秒〜 1 0秒において、 t o p 領域に画像データ 「P r o d u c t I m a g e . j p g」 を表示再生するように 指示する （S I 41) 。 すると、 画像データ表示再生プログラム 134は、 0秒 〜10秒において、 ディスプレイ 144に画像データ 「P r o d u c t Ima g e. j p g」 を表示再生する。
次に、 図 30に示されるスクリプトの第 20行を実行するとき、 同様にしてス テツプ S 142において、 実行制御部 1 313は、 テキスト表示再生プログラム 1 34に対して、 0秒〜 10秒において、 m i d d 1 e領域にテキストデータ 「P r o d u c tD e s c. t x t」 を表示再生するように指示する （S 14 2) 。 すると、 テキストデータ表示再生プログラム 138は、 0秒〜 10秒にお いて、 ディスプレイ 144にテキストデータ 「P r o d u c t D e s c. t x t」 を表示再生する。
次に、 1秒〜 4秒の間に、 ユーザから s e 1 e c tキーを操作されるというィ ベントが発生した場合、 図 30に示されるスクリプトの第 21行に記述される処 理である、 図 32に示される処理を実行する。 すなわち、 図 32を参照して、 ィ ベント管理部 1 315が s e 1 e c tキーが操作されたというイベントの発生を 検出すると、 実行制御部 1313は、 イベント処理タイムテーブルを参照して、 対応する処理內容 （アクション） を決定する （S 151) 。 そして、 実行制御部 1313は、 イベント処理タイムテーブルを参照して、 対応するアプリケーショ ンである WWWブラウザプログラム 151を起動させる （S 152) 。
次に、 WWWブラウザプログラム 151は、 通信部 1 10を介して WWWコン テンッを取得し、 ディスプレイ 144に表示する （S 153) 。
上の処理が終了すると、 実行制御部 1313は、 WWWブラゥザプログラム 1 51を終了させる （S 154) 。
以上で、 図 29および図 3◦に示されるスクリプトの第 21行の処理を終了し、 スクリプトの再生処理の実行を行なう。
本データ通信システムの携帯電話 1で図 29および図 30に示されるスクリプ トの再生処理を実行する際には、 上のような処理を 1行ずつ実行する。 このよう なスクリプトの再生処理について、 図 33に示す具体的な表示画面の遷移を用い て説明する。
図 33を参照して、 本データ通信システムの携帯電話 1は、 通信部 1 10から スクリプトを取得して、 再生処理を実行させる。 携帯電話 1では、 上の処理を実 行して、 スクリプトを解析し、 スクリプトの実行を開始する。
スクリブトの実行が開始されると、 スクリブトの実行に伴って時系列的に変化 する U I部品であって、 ユーザをナビゲートする U I部品が、 図 3 3に示される ようにディスプレイ 1 4 4に表示される。 具体的には、 図 3 3の （B ) に示され る再生時に 「WWWブラウザ」 のアイコン画像がディスプレイ 1 4 4に表示され る。 この状態でユーザが何の操作も行なわなかった場合には、 自動的に図 3 3の (C) に示される状態に遷移し、 「通話」 のアイコン画像がディスプレイ 1 4 4 に表示される。 さらにこの状態でユーザが何の操作も行なわなかった場合には、 自動的に図 3 3の （D) に示される状態に遷移し、 「メーノレ送信」 のアイコン画 像がディスプレイ 1 4 4に表示される。
「WWWブラウザ」 のアイコン画像がディスプレイ 1 4 4に表示されている図 3 3の （B ) に示される時間帯にユーザが所定のキー操作を行なうことで、 WW Wブラゥザプログラム 1 5 1が実行され、 通信部 1 1 0を介して所定の WWWコ ンテンッを取得してディスプレイ 1 4 4に再生することができる。 WWWコンテ ンッの閲覧後 WWWブラゥザプログラムを終了すると、 以前の再生位置からスク リブトの再生を再開する。
以降、 終了の操作を行なうまで、 スクリプトの再生が繰返される。
さらに、 図 1 6に具体例が示されるメ-ユー画面に 「プレビュー」 が選択され た場合の、 携帯電話 1におけるプレビュー処理について図 2 3のフローチャート を用いて説明する。 すなわち、 図 2 3を参照して、 プレビュー処理は、 図 9に示 されるスクリプトの再生および編集処理とほぼ同様であるが、 プレビュー処理に おいては、 ステップ S 9 2での解析結果に基づいて、 ステップ S 9 3において、 スクリプトの描画情報記述部分に基づいてメディアデータ描画処理のタイムテー ブルのみ作成する。 そして、 ステップ S 9 4で、 スクリプトのユーザナピゲ一ト 情報記述部分に基づく部分は再生を実行せずに、 描画情報記述部分に基づく部分 を実行する。 そして、 イベント管理部 1 3 1 5がイベントの発生を検出すると ( S 9 5で Y E S ) 、 実行制御部 1 3 1 3は、 当該イベントに応じた処理を実行 する （S 9 6 ) 。 なお、 ここでのイベントに応じた処理については、 後にサブル 一チンを挙げて説明する。 プレビュー処理の場合には、 スクリプト定義入カイべ ントは無効であり、 ステップ S 9 6においてシステムイベントと固定入カイベン トとのみが処理される。
以上で、 携帯電話 1におけるスクリプトのプレビュー処理を終了する。
次に、 上述のステップ S 9 6で実行されるイベントに応じた処理について、 図
3 8のフローチャートを用いて説明する。
図 3 8を参照して、 始めに、 上述のステップ S 9 5でイベント管理部 1 3 1 5 力 らイベント発生の検出情報を受取ると、 実行制御部 1 3 1 2は、 実行している スクリプトを一時停止する （S 1 9 1 ) 。
そして、 ステップ S 9 5で検出されたイベントが、 スクリプトの実行が当該ス クリブトの実行点の終端まで到達したことを示すイベントである場合には （S 1 9 2で Y E S ) 、 実行制御部 1 3 1 3は、 当該スクリプトの実行を終了し ( S 1 9 3 ) 、 処理を'図 2 3のステップ S 9 4に戻して、 再度スクリプトの実行を開始 する。 すなわち、 再度、 スクリプト実行を実行点の始端に戻し、 始めからスクリ ブトの実行を繰返す。
一方、 ステップ S 9 5で検出されたイベントが、 スクリプトの実行が実行点の 終端まで到達したことを示すイベント以外のイベントである場合には （S 1 9 2 で N〇） 、 実行制御部 1 3 1 3は、 検出されたイベントに基づいて処理内容を決 定する （S 1 9 4 ) 。
ステップ S 1 9 4で決定された処理内容が 「メェユー」 の場合 （S 1 9 4で 「処理」 ==メ-ユー） 、 実行制御部 1 3 1 2は、 図 1 5に示すメニュー処理を実 行する （S 1 9 5 ) 。 メ-ユー処理の実行の手順は再生 ·編集処理を行なう場合 と同様であるが、 図 3 9に示されるようにプレビュー処理の替わりに編集処理が 選択肢となるメェユー画面がディスプレイ 1 4 4に提示される。 編集処理が選択 された場合、 図 9に示される再生編集処理が実行される。 なお、 メュユーから再 生編集処理を開始する場合、 スクリプトの開始時点から開始してもよいし、 プレ ビュー処理のその時点でのスクリプト実行時間から開始してもよい。
一方、 ステップ S 1 9 4で決定された処理内容が 「スキップ」 の場合 （S 1 9 4で 「処理」 =スキップ） 、 実行制御部 1 3 1 2は、 メディア描画処理タイムテ 一プルを参照して、 次に実行されるメディア描画処理を判断し、 当該メディア描 画処理の開始時点にスクリプト実行点を更新する （S 196) 。
ここで、 スクリプト実行点の移動先としては、 上述の、 次に実行されるメディ ァ描画処理の開始時点の他に、 次の次以降に実行されるメディァ描画処理の開始 時点や、 スキップ処理が選択されずそのままスクリプト実行を続けた場合に所定 の時間が経過した時点での実行点などであってもよい。
次に、 図 16に具体例が示されるメニュー画面において、 当該スクリプトおよ びメディァデータをメールに添付する処理が選択された場合の、 携帯電話 1にお けるメール添付処理について図 34のフローチャートを用いて説明する。
図 34を参照して、 始めに、 実行制御部 1313は、 再生専用マルチメディァ データとして送信するか否かを選択する画面をディスプレイ 144に表示させる。 そして、 当該画面において再生専用マルチメディァデータを添付するように選択 されなかった場合 （S 161で NO) 、 実行制御部 1313は、 マルチメディア データを受信する他の携帯電話 1においてマルチメディァデータをどのように使 用するかについてのヒントを設定する （S 165) 。 すなわち、 ステップ S 16 5において、 実行制御部 1313は、 当該マルチメディアデータに対して、 コン テンッ編集操作をナビゲートするテンプレート （t e mp 1 a t e) として使用 すべきか、 単に閲覧用のコンテンツ （c o n t e n t s) であるかを設定する。 そして、 処理をステップ S 163に進める。
一方、 再生専用マルチメディアデータとして送信するか否かを選択する画面に おいて、 再生専用マルチメディアデータを添付するように選択された場合には (S 161で YE S) 、 実行制御部 13 13は、 スクリブトのユーザナビゲート 情報記述部分を削除する （S 162) 。
次に、 実行制御部 131 3は、 記憶部 1 30にスクリプトを書出す （ S 16 3) 。 そして、 実行制御部 13 13は、 添付ファイルとして前述のスクリプトお よびマルチメディアデータを設定して、 メールプログラムを起動する (S 16 4) 。
なお、 上述のメール添付処理において、 再生専用マルチメディアデータを添付 するように選択された場合に （S 161で YES) 、 編集前のマルチメディアデ ータテンプレートを再生専用マルチメディアデータと共にメールに添付してもよ レ、。 また、 上述のメール添付処理のステップ S 1 6 2において、 受信する携帯電 話 1が処理できないと予め判明している記述部が存在する場合には、 かかる記述 部をスクリブトから削除してもよい。
[第 2の実施の形態]
次に、 図面を参照しつつ、 本発明の第 2の実施の形態について説明する。
本発明の第 2の実施の形態におけるマルチメディァデータ処理装置を含むデー タ通信システムの構成は、 図 1に示される第 1の実施の形態の場合と同様である。 また第 2の実施の形態における携帯電話 1の構成および、 携帯電話 1の記憶部 1 3 0に記憶されるプログラムとデータ処理の流れもまた、 それぞれ図 2、 図 3に 示される第 1の実施の形態の場合と同様である。
最初に、 第 2の実施の形態にかかるマルチメディアデータ処理装置である携帯 電話 1でメディァデータの再生順序情報を含んだスタリブトを再生し、 メディァ データを書込んで変更して、 メディアデータの再生順序情報を含んだスクリプト を作成する場合について説明する。
図 4 1 Aに示されるテンプレートは、 シーン 1〜シーン 3の 3つのシーンで構 成されている。 これらのシーンの遷移は、 テンプレート内のスクリプトに時間情 報が記載されていてそれに従う場合、 端末で設定された切替え時間に従う場合、 シーン切替えをユーザが明示的に行なう場合などが考えられるが、 本発明におい て特に規定されるものではない。 図 4 1 Aおよび図 4 1 Bに示される具体例では、 図 4 1 Aの （B ) に示されるシーン 2の静止画、 および図 4 1 Aの （C) に示さ れるシーン 3のテキストを、 それぞれ図 4 1 Bの （E ) および図 4 1 Bの （F ) に示されるようにユーザが入替えることで、 修正を行なつた場合を示す。
さらに、 図 4 1 Aの画面表示を実現するためのスクリプトの具体例を図 4 7に 示す。 図 4 7に示されるスクリプトは、 並行して再生されるメディアデータのま とまりを表わすシーンを、 逐次に再生することを表しているスクリプトである。 すなわち、 図 4 7を参照して、 第 1 5行〜第 1 7行、 第 1 8行〜第 2 1行、 およ び第 2 2行〜第 2 5行の記述は、 各々シーン 1〜シーン 3を表わしている。
より詳しくは、 第 1 8行〜第 2 1行に記述されるシーン 2において、 第 1 9行 には画像を再生することが記述され、 第 2 0行にはテキストを再生することが記 述されている。 これら画像とテキストとは第 1 8行〜第 2 1行が記述するシーン 2に属し、 並行して再生される。
さらに、 スクリプト内に 「d u r =j に引続いて表示されている時間は、 対応 するシーンの再生を行なう時間を表し、 その時間が経過した後は、 次のシーンの 再生に切替わる。 本実施の形態においてスクリブトはこのような記述方法を用い ているものとして示されているが、 本発明においてスクリブトの記述方法は限定 されるものではなく、 メディアを再生するシーケンス情報を記述できれば、 どの ような形式でも構わない。
なお、 シーケンスとは、 マルチメディアデータ再生時の、 時間的な順序関係を 指す。 シーケンスは、 子要素として再生時間軸上の特定区間 （具体的には 「シー ン」 「スライド」 、 さらに具体的には S M I Lでく p a r〉タグやく s e q >タ グで囲まれることで定義される区間） を 1つないし複数含む。 時間軸上の各区間 の順序関係を把握し、 各区間 （に含まれるメディアデータ） の再生開始、 停止、 メディアデータのロード、 アンロードを行なう際の手がかりとされるデータ構造 を作成、 保持することで、 シーケンスが管理される。 具体的には、 図 1 0〜 1 2 のようなタイムテーブルを用いることでシーケンスが管理される。 再生時間軸上 において、 各区間が開始、 終了する時刻をシーケンスの変更点という。 図 7に示 される U I割当状況表示タイムテーブルの具体例においては、 0 , 8， 1 5， 1 9秒目がシーケンスの変更点に該当する。
さらに、 図 4 2に、 本実施の形態にかかるマルチメディアデータ処理装置であ る携帯電話 1の再生'編集エンジンプログラム 1 3 1の機能構成についてプロッ ク図に示す。 制御部 1 2 0が記憶部 1 3 0に記憶される再生■編集エンジンプロ グラム 1 3 1を実行することで、 図 4 2に示される各機能が携帯電話 1において 実現される。
図 4 2を参照して、 本実施の形態における携帯電話 1の再生 ·編集エンジンプ ログラム 1 3 1の機能は、 テンプレート記憶部 1 0 0 0と、 選択部 1 0 0 1と、 スクリプト 'データー時記憶部 1 0 0 2と、 スクリプト実行部 1 0 0 3と、 ユー ザ変更デ"タ判定部 1 0 0 4と、 端末機能選択部 1 0 0 5と、 端末機能実行部 1 0 0 6と、 データ変更部 1 0 0 7と、 スクリプト 'データ変更確定部 1 0 0 8と、 スクリプト .データ出力部 1 0 0 9と、 出力スクリプト ·データ記憶部 1 0 1 0 と、 データ埋込部 1 0 1 1とを含んで構成される。
テンプレート記憶部 1 0 0 0は、 受信部 1 0 1 5で受信され渡された 1つ以上 のテンプレートを記憶する。 テンプレート記憶部 1 0 0 0に記憶されるテンプレ ートは、 図 4 7に示されるようなスクリプトと、 そのスクリプトが使用するサン プルメディアデータ （静止画やテキスト） との両方が含まれる場合が普通である 力 メディァデータだけがファイルなどの形態をとつて別に管理されていたり、 ネットワークで接続されたサーバに存在していたり、 テンプレートを利用すると きにァクセス可能であれば他の形態であつてもよい。
なお、 テンプレートからテンプレートに含まれるメディアデータのみを取出し、 別途転送あるいは保存などの操作を行なうことを、 テンプレートに含まれるスク リブトの記述で禁止あるいは許可できることが好ましい。 さらに、 テンプレート は、 通常端末に複数記憶されていて、 ユーザが使いたいテンプレートはネットヮ ークで接続したサーバゃメモリカードなどから追加可能であることが好ましい。 選択部 1 0 0 1は、 選択可能に表示されたテンプレートのリス トにおいて、 ュ 一ザからのテンプレートの選択を受付ける。 図 2 1のテンプレート選択画面が典 型的な例である。
スクリプト 'データー時記憶部 1 0 0 2は、 テンプレートに含まれるスクリブ トとメディアデータとを一時記憶する。 スクリプトは書換え可能な部分を含むた め、 通常、 テンプレートをコピーしてこの一時記憶エリアであるスクリプト ，デ 一ター時記憶部 1 0 0 2に記憶する。 し力 し、 メディアデータについては、 ファ ィル名の書換えなどメディアデータそのものに修正が加わらない場合には、 特に 複製を作る必要はない。
スクリプト実行部 1 0 0 3は、 本発明のコアの部分である。 本発明においてス タリブトは、 シーンを切替えた表示を実現するためのものである。 スクリプト実 行部 1 0 0 3は、 スクリプト再生の際のシーンや時間については、 あらかじめテ 一プルを作成することで管理することが好ましい。
ユーザ変更データ判定部 1 0 0 4は、 テンプレートに含まれるメディアが変更 可能であるかどうかを判定する。 テンプレートに含まれるメディアは、 その大部 分は書換え不可であるが、 そのうちのメディアフアイノレ名などのメディアを参照 する参照情報を書換えることによって、 最終的にユーザが望むマルチメディアデ ータを生成することができる。
テンプレートに含まれるメディアデータは、 スクリプトにおいては通常フアイ ル名の形で指定されて記述される。 ユーザ変更データ判定部 1 0 0 4は、 当該メ ディアデータが変更可能かどうかを判定する。 たとえば図 4 1 Aの （B ) に示さ れるシーン 2の場合には静止画を入替えることが端末側で可能であるので、 ユー ザ変更データ判定部 1 0 0 4は、 静止画入替が可能と判定する。 また、 スクリブ トに静止画ファイルが指定されている場合であっても、 当該静止画ファイルはデ 一タ変更が不可能であるということもあり得る。
さらに、 時間で管理されるスクリプトの場合には、 そのメディアデータが再生 されている時間をユーザ変更データ判定部 1 0 0 4で選択して、 再生時間そのも のを書換えることや、 3つあるシーンにさらに 4つ目のシーンを追加というよう なこともユーザ変更データ判定部 1 0 0 4で判定して可能にすることが好ましい。 端末機能選択部 1 0 0 5は、 当該携帯電話 1の備える機能の中から、 ユーザ変 更データ判定部 1 0 0 4で選択された部分を変更するのに必要な端末機能を選択 する。 たとえば、 ユーザ変更データ判定部 1 0 0 4で選択された部分が静止画で ある場合には、 端末機能選択部 1 0 0 5は、 静止画を入替えるための機能を選択 する。 またたとえば、 当該携帯電話 1がカメラ付端末の場合には、 端末機能選択 部 1 0 0 5は、 カメラを起動する機能も選択できることが好ましい。
端末機能実行部 1 0 0 6は、 端末機能選択部 1 0 0 5で選択された端末機能を 用いてメディアデータを取得する。 そして、 端末機能実行部 1 0 0 6は、 取得し たメディアデータをデータ変更部 1 0 0 7に出力する。
データ変更部 1 0 0 7は、 端末機能実行部 1 0 0 6から入力されたメディアデ ータをスクリプトから参照される元のメディアデータと入替える。 このときに、 テンプレートでは静止画であったものが変更後は動画やテキストなど別の種類の メディァデータになっても構わない。
また、 このとき、 スクリプトにおいてメディアデータへの参照情報がファイル 名で記述されている情報である場合には、 変更後のメディアデータをファイルの 形式で保持し、 その名前をスクリプトに記述されているフアイノレ名にする、 また は変更後のメディアデータがそもそもフアイルの形式であつて名前が付けられて 管理されている場合には、 スクリプト内の該メディアデータを指定する部分を、 該ファイル名に書換える必要がある。
スクリプト ■データ変更確定部 1 0 0 8は、 スクリプトおよびメディアデータ の変更がすべて終了したことの確定をユーザから受付ける。 そして、 スクリブ ト ■データ変更確定部 1 0 0 8は、 スクリプトおよびメディアデータの変更が確 定した旨を、 スクリプト 'データ出力部 1 0 0 9に出力する。
スクリプト ·データ出力部 1 0 0 9は、 変更し確定されたスクリプトとメディ ァデータとを出力する。 スクリプト .データ出力部 1 0 0 9は、 典型的には MM S (Multimedia Messaging Service) など電子メ一ノレの开で他の端末やサーバに 送信する。 そして、 スクリプト 'データ出力部 1 0 0 9は、 他の端末などに出力 したスクリプトとメディアデータとを出力スクリプト ·データ記憶部 1 0 1 0と データ埋込部 1 0 1 1とに出力する。
出力スクリプト ■データ記憶部 1 0 1 0は、 スクリプト 'データ出力部 1 0 0 9から出力されたスクリプトとメディアデータとを保持する。 また、 データ埋込 部 1 0 1 1は、 出力されたスクリプトとメディアデータとからメディアデータを 取出して、 テンプレートに埋込む。
次に、 第 2の実施の形態にかかるマルチメディアデータ処理装置である携帯電 話 1の再生 ·編集エンジンプログラムにおける処理について図 4 3のフローチヤ ートを用いて説明する。 図 4 3のフローチャートに示される処理もまた、 携帯電 話 1の制御部 1 2 0が、 図 4 2に構成が示される再生 ·編集エンジンプログラム 1 3 1を記憶部 1 3 0から読出して実行することによって実現される。
図 4 3を参照して、 始めに、 選択部 1 0 0 1は、 テンプレート記憶部 1 0 0 0 に記憶されるテンプレート、 あるいは他の装置から取得したテンプレートを読出 して、 選択可能にディスプレイ 1 4 4にリスト表示を行ない、 ユーザの選択を受 付ける （S 1 1 0 0 ) 。 ステップ S 1 1 0 0において選択部 1 0 0 1は、 各テン プレートについて、 当該テンプレートの最初もしくは代表的な画面をサムネイル にして、 当該テンプレートのタイトルと共に表示することが好ましい。
次に、 スクリプト実行部 1003は、 ステップ S 1 100で選択されたテンプ レートを再生しながら、 ユーザの指示に応じて編集を行なう再生■編集処理を実 行する （S 1 101) 。 なお、 ステップ S 1 101における再生 ·編集処理につ いては、 後に詳細を説明する。 さらに、 再生と編集とは、 ユーザが切替え可能な モードがあることが一般的であるが、 編集と再生とが同時にできることが好まし い。
次に、 スクリプト 'データ変更確定部 1008は、 ユーザによるスクリプトの 変更が終了したかどうかを確認する （S 1 102) 。 そして、 スクリプトの変更 が終了していると （S 1 102で YES) 、 スクリプト 'データ出力部 1009 は、 確定されたスクリプトとデータとのいずれかもしくは両方を出力する （S 1 103)
以上で、 本実施の形態におけるテンプレートの再生および編集処理を終了する。 次に、 図 46のフローチャートを用いて、 上述のステップ S 1 101における 再生■編集処理について説明する。
図 46を参照して、 始めに、 スクリプト実行部 1003は、 スクリプトの記述 に従って、 再生されるシーンの切替えを行なう （S 1200) 。 ステップ S 12 00における処理については本発明において限定されるものではないが、 その典 型的な処理方法としては、 最初に時間テーブルもしくは図 58に示すような切替 えテープノレを作成して、 それに基づき次のシーンに移行する方法が挙げられる。 図 58は、 図 47に示すスクリブトを再生■編集する場合のメディァ管理テー ブルの具体例を示している。 より具体的には、 図 58を参照して、 「シーン 1」 では 「静止画 1」 が （図 58の （A) ) 、 「シーン 2」 では 「静止画 2」 と「テ キスト 2」と力 S (図 58の （B) ) 、 「シーン 3」では 「静止画 3 J と 「テキスト 3」 とが （図 58の （C) ) 再生されることを示している。 ステップ S 1200 においてデータ変更部 1007は、 このようなメディア管理テーブルを参照して、 シーン単位で j頃々に再生 ·編集を行なう。
次に、 スクリプト 'データ出力部 1009は、 端末の機能を用いてデータを出 力する （S 1201) 。 ステップ S 1201において出力されるデータの形態は、 静止画、 動画、 音楽、 テキストその他、 どのようなものでも構わない。 なおステ ップ S 1201における出力処理については、 サブルーチンを挙げて後に詳細に 説明する。
次に、 スクリプト実行部 1003は、 修正モードか再生モードかを判定する (S 1202) 。 既存のテンプレートをベースにして新たなテンプレートを作成 する場合には、 修正モードを実行するだけで再生モードとの切替えが不要である 場合もある。 逆に、 他の端末から送られてきたメールゃメッセージを新しいテン プレートとして使用する場合には、 通常は再生モードであるので、 修正モードに 変更できることが好ましい。
ステップ S 1202において修正モードである場合 （S 1202で YES) 、 さらにユーザから入力を取得し、 ユーザ変更データ判定部 1004は、 何の入力 かを判定する （S 1203) 。
ステップ S 1203における判定の結果、 ユーザからの入力が前のシーンの再 生を指示する入力であった場合には （S 1203で 「前シーン」 ） 、 スクリプト 実行部 1003は、 当該スクリプトの前のシーン表示の処理を行なう （S 120 4) 。
あるいは、 ステップ S 1203における判定の結果、 ユーザからの入力がスク リブトの変更処理を指示する入力であった場合には （S 1 203で 「変更処 理 J ) 、 データ変更部 1007は、 具体的な変更作業を行なう （S 1205) 。 なお、 ステップ S 1205における変更作業については、 サブルーチンを挙げて 後に詳細に説明する。
さらに、 スクリプト ■データ変更確定部 1008は、 ステップ S 1205にお ける変更後、 ユーザからの入力を得て再度確認するかどうかを判定する （S 12 06) 。 ステップ S 1206における判定の結果、 変更後のスクリプトを再度確 認する場合には （S 1206で 「再出力」 ） 、 ステップ S 1201に処理を戻し、 スクリプト 'データ出力部 1009は、 ステップ S 1201において同じシーン を変更後のデータを出力する。 これは、 静止画と音楽とが同時に出力される場合 など、 静止画変更だけではシーンが確認できないときなどに有効である。
そして、 ステップ S 1 202において修正モードではなく （S 1 202でN O) 、 さらに当該スクリプトの再生が終了した場合には （S 1207で YES) 、 本再生および編集処理を終了する。
次に、 上述のステップ S 1201におけるデータ出力処理について図 44のフ ローチャートを用いて詳細に説明する。
図 44を参照して、 始めに、 ユーザ変更データ判定部 1004は、 当該シーン 内の変更データの有無を判定する （S 1 1 10) 。 ステップ S 1 110での判定 処理については後にサブルーチンを挙げて詳細に説明する。
次に、 端末機能選択部 1005は、 ステップ S 1 1 10で判定された変更デー タの変更手段を選択する （S 1 1 1 1) 。 たとえば、 同じスクリプトであっても、 図 49に示されるように、 端末によって再生に用いることのできる機能が異なる。 機能の選択は、 端末のハードウェアだけでなく、 端末のソフトウェアによる違い も考慮することが可能である。 この場合、 ステップ S 1 1 1 1においては、 静止 画ファイル選択、 動画カメラ選択など、 端末に合わせて使用可能な機能が選択さ れることが好ましい。 なお、 ステップ S 1 1 1 1での変更データの変更手段選択 処理については後にサブルーチンを挙げて詳細に説明する。
次に、 データ変更部 1007は、 操作ガイドとして、 ディスプレイ 144に変 更のガイダンスを表示する （S 1 1 12) 。 ステップ S 1 1 12で表示される変 更ガイダンスとは、 たとえば静止画を入替える場合に、 入替えるファイルを選択 するためのガイド機能であり、 典型的には静止画ファイル選択ボタンの表示など を指す。 ステップ S 1 1 12においてデータ変更部 1007がこのようなガイダ ンスを動的に生成することで、 ユーザにどうすれば変更可能かを容易に知らせる ことができる。
次に、 スクリプト実行部 1003は、 ステップ S 1 1 12で表示された変更の ガイダンスと共に、 シーンの出力を実行する (S 1 1 13) 。
そして、 スクリプト 'データー時記憶部 1002は、 変更データごとに、 ステ ップ S 1 1 1 1で選択された変更手段 （アプリケーション） と、 ステップ S 1 1 12で生成された変更のガイダンスとに対応する入力イベントの組をシーンィべ ントテ一プルに記憶する （S 1 1 14) 。 ステップ S 1 1 14において、 具体的 には、 スクリプト 'データー時記憶部 1002は、 図 64のシーンイベントテー プルの具体例に示されるように、 変更データ 「静止画 2」 は、 「F 1」 キーィべ' ントで起動される 「画像撮影」 アプリケーションと、 「F 2」 キーイベントで起 動される 「ファイル取得」 アプリケーションとで変更でき、 変更データ 「テキス ト 2」 は、 「s e l e c t j キーイベントで起動される 「ファイル取得」 アプリ ケーションで変更できることを記憶する。
次に、 上述のステップ S 1 2 0 5での変更処理について図 6 5のフローチヤ一. トを用いて説明する。
図 6 5を参照して、 始めに、 データ変更部 1 0 0 7は、 シーンイベントテープ ルを参照する ( S 1 5 0 1 ) 。 シーンィベントテ一ブルに、 ステップ S 1 2 0 3 で入力されたユーザ入力イベントが登録されていない場合 （S 1 5 0 2で N O) 、 当該処理を終了する。
シーンィベントテーブルに、 ステップ S 1 2 0 3で入力されたユーザ入カイべ ントが登録されている場合 （S 1 5 0 2で Y E S ) 、 スクリプト実行部 1 0 0 3 は、 シーンィベントテーブルから対応するアプリケーシヨンを判定して起動させ る （S 1 5 0 3 ) 。 そして、 データ変更部 1 0 0 7は、 シーンイベントテーブル から対応するユーザ変更データを判別し、 起動したアプリケーションからメディ ァデータを取得して、 当該ユーザ変更データを起動したアプリケーションから取 得したメディアデータに書換える （S 1 5 0 4 ) 。 より具体的には、 キー 「F 1」 が押されると、 ステップ S 1 5 0 3において、 「画像撮影」 アプリケーショ ンが起動される。 また、 ユーザが 「画像撮影」 アプリケーションで静止画を撮影 し終了すると、 ステップ S 1 5 0 4においてユーザ変更データ 「静止画 2」 が新 たに撮影したデータで書換えられる。
なお、 上記の例において、 画像、 音声、 映像、 テキストなどのメディアデータ をユーザが入力する操作を行なったときに、 テンプレート内に入力されたメディ ァメディアを挿入することが可能な箇所が複数存在する場合には、 2つ以上の箇 所に該メディアデータを挿入しても構わない。 あるいは、 ユーザが入力したメデ ィァデータを分割し、 複数の箇所にその一部分を挿入しても構わない。
また、 音声、 音楽、 映像、 アニメーションなどの時間軸をもったメディアデー タをテンプレートに揷入する場合に、 それぞれのメディアデータの再生時間が、 予めテンプレートで規定された時間よりも長い場合には、 そのメディアデータは 挿入禁止にしてもよいし、 規定の時間に合わせるべく各メディァデータの再生速 度を上げてもよいし、 規定の時間が経過したら途中で再生終了するのでもよいし、 規定の時間に収まる一部分だけを再生するのでもよい。 もしくは、 各メディアデ ータが完全に再生されるようにテンプレートの時間規定を変更するのでも構わな い。 また、 テキスト、 静止画、 動画、 音声、 音楽、 ァ-メーシヨンなどのメディア データを揷入する際、 上記の例では挿入されるメディアデータに応じたファイル 選択、 カメラなどのアプリケーション起動を行なっているが、 ユーザが自由にメ ディアデータを選択し、 そのメディアデータをテンプレートに収まるメディアデ ータに変換するようにしても構わない。 たとえば、 撮影した動画から音声のみ抽 出してテンプレートに埋込む、 動画の先頭フレームを静止画として抽出してテン プレートに埋込む、 などを行なってもよい。
なお、 上記のテキスト入力の際に、 機器内に保持している定型文ゃクリップボ ードに一日き保存されているテキスト、 あるいは機器内に保持されていてテキスト データとして取得可能な、 ァドレス帳やスケジュール、 送受信したメールなどの データを読込めることが好ましい。
次に、 上述のステップ S 1 1 1 0での判定処理について図 5 9のフローチヤ一 トを用いて説明する。
すなわち、 図 5 9を参照して、 ユーザ変更データ判定部 1 0 0 4は、 現在再生 しているシーンと、 メディア管理テーブルとを参照して （S 1 3 0 1 , S 1 3 0 2 ) 、 当該シーンのメディアデータを判定する。 たとえば、 現在携帯電話 1にお いて図 4 7に示すスクリプトの 「シーン 2」 を再生している場合、 ユーザ変更デ ータ判定部 1 0 0 4は、 図 5 8に示されるメディア管理テーブルを参照して、 「静止画 2」 と 「テキスト 2」 とを変更データとして判定する。
次に、 上述のステップ S 1 1 1 1での変更データの変更手段選択処理について 図 6 0を参照して説明する。 図 6 0は、 携帯電話 1に格納されるデータ取得プロ グラムと携帯電話 1がサポートするメディアタイプとの対応を記録するテーブル であって、 携帯電話 1の記憶部 130に記憶されているテーブルである。 より具 体的には、 図 60に示されるテーブルには、 当該携帯電話 1には 「画像撮影 J ァ プリケーシヨンが登録され 「静止画」 と「動画」とが取得できること、 「音声デー タ録音」 アプリケーションが登録され 「音声」 が取得できること、 「ファイル取 得」 アプリケーションが登録され 「静止画」 と 「動画 J と 「テキスト」 とが取得 できることが記録されている。
上述のステップ S 1 11 1で端末機能選択部 1005は、 上記テーブルを参照 して、 ステップ S 1 1 10で判定された変更データのメディアタイプに基づいて、 使用可能な変更手段を選択する。 たとえば、 変更データのメディアタイプが 「静 止画」 の場合、 「画像撮影」 と「ファイル取得」とのアプリケーションを選択する。 図 53に、 携帯電話 1においてスクリプトが実行される際の画面遷移の表示の 具体例を示す。 図 53を参照して、 シーン 2ではステップ S 1 113の処理が実 行されて静止画とテキストとが表示されると共に、 ステップ S 1 1 12での処理 が実行されて変更のガイダンスが表示されている。 すなわち、 図 53のシーン 2 では 「Yo u c a n a t t a c h a i c t u r e h e r e」 といつ 文字 （ガイダンス） が表示され、 対応するボタンを押すとデータフォルダの静止 画のデータがサムネイルとなってリスト表示される。 このリスト表示画面におい ては、 ファイル名やデータサイズ情報などが併記されるとより好ましい。
また、 静止画と音楽となど 2つ以上のメディアが同じシーンで出力される場合 には、 本携帯電話 1は、 「Yo u c a n a t t a c h a p i c t u r e h e r ej と 「Yo u c a n a t t a c h a mu s i c h e r ej と の修正のガイドを複数表示してショートカツトキ一押下などのユーザ操作により 静止画データ入力または音楽データ入力のレ、ずれかが選択される方法や、 時間的 に切替えて、 最初 I Y o u c a n a t t a c h a p i c t u r e e r e J のガイドを出し、 次に 「Yo u c a n a t t a c h a mu s i c h e r e」 のガイドを出す方法や、 何らかのメディアデータを挿入可能であるこ とを示す 「Yo u c a n a t t a c h d a t a h e r e」 のガイドを表 示し、 対応するボタンを押すと次の画面へ遷移して、 次の画面においては 「At t a c h a p i c t u r ej と 「At t a c h a mu s i c」 とのメニ ユーを選択可能に表示し、 これをユーザが選択することによって静止画データ入 力や音楽データ入力へ移行する方法など、 いずれの方法を行なう構成であっても 構わない。
また、 本携帯電話 1は、 修正可能なメディアデータと修正不可能なメディアデ ータとが区別できる場合には、 そのシーンで修正可能なものを区別して、 ユーザ に示すことが好ましい。 これはスクリプト中にメディァデータが変更可能かどう かを記載することでその判別を行なうことができる。
さらに好ましくは、 本携帯電話 1は、 シーンごとに次に飛ぶ、 あるいは前に戻 る機能を備える。 通常の再生では、 シーン 1が 8秒間表示される場合でも、 「次 シーン」 機能を用いることで、 1秒経ったところでユーザがボタンを押すと残り の 7秒はスキップされるというように、 効率的にメー^/の作成、 確認が可能にな る。
さらに好ましくは、 編集の意思をユーザが示した場合には、 本携帯電話 1は、 その時点で再生を止める機能を備える。 たとえば、 図 5 3のシーン 2で静止画を 入替えているところでユーザがボタンを押すことで、 静止画選択画面で静止画を 選択するところで再生のタイマをストップすることが好ましい。 なお、 データの 変更を終えて再生を再開する場合には、 編集操作を行なうときに止めた再生時間 からスタートする、 全体の最初から再生する、 あるいは当該シーンの最初の時間 力 ら再開するなどが考えられる。 当該シーンの最初とは、 シーン 2を 8秒目から 1 5秒目まで再生する予定であるところの 1 3秒のところで編集ポタンを押され てデータを入替えた場合に、 シーン 2の最初、 つまり 8秒目を指す。
なお、 上述のテンプレートの編集工程において、 テキスト、 静止画、 動画、 音 声、 音楽、 およびァェメーシヨンなどのメディアデータをテンプレートに 1箇所 以上挿入した時点で、 ユーザが現在選択し編集中のテンプレートとは別のテンプ レートの編集に変更したいと思う場合が考えられる。 この場合、 どのテンプレー トへの変更に際しても、 それまでに揷入したメディアデータは破棄してしまって もよいし、 変更後のテンプレートに挿入するようにしてもよい。 またこの場合、 変更後のテンプレートには変更前に挿入したメディァデータを挿入することが不 可能である場合が考えられるが、 このときには、 そのようなテンプレートへの変 更は許可しないようにしてもよいし、 揷入不可能なメディアデータは破棄し、 挿 入可能なメディアデータのみ挿入するようにしてもよい。 また、 変更前のテンプ レートに揷入していたメディアデータが変更後のテンプレートの複数箇所に挿入 可能である場合においては、 複数箇所のうち 1鍤所に挿入するのでもよいし複数 箇所に揷入するのでもよい。 また、 そもそも他のテンプレートへの変更を全面的 に許可しないようにしてもよい。
[変形例]
次に、 メディァデータの再生順序情報とァクションの実行順序情報とを含んだ スクリプトを再生し、 アクションを実行して、 メディアデータの再生順序情報を 含んだスクリプトを作成する処理について説明する。
図 50に示されるスクリプトの記述は、 図 6に示されるスクリプトの記述と同 様にァクションと描画領域とを定義している。 図 6 1に示されるスクリブトの記 述は、 第 17行〜第 33行において、 メディアデータの再生とアクションの実行 の順序情報とを定義している。 また、 第 18行〜第 32行は、 第 1 9行〜第 21 行、 第 22行〜第 26行、 およぴ第 27行〜第 31行でそれぞれ定義されるシー ン 1〜シーン 3を II頃番に実行することを示している。
また、 第 22行〜第 26行では、 第 2のシーンの実行を定義している。 より詳 しくは、 第 23行において、 "S e c o n d I ma g e . ； j p g" で示される画 像を "Ima g e"領域に表示することを記述している。 第 24行において "S e c o n dT e x t. t x t " で示されるテキストを "T e x t" 領域に表示 することを記述している。 第 25行において "U I" の " s e 1 e c t " キー イベントが検出された場合に "a c t__i ma g e" で参照されるアクションを 実行することを記述している。
さらに、 図 48に、 第 2の実施の形態の変形例における携帯電話 1の再生 '編 集エンジンプログラム 131の機能構成についてプロック図に示す。 図 48にお いて図 42と同じ番号が付加されている構成要素は、 図 42に示される構成要素 と同様のものである。 すなわち、 図 48を参照して、 第 2の実施の形態の変形例 における携帯電話 1の再生'編集エンジンプログラム 1 31の機能は、 テンプレ 一ト記憶部 1000と、 選択部 1001と、 スクリプト 'データー時記憶部 10 0 2と、 スクリプト実行部 1 0 0 3と、 端末機能選択部 1 0 1 2と、 ァクション 決定部 1 0 1 3と、 ァクション実行部 1 0 1 4と、 データ変更確定部 1 0 0 8と、 スクリプト 'データ出力部 1 0 0 9と、 出力スクリプト ·データ記憶部 1 0 1 0 と、 データ埋込部 1 0 1 1とを含んで構成される。 なお、 ここでは、 図 4 2とは 異なる構成要素について説明する。
端末機能選択部 1 0 1 2は、 スクリプトの記載に応じて端末機能を選択する。 スクリブトには、 たとえば図 5 0の第 1 2行〜第 1 5行の a c t i o n文中の d e s tというような形で端末機能が書かれている。 そして、 端末機能選択部 1 0 1 2は、 その選択結果を、 アクション実行部 1 0 1 4に出力する。
アクション決定部 1 0 1 3は、 スクリプトの記載に応じてアクションを決定す る。 アクション決定部 1 0 1 3におけるアクションの決定は、 たとえば図 5 0に 示されるスクリプトの第 1 2行〜第 1 5行の t y p eで記載されているところを 解釈することで実現される。 そして、 アクション決定部 1 0 1 3は、 その決定結 果を、 アクション実行部 1 0 1 4に出力する。
ァクション実行部 1 0 1 4は、 端末機能選択部 1 0 1 2で選択された機能を用 いて得られたデータを、 アクション決定部 1 0 1 3で決められたアクションに基 づいて処理を行なう。 アクション実行部 1 0 1 4では、 明示的に記載されたァク シヨンを実行することで、 単に挿入や置換だけでなく、 画像の合成や、 音楽のつ なぎ合わせ、 特殊効果など各種の処理が可能になる。
なお、 第 2の実施の形態の変形例における携帯電話 1の再生 ·編集エンジンプ ログラムにおける処理は、 図 4 3に示される処理と同様である。 また、 第 2の実 施の形態の変形例における携帯電話 1での、 スクリプトであるナビゲーションフ レームの再生および編集処理も、 図 4 6に示される処理とほぼ同様である。
なお、 本変形例では、 図 4 6に示される処理において、 最初に、 図 5 8に示す ようなメディァ管理テーブルの他に、 図 6 3に示すようなアクション管理テープ ルを作成する。 図 6 3は、 図 6 1に示すスクリプトを再生'編集する場合のァク シヨン管理テーブルの具体例を示す図である。 より具体的には、 図 6 3を参照し て、 「シーン 1」 では実行可能なアクションはなく （図 6 3の （A) ) 、 「シー ン 2」 では 「静止画埋込みアクション」 が実行可能であり （図 6 3の （B ) ) 、 「シーン 3」 では 「テキスト埋込みアクション」 が実行可能である （図 63の (C) ) ことを示している。 変形例の携帯電話 1は、 このようなアクション管理 テーブルを参照して、 シーン単位で順々に再生 ·編集を行なう。
次に、 変形例における上述のステップ 1201でのデータ出力処理について図 62のフローチャートを用いて詳細に説明する。
図 62を参照して、 始めに、 アクション決定部 1013は、 アクション管理テ 一プルを参照して、 当該シーンで実行可能なァクションを判定する （S 1401。 次に、 アクション決定部 1013は、 ディスプレイ 144に、 アクション実行の ガイダンス表示を行なう （S 1402) 。 アクション実行のガイダンスとは、 ァ クシヨンの実行を開始するための操作のガイド機能である。 ステップ S 1402 でのアクション実行のガイダンス表示処理については第 1の実施の形態のステツ プ S 1 1 12における変更ガイダンスの表示処理と同様である。 そして、 スクリ ブト実行部 1003は、 ステップ S 1402で表示されたガイドと共に、 シーン の出力を実行する （S 1403) 。
図 45に、 変形例における携帯電話 1でスクリプトが実行される際の画面遷移 の表示の具体例を示す。 図 45を参照して、 図 45の （B) に示されるシーン 2 では、 ステップ S 1 1 13の処理が実行されて静止画が表示されると共に、 ステ ップ S 1 1 12の処理が実行されて変更のガイダンスが表示されている。 すなわ ち、 図 45の （B) に示されるシーン 2では 「Yo u c a n a t t a c h a i c t u r e h e r e」 という文字 （ガイダンス） が表示され、 対応す るポタンを押すと図 45の （D) に示されるようにカメラアプリケーションが起 動される。
なお、 図 49のように使える機能が異なるそれぞれの端末専用の記述を、 スク リブトにすべて記述し、 テンプレート再生時に端末が使える機能についての記述 のみを有効にするようにしてもよい。 これら機能としては、 たとえば 3D液晶表 示機能や、 2画面以上のディスプレイ表示機能などが特に挙げられる。
また、 対象ユーザの属性ごとに異なる内容のメディアデータへの参照情報をス タリブトにすべて記述し、 テンプレート使用時に、 対象ユーザの属性に適したメ ディアデータのみを有効にする構成をとつてもよい。 この属性としては、 たとえ ばユーザの使用する言語や住んでいる地域などが特に挙げられる。
なお、 上記の実施例においては、 カメラを起動することを示す U I部品を画面 に表示し、 所定のキー操作によってカメラを起動させる方法を説明したが、 図 5 2に示すようにこの時間帯に力メラをィンラインで起動し、 撮影を実行すること を示す U I部品を所定時間表示して （図 5 2の （D) ) 、 この時間帯に所定のキ 一操作がなされるとカメラによる撮影を行ない、 その画像や映像を即座に再生さ せるようにしてもよい。 なお、 このとき撮影を行なわないまま 「撮影」 の U I部 品を表示させる所定の時間が経過した場合、 該時間帯の次の再生処理を進めても よい。 あるいは、 該時間帯の終端時刻において再生を一時停止し、 「撮影」 操作 が行なわれるまで待機してもよい。 あるいは、 該時間帯の先頭へ戻って該時間帯 の再生を繰返してもよい。 この繰返し処理は 「撮影」 操作が行なわれないもしく は中断処理がない限り無限に行なってもよいし、 所定の回数のみ繰返しを行ない、 それが終われば 「撮影」 操作が済んでいなくても次へ進むようにしてもよい。 なお、 上記の実施例におけるメッセージの作成工程において、 メッセージのデ —タサイズ総計が、 送信可能なサイズの上限を超えてしまう場合が考えられる。 この対策として、 ユーザがメッセージの送信操作を行なった時点でサイズ超過の 警告を出して送信を行なわないようにしてもよい。 あるいは、 ユーザがメディア データを揷入するごとにサイズの合計を逐一調査し、 もし制限を超えた場合には その時点で警告を出してその揷入操作を無効にしてもよい。 もしくは、 予め揷入 の候補となるメディアデータのサイズが判明しているのであれば、 現在までのメ ッセージサイズの総計と該メディァデータのサイズとの合計が送信可能なサイズ 上限を超えるかどうかを判別し、 超える場合のメディアデータについては選択を 許可しないようにしてもよい。
なお、 上述の図 5 0および図 6 1は、 作成側のみで使われるスクリブトの具体 例である。 この第 1 2行〜第 1 5行は、 メッセージを作成および送信する装置側 のみで使われる。 それ以外の部分は、 メッセージを受信する装置側で再生する際 にも必要である。 このようなスクリプトをスクリプト ·データ出力部 1◦ 0 9に おいて出力する際には、 スクリプト中に含まれる、 受信装置では不要な表記や、 通信手順の中で送信できないコマンドなどは最終的に削除もしくはコメントァゥ トして出力すべきである。 このような場合には、 スクリプト 'データ出力部 1 0 0 9においては削除すべき表記のルールを備えて、 これらを削除することが好ま しい。
なお、 メッセージ受信者が同じテンプレート利用して別のメッセージを作成す るなどの目的で、 受信側でテンプレートそのものをサーバからダウンロードする 場合に便利なように、 スクリプト 'データ出力部 1 0 0 9は、 今使用したテンプ レートのダウンロード元のァドレスを付加して送ることがさらに好ましい。 さらに、 スクリプト 'データ処理部 1 0 0 9でスクリプトをたとえば H TM L などのフォーマツトに変換し、 元のスクリプトと共に変換したスクリブトも送信 することが好ましい。 このことで、 受信側が全く元のスクリプトを処理できない 場合でも、 変換したスクリブトの処理が可能であれば、 受信側で再生を行なうこ とが可能になる。
さらに、 テンプレートを元に編集し、 送信済みのメッセージを再編集して送信 する場合に便利なように、 出力スクリプト 'データ記憶部 1 0 1 0において、 削 除処理を施す前のスクリプトおよびメディアデータを記憶してもよい。 また同様 の目的で、 図 5 5に示すように、 送信したメッセージと使用したテンプレートと の対応を示すテーブルを保持し、 たとえば、 メッセージ 「1 2 2 1」 を再編集し たい場合に、 上記テーブルを検索してテンプレート 「かなりひま」 を自動的に選 択し、 データ埋込み部 1 0 1 1でメッセージ 「1 2 2 1」 に含まれるメディアデ —タをテンプレート 「かなりひま」 に埋込んでから編集するようにしてもよい。 さらに編集を容易にするために、 図 5 1 A〜図 5 1 Dに示されるように、 シー ンごとにサムネイルを作ることが好ましい。 これは、 テンプレートに含まれるス クリプト全体を解釈して図 1 0のような全体のタイムテープルもしくはシーケン ステーブルを作成することで、 容易に実現できる。 このようなシーンごとのサム ネイルを用意することで、 スクリプトに基づいてサムネイルのリスト表示を行な つて、 ユーザ操作により任意のサムネイルを選択することをきっかけに該当シー ンの再生実行点より再生開始できるようにすれば、 スクリプトの書換えを行なう 場合に、 当該スクリプトの先頭からの再生を行なうことなく、 所望のところのデ ータのみを書換えることが容易に可能になる。 このようなスクリプトを携帯電話 1で実行することによつて容易にマルチメデ ィァコンテンツを作成することができる。 すなわち、 本スクリプトを実行するこ とによって時系列的に変化して表示されるガイダンス情報にしたがって所定の操 作を行なうだけで、 直感的な方法で、 容易にマルチメディアコンテンツを作成す ることができる。 また、 すでにメディアデータが揷入されているテンプレートに 対しても、 そのスクリプトを実行することによって時系列的に変化して表示され るガイダンスにしたがって所定の操作を行なうだけで、 容易にメディァデータを 置換えることができ、 ユーザの所望するマルチメディアコンテンツを容易に作成 することができる。
さらに、 このようなテンプレートを他の携帯電話 1に対して送信して返信を要 求することで、 送り手側の所望の操作を受け手側に行なわせることが可能である。 たとえば、 図 2 1に示されるようなテンプレート 「かなりひま」 に新たな動画の 挿入を要求する旨のテキストメッセージを添えて他の携帯電話 1に対して送信す ることで、 該携帯電話 1のユーザに対して、 当該テンプレートに新たな動画デー タを挿入する編集作業の実施を指示することができる。
[第 3の実施の形態]
次に、 マルチメディアデータ処理装置がテレビジョン受像機 （以下、 テレビと 略する） である場合について、 第 3の実施の形態として説明する。 すなわち、 第 3の実施の形態にかかるテンプレートには、 テレビ画面のレイァゥトおよび時間 情報が記述されていて、 メディアデータの 1つとして、 テレビ番組が取扱われる。 図 7 4を参照して、 データ通信システムは、 マルチメディアデータ処理装置で あるテレビ 6と、 スクリプト言語で記述されているテンプレートを提供するテン プレート提供サーバ 2と、 テレビの番組情報および番組関連情報を提供する E P Gサーバ 3と、 インターネットコンテンツを提供する WWWサーバ 4と、 放送波 を介して番組をテレビ 6へ提供する放送局 5とを含んで構成される。
テレビ 6のマルチメディアデータ処理装置としての構成は、 第 1の実施の形態 において図 4に示される構成と同様である。 さらに、 テレビ 6は、 その表示部に、 メィン領域 7 4 0 1とサブ領域 7 4 0 2， 7 4 0 3とを含む。
図 7 5はメディアデータを参照する描画情報記述部を含むスクリプトを示す具 体例であり、 図 76は時間帯に応じた番組情報を記述する番組表情報記述部を含 むスクリプトを示す具体例であり、 図 77は図 75、 図 76に示される両スタリ ブトを関係付ける記述を含むスクリプトを示す具体例である。 なお、 図 76に示 されるスクリプトは、 第 1の実施の形態における、 ユーザナビゲート情報記述部 を含むスクリプトに相当するものであるが、 本実施の形態においては、 テレビ 6 を視聴するユーザの操作をナビゲートするのではなく、 表示再生する番組を時間 帯に応じて自動的に決定する役割を果たすスクリプトである。 このスクリプトが 解析されることによって、 番組表情報が得られる。
次に、 テレビ 6におけるデータ処理の流れを示す。 スクリプトの読込みおよび 実行処理、 ならびにイベント処理に関しては、 大まかな流れは図 9に示された処 理と同様であるため、 図 9を用いて説明する。
図 9を参照して、 まずテレビ 6は、 図 75、 図 76、 および図 77に示される 各スクリプトを取得して （S 12) 、 これらのスクリプトを読込む （S 13) 。 さらに、 読み込んだ各スクリプトの構文を解析し （S 14) 、 タイムテーブルを 作成する （S 15) 。 その後、 作成されたタイムテーブルにしたがって、 該スク リプトを実行 （S 16) する。
より具体的には、 図 75の 14行および 15行では WWWサーバ上の画像ファ ィルが指定されているので、 上述のステップ S 12ではかかる記載にしたがって WWWサーバ 4より該当ファイルが取得され、 ステップ S 16での実行時には領 域 「r i g h t」 および 「 1 e f t」 で指定される位置であるサブ領域 7402, 7403に表示される。
また、 図 75の 13行には、 メイン領域 7401 (m a i n) にビデオコンテ ンッ 「 t V c o n t e n t s」 を再生表示することが記載されており、 かかるビ デォコンテンツ 「t v c o n t e n t s」 は、 図 76に示されるスクリブトの記 述にしたがって決定される、 ムービーデータもしくは TVチャンネルである。 図 76の 5行の記述は、 図 76に示されるスクリプトが、 図 75に示されるスクリ プトにおける i d力 S 「t v c o n t e n t s」 である部分のメディアデータを指 定するものであることを表わしている。
次に、 テレビ 6において、 このビデオコンテンツ 「t v c o n t e n t s」 を 決定する決定処理の流れを、 図 78のフローチャートを用いて説明する。
図 78を参照して、 まず、 テレビ 6においてスクリプトの描画情報記述部中に 「 v i d e o i d= "t v c o n t e n t s" 」 と指定されていることが解析 されると （S 2301で YES) 、 図 76に示されるスクリプトの解析結果であ る番組表情報を参照して、 現在時刻に対応する番組情報を取得する （S 230 2) 。
図 76の第 6行〜第 13行には 0時から 2時までの間はテレビのチャンネル番 号 4の番組が、 第 14行〜第 21行には 2時から 4時までの間は第 20行に記述 されている URLで指定されるインターネットコンテンツが、 ビデオコンテンツ 「t v c o n t e n t s」 に該当する旨の記述がなされている。 そこで、 現在時 刻が 0時から 2時までの間の時刻であれば、 かかる記述よりビデオコンテンツ 「t v c o n t e n t s」 はチャンネル番号 4のテレビ番組であると定まるので、 ステップ S 2303においてその番組情報の種別 （テレビ番組であること） が判 別されて、 その判別結果にしたがってテレビ 6は放送局 5より該当する放送波を 受信して所定の位置に表示する （S 2304) 。
一方、 現在時刻が 2時から 4時までの間の時刻であれば、 かかる記述よりビデ ォコンテンツ 「 t V c o n t e n t s」 は図 76の第 20行に記述される URL で指定されるインターネットコンテンツであると定まるので、 ステップ S 230 3においてその番組情報の種別 （インターネットコンテンツであること） が判別 されて、 その判別結果にしたがってテレビ 6は WWWサーバ 4より該コンテンツ 'データを取得して所定の位置に表示する （S 2305) 。
なお、 図 76に示されるスクリプトでは 4時以降の番,袓記述部分については省 略されているが、 かかる時間についても同様の記述があり、 現在時刻が上述の時 刻以外であっても同様の処理が行なわれる。
以上の処理により、 テレビ 6において、 サプ領域 7402， 7403には WW
Wサーバ 4より取得されたメディアデータが再生表示され、 メイン領域 7401 には、 図 76に示されるスクリブトを解析して得られる番組表情報に基づいて時 間帯に応じて指定される、 テレビ番組またはインタ ネットコンテンツが、 放送 局 5または WWWサーバ 4より取得されて再生表示される。 また、 本実施の形態では、 サブ領域 7 4 0 2 , 7 4 0 3に WWWサーバより取 得された静止画像データが表示されるものとしたが、 かかる領域の表示に関して も、 図 7 5の第 1 4行おょぴ第 1 5行の記述を第 1 3行と同様の記述にして図 7 6に示されるスクリプトの記述と組合わせることで、 または、 第 1、 2の実施の 形態で説明したような時間に伴うメディァデータの切替えやイベントに関する記 述を加えることによって、 時間帯に応じて E P Gサーバ 3、 WWWサーバ 4、 お よび放送局 5より放送波や番組関連情報などを取得して表示したり、 ユーザ操作 を受付ける U Iコンポーネントを表示して該 U Iコンポーネントに対してユーザ 操作がなされた場合に対応するァクションを実行したりするようにしてもよい。 さらに、 かかるアクションとしては、 テレビのチャンネノレ切替えや音量、 輝度 などの調整、 「詳細情報」 などのポタンを表示してユーザがこれを押すことによ つてメイン領域 7 4 0 1で再生されている番組に連動した情報を表示する WE B コンテンツへリンク遷移する、 あるいは、 テレビ 6が録画機能を具備しているか 録画機器と接続されている場合には録画操作を行なう、 画面のスクリーンショッ トを記録して他のユーザへメールなどにより送信する、 電話機能と連動できる場 合には所定の番号への発信を行なう、 などが挙げられる。
本実施の形態におけるマルチメディァデータ処理装置であるテレビ 6を含んで 構成されるデータ通信システムは上述の構成であることから、 主にコンテンッ制 作業者にとって、 テレビ番組やィンターネットコンテンッを組合わせたマルチメ ディアコンテンツデータを容易に作成できるようになるというメリットがある。 なお、 第 1〜第 3実施の形態、 および第 2の実施の形態に変形例においては、 サーバ 2から提供されるテンプレートを図 2に構成の具体例が示される携帯電話 1またはテレビ 6において処理する場合について述べたが、 テンプレートを処理 する処理装置は携帯電話 1のような各機能が一体に構成されてなる装置に限定さ れるものではない。 すなわち、 受信機などのテンプレートを取得する取得装置、 画像を取得するカメラなどのメディアデータ入力装置、 およびテレビジョン受像 機などのメディァデータ出力装置など、 携帯電話 1ゃテレビ 6を構成する各機能 が各々独立した装置であってもよレ、。 その場合であっても、 相互に専用回線を介 した通信あるいは無線通信などを行なってデータや制御信号をやり取りし、 デー タ処理装置において、 上述のスクリプトの再生および編集処理を実行して、 取得 装置で取得させたスクリプトを処理し、 メディア入力装置で入力させたメディア データなどを用いて、 マルチメディァコンテンッの編集を行なうことができる。 そして、 メディアデータ出力装置で取得したテンプレート、 あるいはテンプレー トを編集したマノレチメディァデータを再生させることができる。
さらに、 このようなスクリプトを実行するスクリブト実行方法を、 プログラム として提供することもできる。 このようなプログラムは、 コンピュータに付属す るフレキシブルディスク、 C D— R OM (Compact Disc-Read Only Memory) 、 R OM (Read Only Memory) 、 RAM (Random Access Memory) およぴメモリ力 —ドなどのコンピュータ読取り可能な記録媒体にて記録させて、 プログラム製品 として提供することもできる。 あるいは、 コンピュータに内蔵するハードデイス クなどの記録媒体にて記録させて、 プログラムを提供することもできる。 また、 ネットワークを介したダウンロードによって、 プログラムを提供することもでき る。
提供されるプログラム製品は、 ハードディスクなどのプログラム格納部にイン ストールされて実行される。 なお、 プログラム製品は、 プログラム自体と、 プロ グラムが記録された記録媒体とを含む。
今回開示された実施の形態はすべての点で例示であって制限的なものではない と考えられるべきである。 本発明の範囲は上記した説明ではなくて請求の範囲に よって示され、 請求の範囲と均等の意味および範囲内でのすべての変更が含まれ ることが意図される。 産業上の利用可能性
以上のように、 この発明によれば、 容易にマルチメディアコンテンツを作成す ることができるため、 マルチメディアコンテンツの作成において有利に適用する ことができる。

Claims

請求の範囲
1 . テンプレートに含まれるスクリプトにしたがって、 前記スクリプトから参 照されるデータを再生するスクリプト実行部 （1 0 0 3 ) と、
前記スクリプトから参照されるデータのうち、 ユーザが変更可能な部分を判別 するユーザ変更可能データ判別部 （1 0 0 4 ) と、
前記変更可能な部分を変更するデータ変更部 （1 0 0 7 ) と、
前記スクリプト.と前記変更されたデータとの少なくとも一方を出力するスクリ ブト 'データ出力部 （1 0 0 9 ) とを備える、 マルチメディアデータ処理装置。
2 . テンプレートに含まれるスクリプトにしたがって、 前記スクリプトから参 照されるデータを再生するスクリプト実行部 （1 0 0 3 ) と、
前記テンプレートに含まれるスクリプトにしたがって、 当該マルチメディアデ ータ処理装置の機能を選択する機能選択部 （1 0 1 2 ) と、
前記テンプレートに含まれるスクリプトにしたがって、 前記選択された機能を 用いて、 前記スクリプトから参照されるデータに対してどのような処理を行なう かを決定するアクション決定部 （1 0 1 3 ) と、
前記決定された処理を実行するアクション実行部 （1 0 1 4 ) と、
前記スクリプトから参照されるデータを変更するデータ変更部 （1 0 0 7 ) と、 前記スクリプトと前記変更されたデータとの少なくとも一方を出力するスクリ ブト 'データ出力部 （1 0 0 9 ) とを備える、 マルチメディアデータ処理装置。
3 . 前記テンプレートには、 前記スクリプトから参照されるデータに対して実 行するァクションを決定する時間制約が記載されており、 前記ァクション実行部 は、 前記時間制約にしたがって前記決定された処理を行なう、 請求の範囲第 2項 に記載のマルチメディアデータ処理装置。
4 . 前記アクション決定部は、 前記選択された機能を用いて、 静止画像データ と、 動画像データと、 音声データと、 G P S (Global Positioning System) な どにより取得される位置情報データとのいずれかのデータを含むデータを取得し、 前記取得したデータを用いて前記スタリブトから参照されるデータに対してどの ような処理を行なうかを決定する、 請求の範囲第 2項に記載（ ータ処理装置。
5 . 前記アクション決定部は、 前記選択された機能を用いて、 ネットワークを 介してデータを取得し、 前記取得したデータを用いて前記スタリブトから参照さ れるデータに対してどのような処理を行なうかを決定する、 請求の範囲第 2項に 記載のマルチメディアデータ処理装置。
6 . 前記アクション実行部において実行する前記決定された処理は、 所定の W E Bページにアクセスする処理である、 請求の範囲第 2項に記載のマルチメディ ァデータ処理装置。
7 . 前記アクション実行部において実行する前記決定された処理は、 所定の電 話番号へ発呼する処理である、 請求の範囲第 2項に記載のマルチメディアデータ
8 . 前記アクション実行部は、 前記選択された機能を用いてデータを取得して、 前記選択された機能の仕様と状態と前記テンプレートと前記選択された機能を用 いて取得されたデータとのいずれかを含む環境情報に応じて、 前記取得されたデ ータに変換処理を行なうことを特徴とし、
前記環境情報に応じた変換処理は、 メモリ容量の制限に応じたデータ量の削減 と、 表示デバィスまたは前記マルチメディァデータの解析結果に応じた画面サイ ズの変換、 減色、 あるいはデータ形式の整合とを含む、 請求の範囲第 2項に記載 のマルチメディアデータ処理装置。
9 . 前記アクション実行部は、 前記選択された機能を用いてデータを取得して、 前記選択された機能の仕様と状態と前記テンプレートと前記選択された機能を用 いて取得されたデータとのいずれかを含む環境情報に応じて、 前記取得されたデ ータに変換処理を行なうことを特徴とし、
前記環境情報に応じた変換処理は、 前記取得されたデータを所定の代替データ に変更する処理である、 請求の範囲第 2項に記載のマルチメディアデータ処理装
1 0 . 前記アクション実行部は、 前記選択された機能を用いてデータを取得し、 前記選択された機能の仕様と状態と前記テンプレートと前記選択された機能を用 いて取得されたデータとのいずれかを含む環境情報に応じて、 前記取得されたデ ータの使用の要否を判定する、 請求の範囲第 2項に記載のマルチメディアデータ
1 1 . 前記アクション実行部は、 前記決定された処理を実行する直前に、 ユー ザィンタフェースを介して、 前記処理を行なうことを通知した後に前記処理を行 なうことと、 前記処理を行なうことに対する確認を受付けることと、 前記処理を 行なうか否かの選択を受付けることとのいずれか 1つを実行する、 請求の範囲第 2項に記載のマルチメディァデータ処理装置。
1 2 . 前記テンプレートにはメディアデータ再生状態の遷移情報が記載されて おり、 前記スクリプト実行部は、 前記メディアデータ再生状態の遷移を管理する、 請求の範囲第 1項または第 2項に記載のマルチメディアデ一タ処理装置。
1 3 . 前記スクリプト実行部は、 前記テンプレートに記載された前記メディア データ再生状態の遷移情報にしたがって、 前記メディアデータ再生状態の遷移を、 前記アクション決定部が前記選択された機能を用いてイベントを取得したときに 行なう、 請求の範囲第 1 2項に記載のマルチメディアデータ処理装置。
1 4 . 前記ィベントは、 所定時刻の到来とタイマの満了との少なくとも一方を 含む時間イベントである、 請求の範囲第 1 3項に記載のマルチメディアデータ処
1 5 . 前記テンプレートにはメディァデータ再生状態の遷移情報が時間制約と 共に記載されており、 前記スクリプト実行部は、 前記メディアデータ再生状態の 遷移を時間的に管理する、 請求の範囲第 1項または第 2項に記載のマルチメディ ァデータ処理装置。
1 6 . 前記テンプレートにはメディアデータ再生状態の遷移情報が記載されて おり、
前記テンプレートに含まれるメディアデータのサムネィルを生成するサムネィ ル生成部 （1 3 1 3 ) と、
前記生成したサムネィルを、 前記遷移情報に基づいて表示するプレビュー部 ( 1 3 1 3 ) とをさらに備える、 請求の範囲第 1項または第 2項に記載のマルチ メディアデータ処理装置。
1 7 . 前記スクリプトを含むテンプレートを取得するテンプレート取得部 （1 015) と、
前記取得されたテンプレートから所望のテンプレートを選択する選択部 （10 01) と、
前記データの変更を確定するデータ変更確定部 (1008) とをさらに備える、 請求の範囲第 1項または第 2項に記載のマルチメディァデータ処理装置。
18. 前記テンプレート取得部は、 当該マルチメディアデータ装置内部の記憶 装置に蓄積されたテンプレートを取得する、 請求の範囲第 1 7項に記載のマルチ メディアデータ処理装置。
19. 前記テンプレート取得部は、 ネットワークを介して他の装置からテンプ レートを取得する、 請求の範囲第 17項に記載のマルチメディアデータ処理装置。
20. 前記テンプレート取得部は、 ネットワークを介して受信したメッセージ よりテンプレートを取得する、 請求の範囲第 17項に記載のマルチメディアデー タ処理装置。
21. 前記スクリプトにしたがって、 前記データの変更を制限する制限部 （1 007) をさらに備える、 請求の範囲第 1項または第 2項に記載のマルチメディ ァデータ処理装置。
22. 前記スタリブトに記述されたシーケンスを管理するシーケンス管理部 (1 313) と、
前記シーケンスに対応して変更可能なデータを示す変更可能データ提示部 （ 1 313) とをさらに備える、 請求の範囲第 1項または第 2項に記載のマルチメデ ィァデータ処理装置。
23. 前記スタリブトに記述されたシーケンスを管理するシーケンス管理部 (1313) と、
前記シーケンスに対応してデータ変更を行なうための操作ガイドを提示する操 作ガイド提示部 （132) とをさらに備える、 請求の範囲第 1項または第 2項に 記載のマルチメディァデータ処理装置。
24. 俞記データ変更の操作を行なう場合に、 前記スクリプト実行部は、 前記 変更されたデ一タの再生時間を予め決められたルールに従つて制御する再生時間 制御部 （1314) をさらに備える、 請求の範囲第 23項に記載のマルチメディ ァデータ処理装置。
2 5 . 前記スクリプト実行部は、 前記スクリプトから参照されるデータのうち、 実行あるいは停止を行なうことのできる箇所を判断し選択するメディァ上時刻選 択部 （1 3 1 3 ) をさらに備え、
前記スクリブト実行部は、 前記データのうちの前記選択された箇所を実行する 際、 前記個所で一日寺停止する、 請求の範囲第 1項または第 2項に記載のマルチメ ディアデータ処理装置。
2 6 . 前記メディァ上時刻選択部で選択する箇所は、 変更可能なメディアデ一 タが切替わる個所である、 請求の範囲第 2 5項に記載のマルチメディアデータ処
2 7 . 前記スクリプト実行部は、 現在から最も近い未来のシーケンスの変更点 を判定するシーケンス変更点判定部 （1 3 1 3 ) をさらに備え、
前記スクリブト実行部は、 前記判定された次のシーケンス変更点まで前記デー タの再生をスキップする、 請求の範囲第 2 6項に記載のマルチメディアデータ処
2 8 . 前記スクリプト実行部は、 現在から最も近い過去のシーケンスの変更点 を判定するシーケンス変更点判定部 ( 1 3 1 3 ) をさらに備え、
前記スクリプト実行部は、 前記判定された直近の過去のシーケンス変更点まで 前記データの再生をスキップする、 請求の範囲第 2 6項に記載のマルチメディア データ処理装置。
2 9 . 前記データ変更の操作を行なった場合に、 前記データのうちの変更され た区間の先頭箇所または終了箇所を前記データの所定箇所に加える、 請求の範囲 第 1項または第 2項に記載のマルチメディァデータ処理装置。
3 0 . スクリプト 'データ出力部は、 前記テンプレートに含まれるスクリプト と前記スクリブトから参照されるデータとの少なくとも一方の一部を削除して出 力する、 請求の範囲第 1項または第 2項に記載のマルチメディアデータ処理装置。
3 1 . 前記テンプレートに含まれるスクリプトと前記スクリプトから参照され るデータとの少なくとも一方は XM L (Extensible Markup Language) で記述さ れており、 前記スクリプト 'データ出力部は、 所定のタグの記述に対応して前記 スクリプトから参照されるデータを削除する、 請求の範囲第 3 0項に記載のマル チメディアデータ処理装置。
3 2 . 前記スクリプト ·データ出力部は、 当該マルチメディアデータ処理装置 内部の記憶装置に前記スクリプトと前記変更されたデータとの少なくとも一方を 出力する、 請求の範囲第 1項または第 2項に記載のマルチメディアデータ処理装 置。
3 3 . 前記スクリプト ·データ出力部は、 ネットワークを介して他の装置に前 記スクリプトと前記変更されたデータとの少なくとも一方を出力する、 請求の範 囲第 1項または第 2項に記載のマルチメディァデータ処理装置。
3 4 . タリブトと前記変更されたデータとの少なくとも一方を出力する、 請求の 範囲第 3 3項に記載のマルチメディアデータ処理装置。
3 5 . 前記スクリプト 'データ出力部は、 MM S (Multimedia Messaging Service) を用いて前記他の装置に前記スクリプトと前記変更されたデータとの 少なくとも一方を出力する、 請求の範囲第 3 3項に記載のマルチメディアデータ 処理装置。
3 6 . スクリプトを含んで構成されるテンプレートの一覧を取得するテンプレ ート一覧取得部 （1 1 0 ) と、
前記テンプレート一覧を表示するテンプレート一覧表示部 （1 4 4 ) と、 前記表示されたテンプレートの一覧から所望の 1つあるいは複数のテンプレー トを選択するテンプレート選択部 （1 4 2 ) と、
前記選択されたテンプレートを他装置ヘメッセージとして送付するメッセージ 送付部 （1 1 0 ) とを備える、 マルチメディアデータ処理装置。
3 7 . 前記スクリプトは、 再生されるデータへの参照情報と、 前記データの再 生方法と、 前記データの再生端末において実行される機能を特定するアクション 情報との少なくとも 1つを含むことを特徴とする、 請求の範囲第 3 6項に記載の マルチメディアデータ処理装置。
3 8 . 前記アクション情報は、 動画または静止画の撮像機能と、 ユーザの入力 するテキスト情報を取得する機能と、 音声の録音機能と、 位置情報を取得する機 能と、 データを取得する機能との少なくとも 1つの機能を特定する、 請求の範囲 第 37項に記載のマルチメディアデータ処理装置。
39. スクリプトにしたがって前記スクリブトから参照されるデータを再生す るスクリプト実行部 （131) をさらに備える、 請求の範囲第 36項に記載のマ ルチメディアデータ処理装置。
40. 通信相手機器の機能を取得する通信相手機能取得部 (1 10) をさらに 備え、
前記テンプレート一覧取得部は、 前記取得された前記通信相手機器の機能に含 まれる機能で実行可能なテンプレート一覧を取得する、 請求の範囲第 36項に記 載のマルチメディァデータ処理装置。
41. 通信相手機器の機能を取得する通信相手機能取得部 （1 10) をさらに 備え、
前記テンプレート一覧表示部は、 前記取得された前記通信相手機器の機能に含 まれる機能で実行可能なテンプレート一覧を表示する、 請求の範囲第 36項に記 載のマルチメディァデータ処理装置。
42. スクリプトを含んで構成されるテンプレートを取得するテンプレート取 得部 （1 10) と、
放送局より番組を取得する番組取得部 （1 10) と、
インターネットを介して提供されるインターネットコンテンツを取得するコン テンッ取得部 （1 10) と、
前記テンプレートに含まれるスクリプトにしたがって、 前記スクリプトから参 照されるデータと、 前記番組取得部で取得された番組と、 前記コンテンツ取得部 で取得されたインターネットコンテンツとの少なくとも 1つを再生するスクリプ ト実行部 （1 31) とを備える、 マルチメディアデータ処理装置。
43. 前記テンプレートは番組表情報を含み、
前記番組表情報に基づいて 1つ以上の番組またはィンターネットコンテンッを 選択する再生データ選択部 （142) をさらに備え、
前記スクリプト実行部は、 前記選択された番組またはインターネットコンテン ッを再生する、 請求の範囲第 42項に記載のマルチメディアデータ処理装置。
44. スクリプトを含んで構成されるテンプレートの処理をコンピュータに実 行させるプログラムであって、
前記テンプレートに含まれるスクリプトにしたがって、 前記スクリプトから参 照されるデータを再生するスクリプト実行ステップ （S 1101) と、
前記スクリブトから参照されるデータのうち、 ユーザが変更可能な部分を判別 するユーザ変更可能データ判別ステップ （S 1110) と、
前記変更可能な部分をマルチメディアデータ処理装置の機能を用いて変更する データ変更ステップ （S 1205) と、
前記スクリプトと前記変更されたデータとの少なくとも一方を出力するスクリ ブト .データ出力ステップ （S 1103) とを実行させる、 マルチメディアデー タ処理プログラム。
45. スクリプトを含んで構成されるテンプレートの処理をコンピュータに実 行させるプログラムであって、
前記テンプレートに含まれるスクリプトにしたがって、 前記スクリプトから参 照されるデータを再生するスクリプト実行ステップ （S 16) と、
前記テンプレートに含まれるスクリプトにしたがって、 マルチメディアデータ 処理装置の機能を選択する端末機能選択ステップ （S 17) と、
前記選択された機能を用いて、 前記スクリプトから参照されるデータに対して どのような処理を行なうかを決定するアクション決定ステップ （S 81) と、 前記決定された処理を実行するアクション実行ステップ （S 82) と、 前記スクリプトから参照されるデータを変更するデータ変更ステップ （S 8 5) と、
前記スクリプトと前記変更されたデータとの少なくとも一方を出力するスクリ ブト ·データ出力ステップ (S 25) とを実行させる、 マルチメディアデータ処 理プログラム。
46. 前記テンプレートには、 前記スクリプトから参照されるデータに対して 実行するアクションを決定する時間制約が記載されており、 前記ァクション実行 ステップは、 前記時間制約にしたがって前記決定された処理を行なう、 請求の範 囲第 45項に記載のマルチメディアデータ処理プログラム。
47. 前記テンプレートにはメディアデータ再生状態の遷移情報が記載されて おり、 前記スクリプト実行ステップは、 前記メディアデータ再生状態の遷移を管 理する、 請求の範囲第 44項または第 45項に記載のマルチメディアデータ処理 プログラム。
48. 前記テンプレートにはメディァデータ再生状態の遷移情報が時間制約と 共に記載されており、 前記スクリプト実行ステップは、 前記メディアデータ再生 状態の遷移を時間的に管理する、 請求の範囲第 44項または第 45項に記載のマ ルチメディアデータ処理プログラム。
49. 前記テンプレートにはメディアデータ再生状態の遷移情報が記載されて おり、
前記テンプレートに含まれるメディアデータのサムネイルを生成するサムネィ ル生成ステップ (S 16) ど、
前記生成したサムネイルを、 前記遷移情報に基づいて表示するプレビューステ ップ （S 18) とをさらに実行させる、 請求の範囲第 44項または第 45項に記 載のマルチメディァデータ処理プログラム。
50. 前記スクリプトを含むテンプレートを取得するテンプレート取得ステツ プ （S 12) と、
前記取得されたテンプレートから所望のテンプレートを選択する選択ステップ (S 1 100) と、
前記データの変更を確定するデータ変更確定ステップ （S 1 100) とをさら に実行させる、 請求の範囲第 44項または第 45項に記載のマルチメディアデー タ処理プログラム。
51. 前記スクリプトにしたがって、 前記データの変更を制限する制限ステツ プ （S 121) をさらに実行させる、 請求の範囲第 44項または第 45項に記載 のマルチメディアデ一タ処理プログラム。
52. 前記スクリプトに記述されたシーケンスを管理するシーケンス管理ステ ップ （S 1401) と、
前記シーケンスに対応して変更可能なデータを提示する変更可能データ提示ス テツプ （S 1402) とをさらに実行させる、 請求の範囲第 44項または第 45 項に記載のマルチメディアデータ処理プログラム。
5 3 . 前記スクリプトに記述されたシーケンスを管理するシーケンス管理ステ ップ （S 1 4 0 1 ) と、
前記シーケンスに対応してデータ変更を行なうための操作ガイドを提示する操 作ガイド提示ステップ （S 1 4 0 2 ) とをさらに実行させる、 請求の範囲第 4 4 項または第 4 5項に記載のマルチメディアデータ処理プログラム。
5 4 . 前記データ変更の操作を行なう場合に、 前記スクリプト実行ステップは、 前記変更されたデータの再生時間を予め決められたルールに従って制御する再生 時間制御ステップ （S 1 5 ) をさらに実行する、 請求の範囲第 5 3項に記載のマ ルチメディアデータ処理プログラム。
5 5 . 前記スクリプト実行ステップは、 前記スクリプトから参照されるデータ のうち、 実行あるいは停止を行なうことのできる箇所を判断し選択するメディァ 上時刻選択ステップ （S 1 5 ) をさらに実行し、
前記スクリプト実行ステップは、 前記データのうちの前記選択された箇所を実 行する際、 前記個所で一時停止する、 請求の範囲第 4 4項または第 4 5項に記載 のマルチメディアデータ処理プログラム。
5 6 . 前記メディァ上時刻選択ステップで選択する箇所は、 変更可能なメディ ァデータが切替わる個所である、 請求の範囲第 5 5項に記載のマルチメディアデ ータ処理プログラム。
5 7 . 前記スクリプト実行ステップは、 現在から最も近い未来のシーケンスの 変更点を判定するシーケンス変更選択ステップ （S 1 2 0 2 ) をさらに実行し、 前記スクリブト実行ステップは、 前記判定された次のシーケンス変更点まで前 記データの再生をスキップする、 請求の範囲第 5 6項に記載のマルチメディアデ ータ処理プログラム。
5 8 . 前記スクリプト実行ステップは、 現在から最も近い過去のシーケンスの 変更点を判定するシーケンス変更選択ステップ （S 1 2 0 2 ) をさらに実行し、 前記スクリプト実行ステップは、 前記判定された直近の過去のシーケンス変更 点まで前記データの再生をスキップする、 請求の範囲第 5 6項に記載のマルチメ ディアデータ処理プログラム。
5 9 . 前記データ変更の操作を行なった場合に、 前記データのうちの変更され た区間の先頭箇所または終了箇所を前記データの所定箇所に加える、 請求の範囲 第 4 4項または第 4 5項に記載のマルチメディアデータ処理プログラム。
6 0 . メディアデ一タを再生する再生手段と、 ユーザからの入力操作を受付け る入力手段とを含むデータ処理装置において処理されるマルチメディアコンテン ッデータのデータ構造であって、 '
前記データ処理装置の再生手段で再生されるメディァデータを示す再生記述部 と、
前記データ処理装置の入力手段において受付ける入力操作と前記入力操作に対 応した処理とを示す入力操作記述部とを含み、
前記マルチメディアコンテンツデータが処理されることで、 前記データ処理装 置の再生手段で所定のメディァデータを再生させ、 前記データ処理装置の入力手 段で所定の入力操作を受付け、 前記入力操作記述部に基づいて、 前記データ処理 装置に前記所定の入力操作に応じた処理を実行させる、 マルチメディアコンテン ッデータのデータ構造。
6 1 . メディアデータを再生する再生部と、 ユーザからの入力操作を受付ける 入力部とを含むデータ処理装置において処理されるマルチメディ了コンテンッデ ータのデータ構造であって、
前記データ処理装置の再生部で再生されるメディァデータを示す再生記述部と、 前記データ処理装置の入力部において受付ける入力操作と前記入力操作に対応 した処理とを示す入力操作記述部と、
前記データ処理装置の再生部において再生されるメディァデータの有効時間と、 前記入力部において受付ける入力操作の有効時間とを管理するスケジュール記述 部とを含み、
前記マルチメディアコンテンツデータが処理されることで、 前記スケジュール 記述部に基づいて、 所定の時間に前記データ処理装置の再生部で所定のメディア データを再生させ、 前記所定の時間に前記データ処理装置の入力部で所定の入力 操作を受付け、 前記入力操作記述部に基づいて、 前記データ処理装置に、 前記所 定の時間に前記所定の入力操作に応じた処理を実行させる、 マルチメディアコン テンッデータのデータ構造。
6 2 . 前記データ処理装置の入力部において受付ける入力操作に対応した処理 は、 前記マルチメディアコンテンツデータに変更を加える処理である、 請求の範 囲第 6 0項または第 6 1項に記載のマルチメディアコンテンツデータのデータ構 造。
6 3 . 前記マルチメディアコンテンツデータに加えられる変更処理は、 前記マ ルチメディアコンテンツデータの一部を置換する処理である、 請求の範囲第 6 2 項に記載のマルチメディアコンテンツデータのザ一タ構造。
6 4 . 前記マルチメディアコンテンツデータに加えられる変更処理は、 前記マ ルチメディアコンテンツデータの一部を置換して得られるデータを、 前記コンテ ンッデータに付加する処理である、 請求の範囲第 6 2項に記載のマルチメディア コンテンッデータのデータ構造。
6 5 . 前記マルチメディアコンテンツデータに加えられる変更処理は、 後続す る所定の処理で前記マルチメディアコンテンツデータの一部を置換して得られる データを、 前記マルチメディアコンテンツデータに付加する処理である、 請求の 範囲第 6 2項に記載のマルチメディアコンテンッデータのデータ構造。
6 6 . 前記マルチメディアコンテンツデータはスクリプト言語で記述されたデ ータである、 請求の範囲第 6 0項または第 6 1項に記載のマルチメディアコンテ ンッデータのデータ構造。
PCT/JP2003/015824 2002-12-12 2003-12-10 容易にマルチメディアコンテンツを作成できるマルチメディアデータ処理装置 WO2004054254A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP03780709A EP1571842A4 (en) 2002-12-12 2003-12-10 MULTISUPPORT DATA PROCESSING DEVICE FOR EASILY CREATING MULTISUPPORT CONTENT
US10/532,936 US8156417B2 (en) 2002-12-12 2003-12-10 Computer-readable recording medium having template for easy preparing multimedia contests
CN200380106017.5A CN1726708B (zh) 2002-12-12 2003-12-10 能轻松地预备多媒体内容的多媒体数据处理设备
AU2003289312A AU2003289312A1 (en) 2002-12-12 2003-12-10 Multi-medium data processing device capable of easily creating multi-medium content
US12/463,317 US8650477B2 (en) 2002-12-12 2009-05-08 Multimedia data processing device which can easily prepare multimedia contents
US12/909,644 US8640025B2 (en) 2002-12-12 2010-10-21 Multimedia data processing device which can easily prepare multimedia contents and output changed contents

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2002-360716 2002-12-12
JP2002360716 2002-12-12
JP2003122447 2003-04-25
JP2003-122447 2003-04-25
JP2003-403118 2003-12-02
JP2003403118A JP3987025B2 (ja) 2002-12-12 2003-12-02 マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10532936 A-371-Of-International 2003-12-10
US12/463,317 Division US8650477B2 (en) 2002-12-12 2009-05-08 Multimedia data processing device which can easily prepare multimedia contents

Publications (1)

Publication Number Publication Date
WO2004054254A1 true WO2004054254A1 (ja) 2004-06-24

Family

ID=32512129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/015824 WO2004054254A1 (ja) 2002-12-12 2003-12-10 容易にマルチメディアコンテンツを作成できるマルチメディアデータ処理装置

Country Status (6)

Country Link
US (4) US8156417B2 (ja)
EP (3) EP2343887B1 (ja)
JP (1) JP3987025B2 (ja)
KR (2) KR20060016135A (ja)
AU (1) AU2003289312A1 (ja)
WO (1) WO2004054254A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043833A1 (en) * 2005-10-13 2007-04-19 Lg Electronics Inc. Method and apparatus for encoding/decoding
WO2008007905A1 (en) * 2006-07-12 2008-01-17 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
CN103873929A (zh) * 2014-04-11 2014-06-18 北京鸿达以太文化发展有限公司 一种对多媒体数据的播放方法和装置
US9099151B2 (en) 2012-02-09 2015-08-04 Panasonic Intellectual Property Management Co., Ltd. Multimedia content editing server, multimedia content editing method, program, and integrated circuit
CN110945874A (zh) * 2017-07-31 2020-03-31 索尼公司 信息处理装置、信息处理方法以及程序

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7360153B1 (en) * 2000-01-17 2008-04-15 Lucent Technologies Inc. Method and apparatus for importing digital switching system data into a spreadsheet program
EP1717721A1 (en) * 2004-02-05 2006-11-02 Matsushita Electric Industrial Co., Ltd. Content creation device and content creation method
FI20045077A (fi) * 2004-03-16 2005-09-17 Nokia Corp Menetelmä ja laitteisto viestin kokorajoituksen indikoimiseksi
US20080215884A1 (en) * 2004-09-09 2008-09-04 Matsushita Electric Industrial Co., Ltd. Communication Terminal and Communication Method Thereof
US7773978B2 (en) * 2004-12-20 2010-08-10 Samsung Electronics Co., Ltd. Device and method for processing message-related events in a portable terminal
US8577683B2 (en) * 2008-08-15 2013-11-05 Thomas Majchrowski & Associates, Inc. Multipurpose media players
US20060232573A1 (en) * 2005-04-19 2006-10-19 Sharp Kabushiki Kaisha Display description format providing device, method of controlling same, communications network system, display control device, method of controlling same, display system, program for controlling display description format providing device, program for controlling display control device and storage mediun storing program
EP1881705A4 (en) * 2005-04-19 2011-03-16 Sharp Kk DEVICE FOR DISPLAY DESCRIPTION FORMAT, CONTROL METHOD THEREFOR, COMMUNICATION NETWORK SYSTEM, DISPLAY CONTROL UNIT, CONTROL METHOD THEREFOR, DISPLAY SYSTEM, CONTROL PROGRAM OF A PROVISIONAL DEVICE FOR DISPLAY DESCRIPTION FORMAT, DISPLAY CONTROL UNIT CONTROL PROGRAM AND RECORDING MEDIUM CONTAINING
US8738787B2 (en) * 2005-04-20 2014-05-27 Limelight Networks, Inc. Ad server integration
JP2006331035A (ja) 2005-05-25 2006-12-07 Square Enix Co Ltd 表示情報送受信システム、表示情報送信装置及び受信装置
WO2006129384A1 (ja) * 2005-05-31 2006-12-07 Sharp Kabushiki Kaisha 双方向サービスシステム及びマルチメディアコンテンツ処理装置
JP3974921B2 (ja) * 2005-05-31 2007-09-12 シャープ株式会社 コンテンツ再生装置、コンピュータプログラム及び記録媒体
US20060271996A1 (en) * 2005-05-31 2006-11-30 Sharp Kabushiki Kaisha System for providing service related information to content reproducing apparatus
WO2007000944A1 (ja) * 2005-06-28 2007-01-04 Sharp Kabushiki Kaisha 電子番組表を表示する電子番組表表示装置
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US8203609B2 (en) 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US20070005651A1 (en) 2005-07-01 2007-01-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Restoring modified assets
US8732087B2 (en) 2005-07-01 2014-05-20 The Invention Science Fund I, Llc Authorization for media content alteration
US8126938B2 (en) * 2005-07-01 2012-02-28 The Invention Science Fund I, Llc Group content substitution in media works
US20080028422A1 (en) * 2005-07-01 2008-01-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US9092928B2 (en) * 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
KR100776429B1 (ko) * 2005-09-13 2007-11-16 엘지전자 주식회사 공기조화기의 제어방법
KR100703704B1 (ko) * 2005-11-02 2007-04-06 삼성전자주식회사 동적 영상물 자동 생성 장치 및 방법
JP2007199764A (ja) * 2006-01-23 2007-08-09 Mitsubishi Electric Corp マルチメディアコンテンツ編集装置
JP2007207328A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
JP2007215097A (ja) * 2006-02-13 2007-08-23 Matsushita Electric Ind Co Ltd 表示データ生成装置
KR100765781B1 (ko) * 2006-04-13 2007-10-12 삼성전자주식회사 Ｘｈｔｍｌ 데이터 생성 방법 및 장치
CN101480049B (zh) 2006-06-23 2011-06-22 夏普株式会社 图像显示装置，图像显示方法，图像显示系统，图像数据发送装置
JP4087420B2 (ja) * 2006-06-28 2008-05-21 シャープ株式会社 画像表示装置、画像データ送信装置、画像表示システム、画像表示方法、画像表示プログラムおよびその記録媒体、並びに、画像データ送信プログラムおよびその記録媒体
JP4102847B2 (ja) * 2006-06-30 2008-06-18 シャープ株式会社 画像データ提供装置、画像表示装置、画像表示システム、画像データ提供装置の制御方法、画像表示装置の制御方法、制御プログラム、および、記録媒体
JP2008035503A (ja) * 2006-06-30 2008-02-14 Sharp Corp 画像データ提供装置、画像表示装置、画像表示システム、画像データ提供装置の制御方法、画像表示装置の制御方法、制御プログラム、および、記録媒体
JP4068119B2 (ja) * 2006-07-25 2008-03-26 シャープ株式会社 映像表示装置、映像表示方法、映像表示プログラム、および記録媒体
JP4060336B2 (ja) 2006-07-31 2008-03-12 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツデータ送信装置、コンテンツデータ送信方法、プログラム、及び、記録媒体
US20080292268A1 (en) * 2006-08-10 2008-11-27 Sharp Kabushiki Kaisha Content reproducing apparatus, content reproducing method, content reproducing system, content providing apparatus, content data structure, content reproducing program, and storage medium
JP4860561B2 (ja) * 2006-08-11 2012-01-25 シャープ株式会社 画像表示装置、画像データ提供装置、画像表示システム、画像表示システムの制御方法、制御プログラム、および、記録媒体
US8390615B2 (en) 2006-08-11 2013-03-05 Sharp Kabushiki Kaisha Image display apparatus, image data providing apparatus, and image display system providing a control script for executing basic functions
JP4926852B2 (ja) * 2006-08-11 2012-05-09 シャープ株式会社 画像表示装置、画像データ提供装置、画像表示システム、画像表示システムの制御方法、制御プログラム、および、記録媒体
JP4926853B2 (ja) * 2006-08-11 2012-05-09 シャープ株式会社 画像表示装置、画像データ提供装置、画像表示システム、画像表示システムの制御方法、制御プログラム、および、記録媒体
CN101523909B (zh) * 2006-08-11 2012-05-23 夏普株式会社 显示装置、数据提供装置、显示系统、显示系统的控制方法、控制程序以及记录介质
US8161339B2 (en) * 2006-08-11 2012-04-17 Sharp Kabushiki Kaisha Content playback apparatus, content playback method, and storage medium
US7991019B2 (en) 2006-09-19 2011-08-02 Sharp Laboratories Of America, Inc. Methods and systems for combining media inputs for messaging
US8144006B2 (en) * 2006-09-19 2012-03-27 Sharp Laboratories Of America, Inc. Methods and systems for message-alert display
WO2008038991A1 (en) * 2006-09-25 2008-04-03 Electronics And Telecommunications Research Institute Apparatus and method for digital item description and process using scene representation language
US20080178087A1 (en) * 2007-01-19 2008-07-24 Microsoft Corporation In-Scene Editing of Image Sequences
JP5106877B2 (ja) * 2007-02-02 2012-12-26 株式会社日立システムズ 教材作成システム及び登録管理システム
US8977716B2 (en) 2007-02-02 2015-03-10 Sony Corporation Information processing device, method, and program
US20100313231A1 (en) * 2007-02-02 2010-12-09 Sony Corporation Information processing apparatus, information processing method, and program
US20080235595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Device and method for accessing a multimedia timeline
US20080235590A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of accessing a multimedia timeline
US20080231595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Remote control apparatus and method of interacting with a multimedia timeline user interface
US8745501B2 (en) * 2007-03-20 2014-06-03 At&T Knowledge Ventures, Lp System and method of displaying a multimedia timeline
US20080235763A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of providing security for a multimedia timeline
US20080235403A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System, method, and device to wirelessly communicate multimedia timeline data
US20080235247A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp System and method of adding data objects to a multimedia timeline
US8213499B2 (en) * 2007-04-04 2012-07-03 General Instrument Corporation Method and apparatus for context address generation for motion vectors and coefficients
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
JP5221904B2 (ja) * 2007-06-27 2013-06-26 株式会社スプラシア 動画像配信システム及び動画像配信方法
KR100898697B1 (ko) * 2007-07-11 2009-05-20 주식회사 케이티프리텔 이동통신망에서 ｍｍｓ 메시지의 동영상 변환 서비스 제공방법 및 시스템
KR101382501B1 (ko) 2007-12-04 2014-04-10 삼성전자주식회사 동영상 촬영 편집 장치 및 방법
US20090150480A1 (en) * 2007-12-08 2009-06-11 Xiyuan Xia Publishing Assets Of Dynamic Nature In UPnP Networks
US20090150570A1 (en) * 2007-12-07 2009-06-11 Bo Tao Sharing Assets Between UPnP Networks
US20090150481A1 (en) * 2007-12-08 2009-06-11 David Garcia Organizing And Publishing Assets In UPnP Networks
US20090150520A1 (en) * 2007-12-07 2009-06-11 David Garcia Transmitting Assets In UPnP Networks To Remote Servers
KR101648711B1 (ko) 2008-01-14 2016-08-24 삼성전자주식회사 스크립트를 기반으로 하는 동영상 부가정보 처리 장치 및방법
JP2009239479A (ja) * 2008-03-26 2009-10-15 Toshiba Corp 情報表示装置、情報表示方法及びプログラム
JP5208560B2 (ja) 2008-03-31 2013-06-12 株式会社東芝 情報映像化配信装置、情報映像化配信方法及びプログラム
JP5767108B2 (ja) * 2008-07-08 2015-08-19 シーンプレイ インコーポレイテッド 媒体生成システム及び方法
JP5649273B2 (ja) * 2008-08-25 2015-01-07 株式会社東芝 情報処理装置、情報処理方法および情報処理プログラム
US8860865B2 (en) * 2009-03-02 2014-10-14 Burning Moon, Llc Assisted video creation utilizing a camera
US8818172B2 (en) * 2009-04-14 2014-08-26 Avid Technology, Inc. Multi-user remote video editing
US8862173B2 (en) 2009-12-10 2014-10-14 Motorola Solutions, Inc. Method for selecting media for delivery to users at an incident
CN103002407B (zh) * 2011-09-14 2018-01-16 中兴通讯股份有限公司 一种在彩信中传输3d图片的方法及系统
US9154456B2 (en) 2012-04-17 2015-10-06 Trenda Innovations, Inc. Messaging system and method
US9674583B2 (en) * 2012-06-27 2017-06-06 Google Inc. Discovering and displaying media content related to an electronic document
KR101974368B1 (ko) * 2013-04-19 2019-05-02 삼성전자주식회사 가전기기 및 그 제어방법
US9864490B2 (en) 2013-08-12 2018-01-09 Home Box Office, Inc. Coordinating user interface elements across screen spaces
WO2015031946A1 (en) * 2013-09-08 2015-03-12 Eris Kayihan System of automated script generation with integrated video production
CN105593897A (zh) * 2013-09-30 2016-05-18 慧与发展有限责任合伙企业 用于修改源数据的数据对象的覆盖
TW201601529A (zh) * 2014-06-20 2016-01-01 Insyde Software Corp 互動式多媒體資料即時分享方法及系統、電腦程式產品
WO2016024646A1 (ko) * 2014-08-11 2016-02-18 주식회사 다빈치소프트웨어연구소 웹 콘텐츠 저작 장치 및 그 제어방법
TWI566593B (zh) * 2015-02-17 2017-01-11 沈國曄 應用於多媒體視訊服務的互動系統及其方法
US9805036B2 (en) * 2015-06-05 2017-10-31 Disney Enterprises, Inc. Script-based multimedia presentation
US10320724B2 (en) * 2015-08-28 2019-06-11 International Business Machines Corporation Message assistant via smart templates
JP2023135679A (ja) * 2022-03-16 2023-09-29 日本電気株式会社 情報配信制御装置、情報配信制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346270A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 情報システムおよび電子サービスガイド方法
JP2002140270A (ja) * 2000-08-24 2002-05-17 Sony Corp 受信装置および方法、送信装置および方法、記録媒体、並びに通信システム
JP2002262223A (ja) * 2001-03-01 2002-09-13 Dentsu Inc 広告画面のオーサリングシステムおよびオーサリング方法
JP2002324036A (ja) * 2001-02-16 2002-11-08 Sony Computer Entertainment Inc 電子メールシステム、電子メール作成方法、プログラム、その記録媒体

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US158866A (en) * 1875-01-19 Improvement in monuments
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
JP2701724B2 (ja) * 1993-12-28 1998-01-21 日本電気株式会社 シナリオ編集装置
US5862372A (en) * 1994-11-16 1999-01-19 Morris; Robert M. Visually oriented computer implemented application development system utilizing standardized objects and multiple views
EP0758115B1 (en) * 1995-07-11 2002-10-16 Matsushita Electric Industrial Co., Ltd. Scenario editor for multimedia data and scenario reproducing apparatus
DE69637452D1 (de) * 1995-07-31 2008-04-17 Toshiba Kawasaki Kk Interaktives Fernsehsystem
JP2994996B2 (ja) * 1995-12-01 1999-12-27 松下電器産業株式会社 マルチメディア編集装置
US5864338A (en) * 1996-09-20 1999-01-26 Electronic Data Systems Corporation System and method for designing multimedia applications
SG79952A1 (en) * 1996-11-13 2001-04-17 Matsushita Electric Ind Co Ltd A system stream reproduction control information editing apparatus and a recording medium on which the method used therein is recorded
US6006241A (en) * 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6397387B1 (en) * 1997-06-02 2002-05-28 Sony Corporation Client and server system
AUPO960197A0 (en) * 1997-10-03 1997-10-30 Canon Information Systems Research Australia Pty Ltd Multi-media editing method and apparatus
JP3657424B2 (ja) * 1998-03-20 2005-06-08 松下電器産業株式会社 番組情報を放送するセンター装置と端末装置
AUPP624698A0 (en) * 1998-09-29 1998-10-22 Canon Kabushiki Kaisha Method and apparatus for multimedia editing
US6670966B1 (en) * 1998-11-10 2003-12-30 Sony Corporation Edit data creating device and edit data creating method
EP1024661A3 (en) * 1999-01-27 2002-07-17 Hughes Electronics Corporation Pictographic electronic program guide
WO2001035056A1 (en) * 1999-11-12 2001-05-17 Intercontinental Travel Services, Inc. System for automated multimedia presentation utilizing presentation templates
US6704120B1 (en) * 1999-12-01 2004-03-09 Xerox Corporation Product template for a personalized printed product incorporating image processing operations
US6493677B1 (en) * 2000-01-19 2002-12-10 Jones Soda Co. Method and apparatus for creating and ordering customized branded merchandise over a computer network
AUPQ867700A0 (en) * 2000-07-10 2000-08-03 Canon Kabushiki Kaisha Delivering multimedia descriptions
JP2002091881A (ja) 2000-09-13 2002-03-29 Casio Comput Co Ltd メッセージデータ送受信システム
US7260785B2 (en) * 2001-01-29 2007-08-21 International Business Machines Corporation Method and system for object retransmission without a continuous network connection in a digital media distribution system
JP2003006555A (ja) 2001-06-25 2003-01-10 Nova:Kk コンテンツ配信方法、シナリオデータ、記録媒体およびシナリオデータ生成方法
US7450826B2 (en) * 2001-10-09 2008-11-11 Warner Bros. Entertainment Inc. Media program with selectable sub-segments
US7480864B2 (en) * 2001-10-12 2009-01-20 Canon Kabushiki Kaisha Zoom editor
US20040001106A1 (en) * 2002-06-26 2004-01-01 John Deutscher System and process for creating an interactive presentation employing multi-media components
US7165224B2 (en) 2002-10-03 2007-01-16 Nokia Corporation Image browsing and downloading in mobile networks
GB0230097D0 (en) * 2002-12-24 2003-01-29 Koninkl Philips Electronics Nv Method and system for augmenting an audio signal
US7987423B2 (en) * 2006-10-11 2011-07-26 Hewlett-Packard Development Company, L.P. Personalized slide show generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346270A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 情報システムおよび電子サービスガイド方法
JP2002140270A (ja) * 2000-08-24 2002-05-17 Sony Corp 受信装置および方法、送信装置および方法、記録媒体、並びに通信システム
JP2002324036A (ja) * 2001-02-16 2002-11-08 Sony Computer Entertainment Inc 電子メールシステム、電子メール作成方法、プログラム、その記録媒体
JP2002262223A (ja) * 2001-03-01 2002-09-13 Dentsu Inc 広告画面のオーサリングシステムおよびオーサリング方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1571842A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043833A1 (en) * 2005-10-13 2007-04-19 Lg Electronics Inc. Method and apparatus for encoding/decoding
US8255437B2 (en) 2005-10-13 2012-08-28 Lg Electronics Inc. Method and apparatus for encoding/decoding
WO2008007905A1 (en) * 2006-07-12 2008-01-17 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
US8275814B2 (en) 2006-07-12 2012-09-25 Lg Electronics Inc. Method and apparatus for encoding/decoding signal
US9099151B2 (en) 2012-02-09 2015-08-04 Panasonic Intellectual Property Management Co., Ltd. Multimedia content editing server, multimedia content editing method, program, and integrated circuit
CN103873929A (zh) * 2014-04-11 2014-06-18 北京鸿达以太文化发展有限公司 一种对多媒体数据的播放方法和装置
CN110945874A (zh) * 2017-07-31 2020-03-31 索尼公司 信息处理装置、信息处理方法以及程序

Also Published As

Publication number Publication date
US20110035649A1 (en) 2011-02-10
EP1571842A4 (en) 2008-03-05
KR100713751B1 (ko) 2007-05-07
JP3987025B2 (ja) 2007-10-03
US8650477B2 (en) 2014-02-11
US20060053468A1 (en) 2006-03-09
AU2003289312A1 (en) 2004-06-30
EP2343887A3 (en) 2012-02-15
KR20050084251A (ko) 2005-08-26
EP2343887A2 (en) 2011-07-13
EP2343887B1 (en) 2014-09-24
KR20060016135A (ko) 2006-02-21
US8156417B2 (en) 2012-04-10
US20090222489A1 (en) 2009-09-03
US20110041071A1 (en) 2011-02-17
EP2343886A3 (en) 2012-02-15
EP2343886A2 (en) 2011-07-13
EP1571842A1 (en) 2005-09-07
JP2004343683A (ja) 2004-12-02
US8640025B2 (en) 2014-01-28
EP2343886B1 (en) 2014-09-24

Similar Documents

Publication Publication Date Title
WO2004054254A1 (ja) 容易にマルチメディアコンテンツを作成できるマルチメディアデータ処理装置
KR100690819B1 (ko) 콘텐츠 서비스의 북마크 기능을 갖는 휴대 단말기 및 그동작 방법
WO2015050924A2 (en) Image with audio conversation system and method
JP2006523418A (ja) インタラクティブコンテンツ同期化装置及び方法
KR20040048236A (ko) 멀티미디어 문서 저작 장치 및 방법
JP3927962B2 (ja) データ処理装置およびデータ処理プログラム
JP4369494B2 (ja) マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP4369434B2 (ja) マルチメディアデータ処理装置、マルチメディアデータ処理プログラム、およびマルチメディアコンテンツデータのデータ構造
JP4954247B2 (ja) マルチメディアデータ処理装置およびマルチメディアコンテンツデータのデータ構造
WO2008108536A1 (en) Method and apparatus for modifying text-based subtitles
JP3987096B2 (ja) マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP2004357293A (ja) 識別子で関連付けられたドキュメントの選択のためのナビゲーション処理及びその処理を実施する装置
JP4658128B2 (ja) データ生成装置、データ生成方法、およびシステム
US8819551B2 (en) Display device and method, and program
WO2009083820A1 (en) Method, apparatus and computer program product for generating media content by recording broadcast transmissions
JP4587966B2 (ja) データ処理装置
CN1809148B (zh) 能轻松地预备多媒体内容的多媒体数据处理设备
JP2006209782A (ja) データ処理装置
JP2003037811A (ja) 番組情報記録システム及び記録媒体
JP2005267798A (ja) 情報記録装置および方法
JP2002354411A (ja) マルチメディアデータ生成方法、端末装置、マルチメディアデータ生成装置、マルチメディアデータ生成プログラムを記録したコンピュータ読み取り可能な記録媒体およびマルチメディアデータ生成プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003780709

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006053468

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10532936

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020057010633

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038A60175

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057010633

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003780709

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10532936

Country of ref document: US