WO2013118505A1 - マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路 - Google Patents

マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路 Download PDF

Info

Publication number
WO2013118505A1
WO2013118505A1 PCT/JP2013/000667 JP2013000667W WO2013118505A1 WO 2013118505 A1 WO2013118505 A1 WO 2013118505A1 JP 2013000667 W JP2013000667 W JP 2013000667W WO 2013118505 A1 WO2013118505 A1 WO 2013118505A1
Authority
WO
WIPO (PCT)
Prior art keywords
multimedia content
template
format
data
script
Prior art date
Application number
PCT/JP2013/000667
Other languages
English (en)
French (fr)
Inventor
三浦 康史
田辺 直久
北村 朋彦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/009,629 priority Critical patent/US9099151B2/en
Priority to CN201380000994.0A priority patent/CN103460707B/zh
Priority to JP2013530476A priority patent/JP6004283B2/ja
Publication of WO2013118505A1 publication Critical patent/WO2013118505A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/756Media network packet handling adapting media to device capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25833Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/303Terminal profiles

Definitions

  • the present invention relates to multimedia content for generating multimedia content including media data including images and a media control script for controlling a playback scenario including at least one of the arrangement, playback order, and playback effect of the media data.
  • media data including images
  • media control script for controlling a playback scenario including at least one of the arrangement, playback order, and playback effect of the media data.
  • a photo movie is a form of multimedia content, in which a BGM (Background Music) and a decoration image are added to a photograph or movie that has been taken and played back in time series like a movie.
  • BGM Background Music
  • the photo movie is described in Non-Patent Document 1, for example.
  • Patent Document 1 describes a processing device that can easily create multimedia contents.
  • the processing device described in Patent Literature 1 is a terminal that supports the reproduction of multimedia content and the creation of multimedia content by the user using a template and a script included in the template.
  • a terminal device that reproduces multimedia content can reproduce multimedia content according to the processing performance of the terminal device.
  • an object of the present invention is to provide a multimedia content editing server capable of generating multimedia content according to the processing performance of the terminal device.
  • a multimedia content editing server provides a playback scenario including media data including an image and at least one of an arrangement, a playback order, and a playback effect of the media data.
  • a multimedia content editing server that generates multimedia content including a media control script that controls the media control script, and generates the media control script according to processing capability information representing processing capability of the media control script in a terminal device
  • a script generation unit ; and a multimedia content generation unit that generates multimedia content including the media control script.
  • the present invention can provide a multimedia content editing server capable of generating multimedia content according to the processing performance of the terminal device.
  • FIG. 1A is a block diagram illustrating a schematic configuration of an editing server according to the embodiment.
  • FIG. 1B is a diagram illustrating an example of a photo movie according to the embodiment.
  • FIG. 2A is a flowchart of multimedia content editing processing according to the embodiment.
  • FIG. 2B is a flowchart of media control script generation processing according to the embodiment.
  • FIG. 3 is a block diagram showing a configuration of the multimedia content editing system according to the embodiment.
  • FIG. 4 is a block diagram showing a configuration of the terminal according to the embodiment.
  • FIG. 5 is a block diagram showing a configuration of the terminal according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of data stored in the processing capacity storage unit according to the embodiment.
  • FIG. 1A is a block diagram illustrating a schematic configuration of an editing server according to the embodiment.
  • FIG. 1B is a diagram illustrating an example of a photo movie according to the embodiment.
  • FIG. 2A is a flowchart of multimedia content
  • FIG. 7 is a diagram illustrating an example of data stored in the content information storage unit according to the embodiment.
  • FIG. 8 is a diagram illustrating an example of data included in the material table according to the embodiment.
  • FIG. 9 is a block diagram illustrating a configuration of the editing server according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of data stored in the template information storage unit according to the embodiment.
  • FIG. 11 is a diagram illustrating an example of data included in the material table according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of data stored in the script storage unit according to the embodiment.
  • FIG. 13 is a diagram illustrating an example of data stored in the media data storage unit according to the embodiment.
  • FIG. 14 is a flowchart showing a process flow of the multimedia content editing system according to the embodiment.
  • FIG. 14 is a flowchart showing a process flow of the multimedia content editing system according to the embodiment.
  • FIG. 15 is a diagram showing an example of a multimedia content editing process selection screen according to the embodiment.
  • FIG. 16A is a flowchart illustrating a flow of template editing processing according to the embodiment.
  • FIG. 16B is a flowchart illustrating a flow of template editing processing according to the embodiment.
  • FIG. 17 is a diagram showing message data included in the template editing request message according to the embodiment.
  • FIG. 18 is a diagram showing message data included in the template editing response message according to the embodiment.
  • FIG. 19 is a diagram showing message data included in the template thumbnail request message according to the embodiment.
  • FIG. 20 is a diagram showing message data included in the template thumbnail response message according to the embodiment.
  • FIG. 21 is a diagram illustrating an example of a template editing screen according to the embodiment.
  • FIG. 22 is a diagram showing message data included in the template representative scene request message according to the embodiment.
  • FIG. 23 is a diagram showing message data included in the template representative scene response message according to the embodiment.
  • FIG. 24 is a diagram illustrating an example of a template editing screen according to the embodiment.
  • FIG. 25 is a diagram showing the relationship between the time code of the slide bar on the template editing screen and the template scene according to the embodiment.
  • FIG. 26 is a diagram illustrating message data included in the decoration image request message according to the embodiment.
  • FIG. 27 is a diagram illustrating message data included in the decoration image response message according to the embodiment.
  • FIG. 28 is a diagram showing a template editing screen in which a decoration image is displayed in the scene display area according to the embodiment.
  • FIG. 29 is a diagram illustrating message data included in the decoration image replacement request message according to the embodiment.
  • FIG. 30A is a diagram showing message data included in the decoration image replacement response message according to the embodiment.
  • FIG. 30B is a diagram showing message data included in the template data request message according to the embodiment.
  • FIG. 31A is a flowchart of package format determination processing according to the embodiment.
  • FIG. 31B is a flowchart of a modification of the package format determination process according to the embodiment.
  • FIG. 32 is a diagram schematically illustrating a media control script according to the embodiment.
  • FIG. 33 is a diagram showing data included in the material data archive created according to the archive format of the material data according to the embodiment.
  • FIG. 34 is a diagram showing an example of the material information protection process according to the embodiment.
  • FIG. 35 is a diagram showing template data in a complete package format according to the embodiment.
  • FIG. 36 is a diagram showing message data included in the template data response message according to the embodiment.
  • FIG. 37A is a flowchart showing a flow of template editing processing according to the embodiment.
  • FIG. 37B is a flowchart showing a template editing process according to the embodiment.
  • FIG. 38 is a diagram showing message data included in the content editing request message according to the embodiment.
  • FIG. 39 is a diagram showing message data included in the content editing response message according to the embodiment.
  • FIG. 40 is a diagram illustrating an example of a content editing screen according to the embodiment.
  • FIG. 41 is a diagram showing a content editing screen in which a thumbnail image of a photo is displayed in the material display area according to the embodiment.
  • FIG. 42 is a diagram showing message data included in the multimedia content request message according to the embodiment.
  • FIG. 43 is a diagram showing message data included in the multimedia content response message according to the embodiment.
  • FIG. 44 is a diagram showing processing when two media control scripts according to the embodiment are combined.
  • FIG. 45 is a diagram illustrating a service type 1 (in-house data center type) according to the embodiment.
  • FIG. 46 is a diagram illustrating a service type 2 (IaaS usage type) according to the embodiment.
  • FIG. 47 is a diagram illustrating a service type 3 (PaaS usage type) according to the embodiment.
  • FIG. 48 is a diagram illustrating a service type 4 (SaaS usage type) according to the embodiment.
  • the material package format is a format in which photographs, movies, etc., which are materials constituting multimedia contents, and a media control script are archived. In this format, material can be replaced and partial update can be performed, so that various editing can be performed.
  • a script execution function is required in the playback terminal for playback.
  • the complete package format is a video stream format that is the same as when the multimedia content in the material package format is played back.
  • the format of this moving picture stream is realized by MPEG2-TS (Motion Picture Expert Group 2-Transport Stream) or MPEG4.
  • MPEG2-TS Motion Picture Expert Group 2-Transport Stream
  • MPEG4 Motion Picture Expert Group 2-Transport Stream
  • only limited editing such as partial deletion of the moving picture stream can be performed, but the script execution function is not necessary, and it can be played back on many terminals.
  • multimedia contents in a material package format.
  • material package format when only multimedia contents are described, it refers to multimedia contents in a material package format.
  • material package format when distinguishing between the material package format and the complete package format, each format is described.
  • processing with high expression effects such as high-speed movement of photos and special screen switching depends on the script processing capability of the playback terminal that executes the media control script.
  • the processor capacity of the playback terminal improves year by year, and the script processing capacity increases accordingly. For this reason, there is a demand to update multimedia contents by replacement of a playback terminal or the like. For example, when a user who has newly purchased a playback terminal views multimedia content created in the past on a playback terminal having a high script processing capability, the multimedia content is maximized by using the expression effect on the newly purchased playback terminal. Want to watch.
  • the conventional multimedia content creation terminal and server cannot sufficiently meet such demands. That is, the conventional apparatus does not have a function of determining or updating a media control script included in the multimedia content according to the script processing capability of the playback terminal.
  • not all terminals can play multimedia content.
  • a media playback function and a script execution function are required, but there are playback devices that hold only the media playback function and do not hold the script execution function.
  • the media playback function is, for example, an MPEG2 decoder
  • the script execution function is, for example, a virtual machine. There is a demand for viewing multimedia contents even on such devices.
  • the conventional multimedia content creation terminal and server cannot sufficiently meet such demands. That is, the conventional apparatus does not have a function of reconfiguring multimedia content for a playback device that holds only the media playback function.
  • the user edits the template and changes it to a favorite template.
  • the user selects a target template.
  • the template design and effects are confirmed on the terminal. Since the template is also a multimedia content and includes a media control script, the above-mentioned problem for the multimedia content also applies to the template as it is.
  • decoration images and media control scripts created by the user multimedia content may be created using decoration images and media control scripts purchased from commercial services. In this case, since illegally copying purchased images and scripts is prohibited, it is necessary to prevent unauthorized use.
  • the conventional multimedia content creation terminal and server cannot sufficiently meet such demands. That is, the conventional apparatus does not have a function of preventing unauthorized use of the material included in the multimedia content in a playback device with a low security level.
  • an editing system for editing multimedia content including media data such as photos, movies, BGM, and decoration images, and a media control script that controls the media data, which can solve the above-described problems.
  • the server device, terminal device, and editing method will be described.
  • a multimedia content editing server includes media data including an image, and a media control script that controls a playback scenario including at least one of an arrangement, a playback order, and a playback effect of the media data.
  • a multimedia content editing server that generates multimedia content including: a script generation unit that generates the media control script according to processing capability information representing processing capability of the media control script in a terminal device; and the media control A multimedia content generation unit that generates multimedia content including a script.
  • the multimedia content editing server can generate a media control script included in the multimedia content according to the script processing capability of the terminal device.
  • the playback scenario indicates the movement of the image as the playback effect
  • the script generation unit has a second value that is lower than the first value when the processing power is a first value.
  • the media control script having a larger or faster movement of the image may be generated.
  • the multimedia content editing server can generate multimedia content suitable for the terminal device according to the script processing capability of the terminal device.
  • the multimedia content editing server further includes a format determining unit that determines a format of the multimedia content according to the processing capability indicated by the processing capability information, and the multimedia content generating unit includes Multimedia content in the content format determined by the multimedia content format determination unit may be generated.
  • the multimedia content editing server can determine the format of the multimedia content according to the script processing capability of the terminal device.
  • the format determination unit selects one of a material package format and a complete package format as the content format
  • the multimedia content generation unit includes a script execution unit that executes the media control script
  • a material package generation unit configured to generate multimedia content in the material package format including the media data and the media control script when the format determination unit selects the material package format as the content format
  • a complete package generation unit that generates multimedia content in the complete package format, which is video data obtained by the script execution unit executing the media control script, when the determination unit selects the complete package format; Be equipped It may be.
  • the multimedia content editing server can determine the multimedia content format as either the material package format or the complete package format according to the script processing capability of the terminal device.
  • the format determination unit selects the material package format and uses the processing capability information.
  • the complete package format may be selected.
  • the terminal device can edit and play multimedia content regardless of the presence or absence of the execution environment of the media control script.
  • the multimedia content editing server further includes a format determination unit that receives a security level of the terminal device from the terminal device and determines a format of the multimedia content according to the security level,
  • the multimedia content generation unit may generate multimedia content in the content format determined by the multimedia content format determination unit.
  • the multimedia content editing server can determine the format of the multimedia content according to the security level of the terminal device.
  • the format determination unit selects one of a material package format and a complete package format as the content format
  • the multimedia content generation unit includes a script execution unit that executes the media control script
  • a material package generation unit configured to generate multimedia content in the material package format including the media data and the media control script when the format determination unit selects the material package format as the content format
  • a complete package generation unit that generates multimedia content in the complete package format, which is video data obtained by the script execution unit executing the media control script, when the determination unit selects the complete package format; Be equipped It may be.
  • the multimedia content editing server can determine the format of the multimedia content as either the material package format or the complete package format according to the security level of the terminal device. Therefore, unauthorized use of the material included in the multimedia content in the terminal device with a low security level can be prevented.
  • the multimedia content editing server may further use a download-type distribution method when the format determination unit selects the complete package format and the security level of the terminal device is the first level.
  • the multimedia content is transmitted to the terminal device, and when the security level of the terminal device is a second level lower than the first level, the multimedia content is transmitted to the terminal device by a streaming distribution method. May be.
  • the multimedia content editing server can determine the format of the multimedia content as either the download type distribution method or the streaming type distribution method according to the security level of the terminal device. Therefore, it is possible to prevent unauthorized use of the material included in the multimedia content in a terminal with a low security level.
  • the multimedia content generation unit adds material information indicating a storage location of the media data and the media control script to the multimedia content when the format determination unit selects the complete package format.
  • An embedded portion may be provided.
  • the multimedia content editing server and the terminal device can easily identify the material to be edited when the multimedia content is re-edited.
  • the multimedia content editing server and the terminal device can easily track the sharing destination when the multimedia content is shared.
  • the multimedia content generation unit may further include a material information protection unit that protects the material information.
  • the multimedia content editing server can prevent the material to be edited from being illegally replaced when the multimedia content is reedited, and the sharing destination tracking information can be illegally replaced. Can be prevented.
  • the script generation unit may further generate a new media control script by combining a plurality of media control scripts to be updated.
  • the user can generate multimedia contents that can be browsed continuously by combining multimedia contents, or generate a favorite scenario by editing a template of multimedia contents. Can do.
  • the script generation unit may further generate a new media control script by replacing a part or all of the media control script to be updated.
  • the user can change only the template scenario without changing the material of the multimedia content.
  • the script generation unit may generate a new media control script by deleting a part of the media control script to be updated.
  • the multimedia editing server can eliminate part or all of the reproduction effect of the multimedia content. Therefore, the multimedia editing server can create multimedia content for a terminal that does not have interactivity.
  • the multimedia content editing method includes a media control script for controlling a playback scenario including at least one of media data including an image, and arrangement, playback order, and playback effect of the media data.
  • a multimedia content editing method for generating multimedia content including: a script generation step of generating the media control script according to processing capability information representing processing capability of the media control script in a terminal device; and Generating a multimedia content including a media control script.
  • the multimedia content editing method can generate a media control script included in the multimedia content according to the script processing capability of the terminal device.
  • FIG. 1A is a block diagram showing a schematic configuration of an editing server 101 which is a multimedia content editing server according to the present embodiment.
  • the editing server 101 shown in FIG. 1A includes a material package type multi-media including media data including images and a media control script that controls a playback scenario including at least one of the arrangement, playback order, and playback effect of the media data. Generate media content.
  • the editing server 101 includes a reception unit 111, a script generation unit 112, a multimedia content generation unit 113, and a transmission unit 114.
  • the receiving unit 111 receives processing capability information (also referred to as script processing capability information) representing the processing capability of the media control script in the terminal device from the terminal device.
  • the script generation unit 112 generates a media control script according to the processing capability indicated by the processing capability information received by the reception unit 111.
  • the multimedia content generation unit 113 generates multimedia content including the media control script generated by the script generation unit 112.
  • the transmission unit 114 transmits the multimedia content generated by the multimedia content generation unit 113 to the terminal device.
  • the terminal device reproduces the multimedia content by executing a media control script included in the multimedia content.
  • the multimedia content is a photo movie.
  • a photo movie is a form of multimedia content, in which a BGM and a decoration image are added to a photograph or a movie that has been taken, and is played back in time series like a movie.
  • FIG. 1B is a diagram showing a display example of multimedia content.
  • the user image 701 is a photograph or movie owned by the user.
  • the media data typically includes a plurality of user images (still images or moving images), one or more BGM (music), and one or more decoration images.
  • the media data may include at least one image.
  • Each of the user image, the BGM, and the decoration image may be one or plural.
  • both a still image and a moving image may be included in the media data as user images.
  • the media data may include voices other than BGM (for example, sound effects) or text data.
  • the media control script controls the playback scenario of these media data. That is, when the terminal device executes the media control script, the media data is reproduced according to the reproduction scenario.
  • the reproduction scenario typically includes an arrangement (arrangement position) of a plurality of user images and decoration images, and a reproduction order (reproduction timing) of the plurality of user images, one or more BGMs, and one or more decoration images.
  • the reproduction effect includes image movement.
  • the movement of the image includes an image movement pattern, a movement speed, enlargement, reduction, rotation, and the like.
  • the reproduction effect may include a process for processing the image such as changing the color of the image.
  • the reproduction effect may include screen switching, animation effect, and the like. Note that the playback scenario and the playback effect may include all of the above or only a part thereof.
  • FIG. 2A is a flowchart of multimedia content editing processing by the editing server 101.
  • the receiving unit 111 receives processing capability information representing the processing capability of the media control script in the terminal device from the terminal device (S101).
  • the script generation unit 112 generates a media control script according to the processing capability indicated by the received processing capability information (S102).
  • the multimedia content generation unit 113 generates multimedia content including the generated media control script (S103).
  • the transmission unit 114 transmits the generated multimedia content to the terminal device (S104).
  • FIG. 2B is a flowchart of media control script generation processing (S102) by the editing server 101.
  • the script generation unit 112 determines that the media control script is high when the processing capability of the media control script of the terminal device is high (for example, when the processing capability is higher than a predetermined threshold) (Yes in S111).
  • the reproduction effect by is made flashy (S112).
  • the script generation unit 112 increases the movement of the image or speeds up the movement of the image.
  • the script generation unit 112 makes the playback effect of the media control script plain. (S113).
  • the script generation unit 112 reduces the movement of the image or slows the movement of the image.
  • enlarging the motion of the image or speeding up the motion of the image includes changing the moving image to move.
  • reducing the movement of an image or slowing down the movement of an image includes changing an image for which movement is set to be stationary.
  • the script generation unit 112 when the processing capability of the media control script of the terminal device is the first value, the script generation unit 112 has a larger image motion than when the processing capability is the second value lower than the first value, or Generate fast media control scripts.
  • the editing server 101 can generate optimal multimedia content that matches the processing capability of the media control script of the terminal device.
  • the script generation unit 112 may change the frequency at which image movement occurs according to the processing capability of the media control script of the terminal device. Specifically, the script generation unit 112 may increase the frequency of image movement when the processing capability is high, and decrease the frequency when the processing capability is low.
  • the script generation unit 112 may change the number of decoration images according to the processing capability of the media control script of the terminal device. Specifically, the script generation unit 112 may increase the number of decoration images when the processing capability is high, and decrease the number of decoration images when the processing capability is low.
  • the editing server 101 changes the playback effect in two stages using a single threshold, but the editing server 101 provides a plurality of thresholds and changes the playback effect in three or more stages. May be.
  • FIG. 3 is a block diagram showing a configuration of multimedia content editing system 100 according to the present embodiment.
  • the multimedia content editing system 100 includes an editing server 101 and terminals 102, 103,.
  • the editing server 101 and the terminals 102, 103,... are connected via, for example, a network.
  • FIG. 4 is a block diagram showing the configuration of the terminal 102.
  • FIG. 5 is a block diagram showing the configuration of the terminal 103.
  • the terminal 102 is used both for editing the multimedia content in the material package format and for reproducing the multimedia content in the material package format.
  • the terminal 103 is used both for editing the multimedia contents in the material package format and for reproducing the multimedia contents in the complete package format.
  • terminals are physically the same, they are called “editing terminals” when they are used for editing multimedia contents, and multimedia contents (material package format or complete package) Format) is used for playback purposes, it may be called a “playback terminal”.
  • the terminal 102 includes a communication unit 201, a processing capacity storage unit 202, a content information storage unit 203, a security information storage unit 204, an input unit 205, a content format analysis unit 206, a script execution unit 207, a media playback unit 208, an output unit 209, And a control unit 210.
  • the communication unit 201 has a function of transmitting a command indicating processing contents and a parameter associated with the command to the editing server 101 and receiving response data corresponding to the command from the editing server 101.
  • the communication unit 201 is a communication circuit realized by, for example, a network interface circuit.
  • the processing capability storage unit 202 has a function of storing version information of the script execution unit and processing capability information of the script execution unit 207, and is a memory device realized by, for example, a flash memory.
  • FIG. 6 is a diagram illustrating an example of data stored in the processing capacity storage unit 202.
  • the processing capability storage unit 202 stores a script processing capability table 301 including version information 302 and script processing capability information 303.
  • the version information 302 is information indicating the version of the script execution unit 207.
  • the version information 302 is written in the processing capacity storage unit 202 at the time of factory shipment, and is updated together with the update of the script execution unit 207.
  • the initial version “1.0.0” is stored as the version information 302.
  • the script processing capability information 303 is a value determined by the operation clock of the terminal 102, the amount of installed memory, the bus speed, and the like, and indicates a value normalized to a numerical value between 1 and 100. The larger the value, the higher the script processing capability. For example, the script processing capacity information 303 is written in the processing capacity storage unit 202 at the time of factory shipment.
  • the version information 302 and the script processing capability information 303 are not necessarily such data, and any data can be used as long as the version and script processing capability can be determined.
  • the update count of the terminal 102 may be used as the version information 302
  • the lot number, product number, serial number, or the like of the terminal 102 may be used as the script processing capability information 303.
  • the content information storage unit 203 has a function of storing multimedia content edited by the user of the terminal 102, and is a memory device realized by, for example, an HDD (Hard Disk Drive) or the like.
  • the multimedia content edited by the user may be stored in the terminal 102, or may be stored in the editing server 101 or a user's library server (not shown).
  • the content information storage unit 203 includes information that can identify the editing server that is the storage destination, and each element such as a photo, movie, and media control script included in the multimedia content. The information that can be uniquely identified is stored.
  • FIG. 7 is a diagram illustrating an example of data stored in the content information storage unit 203.
  • the content information storage unit 203 stores a content information table 311 including a multimedia content storage location 312, an editor ID 313, a template ID 314, a theme ID 315, and a material table ID 316.
  • the multimedia content storage location 312 indicates a file path on the HDD when multimedia content is stored in the terminal 102, and an identifier of the server when multimedia content is stored in the editing server 101 or another server. And the file path on the server.
  • the URL Uniform Resource Locator
  • this format is not necessarily required, and any data format can be used as long as the storage location can be identified. May be used.
  • Editor ID 313 is a user ID registered by the user in the editing server 101.
  • the editing server 101 may assign this user ID to each user.
  • a predetermined combination of BGM, decoration image, and media control script is called a template.
  • the user can purchase and register a template from the template sales service.
  • the template ID 314 stores the identifier of the used template.
  • the template ID 314 uses a format composed of a template editor name and an identifier, but this format is not necessarily required. If no template is specified, a null value “Null” is stored as the template ID 314.
  • a group of templates that give the same impression or are recognized as similar is called a theme.
  • the user does not need to individually select materials and templates by designating a theme.
  • the identifier of the used theme is stored as the theme ID 315.
  • a 4-digit number format is used for the theme ID 315, but this format is not necessarily required. If no theme is specified, the null value “Null” is stored as the theme ID 315.
  • the material table ID 316 is an identifier for identifying a material table including photos, movies, BGM, decoration images, and media control scripts included in the multimedia content.
  • the material table ID 316 uses a 4-digit number format, but this format is not necessarily required.
  • FIG. 8 is a diagram illustrating an example of data included in the material table 321.
  • the material table 321 includes a material table ID 322, a material ID 323, a material type 324, and material data 325.
  • the material table ID 322 corresponds to the material table ID 316 stored in the content information table 311 and is associated with the material included in the multimedia content managed by the content information table 311.
  • the material ID 323 is an identifier for uniquely identifying the material data.
  • a format including the editor name and a 4-digit number is used for the material ID 323, but this format is not necessarily required.
  • the material type 324 indicates the type and format of the material.
  • MIME Multipurpose Internet Mail Extensions
  • Material data 325 is information indicating material data.
  • a file name is used for the material data 325, but another identifier may be used as long as the material can be uniquely identified.
  • the security information storage unit 204 has a function of storing the security level of the terminal 102, and is a memory device realized by, for example, a flash memory.
  • the security level is information indicating whether the terminal 102 has a function of preventing unauthorized use of multimedia content.
  • the unauthorized use prevention function is, for example, a function for encrypting and protecting data stored in the content information storage unit 203 of the terminal 102, and an editor of a media control script included in multimedia content is a valid editor And a function for confirming that the media control script included in the multimedia content has not been tampered with.
  • “1” is stored in the security information storage unit 204, and “0” is stored otherwise.
  • the security information storage unit 204 is realized by a flash memory inside the processor, thereby preventing access from the user.
  • the security level may be expressed in three or more levels according to the function held by the terminal 102 instead of the two levels.
  • the information stored in the security information storage unit 204 may be any type of data as long as the security level can be determined. For example, the lot number, product number, or serial number of the terminal 102 may be used for this information.
  • the input unit 205 has a function for the terminal 102 to accept an instruction or operation from a user, and is an input circuit realized by, for example, a keyboard, a touch panel, or a remote controller.
  • the content format analysis unit 206 has a function of analyzing the format of multimedia content, and is, for example, a stream format decoder circuit.
  • the script execution unit 207 has a function of executing a media control script included in the multimedia content, and is, for example, a virtual machine circuit.
  • the media playback unit 208 has a function of playing back media data such as photos and movies included in the multimedia content, and is, for example, a JPEG (Joint Photographic Experts Group) decoder or an MPEG decoder realized by software or hardware. .
  • JPEG Joint Photographic Experts Group
  • the output unit 209 has a function of displaying a screen for receiving an instruction or operation from a user, a function of displaying a reception result received from the editing server 101, and a function of displaying a processing result of the terminal 102. , Display or display output interface.
  • the control unit 210 is an electronic circuit that controls each component constituting the terminal 102.
  • FIG. 5 is a block diagram showing the configuration of the terminal 103.
  • the terminal 103 reproduces multimedia content in a complete package format. Therefore, compared with the terminal 102, the function related to the media control script is not retained. That is, the processing capacity storage unit 202 and the script execution unit 207 in the terminal 102 are not held. Since other components are the same as those of the terminal 102, the description thereof is omitted.
  • FIG. 9 is a block diagram showing the configuration of the editing server 101.
  • the editing server 101 includes a communication unit 121, a format determination unit 122, a processing capability determination unit 123, a security level determination unit 124, a template information storage unit 130, a script storage unit 131, a media data storage unit 132, a content material acquisition unit 133, a script A generation unit 112 and a multimedia content generation unit 113 are provided.
  • the communication unit 121 includes a reception unit 111 and a transmission unit 114.
  • the multimedia content generation unit 113 includes a material package generation unit 125, a complete package generation unit 126, a material information embedding unit 127, a script execution unit 128, and a material information protection unit 129.
  • the communication unit 121 receives commands and parameters associated with the commands from the terminals 102, 103,..., And transmits response data corresponding to the commands to the terminals 102, 103,. Further, the communication unit 121 communicates with a material server (not shown) designated by the user, and acquires a material used for multimedia content.
  • the communication unit 121 is a communication circuit realized by a network interface circuit or the like, for example.
  • the format determining unit 122 is an electronic circuit that selects the format of the multimedia content to be generated according to either or both of the processing capability information and the security level received by the communication unit 121.
  • the content format to be selected is either the material package format or the complete package format.
  • the processing capability determination unit 123 is an electronic circuit that analyzes the processing capability information received by the communication unit 121 and provides the format determination unit 122 with information indicating whether the terminal has a script execution unit and script processing capability information. .
  • the security level determination unit 124 is an electronic circuit that analyzes the security level received by the communication unit 121 and provides the format determination unit 122 with information indicating the presence / absence of an unauthorized use prevention function of the multimedia content of the terminal.
  • the material package generation unit 125 is an electronic circuit that generates, edits, and reconstructs multimedia content in a material package format in accordance with instructions from the format determination unit 122.
  • the complete package generation unit 126 is an electronic circuit that generates, edits, and reconfigures multimedia content in a complete package format in accordance with instructions from the format determination unit 122.
  • the script generation unit 112 is an electronic circuit that selects, generates, and processes a media control script included in a material package type multimedia content and a media control script used for generating a complete package type multimedia content.
  • the script execution unit 128 is an electronic circuit that executes the media control script given from the script generation unit 112 on the virtual machine when generating the complete package multimedia content.
  • the material information embedding unit 127 is an electronic circuit that embeds media data such as photos and movies, media control script identifiers, and multimedia content identifiers used to generate multimedia content in the generated multimedia content. .
  • media data such as photos and movies, media control script identifiers, and multimedia content identifiers used to generate multimedia content in the generated multimedia content.
  • the editing server 101 and the terminal 102 can identify the material to be edited when the multimedia content is re-edited. Further, by using the multimedia content identifier, the editing server 101 and the terminal 102 can track the sharing destination when the multimedia content is shared.
  • the template information storage unit 130 has a function of storing scripts used for multimedia contents, and is realized by an HDD or the like.
  • FIG. 10 is a diagram illustrating an example of the template table 331 stored in the template information storage unit 130.
  • the template table 331 includes a template ID 332, a template name 333, a theme ID 334, a theme name 335, a material table ID 336, and a template thumbnail 337.
  • Template ID 332 is an identifier for uniquely identifying a template.
  • the template ID 332 uses a format composed of a template editor name and an identifier, but this format is not necessarily required.
  • Template name 333 is the name of the template. By presenting the template name 333 to the user, the user can easily select the template when editing the multimedia content.
  • the theme ID 334 is an identifier for uniquely identifying the theme to which the template belongs.
  • a 4-digit number format is used for the theme ID 334, but this format is not necessarily required.
  • a template does not necessarily belong to a theme.
  • a null value “Null” is stored as the theme ID 334.
  • the theme name 335 is the name of the theme. When the user edits the multimedia content, the user does not need to individually select the material and the template by designating the theme. If the template does not belong to the theme, a null value “Null” is stored as the theme name 335.
  • the material table ID 336 is an identifier for identifying a material table including a BGM, a decoration image, and a media control script included in the template.
  • the material table ID 336 uses a 4-digit number format, but this format is not necessarily required.
  • the template thumbnail 337 is a thumbnail image indicating the contents of the template.
  • a URL is used for the template thumbnail 337, but another format may be used as long as the material can be uniquely identified.
  • FIG. 11 is a diagram illustrating an example of data included in the material table 341.
  • the material table 341 includes a material table ID 342, a material ID 343, a material type 344, and material data 345.
  • the material table ID 342 corresponds to the material table ID 336 included in the template table 331 and is associated with the material included in the template managed by the template table 331.
  • the material ID 343 is an identifier for uniquely identifying the material data.
  • a format including an editor name and a 4-digit number is used for the material ID 343, but this format is not necessarily required.
  • the material type 344 is information indicating the type and format of the material.
  • MIME Multipurpose Internet Mail Extensions
  • Material data 345 is information indicating material data.
  • the URL is used for the material data 345, but another format may be used as long as the material can be uniquely identified.
  • the script storage unit 131 has a function of storing scripts used for editing multimedia contents, and is realized by an HDD or the like.
  • FIG. 12 is a diagram illustrating an example of the script table 351 stored in the script storage unit 131.
  • the script table 351 includes a material ID 352 and script data 353.
  • the material ID 352 is an identifier unique to the media control script.
  • a 5-digit alphanumeric format is used for the material ID 352, but this format is not necessarily required.
  • Script data 353 indicates a file path on the HDD when the script is stored in the editing server 101, and indicates an identifier of the server and a file path on the server when the script is stored on another server.
  • the URL format is used for the script data 353, but this format is not necessarily used, and any data format can be used as long as the storage location can be identified.
  • the media data storage unit 132 has a function of storing media data such as photographs and movies used for editing multimedia contents, and is realized by an HDD or the like.
  • FIG. 13 is a diagram illustrating an example of the media data table 361 stored in the media data storage unit 132.
  • the media data table 361 includes a material ID 362, a material type 363, and material data 364.
  • Material ID 362 is an identifier for uniquely identifying material data.
  • a format including the editor name and a 4-digit number is used for the material ID 362, but this format is not necessarily required.
  • Material type 363 indicates the type and format of the material.
  • the MIME format is used for the material type 363, but this format is not necessarily required.
  • Material data 364 is information indicating material data.
  • a URL is used for the material data 364, but another format may be used as long as the material can be uniquely identified.
  • the content material acquisition unit 133 relays authentication between the external server and the user when the user material used for generation and editing of the multimedia content exists in an external server other than the editing server 101. Is an electronic circuit that obtains the user's material from an external server if successful.
  • the material information embedding unit 127 displays information on media data such as photographs and BGM used for generating the complete package multimedia content, information on the media control script, and material information that is information on the multimedia content. Embed in content.
  • the material information protection unit 129 protects material information.
  • the purpose of protecting the material information is to prevent unauthorized copying and unauthorized replacement of the material identified by the material information. Thereby, acquisition of the material by users other than the user who edited the multimedia content, and acquisition of the material of other users by the user who edited the multimedia content can be prevented. Further, when multimedia content is shared, the material information is also used as tracking information of the sharing destination. By protecting the material information, unauthorized replacement of the tracking information can be prevented.
  • FIG. 14A and FIG. 14B are flowcharts showing a processing flow of the multimedia content editing system 100 according to the present embodiment.
  • a process common to the terminal 102 and the terminal 103 will be described as a process in the terminal 102. If the process differs between the terminal 102 and the terminal 103, the process is individually described. explain.
  • Step S201 the terminal 102 receives an input of multimedia content processing.
  • the control unit 210 of the terminal 102 outputs the multimedia content editing process selection screen shown in FIG. 15 through the output unit 209. As shown in FIG. 15, there are two editing methods: “Edit template” and “Edit content”.
  • Edit template is used to edit a template by selecting a decoration image, BGM, and reproduction effect used by the user for the template.
  • Edit content is for the user to edit the multimedia content by selecting the theme, template and material of the multimedia content and the user's media data.
  • the user selects an editing method using a mouse, a keyboard, or a remote control.
  • the control unit 210 identifies the editing method selected by the user through the input unit 205.
  • Step S202 When template editing is selected (template in S201), template editing processing is performed. Specific processing will be described later.
  • Step S203 If content editing is selected (content in S201), content editing processing is performed. Specific processing will be described later.
  • 16A and 16B are flowcharts showing the flow of template editing processing.
  • the template editing process will be described with reference to FIGS. 16A and 16B. It is assumed that user authentication using a user ID and password is performed before the template editing process is started.
  • Step S301 the terminal 102 makes a template editing request to the editing server 101.
  • FIG. 17 is a diagram showing message data included in the template editing request message 371.
  • the template edit request message 371 includes a message identifier 372, version 373, user ID 374, script execution unit version 375, script processing capability information 376, and security level 377 as message data.
  • the message identifier 372 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101. Version 373 is message data for identifying the version number of the message.
  • the user ID 374 is message data for identifying a user who performs template editing, and is a user ID input from the user through the input unit 205 at the time of user authentication performed in advance.
  • the script execution unit version 375 is message data for identifying the version of the script execution unit 207 of the terminal.
  • the script processing capability information 376 is a numerical value indicating the script processing capability of the terminal.
  • the security level 377 is a numerical value indicating the security level of the terminal. The security level is an integer value from 1 to 10, and the higher the security level, the higher the security level.
  • control unit 210 When generating the template editing request message 371, the control unit 210 sets “0001” representing the template editing request message, “0100” representing the initial version, “0100” representing the initial version, the user ID 374, and the user ID “374” to the message identifier 372. KM "is set for each.
  • control unit 210 sets the value of the version information 302 stored in the processing capability storage unit 202 in the script execution unit version 375, and the script stored in the script processing capability storage unit 202 in the script processing capability information 376.
  • the value of the processing capacity information 303 is set.
  • the control unit 210 sets an invalid value “0” in the script execution unit version 375 and the script processing capability information 376.
  • control unit 210 sets a value stored in the security information storage unit 204 in the security level 377.
  • control unit 210 transmits the generated template editing request message 371 to the editing server 101 via the communication unit 201.
  • Step S302 the editing server 101 makes a template editing response.
  • FIG. 18 is a diagram showing message data included in the template editing response message 381.
  • the template editing response message 381 includes a message identifier 382, a version 383, and a template editing application 384 as message data.
  • the application program is called an application or an application.
  • the message identifier 382 is message data for identifying a message transmitted and received by the terminal 102 and the editing server 101.
  • Version 383 is message data for identifying the version number of the message.
  • the template editing application 384 is a template editing application program executed on the terminal 102. This template editing application may operate directly on the terminal 102 or may operate on the browser of the terminal 102.
  • the communication unit 121 edits “0002” representing the template edit response message, “383” representing the template edit response message, “0100” representing the initial version, and the template editing application 384 to the message identifier 382.
  • a template editing application stored in an application storage unit (not shown) provided in the server 101 is set. Thereafter, the communication unit 121 transmits the generated template editing response message to the terminal 102.
  • Step S303 the terminal 102 executes a template editing application.
  • the template editing application operates directly on the terminal 102 or operates on the browser of the terminal 102, and outputs a template editing screen through the output unit 209.
  • Template editing is a function for creating a new template based on a template prepared in advance or a template created by a user so far.
  • the template editing application when executed by the terminal 102, transmits a template thumbnail request message to the editing server 101 via the communication unit 201.
  • FIG. 19 is a diagram showing message data included in the template thumbnail request message 391.
  • the template thumbnail request message 391 includes a message identifier 392 and a version 393 as message data.
  • the message identifier 392 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 393 is message data for identifying the version number of the message.
  • the template editing application When generating the template thumbnail request message 391, the template editing application sets “0003” representing the template thumbnail request message, “393” representing the version of the template thumbnail, and “0100” representing the initial version, respectively. Thereafter, the template editing application transmits the generated template thumbnail request message 391 to the editing server 101 via the communication unit 201.
  • Step S304 the editing server 101 transmits the requested template thumbnail to the terminal 102.
  • the communication unit 121 of the editing server 101 Upon receiving the template thumbnail request message 391, the communication unit 121 of the editing server 101 uses the information stored in the template thumbnails 337 of all templates included in the template table 331 stored in the template information storage unit 130. Generate a template thumbnail response message.
  • FIG. 20 is a diagram showing message data included in the template thumbnail response message 401.
  • the template thumbnail response message 401 includes a message identifier 402, a version 403, a template thumbnail number 404, and a template thumbnail 405 as message data.
  • the message identifier 402 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 403 is message data for identifying the version number of the message.
  • the template thumbnail number 404 is the number of template thumbnails included in the template thumbnail 405.
  • the template thumbnail 405 includes a template ID and template thumbnail data, and is continuously stored by the number of template thumbnails 404.
  • the communication unit 121 performs the following processing when generating the template thumbnail response message 401.
  • the communication unit 121 sets “0004” representing the template thumbnail response message to the message identifier 402, and “0100” representing the initial version to the version 403.
  • the communication unit 121 searches the template table 331 stored in the template information storage unit 130 to obtain the number of templates included in the template table 331.
  • the number of templates included in the template table 331 is four.
  • the communication unit 121 obtains template ID thumbnail data of templates included in the template table 331.
  • the communication unit 121 obtains the template ID of the template by referring to the template ID 332 of the template table 331.
  • the communication unit 121 obtains the thumbnail data of the template by referring to the template thumbnail 337 included in the template table 331.
  • the communication unit 121 when referring to the thumbnail data of the template whose template ID 332 is “PM0001”, first, the communication unit 121 first sets the URL “file: /// tn / pm0001. jpg ". Next, the communication unit 121 obtains thumbnail data by accessing “file: //tn/pm0001.jpg”.
  • the URL indicated by the template thumbnail 337 may indicate an external server other than the editing server 101.
  • the communication unit 121 may perform user authentication using the user ID and password before acquiring the thumbnail data of the external server through the content material acquisition unit 133. Further, the communication unit 121 may use encryption for communication between the editing server and the external server in order to protect the template data.
  • the communication unit 121 sets “4” in the template thumbnail number 404 and four sets of the template ID and the template thumbnail data in order in the template thumbnail 405.
  • the communication unit 121 transmits the generated template thumbnail response message 401 to the terminal 102.
  • Step S305 the user selects a template used for template editing.
  • the terminal 102 Upon receiving the template thumbnail response message 401, the terminal 102 displays a template editing screen shown in FIG. The terminal 102 outputs the screen through the output unit 209. The terminal 102 displays the template thumbnail data included in the received template thumbnail response message 401 as a template thumbnail on the template editing screen.
  • the user selects a template to be created from the template editing screen shown in FIG. A template is selected through the input unit 205.
  • the user presses the enter button.
  • Step S306 the terminal 102 makes a request for the representative scene of the template to the editing server 101 for the template selected in step S305.
  • the template representative scene is an image representing each scene constituting the template.
  • the user edits the entire template by editing each representative scene.
  • the template editing application transmits a template representative scene request message to the editing server 101 through the communication unit 201.
  • FIG. 22 is a diagram showing message data included in the template representative scene request message 411.
  • the template representative scene request message 411 includes a message identifier 412, a version 413, and a template ID 414 as message data.
  • the message identifier 412 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 413 is message data for identifying the version number of the message.
  • the template ID 414 is a template ID corresponding to the template selected by the user in step S305.
  • the template editing application In generating the template representative scene request message 411, the template editing application sets “0005” indicating the template representative scene request message, “0100” indicating the initial version, “0100” indicating the initial version, and the template ID 414 to the user ID. Sets the selected template ID. This template ID is assumed to be “PM0001” in the present embodiment. Thereafter, the template editing application transmits the generated template representative scene request message 411 to the editing server 101 via the communication unit 201.
  • Step S307 the editing server 101 transmits the requested template representative scene to the terminal 102.
  • the communication unit 121 of the editing server 101 Upon receiving the template representative scene request message 411, the communication unit 121 of the editing server 101 extracts the value of the template ID 414 of the received template representative scene request message 411.
  • the communication unit 121 acquires template material data corresponding to the extracted template ID. Specifically, first, the communication unit 121 searches the material table ID 336 corresponding to the template ID 332 from the template table 331 stored in the template information storage unit 130. In the present embodiment, the material table ID “3628” corresponding to the template ID “PM0001” included in the template representative scene request message 411 is searched. Further, the communication unit 121 searches the material data 345 corresponding to the searched material table ID 342 from the material table 341 stored in the template information storage unit 130. In the present embodiment, the decoration data “file: /decorations/cake001.jpg”, “file: //decorations/cake001.jpg”, and BGM “file:” are material data corresponding to the material table ID “3628”. //BGMs/birthday.mp3 "and the media control script" file: //scripts/happy.js "are retrieved.
  • the communication unit 121 acquires the retrieved material data from the script storage unit 131 and the media data storage unit 132, and executes the media control script in the script execution unit 128.
  • the script execution unit 128 executes the media control script and generates a template representative scene. Specifically, the following processing is performed.
  • the script execution unit 128 executes a media control script.
  • the script execution unit 128 obtains the time code at the time of drawing (relative time from the beginning at the time of template reproduction), and the material corresponding to the decoration image Write ID and frame.
  • the script execution unit 128 When executing a decoration image file drawing command described in the media control script, the script execution unit 128 encodes a template as a drawing content into a JPEG image and writes the encoding result as a template representative scene file. At that time, the script execution unit 128 stores the template ID, the material ID, and the time code as file information in the database of the editing server.
  • the template representative scene is generated every time the media control script draws a decoration image. Note that the template representative scene, material ID, and time code storage method are not necessarily limited to this method.
  • the editing server 101 may store the template representative scene once generated and use it for a response to a template representative scene request message specifying the same template from the next time. This increases the responsiveness of the editing server 101.
  • the editing server 101 may generate a template representative scene in advance when a template is registered in the editing server 101.
  • FIG. 23 is a diagram showing message data included in the template representative scene response message 421.
  • the template representative scene response message 421 includes a message identifier 422, a version 423, a template representative scene number 424, and a template representative scene 425 as message data.
  • the message identifier 422 is message data for identifying a message transmitted and received by the terminal 102 and the editing server 101.
  • Version 423 is message data for identifying the version number of the message.
  • the template representative scene number 424 is the number of template representative scenes included in the template representative scene 425.
  • the template representative scene 425 includes a time code and template representative scene data, and is continuously stored for the number of template representative scenes 424.
  • the communication unit 121 performs the following processing when generating the template representative scene response message 421.
  • the communication unit 121 sets “0006” representing the template representative scene response message to the message identifier 422, and “0100” representing the initial version to the version 423.
  • the communication unit 121 sets the number of generated template representative scenes to the number of template representative scenes 424. Further, the communication unit 121 sets the generated template representative scene data, its time code, and material ID in the template representative scene 425. Thereafter, the communication unit 121 transmits the generated template representative scene response message 421 to the terminal 102.
  • Step S308 the user selects a scene to be edited with respect to the template selected in step S305.
  • FIG. 24 is a diagram showing an example of a template editing screen.
  • the template editing screen 431 includes a scene display area 432, a material display area 433, a slide bar 434 for selecting a representative scene in the template, a play button 435, a BGM change button 436, and an end button 437. .
  • the representative scene in the template selected by the user in step S305 and the template after editing are displayed.
  • the material display area 433 materials that can be edited in the scene displayed in the scene display area 432 are displayed.
  • FIG. 25 is a diagram showing the relationship between the time code specified by the slide bar 434 and the template scene.
  • a representative scene 441 is a time-series representative scene constituting a template. The position of the slide bar 434 and the template representative scene 441 are associated with each other, and the template representative scene 441 corresponding to the time code specified by the slide bar 434 is displayed in the scene display area 432.
  • the time code between “time code # 1” and “time code # 2” is “representative template # 1”, and between “time code # 2” and “time code # 3”.
  • the time code corresponds to “representative template # 2”
  • the time code after “time code # 3” corresponds to “representative template # 3”.
  • the template editing application When receiving the template representative scene response message 421 via the communication unit 201, the template editing application displays the template representative scene included in the received template representative scene response message 421 in the scene display area 432.
  • the template editing application specifies a template representative scene corresponding to the position of the slide bar 434 using a time code corresponding to the template representative scene, and displays the specified template representative scene in the scene display area 432.
  • the user operates the slide bar 434 to select a representative scene to be edited.
  • Step S309 the terminal 102 requests the editing server 101 to obtain a decoration image that can be replaced with the representative scene of the template.
  • FIG. 26 is a diagram showing message data included in the decoration image request message 451.
  • the decoration image request message 451 includes a message identifier 452, a version 453, and a template ID 454 as message data.
  • the message identifier 452 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 453 is message data for identifying the version number of the message.
  • the template ID 454 is a template ID corresponding to the template selected by the user in step S305.
  • the template editing application selects “0007” representing the decoration image request message, “453” representing the decoration image request message, “0100” representing the initial version, and the template ID 454 as the template ID 454. Set the template ID. In the present embodiment, this template ID is assumed to be “PM0001”. Thereafter, the template editing application transmits the generated decoration image request message 451 to the editing server 101 via the communication unit 201.
  • Step S310 the editing server 101 transmits the requested decoration image to the terminal 102.
  • the communication unit 121 of the editing server 101 receives the decoration image request message 451
  • the communication unit 121 searches for and acquires a decoration image stored in the media data storage unit 132.
  • the communication unit 121 uses the template ID included in the decoration image request message 451 to search for and obtain a decoration image that can be used with the template selected by the user. To do.
  • FIG. 27 is a diagram showing message data included in the decoration image response message 461.
  • the decoration image response message 461 includes a message identifier 462, a version 463, a decoration image number 464, and a decoration image 465 as message data.
  • the message identifier 462 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 463 is message data for identifying the version number of the message.
  • the number of decoration images 464 is the number of template representative scenes included in the decoration image 465.
  • the decoration image 465 includes a material ID and decoration image data, and is continuously stored by the number of decoration images 464.
  • the communication unit 121 performs the following processing when generating the decoration image response message 461.
  • the communication unit 121 sets “0008” representing the decoration image response message in the message identifier 462, “0100” representing the initial version, and “0100” representing the initial version, respectively.
  • the communication unit 121 sets the number of decoration images retrieved and acquired from the media data storage unit 132 as the number of decoration images 464. Further, the communication unit 121 sets the material ID and the decoration image data of the decoration image retrieved and acquired from the media data storage unit 132 in the decoration image 465. Thereafter, the communication unit 121 transmits the generated decoration image response message 461 to the terminal 102.
  • Step S311 the terminal 102 displays the decoration image acquired from the editing server 101.
  • the user selects a decoration to be replaced from the displayed decoration images.
  • the template editing application When the template editing application receives the decoration image response message 461 via the communication unit 201, the template editing application displays the decoration image included in the received decoration image response message 461 in the material display area 433.
  • FIG. 28 is a diagram showing an example of a template editing screen in which a decoration image is displayed in the material display area 433.
  • the user selects a decoration to be replaced from the decoration images displayed in the material display area 433.
  • the template editing application stores the material ID of the selected decoration image. This material ID is called a replacement material ID.
  • Step S312 the terminal 102 requests the editing server 101 to replace the decoration image of the template representative scene selected in step S308 with the decoration image selected in step S311.
  • the template editing application transmits a decoration image replacement request message to the editing server 101 through the communication unit 201.
  • FIG. 29 is a diagram showing message data included in the decoration image replacement request message 471.
  • the decoration image replacement request message 471 includes message identifier 472, version 473, template ID 474, time code 475, material ID 476, and replacement material ID 477 as message data.
  • the message identifier 472 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101. Version 473 is message data for identifying the version number of the message.
  • the template ID 474 is a template ID corresponding to the template selected by the user in step S305.
  • the time code 475 is a time code corresponding to the template representative scene selected by the user as an editing target in step S308.
  • the material ID 476 is a material ID of the decoration image selected as a replacement target by the user in step S311.
  • the replacement material ID 477 is a replacement material ID corresponding to the decoration image selected by the user in step S311.
  • the template editing application When generating the decoration image replacement request message 471, the template editing application sets “0009” indicating the decoration image replacement request message to the message identifier 472, “0100” indicating the initial version, “0100” to the template ID 474, and the user ID Sets the template ID of the selected template. In the present embodiment, this template ID is assumed to be “PM0001”. Further, the template editing application sets a time code corresponding to the template representative scene selected as the editing target by the user in step S308 in the time code 475. The template editing application sets, in the material ID 476, the material ID of the decoration image selected by the user as a replacement target in step S311. The template editing application sets a replacement material ID corresponding to the decoration image selected by the user in step S311 in the replacement material ID 477. Thereafter, the template editing application transmits the generated decoration image replacement request message 471 to the editing server 101 via the communication unit 201.
  • Step S313 the editing server 101 replaces the decoration image.
  • the communication unit 121 of the editing server 101 searches for and replaces the media data stored in the media data storage unit 132 using the replacement material ID included in the received message.
  • the URL that is the material ID of the decoration image is acquired. For example, when the replacement material ID is “PM2011”, the material data URL “file: //declarations/star002.jpg” is acquired. This material data URL is called a replacement target material data URL.
  • the communication unit 121 uses the template ID and the material ID included in the received message and searches the template table 331 and the material table 341 stored in the template information storage unit 130 to become a replacement target.
  • the material data URL of the decoration image is acquired. For example, when the template ID is “PM0001” and the material ID is “PM2002”, the communication unit 121 obtains the material data URL “file: //decations/cake002.jpg” of the decoration image. This material data URL is called a replacement material data URL.
  • the communication unit 121 overwrites the replacement target material data URL with the content of the replacement material data URL. Thereby, the replacement of the decoration data is realized.
  • FIG. 30A is a diagram showing message data included in the decoration image replacement response message 481.
  • the decoration image replacement response message 481 includes a message identifier 482, a version 483, and a status 484 as message data.
  • the message identifier 482 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 483 is message data for identifying the version number of the message.
  • the status 484 is message data for notifying the decoration image replacement result.
  • the communication unit 121 In generating the decoration image replacement response message 481, the communication unit 121 succeeds in the message identifier 482 with “0010” indicating the decoration image replacement response message, version 483, “0100” indicating the initial version, and status 484. “0000” representing each is set. Thereafter, the communication unit 121 transmits the generated decoration image replacement response message 481 to the terminal 102.
  • Step S314 the terminal 102 requests the editing server 101 for template data in order to reproduce the edited template.
  • FIG. 30B is a diagram showing message data included in the template data request message 491.
  • the template data request message 491 includes a message identifier 492, a version 493, and a template ID 494 as message data.
  • the message identifier 492 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 493 is message data for identifying the version number of the message.
  • the template ID 494 is a template ID of a template to be reproduced.
  • the template editing application When the template editing application generates the template data request message 491, the message identifier 492 is “000a” indicating the template data request message, the version 493 is “0100” indicating the initial version, the template ID 494 is the playback target. A template ID is set. In the present embodiment, this template ID is assumed to be “PM0001”. Thereafter, the template editing application transmits the generated template data request message 491 to the editing server 101 via the communication unit 201.
  • Step S315) the editing server 101 identifies the reproduction target template requested from the terminal 102.
  • the communication unit 121 of the editing server 101 When receiving the template data request message 491, the communication unit 121 of the editing server 101 extracts the value of the template ID 494 included in the template data request message 491.
  • Step S316 the editing server 101 determines the security level of the terminal that requested the template data.
  • the security level determination unit 124 of the editing server 101 determines the security level from the value of the security level 377 included in the template editing request message 371 received in step S302. Specifically, the security level determination unit 124 determines that the security level of the terminal is low when the security level value is 5 or less. The security level determination unit 124 determines that the security level of the terminal is high when the security level value is 6 or more.
  • Step S31-7 the editing server 101 determines the script processing capability of the terminal that requested the template data.
  • the processing capability determination unit 123 of the editing server 101 determines whether the value of the script processing capability information 376 included in the template editing request message 371 received in step S302 is “0”. When this value is “0”, the processing capability determination unit 123 determines that the terminal does not have a script execution unit, in other words, a terminal (terminal 103) that does not have a media control script execution environment. When this value is other than “0”, the processing capability determination unit 123 is a terminal in which the terminal has a script execution unit, in other words, a terminal having a media control script execution environment, and its capability level. Is the value of the script processing capability information 376.
  • Step S318) the editing server 101 determines the content format of the template data to be created from the security level and script processing capability of the terminal that requested the template data.
  • FIG. 31A is a flowchart of processing for determining the content format.
  • the format determination unit 122 of the editing server 101 determines whether the terminal has a script execution environment (S121). Further, the format determining unit 122 determines whether or not the terminal security level is higher than the first threshold (S122).
  • the format determining unit 122 determines to generate complete package type template data (S124). ). On the other hand, if the terminal has a script execution function and the security level of the terminal is high (Yes in S121 and Yes in S122), the format determining unit 122 determines to generate material package type template data (S123). ).
  • the format determination unit 122 may further determine whether to transmit the complete package template by the download distribution method or the streaming distribution method according to the security level. For example, as shown in FIG. 31B, when the security level of the terminal is lower than the first threshold (No in S122), or when the terminal does not have a script execution environment (No in S121), the format determining unit 122 It is determined whether the security level of the terminal is higher than the second threshold (S124A). Here, the second threshold is lower than the first threshold.
  • the format determining unit 122 determines to transmit the complete package using the download distribution method (S124B).
  • the format determining unit 122 determines to transmit the complete package using the streaming distribution method (S124C).
  • Step S319) If the material package type is selected in step S318 (material package in S319), the process proceeds to step S320. If the complete package type is selected in step S318 (complete package in S319), the process proceeds to step S321.
  • Step S320 the editing server 101 generates material package type template data.
  • the editing server 101 changes the template data to be generated according to the processing capability of the terminal. Specific examples will be described below.
  • the material package generation unit 125 of the editing server 101 uses the template ID identified in step S315 to search the template table 331 stored in the template information storage unit 130, thereby obtaining a material table ID corresponding to the template ID. get.
  • the material package generation unit 125 searches for the material table 341 stored in the template information storage unit 130 using the searched and acquired material table ID, thereby obtaining the material data and material ID included in the template. Get all.
  • the material package generation unit 125 reconfigures the media control script included in the material data according to the script processing capability of the terminal determined in step S317.
  • the material package generation unit 125 archives the acquired material data and generates template data.
  • the material package generation unit 125 of the editing server 101 first acquires the material table ID “3628” by searching the template table 331 using the template ID “PM0001”.
  • the material package generation unit 125 searches the material table 341 by using the retrieved and acquired material table ID “3628”, whereby the image data “cake001.jpg” included in the template and the material ID “ PM2001 “,” star002.jpg “, its material ID” PM2003 “, BGM data” birthday.mp3 “, its material ID” PM4001 “, its media processing script” happy.js ", and its material ID” S0001 "is acquired.
  • the script generation unit 112 of the editing server 101 reconfigures the media control script “happy.js” included in the material data according to the script processing capability of the terminal determined in step S315.
  • FIG. 32 is a diagram schematically showing a media control script.
  • the media control script includes an initial value setting unit 501, a drawing processing unit 502, and a BGM reproduction processing unit 503.
  • the initial value setting unit 501 sets an execution interval at which the drawing processing unit 502 is executed.
  • the drawing processing unit 502 performs moving display of image data.
  • the BGM playback processing unit 503 plays back BGM.
  • the script generation unit 112 When the script processing capability is high, the script generation unit 112 reconfigures the initial value setting unit 501 to perform a smooth operation effect by shortening the execution interval. On the other hand, when the script processing capability is low, the script generation unit 112 reconfigures the initial value setting unit 501 so as to suppress the operation effect by increasing the execution interval. Here, the script generation unit 112 reconfigures the media control script by changing the setting of the initial value setting unit 501. However, any processing can be performed as long as the same effect is obtained. May be. For example, the script generation unit 112 may replace a part or all of the drawing processing unit 502 in accordance with the script processing capability. Further, the script generation unit 112 may delete a part or all of the drawing processing unit 502 according to the script processing capability.
  • the material package generation unit 125 of the editing server 101 generates an archive ID unique to the archive. After that, the material package generation unit 125 archives the acquired image data and BGM data and the reconfigured media control script in the format shown in FIG.
  • FIG. 33 is a diagram showing data included in the material data archive 511 created according to the archive format of the material data.
  • the material data archive 511 includes an archive type 512, an archive ID 513, an archive file name 514, an archive size 515, a number of materials 516, a material type 517, a material ID 518, a material file name 519, a material size 520, and material data 521.
  • Archive type 512 is data for identifying the type of archive, and indicates an archive method.
  • the MIME format is used for the archive type 512, but another format may be used.
  • the archive ID 513 is an identifier for identifying the archive.
  • the archive ID 513 designates the generated archive ID.
  • the archive file name 514 is a file name of the material data archive.
  • Archive size 515 is the number of bytes of material data archive.
  • the number of materials 516 is the number of materials included in the material data archive.
  • the material type 517 is data for identifying the material type.
  • the MIME format is used for the material type 517, but another format may be used.
  • Material ID 518 is an identifier for identifying the material.
  • the material ID 518 designates a material ID.
  • the material file name 519 is a file name of material data.
  • the material size 520 is the number of bytes of the material data archive.
  • the material data 521 is material data.
  • the following protection processing is performed on the archive ID 513 and the material ID 518 by the material information protection unit 129.
  • the material information protection unit 129 calculates a hash value for each ID, combines the calculated hash value with the material ID, and encrypts the combined data with an encryption key held by the material information protection unit 129. .
  • An example of the material information protection processing is shown in FIG.
  • Step S321 the editing server 101 generates complete package type template data.
  • the complete package generation unit 126 of the editing server 101 uses the template ID identified in step S315 to search the template table 331 stored in the template information storage unit 130, thereby obtaining a material table ID corresponding to the template ID. get.
  • the complete package generation unit 126 searches the material table 341 stored in the template information storage unit 130 by using the searched and acquired material table ID, thereby obtaining the material data and material ID included in the template. Get all.
  • the script execution unit 128 of the editing server 101 executes the media control script in the material data included in the template.
  • the media control script executed by the script execution unit 128 reproduces the template content using the image data and BGM data in the material data.
  • the complete package generation unit 126 generates template data in a complete package format by capturing the reproduced template content.
  • the material information embedding unit 127 of the editing server 101 generates an archive ID. Thereafter, the material ID of the material data included in the template and the archive ID are protected, and the protected ID is embedded in the template data in the complete package format. The material ID and archive ID are protected by the material information protection unit 129 of the editing server 101.
  • the complete package generation unit 126 of the editing server 101 acquires the material table ID “3628” by searching the template table 331 using the template ID “PM0001”.
  • the complete package generation unit 126 uses the retrieved and acquired material table ID “3628” to retrieve the material table 341, whereby the image data “cake001.jpg” included in the template and the material ID “ PM2001 “,” star002.jpg “, its material ID” PM2003 “, BGM data” birthday.mp3 “, its material ID” PM4001 “, its media processing script” happy.js ", and its material ID” S0001 "is acquired.
  • the script execution unit 128 of the editing server 101 executes the media control script “happy.js”.
  • the complete package generation unit 126 captures the reproduced template content and generates complete package format template data.
  • the complete package generation unit 126 captures content by reading the data written in the playback frame buffer of the editing server 101.
  • the material information protection unit 129 of the editing server 101 calculates a hash value for the archive ID and each material ID of the material data included in the template, and combines the calculated hash value with the material ID.
  • the encrypted data is encrypted with the encryption key held by the material information protection unit 129.
  • An example of the material information protection processing is shown in FIG.
  • the material information embedding unit 127 of the editing server 101 embeds the encrypted ID data subjected to the protection process in template data in the complete package format.
  • FIG. 35 is a diagram showing the generated complete package format template data.
  • the template data is divided into a management information part 531 and a data part 532, and various data are held in the data part 532.
  • the material information description part 534 in the object description part 533 of the data part 532 includes encrypted ID data.
  • Step S322 the editing server 101 transmits template data to the terminal 102.
  • the format of the template data transmitted to the terminal 102 is determined in step S319.
  • the communication unit 121 of the editing server 101 transmits a template data response message including the template data generated in step S320 or step S321 to the terminal 102.
  • FIG. 36 is a diagram showing message data included in the template data response message 541.
  • the template data response message 541 includes a message identifier 542, a version 543, a template data format identifier 544, and template data 545 as message data.
  • the message identifier 542 is message data for identifying a message transmitted and received by the terminal 102 and the editing server 101.
  • Version 543 is message data for identifying the version number of the message.
  • the template data format identifier 544 is an identifier for identifying whether the template data included in the message is a material package format or a complete package format.
  • Template data 545 is template data.
  • the communication unit 121 performs the following processing when generating the template data response message 541.
  • the communication unit 121 sets “000B” representing the template data response message, “0100” representing the initial version, and “0100” representing the initial version in the message identifier 542, respectively.
  • step S319 If it is determined in step S319 that template data in the material package format is to be generated, the communication unit 121 sets “0001” representing the material package format in the template data format identifier 544. If it is determined in step S319 that template data in the complete package format is to be generated, the communication unit 121 sets “0002” representing the complete package format in the template data format identifier 544.
  • the communication unit 121 sets the template data generated in step S320 or step S321 in the template data 545.
  • the communication unit 121 transmits the generated template data response message 541 to the terminal 102.
  • the communication unit 121 transmits the complete package in the download type or streaming type according to the determination result. .
  • Step S323 the terminal 102 reproduces the template data acquired from the editing server 101.
  • the template editing application of the terminal 102 receives the template data response message 541 via the communication unit 201, the template editing application extracts template data from the received template data response message 541.
  • the extracted template data is a material data archive in a material package format.
  • the template editing application develops the extracted material data archive in the content format analysis unit 206.
  • the template editing application executes the media control script in the expanded material data in the script execution unit 207.
  • the executed script is reproduced by the media reproducing unit 208 together with other material data.
  • the template editing application displays the reproduced template data in the scene display area 432 included in the template editing screen 431 through the output unit 209.
  • the template editing application of the terminal 103 receives the template data response message 541 via the communication unit 201, the template editing application extracts template data from the received template data response message 541.
  • the extracted template data is template data in a complete package format.
  • the template editing application develops the extracted complete package format in the content format analysis unit 206.
  • the template editing application decodes the video stream and the audio stream in the media playback unit 208.
  • the template editing application displays the reproduced stream in the scene display area 432 included in the template editing screen 431 through the output unit 209.
  • step S311 The user confirms the reproduced template data, and when the template is re-edited, the processing is repeated from step S311.
  • the editing process by replacing the decoration image has been described.
  • the BGM and the reproduction effect can be edited by performing the same process.
  • the editing server 101 may perform message communication after authenticating the terminal 102 and the terminal 103. Thereby, it is possible to prevent the template data from being transmitted to an unintended terminal. Further, the communication path between the editing server 101 and the terminals 102 and 103 may be encrypted. Thereby, it is possible to prevent the interception of the template data due to the wiretapping of the communication path.
  • step S307 the editing server 101 generates a template representative scene and transmits the generated template representative scene to the terminal 102.
  • the template representative scene may be generated by the terminal 102.
  • the editing server 101 determines the security level and script processing capability of the terminal by performing the same processing as in steps S314 to S315. As a result, when the security level of the terminal is high and the terminal has a script processing execution unit, the editing server 101 acquires the material data of the template corresponding to the template ID. Then, the editing server 101 creates a material package type template by performing the same processing as in step S ⁇ b> 317, and transmits the created template to the terminal 102.
  • the terminal 102 performs the same processing as in step S321 to reproduce the material package template and generate a template representative scene.
  • the editing server 101 generates a complete package template by performing the same processing as in step S319 and transmits the template to the terminal 102 or the terminal 103.
  • the terminal 102 or the terminal 103 generates a template representative scene by reproducing the complete package template by performing the same processing as in step S321. Thereby, the processing load of the editing server 101 can be reduced.
  • the editing server 101 transmits a decoration image that can be replaced with the template representative scene to the template editing application.
  • the decoration server 101 may transmit the decoration image together with the representative scene. Thereby, the frequency
  • step S313 the decoration image can be added and deleted by performing the same process.
  • step S316 the editing server 101 determines the security level of the terminal from the security level value, but may determine it from the terminal type.
  • step S317 the editing server 101 determines the script processing capability of the terminal from the value of the script processing capability information, but may determine it from the terminal type.
  • step S319 when the script processing capability of the terminal 102 is low, the editing server 101 may determine the content format of the template data to be created as a complete package type. As a result, the degree of freedom of re-editing is reduced, but the display effect can be improved.
  • step S320 and step S321 the editing server 101 generates complete package type and material package type template data, respectively.
  • template data of all patterns may be generated in advance. Thereby, the processing load at the time of execution of the edit server 101 can be reduced.
  • FIGS. 37A and 37B are flowcharts showing the flow of content editing processing.
  • the content editing process will be described with reference to FIGS. 37A and 37B. It is assumed that user authentication using a user ID and password is performed before the content editing process is started.
  • Step S401 the terminal 102 makes a content editing request to the editing server 101.
  • FIG. 38 is a diagram showing message data included in the content editing request message 551.
  • the content editing request message 551 includes a message identifier 552, version 553, user ID 554, script execution unit version 555, script processing capability information 556, and security level 557 as message data.
  • Each content is the same as the template editing request message shown in FIG.
  • control unit 210 sets “0101” representing the content editing request message, “0100” representing the initial version, “0100” representing the initial version, the user ID 554, and the user ID “552” to the message identifier 552.
  • KM "is set for each.
  • control unit 210 sets the value of the version information 302 stored in the processing capability storage unit 202 in the script execution unit version 555 and the script processing stored in the processing capability storage unit 202 in the script processing capability information 556.
  • Each value of the capability information 303 is set.
  • the control unit 210 sets an invalid value “0” in the script execution unit version 555 and the script processing capability information 556.
  • control unit 210 sets the value stored in the security information storage unit 204 to the security level 557.
  • control unit 210 transmits the generated content editing request message 551 to the editing server 101 through the communication unit 201.
  • Step S402 the editing server 101 makes a content editing response.
  • FIG. 39 is a diagram showing message data included in the content editing response message 581.
  • the content editing response message 581 includes a message identifier 582, a version 583, and a content editing application 584 as message data.
  • the message identifier 582 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 583 is message data for identifying the version number of the message.
  • the content editing application 584 is a content editing application program executed on the terminal 102. The content editing application 584 may operate directly on the terminal 102 or may operate on the browser of the terminal 102.
  • the communication unit 121 edits the message identifier 582 with “0102” indicating the content editing response message, version 583, “0100” indicating the initial version, and content editing application 584.
  • a content editing application stored in an application storage unit (not shown) provided in the server 101 is set. Thereafter, the communication unit 121 transmits the generated content editing response message to the terminal 102.
  • Step S403 the terminal 102 executes a content editing application.
  • the content editing application operates directly on the terminal 102 or operates on the browser of the terminal 102, and outputs a content editing screen through the output unit 209.
  • Content editing is a function for creating multimedia content by embedding content such as user photos and movies based on templates prepared in advance or templates created by the user.
  • the content editing application When the content editing application is executed by the terminal 102, it transmits a template thumbnail request message to the editing server 101 via the communication unit 201. Since the same template thumbnail request message as that shown in step S303 is used, the description thereof is omitted.
  • Step S404 the editing server 101 transmits the requested template thumbnail to the terminal 102.
  • the same processing as that in step S304 is performed.
  • Step S405 the user selects a template used for content editing.
  • the terminal 102 Upon receiving the template thumbnail response message, the terminal 102 displays a content editing screen 591 shown in FIG. The terminal 102 outputs the screen through the output unit 209. The terminal 102 displays the template thumbnail data included in the received template thumbnail response message on the content editing screen 591 as a template thumbnail.
  • the content editing screen 591 includes a scene display area 592, a material display area 593, a slide bar 594, a play button 595, a BGM change button 596, an enter button 597, and an end button 598.
  • the user selects a template to be created from the content editing screen 591 shown in FIG. A template is selected through the input unit 205.
  • the user presses the enter button 597.
  • Step S406 the terminal 102 requests template data from the editing server 101 for the template selected in step S405.
  • the content editing application transmits a template data request message in order to acquire template data from the editing server 101. Since the template data request message is the same as that shown in step S314, description thereof is omitted.
  • Step S407 the editing server 101 identifies the reproduction target template requested from the terminal 102. In this step, the same processing as step S315 is performed.
  • Step S408 The security level determination unit 124 of the editing server 101 determines the security level from the value of the security level 557 of the content editing request message 551 received in step S402. Specifically, the security level determination unit 124 determines that the security level of the terminal is low when the security level value is 5 or less.
  • the security level determination unit 124 determines that the security level of the terminal is high.
  • Step S409 the editing server 101 determines the script processing capability of the terminal that requested the template data.
  • the processing capability determination unit 123 of the editing server 101 determines whether the value of the script processing capability information 556 of the template editing request message 551 received in step S402 is “0”. When this value is “0”, the processing capability determination unit 123 determines that the terminal does not have a script execution unit, in other words, a terminal (terminal 103) that does not have a media control script execution environment. When this value is other than “0”, the processing capability determination unit 123 is a terminal in which the terminal has a script execution unit, in other words, a terminal having a media control script execution environment, and its capability level. Is the value of the script processing capability information 556.
  • Step S410 the editing server 101 determines the content format of the template to be created from the security level and script processing capability of the terminal that requested the template data. In this step, the same processing as that in step S318 is performed.
  • Step S411) If the material package type is selected in step S410 (raw material package in S411), the process proceeds to step S412. If the complete package type is selected in step S410 (complete package in S411), the process proceeds to step S413.
  • Step S412 the editing server 101 generates material package type template data.
  • the same processing as in step S320 is performed.
  • Step S413 the editing server 101 generates complete package type template data. In this step, the same processing as that in step S321 is performed.
  • Step S414 the editing server 101 transmits template data to the terminal 102.
  • the format of the template data transmitted to the terminal 102 is determined in step S411.
  • the communication unit 121 of the editing server 101 transmits a template data response message including the template data generated in step S412 or step S413 to the terminal 102. Since the template data response message is the same as that shown in step S322, description thereof is omitted.
  • Step S415) the terminal 102 reproduces the template data acquired from the editing server 101.
  • the same processing as that in step S323 is performed.
  • the reproduced template data is displayed in a content reproduction area 592 included in the content editing screen 591.
  • the user confirms the reproduced template data and presses the enter button 597. If another template is used, the process is repeated from step S403. When the content editing is interrupted, the user presses an end button 598 to return the display screen to the multimedia content editing process selection screen.
  • Step S416 the terminal 102 displays a thumbnail image of a photograph held by the user. The user selects a photo to be embedded in the template from among the thumbnail images of the displayed photos.
  • the content editing application displays thumbnail images of the photos held in the terminal 102 in the material display area 593.
  • FIG. 41 is a diagram showing an example of a content editing screen 591 in which thumbnail images of photographs are displayed in the material display area 593.
  • the user selects a photo to be embedded in the template from the thumbnail images of the photos displayed in the material display area 593. You can select up to a predetermined number of photos.
  • Step S417) the terminal 102 requests the editing server 101 for multimedia content in which the photo selected in step S416 is embedded in the template determined in step S415.
  • FIG. 42 is a diagram showing message data included in the multimedia content request message 601.
  • the multimedia content request message 601 includes a message identifier 602, a version 603, a template ID 604, a number of photos 605, and a photo 606 as message data.
  • the message identifier 602 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 603 is message data for identifying the version number of the message.
  • the template ID 604 is a template ID corresponding to the template determined by the user in step S416.
  • the number of photos 605 is the number of photos to be embedded.
  • the photo 606 includes a photo file name that is a file name of photo data and photo data that is embedded photo data. The number of photos 606 is stored in succession as specified by the number of photos 605.
  • the message identifier 602 includes “0103” representing the multimedia content request message, version 603, “0100” representing the initial version, and the template ID 604.
  • the template ID of the template determined by is set. In the present embodiment, this template ID is assumed to be “PM0001”.
  • the number of photos 605 is the number of photos to be embedded. In the present embodiment, it is assumed that the number of photographs is “20”.
  • the photo 606 includes 20 pieces of photo data selected by the user in step S416. Thereafter, the content editing application transmits a multimedia content request message 601 to the editing server 101 via the communication unit 201.
  • Step S4128 the editing server 101 identifies a template for content editing requested from the terminal 102.
  • the communication unit 121 of the editing server 101 When the communication unit 121 of the editing server 101 receives the multimedia content request message 601, it extracts the value of the template ID 604 of the multimedia content request message 601.
  • Step S419) the editing server 101 determines the content format of the multimedia content data to be created from the security level and script processing capability of the terminal that requested the multimedia content.
  • the format determination unit 122 of the editing server 101 determines the complete package type multimedia content. Generate data. In other cases, the format determination unit 122 generates material package type multimedia content data.
  • step S420 If the material package type is selected (the material package in S419), the process proceeds to step S420. If the complete package type is selected (the complete package in S419), the process proceeds to step S421.
  • Step S420 the editing server 101 generates material package type multimedia content data.
  • the material package generation unit 125 acquires all the material data and material ID included in the template corresponding to the template ID identified in step S418. Thereafter, the material package generation unit 125 reconfigures the media control script included in the material data according to the script processing capability of the terminal determined in step S409. Acquisition of material data and reconfiguration of the media control script are performed by the method shown in step S320.
  • the photo data received in step S418 is embedded by embedding the photo file name received in step S418 in the photo file name referenced from the media control script.
  • the material package generation unit 125 archives the acquired image data and BGM data, the reconfigured media control script, and the photo data included in the multimedia content request message 601 in the format shown in FIG. .
  • Step S421) the editing server 101 generates complete package type multimedia content data.
  • the complete package generation unit 126 acquires all the material data and material ID included in the template corresponding to the template ID identified in step S418.
  • the script execution unit 128 of the editing server 101 executes the media control script in the material data included in the template.
  • the media control script executed by the script execution unit 128 reproduces the multimedia content by using the image data in the material data, the BGM data, and the photo data included in the multimedia content request message 601.
  • the complete package generation unit 126 generates multimedia content data in a complete package format by capturing the reproduced multimedia content.
  • the material information embedding unit 127 of the editing server 101 generates an archive ID. Thereafter, the archive ID and the material ID of the material data included in the template are protected, and the protected ID is embedded in the multimedia content data in the complete package format. Protection of the archive ID and material ID is performed by the material information protection unit 129 of the editing server 101.
  • Step S422 the editing server 101 transmits multimedia content data to the terminal 102.
  • the format of the multimedia content data transmitted to the terminal 102 is determined in step S411.
  • the communication unit 121 of the editing server 101 transmits a multimedia content response message including the multimedia content data generated in step S420 or step S421 to the terminal 102.
  • FIG. 43 is a diagram showing message data included in the multimedia content response message 611.
  • the multimedia content response message 611 includes a message identifier 612, a version 613, a multimedia content data format identifier 614, and multimedia content data 615 as message data.
  • the message identifier 612 is message data for identifying a message transmitted / received between the terminal 102 and the editing server 101.
  • Version 613 is message data for identifying the version number of the message.
  • the multimedia content data format identifier 614 is an identifier for identifying whether the multimedia content data included in the message is a material package format or a complete package format.
  • the multimedia content data 615 is multimedia content data.
  • the communication unit 121 performs the following processing when generating the multimedia content response message 611.
  • step S411 If it is determined in step S411 that multimedia content data in the material package format is to be generated, the communication unit 121 sets “0001” representing the material package format in the multimedia content data format identifier 614. If it is determined in step S411 that the multimedia content data in the complete package format is to be generated, the communication unit 121 sets “0002” representing the complete package format in the multimedia content data format identifier 614.
  • the communication unit 121 sets the multimedia content data generated in step S420 or step S421 in the multimedia content data 615.
  • the communication unit 121 transmits the generated multimedia content response message 611 to the terminal 102.
  • Step S423 the terminal 102 plays back the multimedia content data acquired from the editing server 101.
  • the reproduction of the multimedia content data is the same process as step S323. However, the reproduced multimedia content data is displayed in a content reproduction area 592 included in the content editing screen 591.
  • the user confirms the reproduced multimedia content data. Further, when the content is re-edited, the processing is repeated from step S405. When ending content editing, the user presses an end button 598 to return the display screen to the multimedia content editing process selection screen.
  • the editing server 101 may perform message communication after authenticating the terminal 102 and the terminal 103. This can prevent multimedia content data from being transmitted to an unintended terminal. Further, the communication path between the editing server 101 and the terminals 102 and 103 may be encrypted. Thereby, it is possible to prevent the interception of multimedia content data due to wiretapping of the communication path.
  • step S408 the editing server 101 determines the security level of the terminal from the security level value, but may determine it from the terminal type.
  • step S409 the editing server 101 determines the script processing capability of the terminal from the value of the script processing capability information, but may determine it from the terminal type.
  • step S411 and step S419 when the script processing capability of the terminal 102 is low, the format determining unit 122 may determine the content format of the created template data as a complete package type. As a result, the degree of freedom of re-editing is reduced, but the display effect can be improved.
  • step S416 the terminal 102 transmits the photograph held by the terminal 102 to the editing server 101.
  • the terminal 102 has a digital still camera, a digital movie camera, a mobile phone, etc. You may transmit the photograph hold
  • the terminal 102 may transmit a photograph held in the network service used by the user to the editing server 101.
  • step S417 the terminal 102 transmits the photo to be embedded in the template to the editing server 101.
  • the security level of the terminal 102 is high, only the photo file name may be transmitted and the photo data may not be transmitted. Thereby, communication time is reduced.
  • photo data held by the terminal 102 is used for reproducing the multimedia content data.
  • the present invention can also be applied to a case where a user who edits multimedia contents (editing user) and a user who reproduces multimedia contents (destination user) are different.
  • the terminal 102 may send the script processing capability of the terminal held by the transmission destination user to the editing server 101.
  • the editing server 101 can generate multimedia contents according to the script processing capability of the terminal held by the transmission destination user.
  • the editing server 101 may transmit the generated multimedia content to the transmission destination user after creating the multimedia content for the transmission destination user as described above.
  • step S417 and the subsequent steps are performed from the terminal of the transmission destination user.
  • multimedia content for a destination user may be generated.
  • multimedia contents according to the script processing capability and security level of the terminal owned by the destination user can be generated.
  • steps S414 and S422 when the security level of the terminal is high, the editing server 101 transmits the template using the download type distribution method, and when the terminal security level is low, the editing server 101 uses the streaming type distribution method for templates and multimedia Content may be sent. As a result, it is possible to prevent unauthorized use of the template and the material data constituting the multimedia content in the terminal having a low security level.
  • a user wants to change only a decoration image without changing a photo used in a certain multimedia content, it can be realized by sequentially performing a template editing process and a content editing process.
  • the template editing process that changes the decoration image is performed on the template used in the original multimedia content, and then the content editing that embeds the photo used in the original multimedia content in the edited template Process.
  • various processes can be realized by combining the template editing process and the content editing process.
  • multimedia content is created by designating one template, but a plurality of templates can also be designated. In that case, the specified plurality of templates are combined in the specified order.
  • FIG. 44 is a diagram showing processing when two media control scripts are combined. As shown in FIG. 44, the editing server 101 combines the initial value setting unit, the drawing processing unit, and the BGM playback unit in the designated order. By this process, the scenarios expressed by the two media control scripts can be reproduced in order. Using the templates combined in this way, the editing server 101 generates multimedia content in step S420 or step S421.
  • the editing server 101 uses the template stored in the script storage unit 131 to edit the template and multimedia content.
  • the editing server 101 is stored in the terminal 102. You may use the material package template.
  • the material package template used at this time is not limited to the one stored in the terminal 102 but may be a material package template stored in a terminal other than the terminal 102 or another server.
  • the user registers the template in the editing server 101 by uploading the template stored in the terminal 102 to the editing server 101 in advance.
  • the editing server 101 registers each material constituting the template in the template information storage unit 130, the script storage unit 131, and the media data storage unit 132.
  • the editing server 101 uses both the template stored in the script storage unit 131 and the material package template stored in the terminal 102 and received from the terminal 102 by uploading from the terminal 102 described above. Editing such as combination of the above may be performed.
  • the editing server 101 changes the playback scenario according to the processing capability of the terminal.
  • the format of the multimedia content may be changed according to the processing capability of the terminal. For example, when the terminal has a 3D (stereoscopic) video display function, the editing server 101 generates 3D multimedia content, and when the terminal does not have a 3D video display function. May generate 2D multimedia content.
  • the multimedia content editing system 100 determines or updates the media control script included in the multimedia content or the multimedia content template according to the script processing capability of the playback terminal. Can do.
  • the multimedia content editing system 100 reconfigures the multimedia content or the multimedia content template for a playback device that holds only the media playback function, so that the multimedia content can be reproduced in the playback device. Or an equivalent representation of a multimedia content template.
  • the multimedia content editing system 100 can prevent unauthorized use of materials included in the multimedia content in a playback device with a low security level.
  • the multimedia content editing system 100 has been described based on the embodiments. However, the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system comprised including. A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • system LSI may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention can be realized not only as the editing server 101, the terminal 102, or the terminal 103 including such a characteristic processing unit, but also as a characteristic process included in the editing server 101, the terminal 102, or the terminal 103. It can also be realized as an editing method using a section as a step. It can also be realized as a computer program that causes a computer to execute each characteristic step included in the editing method. And it goes without saying that such a computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc Only Memory) or a communication network such as the Internet. .
  • a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc Only Memory) or a communication network such as the Internet.
  • division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, a single functional block can be divided into a plurality of functions, or some functions can be transferred to other functional blocks. May be.
  • functions of a plurality of functional blocks having similar functions may be processed in parallel or time-division by a single hardware or software.
  • the order in which the steps included in the multimedia content editing method are executed is for illustration in order to specifically describe the present invention, and may be in an order other than the above. Also, some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the multimedia content editing system and the multimedia content editing server according to one or more aspects have been described based on the embodiment.
  • the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
  • the technology described in the above aspect can be realized, for example, in the following types of cloud services.
  • the type in which the technique described in the above embodiment is realized is not limited to this.
  • FIG. 45 shows service type 1 (in-house data center type).
  • This type is a type in which the service provider 4520 obtains information from the group 4500 and provides a service to the user.
  • the service provider 4520 has a function of a data center operating company. That is, the service provider 4520 has a cloud server (data center 4503) that manages big data. Therefore, there is no data center operating company.
  • the service provider 4520 operates and manages the data center 4503 (cloud server).
  • the service provider 4520 manages the OS 4502 and the application 4501.
  • the service provider 4520 provides a service using the OS 4502 and the application 4501 managed by the service provider 4520 (4504).
  • FIG. 46 shows service type 2 (IaaS usage type).
  • IaaS is an abbreviation for infrastructure as a service, and is a cloud service provision model that provides a base for constructing and operating a computer system as a service via the Internet.
  • the data center operating company 4510 operates and manages the data center 4503 (cloud server).
  • the service provider 4520 manages the OS 4502 and the application 4501.
  • the service provider 4520 provides a service using the OS 4502 and the application 4501 managed by the service provider 4520 (4504).
  • FIG. 47 shows service type 3 (PaaS usage type).
  • PaaS is an abbreviation for Platform as a Service
  • PaaS is a cloud service provision model that provides a platform serving as a foundation for constructing and operating software as a service via the Internet.
  • the data center operating company 4510 manages the OS 4502 and operates and manages the data center 4503 (cloud server).
  • the service provider 4520 manages the application 4501.
  • the service provider 4520 provides a service using the OS 4502 managed by the data center operating company 4510 and the application 4501 managed by the service provider 4520 (4504).
  • FIG. 48 shows service type 4 (SaaS usage type).
  • SaaS is an abbreviation for software as a service.
  • SaaS a function that enables applications provided by a platform provider who owns a data center (cloud server) to be used by a company or individual (user) who does not have a data center (cloud server) via a network such as the Internet.
  • This is a cloud service provision model.
  • the data center operating company 4510 manages the application 4501, manages the OS 4502, and operates and manages the data center 4503 (cloud server).
  • the service provider 4520 provides a service using the OS 4502 and the application 4501 managed by the data center operating company 4510 (4504).
  • the service provider 4520 performs a service providing act.
  • the service provider or the data center operating company may develop an OS, an application, a big data database, or the like, or may outsource it to a third party.
  • the present invention is useful for a multimedia content editing system and a multimedia content editing server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

 編集サーバ(101)は、画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ編集サーバであって、端末(102)における前記メディア制御スクリプトの処理能力を表す処理能力情報に応じて、前記メディア制御スクリプトを生成するスクリプト生成部(112)と、前記メディア制御スクリプトを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ生成部(113)とを備える。

Description

マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路
 本発明は、画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ編集サーバに関する。
 近年、デジタルスチルカメラ、デジタルムービーカメラ、及びカメラ機能付き携帯電話が普及し、撮影したデジタル写真又はデジタルムービー(以降、「写真」、「ムービー」という)を撮影機器、テレビ、及びPC(Personal Computer)等の端末装置(以降、「端末」ともいう)で視聴する利用形態が増加している。また、インターネット及び携帯電話の普及に伴い、友人同士で端末に蓄積されている写真及びムービー等のコンテンツを、ネットワークを通じて交換することも行われている。
 撮影された複数の写真及びムービーは、個々に視聴される場合もあるが、フォトムービーという形態での視聴も行われている。フォトムービーとは、マルチメディアコンテンツの一形態であり、撮影された写真又はムービーにBGM(Background Music)及びデコレーション画像を付与し、ムービーのように時系列的に再生するものである。フォトムービーについては、例えば、非特許文献1に記載されている。
 また、特許文献1には、マルチメディアコンテンツを容易に作成できる処理装置が記載されている。特許文献1に記載される処理装置は、テンプレートと、テンプレートに含まれるスクリプトとを利用して、マルチメディアコンテンツの再生、及びユーザによるマルチメディアコンテンツの作成を支援する端末である。
特許第3987025号公報
日経パソコン 2009年7月13日号 特集3フォトムービーを作ろう 日経BP社
 このような、処理装置(マルチメディア編集サーバ)及び端末装置を含むシステムでは、マルチメディアコンテンツを再生する端末装置において、その端末装置の処理性能に応じたマルチメディアコンテンツを再生できることが望まれている。
 そこで、本発明は、端末装置の処理性能に応じたマルチメディアコンテンツを生成できるマルチメディアコンテンツ編集サーバを提供することを目的とする。
 上記目的を達成するために、本発明の一態様に係るマルチメディアコンテンツ編集サーバは、画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ編集サーバであって、端末装置における前記メディア制御スクリプトの処理能力を表す処理能力情報に応じて、前記メディア制御スクリプトを生成するスクリプト生成部と、前記メディア制御スクリプトを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ生成部とを備える。
 なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 本発明は、端末装置の処理性能に応じたマルチメディアコンテンツを生成できるマルチメディアコンテンツ編集サーバを提供できる。
図1Aは、実施の形態に係る編集サーバの概略構成を示すブロック図である。 図1Bは、実施の形態に係るフォトムービーの一例を示す図である。 図2Aは、実施の形態に係るマルチメディアコンテンツ編集処理のフローチャートである。 図2Bは、実施の形態に係るメディア制御スクリプトの生成処理のフローチャートである。 図3は、実施の形態に係るマルチメディアコンテンツ編集システムの構成を示すブロック図である。 図4は、実施の形態に係る端末の構成を示すブロック図である。 図5は、実施の形態に係る端末の構成を示すブロック図である。 図6は、実施の形態に係る処理能力蓄積部に記憶されているデータの一例を示す図である。 図7は、実施の形態に係るコンテンツ情報蓄積部に記憶されているデータの一例を示す図である。 図8は、実施の形態に係る素材テーブルに含まれるデータの一例を示す図である。 図9は、実施の形態に係る編集サーバの構成を示すブロック図である。 図10は、実施の形態に係るテンプレート情報蓄積部に記憶されているデータの一例を示す図である。 図11は、実施の形態に係る素材テーブルに含まれるデータの一例を示す図である。 図12は、実施の形態に係るスクリプト蓄積部に記憶されているデータの一例を示す図である。 図13は、実施の形態に係るメディアデータ蓄積部に記憶されているデータの一例を示す図である。 図14は、実施の形態に係るマルチメディアコンテンツ編集システムの処理の流れを示すフローチャートである。 図15は、実施の形態に係るマルチメディアコンテンツ編集処理選択画面の一例を示す図である。 図16Aは、実施の形態に係るテンプレート編集処理の流れを示すフローチャートである。 図16Bは、実施の形態に係るテンプレート編集処理の流れを示すフローチャートである。 図17は、実施の形態に係るテンプレート編集要求メッセージに含まれるメッセージデータを示す図である。 図18は、実施の形態に係るテンプレート編集応答メッセージに含まれるメッセージデータを示す図である。 図19は、実施の形態に係るテンプレートサムネイル要求メッセージに含まれるメッセージデータを示す図である。 図20は、実施の形態に係るテンプレートサムネイル応答メッセージに含まれるメッセージデータを示す図である。 図21は、実施の形態に係るテンプレート編集画面の一例を示す図である。 図22は、実施の形態に係るテンプレート代表シーン要求メッセージに含まれるメッセージデータを示す図である。 図23は、実施の形態に係るテンプレート代表シーン応答メッセージに含まれるメッセージデータを示す図である。 図24は、実施の形態に係るテンプレート編集画面の一例を示す図である。 図25は、実施の形態に係るテンプレート編集画面のスライドバーのタイムコードとテンプレートのシーンとの関係を示す図である。 図26は、実施の形態に係るデコレーション画像要求メッセージに含まれるメッセージデータを示す図である。 図27は、実施の形態に係るデコレーション画像応答メッセージに含まれるメッセージデータを示す図である。 図28は、実施の形態に係るシーン表示エリアにデコレーション画像が表示されたテンプレート編集画面を示す図である。 図29は、実施の形態に係るデコレーション画像置き換え要求メッセージに含まれるメッセージデータを示す図である。 図30Aは、実施の形態に係るデコレーション画像置き換え応答メッセージに含まれるメッセージデータを示す図である。 図30Bは、実施の形態に係るテンプレートデータ要求メッセージに含まれるメッセージデータを示す図である。 図31Aは、実施の形態に係るパッケージ形式決定処理のフローチャートである。 図31Bは、実施の形態に係るパッケージ形式決定処理の変形例のフローチャートである。 図32は、実施の形態に係るメディア制御スクリプトを模式的に表した図である。 図33は、実施の形態に係る素材データのアーカイブフォーマットに従って作成された素材データアーカイブに含まれるデータを示す図である。 図34は、実施の形態に係る素材情報の保護処理の例を示す図である。 図35は、実施の形態に係る完全パッケージ形式のテンプレートデータを示す図である。 図36は、実施の形態に係るテンプレートデータ応答メッセージに含まれるメッセージデータを示す図である。 図37Aは、実施の形態に係るテンプレート編集処理の流れを示すフローチャートである。 図37Bは、実施の形態に係るテンプレート編集処理の流れを示すフローチャートである。 図38は、実施の形態に係るコンテンツ編集要求メッセージに含まれるメッセージデータを示す図である。 図39は、実施の形態に係るコンテンツ編集応答メッセージに含まれるメッセージデータを示す図である。 図40は、実施の形態に係るコンテンツ編集画面の一例を示す図である。 図41は、実施の形態に係る素材表示エリアに写真のサムネイル画像が表示されたコンテンツ編集画面を示す図である。 図42は、実施の形態に係るマルチメディアコンテンツ要求メッセージに含まれるメッセージデータを示す図である。 図43は、実施の形態に係るマルチメディアコンテンツ応答メッセージに含まれるメッセージデータを示す図である。 図44は、実施の形態に係る2つのメディア制御スクリプトを結合する場合の処理を示す図である。 図45は、実施の形態に係るサービスの類型1(自社データセンタ型)を示す図である。 図46は、実施の形態に係るサービスの類型2(IaaS利用型)を示す図である。 図47は、実施の形態に係るサービスの類型3(PaaS利用型)を示す図である。 図48は、実施の形態に係るサービスの類型4(SaaS利用型)を示す図である。
 (本発明の基礎となった知見)
 本発明者は、従来の技術において、以下の問題が生じることを見出した。
 ここで、マルチメディアコンテンツのコンテンツ形式として、素材パッケージ形式と、完全パッケージ形式とがある。素材パッケージ形式は、マルチメディアコンテンツを構成する素材である写真及びムービー等と、メディア制御スクリプトとがアーカイブされた形式である。この形式では、素材の置き換え、及び部分更新を行うことができるため多彩な編集を行うことができるが、再生するためにはスクリプト実行機能が再生端末に必要である。
 これに対し、完全パッケージ形式は、素材パッケージ形式のマルチメディアコンテンツを再生した場合と同じ表現となる動画ストリームの形式である。例えば、この動画ストリームの形式は、MPEG2-TS(Motion Picture Expert Group 2-Transport Stream)又はMPEG4で実現される。この形式では、動画ストリームの部分削除等の限られた編集しかできないが、スクリプト実行機能が不要であり、多くの端末で再生することができる。
 本明細書では、以降、マルチメディアコンテンツとだけ記述する場合は、素材パッケージ形式のマルチメディアコンテンツを指すものとする。また、素材パッケージ形式と完全パッケージ形式を区別する場合は、それぞれの形式を記述する。
 マルチメディアコンテンツはメディア制御スクリプトを利用することにより、画面上の写真、ムービー及びデコレーション画像等の移動、回転及び重ね合わせ等の効果、画面の切り替え効果、並びにアニメーション効果等、多彩な表現を実現できる点が大きな特徴である。
 ここで、写真の高速移動、及び画面の特殊切り替え等、表現効果の高い処理はメディア制御スクリプトを実行する再生端末のスクリプト処理能力に依存する。再生端末のプロセッサ能力は年々向上し、それに伴い、スクリプト処理能力も上がっていく。このことから、再生端末の買い替え等により、マルチメディアコンテンツを更新したいという要望がある。例えば、再生端末を買い替えたユーザが、過去に作成したマルチメディアコンテンツを現在のスクリプト処理能力の高い再生端末で視聴する際、買い替えた再生端末での表現効果を最大限に活用してマルチメディアコンテンツを視聴したいというものである。
 より具体的には、買い替え前の端末ではそのスクリプト処理能力により、画面上で写真を移動させるとチラつきが発生したことから、写真を動かさないマルチメディアコンテンツを作成したが、再生端末を買い替えたことにより、利用する写真を変えることなく、写真を動かす派手な効果に置き換えたいという要望がある。また、作成したマルチメディアコンテンツを他のユーザと共有する場合に、そのマルチメディアコンテンツを更新したいという要望もある。例えば、子供の写真を素材として作成したマルチメディアコンテンツを祖父母等と共有する場合、祖父母の保有する再生端末の表現効果を最大限に利用した本物のアルバムの様に捲りながら表示されるマルチメディアコンテンツに再編集したいという要望もある。
 しかしながら、従来のマルチメディアコンテンツ作成端末及びサーバでは、このような要望に十分対応できていない。つまり、従来の装置は、マルチメディアコンテンツに含まれるメディア制御スクリプトを再生端末のスクリプト処理能力に応じて決定又は更新する機能を保持していない。
 また、全ての端末がマルチメディアコンテンツを再生できるとは限らない。マルチメディアコンテンツを再生するためには、メディア再生機能とスクリプト実行機能が必要であるが、メディア再生機能のみ保持し、スクリプト実行機能を保持しない再生機器も存在する。ここで、メディア再生機能は、例えば、MPEG2デコーダであり、スクリプト実行機能は、例えば、バーチャルマシンである。このような機器においてもマルチメディアコンテンツを視聴したいという要望がある。
 しかしながら、従来のマルチメディアコンテンツ作成端末及びサーバでは、このような要望に十分対応できていない。つまり、従来の装置は、マルチメディアコンテンツをメディア再生機能のみ保持する再生機器向けに再構成する機能を保持していない。
 また、マルチメディアコンテンツを作成する場合、予め用意されたテンプレートを利用し、テンプレートに対して、写真又はムービーをはめ込むことにより、簡単にマルチメディアコンテンツを作成することができる。よって、テンプレートを利用したマルチメディアコンテンツ作成は、有用である。また、ユーザがテンプレートを編集し、好みのテンプレートに作り変えることも行われる。ユーザは、テンプレートを利用及び編集するにあたり、対象となるテンプレートを選択するが、その場合、端末上でテンプレートのデザイン及び効果の確認を行う。テンプレートもマルチメディアコンテンツであり、メディア制御スクリプトを含むことから、上記のマルチメディアコンテンツに対する課題がそのままテンプレートに対しても当てはまる。
 また、ユーザが撮影した写真及びムービー、ユーザが作成したデコレーション画像及びメディア制御スクリプト等に加え、商用サービスから購入したデコレーション画像及びメディア制御スクリプトを利用してマルチメディアコンテンツを作成する場合もある。この場合、購入した画像及びスクリプトを不正にコピーすることが禁じられているため、不正な利用を防止する必要がある。
 しかしながら、従来のマルチメディアコンテンツ作成端末及びサーバでは、このような要望に十分対応できていない。つまり、従来の装置は、セキュリティレベルの低い再生機器において、マルチメディアコンテンツに含まれる素材の不正利用を防止する機能を保持していない。
 そこで、本実施の形態では、上記課題を解決できる、写真、ムービー、BGM、及びデコレーション画像等のメディアデータと、メディアデータを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを編集するための編集システム、サーバ装置、端末装置及び編集方法について説明する。
 本発明の一態様に係るマルチメディアコンテンツ編集サーバは、画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ編集サーバであって、端末装置における前記メディア制御スクリプトの処理能力を表す処理能力情報に応じて、前記メディア制御スクリプトを生成するスクリプト生成部と、前記メディア制御スクリプトを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ生成部とを備える。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、マルチメディアコンテンツに含まれるメディア制御スクリプトを端末装置のスクリプト処理能力に応じて生成できる。
 例えば、前記再生シナリオは、前記再生効果として前記画像の動きを示し、前記スクリプト生成部は、前記処理能力が第1の値の場合、前記処理能力が第1の値より低い第2の値の場合よりも、前記画像の動きが大きい又は早い前記メディア制御スクリプトを生成してもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、端末装置のスクリプト処理能力に応じて、その端末装置に適したマルチメディアコンテンツを生成できる。
 例えば、前記マルチメディアコンテンツ編集サーバは、さらに、前記処理能力情報で示される前記処理能力に応じて、前記マルチメディアコンテンツの形式を決定する形式決定部を備え、前記マルチメディアコンテンツ生成部は、前記マルチメディアコンテンツ形式決定部において決定されたコンテンツ形式のマルチメディアコンテンツを生成してもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、マルチメディアコンテンツの形式を端末装置のスクリプト処理能力に応じて決定できる。
 例えば、前記形式決定部は、前記コンテンツ形式として、素材パッケージ形式、及び完全パッケージ形式のいずれかの形式を選択し、前記マルチメディアコンテンツ生成部は、前記メディア制御スクリプトを実行するスクリプト実行部と、前記形式決定部が、前記コンテンツ形式として前記素材パッケージ形式を選択した場合、前記メディアデータと前記メディア制御スクリプトとを含む、前記素材パッケージ形式のマルチメディアコンテンツを生成する素材パッケージ生成部と、前記形式決定部が、前記完全パッケージ形式を選択した場合、前記スクリプト実行部が前記メディア制御スクリプトを実行することにより得られた映像データである前記完全パッケージ形式のマルチメディアコンテンツを生成する完全パッケージ生成部とを備えてもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、マルチメディアコンテンツの形式を端末装置のスクリプト処理能力に応じて、素材パッケージ形式、及び完全パッケージ形式のいずれかに決定することができる。
 例えば、前記形式決定部は、前記処理能力情報により、前記端末装置が前記メディア制御スクリプトの実行環境を備えていることが示される場合には、前記素材パッケージ形式を選択し、前記処理能力情報により、前記端末装置が前記メディア制御スクリプトの実行環境を備えていないことが示される場合には、前記完全パッケージ形式を選択してもよい。
 この構成によれば、端末装置は、メディア制御スクリプトの実行環境の有無に関わらず、マルチメディアコンテンツを編集及び再生することができる。
 例えば、前記マルチメディアコンテンツ編集サーバは、さらに、前記端末装置から、前記端末装置のセキュリティレベルを受信し、前記セキュリティレベルに応じて、前記マルチメディアコンテンツの形式を決定する形式決定部を備え、前記マルチメディアコンテンツ生成部は、前記マルチメディアコンテンツ形式決定部において決定されたコンテンツ形式のマルチメディアコンテンツを生成してもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、マルチメディアコンテンツの形式を端末装置のセキュリティレベルに応じて決定できる。
 例えば、前記形式決定部は、前記コンテンツ形式として、素材パッケージ形式、及び完全パッケージ形式のいずれかの形式を選択し、前記マルチメディアコンテンツ生成部は、前記メディア制御スクリプトを実行するスクリプト実行部と、前記形式決定部が、前記コンテンツ形式として前記素材パッケージ形式を選択した場合、前記メディアデータと前記メディア制御スクリプトとを含む、前記素材パッケージ形式のマルチメディアコンテンツを生成する素材パッケージ生成部と、前記形式決定部が、前記完全パッケージ形式を選択した場合、前記スクリプト実行部が前記メディア制御スクリプトを実行することにより得られた映像データである前記完全パッケージ形式のマルチメディアコンテンツを生成する完全パッケージ生成部とを備えてもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、マルチメディアコンテンツの形式を端末装置のセキュリティレベルに応じて、素材パッケージ形式、及び完全パッケージ形式のいずれかに決定することができる。よって、セキュリティレベルの低い端末装置における、マルチメディアコンテンツに含まれる素材の不正利用を防止することができる。
 例えば、前記マルチメディアコンテンツ編集サーバは、さらに、、前記形式決定部が、前記完全パッケージ形式を選択した場合において、前記端末装置のセキュリティレベルが第1レベルである場合には、ダウンロード型配信方式で前記マルチメディアコンテンツを前記端末装置へ送信し、前記端末装置のセキュリティレベルが前記第1レベルより低い第2レベルである場合には、ストリーミング型配信方式で前記マルチメディアコンテンツを前記端末装置へ送信してもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、マルチメディアコンテンツの形式を端末装置のセキュリティレベルに応じて、ダウンロード型配信方式、及びストリーミング型配信方式のいずれかに決定することができる。よって、セキュリティレベルの低い端末における、マルチメディアコンテンツに含まれる素材の不正利用を防止することができる。
 例えば、前記マルチメディアコンテンツ生成部は、前記形式決定部が、前記完全パッケージ形式を選択した場合、前記メディアデータ及び前記メディア制御スクリプトの格納場所を示す素材情報を前記マルチメディアコンテンツに追加する素材情報埋め込み部を備えてもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバ及び端末装置は、マルチメディアコンテンツを再編集する際に、編集対象となる素材を容易に識別することができる。また、当該マルチメディアコンテンツ編集サーバ及び端末装置は、マルチメディアコンテンツが共有された場合の共有先を容易に追跡することができる。
 例えば、前記マルチメディアコンテンツ生成部は、さらに、前記素材情報の保護を行う素材情報保護部を備えてもよい。
 この構成によれば、当該マルチメディアコンテンツ編集サーバは、マルチメディアコンテンツが再編集される際の、編集対象となる素材が不正差し替えされることを防止できるとともに、共有先追跡情報が不正差し替えされることを防止できる。
 例えば、前記スクリプト生成部は、さらに、更新対象である複数のメディア制御スクリプトを結合することにより新たなメディア制御スクリプトを生成してもよい。
 この構成によれば、ユーザは、マルチメディアコンテンツを結合することで、連続して閲覧できるマルチメディアコンテンツを生成したり、マルチメディアコンテンツのテンプレートを編集することで好みのシナリオを生成したりすることができる。
 例えば、前記スクリプト生成部は、さらに、更新対象であるメディア制御スクリプトの一部又は全部を置き換えることにより新たなメディア制御スクリプトを生成してもよい。
 この構成によれば、ユーザは、マルチメディアコンテンツの素材を変更することなく、テンプレートのシナリオのみ変更することができる。
 例えば、前記スクリプト生成部は、更新対象であるメディア制御スクリプトの一部を削除することにより新たなメディア制御スクリプトを生成してもよい。
 この構成によれば、当該マルチメディア編集サーバは、マルチメディアコンテンツの再生効果の一部又は全てをなくすことができる。よって、当該マルチメディア編集サーバは、インタラクティブ性を持たない端末用のマルチメディアコンテンツを作成することができる。
 また、本発明の一態様に係るマルチメディアコンテンツ編集方法は、画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ編集方法であって、端末装置における前記メディア制御スクリプトの処理能力を表す処理能力情報に応じて、前記メディア制御スクリプトを生成するスクリプト生成ステップと、前記メディア制御スクリプトを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ生成ステップとを含む。
 この方法によれば、当該マルチメディアコンテンツ編集方法は、マルチメディアコンテンツに含まれるメディア制御スクリプトを端末装置のスクリプト処理能力に応じて生成することができる。
 なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 以下、実施の形態について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態)
 まず、本実施の形態に係るマルチメディアコンテンツ編集サーバの概略構成及びその動作を説明する。
 図1Aは、本実施の形態に係るマルチメディアコンテンツ編集サーバである編集サーバ101の概略構成を示すブロック図である。図1Aに示す編集サーバ101は、画像を含むメディアデータと、メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含む素材パッケージ型のマルチメディアコンテンツを生成する。この編集サーバ101は、受信部111と、スクリプト生成部112と、マルチメディアコンテンツ生成部113と、送信部114とを備える。
 受信部111は、端末装置におけるメディア制御スクリプトの処理能力を表す処理能力情報(スクリプト処理能力情報とも呼ぶ)を、端末装置から受信する。スクリプト生成部112は、受信部111で受信された処理能力情報で示される処理能力に応じて、メディア制御スクリプトを生成する。マルチメディアコンテンツ生成部113は、スクリプト生成部112で生成されたメディア制御スクリプトを含むマルチメディアコンテンツを生成する。送信部114は、マルチメディアコンテンツ生成部113で生成されたマルチメディアコンテンツを端末装置に送信する。
 端末装置は、マルチメディアコンテンツに含まれるメディア制御スクリプトを実行することで、マルチメディアコンテンツを再生する。具体的には、このマルチメディアコンテンツは、フォトムービーである。フォトムービーとは、マルチメディアコンテンツの一形態であり、撮影された写真又はムービーにBGM及びデコレーション画像を付与し、ムービーのように時系列的に再生するものである。
 図1Bは、マルチメディアコンテンツの表示例を示す図である。
 図1Bに示すように、ユーザ画像701と、デコレーション画像702とを含む。ユーザ画像701は、ユーザが所有する写真又はムービーである。
 つまり、上記メディアデータは、典型的には、複数のユーザ画像(静止画又は動画)と、1以上のBGM(音楽)と、1以上のデコレーション画像とを含む。なお、メディアデータは、少なくとも1枚の画像を含めばよい。また、ユーザ画像、BGM及びデコレーション画像の各々は、一つであってもよいし、複数であってもよい。また、メディアデータにユーザ画像として静止画及び動画が共に含まれてもよい。また、メディアデータにはBGM以外の音声(例えば、効果音等)が含まれてもよいし、テキストデータ等が含まれてもよい。
 また、メディア制御スクリプトは、これらのメディアデータの再生シナリオを制御する。つまり、端末装置がメディア制御スクリプトを実行することにより、メディアデータが再生シナリオに従い再生される。ここで、再生シナリオは、典型的には、複数のユーザ画像及びデコレーション画像の配置(配置位置)と、複数のユーザ画像、1以上のBGM、及び1以上のデコレーション画像の再生順序(再生タイミング)と、複数のユーザ画像及び1以上のデコレーション画像の再生効果とを含む。再生効果は、画像の動きを含む。画像の動きは、画像の移動パターン、移動速度、拡大、縮小、及び回転等を含む。また、再生効果は、画像の色味を変更する等の画像を加工する処理を含んでもよい。また、再生効果は、画面の切り替え、及びアニメーション効果等を含んでもよい。なお、再生シナリオ及び再生効果は上記の全てを含んでもよいし、一部のみを含んでもよい。
 次に、マルチメディアコンテンツ編集サーバ101によるマルチメディアコンテンツ編集処理の概要を説明する。図2Aは、編集サーバ101によるマルチメディアコンテンツ編集処理のフローチャートである。
 図2Aに示すように、まず、受信部111は、端末装置におけるメディア制御スクリプトの処理能力を表す処理能力情報を、端末装置から受信する(S101)。次に、スクリプト生成部112は、受信された処理能力情報で示される処理能力に応じて、メディア制御スクリプトを生成する(S102)。次に、マルチメディアコンテンツ生成部113は、生成されたメディア制御スクリプトを含むマルチメディアコンテンツを生成する(S103)。最後に、送信部114は、生成されたマルチメディアコンテンツを端末装置に送信する(S104)。
 図2Bは、編集サーバ101によるメディア制御スクリプトの生成処理(S102)のフローチャートである。図2Bに示すように、スクリプト生成部112は、端末装置のメディア制御スクリプトの処理能力が高い場合(例えば、当該処理能力が予め定められた閾値より高い場合)(S111でYes)、メディア制御スクリプトによる再生効果を派手にする(S112)。例えば、スクリプト生成部112は、画像の動きを大きくする、又は画像の動きを早くする。一方、スクリプト生成部112は、端末装置のメディア制御スクリプトの処理能力が低い場合(例えば、当該処理能力が予め定められた閾値より低い場合)(S111でNo)、メディア制御スクリプトによる再生効果を地味にする(S113)。例えば、スクリプト生成部112は、画像の動きを小さくする、又は画像の動きを遅くする。
 なお、画像の動きを大きくする、又は画像の動きを早くするとは、静止している画像を動かすように変更することも含む。同様に、画像の動きを小さくする、又は画像の動きを遅くするとは、動きが設定されている画像を静止するように変更することも含む。
 つまり、スクリプト生成部112は、端末装置のメディア制御スクリプトの処理能力が第1の値の場合、当該処理能力が第1の値より低い第2の値の場合よりも、画像の動きが大きい又は早いメディア制御スクリプトを生成する。
 以上のより、編集サーバ101は、端末装置のメディア制御スクリプトの処理能力に合わせた、最適なマルチメディアコンテンツを生成できる。
 なお、スクリプト生成部112は、端末装置のメディア制御スクリプトの処理能力に応じて、画像の動きが発生する頻度を変更してもよい。具体的には、スクリプト生成部112は、処理能力が高い場合には、画像の動きが発生する頻度を増やし、処理能力が低い場合には、当該頻度を減らしてもよい。
 また、スクリプト生成部112は、端末装置のメディア制御スクリプトの処理能力に応じて、デコレーション画像の数を変更してもよい。具体的には、スクリプト生成部112は、処理能力が高い場合には、デコレーション画像の数を増やし、処理能力が低い場合には、デコレーション画像の数を減らしてもよい。
 また、ここでは、編集サーバ101が、1つの閾値を用いて2段階で再生効果を変更する例を述べたが、編集サーバ101は、複数の閾値を設け、3段階以上で再生効果を変更してもよい。
 以下、上記編集サーバ101の詳細な構成及び動作を説明する。
 図3は、本実施の形態に係るマルチメディアコンテンツ編集システム100の構成を示すブロック図である。
 図3に示すように、マルチメディアコンテンツ編集システム100は、編集サーバ101と、端末102、103、…とを備える。編集サーバ101と端末102、103、…とは、例えばネットワーク等を介して接続される。
 図4は、端末102の構成を示すブロック図である。また、図5は、端末103の構成を示すブロック図である。端末102は、素材パッケージ形式のマルチメディアコンテンツを編集する用途と、素材パッケージ形式のマルチメディアコンテンツを再生する用途との両方に利用される。また、端末103は、素材パッケージ形式のマルチメディアコンテンツを編集する用途と、完全パッケージ形式のマルチメディアコンテンツを再生する用途との両方に利用される。
 また、説明の便宜上、物理的に同一の端末であっても、マルチメディアコンテンツを編集する用途に利用している場合は「編集端末」と呼び、マルチメディアコンテンツ(素材パッケージ形式、又は、完全パッケージ形式)を再生する用途に利用している場合は「再生端末」と呼ぶ場合がある。
 端末102は、通信部201、処理能力蓄積部202、コンテンツ情報蓄積部203、セキュリティ情報蓄積部204、入力部205、コンテンツ形式解析部206、スクリプト実行部207、メディア再生部208、出力部209、及び制御部210を備える。
 端末102を構成する各構成部について説明する。
 通信部201は、処理内容を示すコマンド、及びコマンドに付随するパラメタを編集サーバ101に送信し、コマンドに対応したレスポンスデータを編集サーバ101から受信する機能を有する。通信部201は、例えば、ネットワークインタフェース回路等で実現される通信回路である。
 処理能力蓄積部202は、スクリプト実行部のバージョン情報、及びスクリプト実行部207の処理能力情報を記憶する機能を有し、例えば、フラッシュメモリ等で実現されるメモリ装置である。
 図6は、処理能力蓄積部202に記憶されているデータの一例を示す図である。処理能力蓄積部202は、バージョン情報302とスクリプト処理能力情報303とを含むスクリプト処理能力テーブル301を記憶する。
 バージョン情報302は、スクリプト実行部207のバージョンを示す情報である。例えば、バージョン情報302は、工場出荷時において処理能力蓄積部202に書き込まれ、スクリプト実行部207の更新と共に更新される。ここでは、バージョン情報302として初期バージョンである「1.0.0」が格納されている。
 スクリプト処理能力情報303は、端末102の動作クロック、搭載メモリ量、及びバス速度等により決定される値であり、1から100の間の数値に正規化された値を示す。数値が大きいほど、スクリプト処理能力が高いことを示す。例えば、スクリプト処理能力情報303は、工場出荷時において処理能力蓄積部202に書き込まれる。
 なお、バージョン情報302及びスクリプト処理能力情報303は、必ずしも、このようなデータである必要はなく、バージョン及びスクリプト処理能力を判別できるものであれば、どのようなデータが利用されてもよい。例えば、端末102の更新回数がバージョン情報302として利用されてもよいし、端末102のロット番号、品番又はシリアル番号等がスクリプト処理能力情報303として利用されてもよい。
 コンテンツ情報蓄積部203は、端末102のユーザが編集したマルチメディアコンテンツを記憶する機能を有し、例えば、HDD(Hard Disk Drive)等で実現されるメモリ装置である。ユーザが編集したマルチメディアコンテンツが、端末102に記憶される場合と、編集サーバ101又は図示していないユーザのライブラリサーバ等に記憶される場合とがある。マルチメディアコンテンツが編集サーバ101に記憶される場合は、コンテンツ情報蓄積部203は、記憶先の編集サーバを識別可能な情報、並びにマルチメディアコンテンツに含まれる写真、ムービー及びメディア制御スクリプト等の各要素を一意に識別可能な情報を記憶する。
 図7は、コンテンツ情報蓄積部203に記憶されるデータの一例を示す図である。コンテンツ情報蓄積部203は、マルチメディアコンテンツ記憶場所312、編集者ID313、テンプレートID314、テーマID315、及び素材テーブルID316を含むコンテンツ情報テーブル311を記憶する。
 マルチメディアコンテンツ記憶場所312は、端末102にマルチメディアコンテンツが記憶される場合は、HDD上のファイルパスを示し、編集サーバ101又は他のサーバにマルチメディアコンテンツが記憶される場合は、サーバの識別子とサーバ上のファイルパスとを示す。ここでは、マルチメディアコンテンツ記憶場所312に、URL(Uniform Resource Locator)の形式が利用されているが、必ずしもこの形式である必要はなく、記憶場所が識別できるものであれば、どのようなデータ形式が利用されてもよい。
 編集者ID313は、編集サーバ101にユーザが登録したユーザIDである。編集サーバ101がこのユーザIDを各ユーザに対して割り当てる場合もある。
 ここで、予め決められたBGM、デコレーション画像、及びメディア制御スクリプトの組み合わせをテンプレートと呼ぶ。よく利用する素材の組み合わせをテンプレートとして編集サーバ101に登録しておくことにより、マルチメディアコンテンツを編集する際、素材を個別に選択する必要がなくなる。
 また、ユーザは、テンプレート販売サービスからテンプレートを購入して登録することも可能である。テンプレートが利用されてマルチメディアコンテンツが編集された場合、テンプレートID314に、その利用されたテンプレートの識別子が記憶される。ここでは、テンプレートID314に、テンプレート編集者名と識別子との組からなる形式が利用されているが、必ずしもこの形式である必要はない。また、テンプレートを指定しなかった場合はテンプレートID314としてヌル値「Null」が記憶される。
 また、同じ印象を与える、又は、同類と認識されるテンプレートのグループをテーマと呼ぶ。マルチメディアコンテンツを編集する際、ユーザは、テーマを指定することにより、素材及びテンプレートを個別に選択する必要がなくなる。テーマが指定されてマルチメディアコンテンツが編集された場合、テーマID315として、その利用されたテーマの識別子が記憶される。ここでは、テーマID315に、4桁の数字の形式が利用されているが、必ずしもこの形式である必要はない。また、テーマが指定されなかった場合はテーマID315としてヌル値「Null」が記憶される。
 素材テーブルID316は、マルチメディアコンテンツに含まれる、写真、ムービー、BGM、デコレーション画像、及びメディア制御スクリプトが含まれる素材テーブルを識別するための識別子である。ここでは、素材テーブルID316に、4桁の数字の形式が利用されているが、必ずしもこの形式である必要はない。
 図8は、素材テーブル321に含まれるデータの一例を示す図である。素材テーブル321は、素材テーブルID322、素材ID323、素材タイプ324、及び素材データ325を含む。
 素材テーブルID322は、コンテンツ情報テーブル311に記憶される素材テーブルID316に対応し、コンテンツ情報テーブル311で管理されるマルチメディアコンテンツに含まれる素材と対応付けられる。
 素材ID323は、素材データを一意に識別するための識別子である。ここでは、素材ID323に、編集者名と4桁の数字とを含む形式が利用されているが、必ずしもこの形式である必要はない。
 素材タイプ324は、素材の種別とフォーマットとを示す。ここでは、素材タイプ324に、MIME(Multipurpose Internet Mail Extensions)形式が利用されているが、必ずしもこの形式である必要はない。
 素材データ325は素材データを示す情報である。ここでは、素材データ325に、ファイル名が利用されているが、素材が一意に識別できれば、別の識別子が利用されてもよい。
 セキュリティ情報蓄積部204は、端末102のセキュリティレベルを記憶する機能を有し、例えば、フラッシュメモリ等で実現されるメモリ装置である。セキュリティレベルとは、端末102がマルチメディアコンテンツの不正利用防止機能を有するか否かを示す情報である。不正利用防止機能とは、例えば、端末102のコンテンツ情報蓄積部203に蓄積されているデータを暗号化して保護する機能、マルチメディアコンテンツに含まれるメディア制御スクリプトの編集者が正当な編集者であることを確認する機能、及びマルチメディアコンテンツに含まれるメディア制御スクリプトが改ざんされていないことを確認する機能等である。端末102が、これらの不正利用防止機能を保持する場合、セキュリティ情報蓄積部204には「1」が記憶され、保持しない場合は「0」が記憶される。
 なお、セキュリティ情報蓄積部204へのデータの書き込みは工場出荷時に行われ、以降、不正な書き換えが行われないようにこのデータが保護される。例えば、セキュリティ情報蓄積部204を、プロセッサ内部のフラッシュメモリで実現することにより、ユーザからのアクセスを防止する。また、セキュリティレベルは、2段階ではなく、端末102の保持する機能に応じて3段階以上で表現されてもよい。さらに、セキュリティ情報蓄積部204に蓄積される情報は、セキュリティレベルを判別できるものであれば、どのような形式のデータでもよい。例えば、この情報に、端末102のロット番号、品番、又はシリアル番号等が利用されてもよい。
 入力部205は、端末102がユーザからの指示又は操作を受け付ける機能を有し、例えば、キーボード、タッチパネル又はリモコン等で実現される入力回路である。
 コンテンツ形式解析部206は、マルチメディアコンテンツのフォーマットを解析する機能を有し、例えば、ストリームフォーマットデコーダ回路である。
 スクリプト実行部207は、マルチメディアコンテンツに含まれるメディア制御スクリプトを実行する機能を有し、例えば、バーチャルマシン回路である。
 メディア再生部208は、マルチメディアコンテンツに含まれる写真及びムービー等のメディアデータを再生する機能を有し、例えば、ソフトウェア又はハードウェアで実現されるJPEG(Joint Photographic Experts Group)デコーダ又はMPEGデコーダである。
 出力部209は、ユーザからの指示或いは操作を受け付けるための画面の表示する機能、編集サーバ101から受信した受信結果の表示する機能、及び、端末102の処理結果を表示する機能を有し、例えば、ディスプレイ、又は、ディスプレイ出力インタフェースである。
 制御部210は、端末102を構成する各構成部を制御する電子回路である。
 次に、端末103を構成する各構成部について説明する。
 図5は、端末103の構成を示すブロック図である。端末103は、完全パッケージ形式のマルチメディアコンテンツを再生する。よって、端末102と比較すると、メディア制御スクリプトに関連する機能を保持しない。つまり、端末102における処理能力蓄積部202及びスクリプト実行部207を保持しない。これ以外の構成要素は、端末102と同じであるため、説明を省略する。
 次に編集サーバ101を構成する各構成部について説明する。
 図9は、編集サーバ101の構成を示すブロック図である。
 編集サーバ101は、通信部121、形式決定部122、処理能力判定部123、セキュリティレベル判定部124、テンプレート情報蓄積部130、スクリプト蓄積部131、メディアデータ蓄積部132、コンテンツ素材取得部133、スクリプト生成部112、及びマルチメディアコンテンツ生成部113を備える。
 また、通信部121は、受信部111と、送信部114とを備える。マルチメディアコンテンツ生成部113は、素材パッケージ生成部125、完全パッケージ生成部126、素材情報埋め込み部127、スクリプト実行部128、及び素材情報保護部129を備える。
 編集サーバ101を構成する各要素について説明する。
 通信部121は、コマンド及びそのコマンドに付随するパラメタを端末102、103、…から受信し、コマンドに対応したレスポンスデータを端末102、103、…に送信する。また、通信部121は、ユーザの指定した図示しない素材サーバと通信し、マルチメディアコンテンツに利用される素材を取得する。通信部121は、例えば、ネットワークインタフェース回路等で実現される通信回路である。
 形式決定部122は、通信部121において受信した処理能力情報及びセキュリティレベルのいずれか、又は、両方の内容に応じて、生成するマルチメディアコンテンツの形式を選択する電子回路である。選択するコンテンツ形式は、素材パッケージ形式及び完全パッケージ形式のいずれかである。
 処理能力判定部123は、通信部121において受信した処理能力情報を解析し、端末がスクリプト実行部を有するか否かを示す情報、及びスクリプト処理能力情報を形式決定部122に与える電子回路である。
 セキュリティレベル判定部124は、通信部121において受信したセキュリティレベルを解析し、端末のマルチメディアコンテンツの不正利用防止機能の有無を示す情報を形式決定部122に与える電子回路である。
 素材パッケージ生成部125は、形式決定部122の指示に従って、素材パッケージ形式のマルチメディアコンテンツの生成、編集及び再構成を行う電子回路である。
 完全パッケージ生成部126は、形式決定部122の指示に従って、完全パッケージ形式のマルチメディアコンテンツの生成、編集及び再構成を行う電子回路である。
 スクリプト生成部112は、素材パッケージ型マルチメディアコンテンツに含むメディア制御スクリプト、及び完全パッケージ型マルチメディアコンテンツの生成に利用されるメディア制御スクリプトの選択、生成及び加工を行う電子回路である。
 スクリプト実行部128は、完全パッケージ型マルチメディアコンテンツの生成にあたり、スクリプト生成部112から与えられたメディア制御スクリプトをバーチャルマシン上で実行する電子回路である。
 素材情報埋め込み部127は、マルチメディアコンテンツの生成に利用された写真及びムービー等のメディアデータ、メディア制御スクリプトの識別子、及びマルチメディアコンテンツの識別子を、生成されたマルチメディアコンテンツに埋め込む電子回路である。この素材の識別子を利用することにより、編集サーバ101及び端末102は、マルチメディアコンテンツの再編集の際、編集対象となる素材を識別することができる。また、マルチメディアコンテンツの識別子を利用することにより、編集サーバ101及び端末102は、マルチメディアコンテンツが共有された場合の共有先を追跡することができる。
 テンプレート情報蓄積部130は、マルチメディアコンテンツに利用されるスクリプトを蓄積する機能を有し、HDD等により実現される。
 図10は、テンプレート情報蓄積部130に記憶されるテンプレートテーブル331の一例を示す図である。テンプレートテーブル331は、テンプレートID332、テンプレート名333、テーマID334、テーマ名335、素材テーブルID336、及びテンプレートサムネイル337を含む。
 テンプレートID332は、テンプレートを一意に識別するための識別子である。ここでは、テンプレートID332に、テンプレート編集者名と識別子との組からなる形式が利用されているが、必ずしもこの形式である必要はない。
 テンプレート名333は、テンプレートの名称である。テンプレート名333をユーザに提示することにより、ユーザは、マルチメディアコンテンツを編集する際に、テンプレートを容易に選択できる。
 テーマID334は、テンプレートが属するテーマを一意に識別するための識別子である。ここでは、テーマID334に、4桁の数字の形式が利用されているが、必ずしもこの形式である必要はない。また、テンプレートは必ずしもテーマに属する必要はない。テンプレートがテーマに属さない場合は、テーマID334としてヌル値「Null」が記憶される。
 テーマ名335は、テーマの名称である。ユーザがマルチメディアコンテンツを編集する際、ユーザがテーマを指定することにより、素材及びテンプレートを個別に選択する必要がなくなる。テンプレートがテーマに属さない場合はテーマ名335としてヌル値「Null」が記憶される。
 素材テーブルID336は、テンプレートに含まれる、BGM、デコレーション画像、及びメディア制御スクリプトを含む素材テーブルを識別するための識別子である。ここでは、素材テーブルID336に、4桁の数字の形式が利用されているが、必ずしもこの形式である必要はない。
 テンプレートサムネイル337は、テンプレートの内容を示すサムネイル画像である。ここでは、テンプレートサムネイル337に、URLが利用されているが、素材が一意に識別できれば、別の形式が利用されてもよい。
 図11は、素材テーブル341に含まれるデータの一例を示す図である。素材テーブル341は、素材テーブルID342、素材ID343、素材タイプ344、及び素材データ345を含む。
 素材テーブルID342は、テンプレートテーブル331に含まれる素材テーブルID336に対応し、テンプレートテーブル331で管理されるテンプレートに含まれる素材と対応付けられている。
 素材ID343は、素材データを一意に識別するための識別子である。ここでは、素材ID343に、編集者名と4桁の数字とを含む形式が利用されているが、必ずしもこの形式である必要はない。
 素材タイプ344は、素材の種別とフォーマットとを示す情報である。ここでは、素材タイプ344に、MIME(Multipurpose Internet Mail Extensions)形式が利用されているが、必ずしもこの形式である必要はない。
 素材データ345は素材データを示す情報である。ここでは、素材データ345に、URLが利用されているが、素材が一意に識別できれば、別の形式が利用されてもよい。
 スクリプト蓄積部131は、マルチメディアコンテンツの編集に利用されるスクリプトを蓄積する機能を有し、HDD等により実現される。
 図12は、スクリプト蓄積部131に記憶されるスクリプトテーブル351の一例を示す図である。スクリプトテーブル351は、素材ID352、スクリプトデータ353を含む。
 素材ID352は、メディア制御スクリプトに固有の識別子である。ここでは、素材ID352に、5桁の英数字の形式が利用されているが、必ずしもこの形式である必要は無い。
 スクリプトデータ353は、スクリプトが編集サーバ101に記憶される場合、HDD上のファイルパスを示し、スクリプトが他のサーバに記憶される場合、当該サーバの識別子と当該サーバ上のファイルパスとを示す。ここでは、スクリプトデータ353に、URLの形式が利用されているが、必ずしもこの形式である必要はなく、記憶場所が識別できるものであれば、どのようなデータ形式が利用されてもよい。
 メディアデータ蓄積部132は、マルチメディアコンテンツの編集に利用される写真及びムービー等のメディアデータを蓄積する機能を有し、HDD等により実現される。
 図13は、メディアデータ蓄積部132に記憶されるメディアデータテーブル361の一例を示す図である。メディアデータテーブル361は、素材ID362、及び素材タイプ363、及び素材データ364を含む。
 素材ID362は、素材データを一意に識別するための識別子である。ここでは、素材ID362に、編集者名と4桁の数字とを含む形式が利用されているが、必ずしもこの形式である必要はない。
 素材タイプ363は、素材の種別とフォーマットと示す。ここでは、素材タイプ363に、MIME形式が利用されているが、必ずしもこの形式である必要はない。
 素材データ364は素材データを示す情報である。ここでは、素材データ364に、URLが利用されているが、素材が一意に識別できれば、別の形式が利用されてもよい。
 コンテンツ素材取得部133は、マルチメディアコンテンツの生成及び編集に利用される、ユーザの素材が、編集サーバ101以外の外部サーバに存在する場合に、その外部サーバとユーザとの認証を中継し、認証が成功した場合、外部サーバからユーザの素材を取得する電子回路である。
 素材情報埋め込み部127は、完全パッケージ型マルチメディアコンテンツの生成に利用された写真及びBGM等のメディアデータの情報、メディア制御スクリプトの情報、並びに、マルチメディアコンテンツの情報である素材情報を当該マルチメディアコンテンツに埋め込む。
 素材情報保護部129は、素材情報の保護を行う。素材情報の保護の目的は、素材情報で識別される素材の不正コピー及び不正な差し替え防止することである。これにより、マルチメディアコンテンツを編集したユーザ以外のユーザによる素材の取得、及びマルチメディアコンテンツを編集したユーザによる他のユーザの素材の取得を防止できる。また、マルチメディアコンテンツが共有された場合、素材情報は共有先の追跡情報としても用いられる。素材情報を保護することで、その追跡情報の不正な差し替えも防止できる。
 次に、以上のように構成されたマルチメディアコンテンツ編集システム100における各種動作を具体的に説明する。
 図14A及び図14Bは、本実施の形態に係るマルチメディアコンテンツ編集システム100の処理の流れを示すフローチャートである。なお、以降のマルチメディアコンテンツ編集処理の説明において、端末102と端末103とで共通の処理は端末102における処理として説明し、端末102と端末103とで処理が異なる場合は、その処理を個別に説明する。
 (ステップS201)
 本ステップでは、端末102は、マルチメディアコンテンツ処理の入力を受け付ける。
 端末102の制御部210は、出力部209を通じて、図15に示すマルチメディアコンテンツ編集処理選択画面を出力する。編集方法は、図15に示すとおり、「テンプレートを編集」及び「コンテンツを編集」の2つがある。
 「テンプレートを編集」は、ユーザがテンプレートに利用するデコレーション画像、BGM、及び再生効果を選択してテンプレートを編集するものである。
 「コンテンツを編集」は、ユーザがマルチメディアコンテンツのテーマ、テンプレート及び素材と、ユーザのメディアデータとを選択してマルチメディアコンテンツを編集するものである。
 ユーザは、マウス、キーボード、又はリモコン等を利用して、編集方法を選択する。制御部210は、入力部205を通じて、ユーザが選択した編集方法を識別する。
 (ステップS202)
 テンプレート編集が選択された場合(S201でテンプレート)、テンプレート編集処理が行われる。具体的な処理は後述する。
 (ステップS203)
 コンテンツ編集が選択された場合(S201でコンテンツ)、コンテンツ編集処理が行われる。具体的な処理は後述する。
 (テンプレート編集処理)
 まず、テンプレート編集処理の説明を行う。
 図16A及び図16Bは、テンプレート編集処理の流れを示すフローチャートである。図16A及び図16Bを参照しながら、テンプレート編集処理を説明する。なお、テンプレート編集処理の開始前に、ユーザID及びパスワードを用いたユーザ認証が行われているものとする。
 (ステップS301)
 本ステップでは、端末102は、編集サーバ101に対して、テンプレート編集要求を行う。
 端末102の制御部210は、通信部201を通じて、編集サーバ101にテンプレート編集要求メッセージを送信する。図17は、テンプレート編集要求メッセージ371に含まれるメッセージデータを示す図である。テンプレート編集要求メッセージ371は、メッセージ識別子372、バージョン373、ユーザID374、スクリプト実行部バージョン375、スクリプト処理能力情報376、及びセキュリティレベル377をメッセージデータとして含む。
 メッセージ識別子372は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン373は、メッセージのバージョン番号を識別するためのメッセージデータである。ユーザID374は、テンプレート編集を行うユーザを識別するためのメッセージデータであり、事前に行ったユーザ認証の際、ユーザから入力部205を通じて入力されたユーザIDである。スクリプト実行部バージョン375は、端末のスクリプト実行部207のバージョンを識別するためのメッセージデータである。スクリプト処理能力情報376は、端末のスクリプト処理能力を示す数値である。セキュリティレベル377は、端末のセキュリティレベルを示す数値である。セキュリティレベルは、1から10の整数値であり、大きいほどセキュリティレベルが高いことを示す。
 制御部210は、テンプレート編集要求メッセージ371の生成にあたり、メッセージ識別子372に、テンプレート編集要求メッセージを表す「0001」を、バージョン373に、初期バージョンを表す「0100」を、ユーザID374に、ユーザID「KM」を、それぞれ、設定する。
 また、制御部210は、スクリプト実行部バージョン375に、処理能力蓄積部202に蓄積されているバージョン情報302の値を、スクリプト処理能力情報376に、スクリプト処理能力蓄積部202に蓄積されているスクリプト処理能力情報303の値を、それぞれ、設定する。但し、スクリプト実行部を保持しない端末(端末103)の場合には、制御部210は、スクリプト実行部バージョン375、及びスクリプト処理能力情報376に、無効値「0」を設定する。
 さらに、制御部210は、セキュリティレベル377に、セキュリティ情報蓄積部204に蓄積されている値を設定する。
 その後、制御部210は、生成されたテンプレート編集要求メッセージ371を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS302)
 本ステップでは、編集サーバ101は、テンプレート編集応答を行う。
 編集サーバ101の通信部121は、テンプレート編集要求メッセージ371を受信すると、端末102にテンプレート編集応答メッセージを送信する。図18は、テンプレート編集応答メッセージ381に含まれるメッセージデータを示す図である。テンプレート編集応答メッセージ381は、メッセージ識別子382、バージョン383、及びテンプレート編集アプリケーション384をメッセージデータとして含む。なお、本実施の形態では、アプリケーションプログラムのことをアプリケーション又はアプリと呼ぶ。
 メッセージ識別子382は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン383は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレート編集アプリケーション384は、端末102で実行されるテンプレート編集アプリケーションプログラムである。このテンプレート編集アプリケーションは、端末102の上で直接動作するものであっても、端末102のブラウザ上で動作するものであってもよい。
 通信部121は、テンプレート編集応答メッセージ381の生成にあたり、メッセージ識別子382に、テンプレート編集応答メッセージを表す「0002」を、バージョン383に、初期バージョンを表す「0100」を、テンプレート編集アプリケーション384に、編集サーバ101が備える、図示しないアプリケーション蓄積部に蓄積されているテンプレート編集アプリケーションを設定する。その後、通信部121は、生成されたテンプレート編集応答メッセージを端末102に送信する。
 (ステップS303)
 本ステップでは、端末102は、テンプレート編集アプリを実行する。
 テンプレート編集アプリは、端末102の上で直接動作、又は、端末102のブラウザ上で動作し、出力部209を通じてテンプレート編集画面を出力する。テンプレート編集は、予め用意されたテンプレート、又はユーザがこれまで作成したテンプレートを基に、新しいテンプレートを作成する機能である。
 テンプレート編集アプリは、端末102により実行されると、通信部201を通じて、編集サーバ101にテンプレートサムネイル要求メッセージを送信する。図19は、テンプレートサムネイル要求メッセージ391に含まれるメッセージデータを示す図である。テンプレートサムネイル要求メッセージ391は、メッセージ識別子392、及びバージョン393をメッセージデータとして含む。
 メッセージ識別子392は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン393は、メッセージのバージョン番号を識別するためのメッセージデータである。
 テンプレート編集アプリは、テンプレートサムネイル要求メッセージ391の生成にあたり、メッセージ識別子392に、テンプレートサムネイル要求メッセージを表す「0003」を、バージョンには393に、初期バージョンを表す「0100」を、それぞれ、設定する。その後、テンプレート編集アプリは、生成されたテンプレートサムネイル要求メッセージ391を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS304)
 本ステップでは、編集サーバ101は、要求されたテンプレートサムネイルを端末102に送信する。
 編集サーバ101の通信部121は、テンプレートサムネイル要求メッセージ391を受信すると、テンプレート情報蓄積部130に蓄積されているテンプレートテーブル331に含まれる全てのテンプレートのテンプレートサムネイル337に記憶される情報を用いて、テンプレートサムネイル応答メッセージを生成する。
 図20は、テンプレートサムネイル応答メッセージ401に含まれるメッセージデータを示す図である。テンプレートサムネイル応答メッセージ401は、メッセージ識別子402、バージョン403、テンプレートサムネイル数404、及びテンプレートサムネイル405をメッセージデータとして含む。
 メッセージ識別子402は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン403は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレートサムネイル数404は、テンプレートサムネイル405に含まれるテンプレートサムネイルの数である。テンプレートサムネイル405は、テンプレートIDとテンプレートサムネイルデータとを含み、テンプレートサムネイル数404の数だけ連続して格納される。
 通信部121は、テンプレートサムネイル応答メッセージ401の生成にあたり、次の処理を行う。
 通信部121は、メッセージ識別子402に、テンプレートサムネイル応答メッセージを表す「0004」を、バージョン403に、初期バージョンを表す「0100」を、それぞれ設定する。
 また、通信部121は、テンプレート情報蓄積部130に蓄積されているテンプレートテーブル331を検索し、テンプレートテーブル331に含まれるテンプレート数を得る。図10に示した例では、テンプレートテーブル331に含まれるテンプレート数は4である。
 さらに、通信部121は、テンプレートテーブル331に含まれるテンプレートのテンプレートIDサムネイルデータを得る。通信部121は、テンプレートのテンプレートIDを、テンプレートテーブル331のテンプレートID332を参照することで得る。また、通信部121は、テンプレートのサムネイルデータを、テンプレートテーブル331に含まれるテンプレートサムネイル337を参照することで得る。例えば、図10に示した例において、テンプレートID332が「PM0001」であるテンプレートのサムネイルデータを参照する場合、まず、通信部121は、テンプレートサムネイル337で示されるURL「file://tn/pm0001.jpg」を得る。次に、通信部121は、「file://tn/pm0001.jpg」にアクセスすることにより、サムネイルデータを得る。なお、テンプレートサムネイル337で示されるURLは、編集サーバ101以外の外部サーバを示す場合がある。その場合、通信部121は、コンテンツ素材取得部133を通じ、外部サーバのサムネイルデータを取得する前に、ユーザID及びパスワードによるユーザ認証を行ってもよい。また、通信部121は、テンプレートデータ保護のため、編集サーバと外部サーバ間の通信に暗号化を用いてもよい。
 その後、通信部121は、テンプレートサムネイル数404に「4」を、テンプレートサムネイル405に、テンプレートIDとテンプレートサムネイルデータとの4つの組を順に設定する。
 通信部121は、生成されたテンプレートサムネイル応答メッセージ401を、端末102に送信する。
 (ステップS305)
 本ステップでは、テンプレート編集に利用されるテンプレートをユーザが選択する。
 端末102は、テンプレートサムネイル応答メッセージ401を受信すると、図21に示すテンプレート編集画面を表示する。端末102は、画面の出力を、出力部209を通じて行う。端末102は、テンプレートのサムネイルとして、受信したテンプレートサムネイル応答メッセージ401に含まれるテンプレートサムネイルデータをテンプレート編集画面に表示する。
 ユーザは、図21に示したテンプレート編集画面から、作成の基とするテンプレートを選択する。テンプレートの選択は、入力部205を通じて行われる。ユーザは、テンプレートの選択が終われば、決定ボタンを押す。
 (ステップS306)
 本ステップでは、端末102は、ステップS305で選択されたテンプレートに対して、テンプレートの代表シーンの要求を編集サーバ101に対して行う。
 テンプレートの代表シーンとは、テンプレートを構成する各シーンを代表する画像である。ユーザは個々の代表シーンに対して編集を行うことにより、テンプレート全体の編集を行う。
 テンプレート編集アプリは、通信部201を通じて、編集サーバ101にテンプレート代表シーン要求メッセージを送信する。図22は、テンプレート代表シーン要求メッセージ411に含まれるメッセージデータを示す図である。テンプレート代表シーン要求メッセージ411は、メッセージ識別子412、バージョン413、及びテンプレートID414をメッセージデータとして含む。
 メッセージ識別子412は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン413は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレートID414は、ステップS305でユーザが選択したテンプレートに対応するテンプレートIDである。
 テンプレート編集アプリは、テンプレート代表シーン要求メッセージ411の生成にあたり、メッセージ識別子412に、テンプレート代表シーン要求メッセージを表す「0005」を、バージョン413に、初期バージョンを表す「0100」を、テンプレートID414に、ユーザが選択したテンプレートIDを設定する。このテンプレートIDは、本実施の形態では、「PM0001」であるとする。その後、テンプレート編集アプリは、生成されたテンプレート代表シーン要求メッセージ411を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS307)
 本ステップでは、編集サーバ101は、要求されたテンプレート代表シーンを端末102に送信する。
 編集サーバ101の通信部121は、テンプレート代表シーン要求メッセージ411を受信すると、受信したテンプレート代表シーン要求メッセージ411のテンプレートID414の値を抽出する。
 次に、通信部121は、抽出したテンプレートIDに対応するテンプレートの素材データを取得する。具体的には、まず、通信部121は、テンプレート情報蓄積部130に蓄積されているテンプレートテーブル331から、テンプレートID332に対応する素材テーブルID336を検索する。本実施の形態では、テンプレート代表シーン要求メッセージ411に含まれるテンプレートID「PM0001」に対応する素材テーブルID「3628」が検索される。さらに、通信部121は、テンプレート情報蓄積部130に蓄積されている素材テーブル341から、検索した素材テーブルID342に対応する素材データ345を検索する。本実施の形態では、素材テーブルID「3628」に対応する素材データである、デコレーション画像「file://decorations/cake001.jpg」、「file://decorations/cake001.jpg」、BGM「file://BGMs/birthday.mp3」、及びメディア制御スクリプト「file://scripts/happy.js」が検索される。
 その後、通信部121は、検索した素材データをスクリプト蓄積部131、及びメディアデータ蓄積部132から取得し、スクリプト実行部128でメディア制御スクリプトを実行する。
 スクリプト実行部128は、メディア制御スクリプトを実行し、テンプレート代表シーンを生成する。具体的には、次の処理を行う。スクリプト実行部128は、メディア制御スクリプト実行する。スクリプト実行部128は、テンプレートを再生中において、メディア制御スクリプトがデコレーション画像を取得及び描画した際、その描画時点でのタイムコード(テンプレート再生時の先頭からの相対時間)、デコレーション画像に対応する素材ID、及びフレームを書き出す。
 具体的には、次の処理を行う。スクリプト実行部128は、メディア制御スクリプト中に記述されるデコレーション画像ファイル描画命令実行時に、描画内容であるテンプレートをJPEG画像にエンコードし、エンコード結果をテンプレート代表シーンファイルとして書き出す。その際、スクリプト実行部128は、ファイル情報として、テンプレートID、素材ID、及びタイムコードを編集サーバのデータベースに記憶する。テンプレート代表シーンの生成は、メディア制御スクリプトがデコレーション画像を描画する度に実行される。なお、テンプレート代表シーン、素材ID、及びタイムコードの記憶方法は、必ずしもこの方法でなくてもよい。
 なお、編集サーバ101は、一度生成したテンプレート代表シーンを保存しておき、次回以降、同じテンプレートを指定したテンプレート代表シーン要求メッセージに対する応答に利用してもよい。これにより、編集サーバ101の即応性が高まる。また、編集サーバ101は、テンプレート代表シーンの生成を、当該編集サーバ101にテンプレートが登録した際に、予め行っておいてもよい。
 最後に、通信部121は、端末102にテンプレート代表シーン応答メッセージを送信する。図23は、テンプレート代表シーン応答メッセージ421に含まれるメッセージデータを示す図である。テンプレート代表シーン応答メッセージ421は、メッセージ識別子422、バージョン423、テンプレート代表シーン数424、テンプレート代表シーン425をメッセージデータとして含む。
 メッセージ識別子422は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン423は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレート代表シーン数424は、テンプレート代表シーン425に含まれるテンプレート代表シーンの数である。テンプレート代表シーン425は、タイムコードとテンプレート代表シーンデータとを含み、テンプレート代表シーン数424の数だけ連続して格納される。
 通信部121は、テンプレート代表シーン応答メッセージ421の生成にあたり、次の処理を行う。
 通信部121は、メッセージ識別子422に、テンプレート代表シーン応答メッセージを表す「0006」を、バージョン423に、初期バージョンを表す「0100」を、それぞれ設定する。
 また、通信部121は、生成されたテンプレート代表シーンの数をテンプレート代表シーン数424に設定する。さらに、通信部121は、生成されたテンプレート代表シーンデータ、そのタイムコード、及び素材IDをテンプレート代表シーン425に設定する。その後、通信部121は、生成されたテンプレート代表シーン応答メッセージ421を、端末102に送信する。
 (ステップS308)
 本ステップでは、ステップS305で選択されたテンプレートに対して、ユーザが編集対象のシーンを選択する。
 図24は、テンプレート編集画面の一例を示す図である。テンプレート編集画面431は、シーン表示エリア432と、素材表示エリア433と、テンプレート中の代表シーンを選択するためのスライドバー434と、再生ボタン435と、BGM変更ボタン436と、終了ボタン437とを含む。
 シーン表示エリア432には、ステップS305でユーザが選択したテンプレート中の代表シーン、及び編集後のテンプレートが表示される。素材表示エリア433には、シーン表示エリア432に表示されるシーンにおいて編集可能な素材が表示される。
 スライドバー434が、右にスライドするとタイムコードが進み、左に進むとタイムコードが戻る。図25は、スライドバー434で指定されるタイムコードとテンプレートのシーンとの関係を示す図である。図25において、代表シーン441は、テンプレートを構成する時系列の代表シーンである。スライドバー434の位置と、テンプレートの代表シーン441が対応付いており、スライドバー434で指定されたタイムコードに対応するテンプレートの代表シーン441がシーン表示エリア432に表示される。
 図25の例では、「タイムコード#1」と「タイムコード#2」との間のタイムコードが「代表テンプレート#1」に、「タイムコード#2」と「タイムコード#3」の間のタイムコードが「代表テンプレート#2」に、「タイムコード#3」以降のタイムコードが「代表テンプレート#3」に、それぞれ、対応する。
 テンプレート編集アプリは、通信部201を通じて、テンプレート代表シーン応答メッセージ421を受信すると、受信したテンプレート代表シーン応答メッセージ421に含まれるテンプレート代表シーンをシーン表示エリア432に表示する。テンプレート編集アプリは、スライドバー434の位置に対応するテンプレート代表シーンを、当該テンプレート代表シーンに対応するタイムコードを利用して特定し、特定したテンプレート代表シーンをシーン表示エリア432に表示する。
 ユーザは、スライドバー434を操作し、編集したい代表シーンを選択する。
 (ステップS309)
 本ステップでは、端末102は、テンプレートの代表シーンで置き換えることができるデコレーション画像の取得要求を編集サーバ101に対して行う。
 ユーザが、ステップS308において、スライドバー434を操作し、編集したい代表シーンを選択すると、テンプレート編集アプリは、通信部201を通じて、編集サーバにデコレーション画像要求メッセージを送信する。図26は、デコレーション画像要求メッセージ451に含まれるメッセージデータを示す図である。デコレーション画像要求メッセージ451は、メッセージ識別子452、バージョン453、及びテンプレートID454をメッセージデータとして含む。
 メッセージ識別子452は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン453は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレートID454は、ステップS305でユーザが選択したテンプレートに対応するテンプレートIDである。
 テンプレート編集アプリは、デコレーション画像要求メッセージ451の生成にあたり、メッセージ識別子452に、デコレーション画像要求メッセージを表す「0007」を、バージョン453に、初期バージョンを表す「0100」を、テンプレートID454に、ユーザが選択したテンプレートIDを設定する。本実施の形態では、このテンプレートIDは「PM0001」であるとする。その後、テンプレート編集アプリは、生成されたデコレーション画像要求メッセージ451を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS310)
 本ステップでは、編集サーバ101は、要求されたデコレーション画像を端末102に送信する。
 編集サーバ101の通信部121は、デコレーション画像要求メッセージ451を受信すると、メディアデータ蓄積部132に蓄積されているデコレーション画像を検索及び取得する。テンプレート毎に利用可能なデコレーション画像が決まっている場合は、通信部121は、デコレーション画像要求メッセージ451に含まれるテンプレートIDを利用して、ユーザが選択したテンプレートで利用可能なデコレーション画像を検索及び取得する。
 次に、通信部121は、端末102にデコレーション画像応答メッセージを送信する。図27は、デコレーション画像応答メッセージ461に含まれるメッセージデータを示す図である。デコレーション画像応答メッセージ461は、メッセージ識別子462、バージョン463、デコレーション画像数464、及びデコレーション画像465をメッセージデータとして含む。
 メッセージ識別子462は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン463は、メッセージのバージョン番号を識別するためのメッセージデータである。デコレーション画像数464は、デコレーション画像465に含まれるテンプレート代表シーンの数である。デコレーション画像465は、素材IDとデコレーション画像データとを含み、デコレーション画像数464の数だけ連続して格納される。
 通信部121は、デコレーション画像応答メッセージ461の生成にあたり、次の処理を行う。
 通信部121は、メッセージ識別子462に、デコレーション画像応答メッセージを表す「0008」を、バージョン463に、初期バージョンを表す「0100」を、それぞれ、設定する。
 また、通信部121は、メディアデータ蓄積部132から検索及び取得したデコレーション画像の数をデコレーション画像数464に設定する。さらに、通信部121は、メディアデータ蓄積部132から検索及び取得したデコレーション画像の素材IDとデコレーション画像データとをデコレーション画像465に設定する。その後、通信部121は、生成されたデコレーション画像応答メッセージ461を、端末102に送信する。
 (ステップS311)
 本ステップでは、端末102は、編集サーバ101から取得したデコレーション画像を表示する。また、表示されたデコレーション画像の中から置き換えたいデコレーションをユーザが選択する。
 テンプレート編集アプリは、通信部201を通じて、デコレーション画像応答メッセージ461を受信すると、受信したデコレーション画像応答メッセージ461に含まれるデコレーション画像を素材表示エリア433に表示する。
 図28は、素材表示エリア433にデコレーション画像が表示されたテンプレート編集画面の一例を示す図である。
 ユーザは、素材表示エリア433に表示されたデコレーション画像から置き換えたいデコレーションを選択する。テンプレート編集アプリは、選択されたデコレーション画像の素材IDを記憶する。この素材IDを置き換え素材IDと呼ぶ。
 (ステップS312)
 本ステップでは、端末102は、ステップS308で選択されたテンプレート代表シーンのデコレーション画像を、ステップS311で選択されたデコレーション画像で置き換えることを編集サーバ101に要求する。
 テンプレート編集アプリは、通信部201を通じて、編集サーバ101にデコレーション画像置き換え要求メッセージを送信する。図29は、デコレーション画像置き換え要求メッセージ471に含まれるメッセージデータを示す図である。デコレーション画像置き換え要求メッセージ471は、メッセージ識別子472、バージョン473、テンプレートID474、タイムコード475、素材ID476、及び置き換え素材ID477をメッセージデータとして含む。
 メッセージ識別子472は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン473は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレートID474は、ステップS305でユーザが選択したテンプレートに対応するテンプレートIDである。タイムコード475は、ステップS308でユーザが編集対象として選択したテンプレート代表シーンに対応するタイムコードである。素材ID476は、ステップS311でユーザが置き換え対象として選択したデコレーション画像の素材IDである。置き換え素材ID477は、ステップS311でユーザが選択したデコレーション画像に対応する置き換え素材IDである。
 テンプレート編集アプリは、デコレーション画像置き換え要求メッセージ471の生成にあたり、メッセージ識別子472に、デコレーション画像置き換え要求メッセージを表す「0009」を、バージョン473に、初期バージョンを表す「0100」を、テンプレートID474に、ユーザが選択したテンプレートのテンプレートIDを設定する。本実施の形態では、このテンプレートIDは「PM0001」であるとする。また、テンプレート編集アプリは、タイムコード475に、ステップS308でユーザが編集対象として選択したテンプレート代表シーンに対応するタイムコードを設定する。テンプレート編集アプリは、素材ID476に、ステップS311でユーザが置き換え対象として選択したデコレーション画像の素材IDを設定する。テンプレート編集アプリは、置き換え素材ID477に、ステップS311でユーザが選択したデコレーション画像に対応する置き換え素材IDを設定する。その後、テンプレート編集アプリは、生成されたデコレーション画像置き換え要求メッセージ471を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS313)
 本ステップでは、編集サーバ101は、デコレーション画像の置き換えを行う。
 編集サーバ101の通信部121は、デコレーション画像置き換え要求メッセージ471を受信すると、受信したメッセージに含まれる置き換え素材IDを利用して、メディアデータ蓄積部132に蓄積されているメディアデータを検索し、置き換えるデコレーション画像の素材IDであるURLを取得する。例えば、置き換え素材IDが「PM2011」の場合、素材データURL「file://decorations/star002.jpg」を取得する。この素材データURLを、置き換え対象素材データURLと呼ぶ。
 次に、通信部121は、受信したメッセージに含まれるテンプレートID及び素材IDを利用し、テンプレート情報蓄積部130に蓄積されているテンプレートテーブル331及び素材テーブル341を検索することで、置き換え対象となるデコレーション画像の素材データURLを取得する。例えば、テンプレートIDが「PM0001」であり、素材IDが「PM2002」である場合、通信部121は、デコレーション画像の素材データURL「file://decorations/cake002.jpg」を取得する。この素材データURLを、置き換え素材データURLと呼ぶ。
 その後、通信部121は、置き換え対象素材データURLを置き換え素材データURLの内容で上書きする。これにより、デコレーションデータの置き換えが実現される。
 最後に、通信部121は、端末102にデコレーション画像置き換え応答メッセージを送信する。図30Aは、デコレーション画像置き換え応答メッセージ481に含まれるメッセージデータを示す図である。デコレーション画像置き換え応答メッセージ481は、メッセージ識別子482、バージョン483、及びステータス484をメッセージデータとして含む。
 メッセージ識別子482は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン483は、メッセージのバージョン番号を識別するためのメッセージデータである。ステータス484は、デコレーション画像置き換え結果を通知するためのメッセージデータである。
 通信部121は、デコレーション画像置き換え応答メッセージ481の生成にあたり、メッセージ識別子482に、デコレーション画像置き換え応答メッセージを表す「0010」を、バージョン483に、初期バージョンを表す「0100」を、ステータス484に、成功を表す「0000」を、それぞれ、設定する。その後、通信部121は、生成されたデコレーション画像置き換え応答メッセージ481を、端末102に送信する。
 (ステップS314)
 本ステップでは、端末102は、編集したテンプレートの再生を行うため、編集サーバ101にテンプレートデータを要求する。
 ユーザはテンプレート編集画面431に含まれる再生ボタン435を押す。テンプレート編集アプリは、再生ボタン435が押されると、テンプレートデータを編集サーバ101から取得するため、テンプレートデータ要求メッセージを編集サーバ101に送信する。図30Bは、テンプレートデータ要求メッセージ491に含まれるメッセージデータを示す図である。テンプレートデータ要求メッセージ491は、メッセージ識別子492、バージョン493、及びテンプレートID494をメッセージデータとして含む。
 メッセージ識別子492は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン493は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレートID494は、再生の対象となるテンプレートのテンプレートIDである。
 テンプレート編集アプリは、テンプレートデータ要求メッセージ491の生成にあたり、メッセージ識別子492に、テンプレートデータ要求メッセージを表す「000a」を、バージョン493に、初期バージョンを表す「0100」を、テンプレートID494に、再生対象となるテンプレートIDを設定する。本実施の形態では、このテンプレートIDは「PM0001」であるとする。その後、テンプレート編集アプリは、生成されたテンプレートデータ要求メッセージ491を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS315)
 本ステップでは、編集サーバ101は、端末102から要求された再生対象のテンプレートを識別する。
 編集サーバ101の通信部121は、テンプレートデータ要求メッセージ491を受信すると、テンプレートデータ要求メッセージ491に含まれるテンプレートID494の値を抽出する。
 (ステップS316)
 本ステップでは、編集サーバ101は、テンプレートデータを要求した端末のセキュリティレベルを判定する。
 編集サーバ101のセキュリティレベル判定部124は、ステップS302で受信したテンプレート編集要求メッセージ371に含まれるセキュリティレベル377の値から、セキュリティレベルを判定する。具体的には、セキュリティレベル判定部124は、セキュリティレベル値が5以下の場合、端末のセキュリティレベルが低いと判定する。また、セキュリティレベル判定部124は、セキュリティレベル値が6以上の場合、端末のセキュリティレベルが高いと判定する。
 (ステップS317)
 本ステップでは、編集サーバ101は、テンプレートデータを要求した端末のスクリプト処理能力を判定する。
 編集サーバ101の処理能力判定部123は、ステップS302で受信したテンプレート編集要求メッセージ371に含まれるスクリプト処理能力情報376の値が「0」であるかどうかを判定する。この値が「0」の場合、処理能力判定部123は、端末がスクリプト実行部を保持しない端末、言い換えると、メディア制御スクリプトの実行環境を備えていない端末(端末103)と判定する。また、この値が「0」以外の場合は、処理能力判定部123は、端末がスクリプト実行部を保持する端末、言い換えると、メディア制御スクリプトの実行環境を備えている端末であり、その能力レベルがスクリプト処理能力情報376の値であると判定する。
 (ステップS318)
 本ステップでは、編集サーバ101は、テンプレートデータを要求した端末のセキュリティレベル及びスクリプト処理能力から、作成するテンプレートデータのコンテンツ形式を決定する。
 図31Aは、このコンテンツ形式を決定する処理のフローチャートである。
 図31Aに示すように、編集サーバ101の形式決定部122は、端末がスクリプト実行環境を有するか否かを判定する(S121)。また、形式決定部122は、端末のセキュリティレベルが第1閾値より高いか否かを判定する(S122)。
 端末のセキュリティレベルが低い場合(S122でNo)、又は、端末がスクリプト実行環境を有さない場合(S121でNo)、形式決定部122は、完全パッケージ型のテンプレートデータを生成すると判定する(S124)。一方、端末がスクリプト実行機能を有し、かつ、端末のセキュリティレベルが高い場合(S121でYes、かつS122でYes)、形式決定部122は、素材パッケージ型のテンプレートデータを生成すると判定する(S123)。
 なお、形式決定部122は、さらに、セキュリティレベルに応じて、完全パッケージ型のテンプレートを、ダウンロード型配信方式で送信するか、ストリーミング型配信方式で送信するかを決定してもよい。例えば、図31Bに示すように、端末のセキュリティレベルが第1閾値より低い場合(S122でNo)、又は、端末がスクリプト実行環境を有さない場合(S121でNo)、形式決定部122は、端末のセキュリティレベルが第2閾値より高いか否かを判定する(S124A)。ここで、第2閾値は第1閾値より低い。
 端末のセキュリティレベルが第2閾値より高い場合(S124AでYes)、形式決定部122は、ダウンロード型配信方式で完全型パッケージを送信すると決定する(S124B)。また、端末のセキュリティレベルが第2閾値より低い場合(S124AでNo)、形式決定部122は、ストリーミング型配信方式で完全型パッケージを送信すると決定する(S124C)。これにより、セキュリティレベルの低い端末におけるテンプレートを構成する素材データの不正利用を防止することができる。
 (ステップS319)
 ステップS318において素材パッケージ型が選択された場合(S319で素材パッケージ)、処理がステップS320へ進み、ステップS318において完全パッケージ型が選択された場合(S319で完全パッケージ)、処理がステップS321へ進む。
 (ステップS320)
 本ステップでは、編集サーバ101は、素材パッケージ型のテンプレートデータを生成する。このとき、編集サーバ101は、図2Bを用いて説明したように、端末の処理能力に応じて、生成するテンプレートデータを変更する。以下、具体例を説明する。
 編集サーバ101の素材パッケージ生成部125は、ステップS315で識別したテンプレートIDを利用し、テンプレート情報蓄積部130に蓄積されているテンプレートテーブル331を検索することにより、テンプレートIDに対応する素材テーブルIDを取得する。次に、素材パッケージ生成部125は、検索及び取得した素材テーブルIDを利用し、テンプレート情報蓄積部130に蓄積されている素材テーブル341を検索することにより、テンプレートに含まれる素材データ及び素材IDを全て取得する。さらに、素材パッケージ生成部125は、素材データに含まれるメディア制御スクリプトを、ステップS317で判定した端末のスクリプト処理能力に応じて再構成する。最後に、素材パッケージ生成部125は、取得した素材データをアーカイブし、テンプレートデータを生成する。
 具体的な処理として、テンプレートIDが「PM0001」の場合の処理を説明する。
 編集サーバ101の素材パッケージ生成部125は、まず、テンプレートID「PM0001」を利用し、テンプレートテーブル331を検索することにより、素材テーブルID「3628」を取得する。
 次に、素材パッケージ生成部125は、検索及び取得した素材テーブルID「3628」を利用し、素材テーブル341を検索することにより、テンプレートに含まれる画像データ「cake001.jpg」と、その素材ID「PM2001」と、「star002.jpg」と、その素材ID「PM2003」と、BGMデータ「birthday.mp3」と、その素材ID「PM4001」と、メディア処理スクリプト「happy.js」と、その素材ID「S0001」とを取得する。
 さらに、編集サーバ101のスクリプト生成部112は、素材データに含まれるメディア制御スクリプト「happy.js」をステップS315で判定した端末のスクリプト処理能力に応じて再構成する。
 次に再構成の例を示す。図32は、メディア制御スクリプトを模式的に表した図である。メディア制御スクリプトは、初期値設定部501、描画処理部502、及びBGM再生処理部503を含む。初期値設定部501は、描画処理部502が実行される実行間隔の設定を行う。描画処理部502は、画像データの移動表示を行う。BGM再生処理部503は、BGMの再生を行う。
 スクリプト生成部112は、スクリプト処理能力が高い場合には、実行間隔を短くすることで滑らかな動作効果を行うように初期値設定部501を再構成する。一方、スクリプト生成部112は、スクリプト処理能力が低い場合には、実行間隔を長くすることで動作効果を抑えるように初期値設定部501を再構成する。なお、ここでは、スクリプト生成部112は、メディア制御スクリプトの再構成を初期値設定部501の設定を変更することにより行ったが、同様の効果を得る処理であれば、どのような処理を行ってもよい。例えば、スクリプト生成部112は、スクリプト処理能力に応じて、描画処理部502の一部又は全部を入れ替えてもよい。また、スクリプト生成部112は、スクリプト処理能力に応じて、描画処理部502の一部又は全部を削除してもよい。
 最後に、編集サーバ101の素材パッケージ生成部125は、アーカイブ固有のアーカイブIDの生成を行う。その後、素材パッケージ生成部125は、取得した画像データ及びBGMデータと、再構成を行ったメディア制御スクリプトとを図33に示すフォーマットでアーカイブする。
 図33は素材データのアーカイブフォーマットに従って作成された素材データアーカイブ511に含まれるデータを示す図である。素材データアーカイブ511は、アーカイブタイプ512、アーカイブID513、アーカイブファイル名514、アーカイブサイズ515、素材数516、素材タイプ517、素材ID518、素材ファイル名519、素材サイズ520、及び素材データ521を含む。
 アーカイブタイプ512は、アーカイブの種別を識別するためのデータであり、アーカイブ方式を示す。ここでは、アーカイブタイプ512にMIME形式が利用されているが、別の形式が利用されてもよい。アーカイブID513は、アーカイブを識別するための識別子である。ここでは、アーカイブID513は、生成されたアーカイブIDを指定する。アーカイブファイル名514は、素材データアーカイブのファイル名である。
 アーカイブサイズ515は、素材データアーカイブのバイト数である。素材数516は素材データアーカイブに含まれる素材の数である。素材タイプ517は、素材の種別を識別するためのデータである。ここでは、素材タイプ517に、MIME形式が利用されているが、別の形式が利用されてもよい。
 素材ID518は、素材を識別するための識別子である。ここでは、素材ID518は素材IDを指定する。素材ファイル名519は、素材データのファイル名である。素材サイズ520は、素材データアーカイブのバイト数である。素材データ521は、素材データである。
 なお、アーカイブID513及び素材ID518には、素材情報保護部129によって、以下の保護処理が行われる。まず、素材情報保護部129は、各IDに対して、ハッシュ値を計算し、計算したハッシュ値を素材IDに結合し、結合したデータを素材情報保護部129が保持する暗号鍵で暗号化する。素材情報の保護処理の例を図34に示す。
 (ステップS321)
 本ステップでは、編集サーバ101は、完全パッケージ型のテンプレートデータを生成する。
 編集サーバ101の完全パッケージ生成部126は、ステップS315で識別したテンプレートIDを利用し、テンプレート情報蓄積部130に蓄積されているテンプレートテーブル331を検索することにより、テンプレートIDに対応する素材テーブルIDを取得する。
 次に、完全パッケージ生成部126は、検索及び取得した素材テーブルIDを利用し、テンプレート情報蓄積部130に蓄積されている素材テーブル341を検索することにより、テンプレートに含まれる素材データ及び素材IDを全て取得する。
 さらに、編集サーバ101のスクリプト実行部128は、テンプレートに含まれる素材データの中のメディア制御スクリプトを実行する。スクリプト実行部128で実行されたメディア制御スクリプトは、素材データ中の画像データ及びBGMデータを利用して、テンプレートコンテンツを再生する。完全パッケージ生成部126は、再生されたテンプレートコンテンツをキャプチャすることで、完全パッケージ形式のテンプレートデータを生成する。
 最後に、編集サーバ101の素材情報埋め込み部127は、アーカイブIDの生成を行う。その後、テンプレートに含まれる素材データの素材ID、及びアーカイブIDの保護が行われ、保護されたIDが、完全パッケージ形式のテンプレートデータに埋め込まれる。素材ID及びアーカイブIDの保護は、編集サーバ101の素材情報保護部129が行う。
 具体的な処理として、テンプレートIDが「PM0001」の場合の処理を説明する。
 編集サーバ101の完全パッケージ生成部126は、まず、テンプレートID「PM0001」を利用し、テンプレートテーブル331を検索することにより、素材テーブルID「3628」を取得する。
 次に、完全パッケージ生成部126は、検索及び取得した素材テーブルID「3628」を利用し、素材テーブル341を検索することにより、テンプレートに含まれる画像データ「cake001.jpg」と、その素材ID「PM2001」と、「star002.jpg」と、その素材ID「PM2003」と、BGMデータ「birthday.mp3」と、その素材ID「PM4001」と、メディア処理スクリプト「happy.js」と、その素材ID「S0001」とを取得する。
 さらに、編集サーバ101のスクリプト実行部128は、メディア制御スクリプト「happy.js」を実行する。完全パッケージ生成部126は、再生されたテンプレートコンテンツをキャプチャし、完全パッケージ形式のテンプレートデータを生成する。完全パッケージ生成部126は、コンテンツのキャプチャを、編集サーバ101の再生フレームバッファに書き出されたデータを読み出すことにより行う。
 最後に、編集サーバ101の素材情報保護部129は、アーカイブIDとテンプレートに含まれる素材データの各素材IDとに対して、ハッシュ値を計算し、計算したハッシュ値を素材IDに結合し、結合したデータを素材情報保護部129が保持する暗号鍵で暗号化する。素材情報の保護処理の例を図34に示す。編集サーバ101の素材情報埋め込み部127は、保護処理を行った暗号化IDデータを、完全パッケージ形式のテンプレートデータに埋め込む。図35は、生成された完全パッケージ形式のテンプレートデータを示す図である。テンプレートデータは、管理情報部531とデータ部532に分かれており、データ部532に各種データが保持される。データ部532のオブジェクト記述部533の中の素材情報記述部534に暗号化IDデータが含まれる。
 (ステップS322)
 本ステップでは、編集サーバ101は、テンプレートデータを端末102に送信する。端末102に送信するテンプレートデータの形式は、ステップS319で判定したものである。
 編集サーバ101の通信部121は、端末102に、ステップS320又はステップS321で生成されたテンプレートデータを含むテンプレートデータ応答メッセージを送信する。図36は、テンプレートデータ応答メッセージ541に含まれるメッセージデータを示す図である。テンプレートデータ応答メッセージ541は、メッセージ識別子542、バージョン543、テンプレートデータ形式識別子544、及びテンプレートデータ545をメッセージデータとして含む。
 メッセージ識別子542は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン543は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレートデータ形式識別子544は、メッセージに含まれるテンプレートデータが素材パッケージ形式か完全パッケージ形式かを識別するための識別子である。テンプレートデータ545はテンプレートデータである。
 通信部121は、テンプレートデータ応答メッセージ541の生成にあたり、次の処理を行う。
 通信部121は、メッセージ識別子542に、テンプレートデータ応答メッセージを表す「000B」を、バージョン543に、初期バージョンを表す「0100」を、それぞれ、設定する。
 また、ステップS319において、素材パッケージ形式のテンプレートデータを生成すると判定された場合、通信部121は、テンプレートデータ形式識別子544に、素材パッケージ形式を表す「0001」を設定する。また、ステップS319において、完全パッケージ形式のテンプレートデータを生成すると判定された場合、通信部121は、テンプレートデータ形式識別子544に、完全パッケージ形式を表す「0002」を、設定する。
 さらに、通信部121は、テンプレートデータ545に、ステップS320又はステップS321で生成されたテンプレートデータを設定する。
 その後、通信部121は、生成されたテンプレートデータ応答メッセージ541を、端末102に送信する。
 なお、図31Bに示すように、ダウンロード型、又はストリーミング型で完全パッケージを送信すると決定された場合には、その決定結果に従い、通信部121は、ダウンロード型、又はストリーミング型で完全パッケージを送信する。
 (ステップS323)
 本ステップでは、端末102は、編集サーバ101から取得したテンプレートデータを再生する。
 本ステップは、再生する端末によって処理が異なるため、端末102の場合及び端末103の場合を順に説明する。
 端末102のテンプレート編集アプリは、通信部201を通じて、テンプレートデータ応答メッセージ541を受信すると、受信したテンプレートデータ応答メッセージ541からテンプレートデータを抽出する。抽出したテンプレートデータは、素材パッケージ形式の素材データアーカイブである。次に、テンプレート編集アプリは、コンテンツ形式解析部206において、抽出した素材データアーカイブを展開する。その後、テンプレート編集アプリは、スクリプト実行部207において、展開した素材データの中のメディア制御スクリプトを実行する。実行されたスクリプトは、メディア再生部208において、他の素材データと共に再生される。最後に、テンプレート編集アプリは、再生されたテンプレートデータを、出力部209を通じて、テンプレート編集画面431に含まれるシーン表示エリア432に表示する。
 端末103のテンプレート編集アプリは、通信部201を通じて、テンプレートデータ応答メッセージ541を受信すると、受信したテンプレートデータ応答メッセージ541からテンプレートデータを抽出する。抽出したテンプレートデータは、完全パッケージ形式のテンプレートデータである。次に、テンプレート編集アプリは、コンテンツ形式解析部206において、抽出した完全パッケージ形式を展開する。その後、テンプレート編集アプリは、メディア再生部208において、映像ストリーム及び音声ストリームをデコードする。最後に、テンプレート編集アプリは、再生されたストリームを、出力部209を通じて、テンプレート編集画面431に含まれるシーン表示エリア432に表示する。
 ユーザは再生されたテンプレートデータを確認し、さらにテンプレートを再編集する場合は、ステップS311から処理がやり直される。テンプレート編集を終了する場合は、ユーザが終了ボタン437を押すことにより、表示画面がマルチメディアコンテンツ編集処理選択画面に戻る。
 以上で、テンプレート編集処理の説明を終わる。
 なお、本テンプレート編集処理において、デコレーション画像の置き換えによる編集処理を説明したが、BGM及び再生効果についても、同様の処理を行うことにより編集を行うことができる。
 なお、本テンプレート編集処理において、編集サーバ101は、端末102及び端末103を認証した上でメッセージ通信を行ってもよい。これにより、テンプレートデータが意図しない端末に送信されることを防止することができる。さらに、編集サーバ101と端末102及び端末103との間の通信路を暗号化してもよい。これにより、通信路が盗聴されることによるテンプレートデータの横取りを防止することができる。
 なお、ステップS307において、編集サーバ101がテンプレート代表シーンを生成し、生成されたテンプレート代表シーンを端末102に送信したが、テンプレート代表シーンを端末102で生成してもよい。
 この場合、編集サーバ101は、ステップS314~ステップS315と同様の処理を行うことにより、端末のセキュリティレベルとスクリプト処理能力とを判定する。その結果、端末のセキュリティレベルが高く、かつ、端末がスクリプト処理実行部を有する場合には、編集サーバ101は、テンプレートIDに対応するテンプレートの素材データを取得する。そして、編集サーバ101は、ステップS317と同様の処理を行うことにより、素材パッケージ型のテンプレートを作成し、作成したテンプレートを端末102に送信する。
 端末102では、ステップS321と同様の処理を行うことにより、素材パッケージ型のテンプレートを再生し、テンプレート代表シーンを生成する。また、編集サーバ101は、ステップS319と同様の処理を行うことにより、完全パッケージ型のテンプレートを生成し、端末102又は端末103に送信する。端末102又は端末103は、ステップS321と同様の処理を行うことにより、完全パッケージ型のテンプレートを再生することでテンプレート代表シーンを生成する。これにより、編集サーバ101の処理負荷を低減することができる。
 なお、ステップS309~ステップS310において、編集サーバ101は、テンプレートの代表シーンで置き換えることができるデコレーション画像をテンプレート編集アプリに対して送信したが、デコレーション画像を代表シーンと共に送信してもよい。これにより、通信回数が削減される。また、編集サーバ101は、端末102のセキュリティレベルが低い場合は、デコレーション画像を送信しなくてもよい。これにより、デコレーション画像の漏えいが防止される。
 なお、ステップS313において、デコレーション画像の置き換え処理を行ったが、同様の処理を行うことにより、デコレーション画像の追加及び削除も可能である。
 なお、ステップS316において、編集サーバ101は、端末のセキュリティレベルをセキュリティレベル値から判定したが、端末種別から判定してもよい。
 なお、ステップS317において、編集サーバ101は、端末のスクリプト処理能力をスクリプト処理能力情報の値から判定したが、端末種別から判定してもよい。
 なお、ステップS319において、編集サーバ101は、端末102のスクリプト処理能力が低い場合、作成するテンプレートデータのコンテンツ形式を完全パッケージ型に決定してもよい。これにより、再編集の自由度が減るが、表示効果をあげることができる。
 なお、ステップS320、及びステップS321において、編集サーバ101は、それぞれ、完全パッケージ型、及び素材パッケージ型のテンプレートデータを生成したが、予め全てのパターンのテンプレートデータを作っておいてもよい。これにより、編集サーバ101の実行時における処理負荷を軽減することができる。
 (コンテンツ編集処理)
 次に、コンテンツ編集処理の説明を行う。
 図37A及び図37Bは、コンテンツ編集処理の流れを示すフローチャートである。図37A及び図37Bを参照しながら、コンテンツ編集処理を説明する。なお、コンテンツ編集処理の開始前に、ユーザID及びパスワードを用いたユーザ認証が行われているものとする。
 (ステップS401)
 本ステップでは、端末102は、編集サーバ101に対して、コンテンツ編集要求を行う。
 端末102の制御部210は、通信部201を通じて、編集サーバ101にコンテンツ編集要求メッセージを送信する。図38は、コンテンツ編集要求メッセージ551に含まれるメッセージデータを示す図である。コンテンツ編集要求メッセージ551は、メッセージ識別子552、バージョン553、ユーザID554、スクリプト実行部バージョン555、スクリプト処理能力情報556、及びセキュリティレベル557をメッセージデータとして含む。それぞれの内容は、図17に示したテンプレート編集要求メッセージと同じものであるため、説明を省略する。
 制御部210は、コンテンツ編集要求メッセージ551の生成にあたり、メッセージ識別子552に、コンテンツ編集要求メッセージを表す「0101」を、バージョン553に、初期バージョンを表す「0100」を、ユーザID554に、ユーザID「KM」を、それぞれ、設定する。
 また、制御部210は、スクリプト実行部バージョン555に、処理能力蓄積部202に蓄積されているバージョン情報302の値を、スクリプト処理能力情報556に、処理能力蓄積部202に蓄積されているスクリプト処理能力情報303の値を、それぞれ、設定する。但し、スクリプト実行部を保持しない端末(端末103)の場合には、制御部210は、スクリプト実行部バージョン555、及びスクリプト処理能力情報556に、無効値「0」を設定する。
 さらに、制御部210は、セキュリティレベル557に、セキュリティ情報蓄積部204に蓄積されている値を設定する。
 その後、制御部210は、生成されたコンテンツ編集要求メッセージ551を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS402)
 本ステップでは、編集サーバ101は、コンテンツ編集応答を行う。
 編集サーバ101の通信部121は、コンテンツ編集要求メッセージ551を受信すると、端末102にコンテンツ編集応答メッセージを送信する。図39は、コンテンツ編集応答メッセージ581に含まれるメッセージデータを示す図である。コンテンツ編集応答メッセージ581は、メッセージ識別子582、バージョン583、及びコンテンツ編集アプリケーション584をメッセージデータとして含む。
 メッセージ識別子582は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン583は、メッセージのバージョン番号を識別するためのメッセージデータである。コンテンツ編集アプリケーション584は、端末102で実行されるコンテンツ編集アプリケーションプログラムである。コンテンツ編集アプリケーション584は、端末102の上で直接動作するものであっても、端末102のブラウザ上で動作するものであってもよい。
 通信部121は、コンテンツ編集応答メッセージ581の生成にあたり、メッセージ識別子582に、コンテンツ編集応答メッセージを表す「0102」を、バージョン583に、初期バージョンを表す「0100」を、コンテンツ編集アプリケーション584に、編集サーバ101が備える、図示しないアプリケーション蓄積部に蓄積されているコンテンツ編集アプリケーションを設定する。その後、通信部121は、生成されたコンテンツ編集応答メッセージを端末102に送信する。
 (ステップS403)
 本ステップでは、端末102は、コンテンツ編集アプリを実行する。
 コンテンツ編集アプリは、端末102の上で直接動作、又は、端末102のブラウザ上で動作し、出力部209を通じてコンテンツ編集画面を出力する。コンテンツ編集は、予め用意されたテンプレートやユーザがこれまで作成したテンプレートを基に、ユーザの写真及びムービー等のコンテンツを埋め込むことにより、マルチメディアコンテンツを作成する機能である。
 コンテンツ編集アプリは、端末102により実行されると、通信部201を通じて、編集サーバ101にテンプレートサムネイル要求メッセージを送信する。テンプレートサムネイル要求メッセージは、ステップS303で示したものと同じものが利用されるため、説明を省略する。
 (ステップS404)
 本ステップでは、編集サーバ101は、要求されたテンプレートサムネイルを端末102に送信する。なお、本ステップでは、ステップS304と同じ処理が行われる。
 (ステップS405)
 本ステップでは、コンテンツ編集に利用されるテンプレートをユーザが選択する。
 端末102は、テンプレートサムネイル応答メッセージを受信すると、図40に示すコンテンツ編集画面591を表示する。端末102は、画面の出力を、出力部209を通じて行う。端末102は、テンプレートのサムネイルとして、受信されたテンプレートサムネイル応答メッセージに含まれるテンプレートサムネイルデータをコンテンツ編集画面591に表示する。
 コンテンツ編集画面591は、シーン表示エリア592と、素材表示エリア593と、スライドバー594と、再生ボタン595と、BGM変更ボタン596と、決定ボタン597と、終了ボタン598とを含む。
 ユーザは、図40に示したコンテンツ編集画面591から、作成の基とするテンプレートを選択する。テンプレートの選択は、入力部205を通じて行われる。ユーザは、テンプレートの選択が終われば、決定ボタン597を押す。
 (ステップS406)
 本ステップでは、端末102は、ステップS405で選択されたテンプレートに対して、編集サーバ101にテンプレートデータを要求する。
 ユーザはコンテンツ編集画面591に含まれる再生ボタン595を押す。コンテンツ編集アプリは、再生ボタン595が押されると、テンプレートデータを編集サーバ101から取得するため、テンプレートデータ要求メッセージを送信する。テンプレートデータ要求メッセージは、ステップS314で示したものと同じであるため、説明を省略する。
 (ステップS407)
 本ステップでは、編集サーバ101は、端末102から要求された再生対象のテンプレートを識別する。本ステップでは、ステップS315と同じ処理が行われる。
 (ステップS408)
 編集サーバ101のセキュリティレベル判定部124は、ステップS402で受信したコンテンツ編集要求メッセージ551のセキュリティレベル557の値から、セキュリティレベルを判定する。具体的には、セキュリティレベル判定部124は、セキュリティレベル値が5以下の場合、端末のセキュリティレベルが低いと判定する。
 また、セキュリティレベル値が6以上の場合、セキュリティレベル判定部124は、端末のセキュリティレベルが高いと判定する。
 (ステップS409)
 本ステップでは、編集サーバ101は、テンプレートデータを要求した端末のスクリプト処理能力を判定する。
 編集サーバ101の処理能力判定部123は、ステップS402で受信したテンプレート編集要求メッセージ551のスクリプト処理能力情報556の値が「0」であるかどうかを判定する。この値が「0」の場合は、処理能力判定部123は、端末がスクリプト実行部を保持しない端末、言い換えると、メディア制御スクリプトの実行環境を備えていない端末(端末103)と判定する。また、この値が「0」以外の場合は、処理能力判定部123は、端末がスクリプト実行部を保持する端末、言い換えると、メディア制御スクリプトの実行環境を備えている端末であり、その能力レベルがスクリプト処理能力情報556の値であると判定する。
 (ステップS410)
 本ステップでは、編集サーバ101は、テンプレートデータを要求した端末のセキュリティレベル及びスクリプト処理能力から、作成するテンプレートのコンテンツ形式を決定する。なお、本ステップでは、ステップS318と同じ処理が行われる。
 (ステップS411)
 ステップS410において素材パッケージ型が選択された場合(S411で素材パッケージ)、処理がステップS412へ進み、ステップS410において完全パッケージ型が選択された場合(S411で完全パッケージ)、処理がステップS413へ進む。
 (ステップS412)
 本ステップでは、編集サーバ101は、素材パッケージ型のテンプレートデータを生成する。なお、本ステップでは、ステップS320と同じ処理が行われる。
 (ステップS413)
 本ステップでは、編集サーバ101は、完全パッケージ型のテンプレートデータを生成する。なお、本ステップでは、ステップS321と同じ処理が行われる。
 (ステップS414)
 本ステップでは、編集サーバ101は、テンプレートデータを端末102に送信する。端末102に送信されるテンプレートデータの形式は、ステップS411で判定したものである。
 編集サーバ101の通信部121は、端末102に、ステップS412又はステップS413で生成されたテンプレートデータを含むテンプレートデータ応答メッセージを送信する。なお、テンプレートデータ応答メッセージは、ステップS322で示したものと同じであるため、説明を省略する。
 (ステップS415)
 本ステップでは、端末102は、編集サーバ101から取得したテンプレートデータを再生する。なお、本ステップでは、ステップS323と同じ処理が行われる。但し、再生されたテンプレートデータは、コンテンツ編集画面591に含まれるコンテンツ再生エリア592に表示される。
 ユーザは、再生されたテンプレートデータを確認し、決定ボタン597を押す。別のテンプレートを利用する場合は、ステップS403から処理がやり直される。コンテンツ編集を中断する場合は、ユーザは終了ボタン598を押すことにより、表示画面がマルチメディアコンテンツ編集処理選択画面に戻る。
 (ステップS416)
 本ステップでは、端末102は、ユーザの保持する写真のサムネイル画像を表示する。表示された写真のサムネイル画像の中からテンプレートに埋め込みたい写真をユーザが選択する。
 コンテンツ編集アプリは、端末102の保持する写真のサムネイル画像を、素材表示エリア593に表示する。
 図41は、素材表示エリア593に写真のサムネイル画像が表示されたコンテンツ編集画面591の一例を示す図である。
 ユーザは、素材表示エリア593に表示された写真のサムネイル画像からテンプレートに埋め込みたい写真を選択する。写真は予め決められた枚数まで選択できる。
 (ステップS417)
 本ステップでは、端末102は、ステップS416で選択された写真を、ステップS415で決定したテンプレートに埋め込んだマルチメディアコンテンツを編集サーバ101に要求する。
 コンテンツ編集アプリは、通信部201を通じて、編集サーバ101にマルチメディアコンテンツ要求メッセージを送信する。図42は、マルチメディアコンテンツ要求メッセージ601に含まれるメッセージデータを示す図である。マルチメディアコンテンツ要求メッセージ601は、メッセージ識別子602、バージョン603、テンプレートID604、写真数605、及び写真606をメッセージデータとして含む。
 メッセージ識別子602は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン603は、メッセージのバージョン番号を識別するためのメッセージデータである。テンプレートID604は、ステップS416でユーザが決定したテンプレートに対応するテンプレートIDである。写真数605は、埋め込まれる写真の数である。写真606は、写真データのファイル名である写真ファイル名と、埋め込まれる写真データである写真データとを含む。写真606は、写真数605で指定された数だけ連続して格納される。
 コンテンツ編集アプリは、マルチメディアコンテンツ要求メッセージ601の生成にあたり、メッセージ識別子602に、マルチメディアコンテンツ要求メッセージを表す「0103」を、バージョン603に、初期バージョンを表す「0100」を、テンプレートID604に、ユーザが決定したテンプレートのテンプレートIDを設定する。本実施の形態では、このテンプレートIDは「PM0001」であるとする。写真数605は、埋め込まれる写真の数である。本実施の形態では、この写真の数は「20」であるとする。写真606は、ステップS416でユーザが選択した20枚の写真データを含む。その後、コンテンツ編集アプリは、マルチメディアコンテンツ要求メッセージ601を、通信部201を通じて、編集サーバ101に送信する。
 (ステップS418)
 本ステップでは、編集サーバ101は、端末102から要求されたコンテンツ編集の対象とするテンプレートを識別する。
 編集サーバ101の通信部121は、マルチメディアコンテンツ要求メッセージ601を受信すると、マルチメディアコンテンツ要求メッセージ601のテンプレートID604の値を抽出する。
 (ステップS419)
 本ステップでは、編集サーバ101は、マルチメディアコンテンツを要求した端末のセキュリティレベルとスクリプト処理能力から、作成するマルチメディアコンテンツデータのコンテンツ形式を決定する。
 編集サーバ101の形式決定部122は、ステップS408で判定された端末のセキュリティレベルが低い場合、又は、ステップS409で端末がスクリプト実行部を保持しないと判定された場合、完全パッケージ型のマルチメディアコンテンツデータを生成する。これ以外の場合は、形式決定部122は、素材パッケージ型のマルチメディアコンテンツデータを生成する。
 また、素材パッケージ型が選択された場合(S419で素材パッケージ)、処理がステップS420へ進み、完全パッケージ型が選択された場合(S419で完全パッケージ)、処理がステップS421へ進む。
 (ステップS420)
 本ステップでは、編集サーバ101は、素材パッケージ型のマルチメディアコンテンツデータを生成する。
 まず、素材パッケージ生成部125は、ステップS418で識別したテンプレートIDに対応するテンプレートに含まれる素材データと素材IDを全て取得する。その後、素材パッケージ生成部125は、素材データに含まれるメディア制御スクリプトを、ステップS409で判定した端末のスクリプト処理能力に応じた再構成する。素材データの取得、及びメディア制御スクリプトの再構成は、ステップS320に示した方法により行われる。また、ステップS418で受信した写真データの埋め込みは、メディア制御スクリプトから参照する写真ファイル名に、ステップS418で受信した写真ファイル名を埋め込むことにより行われる。
 最後に、素材パッケージ生成部125は、取得した画像データ及びBGMデータと、再構成を行ったメディア制御スクリプトと、マルチメディアコンテンツ要求メッセージ601に含まれる写真データとを図33に示すフォーマットでアーカイブする。
 (ステップS421)
 本ステップでは、編集サーバ101は、完全パッケージ型のマルチメディアコンテンツデータを生成する。
 まず、完全パッケージ生成部126は、ステップS418で識別したテンプレートIDに対応するテンプレートに含まれる素材データ及び素材IDを全て取得する。
 さらに、編集サーバ101のスクリプト実行部128は、テンプレートに含まれる素材データの中のメディア制御スクリプトを実行する。スクリプト実行部128で実行されたメディア制御スクリプトは、素材データ中の画像データ、BGMデータ及びマルチメディアコンテンツ要求メッセージ601に含まれる写真データを利用して、マルチメディアコンテンツを再生する。完全パッケージ生成部126は、再生されたマルチメディアコンテンツをキャプチャすることで、完全パッケージ形式のマルチメディアコンテンツデータを生成する。
 最後に、編集サーバ101の素材情報埋め込み部127は、アーカイブIDの生成を行う。その後、アーカイブID、及びテンプレートに含まれる素材データの素材IDの保護が行われ、保護されたIDが、完全パッケージ形式のマルチメディアコンテンツデータに埋め込まれる。アーカイブID及び素材IDの保護は、編集サーバ101の素材情報保護部129が行う。
 (ステップS422)
 本ステップでは、編集サーバ101は、マルチメディアコンテンツデータを端末102に送信する。端末102に送信されるマルチメディアコンテンツデータの形式は、ステップS411で判定したものである。
 編集サーバ101の通信部121は、端末102に、ステップS420又はステップS421で生成されたマルチメディアコンテンツデータを含むマルチメディアコンテンツ応答メッセージを送信する。図43は、マルチメディアコンテンツ応答メッセージ611に含まれるメッセージデータを示す図である。マルチメディアコンテンツ応答メッセージ611は、メッセージ識別子612、バージョン613、マルチメディアコンテンツデータ形式識別子614、及びマルチメディアコンテンツデータ615をメッセージデータとして含む。
 メッセージ識別子612は、端末102及び編集サーバ101が送受信するメッセージを識別するためのメッセージデータである。バージョン613は、メッセージのバージョン番号を識別するためのメッセージデータである。マルチメディアコンテンツデータ形式識別子614は、メッセージに含まれるマルチメディアコンテンツデータが素材パッケージ形式か完全パッケージ形式かを識別するための識別子である。マルチメディアコンテンツデータ615はマルチメディアコンテンツデータである。
 通信部121は、マルチメディアコンテンツ応答メッセージ611の生成にあたり、次の処理を行う。
 メッセージ識別子612に、マルチメディアコンテンツ応答メッセージを表す「0104」を、バージョン613に、初期バージョンを表す「0100」を、それぞれ、設定する。
 また、ステップS411において、素材パッケージ形式のマルチメディアコンテンツデータを生成すると判定された場合、通信部121は、マルチメディアコンテンツデータ形式識別子614に、素材パッケージ形式を表す「0001」を設定する。通信部121は、ステップS411において、完全パッケージ形式のマルチメディアコンテンツデータを生成すると判定された場合、マルチメディアコンテンツデータ形式識別子614に、完全パッケージ形式を表す「0002」を設定する。
 さらに、通信部121は、マルチメディアコンテンツデータ615に、ステップS420又はステップS421で生成されたマルチメディアコンテンツデータを設定する。
 その後、通信部121は、生成されたマルチメディアコンテンツ応答メッセージ611を、端末102に送信する。
 (ステップS423)
 本ステップでは、端末102は、編集サーバ101から取得したマルチメディアコンテンツデータを再生する。
 マルチメディアコンテンツデータの再生は、ステップS323と同じ処理である。但し、再生されたマルチメディアコンテンツデータは、コンテンツ編集画面591に含まれるコンテンツ再生エリア592に表示される。
 ユーザは、再生されたマルチメディアコンテンツデータを確認する。さらにコンテンツを再編集が行われる場合は、ステップS405から処理がやり直される。コンテンツ編集を終了する場合は、ユーザが終了ボタン598を押すことにより、表示画面がマルチメディアコンテンツ編集処理選択画面に戻る。
 以上で、コンテンツ編集処理の説明を終わる。
 なお、本コンテンツ編集処理において、写真画像による編集処理を説明したが、動画についても、同様の処理を行うことにより編集を行うことができる。
 なお、本コンテンツ編集処理において、編集サーバ101は、端末102及び端末103を認証した上でメッセージ通信を行ってもよい。これにより、マルチメディアコンテンツデータが意図しない端末に送信されることを防止することができる。さらに、編集サーバ101と端末102及び端末103との間の通信路を暗号化してもよい。これにより、通信路が盗聴されることによるマルチメディアコンテンツデータの横取りを防止することができる。
 なお、ステップS408において、編集サーバ101は、端末のセキュリティレベルをセキュリティレベル値から判定したが、端末種別から判定してもよい。
 なお、ステップS409において、編集サーバ101は、端末のスクリプト処理能力をスクリプト処理能力情報の値から判定したが、端末種別から判定してもよい。
 なお、ステップS411及びステップS419において、端末102のスクリプト処理能力が低い場合、形式決定部122は、作成されるテンプレートデータのコンテンツ形式を完全パッケージ型に決定してもよい。これにより、再編集の自由度が減るが、表示効果をあげることができる。
 なお、ステップS416において、端末102は、端末102の保持する写真を編集サーバ101に送信したが、端末102に接続されている、ユーザが所持するデジタルスチルカメラ、デジタルムービーカメラ、及び携帯電話等の機器に保持されている写真を編集サーバ101に送信してもよい。また、端末102は、ユーザが利用しているネットワークサービスに保持されている写真を編集サーバ101に送信してもよい。
 なお、ステップS417において、端末102は、テンプレートに埋め込む写真を編集サーバ101に送信したが、端末102のセキュリティレベルが高い場合は、写真ファイル名のみ送信し、写真データを送信しなくてもよい。これにより、通信時間が削減される。また、ユーザの個人情報を含む写真を編集サーバ101に送信することを避けることができる。この場合、マルチメディアコンテンツデータの再生には、端末102の保持する写真データが利用される。
 なお、マルチメディアコンテンツを編集するユーザ(編集ユーザ)と、マルチメディアコンテンツを再生するユーザ(送信先ユーザ)とが異なる場合にも適用できる。この場合には、ステップS417において、端末102は、送信先ユーザが保有する端末のスクリプト処理能力を、編集サーバ101に送ってもよい。これにより、編集サーバ101は、送信先ユーザが保有する端末のスクリプト処理能力に応じたマルチメディアコンテンツを生成することができる。また、このように編集サーバ101は、送信先ユーザ用のマルチメディアコンテンツを作成後、生成されたマルチメディアコンテンツを送信先ユーザに送信してもよいが、ステップS417以降を送信先ユーザの端末から実行することにより、送信先ユーザ用のマルチメディアコンテンツが生成されてもよい。その場合、ステップS417において、送信先ユーザが保有する端末のスクリプト処理能力、及びセキュリティレベルに応じたマルチメディアコンテンツを生成することができる。
 なお、ステップS414及びS422において、編集サーバ101は、端末のセキュリティレベルが高い場合は、ダウンロード型配信方式でテンプレートを送信し、端末のセキュリティレベルが低い場合は、ストリーミング型配信方式でテンプレート及びマルチメディアコンテンツを送信してもよい。これにより、セキュリティレベルの低い端末におけるテンプレート及びマルチメディアコンテンツを構成する素材データの不正利用を防止することができる。
 なお、ユーザは、あるマルチメディアコンテンツにおいて、そのコンテンツで利用する写真を変えることなく、デコレーション画像のみ変更したい場合は、テンプレート編集処理とコンテンツ編集処理とを順に行うことで実現できる。つまり、元のマルチメディアコンテンツで利用するテンプレートに対して、デコレーション画像を変更するテンプレート編集処理を行い、次に、編集後のテンプレートに対して、元のマルチメディアコンテンツで利用する写真を埋め込むコンテンツ編集処理を行う。このように、テンプレート編集処理とコンテンツ編集処理とを組み合わせることで多彩な処理が実現可能である。
 なお、本実施の形態では、一つのテンプレートを指定してマルチメディアコンテンツを作成する例を示したが、複数のテンプレートを指定することも可能である。その場合、指定した複数のテンプレートが指定順で結合される。
 例として、2つのテンプレートを結合する場合を説明する。編集サーバ101は、テンプレートの結合を、それぞれのテンプレートに含まれるメディア制御スクリプトを結合することにより行う。図44は、2つのメディア制御スクリプトを結合する場合の処理を示す図である。図44に示すように、編集サーバ101は、初期値設定部、描画処理部、及びBGM再生部のそれぞれを指定順に結合する。この処理により、2つのメディア制御スクリプトが表現するシナリオを順に再生することができる。このように結合したテンプレートを利用し、編集サーバ101は、ステップS420又はステップS421において、マルチメディアコンテンツを生成する。
 なお、本実施の形態では、編集サーバ101は、スクリプト蓄積部131に蓄積されているテンプレートを利用し、テンプレート、及びマルチメディアコンテンツの編集を行ったが、編集サーバ101は、端末102に蓄積されている素材パッケージ型テンプレートを利用してもよい。このとき利用される素材パッケージ型テンプレートは、端末102が蓄積するものに限らず、端末102以外の端末、又は他のサーバが蓄積する素材パッケージ型テンプレートであってもよい。端末102に蓄積されているテンプレートを利用する場合、ユーザは、事前に端末102に蓄積されているテンプレートを編集サーバ101にアップロードすることにより、このテンプレートを編集サーバ101に登録する。編集サーバ101は、テンプレートを構成する各素材をテンプレート情報蓄積部130、スクリプト蓄積部131、及びメディアデータ蓄積部132に登録する。また、編集サーバ101は、スクリプト蓄積部131に蓄積されているテンプレートと、端末102に蓄積され、前述した端末102からのアップロードによって端末102から受信した素材パッケージ型テンプレートの両方を利用して、テンプレートの結合等の編集を行ってもよい。
 また、上記説明では、編集サーバ101は、端末の処理能力に応じて、再生シナリオを変更する例を述べたが、端末の処理能力に応じて、マルチメディアコンテンツのフォーマットを変更してもよい。例えば、編集サーバ101は、端末が3D(立体視)映像の表示機能を有している場合には、3Dのマルチメディアコンテンツを生成し、端末が3D映像の表示機能を有していない場合には、2Dのマルチメディアコンテンツを生成してもよい。
 以上のように、本実施の形態に係るマルチメディアコンテンツ編集システム100は、マルチメディアコンテンツ、又はマルチメディアコンテンツのテンプレートに含まれるメディア制御スクリプトを再生端末のスクリプト処理能力に応じて決定又は更新することができる。
 さらに、本実施の形態に係るマルチメディアコンテンツ編集システム100は、マルチメディアコンテンツ、又はマルチメディアコンテンツのテンプレートをメディア再生機能のみ保持する再生機器向けに再構成することで、当該再生機器においてマルチメディアコンテンツ、又はマルチメディアコンテンツのテンプレートと同等の表現を再生することができる。
 また、本実施の形態に係るマルチメディアコンテンツ編集システム100は、セキュリティレベルの低い再生機器において、マルチメディアコンテンツに含まれる素材の不正利用を防止することができる。
 以上、本発明の一態様に係るマルチメディアコンテンツ編集システム100について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
 また、上記実施の形態に係る編集サーバ101、端末102又は端末103が備える構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Ramdom Access Memory)等を含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
 つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
 また、本発明は、このような特徴的な処理部を備える編集サーバ101、端末102又は端末103として実現することができるだけでなく、編集サーバ101、端末102又は端末103に含まれる特徴的な処理部をステップとする編集方法として実現することもできる。また、編集方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、CD-ROM(Compact Disc Read Only Memory)等のコンピュータ読取可能な非一時的な記録媒体又はインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
 また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
 また、上記マルチメディアコンテンツ編集方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
 以上、一つ又は複数の態様に係るマルチメディアコンテンツ編集システム及びマルチメディアコンテンツ編集サーバについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
 上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現される類型はこれに限られるものでない。
 (サービスの類型1:自社データセンタ型)
 図45は、サービスの類型1(自社データセンタ型)を示す。本類型は、サービスプロバイダ4520がグループ4500から情報を取得し、ユーザに対してサービスを提供する類型である。本類型では、サービスプロバイダ4520が、データセンタ運営会社の機能を有している。即ち、サービスプロバイダ4520が、ビッグデータの管理をするクラウドサーバ(データセンタ4503)を保有している。従って、データセンタ運営会社は存在しない。
 本類型では、サービスプロバイダ4520は、データセンタ4503(クラウドサーバ)を運営及び管理している。また、サービスプロバイダ4520は、OS4502及びアプリケーション4501を管理する。サービスプロバイダ4520は、サービスプロバイダ4520が管理するOS4502及びアプリケーション4501を用いてサービス提供を行う(4504)。
 (サービスの類型2:IaaS利用型)
 図46は、サービスの類型2(IaaS利用型)を示す。ここでIaaSとはインフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築及び稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
 本類型では、データセンタ運営会社4510がデータセンタ4503(クラウドサーバ)を運営及び管理している。また、サービスプロバイダ4520は、OS4502及びアプリケーション4501を管理する。サービスプロバイダ4520は、サービスプロバイダ4520が管理するOS4502及びアプリケーション4501を用いてサービス提供を行う(4504)。
 (サービスの類型3:PaaS利用型)
 図47は、サービスの類型3(PaaS利用型)を示す。ここでPaaSとはプラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築及び稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
 本類型では、データセンタ運営会社4510は、OS4502を管理し、データセンタ4503(クラウドサーバ)を運営及び管理している。また、サービスプロバイダ4520は、アプリケーション4501を管理する。サービスプロバイダ4520は、データセンタ運営会社4510が管理するOS4502及びサービスプロバイダ4520が管理するアプリケーション4501を用いてサービス提供を行う(4504)。
 (サービスの類型4:SaaS利用型)
 図48は、サービスの類型4(SaaS利用型)を示す。ここでSaaSとはソフトウェア・アズ・ア・サービスの略である。例えばデータセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社又は個人(利用者)がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
 本類型では、データセンタ運営会社4510は、アプリケーション4501を管理し、OS4502を管理し、データセンタ4503(クラウドサーバ)を運営及び管理している。また、サービスプロバイダ4520は、データセンタ運営会社4510が管理するOS4502及びアプリケーション4501を用いてサービス提供を行う(4504)。
 以上いずれの類型においても、サービスプロバイダ4520がサービス提供行為を行ったものとする。また例えば、サービスプロバイダ又はデータセンタ運営会社は、OS、アプリケーション又はビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注してもよい。
 本発明は、マルチメディアコンテンツ編集システム、及びマルチメディアコンテンツ編集サーバに有用である。
 100 マルチメディアコンテンツ編集システム
 101 編集サーバ
 102、103 端末
 111 受信部
 112 スクリプト生成部
 113 マルチメディアコンテンツ生成部
 114 送信部
 121、201 通信部
 122 形式決定部
 123 処理能力判定部
 124 セキュリティレベル判定部
 125 素材パッケージ生成部
 126 完全パッケージ生成部
 127 素材情報埋め込み部
 128、207 スクリプト実行部
 129 素材情報保護部
 130 テンプレート情報蓄積部
 131 スクリプト蓄積部
 132 メディアデータ蓄積部
 133 コンテンツ素材取得部
 202 処理能力蓄積部
 203 コンテンツ情報蓄積部
 204 セキュリティ情報蓄積部
 205 入力部
 206 コンテンツ形式解析部
 208 メディア再生部
 209 出力部
 210 制御部
 301 スクリプト処理能力テーブル
 302 バージョン情報
 303、376、556 スクリプト処理能力情報
 311 コンテンツ情報テーブル
 312 マルチメディアコンテンツ記憶場所
 313 編集者ID
 314、332、414、454、474、494、604 テンプレートID
 315、334 テーマID
 316、322、336、342 素材テーブルID
 321、341 素材テーブル
 323、343、352、362、476、518 素材ID
 324、344、363、517 素材タイプ
 325、345、364、521 素材データ
 331 テンプレートテーブル
 333 テンプレート名
 335 テーマ名
 337、405 テンプレートサムネイル
 351 スクリプトテーブル
 353 スクリプトデータ
 361 メディアデータテーブル
 371 テンプレート編集要求メッセージ
 372、382、392、402、412、422、452、462、472、482、492、542、552、582、602、612 メッセージ識別子
 373、383、393、403、413、423、453、463、473、483、493、543、553、583、603、613 バージョン
 374、554 ユーザID
 375、555 スクリプト実行部バージョン
 377、557 セキュリティレベル
 381 テンプレート編集応答メッセージ
 384 テンプレート編集アプリケーション
 391 テンプレートサムネイル要求メッセージ
 401 テンプレートサムネイル応答メッセージ
 404 テンプレートサムネイル数
 411 テンプレート代表シーン要求メッセージ
 421 テンプレート代表シーン応答メッセージ
 424 テンプレート代表シーン数
 425 テンプレート代表シーン
 431 テンプレート編集画面
 432、592 シーン表示エリア
 433、593 素材表示エリア
 434、594 スライドバー
 435、595 再生ボタン
 436、596 BGM変更ボタン
 437、598 終了ボタン
 441 代表シーン
 451 デコレーション画像要求メッセージ
 461 デコレーション画像応答メッセージ
 464 デコレーション画像数
 465、702 デコレーション画像
 471 デコレーション画像置き換え要求メッセージ
 475 タイムコード
 477 置き換え素材ID
 481 デコレーション画像置き換え応答メッセージ
 484 ステータス
 491 テンプレートデータ要求メッセージ
 501 初期値設定部
 502 描画処理部
 503 BGM再生処理部
 511 素材データアーカイブ
 512 アーカイブタイプ
 513 アーカイブID
 514 アーカイブファイル名
 515 アーカイブサイズ
 516 素材数
 519 素材ファイル名
 520 素材サイズ
 531 管理情報部
 532 データ部
 533 オブジェクト記述部
 534 素材情報記述部
 541 テンプレートデータ応答メッセージ
 544 テンプレートデータ形式識別子
 545 テンプレートデータ
 551 コンテンツ編集要求メッセージ
 581 コンテンツ編集応答メッセージ
 584 コンテンツ編集アプリケーション
 591 コンテンツ編集画面
 597 決定ボタン
 601 マルチメディアコンテンツ要求メッセージ
 605 写真数
 606 写真
 611 マルチメディアコンテンツ応答メッセージ
 614 マルチメディアコンテンツデータ形式識別子
 615 マルチメディアコンテンツデータ
 701 ユーザ画像
 4500 グループ
 4501 アプリケーション
 4502 OS
 4503 データセンタ(クラウドサーバ)
 4510 データセンタ運営会社
 4520 サービスプロバイダ

Claims (16)

  1.  画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ編集サーバであって、
     端末装置における前記メディア制御スクリプトの処理能力を表す処理能力情報に応じて、前記メディア制御スクリプトを生成するスクリプト生成部と、
     前記メディア制御スクリプトを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ生成部とを備える
     マルチメディアコンテンツ編集サーバ。
  2.  前記再生シナリオは、前記再生効果として前記画像の動きを示し、
     前記スクリプト生成部は、
     前記処理能力が第1の値の場合、前記処理能力が第1の値より低い第2の値の場合よりも、前記画像の動きが大きい又は早い前記メディア制御スクリプトを生成する
     請求項1記載のマルチメディアコンテンツ編集サーバ。
  3.  前記マルチメディアコンテンツ編集サーバは、さらに、
     前記処理能力情報で示される前記処理能力に応じて、前記マルチメディアコンテンツの形式を決定する形式決定部を備え、
     前記マルチメディアコンテンツ生成部は、前記マルチメディアコンテンツ形式決定部において決定されたコンテンツ形式のマルチメディアコンテンツを生成する
     請求項1又は2記載のマルチメディアコンテンツ編集サーバ。
  4.  前記形式決定部は、前記コンテンツ形式として、素材パッケージ形式、及び完全パッケージ形式のいずれかの形式を選択し、
     前記マルチメディアコンテンツ生成部は、
     前記メディア制御スクリプトを実行するスクリプト実行部と、
     前記形式決定部が、前記コンテンツ形式として前記素材パッケージ形式を選択した場合、前記メディアデータと前記メディア制御スクリプトとを含む、前記素材パッケージ形式のマルチメディアコンテンツを生成する素材パッケージ生成部と、
     前記形式決定部が、前記完全パッケージ形式を選択した場合、前記スクリプト実行部が前記メディア制御スクリプトを実行することにより得られた映像データである前記完全パッケージ形式のマルチメディアコンテンツを生成する完全パッケージ生成部とを備える
     請求項3記載のマルチメディアコンテンツ編集サーバ。
  5.  前記形式決定部は、
     前記処理能力情報により、前記端末装置が前記メディア制御スクリプトの実行環境を備えていることが示される場合には、前記素材パッケージ形式を選択し、
     前記処理能力情報により、前記端末装置が前記メディア制御スクリプトの実行環境を備えていないことが示される場合には、前記完全パッケージ形式を選択する
     請求項4記載のマルチメディアコンテンツ編集サーバ。
  6.  前記マルチメディアコンテンツ編集サーバは、さらに、
     前記端末装置から、前記端末装置のセキュリティレベルを受信し、
     前記セキュリティレベルに応じて、前記マルチメディアコンテンツの形式を決定する形式決定部を備え、
     前記マルチメディアコンテンツ生成部は、前記マルチメディアコンテンツ形式決定部において決定されたコンテンツ形式のマルチメディアコンテンツを生成する
     請求項1記載のマルチメディアコンテンツ編集サーバ。
  7.  前記形式決定部は、前記コンテンツ形式として、素材パッケージ形式、及び完全パッケージ形式のいずれかの形式を選択し、
     前記マルチメディアコンテンツ生成部は、
     前記メディア制御スクリプトを実行するスクリプト実行部と、
     前記形式決定部が、前記コンテンツ形式として前記素材パッケージ形式を選択した場合、前記メディアデータと前記メディア制御スクリプトとを含む、前記素材パッケージ形式のマルチメディアコンテンツを生成する素材パッケージ生成部と、
     前記形式決定部が、前記完全パッケージ形式を選択した場合、前記スクリプト実行部が前記メディア制御スクリプトを実行することにより得られた映像データである前記完全パッケージ形式のマルチメディアコンテンツを生成する完全パッケージ生成部とを備える
     請求項6記載のマルチメディアコンテンツ編集サーバ。
  8.  前記マルチメディアコンテンツ編集サーバは、さらに、、前記形式決定部が、前記完全パッケージ形式を選択した場合において、
     前記端末装置のセキュリティレベルが第1レベルである場合には、ダウンロード型配信方式で前記マルチメディアコンテンツを前記端末装置へ送信し、
     前記端末装置のセキュリティレベルが前記第1レベルより低い第2レベルである場合には、ストリーミング型配信方式で前記マルチメディアコンテンツを前記端末装置へ送信する
     請求項7記載のマルチメディアコンテンツ編集サーバ。
  9.  前記マルチメディアコンテンツ生成部は、
     前記形式決定部が、前記完全パッケージ形式を選択した場合、前記メディアデータ及び前記メディア制御スクリプトの格納場所を示す素材情報を前記マルチメディアコンテンツに追加する素材情報埋め込み部を備える
     請求項4記載のマルチメディアコンテンツ編集サーバ。
  10.  前記マルチメディアコンテンツ生成部は、さらに、
     前記素材情報の保護を行う素材情報保護部を備える
     請求項9記載のマルチメディアコンテンツ編集サーバ。
  11.  前記スクリプト生成部は、さらに、更新対象である複数のメディア制御スクリプトを結合することにより新たなメディア制御スクリプトを生成する
     請求項1~10のいずれか1項に記載のマルチメディアコンテンツ編集サーバ。
  12.  前記スクリプト生成部は、さらに、更新対象であるメディア制御スクリプトの一部又は全部を置き換えることにより新たなメディア制御スクリプトを生成する
     請求項1~10のいずれか1項に記載のマルチメディアコンテンツ編集サーバ。
  13.  前記スクリプト生成部は、更新対象であるメディア制御スクリプトの一部を削除することにより新たなメディア制御スクリプトを生成する
     請求項1~10のいずれか1項に記載のマルチメディアコンテンツ編集サーバ。
  14.  画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ編集方法であって、
     端末装置における前記メディア制御スクリプトの処理能力を表す処理能力情報に応じて、前記メディア制御スクリプトを生成するスクリプト生成ステップと、
     前記メディア制御スクリプトを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ生成ステップとを含む
     マルチメディアコンテンツ編集方法。
  15.  請求項14記載のマルチメディアコンテンツ編集方法をコンピュータに実行させるための
     プログラム。
  16.  画像を含むメディアデータと、前記メディアデータの配置、再生順序及び再生効果のうちの少なくとも一つを含む再生シナリオを制御するメディア制御スクリプトとを含むマルチメディアコンテンツを生成する集積回路であって、
     端末装置における前記メディア制御スクリプトの処理能力を表す処理能力情報に応じて、前記メディア制御スクリプトを生成するスクリプト生成部と、
     前記メディア制御スクリプトを含むマルチメディアコンテンツを生成するマルチメディアコンテンツ生成部とを備える
     集積回路。
PCT/JP2013/000667 2012-02-09 2013-02-07 マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路 WO2013118505A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/009,629 US9099151B2 (en) 2012-02-09 2013-02-07 Multimedia content editing server, multimedia content editing method, program, and integrated circuit
CN201380000994.0A CN103460707B (zh) 2012-02-09 2013-02-07 多媒体内容数据编辑服务器、多媒体内容数据编辑方法及集成电路
JP2013530476A JP6004283B2 (ja) 2012-02-09 2013-02-07 マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012025766 2012-02-09
JP2012-025766 2012-02-09

Publications (1)

Publication Number Publication Date
WO2013118505A1 true WO2013118505A1 (ja) 2013-08-15

Family

ID=48947275

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000667 WO2013118505A1 (ja) 2012-02-09 2013-02-07 マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路

Country Status (4)

Country Link
US (1) US9099151B2 (ja)
JP (1) JP6004283B2 (ja)
CN (1) CN103460707B (ja)
WO (1) WO2013118505A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020174329A (ja) * 2019-04-12 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示方法およびコンピュータプログラム
AU2021202992B2 (en) * 2013-09-08 2022-09-08 Kayihan ERIS System of Automated Script Generation With Integrated Video Production

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140123169A1 (en) * 2012-10-26 2014-05-01 Adara Technologies Inc. Simulcasting conditional access channel service offerings for video delivery in a telecommunications network
WO2014123337A1 (en) * 2013-02-06 2014-08-14 Samsung Electronics Co., Ltd. System and method for providing object via which service is used
US20190141217A1 (en) * 2013-09-08 2019-05-09 Kayihan ERIS System of automated script generation with integrated video production
EP3258672A4 (en) * 2015-04-30 2018-02-28 Huawei Technologies Co., Ltd. Cloud file transmission method, terminal and cloud server
US10546058B2 (en) * 2015-11-09 2020-01-28 Microsoft Technology Licensing, Llc Creating and modifying applications from a mobile device
US11089349B2 (en) * 2017-01-20 2021-08-10 Hanwha Techwin Co., Ltd. Apparatus and method for playing back and seeking media in web browser
JP7093717B2 (ja) * 2018-11-28 2022-06-30 株式会社日立製作所 ネットワークシステム
US11853985B2 (en) * 2021-05-27 2023-12-26 The Toronto-Dominion Bank Systems and methods for configuring resource transfers
CN117376635A (zh) * 2022-06-30 2024-01-09 北京字跳网络技术有限公司 多媒体数据处理方法、装置、设备、存储介质和程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211443A (ja) * 2000-01-27 2001-08-03 Mega Chips Corp 情報配信システム
JP2007048154A (ja) * 2005-08-11 2007-02-22 Canon Inc 表示データ送信装置、表示データ送信方法及びディスプレイシステム
JP2007295552A (ja) * 2002-12-12 2007-11-08 Sharp Corp マルチメディアデータ処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210603B2 (ja) * 1997-07-04 2001-09-17 インターナショナル・ビジネス・マシーンズ・コーポレーション イメージの処理方法、サーバ及び記録媒体
JPH11134264A (ja) 1997-10-29 1999-05-21 Hitachi Ltd データ変換装置、データ変換装置を有するネットワークシステム、および、データ変換装置上で動作するプログラムを記録した記録媒体
US20040133924A1 (en) * 2000-12-15 2004-07-08 Wilkins David C. Techniques for syncronizing any of a plurality of associated multimedia assets in a distributed system
JP2002297494A (ja) 2001-03-30 2002-10-11 Seiko Epson Corp データ配信システム、端末装置、シナリオプロキシサーバおよびデータ配信方法
TW200408227A (en) 2002-10-15 2004-05-16 Matsushita Electric Ind Co Ltd Digital item adaptation system via URL
CN1726708B (zh) * 2002-12-12 2016-06-01 夏普株式会社 能轻松地预备多媒体内容的多媒体数据处理设备
JP4369434B2 (ja) 2002-12-12 2009-11-18 シャープ株式会社 マルチメディアデータ処理装置、マルチメディアデータ処理プログラム、およびマルチメディアコンテンツデータのデータ構造
JP3987025B2 (ja) 2002-12-12 2007-10-03 シャープ株式会社 マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP3987096B2 (ja) 2002-12-12 2007-10-03 シャープ株式会社 マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP4270906B2 (ja) 2003-02-28 2009-06-03 独立行政法人情報通信研究機構 コンテンツ配信システム
WO2009127067A1 (en) * 2008-04-17 2009-10-22 Microsystemes Dog Inc. Method and system for virtually delivering software applications to remote clients
JPWO2011030811A1 (ja) 2009-09-14 2013-02-07 日本電気株式会社 配信システム、ゲートウェイ、配信方法及びプログラム
KR101318985B1 (ko) * 2011-08-25 2013-11-21 주식회사 팬택 클라우드 컴퓨팅에서의 콘텐츠 보안 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211443A (ja) * 2000-01-27 2001-08-03 Mega Chips Corp 情報配信システム
JP2007295552A (ja) * 2002-12-12 2007-11-08 Sharp Corp マルチメディアデータ処理装置
JP2007048154A (ja) * 2005-08-11 2007-02-22 Canon Inc 表示データ送信装置、表示データ送信方法及びディスプレイシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2021202992B2 (en) * 2013-09-08 2022-09-08 Kayihan ERIS System of Automated Script Generation With Integrated Video Production
JP2020174329A (ja) * 2019-04-12 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示方法およびコンピュータプログラム
JP7365132B2 (ja) 2019-04-12 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2013118505A1 (ja) 2015-05-11
JP6004283B2 (ja) 2016-10-05
US20140056576A1 (en) 2014-02-27
CN103460707A (zh) 2013-12-18
US9099151B2 (en) 2015-08-04
CN103460707B (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
JP6004283B2 (ja) マルチメディアコンテンツ編集サーバ、マルチメディアコンテンツ編集方法、プログラム及び集積回路
KR101926018B1 (ko) 동영상 녹화 방법 및 시스템
JP5402079B2 (ja) 対話システム及び対話システムのためのプログラム
EP2060980A2 (en) Server and client device, and information processing system and method
JP5371489B2 (ja) 画像管理装置およびその制御方法、ならびに、プログラムおよび記憶媒体
JP2008234596A (ja) 情報処理システム、情報処理装置、情報処理方法、プログラム
KR102162714B1 (ko) 표시 제어 방법, 단말 및 프로그램을 기록한 기록 매체
US20070226399A1 (en) Recording Medium, and Information Processing Device and Information Processing Method for the Recording Medium
JP7501372B2 (ja) 情報処理装置および情報処理方法
WO2015073593A1 (en) Method and apparatus for distribution and presentation of audio visual data enhancements
WO2021020142A1 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
WO2020196006A1 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム
JPWO2017141745A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20140123497A (ko) 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법과 프로그램
JP2004206810A (ja) データ管理方法、データ管理装置、データ管理プログラム、データ管理プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP7468530B2 (ja) ファイル処理装置、ファイル処理方法、及び、プログラム
KR100960767B1 (ko) 기록 방법 및 기록 장치
JP7218105B2 (ja) ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム
KR100967972B1 (ko) 기록 방법
KR20220103109A (ko) 파일 처리 장치 및 파일 처리 방법
JPWO2012005309A1 (ja) コンテンツ配信システム、コンテンツ配信装置、及びコンテンツ操作プログラム
JP2021111838A (ja) ファイル生成装置、ファイル再生装置、ファイルの生成方法、ファイルの再生方法、およびプログラム
JP2010206540A (ja) ファイル生成装置、ファイル再生装置およびコンピュータプログラム
WO2010116985A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2019003531A (ja) 映像生成プログラム、モバイル端末、及び映像管理システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013530476

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13746771

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14009629

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13746771

Country of ref document: EP

Kind code of ref document: A1