WO2005011263A1 - 動画生成配信システム及び携帯端末用撮影サポートツール - Google Patents

動画生成配信システム及び携帯端末用撮影サポートツール Download PDF

Info

Publication number
WO2005011263A1
WO2005011263A1 PCT/JP2004/009311 JP2004009311W WO2005011263A1 WO 2005011263 A1 WO2005011263 A1 WO 2005011263A1 JP 2004009311 W JP2004009311 W JP 2004009311W WO 2005011263 A1 WO2005011263 A1 WO 2005011263A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
mobile terminal
server
image
generation
Prior art date
Application number
PCT/JP2004/009311
Other languages
English (en)
French (fr)
Inventor
Hiroshi Suzuki
Ichiro Okuyama
Original Assignee
Field System, Inc.
Skip, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2003432580A external-priority patent/JP2005192028A/ja
Priority claimed from JP2003432277A external-priority patent/JP2005045757A/ja
Application filed by Field System, Inc., Skip, Ltd. filed Critical Field System, Inc.
Publication of WO2005011263A1 publication Critical patent/WO2005011263A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50Telephonic communication in combination with video communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/25Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
    • H04M2203/251Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably
    • H04M2203/253Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably where a visual mode is used instead of a voice mode

Definitions

  • the present invention relates to a system for transmitting and delivering images via wireless communication, and more particularly to a system for transmitting and delivering still images and moving images between a portable terminal and a server. Further, the present invention relates to a mobile terminal that transmits and receives images to and from a server, and more particularly, to a support tool and a program for supporting a user when the user shoots using the mobile terminal.
  • Patent Document 1 listed below discloses an image (moving image or still image) captured by a mobile phone terminal having a camera function or a video camera function, a PHS, a PDA, or the like via a wireless communication line and the Internet.
  • a system for storing images in a server and conversely, distributing images stored in the server to a mobile phone terminal or the like.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-77860
  • a mobile phone or PHS has a function of displaying an animation character or the like on a display as a standby screen when waiting for an incoming call. Also, an image of the person is registered in association with the individual registered at the address of the mobile phone or the like, and when a call is received from the person, the image is displayed on the display as a reception screen. It also has a function to do it.
  • Patent Document 2 discloses a function of attaching a detachable digital camera to a mobile phone and setting a still image shot by the camera as a standby screen of the mobile phone.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2002-77701 [0006]
  • mobile phones with a camera function, PDAs with a camera function, and the like have been rapidly spreading. Images taken with these mobile terminals are transmitted to acquaintances via wireless communication via Internet mail, and image distribution service providers distribute still image and video image content to users' mobile terminals. Services to be performed.
  • Patent Document 3 discloses an image (moving image or still image) shot by a mobile phone terminal having a camera function or a video camera function, a PHS, a PDA, or the like via a wireless communication line and the Internet.
  • a system for storing images in a server and conversely, distributing images stored in the server to a mobile phone terminal or the like.
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2002-77860
  • Patent Document 1 simply transmits and receives image information via a network.
  • the invention described in Patent Document 2 merely performs simple processing such as reduction and change of display color on an image captured by a mobile phone with a camera function, and displays the image on the mobile phone. This is because, in general, image processing capability and memory capacity of a mobile phone are so small that complicated image processing cannot be performed, but such simple image processing alone lacks entertainment.
  • Patent Document 3 simply transmits and receives an image captured by a mobile terminal between a mobile terminal and a server via a network without any change. Lacks sex. In addition, it is up to the user to decide how to shoot with mobile terminals.
  • the present invention has been made in view of such a problem, and a moving image generation and distribution for distributing a highly entertaining moving image to the mobile terminal while effectively using the wireless communication function of the mobile terminal.
  • the purpose is to provide a system.
  • the present invention provides a portable terminal that supports user photographing on a portable terminal so that a video with a high effect is generated using an image photographed by the portable terminal in a server of the image generation and distribution system. The purpose of this is to provide a shooting support tool.
  • a moving image generation and distribution system for transmitting and receiving images between a mobile terminal and a server, wherein the mobile terminal has a camera function and A wireless communication function configured to transmit a plurality of still images to the server by the wireless communication function, wherein the server generates a moving image based on the plurality of still images arranged in a predetermined order;
  • the mobile terminal is configured to distribute the moving image to the portable terminal.
  • a server for a moving image generation and distribution system is a server used for a moving image generation and distribution system for transmitting and receiving an image to and from a portable terminal having a wireless communication function. And generating a moving image in which a plurality of still images received from the mobile terminal are arranged in a predetermined order, and distributing the moving image to the mobile terminal.
  • a moving image generation and distribution method is a moving image generation and distribution method for transmitting and receiving an image between a mobile terminal and a server by a moving image generation and distribution system.
  • the moving image generation and distribution program is a moving image generation and distribution program for causing a computer that transmits and receives images to and from a mobile terminal having a wireless communication function to execute a moving image generation and distribution process.
  • the shooting support tool for a mobile terminal according to the present invention is provided on a mobile terminal having a camera function for shooting an image combined with an original image on a server of the image generation and distribution system.
  • a photographing support tool for a portable terminal that supports photographing by a user, wherein photographing by the user is performed using a function of the portable terminal so that an image suitable for image synthesis on the server is photographed. It is characterized by support.
  • the shooting support program for a mobile terminal according to the present invention includes a mobile terminal provided with a camera function for shooting an image synthesized with an original image on a server of the image generation and distribution system.
  • a shooting support program for a mobile terminal that executes a shooting support tool for a mobile terminal that supports shooting by a user, wherein the mobile terminal is configured to shoot an image suitable for image synthesis on the server.
  • the mobile terminal executes a step of supporting photographing by a user using the function of the portable terminal.
  • a moving image having high entertainment properties is generated from a plurality of still images while effectively utilizing the wireless communication function of the mobile terminal, and the moving image is transferred to the mobile terminal. Can be delivered to
  • the support tool and the program for a portable terminal it is possible for a user to easily shoot a well-fitted image suitable for generating a composite image in a server according to a photo frame. . If a voice guide is added, the user can shoot more easily.
  • the shooting support program for the mobile terminal is stored in the server and downloaded to the mobile terminal as needed, the memory area on the mobile terminal can be saved.
  • FIG. 1 is a diagram showing a schematic configuration of a moving image generation and distribution system according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing a schematic configuration of a server according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing a flow of processing when generating a movie according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing the contents of a screen displayed on a display of the mobile phone terminal according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing a part of data contents in a DB according to the first embodiment of the present invention.
  • FIG. 6 shows a processing flow when playing a movie according to the first embodiment of the present invention. It is a flowchart.
  • FIG. 7 is a diagram showing a schematic configuration of a server according to a second embodiment of the present invention.
  • FIG. 8 is a diagram showing the concept of rendering processing according to the second embodiment of the present invention.
  • FIG. 9 is a diagram for explaining the synthesis of the original moving image and the still image according to the second embodiment of the present invention.
  • Garden 10 is a diagram for explaining an example of a photographing support tool for a portable terminal according to the third embodiment of the present invention.
  • FIG. 12 is a view for explaining a photographing support tool for a portable terminal according to a modification of the third embodiment of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of the moving image generation / delivery system 1.
  • the video generation / delivery system 1 includes a server 10 and a plurality of mobile phone terminals 20A to 20C.
  • the server 10 has a function of providing a service of generating and delivering a movie as a moving image from a plurality of still images transmitted from the mobile phone terminal 20.
  • the mobile phone terminal 20 is connected to the base station 30 by wireless communication, and further connected to the server 10 via the Internet (public line network) 40.
  • the mobile phone terminal 20 is equipped with a display for displaying an image and a camera for taking at least a still image.
  • FIG. 2 is a diagram showing a schematic configuration of the server 10.
  • the server 10 includes an arithmetic unit 11 that performs various types of arithmetic processing, a storage device 12, and a DB (database) 13.
  • DB13 a program DB131 storing various programs executed when generating a moving image
  • a display menu DB132 storing data of a menu screen displayed on the display of the mobile phone terminal 20, a frame of the moving image
  • a template DB133 that stores various templates composed of background images
  • a back music DB134 that stores various music played in the background of the video
  • an effects DB135 that stores various effects for performing image processing on images
  • FIG. 3 is a flowchart showing the flow of processing when generating a movie.
  • step 10 the user uses the mobile phone terminal 20 to access the top page of the movie generation / delivery service provided by the server 10.
  • FIG. 4A is a diagram showing the contents of a screen displayed on the display of the mobile phone terminal 20 when the user's power S top page is accessed.
  • the screen of the top page is displayed when the arithmetic unit 11 refers to the data in the display menu DB 132 and distributes necessary data to the portable telephone terminal 20.
  • the screen displays the characters “Top Page”, “banner” such as characters and advertisements, “description” related to the service, and a link “button” to go to the next various setting pages. Is displayed.
  • FIG. 4B is a diagram showing the contents of various setting screens displayed on the mobile phone terminal 20.
  • link buttons of “template”, “back music”, “effect”, “text input”, and “photo transmission” are displayed.
  • the setting screen is also displayed by the computing device 11 in the server 10 receiving the signal indicating that the link button has been pressed, distributing necessary data to the mobile phone terminal 20 with reference to the display menu DB132. Is done.
  • FIG. 5 is a diagram showing a part of the contents of data in DB13
  • FIG. 5a is a diagram showing the contents of data in template DB133.
  • the template DB133 stores the templates of "heart”, “flower garden”, “window frame” and "fractal”. Choose a template.
  • the “heart” template has a heart mark image displayed as a background image
  • the “flower garden” has a flower garden image displayed as a background image
  • the “window frame” has a window frame image as a background image.
  • “Fractal”, in which a frame is displayed, means that a fractal image is displayed as a background image.
  • the content of the template set here is temporarily stored in the storage device 12.
  • the user selects “back music” on the setting screen of FIG. 4b, and sets the back music in S13. This setting is performed by the user selecting desired back music from the data in the back music DB 134 shown in FIG. 5B.
  • “melody 1” to “melody 4” are stored in the back music DB 134.
  • the content of the back music set here is temporarily stored in the storage device 12.
  • the user selects “Effect” on the setting screen in FIG. 4B, and sets an effect in S14.
  • This setting is performed by the user selecting a desired effect from the data in the effect DB 135 shown in FIG. 5C.
  • the effects DB135 store “black and white”, “pan”, “zoom”, “random”, and “composite” effects.
  • the “black and white” effect is for processing a movie into a black and white image
  • the “pan” effect is for giving the effect of moving the viewpoint to the movie
  • the “zoom” effect is for expanding the movie.
  • the effect of "random” is a process that creates a movie in which multiple photographic images are switched in random order
  • the effect of "composite” is a movie that combines and displays two photographic images at the same time. Processing.
  • the contents of the effect set here are stored in the storage device 12.
  • the user selects “text input” on the setting screen in FIG. 4B, and sets text characters to be displayed on the movie in S15.
  • This text character is input when the user presses a key of the mobile phone 20.
  • the input text is transmitted from the mobile phone terminal 20 to the server 10, and stored in the storage device 12 by the arithmetic device 11. If there is no need to insert text into the movie, this step may be omitted.
  • the user who has completed the various settings described above proceeds to S 16, selects a plurality of photographic images serving as a basis for movie generation, and transmits the selected photographic images to the server 10.
  • the transmitted photographic image is photographed in advance using the camera function of the mobile phone terminal 20, and the user appropriately selects from the photographic images stored in the memory of the mobile phone terminal 20.
  • four photographic images are selected, but if there are a plurality of photographic images, the number can be appropriately changed.
  • the mail software of the mobile phone terminal 20 is activated, and the destination of the mail to be transmitted is set to the address in the server 10.
  • the user can select four photographic images to be made into a movie from the photographic images stored in the memory, and attach them to this e-mail, thereby transmitting them to the server 20.
  • the server 10 that has received the photographic image stores the received image in the storage device 12.
  • the sample photo DB 136 of the server 10 stores sample photo images in advance, so that the user may select an image from these. In this case, add a photo selection button on the setting screen in Fig. 4b and link it to the sample photo DB136.
  • the arithmetic unit 11 of the server 10 performs image processing according to the settings in S12 to S15 on the photo image stored in the storage device 12, Create a movie.
  • This image processing is performed using various programs stored in the program DB 131.
  • image processing according to the above settings is performed on the movie. For example, a template of "window frame” was selected in S12, a back music of "Melody 1" was selected in S13, a "zoom” effect was selected in S14, and a text of "FIELD SYSTEM" was input in S15.
  • a movie is generated in which four pictures are displayed in the window frame in sequence with the letters "FIELD SYSTEM", and the pictures and letters are zoomed one after another, and "Melody 1" flows in the background. Is performed.
  • the movie generated here is stored in the storage device 12 for later distribution to the user.
  • the server sends a confirmation email notifying the fact to the user's mobile phone terminal 20 (S 18).
  • This email contains an address to access the movie and a password to download the movie.
  • FIG. 6 is a flowchart showing the flow of processing when playing a movie.
  • a user who wants to download a movie accesses the download page, such as the address link of the confirmation mail (S20).
  • the download password described in the confirmation mail is input from the mobile phone terminal 20 (S21). Password received If the password is correct, the server 10 delivers the movie stored in the storage device 12 to the mobile phone terminal 20. That is, the user can download the movie (S22).
  • the downloaded movie is stored in the memory in the mobile phone terminal 20, so that the user can appropriately play the movie (S23).
  • Detailed explanation is omitted, but downloaded movies can be set as standby screen and incoming screen
  • the functions of the moving image generation / delivery system 1 are realized by installing programs for realizing these functions in the server 10 ⁇ the mobile phone terminal 20.
  • the program may be installed on the server 10 by directly installing the program on a computer using a recording medium such as a CD-ROM storing the program, or by installing the program via a network.
  • the program may be installed in the mobile phone terminal 20 via a network, or a program may be incorporated when the terminal is manufactured.
  • the server that receives a plurality of still images captured by the mobile phone terminal with a camera function is capable of performing entertainment. It is configured to generate high-quality movies and distribute them to mobile phone terminals, so that users can easily enjoy movies on their mobile phone terminals.
  • the movie since the movie is generated by the server, it is not necessary for the mobile phone terminal to have advanced image processing capability.
  • a movie is created from a plurality of still images, it is possible to create a movie having more entertaining properties as compared to simply creating a movie from a single still image.
  • a wide variety of movies can be created by devising and enhancing the processing functions on the server side. For example, in the case of creating a movie that combines two images, in the case of a single still image, two people are required to have an image, but in the case of multiple still images, Can easily create a movie that combines still images captured independently.
  • the present invention is not limited to the configuration according to the present embodiment, and various modifications can be made without departing from the spirit of the present invention.
  • you can download it not only by the user who created the movie, but also by his friends.
  • the server may be configured to transmit the address of the movie and the password to the input address.
  • the pay service can be combined with a charging system.
  • a charging system may be arranged in the middle of the base station and the Internet, and a user who uses the service may be specified, and charging may be performed on a pay-as-you-go or flat-rate basis.
  • a mobile phone terminal is used as a user terminal.
  • the present invention is not limited to this, and any mobile terminal having a camera function and a wireless communication function may be used.
  • a PHS having a camera function, a PDA or a portable game machine having a camera function and a wireless communication function, a digital camera having a wireless communication function, or the like may be used.
  • the camera function and the wireless communication function may be realized by an optional function that is not limited to the one built in the main body, or may be realized later by an external device.
  • the folder in the mobile phone terminal is deleted. It may be configured to directly specify and transmit to the server.
  • the back music may use the music data in the mobile phone terminal that is linked to the data in the music DB of the server. In this case, the music data in the portable terminal may be transmitted to the server using a mail function or the like.
  • data in the DB is not limited to these, and data can be added or changed as appropriate.
  • an effect pattern in which the user automatically makes settings for the template, the back music, and the like one by one may be prepared.
  • an effect pattern DB storing various effect patterns is prepared in the DB.
  • an effect pattern for example, an effect pattern having a predetermined theme such as “encounter”, “adventure”, “elegant”, “dandy” or the like can be considered.
  • predetermined data that matches the theme of the effect pattern is previously associated with template settings, back music settings, effect settings, and text input. It is linked.
  • a heart-shaped frame is set as a template, and as an effect setting, the images of the two appear from the left and right sides of the screen so as to highlight the relationship between the two.
  • the approach pattern can be thought of as approaching, and setting it so that it will white out when it fits in the center, and set the two names to be displayed before white out as the text setting.
  • the user can select the desired effect pattern and then simply transmit a photographic image to automatically generate the desired movie. Movies can be created more easily.
  • it may be configured to provide a sample movie (using a sample photo) of each of the effect patterns. In this way, the user can refer to when selecting a photographic image that makes it easy to capture the image of each effect pattern.
  • the server 20 may be configured to provide a template suitable for the region. For example, in Hokkaido, Eskimo costumes are provided, in Mito, Komon-sama, and in Osaka, the image of a fallen human figure is provided. Such region-specific images may be stored as template images in the sample photo DB 136 stored in the template DB 133 as templates.
  • the configuration of the moving image generation and distribution system according to the second embodiment is basically the same as the system according to the first embodiment shown in FIG. Only the details will be described.
  • a moving image is generated from a plurality of still images in the server 10
  • an original moving image rendered in advance is prepared on the server side.
  • the major feature is that a movie (moving image) is generated by combining the original moving image with the image transmitted from the mobile phone terminal.
  • the server 50 includes a computing device 51, a storage device 52, and a DB 53, like the server 10 of the first embodiment.
  • the DB 53 includes a program DB 531, a display menu DB 532, a template DB 533, a sound DB 534, an effect DB 535, a still picture DB 536, an original moving picture DB 537, a text DB 538, a text DB 539, and a final letter DB 540.
  • Program DB531 includes various programs executed when a movie is generated
  • display menu DB532 includes menu screen data displayed on the display of mobile phone terminal 20
  • template DB533 includes still images and text.
  • DB534 stores various music to be played in the background of the movie
  • the effects DB535 stores various effects for applying effects processing to various data such as digital processing of images and sounds. ing.
  • the still image DB536 contains a still image transmitted from the mobile phone terminal 20
  • the original movie DB537 contains the original movie such as a movie or CM used as the basis of the movie
  • the text DB538 contains the user movie.
  • Character data input via the mobile phone terminal 20 object DB539 stores objects such as CG and 3D images to be added to the original image
  • filter DB540 stores filters that act on the entire image such as film noise. Have been. If the original movie is a CM or movie scene and sound is originally attached, the sound corresponding to the original movie of the original movie DB537 is stored in the sound DB534. In the original moving image, a portion into which a still image can be inserted is shown in advance.
  • the following processing in the server 50 is executed by the arithmetic unit 51 while controlling the storage unit 52 and the like according to the program stored in the program DB 531.
  • the user selects, via the mobile phone terminal 20, an original moving image for generating a movie, an object, a filter, an effect, a sound, and the like. This selection is performed in the same manner as in the first embodiment.
  • the sound corresponding to the original video is stored in the sound DB 534
  • the corresponding sound is automatically selected as the default when the user selects the original image. It is of course possible to do so.
  • the still image and character data are transmitted, these data are stored in the still image DB 536 and the text DB 538.
  • the still image for example, a photograph image of the user himself or a friend photographed using the camera function of the mobile phone terminal 20 is assumed.
  • the still images and texts may be selected by the neutral user of the template DB533.
  • rendering processing is performed using the materials constituting the movie selected and transmitted by the user, that is, the original moving image, the sent image, the text, the object, and the filter as layers, and a movie is generated.
  • Figure 8 shows the concept of this rendering process. As shown in the figure, a still image is first synthesized on the original moving image, and then rendering processing is performed in the order of text, object, and filter. Sound is also synthesized as back music for the movie. At this time, if the user has selected an effect for each layer or sound, the rendering process is executed after the effect is applied to each layer.
  • FIG. 9a shows an image of the original moving image at a certain point in time
  • FIG. 9b shows, in the image shown in FIG. 9a, a portion where the still image S of the original moving image is to be pasted, is outlined.
  • This still image insertion part can be displayed by applying the mask shown in Fig. 9c to the original moving image. In this case, the white part in Fig. 9c is masked.
  • FIG. 9D shows a still image transmitted from the mobile terminal 20, and a mask shown in FIG. 9C can be applied to the combination.
  • the black portion is masked, contrary to the case of FIG.
  • the masked still image is combined with the masked original moving image, and a user-specific image in which a part of the original moving image is replaced with an original image as shown in FIG. 9E is generated.
  • the rendering process is realized by directly specifying the coordinates of the portion where the still image is to be pasted.
  • a movie By pasting the above-described still image for every frame of the original moving image, a movie is generated.
  • the process of masking a still image may be configured so that the image can be appropriately enlarged, reduced, or moved so that the desired image comes to a portion left by the mask process.
  • the image processing can be performed so that the person is located in a portion left by the mask processing.
  • the character data stored in the text DB 538 is displayed on the movie as an original title or the like.
  • the character data in the template DB533 may be used according to the user's selection.
  • object data such as CG characters stored in the object DB539 is synthesized on the movie.
  • a film noise process is performed on the entire movie image.
  • various effects are added to each layer to produce further effects. Can be widened. Also, various effects appearing in time with music, such as a predetermined layer vibrating in accordance with sound, may be prepared. Note that the text layer, the object layer, and the film layer can be omitted as appropriate, and the user may increase or decrease the number of layers according to the purpose of production.
  • the movie generated in this manner is downloaded to the mobile phone terminal 20 by a user and used, similarly to the system according to the first embodiment.
  • the still image captured by the user in the original moving image such as a commercial or movie Since the image can be pasted, it is possible to distribute a moving image (movie) having higher entertainment to the user. For example, it will be possible to distribute movies in which the user himself appears in one of the famous scenes of TV commercials or his friends appear in one of the movie scenes.
  • the process of combining the original moving image and the still image may be performed by CG rendering.
  • a still image from the user is used as a CG texture.
  • the layer itself is prepared by the power of the layer itself, a still image is pasted as a texture on the surface of the CG cube, and the movie Is generated.
  • a morphing process is performed. That is, a part of the original moving image is gradually replaced by another still image by the still image.
  • the CG object of the layer may be deformed in conjunction with the sound, or the layer may vibrate according to the rhythm.
  • a configuration may be adopted in which a movie can be generated in conjunction with the GPS function of mobile phone terminal 20.
  • an object may be provided corresponding to the area.
  • a still image can be inserted at a predetermined position in the original moving image, but it may be configured such that a still image can be inserted at an arbitrary position.
  • a still image is synthesized with an original moving image.
  • mobile phone terminals capable of shooting and transmitting a moving image have become widespread. Is also good.
  • the video may be combined on the same time axis, or the time axis may be different (for example, moving the video from the mobile terminal slowly). You may make it perform.
  • the number of still images is not limited to one, and a plurality of still images may be composed.
  • first and second embodiments basically, photographing with the mobile terminal is performed by the user. It is up to you.
  • first moving image generation and distribution system when a plurality of still images taken by a user are sent from a mobile terminal, a moving image is generated by combining these still images in a server.
  • second moving image generation / delivery system basically, the image transmitted from the portable terminal is simply pasted to the original moving image.
  • the mobile terminal transmits an image suitable for the video generation program in the server.
  • a still image is pasted in a predetermined region of a moving image.
  • a position outside the pasting region is set. If a person is shown in the image, a part other than the person will be pasted.
  • the imaging support tool for a mobile terminal is executed when the arithmetic device in the mobile terminal executes a support program stored in the mobile terminal.
  • This sabot program should be configured so that when a user accesses the movie creation / delivery service page and selects a video to be created, a support program for supporting shooting suitable for the video is downloaded. Les ,. Therefore, a support program DB storing this support program is added to the DBs of the servers 10 and 50 described above. Further, the whole or a part of the sabot program for executing the function of the photographing support tool may be stored in the portable terminal in advance.
  • FIG. 10 is a diagram for explaining an example of a shooting support tool for a mobile terminal according to the present embodiment.
  • Figure 10a shows a user from among the original still images stored on the server. Indicates the selected original image.
  • Figure 10b shows a photo frame displayed on a display on a mobile phone as a support tool.
  • FIG. 11 is a flowchart showing the flow of processing when an image is generated based on the mobile terminal shooting support tool.
  • the user accesses the image generation / delivery service page using the mobile phone terminal. Then, when the user selects this original image while viewing the content on the page (S31), a support program for executing the shooting support tool is downloaded from the support program DB in the server to the mobile phone terminal. (S32). This support program is immediately executed on the terminal by the computing device in the mobile phone terminal, and is displayed on the display of the photo frame power mobile phone terminal shown in FIG. 10b (333;).
  • This photo frame has a mask function of displaying only a white portion in the figure on the display, of the video captured by the camera of the mobile phone terminal. That is, the server displays only a predetermined area to be combined with the original image on the display. Therefore, the user takes a picture while looking at the display so that the person fits in the white part (S34).
  • the support program also includes audio information, and a guide announcement saying “Please take a picture so that a person is within the frame of this photo frame” is played from the speaker of the mobile phone terminal. Support shooting.
  • the process proceeds to S 35, where the still image captured in S 34 is transmitted from the mobile phone terminal to the server.
  • the server generates a combined image in which the still image is combined with the original image in FIG. 10A.
  • the synthesized image generated in this way is distributed from the server to the mobile phone terminal, and the user can enjoy the highly effective image obtained by replacing the original image with a familiar person on the mobile phone terminal.
  • the enterprise By following a guide, a user can easily shoot a well-fitted image suitable for generating a composite image with a high degree of timing. Furthermore, by using such a photo frame, the coordinates of the outline of the person to be replaced can be known in advance, so that it is easy to create a composite image with the effect that the CG character dances while moving on the shoulder of the person. It is also possible to generate it.
  • the background of the photo frame is black in order to reduce the data amount, but the background may be the same as the background of the original image. In this case, the user can shoot while imaging the actual composite image.
  • FIG. 17 is a diagram for explaining a shooting support tool for a mobile terminal according to a modification of the third embodiment.
  • it is a shooting support tool for combining a plurality of still images shot by the user with a moving image as an original image.
  • FIGS. 7A to 7C are diagrams in which one scene of the original moving image is arranged in chronological order.
  • the photo frame power for replacing the person (sumo wrestler) in the original video with the person photographed by the user is shown in FIG.
  • FIG. 7C since the coordinates of the outline of the person change as time advances, in order to generate a highly accurate composite image, The position of the person also needs to be adjusted to this change.
  • a program for sequentially displaying the photo frames shown in FIG. Df in the figure is provided from the server to the mobile phone terminal as a photographing support tool. If the user shoots three still images in order so that the person fits in these photo frames and sends them to the server, the server will combine each still image with the corresponding frame of the original moving image.
  • the shooting support tool according to the present modification even if the original image is a moving image, it is possible to easily generate a composite image in which a part of the original moving image has been replaced with high accuracy. it can.
  • the photo frame and the audio guide have been described as shooting support tools.
  • any tool that supports shooting on the user side by executing a program on a mobile terminal will be described.
  • various support tools are included in the present invention. For example, as described above, when a user shoots a moving image, the user plays a rhythm sound from the speaker of the mobile terminal, and if the user operates in accordance with the music, the user can shoot a motion that matches the sound of the composite image. It may be a simple shooting support tool. Further, if the amount of light in the captured image is insufficient, a photography support tool that instructs the user to that effect may be used.
  • a program for realizing a function of automatically performing shooting when a subject is perfectly fitted to a photo frame may be provided as a shooting support tool. Further, a program for executing a function of recording a user's voice while playing back BGM on a portable terminal may be provided. By transmitting the user's voice to the server and incorporating it into the sound of the synthesized image, it is possible to provide a synthesized video with higher effects. The user can listen to the BGM while listening to music and inject a message.
  • a program for performing such a complicated control is relatively easily created by using Java (registered trademark), BREW (registered trademark), or the like recently installed in a portable terminal. It is possible to reduce the data capacity of the shooting support tool execution program downloaded from Sanoku to the mobile terminal.
  • a mobile phone terminal is used as a user terminal, but a mobile terminal having a camera function and a wireless communication function is not limited thereto.
  • a PHS having a camera function, a PDA or a portable game machine having a camera function and a wireless communication function, a digital camera having a wireless communication function, or the like may be used.
  • the camera function and the wireless communication function may be realized by an optional function that is not limited to those built in the main body, or may be realized later by an external device.

Abstract

 携帯端末の通信機能を有効に生かしながら、エンターテイメント性の高い動画を上記携帯端末に配信するための動画生成配信システムを提供する。  本発明の実施の形態に係る動画生成配信システム1は、携帯電話端末20とサーバ10との間で画像の送受信を行うシステムであり、携帯電話端末20はカメラ機能及び無線通信機能を備え、無線通信機能によりサーバ10に複数枚の静止画を送信するよう構成され、サーバ10は、所定の順序で配置された受信した複数枚の静止画に基づく動画を生成し、携帯電話端末20にその動画を配信するように構成されている。

Description

明 細 書
動画生成配信システム及び携帯端末用撮影サポートツール 技術分野
[0001] 本発明は、無線通信を介して画像を送配信するシステムに関し、特に、携帯端末と サーバとの間で静止画及び動画の送配信を行うシステムに関する。また、本発明は、 サーバとの間で画像を送受信する携帯端末に関し、特に、携帯端末を用いてユーザ が撮影する際にユーザをサポートするためのサポートツール及びプログラムに関する
背景技術
[0002] 近年、カメラ機能付き携帯電話やカメラ機能付き PDA等が急激に普及してきてレ、る 。そして、これら携帯端末で撮影した画像を、無線通信を介して、インターネットメー ルで知人に送信したり、また、画像配信サービス事業者が、静止画や動画の画像コ ンテンッをユーザの携帯端末に配信するサービスが行われたりしている。
[0003] 例えば、下記特許文献 1には、カメラ機能又はビデオカメラ機能を有する携帯電話 端末、 PHS、 PDA等で撮影した画像 (動画又は静止画)を、無線通信回線及びイン ターネットを介してサーバに蓄積し、また、逆に、サーバに蓄積された画像を、携帯電 話端末等に配信するシステムが開示されている。
特許文献 1:特開 2002 - 77860号公報
[0004] 一方、携帯電話や PHSにおいては、着信待ちの際に、待受画面として、ディスプレ ィにアニメのキャラクタ一等を表示する機能が搭載されている。また、携帯電話等の アドレスに登録されている個人に、その人を撮影した画像を関連づけて登録しておき 、その人からの電話を着信した際に、その撮影画像を受信画面としてディスプレイに 表示するような機能も搭載されてレ、る。
[0005] 例えば、下記特許文献 2には、携帯電話に着脱式のデジタルカメラを取り付け、こ のカメラで撮影した静止画を、その携帯電話の待受画面として設定する機能が開示 されている。
特許文献 2:特開 2002 - 77701号公報 [0006] また、近年、カメラ機能付き携帯電話やカメラ機能付き PDA等が急激に普及してき ている。そして、これら携帯端末で撮影した画像を、無線通信を介して、インターネッ トメールで知人に送信したり、また、画像配信サービス事業者が、静止画や動画の画 像コンテンツをユーザの携帯端末に配信するサービスが行われたりしている。
[0007] 例えば、下記特許文献 3には、カメラ機能又はビデオカメラ機能を有する携帯電話 端末、 PHS、 PDA等で撮影した画像 (動画又は静止画)を、無線通信回線及びイン ターネットを介してサーバに蓄積し、また、逆に、サーバに蓄積された画像を、携帯電 話端末等に配信するシステムが開示されている。
[0008] 特許文献 3 :特開 2002— 77860号公報
発明の開示
発明が解決しょうとする課題
[0009] し力 ながら、上記特許文献 1に記載の技術は、単に、ネットワークを介して画像情 報を送受信するだけである。また、特許文献 2に記載の発明は、カメラ機能付き携帯 電話で撮影した画像に対して、縮小や表示色変更等の簡単な処理を施して、その携 帯電話に表示するだけである。これは、一般に、携帯電話の画像処理能力やメモリ 容量は小さぐ複雑な画像処理を施せないためであるが、このような簡単な画像処理 だけでは、エンターテイメント性に欠ける。
[0010] また、上記特許文献 3に記載の技術は、単に、携帯端末で撮影した画像を、そのま ま単にネットワークを介して携帯端末とサーバとの間で送受信するだけであり、ェンタ 一ティメント性に欠ける。また、携帯端末での撮影方法に関してもユーザに一任され ている。
[0011] 本発明は、このような課題に鑑みてなされたものであり、携帯端末の無線通信機能 を有効に生力 ながら、エンターテイメント性の高い動画を上記携帯端末に配信する ための動画生成配信システムを提供することを目的とする。また、本発明は、画像生 成配信システムのサーバにおいて、携帯端末で撮影された画像を利用して演出効果 の高い映像が生成されるように、携帯端末におけるユーザの撮影をサポートする携 帯端末用撮影サポートツールを提供することを目的とする。
課題を解決するための手段 [0012] 上記課題を解決するために、本発明に係る動画生成配信システムは、携帯端末と サーバとの間で画像の送受信を行う動画生成配信システムであって、前記携帯端末 は、カメラ機能及び無線通信機能を備え、前記無線通信機能により複数枚の静止画 を前記サーバに送信するよう構成され、前記サーバは、所定の順序で配置された前 記複数枚の静止画に基づく動画を生成し、前記携帯端末にその動画を配信するよう 構成されてレヽることを特徴とする。
[0013] また、本発明に係る動画生成配信システム用サーバは、無線通信機能を備えた携 帯端末との間で画像の送受信を行う動画生成配信システムに用いられるサーバであ つて、前記サーバは、前記携帯端末から受信した複数枚の静止画を所定の順序で 配置する動画を生成し、前記携帯端末にその動画を配信するよう構成されてレ、ること を特徴とする。
[0014] また、本発明に係る動画生成配信方法は、動画生成配信システムにより、携帯端末 とサーバとの間で画像の送受信を行う動画生成配信方法であって、前記携帯端末か ら無線通信機能により前記サーバに複数枚の静止画を送信する静止画送信工程と 、前記サーバにおいて、前記複数枚の静止画を所定の順序で配置した動画を生成 する動画生成工程と、前記サーバから前記携帯端末に前記動画を配信する動画配 信工程と、を備えていることを特徴とする。
[0015] また、本発明に係る動画生成配信プログラムは、無線通信機能を有する携帯端末 との間で画像の送受信を行うコンピュータに動画生成配信処理を実行させるための 動画生成配信プログラムであって、前記携帯端末から複数の静止画を受信するステ ップと、前記複数枚の静止画を所定の順序で配置した動画を生成するステップと、前 記携帯端末に前記動画を配信するステップと、をコンピュータに実行させることを特 徴とする。
[0016] また、本発明に係る携帯端末用撮影サポートツールは、画像生成配信システムの サーバ上で原画像と合成される画像を撮影するためのカメラ機能を備えた携帯端末 上にぉレ、て、ユーザによる撮影をサポートする携帯端末用撮影サポートツールであ つて、前記サーバ上での画像合成に適した画像が撮影されるように、前記携帯端末 が有する機能を利用して、ユーザによる撮影をサポートすることを特徴とする。 [0017] また、本発明に係る携帯端末用撮影サポートプログラムは、画像生成配信システム のサーバ上で原画像と合成される画像を撮影するためのカメラ機能を備えた携帯端 末上にぉレ、て、ユーザによる撮影をサポートする携帯端末用撮影サポートツールを 実行させる携帯端末用撮影サポートプログラムであって、前記サーバ上での画像合 成に適した画像が撮影されるように、前記携帯端末が有する機能を利用して、ユー ザによる撮影をサポートするステップ、を前記携帯端末に実行させることを特徴とする 発明の効果
[0018] 本発明に係る動画生成配信システムによれば、携帯端末の無線通信機能を有効 に生力しながら、複数枚の静止画からエンターテイメント性の高い動画を生成し、そ の動画を携帯端末に配信することができる。
[0019] また、本発明に係る携帯端末用サポートツール及びプログラムによれば、サーバで の合成画像の生成に適した収まりの良い画像を、フォトフレームに従ってユーザが簡 単に撮影することが可能となる。また、音声ガイドを追加すれば、より簡単にユーザが 撮影を行うことができる。また、携帯端末用撮影サポートプログラムをサーバに格納し ておき、必要に応じて携帯端末にダウンロードするようにすれば、携帯端末上のメモ リ領域に負担をかけなレ、で済む。
図面の簡単な説明
[0020] [図 1]本発明の第 1の実施の形態に係る動画生成配信システムの概略構成を示す図 である。
[図 2]本発明の第 1の実施の形態に係るサーバの概略構成を示す図である。
[図 3]本発明の第 1の実施の形態に係るムービーを生成する際の処理の流れを示す フローチャートである。
[図 4]本発明の第 1の実施の形態に係る携帯電話端末のディスプレイに表示される画 面の内容を示す図である。
[図 5]本発明の第 1の実施の形態に係る DB内のデータの内容の一部を示す図であ る。
[図 6]本発明の第 1の実施の形態に係るムービーを再生する際の処理の流れを示す フローチャートである。
園 7]本発明の第 2の実施の形態に係るサーバの概略構成を示す図である。
園 8]本発明の第 2の実施の形態に係るレンダリング処理の概念を示す図である。 園 9]本発明の第 2の実施の形態に係る原動画と静止画の合成を説明するための図 である。
園 10]本発明の第 3の実施の形態に係る携帯端末用撮影サポートツールの一例を 説明するための図である。
園 11]本発明の第 3の実施の形態に係る携帯端末用撮影サポートツールに基づい て、画像が生成される際の処理の流れを示すフローチャートである。
園 12]本発明の第 3の実施の形態の変形例に係る携帯端末用撮影サポートツール を説明するための図である。
符号の説明
1 動画生成配信システム
10, 50 サーバ
11 , 51
12, 52
13, 53 DB
131 , 531 プログラム DB
132, 532 表示メニュー DB
133, 533 テンプレー KDB
134 ノ ックミュージック DB
534 サウンド DB
135, 535 エフェクト DB
136 サンプル写真 DB
536 静止画 DB
537 原動画 DB
538 テキスト DB
539 オブジェクト DB 540 フイノレター DB
20 携帯電話端末
30 基地局
40 インターネット
発明を実施するための最良の形態
[0022] (第 1の実施の形態)
以下、図面を参照しながら本発明の第 1の実施の形態について詳細に説明する。 まず、第 1の実施の形態に係る動画生成配信システム 1の構成について説明する。 図 1は、動画生成配信システム 1の概略構成を示す図である。同図に示すように、動 画生成配信システム 1は、サーバ 10と複数の携帯電話端末 20A乃至 Cを含む。サー バ 10は、携帯電話端末 20から送信されてくる複数枚の静止画から動画であるムービ 一を生成'配信するサービスを提供する機能を有している。携帯電話端末 20は、無 線通信により基地局 30と接続され、さらにインターネット (公衆回線網) 40を介してサ ーバ 10に接続されている。また、図示は省略するが、携帯電話端末 20には、画像を 表示するためのディスプレイと、少なくとも静止画を撮影するためのカメラが搭載され ている。
[0023] 図 2は、サーバ 10の概略構成を示す図である。同図に示すように、サーバ 10は、各 種演算処理を行う演算装置 11、記憶装置 12及び DB (データベース) 13を含む。 D B13内には、動画を生成する際に実行される各種プログラムを格納したプログラム D B131、携帯電話端末 20のディスプレイに表示されるメニュー画面のデータを格納し た表示メニュー DB132、動画のフレームや背景画像からなる各種テンプレートが格 納されたテンプレート DB133、動画のバックグランドで演奏される各種音楽が格納さ れたバックミュージック DB134、画像に画像処理を施すための各種エフェクトが格納 されたエフェクト DB135、各種サンプル写真が格納されたサンプル写真 DB136が 含まれる。
[0024] 次に、上記構成において、携帯電話端末 20から送信される複数枚の静止画から、 ムービーを生成する処理について詳細に説明する。図 3は、ムービーを生成する際 の処理の流れを示すフローチャートである。 [0025] まず、ステップ 10 (以下、「ステップ」を「S」とする)において、ユーザが携帯電話端 末 20を使用して、サーバ 10が提供するムービー生成配信サービスのトップページに アクセスする。図 4aは、ユーザ力 Sトップページにアクセスした際に、携帯電話端末 20 のディスプレイに表示される画面の内容を示す図である。このトップページの画面は 、演算装置 11が表示メニュー DB132内のデータを参照し、必要なデータを携帯電 話端末 20に配信することで表示される。同図に示すように、画面には、「Top Page」の 文字、キャラクターや広告などの「バナー」、当該サービスに関する「説明書き」、及び 次の各種設定ページに進むためのリンク「ボタン」が表示される。
[0026] 次に、ユーザがリンクボタンを選択すると、各種設定画面に進み(S11)、ユーザは ムービーを生成するための各種設定を行う。図 4bは、携帯電話端末 20に表示される 各種設定画面の内容を示す図である。同図に示すように、設定画面には、「テンプレ 一ト」、「バックミュージック」、「エフェクト」、「テキスト入力」及び「写真送信」のリンクボ タンが表示される。この設定画面も、リンクボタンが押されたことを示す信号を受信し たサーバ 10内の演算装置 11が、表示メニュー DB132を参照して、必要なデータを 携帯電話端末 20に配信することで表示される。
[0027] ここで、各種設定の順番は、 自由であるが、本実施の形態では、図 3のフローチヤ ートの順序に従う。まず、ユーザは、図 4bの設定画面で、「テンプレート」を選択し、 S 12において、テンプレートを設定する。この設定は、テンプレート DB133内に格納さ れているテンプレートデータの中から、ユーザが所望のテンプレートを選択することで 行われる。図 5は、 DB13内のデータの内容の一部を示す図であり、図 5aが、テンプ レート DB133内のデータの内容を示す図である。同図に示すように、テンプレート D B133内には、「ハート」、「お花畑」、「窓枠」及び「フラクタル」のテンプレートが格納さ れているので、ユーザは、この中力、ら所望のテンプレートを選択すれば良レ、。 「ハート 」のテンプレートは、背景画像として、ハートマークの画像が表示されるもの、「お花畑 」は、背景画像としてお花畑の画像が表示されるもの、「窓枠」は、背景画像として窓 枠のフレームが表示されるもの、「フラクタル」は、背景画像としてフラクタル画像が表 示されるものである。ここで設定されたテンプレートの内容は、記憶装置 12に一時的 に格納される。 [0028] 次に、ユーザは、図 4bの設定画面で、「バックミュージック」を選択し、 S13において 、バックミュージックを設定する。この設定は、図 5bに示す、バックミュージック DB13 4内のデータから、ユーザが所望のバックミュージックを選択することで行われる。同 図に示すように、バックミュージック DB134内には、「メロディー 1」乃至「メロディー 4」 が格納されている。ここで設定されたバックミュージックの内容は、一時的に記憶装置 12に格糸内される。
[0029] 続いて、ユーザは、図 4bの設定画面で、「エフェクト」を選択し、 S14において、エフ ヱタトを設定する。この設定は、図 5cに示す、エフェクト DB135内のデータから、ユー ザが所望のエフェクトを選択することで行われる。同図に示すように、エフェクト DB13 5内には、「白黒」、「パン」、「ズーム」、「ランダム」及び「合成」のエフェクトが格納され ている。 「白黒」のエフェクトは、ムービーを白黒画像に処理するものであり、「パン」の エフェクトは、ムービーに視点移動の効果を与える処理であり、「ズーム」のエフェクト は、ムービーを拡大処理するものであり、「ランダム」のエフェクトは、複数の写真画像 をランダムな順番に切替えたムービーとする処理であり、「合成」のエフェクトは、 2枚 の写真画像を同時に合成して表示するムービーとする処理である。ここで設定された エフェクトの内容は、記憶装置 12内に格納される。
[0030] 続いて、ユーザは、図 4bの設定画面で、「テキスト入力」を選択し、 S15において、 ムービーに表示するテキスト文字を設定する。このテキスト文字は、ユーザが携帯電 話端末 20のキーを押すことで入力される。入力されたテキストは、携帯電話端末 20 からサーバ 10に送信され、演算装置 11により、記憶装置 12内に格納される。なお、 ムービーにテキストを挿入する必要がない場合には、本ステップを省略しても良い。
[0031] 続いて、上記各種設定を終えたユーザは、 S16に進み、ムービー生成の土台とな る複数の写真画像を選択し、サーバ 10に送信する。この送信される写真画像は、予 め携帯電話端末 20のカメラ機能を用いて撮影され、携帯電話端末 20のメモリに格納 されている写真画像の中から、ユーザが適宜選択する。本実施の形態では、 4枚の 写真画像を選択するものとするが、複数枚であれば枚数は適宜変更可能である。具 体的には、図 4bにおいて「写真送信」が選択されると、携帯電話端末 20のメールソフ トが起動され、送信すべきメールの宛先がサーバ 10内のアドレスに設定される。ユー ザは、メモリに格納されている写真画像から、ムービー化したい写真画像を 4枚選択 し、このメールに添付することで、サーバ 20に送信することができる。写真画像を受 信したサーバ 10は、受信した画像を記憶装置 12内に格納する。なお、サーバ 10の サンプル写真 DB136内には、予めサンプル写真画像が格納されているので、ユー ザ力 この中から画像を選択できるように構成しても良い。この場合、図 4bの設定画 面において、写真選択のボタンを追加し、サンプル写真 DB136へリンクさせれば良 レ、。
[0032] 次に、 S17に進み、サーバ 10の演算装置 11が、記憶装置 12に格納されている写 真画像に対して、上記 S 12乃至 S 15での設定に従った画像処理を施し、ムービーを 作成する。この画像処理は、プログラム DB131内に格納されている各種プログラムを 用いてなされる。ムービーの生成にあたっては、 4枚の写真画像を順に配置したムー ビーがデフォルトとして生成される。その上で、上記設定に従った画像処理がこのム 一ビーに対して施される。例えば、 S12において「窓枠」のテンプレート、 S13におレヽ て「メロディー 1」のバックミュージック、 S14において「ズーム」のエフェクトが選択され 、 S15におレヽて「FIELD SYSTEM」のテキストが入力された場合には、窓枠の中に 4枚 の写真画像が「FIELD SYSTEM」の文字と共に順に表示されながら、写真と文字が次 々とズームされ、バックグランドに「メロディー 1」が流れるといったムービーが生成され る。ここで生成されたムービーは、後でユーザに配信するために、記憶装置 12内に 格納される。
[0033] そして、生成したムービーを格納した後に、サーバは、その旨を知らせる確認メー ルを、ユーザの携帯電話端末 20に送信する(S18)。このメールには、当該ムービー にアクセスするためのアドレスと、当該ムービーをダウンロードするためのパスワード が記載されている。
[0034] 続いて、このようにして作成されたムービーを再生する処理について説明する。図 6 は、ムービーを再生する際の処理の流れを示すフローチャートである。同図に示すよ うに、まず、ムービーをダウンロードしたいユーザは、上記確認メールのアドレスリンク 力、ら、ダウンロードページにアクセスする(S20)。続いて、確認メールに記載れている ダウロードパスワードを携帯電話端末 20から入力する(S21)。パスワードを受信した サーバ 10は、そのパスワードが正しければ、記憶装置 12に格納されているムービー を携帯電話端末 20に配信する。すなわち、ユーザは当該ムービーをダウンロードす ることができる(S22)。ダウンロードされたムービーは、携帯電話端末 20内のメモリに 格納されるので、ユーザは適宜ムービーを再生することができる(S23)。詳しい説明 は省くが、ダウンロードしたムービーを、待受画面や着信画面に設定することができる
[0035] なお、本実施の形態に係る動画生成配信システム 1の機能は、サーバ 10ゃ携帯電 話端末 20にこれらの機能を実現するためのプログラムをインストールすることで実現 される。サーバ 10へのプログラムのインストールは、プログラムを格納した CD— ROM 等の記録媒体により、直接コンピュータにインストールされても良いし、ネットワークを 介してインストールされるように構成しても良レ、。携帯電話端末 20へのプログラムのィ ンストールは、ネットワークを介してインストールしても良いし、端末製造時にプロダラ ムを組み込んでも良い。
[0036] 以上、詳細に説明した力 本実施の形態に係る動画生成配信システムによれば、 カメラ機能付き携帯電話端末で撮影した複数枚の静止画を受信したサーバが、ェン ターティメント性の高いムービーを生成し、携帯電話端末に配信するよう構成されて いるので、ユーザは簡単に自分の携帯電話端末上でムービーを楽しむことができる。 また、ムービーの生成はサーバで行われるので、携帯電話端末が高度な画像処理 能力を具備する必要もない。また、複数枚の静止画からムービーを作成しているので 、単に一枚の静止画からムービーを作成するのと比較して、よりエンターテイメント性 の高いムービーを作成することが可能であり、ユーザの工夫やサーバ側の処理機能 の充実により、多種多様なムービーを作成することができる。例えば、二人の画像を 合成したムービーを作成したレ、場合には、一枚の静止画であれば二人が写ってレ、る 画像が必要になるが、複数枚の静止画の場合には、それぞれ単独で写っている静 止画を合成したムービーを簡単に作成可能である。
[0037] なお、本発明は、本実施の形態に係る構成に限られることなぐ本発明の主旨を逸 脱しない範囲内で、種々の変更が可能である。例えば、ムービーのダウンロードに関 しては、ムービーを作成したユーザ本人だけでなぐその友人もダウンロードできるよ うに構成することも可能である。この場合には、ユーザが所望のメールアドレスを入力 するステップを設け、そこで入力されたアドレスに対しても、ムービーの所在アドレス 及びパスワードを送信するようにサーバを構成すれば良い。
[0038] また、本実施の形態に係る動画生成配信システムを用いて有料サービスを行う場 合には、課金システムと組み合わせることが可能である。この場合には、基地局とイン ターネットの途中に課金システムを配置し、本サービスを利用するユーザを特定して 、従量制又は定額制で課金するように構成すれば良い。
[0039] また、本実施の形態では、ユーザの端末として携帯電話端末を用いているが、これ に限定されるものではなぐカメラ機能及び無線通信機能を持った携帯端末であれ ば良い。例えば、カメラ機能を備えた PHS、カメラ機能及び無線通信機能を持った P DAや携帯ゲーム機、無線通信機能を備えたデジタルカメラ等であっても良い。ここ で、カメラ機能及び無線通信機能は、本体に内蔵されているものだけでなぐォプシ ヨン機能や外付け機器により後付で実現されていても良い。
[0040] また、本実施の形態では、写真画像を携帯電話端末からサーバに送信するのに、 メール機能を用いている力 ユーザがサーバにアクセスしている際に、携帯電話端末 内のフォルダを直接指定して、サーバへ送信するように構成しても良い。また、バック ミュージックは、サーバのミュージック DB内のデータでなぐ携帯電話端末内のミュー ジックデータを用いるようにしても良い。この場合には、メール機能等を用いて、携帯 端末内のミュージックデータをサーバに送信するようにすれば良い。
[0041] また、 DB内のデータについては、これらに限定されるものではなぐ適宜、データの 追加や変更が可能であることはいうまでもない。
[0042] また、本実施の形態では、テンプレート、バックミュージック等の設定をユーザが一 つ一つ行っている力 これらの設定を自動的に演出してくれる演出パターンを用意し ておいても良い。この場合には、 DB内に各種演出パターンを格納した演出パターン DBを用意しておく。演出パターンとしては、例えば、「出会い」、「冒険」、「エレガント 」、「ダンディー」等の所定のテーマを持った演出パターンが考えられる。これらの各 演出パターンには、テンプレート設定、バックミュージック設定、エフェクト設定及びテ キスト入力に関して、その演出パターンのテーマに合うような所定のデータが予め関 連づけられている。例えば、「出会い」の演出パターンであれば、テンプレートとして、 ハート型の枠を設定し、エフェクト設定として、二人の関係を際だたせるように二人の 画像が画面の左右から出てきて徐々に近づいていき、中央でぴったり合うとホワイト アウトしてレ、くように設定し、テキスト設定として、ホワイトアウトする前に二人の名前が 表示されるように設定するといつた演出パターンが考えられる。
[0043] このように演出パターンを用意しておけば、ユーザは、所望の演出パターンを選択 すれば、後は写真画像を送信するだけで、 自動的に所望のムービーが生成されるの で、より手軽にムービーの作成を行うことができる。また、さらに、それぞれの演出パタ ーンによるサンプルムービー(サンプノレ写真を用いる)を提供するように構成しても良 レ、。こうすれば、ユーザは各演出パターンのイメージを捉え易ぐ写真画像を選択す る際の参考にもなる。
[0044] また、最近では、 GPS機能を内蔵した携帯電話端末が提供されているが、この GP Sと連動させてムービーを生成するように構成しても良い。具体的には、ムービー生 成配信サービスのページ内に、「GPS位置情報取得」のコンテンツを含めておく。ュ 一ザが、この GPSコンテンツを利用して、携帯電話端末 20の位置情報を送信してく ると、サーバ 20は、その地域に相応しいテンプレートを提供するように構成すれば良 レ、。例えば、北海道なら衣装がエスキモー、水戸なら黄門様、大阪なら食い倒れ人 形の画像が提供される。このような地域別の画像は、テンプレートとしてテンプレート DB133内に格納するカ サンプル写真 DB136にサンプル写真として格納してぉレヽ ても良い。
[0045] (第 2の実施の形態)
次に、本発明の第 2の実施の形態について詳細に説明する。第 2の実施の形態に 係る動画生成配信システムの構成は、基本的に図 1に示す第 1の実施の形態に係る システムと同様であるので、同じ構成については説明を省略し、異なる構成について のみ詳細に説明する。第 1の実施の形態では、サーバ 10において、複数枚の静止 画から動画が生成されるのに対して、第 2の実施の形態は、サーバ側に予め演出さ れた原動画が用意されており、この原動画に携帯電話端末力 送信されてくる画像 が合成されてムービー(動画)が生成されることが大きな特徴である。 [0046] まず、第 2の実施の形態に係るサーバ 50の構成について説明する。サーバ 50は、 第 1の実施の形態のサーバ 10と同様に、演算装置 51、記憶装置 52及び DB53を備 えている。また、 DB53内には、プログラム DB531、表示メニュー DB532、テンプレ ート DB533、サウンド DB534、エフェクト DB535、静止画 DB536、原動画 DB537 、テキスト DB538、才ブジェクト DB539、フイノレター DB540力 S含まれる。
[0047] プログラム DB531には、ムービーを生成する際に実行される各種プログラム、表示 メニュー DB532には、携帯電話端末 20のディスプレイに表示されるメニュー画面の データ、テンプレート DB533には、静止画やテキスト等の各種テンプレート、サウンド DB534には、ムービーのバックグラウンドで演奏される各種音楽、エフェクト DB535 には、画像やサウンドにデジタル処理を施す等、各種データにエフェクト処理を施す ための各種エフヱタトが格納されている。
[0048] また、静止画 DB536には、携帯電話端末 20から送信されてきた静止画、原動画 D B537には、ムービーの基となる映画や CM等の原動画、テキスト DB538には、ユー ザが携帯電話端末 20を介して入力した文字データ、オブジェクト DB539には、原画 像に追加するための CGや 3D画像等のオブジェクト、フィルター DB540には、フィル ムノイズ等の画像全体に力かるフィルターが格納されている。なお、原動画が CMや 映画のシーンであって、元々サウンドがついている場合には、原動画 DB537の原動 画に対応したサウンドがサウンド DB534に格納されている。また、原動画には、予め 静止画を挿入できる部分が示されてレ、る。
[0049] 次に、上記構成のサーバ 50において、ムービーが生成される工程について詳細に 説明する。サーバ 50における以下の処理は、プログラム DB531に格納されているプ ログラムに従って、演算装置 51が記憶装置 52等を制御しながら実行する。
[0050] まず、ユーザにより、携帯電話端末 20を介して、ムービーを生成するための原動画 、オブジェクト、フィルター、エフェクト、サウンド等の選択が行われる。この選択は、上 記第 1の実施の形態と同様に行われる。なお、原動画に対応するサウンドがサウンド DB534内に格納されている際には、ユーザが原画像を選択した際にデフォルトとし て対応するサウンドが自動的に選択されるが、他のサウンドへ変更することも勿論可 能である。続いて、ユーザの携帯電話端末 20から、ムービーに合成したい静止画及 び文字データが送信されてくると、これらのデータが静止画 DB536及びテキスト DB 538に格納される。静止画としては、例えば、携帯電話端末 20のカメラ機能を用いて 撮影されたユーザ自身や友人の写真画像が想定される。もちろん、静止画やテキス トは、テンプレート DB533の中力 ユーザが選択したものであっても良い。
[0051] 次に、ユーザによって選択'送信されたムービーを構成する素材、すなわち原動画 、送付画像、テキスト、オブジェクト及びフィルターを各レイヤーとして、レンダリング処 理が行われ、ムービーが生成される。このレンダリング処理の概念を図 8に示す。同 図に示すように、まず原動画上に静止画が合成され、続いてテキスト、オブジェクト、 フィルターという順にレンダリング処理が行われる。また、サウンドもムービーのバック ミュージックとして合成される。この際、ユーザが各レイヤーやサウンドへのエフェクト を選択している場合には、各レイヤーにエフェクトがかけられた上でレンダリング処理 が実行される。
[0052] 以下、上記レンダリング処理について詳細に説明する。まず、原動画 DB537内の 原動画と静止画 DB536内の静止画の合成、すなわち原動画レイヤーと静止画レイ ヤーのレンダリング処理について、図 9を参照して詳細に説明する。図 9aは、原動画 のある時点での画像を示し、図 9bは、図 9aに示す画像のうち、当該原動画の静止画 力 S貼り付けられる部分が白抜きで示している。この静止画挿入部分は、原動画に図 9 cに示すマスクをかけることで表示可能であり、この場合は、同図 cの白色部分をマス クする。また、図 9dは、携帯端末 20から送信されてきた静止画を表しており、合成に あたっては、同図 cに示すマスクをかけられる。この場合には、同図 bの場合とは逆に 、黒色部分がマスクされる。そして、上記マスクされた静止画が上記マスクされた原動 画に合成され、図 9eに示すような、原動画の一部がオリジナル画像に入れ替えられ たユーザ独自の画像が生成される。なお、原動画と静止画の合成において、上述し たマスクを使用しないで合成するように構成しても良レ、。この場合には、静止画の貼り 付ける部分の座標を直接指定することでレンダリング処理が実現される。
[0053] 上述した静止画の貼り付けを、原動画の全てのコマ毎に行うことで、ムービーが生 成される。もちろん、各コマで貼り付け位置の座標が異なる場合には、コマ毎に、静 止画の貼り付け位置を検出して貼り付ける必要がある。すなわち、コマ毎に異なるマ スクを生成する必要がある。なお、静止画に対するマスクをかける処理は、マスク処理 により残される部分に、所望の画像が来るように、適宜画像を拡大、縮小したり、移動 できるように構成しても良い。特に、人物画像等の場合には人物がマスク処理により 残される部分に位置するように、画像処理を行えることが望ましい。
[0054] 続いて、上記ムービーに対して、テキストレイヤーをレンダリングする処理において は、テキスト DB538に格納されている文字データ力 オリジナルのタイトル等としてム 一ビー上に表示される。勿論、この文字データは、ユーザの選択により、テンプレート DB533内の文字データが使用されても良レ、。次に、オブジェクトレイヤーをレンダリ ングする処理においては、オブジェクト DB539内に格納されている CGキャラクター 等のオブジェクトデータがムービー上に合成される。そして、フィルターレイヤーをレ ンダリングする処理においては、ムービーの画像全体に例えばフィルムノイズ処理が 施される。
[0055] さらに、図 8に示すように、各レイヤーに対して、様々なエフェクト(回転、拡大、縮小 、パン、フェードイン、フェードアウト、変形、分割、飛散等)を加えることで、さらに演 出の幅を広げることが可能である。また、サウンドに合わせて所定のレイヤーが振動 する等、音楽にあわせて出現する様々なエフェクトを用意しても良い。なお、テキスト レイヤー、オブジェクトレイヤー及びフィルムレイヤーは、適宜省略可能であり、演出 目的により、ユーザがレイヤーの数を増減すれば良い。
[0056] このようにして生成されたムービーは、第 1の実施の形態のシステムと同様に、ユー ザにより携帯電話端末 20にダウンロードされて使用されることになる。
以上、第 2の実施の形態について詳細に説明した力 本実施の形態によれば、第 1 の実施の形態による効果に加えて、 CMや映画等の原動画の中にユーザが撮影し た静止画を貼り付けることができるので、よりエンターテイメント性の高い動画(ムービ 一)をユーザに配信することが可能になる。例えば、 TVで有名な CMのワンシーンに ユーザ自身を登場させたり、映画のワンシーンにユーザの友人を登場させたりしたム 一ビーの配信が可能となる。
[0057] なお、第 2の実施形態においても、本発明の主旨を逸脱しない範囲内で、種々の 変更が可能である。 例えば、原動画と静止画の合成処理は、 CGレンダリングにより行っても良い。例え ば、ユーザからの静止画を CGのテクスチャ一として使用する。すなわち、 CGでキュ ーブを作成し、それが回転するといつた演出パターンの場合には、レイヤーそのもの 力 により準備されており、 CGのキューブの面に静止画がテクスチャ一として貼り 付けられ、ムービーが生成される。また、一例として、モーフイング処理を行う。すなわ ち、原動画の一部が静止画により徐々に他の静止画に置き換えられる。さらに、 CG レンダリングの際に、サウンドと連動させてレイヤーの CGオブジェクトが変形したり、リ ズムに合わせてレイヤーが振動したりするように構成しても良い。
[0058] また、本実施の形態においても、第 1の実施の形態と同様に、携帯電話端末 20の GPS機能と連動してムービーを生成可能に構成しても良い。この場合には、携帯電 話端末 20からの位置情報に応じて、その地域に相応しレ、オブジェクトを提供するよう にすれば良い。
[0059] さらに、本実施の形態においては、原動画の中の所定の位置に、静止画を挿入可 能であるが、任意の位置に静止画を挿入できるように構成しても良い。また、本実施 の形態においては、原動画に対して静止画を合成しているが、最近は、動画を撮影 し送信できる携帯電話端末も普及しており、動画を合成できるように構成しても良い。 原動画の一部に携帯端末からの動画を挿入する場合には、同じ時間軸で合成しても 良いし、時間軸を異ならせて (例えば、携帯端末からの動画をスローに動かす等)合 成するようにしても良い。また、静止画は一枚に限らず、複数枚の静止画を合成でき るように構成しても良い。
[0060] また、第 1及び第 2の実施の形態共に、一人のユーザにより動画を生成する処理に ついて説明したが、複数のユーザの携帯電話端末力 動画生成サイトにアクセスし て、協働で動画を生成可能に構成しても良レ、。この場合には、パスワードを設定する 等して、限定されたユーザのみが、当該動画の生成サイトにアクセスできるように構成 すれば良い。また、出来上がった動画に対して、他のユーザがテキストを追加する等 の変更をカ卩えられるように構成しても良レ、。
[0061] (第 3の実施の形態)
上述した第 1及び第 2の実施形態では、基本的に携帯端末での撮影は、ユーザに 一任されている。第 1の動画生成配信システムにおいては、ユーザが撮影した複数 枚の静止画が携帯端末から送られてくると、サーバにおいて、これら静止画が組み合 わされて動画が生成される。また、第 2の動画生成配信システムにおいても、基本的 に携帯端末力 送信されてきた画像がそのまま原動画に貼り付けられるだけである。
[0062] しかし、サーバにおいて、さらに演出効果が高ぐエンターテイメント性の高い映像 を生成するためには、サーバでの映像生成プログラムに適した画像を携帯端末から 送信してもらうことが好ましい。例えば、上記第 2の動画生成配信システムにおいては 、動画の所定の領域に静止画を貼り付けているが、ユーザが人物画像を貼り付けた いと思っていても、この貼り付ける領域から外れた位置に人物が写っている場合には 、人物以外の部分が貼り付けられてしまうことになる。また、画像処理により、所定の 領域内に人物像を移動させることも可能であるが、処理が複雑になり、移動などを指 示する必要のあるユーザに多大な負担をかけることになる。
[0063] したがって、映像生成プログラムに適した映像をユーザに撮影してもらうことが、最も 望ましい。そこで、本出願人は、携帯端末用撮影サポートツールを開発したので、以 下、詳細に説明する。
[0064] 本実施の形態に係る携帯端末用撮影サポートツールは、携帯端末内の演算装置 が携帯端末に格納されたサポートプログラムを実行することで、実行される。このサボ ートプログラムは、ユーザがムービー生成配信サービスのページにアクセスし、生成 する映像を選択した際に、その映像に適した撮影をサポートするためのサポートプロ グラムがダウンロードされるように構成すれば良レ、。よって、上述したサーバ 10、 50の DB内には、このサポートプログラムを格納したサポートプログラム DBが追加されるこ とになる。また、予め携帯端末内に撮影サポートツールの機能を実行するためのサボ ートプログラム全体又はその一部が格納されていても良い。
[0065] 続いて、携帯端末用撮影サポートツールに従って、ユーザにより撮影が行われ、映 像が生成される際の処理について、図 10及び図 11に基づいて説明する。図 10は、 本実施の形態に係る携帯端末用撮影サポートツールの一例を説明するための図で あり、本例では、ユーザが撮影した静止画とサーバ上の原静止画とが合成される場 合について説明する。図 10aは、サーバに格納されている原静止画の中からユーザ が選択した原画像を示している。ここでは、この原画像のうち、人物のみをユーザが 撮影した人物に入れ替えるものとする。図 10bは、サポートツールとして携帯電話端 末上のディスプレイに表示されるフォトフレームを示している。また、図 11は、携帯端 末用撮影サポートツールに基づいて、画像が生成される際の処理の流れを示すフロ 一チャートである。
[0066] まず、 S 30において、ユーザが携帯電話端末を使って画像生成配信サービスのぺ ージにアクセスする。そして、ユーザが、ページ内のコンテンツを見ながら、この原画 像を選択すると(S31)、撮影サポートツールを実行するためのサポートプログラムが 、サーバ内のサポートプログラム DBから携帯電話端末へとダウンロードされる(S32) 。このサポートプログラムは、直ぐに携帯電話端末内の演算装置により端末上で実行 され、図 10bに示すフォトフレーム力 携帯電話端末のディスプレイ上に表示される( 333;)。
[0067] このフォトフレームは、携帯電話端末のカメラが捉えた映像のうち、図の白抜き部分 のみをディスプレイ上に表示させるマスク機能を有するものである。すなわち、サーバ におレ、て原画像と合成される所定の領域のみがディスプレイ上に表示される。よって 、ユーザは、この白抜き部分に人物がちょうど嵌まるようにディスプレイを見ながら撮 影を行う(S34)。また、サポートプログラムには、音声情報も含まれており、携帯電話 端末のスピーカーから、「このフォトフレームの枠内に人物が入るように撮影を行って 下さい。」とのガイドアナウンスも流れ、ユーザの撮影をサポートする。
[0068] そして、 S35に進み、 S34において撮影された静止画が携帯電話端末からサーバ に送信される。 S36では、サーバにおいて、図 10aの原画像に上記静止画が合成さ れた合成画像が生成される。ユーザが本撮影サポートツールのガイドに従うことで、 原画像の入れ替え部分にちょうど人物が収まるような静止画が撮影されているので、 綺麗に人物が入れ替わった合成画像が生成される。そして、このように生成された合 成画像は、サーバから携帯電話端末に配信され、ユーザは原画像を身近な人物等 に置き換えた演出効果の高い画像を、自らの携帯電話端末上で楽しむことができる
[0069] 二のように、本実施の形態に係る携帯端末用撮影サポートツールによれば、ェンタ 一ティメント性の高い合成画像の生成に適した収まりの良い画像を、ガイドに従うだ けでユーザが簡単に撮影することが可能となる。さらに、このようなフォトフレームを使 用することで、入れ替える人物の輪郭の座標を予め知ることができるので、人物の肩 の上を CGキャラクタが移動しながら踊るといった演出を加えた合成画像を容易に生 成することも可能となる。
[0070] なお、上記実施の形態では、データ量を少なくするために、フォトフレームの背景は 黒色としたが、背景を原画像の背景と同じにしても良い。この場合には、ユーザは、 実際の合成画像をイメージしながら撮影を行うことができる。
[0071] 次に、第 3の実施の形態の変形例に係る携帯端末用撮影サポートツールについて
、図 12に基づいて説明する。同図は、第 3の実施の形態の変形例に係る携帯端末 用撮影サポートツールを説明するための図である。本変形例では、原画像としての動 画に、ユーザが撮影した複数枚の静止画を合成するための撮影サポートツールであ る。
[0072] 同図 a— cは、原動画の一場面を時系列で並べた図である。そして、この原動画の 人物(相撲取り)をユーザが撮影した人物に入れ替えるためのフォトフレーム力 同図 d— fに示されている。本変形例では、同図 a— cに示すように、人物の輪郭の座標が 、時間が進むに従って変化しているため、精度の高い合成画像を生成するためには 、入れ替えるための撮影画像の人物の位置もこの変化に合わせる必要がある。
[0073] よって、本変形例では、撮影サポートツールとして、同図 d— fに示すフォトフレーム を順に表示するためのプログラムが、サーバから携帯電話端末に提供される。ユーザ は、これらフォトフレームに人物が収まるように、順に 3枚の静止画を撮影し、サーバ に送信すれば、サーバ側で各静止画と対応する原動画のコマとの合成が行われる。
[0074] このように、本変形例に係る撮影サポートツールによれば、原画像が動画であって も、原動画の一部入れ替えが高精度に行われた合成画像を簡単に生成することがで きる。
[0075] 以上、本実施の形態について詳細に説明したが、本発明はこれらの実施の形態に 限定されるものではなぐ本発明の趣旨を逸脱しない範囲内で種々の変形が可能で める。 例えば、本実施の形態では、携帯端末上で撮影する画像として静止画のみの場合 について説明したが、動画を撮影するための撮影サポートツールであっても良い。こ の場合には、動的に移動するフォトフレームを携帯端末上に表示すれば、ユーザが このフォトフレームにぴったり嵌るような撮影を行うことができる。
[0076] また、本実施の形態では、撮影サポートツールとして、フォトフレームと音声ガイドに ついてのみ説明したが、携帯端末上でのプログラムの実行により、ユーザ側での撮 影をサポートするツールであれば、様々なサポートツールが本発明に含まれる。例え ば、上述したようにユーザが動画を撮影する場合に、携帯端末のスピーカーからリズ ム音を鳴らし、ユーザがその音楽に合わせて動作をすると、合成画像のサウンドに合 つた動きが撮影できるような撮影サポートツールであっても良い。また、撮影画像の光 量が不足してレ、れば、その旨をユーザに指示するような撮影サポートツールであって も良い。
[0077] また、フォトフレームに被写体がぴったり合った時に、 自動的に撮影が行われる機 能を実現するためのプログラムを、撮影サポートツールとして提供しても良レ、。また、 BGMを携帯端末上で再生しながらユーザの音声を録音する機能を実行するための プログラムを提供しても良い。このユーザの音声がサーバに送信され、合成画像のサ ゥンドに組み込むことで、より演出の高い合成映像を提供することができる。ユーザは 、 BGMを聞きながら音楽に合ったメッセージを吹き込むことが可能になる。
[0078] このような複雑な制御を行うプログラムは、近年携帯端末に搭載されている Java (登 録商標)や BREW (登録商標)等を利用して作成することで、比較的簡単に作成する ことが可能であると共に、サーノくから携帯端末にダウンロードする撮影サポートツー ル実行プログラムのデータ容量を小さくすることが可能である。
[0079] さらに、本実施の形態では、ユーザの端末として携帯電話端末を用いているが、こ れに限定されるものではなぐカメラ機能及び無線通信機能を持った携帯端末であ れば良い。例えば、カメラ機能を備えた PHS、カメラ機能及び無線通信機能を持つ た PDAや携帯ゲーム機、無線通信機能を備えたデジタルカメラ等であっても良い。 ここで、カメラ機能及び無線通信機能は、本体に内蔵されているものだけでなぐォ プシヨン機能や外付け機器により後付で実現されていても良い。

Claims

請求の範囲
[1] 携帯端末とサーバとの間で画像の送受信を行う動画生成配信システムであって、 前記携帯端末は、カメラ機能及び無線通信機能を備え、前記無線通信機能により 複数枚の静止画を前記サーバに送信するよう構成され、
前記サーバは、所定の順序で配置された前記複数枚の静止画に基づく動画を生 成し、前記携帯端末にその動画を配信するよう構成されてレ、ることを特徴とする動画 生成配信システム。
[2] 無線通信機能を備えた携帯端末との間で画像の送受信を行う動画生成配信シス テムに用いられるサーバであって、
前記サーバは、前記携帯端末から受信した複数枚の静止画を所定の順序で配置 する動画を生成し、前記携帯端末にその動画を配信するよう構成されてレ、ることを特 徴とする動画生成配信システム用サーバ。
[3] 前記サーバは、前記動画に所定の画像処理を施すためのデータが格納されたデ ータベースを備えていることを特徴とする請求項 2記載の動画生成配信システム用サ ーバ。
[4] 前記サーバは、前記データベース内に、複数枚の静止画を同時に合成表示する 画像処理を行うためのエフェクトデータを格納していることを特徴とする請求項 3記載 の動画生成配信システム用サーバ。
[5] 前記サーバは、前記データベース内に、動画の背景画像となるテンプレートデータ 及び動画のバックミュージックとなるミュージックデータを格納していることを特徴とす る請求項 3又は 4記載の動画生成配信システム用サーバ。
[6] 動画生成配信システムにより、携帯端末とサーバとの間で画像の送受信を行う動画 生成配信方法であって、
前記携帯端末力 無線通信機能により前記サーバに複数枚の静止画を送信する 静止画送信工程と、
前記サーバにおいて、前記複数枚の静止画を所定の順序で配置した動画を生成 する動画生成工程と、
前記サーバから前記携帯端末に前記動画を配信する動画配信工程と、を備えてい ることを特徴とする動画生成配信方法。
[7] 前記動画生成工程は、複数枚の前記静止画を同時に合成表示するための画像合 成処理工程を含んでいることを特徴とする請求項 6記載の動画生成配信方法。
[8] 無線通信機能を有する携帯端末との間で画像の送受信を行うコンピュータに動画 生成配信処理を実行させるための動画生成配信プログラムであって、
前記携帯端末から複数の静止画を受信するステップと、
前記複数枚の静止画を所定の順序で配置した動画を生成するステップと、 前記携帯端末に前記動画を配信するステップと、をコンピュータに実行させることを 特徴とする動画生成配信プログラム。
[9] 前記携帯端末は、 GPS機能を備えており、前記サーバは、前記携帯端末から送信 されてくる位置情報を反映させた動画を生成することを特徴とする請求項 1記載の動 画生成配信システム。
[10] カメラ機能及び無線通信機能を備えた携帯端末との間で画像の送受信を行う動画 生成配信システムに用いられるサーバであって、
前記サーバは、生成される動画の基となる原動画を格納したデータベースと、 前記原動画の一部に前記携帯端末から受信した画像を合成して動画を生成する 動画生成手段と、
前記携帯端末にその動画を配信する配信手段と、を備えてレ、ることを特徴とする動 画生成配信システム用サーバ。
[11] 前記動画生成手段は、前記携帯端末から送信されてくる位置情報に基づいて前記 動画を生成することを特徴とする請求項 10記載の動画生成配信システム用サーバ。
[12] 動画生成配信システムにより、携帯端末とサーバとの間で画像の送受信を行う動画 生成配信方法であって、
前記携帯端末から無線通信機能により前記サーバに画像を送信する画像送信ェ 程と、
前記サーバにおレ、て、サーバ内に格納されてレ、る原動画の一部に前記携帯端末 力 の画像を合成して動画を生成する動画生成工程と、
前記サーバから前記携帯端末に前記動画を配信する動画配信工程と、を備えてい ることを特徴とする動画生成配信方法。
[13] 無線通信機能を有する携帯端末との間で画像の送受信を行うコンピュータに動画 生成配信処理を実行させるための動画生成配信プログラムであって、
前記携帯端末力 画像を受信するステップと、
コンピュータ内に格納されている原動画の一部に前記画像を合成して動画を生成 前記携帯端末に前記動画を配信するステップと、をコンピュータに実行させることを 特徴とする動画生成配信プログラム。
[14] 画像生成配信システムのサーバ上で原画像と合成される画像を撮影するための力 メラ機能を備えた携帯端末上にぉレ、て、ユーザによる撮影をサポートする携帯端末 用撮影サポートツールであって、前記サーバ上での画像合成に適した画像が撮影さ れるように、前記携帯端末が有する機能を利用して、ユーザによる撮影をサポートす ることを特徴とする携帯端末用撮影サポートツール。
[15] 前記携帯端末のディスプレイ上に表示されるフォトフレームであって、前記カメラが 捉えた映像のうち前記原画像と合成される所定の領域のみを前記ディスプレイ上に 表示するマスク機能を備えたフォトフレームを有することを特徴とする請求項 14記載 の携帯端末用撮影サポートツール。
[16] 画像生成配信システムのサーバ上で原画像と合成される画像を撮影するための力 メラ機能を備えた携帯端末上にぉレ、て、ユーザによる撮影をサポートする携帯端末 用撮影サポートツールを実行させる携帯端末用撮影サポートプログラムであって、 前記サーバ上での画像合成に適した画像が撮影されるように、前記携帯端末が有 する機能を利用して、ユーザによる撮影をサポートするステップ、を前記携帯端末に 実行させることを特徴とする携帯端末用撮影サポートプログラム。
[17] 前記カメラが捉えた映像のうち前記原画像と合成される所定の領域のみを前記ディ スプレイ上に表示するマスク機能を備えたフォトフレームを、前記携帯端末のディスプ レイに表示するステップ、を前記携帯端末に実行させることを特徴とする請求項 16記 載の携帯端末用撮影サポートプログラム。
[18] 前記フォトフレーム内に所望の被写体が収まった時に、前記カメラ機能による撮影 を自動的に実行するステップ、をさらに前記携帯端末に実行させることを特徴とする 請求項 17記載の携帯端末用撮影サポートプログラム。
[19] 前記携帯端末のスピーカーから撮影方法の音声ガイダンスを流すステップ、を前記 携帯端末に実行させることを特徴とする請求項 16乃至 18何れか 1項に記載の携帯 端末用撮影サポートプログラム。
[20] この携帯端末用撮影サポートプログラムは、前記サーバ内に格納されており、ユー ザが原画像を選択した際に、当該原画像に対応する携帯端末用撮影サポートプログ ラムが前記携帯端末にダウンロードされることを特徴とする請求項 16乃至 19何れ力 4 項に記載の携帯端末用撮影サポ
PCT/JP2004/009311 2003-07-04 2004-07-01 動画生成配信システム及び携帯端末用撮影サポートツール WO2005011263A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2003-270937 2003-07-04
JP2003270937 2003-07-04
JP2003-432580 2003-12-26
JP2003432580A JP2005192028A (ja) 2003-12-26 2003-12-26 携帯端末用撮影サポートツール及びプログラム
JP2003-432277 2003-12-26
JP2003432277A JP2005045757A (ja) 2003-07-04 2003-12-26 動画生成配信システム

Publications (1)

Publication Number Publication Date
WO2005011263A1 true WO2005011263A1 (ja) 2005-02-03

Family

ID=34108569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009311 WO2005011263A1 (ja) 2003-07-04 2004-07-01 動画生成配信システム及び携帯端末用撮影サポートツール

Country Status (1)

Country Link
WO (1) WO2005011263A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118831A (ja) * 1997-06-17 1999-01-12 Fuji Photo Film Co Ltd 合成写真システム並びに合成写真機能付き電子カメラ及び記録媒体
JPH11196362A (ja) * 1997-01-10 1999-07-21 Casio Comput Co Ltd 撮像装置および撮像画像加工方法
JP2000287072A (ja) * 1999-03-31 2000-10-13 Sony Corp 画像加工処理システム、画像加工処理装置、画像加工処理方法、媒体及び携帯情報端末装置
JP2001223876A (ja) * 2000-02-07 2001-08-17 Fuji Photo Film Co Ltd 画像出力装置
JP2001285420A (ja) * 2000-03-24 2001-10-12 Telefon Ab L M Ericsson 移動無線通信装置、通信システム及び印刷装置
JP2002084457A (ja) * 2000-09-07 2002-03-22 Sony Corp 画像処理装置及び方法、並びに記録媒体
JP2002111998A (ja) * 2000-09-27 2002-04-12 Toshiba Corp 画像合成方法および情報処理装置
JP2002150261A (ja) * 2000-11-14 2002-05-24 Casio Comput Co Ltd 特殊画像ゲーム装置、特殊画像作成システム、特殊画像作成装置、および記録媒体
JP2002281376A (ja) * 2001-03-19 2002-09-27 Matsushita Electric Ind Co Ltd カメラ装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196362A (ja) * 1997-01-10 1999-07-21 Casio Comput Co Ltd 撮像装置および撮像画像加工方法
JPH118831A (ja) * 1997-06-17 1999-01-12 Fuji Photo Film Co Ltd 合成写真システム並びに合成写真機能付き電子カメラ及び記録媒体
JP2000287072A (ja) * 1999-03-31 2000-10-13 Sony Corp 画像加工処理システム、画像加工処理装置、画像加工処理方法、媒体及び携帯情報端末装置
JP2001223876A (ja) * 2000-02-07 2001-08-17 Fuji Photo Film Co Ltd 画像出力装置
JP2001285420A (ja) * 2000-03-24 2001-10-12 Telefon Ab L M Ericsson 移動無線通信装置、通信システム及び印刷装置
JP2002084457A (ja) * 2000-09-07 2002-03-22 Sony Corp 画像処理装置及び方法、並びに記録媒体
JP2002111998A (ja) * 2000-09-27 2002-04-12 Toshiba Corp 画像合成方法および情報処理装置
JP2002150261A (ja) * 2000-11-14 2002-05-24 Casio Comput Co Ltd 特殊画像ゲーム装置、特殊画像作成システム、特殊画像作成装置、および記録媒体
JP2002281376A (ja) * 2001-03-19 2002-09-27 Matsushita Electric Ind Co Ltd カメラ装置

Similar Documents

Publication Publication Date Title
JP2008176811A (ja) 情報配信装置
CN103842936A (zh) 将多个实况视频剪辑和静态照片记录、编辑和合并为成品组合作品
CN101690150A (zh) 基于虚拟现实的电话会议
US11601618B1 (en) Method of using online, real-time, interactive, multiplane camera view to enhance videoconferencing platforms
JP2006268442A (ja) 画像合成表示装置と携帯端末装置と画像合成表示プログラムと記録媒体と画像合成表示方法
JP6525091B1 (ja) マッチングシステム
CN112417180B (zh) 生成影集视频的方法、装置、设备及介质
TW200814718A (en) Scenario simulation system and method for a multimedia device
CN114697742A (zh) 一种视频录制方法及电子设备
JP2005045757A (ja) 動画生成配信システム
US20080162650A1 (en) User-chosen media content
JP2023153790A (ja) プログラム
US20220415361A1 (en) Method for processing videos and electronic device
WO2005011263A1 (ja) 動画生成配信システム及び携帯端末用撮影サポートツール
JP2005192028A (ja) 携帯端末用撮影サポートツール及びプログラム
JP2004355567A (ja) 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP7148788B2 (ja) 情報処理装置、動画合成方法及び動画合成プログラム
WO2020044875A1 (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2020127211A (ja) 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
JP2002199446A (ja) 写真シール作製機
JP2003242480A (ja) 画像処理方法およびその方法を利用可能なサーバ
KR101647435B1 (ko) 온라인 게임 지원 시스템 장치
JP2011091725A (ja) サーバ装置、携帯電話および合成動画作成システム
JP6849851B2 (ja) 撮影システム、撮影装置及びユーザ撮影方法
JP2005323008A (ja) 携帯情報端末

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase