WO2022172587A1 - プログラム、方法、情報処理装置、システム - Google Patents

プログラム、方法、情報処理装置、システム Download PDF

Info

Publication number
WO2022172587A1
WO2022172587A1 PCT/JP2021/046496 JP2021046496W WO2022172587A1 WO 2022172587 A1 WO2022172587 A1 WO 2022172587A1 JP 2021046496 W JP2021046496 W JP 2021046496W WO 2022172587 A1 WO2022172587 A1 WO 2022172587A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
parameter
context
information
Prior art date
Application number
PCT/JP2021/046496
Other languages
English (en)
French (fr)
Inventor
洋介 押野
Original Assignee
株式会社ポケモン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ポケモン filed Critical 株式会社ポケモン
Publication of WO2022172587A1 publication Critical patent/WO2022172587A1/ja
Priority to US18/231,248 priority Critical patent/US20230419465A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Definitions

  • the present disclosure relates to programs, methods, information processing devices, and systems.
  • the purpose of this disclosure is to give new interest to looking back and reviewing past images.
  • a program to be executed by a computer equipped with a processor and memory registers with the processor a specified image, accepts a request for a composite image, analyzes the registered image in response to the request to obtain the context of the image, and performs user activity. obtaining a parameter value associated with the registered image among the parameter values updated in response to; determining an object from the obtained context and the obtained parameter value; registering the determined object; and a step of synthesizing it with the obtained image and presenting it to the user.
  • FIG. 1 is a block diagram showing the overall configuration of a system
  • FIG. 2 is a block diagram showing the configuration of the terminal device shown in FIG. 1
  • FIG. It is a figure which shows the functional structure of a server. It is a figure which shows the data structure of image information DB. It is a figure which shows the data structure of parameter DB. It is a figure which shows the data structure of object information DB.
  • FIG. 10 is a diagram illustrating operations of a terminal device and a server when a composite image is presented to a user; It is a figure showing the image determined as the 1st image.
  • FIG. 4 is a diagram showing a composite image displayed on a display
  • FIG. 10 is a diagram showing another example of a composite image displayed on the display;
  • FIG. 10 is a diagram showing another example of an image determined as the first image;
  • FIG. 10 is a diagram showing another example of a composite image displayed on the display;
  • FIG. 10 is a diagram showing another example of a composite image displayed on the display;
  • FIG. 10 is a diagram showing another example of an image determined as the first image;
  • FIG. 10 is a diagram showing another example of a composite image displayed on the display;
  • the system according to the present embodiment superimposes an image corresponding to a predetermined parameter on an image captured in the past, thereby adding new interest to looking back and reviewing the past image.
  • FIG. 1 is a block diagram showing an example of the overall configuration of system 1.
  • a system 1 shown in FIG. 1 includes a plurality of terminal devices 10 and a server 20 .
  • the terminal device 10 and the server 20 are connected for communication via the network 80 .
  • FIG. 1 shows an example in which the system 1 includes three terminal devices 10, the number of terminal devices 10 included in the system 1 is not limited to three. The number of terminal devices 10 may be less than three, or may be three or more.
  • a collection of multiple devices may be used as one server. How to distribute a plurality of functions required to realize the server 20 according to the present embodiment to one or a plurality of pieces of hardware takes into account the processing capability of each piece of hardware and/or the specifications required for the server 20. can be determined as appropriate.
  • the terminal device 10 is, for example, a device operated by a user who receives a synthetic image provided by the server 20 .
  • the terminal device 10 may be, for example, a mobile terminal such as a smart phone or tablet, a stationary PC (Personal Computer), or a laptop PC.
  • the terminal device 10 includes a communication IF (Interface) 12, an input device 13, an output device 14, a memory 15, a storage 16, and a processor 19.
  • IF Interface
  • the communication IF 12 is an interface for inputting and outputting signals for the terminal device 10 to communicate with an external device.
  • the input device 13 is a device (for example, a touch panel, a touch pad, a pointing device such as a mouse, a keyboard, etc.) for receiving input operations from the user.
  • a device for example, a touch panel, a touch pad, a pointing device such as a mouse, a keyboard, etc.
  • the output device 14 is a device (display, speaker, etc.) for presenting information to the user.
  • the memory 15 is for temporarily storing programs, data processed by the programs, etc., and is a volatile memory such as a DRAM (Dynamic Random Access Memory).
  • DRAM Dynamic Random Access Memory
  • the storage 16 is for storing data, and is, for example, a flash memory or HDD (Hard Disc Drive).
  • HDD Hard Disc Drive
  • the processor 19 is hardware for executing an instruction set described in a program, and is composed of arithmetic units, registers, peripheral circuits, and the like.
  • the server 20 is, for example, a device that provides synthetic images to users.
  • a synthesized image according to the present embodiment is an image obtained by synthesizing a predetermined object in a predetermined manner with an image captured by the user in the past. Images captured by the user in the past may be still images or moving images.
  • Objects include, for example, persons, characters, objects, characters, and the like. Aspects include size, color, angle, moving images, still images, and the like.
  • the server 20 includes a communication IF 22, an input/output IF 23, a memory 25, a storage 26, and a processor 29.
  • the communication IF 22 is an interface for inputting and outputting signals for the server 20 to communicate with external devices.
  • the input/output IF 23 functions as an interface with an input device for accepting input operations from the user and an output device for presenting information to the user.
  • the memory 25 is for temporarily storing programs, data processed by the programs, etc., and is a volatile memory such as a DRAM (Dynamic Random Access Memory).
  • DRAM Dynamic Random Access Memory
  • the storage 26 is for storing data, and is, for example, a flash memory or a HDD (Hard Disc Drive).
  • the processor 29 is hardware for executing an instruction set described in a program, and is composed of arithmetic units, registers, peripheral circuits, and the like.
  • FIG. 2 is a block diagram showing a configuration example of the terminal device 10 shown in FIG.
  • the terminal device 10 includes a communication unit 120, an input device 13, an output device 14, an audio processing unit 17, a microphone 171, a speaker 172, a camera 161, and a position information sensor 150. , a storage unit 180 and a control unit 190 .
  • Each block included in the terminal device 10 is electrically connected by, for example, a bus.
  • the communication unit 120 performs processing such as modulation/demodulation processing for the terminal device 10 to communicate with other devices.
  • the communication unit 120 performs transmission processing on the signal generated by the control unit 190 and transmits the signal to the outside (for example, the server 20).
  • Communication unit 120 performs reception processing on a signal received from the outside and outputs the signal to control unit 190 .
  • the input device 13 is a device for the user who operates the terminal device 10 to input instructions or information.
  • the input device 13 is implemented by, for example, a touch-sensitive device 131 or the like that inputs an instruction by touching an operation surface. If the terminal device 10 is a PC or the like, the input device 13 may be implemented by a reader, keyboard, mouse, or the like.
  • the input device 13 converts an instruction input by the user into an electric signal and outputs the electric signal to the control unit 190 .
  • the input device 13 may include, for example, a receiving port for receiving an electrical signal input from an external input device.
  • the output device 14 is a device for presenting information to the user who operates the terminal device 10 .
  • the output device 14 is implemented by, for example, the display 141 or the like.
  • the display 141 displays data under the control of the controller 190 .
  • the display 141 is implemented by, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the audio processing unit 17 performs, for example, digital-analog conversion processing of audio signals.
  • the audio processing unit 17 converts the signal supplied from the microphone 171 into a digital signal and supplies the converted signal to the control unit 190 .
  • the audio processing unit 17 provides an audio signal to the speaker 172 .
  • the audio processing unit 17 is realized by, for example, a processor for audio processing.
  • the microphone 171 receives an audio input and provides an audio signal corresponding to the audio input to the audio processing section 17 .
  • the speaker 172 converts the audio signal given from the audio processing unit 17 into audio and outputs the audio to the outside of the terminal device 10 .
  • the camera 161 is a device for receiving light with a light receiving element and outputting it as a photographing signal.
  • the position information sensor 150 is a sensor that detects the position of the terminal device 10, and is, for example, a GPS (Global Positioning System) module.
  • a GPS module is a receiving device used in a satellite positioning system. The satellite positioning system receives signals from at least three or four satellites, and detects the current position of the terminal device 10 equipped with a GPS module based on the received signals.
  • the storage unit 180 is implemented by, for example, the memory 15 and the storage 16, and stores data and programs used by the terminal device 10.
  • the storage unit 180 stores user information 181 and image information 182, for example.
  • the user information 181 includes, for example, information about the user who uses the terminal device 10.
  • the information about the user includes, for example, information identifying the user, user's name, age, address, date of birth, telephone number, email address, predetermined account information, and the like.
  • the user information 181 includes parameters about the user (for example, information based on user activity, information about shooting, etc.).
  • the parameters about the user are acquired by, for example, sensors provided in the terminal device 10 (position information sensor 150, camera 161, acceleration sensor (not shown, inertial sensor may be used), gyro sensor (not shown), etc.). be done.
  • the parameters about the user may be acquired by a timer function provided in the terminal device 10 .
  • the parameters about the user may be obtained through cooperation with a server (not shown) that provides a predetermined service used by the user, for example.
  • Parameters for the user include, for example: ⁇ Information based on the user's activities (information related to the user's movement, such as the number of steps taken, the distance traveled, and the route taken; information related to the user's photography, such as the fact that the user took pictures at a predetermined location; the total number of times the user took pictures) ⁇ Information based on the activities of other users (family, friends, etc.) associated with the user ⁇ Information on the passage of time (elapsed time and days since shooting)
  • Information based on the activities of other users associated with the user for example, when a predetermined image is jointly managed on the cloud with other users, for example, the number of steps of other users, distance traveled, travel route, etc. This includes information on the movement of the user, the fact that the image was taken at a predetermined location, information on the image taken by other users such as the total number of images taken.
  • the image information 182 is information about the image based on the imaging signal.
  • the image information 182 includes, for example, pixel information representing the image and meta information, which is additional information about the image.
  • the meta information includes, for example, information for identifying an image, information for identifying a photographer, shooting date, shooting location, shooting direction, luminance, hue, shooting mode, shooting target, and the like.
  • the shooting location represents the location where the image was shot, and is based on information acquired by the position information sensor 150, for example.
  • the shooting direction represents the direction in which the image was shot, and is based on information acquired by a geomagnetic sensor and a gyro sensor provided in the terminal device 10, for example.
  • Luminance represents the brightness of an image, and is based on, for example, information set when the image was captured.
  • Hue represents the color tone of an image and is obtained, for example, by analyzing pixel information.
  • the shooting mode represents the mode when the image was shot, and is based on information set when the image was shot, for example.
  • the object to be photographed represents an object contained in the image and is obtained by analyzing pixel information, for example.
  • the image information 182 does not have to include, for example, the hue or the object to be photographed.
  • the control unit 190 is implemented by the processor 19 reading a program stored in the storage unit 180 and executing instructions included in the program.
  • the control unit 190 controls operations of the terminal device 10 .
  • the control unit 190 functions as an operation reception unit 191, a transmission/reception unit 192, an image analysis unit 193, a display control unit 194, and a storage control unit 195 by operating according to programs.
  • the operation reception unit 191 performs processing for receiving instructions or information input from the input device 13 . Specifically, for example, the operation accepting unit 191 accepts information based on an instruction input from the touch sensitive device 131 or the like. Instructions input via the touch-sensitive device 131 or the like are, for example, as follows. ⁇ Instruction to register image to server 20 ⁇ Instruction to request composite image to server 20
  • the operation accepting unit 191 accepts voice instructions input from the microphone 171 . Specifically, for example, the operation reception unit 191 receives an audio signal input from the microphone 171 and converted into a digital signal by the audio processing unit 17 . The operation reception unit 191 acquires an instruction from the user, for example, by analyzing the received audio signal and extracting a predetermined noun.
  • the transmission/reception unit 192 performs processing for the terminal device 10 to transmit and receive data to and from an external device such as the server 20 according to a communication protocol. Specifically, for example, the transmission/reception unit 192 transmits an instruction to register an image and image information to be registered to the server 20 . Further, the transmission/reception unit 192 transmits to the server 20 an instruction requesting a composite image.
  • the transmission/reception unit 192 transmits at least part of the user information 181 to the server 20 .
  • the transmission/reception unit 192 transmits information to the server 20 at the following timings, for example. ⁇ Predetermined period ⁇ When motion is detected by the sensor ⁇ According to input from the user (for example, input of image registration instruction or input of synthetic image request instruction)
  • the image analysis unit 193 analyzes the imaging signal captured by the camera 161 . Specifically, the image analysis unit 193 analyzes pixel information and obtains information contained in the image. For example, the image analysis unit 193 acquires hue as information included in the image. In addition, the image analysis unit 193 acquires the photographed person, place, object, event, etc. as information contained in the image. Note that the image analysis unit 193 may not exist depending on the terminal device 10 .
  • the display control unit 194 controls the output device 14 to present the image provided by the server 20 to the user. Specifically, for example, the display control unit 194 causes the display 141 to display an image based on information transmitted from the server 20 .
  • the storage control unit 195 controls data storage in the storage unit 180 .
  • the storage control unit 195 stores parameters about the user in the user information 181, for example.
  • the storage control unit 195 stores the movement distance, the movement route, and the like acquired by the position information sensor 150 in the user information 181 .
  • the storage control unit 195 stores the number of steps acquired by the acceleration sensor in the user information 181, for example.
  • the storage control unit 195 stores the total number of shots acquired by the camera 161, information on shooting at a predetermined location, and the like in the user information 181.
  • the storage control unit 195 stores information provided by a predetermined server in the user information 181 .
  • the storage control unit 195 stores the time elapsed from the predetermined reference point in the user information 181 .
  • the storage control unit 195 stores information about the image captured by the camera 161 in the image information 182 . Specifically, for example, the storage control unit 195 stores information about the image based on the imaging signal acquired by the camera 161 in the image information 182 .
  • FIG. 3 is a diagram showing an example of the functional configuration of the server 20.
  • the server 20 functions as a communication section 201 , a storage section 202 and a control section 203 .
  • the communication unit 201 performs processing for the server 20 to communicate with an external device.
  • the storage unit 202 has databases in which data for generating composite images are accumulated, such as an image information database (DB) 281, a parameter database (DB) 282, an object information database (DB) 283, and the like.
  • DB image information database
  • DB parameter database
  • DB object information database
  • the image information DB 281 is a database for holding information about images registered by users. Details will be described later.
  • the parameter DB 282 is a database for holding information managed about users who receive services.
  • parameter values indicating user activities and the like are managed in items corresponding to registered images.
  • the items managed by the parameter DB 282 are referred to as parameter items. Details will be described later.
  • the object information DB 283 is a database for holding information about objects to be combined with images. Details will be described later.
  • the control unit 203 is implemented by the processor 29 reading a program stored in the storage unit 202 and executing instructions included in the program.
  • the control unit 203 operates according to programs to perform functions indicated as a reception control module 2041, a transmission control module 2042, a registration module 2043, a management module 2044, an analysis module 2045, an acquisition module 2046, a determination module 2047, and a presentation module 2048. Demonstrate.
  • the reception control module 2041 controls the process by which the server 20 receives signals from external devices according to the communication protocol.
  • the transmission control module 2042 controls the processing by which the server 20 transmits signals to external devices according to the communication protocol.
  • the registration module 2043 controls registration processing of images specified by the user. For example, when the registration module 2043 receives an instruction to register an image and image information about the image from the user, the registration module 2043 stores the received image information in the image information DB 281 .
  • the management module 2044 manages parameters for users. For example, when receiving at least part of the user information 181 from the terminal device 10, the management module 2044 updates the parameter DB 282 based on the received information. Specifically, for example, when an image is registered, the management module 2044 sets parameter items related to the registered image. For example, the management module 2044 stores, as parameter items, items related to the passage of time (eg, number of days, months, years, etc.), items related to the number of experiences related to places (eg, number of visits, number of shots, etc.), items related to movement, etc. (For example, the number of steps, the distance traveled, the point reached, etc.), or the total number of shots, etc. are set.
  • items related to the passage of time eg, number of days, months, years, etc.
  • items related to the number of experiences related to places eg, number of visits, number of shots, etc.
  • items related to movement e.g, the number of steps, the distance traveled, the point reached, etc.
  • the management module 2044 updates the values of the parameter items based on the information regarding the movement of the user included in the received information. For example, the management module 2044 grasps that a predetermined place has been visited based on the information regarding the user's movement. Also, the management module 2044 manages the number of visits to a predetermined place.
  • the management module 2044 recognizes that the user has taken a picture at a predetermined location from the information about the user's picture taken, which is included in the received information. Also, the management module 2044 manages the number of times the image has been taken at a predetermined location.
  • the management module 2044 updates the values of the parameter items based on information based on the activities of other users associated with the user, which is included in the received information. It should be noted that the administration module 2044 may receive information based on the activities of other users associated with the user from a server (not shown) providing a given service.
  • the management module 2044 updates the values of the parameter items based on the information regarding the passage of time included in the received information.
  • the management module 2044 may set parameter items based on instructions from the administrator of the server 20 or the user. For example, the management module 2044 may set, as a parameter item, a condition imposed by an administrator, such as a so-called quota. For example, the management module 2044 may set conditions imposed by the user, such as quotas, as parameter items.
  • the analysis module 2045 controls analysis processing of image information. For example, the analysis module 2045 analyzes information about a predetermined first image among the images registered in the image information DB 281, and acquires the context included in the first image.
  • the context represents, for example, the context in which the image was captured, in other words, the meaning of the image being captured, the significance of the image being captured, the scene in which the image was captured, or the like.
  • the analysis module 2045 acquires one or multiple contexts from multiple contexts registered in advance in the storage unit 202 based on information included in the image information. For example, the analysis module 2045 obtains the following information as context by performing image analysis on pixel information included in image information.
  • the analysis module 2045 acquires the following information as context, for example, based on the meta information included in the image information. ⁇ The image must have been taken on a specified date ⁇ The image must have been taken at a specified location ⁇ The image must have been taken facing a specified direction ⁇ The image must have a specified atmosphere ( based on shade) ⁇ The image must include a predetermined shooting target (object, person, character, event, etc.)
  • analysis module 2045 may perform image analysis processing for pixel information included in the image information and extraction processing for meta information included in the image information, or perform either processing. You may make it
  • the analysis module 2045 determines an image that satisfies predetermined requirements among the registered images as the first image.
  • Predetermined requirements are, for example, the following. ⁇ Images specified by the user ⁇ Randomly selected images ⁇ Images related to the current date (images taken on the same day, images taken on the same month, etc.) ⁇ Images related to the current location (images taken at the same location, images taken at different locations within the same facility, etc.) ⁇ Images related to the event that is currently presumed to be in progress (images of the same event, images of a series of events) - An image that satisfies predetermined shooting conditions (an image including a predetermined target, an image shot in a predetermined direction, an image shot at a predetermined brightness, an image with a predetermined hue, etc.)
  • the acquisition module 2046 controls the acquisition of parameter values for images.
  • the acquisition module 2046 refers to the parameter DB 282 to acquire values of predetermined parameter items for the first image analyzed by the analysis module 2045 among the registered images.
  • the acquisition module 2046 selects items of parameters to acquire for the first image.
  • Acquisition module 2046 selects the parameter items that have been set.
  • the values of the parameter items can change between the image capturing timing and the registration timing and before the image synthesis processing.
  • the acquisition module 2046 selects at least one of the number of elapsed days, the number of visits, the number of shots, the number of steps, the distance traveled, the point reached, the total number of shots, etc., as parameter items.
  • the acquisition module 2046 may select any parameter item based on the context acquired by the analysis module 2045, for example. For example, when the analysis module 2045 acquires the context of being at a predetermined ballpark, the acquisition module 2046 selects the number of visits to this ballpark as a parameter item. Further, for example, when the analysis module 2045 acquires an image taken a long time ago (an image taken on a predetermined date) as a context, the acquisition module 2046 acquires the image after this image is registered. The number of days elapsed or the number of days elapsed since this image was taken is selected as a parameter item.
  • the acquisition module 2046 may randomly select one of the parameter items regardless of the acquired context.
  • the acquisition module 2046 acquires the value of the selected parameter item based on the parameter DB 282. For example, when the number of visits is selected as the parameter item, the acquisition module 2046 acquires the number of visits to a given location stored in the parameter DB 282 .
  • the acquisition module 2046 calculates the number of days that have elapsed since the image was registered as the update date stored in the parameter DB 282 and the registration date stored in the image information DB 281. Get based on date and time.
  • the acquisition module 2046 may also acquire the number of days that have elapsed since the image was captured based on the update date stored in the parameter DB 282 and the date of capture stored in the image information DB 281 .
  • a determination module 2047 determines the object to be combined with the image and the mode of the object. For example, determination module 2047 determines objects based on the context obtained by analysis module 2045 . In this embodiment, the objects are classified into, for example, characters, persons, objects, characters, etc., and the contents correspond to the classification.
  • the determining module 2047 determines the level of the determined object based on the values of the parameter items obtained by the obtaining module 2046 .
  • the level of an object represents, for example, the splendor of the object, the degree of change of the object, and the like.
  • the luxury of an object is represented by, for example, the following when the classification of the object is character. ⁇ The number of characters (the number increases as the level increases) ⁇ Character's belongings ⁇ Character facial expressions (more smiles as the level increases) ⁇ Character's degree of evolution (when the level goes up, it becomes an evolved shape) ⁇ Characters move (characters that did not move when the level was low will move when the level is high, and the movement of the character will change when the level increases)
  • a determination module 2047 determines the display mode of the object based on the configuration within the image. For example, the determination module 2047 determines the position, size, angle, etc., for synthesizing the determined object based on the position, size, shape, etc., of the object-free region in the image.
  • the presentation module 2048 presents to the user a synthesized image obtained by synthesizing a second image of a predetermined object with the first image of any of the registered images. Specifically, for example, the presentation module 2048 creates the second image based on the object determined by the determination module 2047 and the display mode of the object. The presentation module 2048 combines the created second image with the first image to create a composite image. Presentation module 2048 presents the created composite image to the user.
  • FIG. 4 to 6 are diagrams showing the data structure of the database stored by the server 20.
  • FIG. 4 to 6 are only examples, and do not exclude data not shown.
  • FIG. 4 is a diagram showing the data structure of the image information DB 281.
  • each record of the image information DB 281 includes an item “image ID”, an item “registrant”, an item “registration date”, an item “photographer”, and an item “shooting date”.
  • each record is associated with pixel information.
  • the item "image ID" stores information for identifying an image.
  • the image ID is automatically set, for example, when image information is registered.
  • the item "registrant” stores the name of the user who registered the image.
  • the item “registrant” may store a user ID that identifies the user.
  • the item "registration date” stores the date when the user registered the image.
  • the item "photographer” stores the name of the user who took the image.
  • the item “photographer” may store a user ID that identifies the user.
  • the item "shooting date” stores the date when the image was taken.
  • the item “location” stores the location where the user took the image.
  • the item “place” is represented by longitude and latitude, for example.
  • the item “shooting direction” stores the direction in which the user shot the image.
  • the item “shooting direction” is represented by, for example, an azimuth angle and an elevation angle.
  • the item "brightness” stores the brightness set when the user captured the image.
  • the item "hue” stores the hue included in the image.
  • the item "shooting mode” stores the shooting mode set when the user shot the image.
  • the item "shooting target” stores an object determined to be included in the image by post-shooting analysis.
  • FIG. 5 is a diagram showing the data structure of the parameter DB 282. As shown in FIG. 5, each record of the parameter DB 282 includes an item “user ID”, an item “parameter item”, an item “value”, and the like.
  • the item "user ID” stores information that identifies the user.
  • the item "parameter item” stores the item of the parameter being managed.
  • a parameter item is added, for example, when an image is registered.
  • the item "value” stores the value of the parameter item.
  • FIG. 6 is a diagram showing the data structure of the object information DB 283. As shown in FIG. 6, each record of the object information DB 283 includes an item "object ID”, an item “classification”, an item “related context”, an item “details”, and the like.
  • the item "object ID” stores information that identifies an object.
  • the item "classification” stores the classification to which the object belongs.
  • the item "related context” stores the context related to the object.
  • the item “content” stores the content of the object.
  • the item “contents” includes multiple sub-items.
  • the item “contents” is set for each level.
  • sub-item “level 1”, sub-item “level 2”, sub-item “level 3”, and sub-item “level 4" store contents according to the level.
  • the content of each level may be set for each parameter item selected by the acquisition module 2046, for example.
  • FIG. 7 is a diagram explaining an example of the operation of the terminal device 10 and the server 20 when a synthesized image is presented to the user.
  • the user operates the terminal device 10 to start a service that provides a composite image.
  • the terminal device 10 displays, for example, an image registration screen on the service providing screen.
  • the user selects at least one image from the images stored in the terminal device 10 on the registration screen.
  • the user confirms the selection of an image, for example, the user presses a confirmation button displayed on the terminal device 10 .
  • the terminal device 10 transmits an image registration instruction and information about the selected image to the server 20 (step S11).
  • the registration module 2043 stores the received image information in the image information DB 281 (step S21).
  • Server 20 through management module 2044, creates parameter terms associated with the selected image based on the received image information.
  • Management module 2044 adds the created parameter item to parameter DB 282 .
  • the terminal device 10 transmits at least part of the user information 181 to the server 20 at a predetermined timing (step S12). For example, the terminal device 10 transmits information to the server 20 regardless of the image registration instruction.
  • the management module 2044 updates the parameter DB 282 based on the received information (step S22). Specifically, for example, the management module 2044 updates the value of each parameter item in the parameter DB 282 .
  • the terminal device 10 After transmitting the image registration instruction, the terminal device 10 transmits to the server 20 at a predetermined timing an instruction requesting presentation of the composite image to the server 20 (step S13).
  • the predetermined timing is as follows. ⁇ When the user inputs a request for a composite image ⁇ When a predetermined date and time is reached ⁇ When the user's activity satisfies a predetermined condition (achievement of a predetermined number of visits, achievement, achievement of a predetermined distance traveled, arrival at a predetermined point, etc.) When the user performs processing related to viewing images stored in the image information 182 (when opening an album in which images related to registered images are stored, when viewing registered images, etc.) ⁇ When the activity of another user associated with the user meets a predetermined condition
  • the terminal device 10 may accept from the user the designation of the image that is the source of the composite image.
  • the user selects an image that is to be the source of the composite image from among the registered images, and presses the confirm button.
  • the terminal device 10 transmits to the server 20 an instruction to request a composite image and an instruction to select an image.
  • the analysis module 2045 determines the first image among the registered images.
  • the analysis module 2045 determines the image designated by the user as the first image.
  • the analysis module 2045 determines the first image based on the information stored in the image information DB 281 and the user's current situation, for example, when the user does not specify the original image of the composite image.
  • the analysis module 2045 analyzes the determined information about the first image to obtain the context contained in the first image (step S23).
  • FIG. 8 is a diagram showing an example of an image determined as the first image.
  • the image shown in FIG. 8 was taken during a birthday celebration.
  • the images shown in FIG. 8 include the person being celebrated, the person celebrating, the birthday cake, and the like.
  • Meta information including items described in the image information DB 281, for example, is added to the image shown in FIG.
  • the analysis module 2045 acquires context from the image shown in FIG. For example, based on the pixel information included in the image information and the information stored in the image information DB 281, the analysis module 2045 determines that "on 20YY/MM/DD, (longitude: Lat1, latitude: Lon1) Get the context with the content "Image about AAAA's birthday party”.
  • the server 20 uses the acquisition module 2046 to acquire the values of the predetermined parameter items for the first image by referring to the parameter DB 282 (step S24). Specifically, the acquisition module 2046 selects items of parameters to acquire for the first image. The acquisition module 2046 selects at least one of preset parameter items such as the number of elapsed days, the number of visits, the number of photographs, the number of steps, the distance traveled, the point reached, the total number of photographs taken, and the like. Acquisition module 2046 acquires the value for the selected parameter item based on parameter DB 282 .
  • the acquisition module 2046 retrieves, for example, the image of the birthday party of AAAA held at (Longitude: Lat1, Latitude: Lon1) at 20YY/MM/DD acquired by the analysis module 2045. , selects parameter items based on the context of The acquisition module 2046, for example, "number of times photographed at (longitude: Lat1, latitude: Lon1)", “number of times photographed at birthday party", “number of days elapsed since photographing date", “number of days elapsed since registration date", Alternatively, one of the "total number of shots” or the like is selected as a parameter item. In this description, for example, it is assumed that the acquisition module 2046 selects "the number of times the birthday party was photographed" as a parameter item.
  • the acquisition module 2046 refers to the parameter DB 282 and acquires "the number of times the birthday party was photographed”.
  • the server 20 uses the determination module 2047 to determine the object to be combined with the first image, the level of the object, and the aspect of the object (step S25). Specifically, determination module 2047 determines objects based on the context obtained by analysis module 2045 . The determining module 2047 determines the level of the determined object based on the values of the parameter items obtained by the obtaining module 2046 . The decision module 2047 decides how the object will be displayed based on its configuration within the image.
  • the determination module 2047 determines, for example, the image obtained by the analysis module 2045 for the birthday party of AAAA held at (Longitude: Lat1, Latitude: Lon1) on 20YY/MM/DD. ” and determine the object based on the context.
  • the decision module 2047 selects objects whose "relevant context" item is birthday.
  • the determining module 2047 determines the level of the object according to, for example, the value of the “number of photos of the birthday party” determined by the obtaining module 2046 .
  • the determination module 2047 presets a plurality of reference values corresponding to levels.
  • a determination module 2047 compares the number of shots with a reference value to determine the level of the object.
  • the determination module 2047 determines the dashed line area 1411 of the first image shown in FIG. 8 as the area where the object is to be combined. A determination module 2047 determines the size, angle, etc. of the object so that it can be combined with the dashed line area 1411 .
  • the server 20 creates a composite image using the presentation module 2048 (step S26). Specifically, for example, the presentation module 2048 creates the second image based on the object determined by the determination module 2047 and the display mode of the object. The presentation module 2048 combines the created second image with the first image to create a composite image. The server 20 stores the created composite image in the storage unit 202 . For example, the server 20 stores the synthesized image in the storage unit 202 as an image different from the first image.
  • the server 20 presents the created composite image to the user (step S27). Specifically, the server 20 transmits information about the created composite image to the terminal device 10 .
  • the terminal device 10 displays the received synthesized image on the display 141 (step S14).
  • FIG. 9 is a diagram showing an example of a composite image displayed on the display 141.
  • FIG. 9 In the synthesized image shown in FIG. 9, a second image 1412 including characters celebrating a birthday is synthesized.
  • the contents of the composite image created based on the first image are not limited to those shown in FIG. If the value of the parameter item increases before the composite image is displayed, the composite image with the object level increased is displayed.
  • the value of a predetermined parameter item increases after the user confirms the composite image shown in FIG. Specifically, after the user confirms the composite image shown in FIG. 9, it is assumed that there are multiple opportunities to photograph the birthday party.
  • the birthday parties to be photographed may be limited to AAAA's birthday parties, or other persons' birthday parties may be permitted.
  • the value of "number of shots taken at birthday party" selected as a parameter item is increased.
  • the decision module 2047 decides the level of the object according to the increased value of "Birthday party shots”.
  • the presentation module 2048 creates a composite image with the objects enhanced.
  • FIG. 10 is a diagram showing another example of the composite image displayed on the display 141.
  • the composite image shown in FIG. 10 is, for example, an image created in response to a composite image request instruction input after a predetermined period of time has passed since the composite image shown in FIG. 9 was presented.
  • the composite image shown in FIG. 10 has more gorgeous contents than the composite image shown in FIG.
  • FIG. 11 is a diagram showing another example of the image determined as the first image.
  • the image shown in FIG. 11 was taken in a park.
  • the image shown in FIG. 11 includes children playing in the park, playground equipment in the park, benches, and the like.
  • Meta information including items described in the image information DB 281, for example, is added to the image shown in FIG.
  • the analysis module 2045 acquires context from the image shown in FIG. For example, based on the pixel information included in the image information and the information stored in the image information DB 281, the analysis module 2045 determines that "At 20YY/MM/DD, AAAA is playing in a park at Lat2, Lon2". Acquire the context of the content "image in
  • the acquisition module 2046 selects a parameter item based on the context of "an image of AAAA playing in a park at (Longitude: Lat2, Latitude: Lon2) at 20YY/MM/DD" acquired by the analysis module 2045. do.
  • the acquisition module 2046 for example, "number of times photographed in park (longitude: Lat2, latitude: Lon2)", “number of visits to park (longitude: Lat2, latitude: Lon2)", “number of steps in park” , “distance traveled in the park", “days elapsed since photographing date", “days elapsed since registration date", or "total number of photographing times" are selected as parameter items.
  • the acquisition module 2046 selects "the number of visits to the park at (longitude: Lat2, latitude: Lon2)" as a parameter item.
  • the acquisition module 2046 refers to the parameter DB 282 and acquires “the number of visits to the park (longitude: Lat2, latitude: Lon2)”.
  • the determination module 2047 determines the object based on the context of, for example, "an image of AAAA playing in a park at (Longitude: Lat2, Latitude: Lon2) at 20YY/MM/DD" acquired by the analysis module 2045. decide. Decision module 2047, for example, selects an object whose item "relevant context" is a park. The determination module 2047 determines the level of the object according to, for example, the value of “the number of visits to the park at (Longitude: Lat2, Latitude: Lon2)” determined by the acquisition module 2046 . Here, it is assumed that the number of visits is insufficient to reach the level where the object is synthesized. Decision module 2047 decides which objects prompt a return visit.
  • the presentation module 2048 creates a second image based on the object determined by the determination module 2047 and the display mode of the object.
  • the presentation module 2048 combines the created second image with the first image to create a composite image.
  • FIG. 12 is a diagram showing another example of the composite image displayed on the display 141.
  • FIG. 12 In the synthesized image shown in FIG. 12, characters are synthesized to encourage a repeat visit.
  • the parameter item is "number of times of visit”
  • "If you visit the park one more time, it will be a fun image” is displayed as the text prompting the visitor to visit again.
  • the acquisition module 2046 selects other parameter items, different descriptions will be displayed. For example, when “the number of times of photographing in the park" is selected as the parameter item, the determination module 2047 selects the character object "If you take one more photograph in the park, it will be a fun image.” to decide.
  • the determination module 2047 determines "walking a little longer will make the image more enjoyable” as the text object that encourages further walking. Also, for example, when “distance traveled in the park” is selected as the parameter item, the determination module 2047 determines "exploring the park a little longer will make for a more enjoyable image” as the character object prompting further movement. .
  • the determination module 2047 selects “when tomorrow comes, The image will be fun.” Also, for example, when “total number of shots” is selected as the parameter item, the determination module 2047 determines "Take one more photo and it will be a fun image" as a character object prompting another shot.
  • the number of times displayed when prompting the next action is not limited to once. It may be made to be displayed from a plurality of times set in advance. The number decreases each time the corresponding operation is performed, and the user can enjoy the countdown.
  • the user performs the prompted action. Specifically, it is assumed that the user has had one or more opportunities to visit this park after confirming the composite image shown in FIG. 12 .
  • the value of "the number of visits to the park at (longitude: Lat2, latitude: Lon2)" selected as the parameter item increases.
  • the decision module 2047 decides the level of the object according to the increased value of "number of park visits at (Longitude: Lat2, Latitude: Lon2)".
  • the presentation module 2048 creates a composite image with the objects enhanced.
  • FIG. 13 is a diagram showing another example of the composite image displayed on the display 141.
  • the composite image shown in FIG. 13 is, for example, an image created in response to a request instruction after the user has performed the requested activity after the composite image shown in FIG. 12 was presented.
  • a composite image based on the first image shown in FIG. 11 is displayed.
  • objects of a rainbow, the sun, and light are synthesized with the image of the park.
  • FIG. 14 is a diagram showing another example of the image determined as the first image.
  • the image shown in FIG. 14 was taken at an amusement park.
  • the image shown in FIG. 14 includes children playing in an amusement park, buildings in the amusement park, attractions in the amusement park, and the like.
  • Meta information including items described in the image information DB 281, for example, is added to the image shown in FIG.
  • the analysis module 2045 acquires context from the image shown in FIG. For example, the analysis module 2045, based on the pixel information included in the image information and the information stored in the image information DB 281, reads "At 19 YY/MM/DD, at the amusement park (longitude: Lat3, latitude: Lon3) An image of AAAA playing at the attraction A1” is acquired.
  • Acquisition module 2046 acquires by analysis module 2045 Based on the context of "an image of AAAA playing at attraction A1 at an amusement park (longitude: Lat3, latitude: Lon3) at 19YY/MM/DD", Select a parameter item. For example, the acquisition module 2046 acquires “the number of shots at the amusement park (longitude: Lat3, latitude: Lon3)”, “the number of visits to the amusement park (longitude: Lat3, latitude: Lon3)”, and “the number of times in the amusement park Any one of the number of steps", “distance traveled in the amusement park”, “days elapsed since the date of photography", “days elapsed since the date of registration", or “total number of times of photography” is selected as a parameter item.
  • the acquisition module 2046 selects "the number of days elapsed since the shooting date" as a parameter item.
  • the acquisition module 2046 refers to the parameter DB 282 and acquires "the number of days elapsed since the shooting date”.
  • the determination module 2047 for example, based on the context of "an image of AAAA playing at attraction A1 at an amusement park (longitude: Lat3, latitude: Lon3) at 19 YY/MM/DD" acquired by the analysis module 2045. to determine the object.
  • Decision module 2047 for example, selects an object whose item "relevant context” is an amusement park.
  • the determination module 2047 determines the level of the object according to, for example, the value of “the number of days since the shooting date” determined by the acquisition module 2046 . In some amusement parks, attractions installed in the past may be replaced with new attractions.
  • an object that introduces an existing attraction may be set.
  • the determination module 2047 determines an object that introduces an existing attraction for the first image with the number of elapsed days greater than or equal to a predetermined number.
  • the determination module 2047 determines the size, angle, etc. of the object so that the determined object can be combined with the first image shown in FIG.
  • the presentation module 2048 creates a second image based on the object determined by the determination module 2047 and the display mode of the object.
  • the presentation module 2048 combines the created second image with the first image to create a composite image.
  • FIG. 15 is a diagram showing another example of the composite image displayed on the display 141.
  • the server 20 may synthesize useful information for the user as an object.
  • the server 20 uses the registration module 2043 to register an image designated by the user.
  • the server 20 receives a composite image request from the user through the analysis module 2045 .
  • the analysis module 2045 of the server 20 analyzes the registered images on demand to obtain the context of the images.
  • the server 20 acquires the parameter values associated with the registered image, among the parameter values updated according to the user's activity, by the acquisition module 2046 .
  • the server 20 determines the object from the obtained context and the obtained parameter values by the determination module 2047 .
  • the server 20 uses the presentation module 2048 to synthesize the determined object with the registered image and present it to the user.
  • the server 20 can synthesize an image that was not included at the time of photographing with an image that was previously photographed in a manner according to predetermined parameters from registration or photographing to the time of request. For this reason, the user can enjoy the image by being provided with an unexpected image based on the past image.
  • the server 20 of the present embodiment it is possible to add new interest to looking back and reviewing past images.
  • the server 20 also accepts a request for a composite image using the original image in which the object is composited by the analysis module 2045 .
  • the server 20 acquires parameter values updated according to the user's activity after the previous synthesis by the acquisition module 2046 .
  • the server 20 can present to the user a synthesized image different from the previously presented synthesized image, for example, a synthesized image in which an object more gorgeous than the previously presented synthesized image is synthesized. As a result, the enjoyment of images captured in the past will increase.
  • the acquisition module 2046 acquires parameter values from parameter items such as a value related to the passage of time, the number of times of experience related to a place, a value related to movement, or the total number of shots. This enables the acquisition module 2046 to acquire the parameter value from any set parameter item.
  • the acquisition module 2046 acquires the parameter value from the value of the parameter item set by the user or administrator. This allows the user to set the parameter items for making the composite image appear by himself/herself. In other words, the user can perceive the presentation of the composite image as a reward for the goal (quota) set by the user. Therefore, the interest in presenting the composite image is improved.
  • the administrator can freely set conditions related to images.
  • an administrator can include a pre-determined time in a parameter item for a location. Specifically, for example, the administrator can set the number of visits to a predetermined location between XX and XX hours.
  • the management side can provide the user with an opportunity to look back on past images.
  • the analysis module 2045 acquires context by grasping the location, person, or event contained in the image through image analysis. This allows the server 20 to automatically extract context from the content contained in the pixel information.
  • the analysis module 2045 acquires context by ascertaining the location, direction, or date and time when the image was taken from the meta-information about the image. This allows the server 20 to automatically extract the context from the meta information.
  • the determination module 2047 determines the object from the character, person, object, or character corresponding to the acquired context. This allows the server 20 to automatically determine the extracted context and the corresponding object.
  • the decision module 2047 decides the content of the object based on the magnitude of the parameter value updated according to the user's activity or the like. This allows the server 20 to change the content of the object to be combined with the image according to the magnitude of the parameter value. Therefore, the user can enjoy seeing how his or her own activities have changed the image.
  • the acquisition module 2046 analyzes images that satisfy predetermined requirements among the registered images. As a result, the server 20 can select the original image of the composite image when a plurality of images are registered.
  • the server 20 may add information associated with the first image, which is the original image, to the created composite image. For example, the server 20 writes information related to the first information in the meta information of the synthesized image.
  • the terminal device 10 Upon receiving the composite image from the server 20 , the terminal device 10 displays the received composite image on the display 141 .
  • the terminal device 10 refers to the meta information attached to the composite image and detects an image related to the composite image from the image information 182 . Specifically, for example, the terminal device 10 detects an image that is captured under the same conditions as the first image associated with the composite image. Images taken under the same conditions are, for example, the following. ⁇ Images whose shooting time is within a specified range (regardless of whether they are still images or movies. Same applies below.) ⁇ Images where the shooting location is within a specified range ⁇ Images where the shooting direction is within a specified range ⁇ Images with associated shooting targets
  • the terminal device 10 displays the detected image on the display 141 so as to be distinguishable from other images. Specifically, for example, while displaying the composite image on the display 141, the terminal device 10 proposes to the user to display an image related to the composite image. When the user accepts the proposal, the terminal device 10 displays, on the display 141, an image related to the composite image, for example, a thumbnail image of an image shot under the same conditions as the first image associated with the composite image. . The user selects an image from thumbnail images displayed on the display 141 and visually recognizes the image.
  • the server 20 can display the image related to the image reminded by the synthesized image as a trigger. It is possible to make it easier for the user to select. Therefore, the user can look back on his/her own memories with the synthesized image as a trigger.
  • the server 20 may share the generated image signal with other users. For example, when the server 20 transmits the combined signal to the terminal device 10, the server 20 proposes sharing of the transmitted combined signal to the user.
  • the user accepts the proposal from the server 20.
  • the server 20 spreads information enabling access to the composite image to other users using a predetermined SNS (Social Network Service) service, mail service, bulletin board, or the like.
  • SNS Social Network Service
  • the server 20 may impose restrictions on when the composite image can be accessed.
  • the server 20 provides a predetermined reward to users who consent to sharing. Predetermined remuneration is, for example, as follows. ⁇ Additional composition of objects to composite images ⁇ Provision of advantageous effects (points, coupons, etc.) ⁇ Addition of values for predetermined parameter items
  • the server 20 can present the enjoyment of creating a synthesized image to other users.
  • the server 20 can make a user who has not created a composite image interested in the composite image.
  • the server 20 may display the conditions (parameter items and values for the parameter items) for generating the synthetic image on the site where the synthetic image is displayed. Thereby, the user with whom the synthesized image is shared can grasp the conditions for acquiring the synthesized image.
  • the acquisition module 2046 selects one parameter item and acquires the value of the selected parameter item has been described.
  • the parameter item selected by the acquisition module 2046 is not limited to one.
  • Acquisition module 2046 may select more than one parameter item.
  • Acquisition module 2046 may output multiple values for the selected parameter item to determination module 2047 .
  • Acquisition module 2046 may output any of a plurality of values for the selected parameter item to determination module 2047 .
  • the acquisition module 2046 may calculate an evaluation value from multiple values for the selected parameter item.
  • a decision module 2047 decides the level of the object based on the value output from the acquisition module 2046 . If multiple values are output from the acquisition module 2046, the determination module 2047 may use any of the multiple values to determine the level of the object. The determination module 2047 may also determine the level of the object using a rating value calculated based on multiple values.
  • the decision module 2047 may also include the following as useful information: ⁇ Information about discount ⁇ Information about right to apply ⁇ Information to notify winning
  • the server 20 displays the conditions for generating useful information on the combined image so that the user can understand them when registering the image.
  • the image is an image taken by the user has been described as an example.
  • the image may be, for example, a screenshot in a given application or an image taken within a given application. If the image is a screenshot in a given application or an image taken within a given application, the information based on the user's activity may include, for example, an operation log by the user.
  • the user's operation log may include, for example, information based on the activity of the character operated by the user.
  • the parameter item managed by the parameter DB 282 is a parameter indicating the user's activity or the like has been described as an example.
  • the parameter DB 282 may manage parameters indicating activities of other users associated with the user.
  • Acquisition module 2046 may also select parameter items for the first image from items of parameters indicating activities of other users associated with the user.
  • a determination module 2047 determines the level of the object based on the values of the selected parameter items. In this way, by changing the level of the object based on the values of the parameter items indicating other users' activities, etc., one's own photograph is affected by the other users' activities. In addition, the photographs of others will be affected by your own activities. Therefore, it is more interesting to create a composite image or change a composite image.
  • determination module 2047 determines an object based on the context acquired by the analysis module 2045 has been described as an example. However, determination module 2047 may not determine objects based on context. Determination module 2047 may, for example, determine objects by: ⁇ Specified by user ⁇ Random ⁇ Object is already determined
  • a program to be executed by a computer comprising a processor 29 and a memory 25.
  • the program includes a step of registering a designated image in the processor (step S21) and a step of receiving a request for a composite image (step S13). ), obtaining the context of the image by analyzing the registered image in response to the request (step S23), and among the parameter values updated according to the user's activity, parameters associated with the registered image.
  • a step of acquiring a value step S24
  • a step of determining an object from the acquired context and the acquired parameter value step S25
  • a program for executing step step S26).
  • a computer-implemented method comprising a processor and a memory, the processor registering a specified image, accepting a request for a composite image, and analyzing the registered image in response to the request. a step of obtaining a context of the image; a step of obtaining a parameter value associated with the registered image among the parameter values updated according to the user's activity; , determining an object; and synthesizing the determined object with a registered image and presenting it to the user.
  • An information processing apparatus comprising a control unit and a storage unit, wherein the control unit registers a designated image, receives a request for a composite image, and analyzes the registered image in response to the request. a step of obtaining a context of the image; a step of obtaining a parameter value associated with the registered image among the parameter values updated according to the user's activity; , an information processing apparatus that executes a step of determining an object, and a step of synthesizing the determined object with a registered image and presenting it to a user.
  • Appendix 15 means for registering a specified image; means for receiving a request for a composite image; means for acquiring the context of an image by analyzing the image registered in response to the request; means for acquiring parameter values related to the registered image among the parameter values; means for determining an object from the acquired context and the acquired parameter values; and synthesizing the determined object with the registered image. means for presenting to a user.
  • a program to be executed by a computer comprising a processor and a memory, the program comprising the steps of: registering a designated image in the processor; associating the one registered image with a parameter value; a step of determining a first object based on; a step of presenting to a user a first composite image in which the determined first object is combined with one image; and a step of updating a parameter value when a predetermined condition is established.
  • a computer-implemented method comprising a processor and a memory, wherein the processor registers a designated image; associates the registered image with a parameter value; and based on the parameter value, a step of determining a first object; a step of presenting to a user a first composite image obtained by synthesizing the determined first object with one image; a step of updating a parameter value when a predetermined condition is established; A method for performing the steps of: determining a second object based on a value; and presenting a user with a second composite image obtained by combining the determined second object with one image.
  • An information processing apparatus comprising a control unit and a storage unit, wherein the control unit registers a designated image; associates the registered image with a parameter value; and based on the parameter value, a step of determining a first object; a step of presenting to a user a first composite image obtained by synthesizing the determined first object with one image; a step of updating a parameter value when a predetermined condition is established; An information processing apparatus that performs the steps of: determining a second object based on a value; and presenting to a user a second synthesized image obtained by synthesizing the determined second object with one image.
  • (Appendix 19) means for registering a designated image; means for associating the registered one image with a parameter value; means for determining a first object based on the parameter value; and synthesizing the determined first object into one image means for presenting the synthesized first synthesized image to the user; means for updating parameter values when a predetermined condition is established; means for determining a second object based on the updated parameter values; and means for presenting a user with a second synthesized image synthesized with the one image.
  • System 10 ... Terminal device 12... Communication IF DESCRIPTION OF SYMBOLS 120... Communication part 13... Input device 131... Touch sensitive device 14... Output device 141... Display 15... Memory 150... Position information sensor 16... Storage 161... Camera 17... Sound processing part 171... Microphone 172... Speaker 180...

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップとを実行させる。

Description

プログラム、方法、情報処理装置、システム
　本開示は、プログラム、方法、情報処理装置、システムに関する。
　所定の出来事についての思い出を残すため、撮影装置を用い、出来事についての情景を写真等の画像に収めることはよくある。
特開２０１１－９８１０２号公報
　出来事についての情景を思い出として撮影することはいいが、撮影したままにしておくと、撮影をしたことすら忘れてしまうこともある。また、撮影した画像をいつか見直すことを自身に期待はしているが、何か動機がないと自発的に見直すことは稀であるという現状がある。
　なお、撮影した画像を生物の成育に用いる技術（特許文献１参照）もあるが、当該技術では、撮影時の生物の成育画像を出力するために撮影するため、撮影した画像を振り返ることは考慮していない。
　本開示の目的は、過去の画像を振り返って見直すことに、新たな興趣性を付与することである。
　プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップとを実行させる。
　本開示によれば、過去の画像を振り返って見直すことに、新たな興趣性を付与することができる。
システムの全体構成を示すブロック図である。 図１に示す端末装置の構成を表すブロック図である。 サーバの機能的な構成を示す図である。 画像情報ＤＢのデータ構造を示す図である。 パラメータＤＢのデータ構造を示す図である。 オブジェクト情報ＤＢのデータ構造を示す図である。 合成画像がユーザに提示される際の端末装置と、サーバとの動作を説明する図である。 第１画像として決定された画像を表す図である。 ディスプレイに表示される合成画像を表す図である。 ディスプレイに表示される合成画像のその他の例を表す図である。 第１画像として決定された画像のその他の例を表す図である。 ディスプレイに表示される合成画像のその他の例を表す図である。 ディスプレイに表示される合成画像のその他の例を表す図である。 第１画像として決定された画像のその他の例を表す図である。 ディスプレイに表示される合成画像のその他の例を表す図である。
　以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　＜概略＞
　本実施形態に係るシステムは、過去に撮影した画像に所定のパラメータに応じた画像を重畳することで、過去の画像を振り返って見直すことに新たな興趣性を付与するシステムである。
　＜１　システム全体の構成図＞
　図１は、システム１の全体構成の例を示すブロック図である。図１に示すシステム１は、複数の端末装置１０と、サーバ２０とを含む。端末装置１０、サーバ２０は、ネットワーク８０を介して通信接続する。
　図１において、システム１が端末装置１０を３台含む例を示しているが、システム１に含まれる端末装置１０の数は、３台に限定されない。端末装置１０が３台未満であってもよいし、３台以上であってもよい。
　本実施形態において、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係るサーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はサーバ２０に求められる仕様等に鑑みて適宜決定することができる。
　端末装置１０は、例えば、サーバ２０から合成画像の提供を受けるユーザが操作する装置である。端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Personal　Computer）、ラップトップＰＣであってもよい。
　端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。
　通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。
　入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。
　出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカ等）である。
　メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic　Random　Access　Memory）等の揮発性のメモリである。
　ストレージ１６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard　Disc　Drive）である。
　プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
　サーバ２０は、例えば、合成画像をユーザへ提供する装置である。本実施形態に係る合成画像は、ユーザが過去に撮影した画像に対し、所定のオブジェクトが、所定の態様で合成された画像である。ユーザが過去に撮影した画像は、静止画であっても、動画であってもよい。オブジェクトは、例えば、人物、キャラクター、物体、文字等を含む。態様は、大きさ、色、角度、動画、静止画等を含む。
　サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。
　通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。
　入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し、情報を提示するための出力装置とのインタフェースとして機能する。
　メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic　Random　Access　Memory）等の揮発性のメモリである。
　ストレージ２６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard　Disc　Drive）である。
　プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
　＜１．１　端末装置の構成＞
　図２は、図１に示す端末装置１０の構成例を表すブロック図である。図２に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、音声処理部１７と、マイク１７１と、スピーカ１７２と、カメラ１６１と、位置情報センサ１５０と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。
　通信部１２０は、端末装置１０が他の装置と通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。
　入力装置１３は、端末装置１０を操作するユーザが指示、又は情報を入力するための装置である。入力装置１３は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１等により実現される。端末装置１０がＰＣ等である場合には、入力装置１３は、リーダー、キーボード、マウス等により実現されてもよい。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。
　出力装置１４は、端末装置１０を操作するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１９０の制御に応じたデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。
　音声処理部１７は、例えば、音声信号のデジタル－アナログ変換処理を行う。音声処理部１７は、マイク１７１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１９０へ与える。また、音声処理部１７は、音声信号をスピーカ１７２へ与える。音声処理部１７は、例えば音声処理用のプロセッサによって実現される。マイク１７１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１７へ与える。スピーカ１７２は、音声処理部１７から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。
　カメラ１６１は、受光素子により光を受光し、撮影信号として出力するためのデバイスである。
　位置情報センサ１５０は、端末装置１０の位置を検出するセンサであり、例えばＧＰＳ（Global Positioning System）モジュールである。ＧＰＳモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも３個または４個の衛星からの信号を受信し、受信した信号に基づいて、ＧＰＳモジュールが搭載される端末装置１０の現在位置を検出する。
　記憶部１８０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。記憶部１８０は、例えば、ユーザ情報１８１、及び画像情報１８２を記憶する。
　ユーザ情報１８１は、例えば、端末装置１０を使用するユーザについての情報を含む。ユーザについての情報には、例えば、ユーザを識別する情報、ユーザの氏名、年齢、住所、生年月日、電話番号、ｅｍａｉｌアドレス、所定のアカウント情報等が含まれる。
　ユーザ情報１８１は、ユーザについてのパラメータ（例えば、ユーザの活動に基づく情報、撮影に関する情報等）を含む。ユーザについてのパラメータは、例えば、端末装置１０に設けられるセンサ（位置情報センサ１５０、カメラ１６１、加速度センサ（図示せず、なお、慣性センサでもよい）、ジャイロセンサ（図示せず）等）により取得される。また、ユーザについてのパラメータは、端末装置１０に設けられる計時機能により取得されてもよい。また、ユーザについてのパラメータは、例えば、ユーザが利用している所定のサービスを提供しているサーバ（図示せず）との連携により取得されてもよい。ユーザについてのパラメータは、例えば、以下を含む。
　・ユーザの活動に基づく情報（歩数、移動距離、移動経路等のユーザの移動に関する情報や、所定の場所で撮影をした事実、総撮影回数等のユーザによる撮影に関する情報）
　・ユーザと関連付けられた他のユーザ（家族や友人等）の活動に基づく情報
　・時間経過に関する情報（撮影からの経過時間、経過日数）
　ユーザと関連付けられた他のユーザの活動に基づく情報は、例えば、他のユーザと共同で所定の画像をクラウド上で管理している場合、例えば、他のユーザの歩数、移動距離、移動経路等のユーザの移動に関する情報や、所定の場所で撮影をした事実、総撮影回数等の他のユーザによる撮影に関する情報等を含む。
　画像情報１８２は、撮影信号に基づく画像についての情報である。画像情報１８２には、例えば、画像を表す、例えば、ピクセル情報と、画像についての付加的な情報であるメタ情報とが含まれる。
　メタ情報には、例えば、画像を識別する情報、撮影者を識別する情報、撮影年月日、撮影場所、撮影方向、輝度、色相、撮影モード、撮影対象等が含まれる。撮影場所は、画像を撮影した場所を表し、例えば、位置情報センサ１５０により取得された情報に基づく。撮影方向は、画像を撮影した方向を表し、例えば、端末装置１０に設けられる地磁気センサ、及びジャイロセンサにより取得された情報に基づく。輝度は、画像の明るさを表し、例えば、画像の撮影時に設定された情報に基づく。色相は、画像の色合いを表し、例えば、ピクセル情報を解析することで得られる。撮影モードは、画像を撮影したときのモードを表し、例えば、画像の撮影時に設定された情報に基づく。撮影対象は、画像に含まれるオブジェクトを表し、例えば、ピクセル情報を解析することで得られる。
　なお、端末装置１０によっては、画像（ピクセル情報）を解析する機能が設けられていないこともある。このとき、例えば、色相、又は撮影対象は、画像情報１８２に含まれていなくてもよい。
　制御部１９０は、プロセッサ１９が記憶部１８０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１と、送受信部１９２と、画像解析部１９３と、表示制御部１９４と、記憶制御部１９５としての機能を発揮する。
　操作受付部１９１は、入力装置１３から入力される指示、又は情報を受け付けるための処理を行う。具体的には、例えば、操作受付部１９１は、タッチ・センシティブ・デバイス１３１等から入力される指示に基づく情報を受け付ける。タッチ・センシティブ・デバイス１３１等を介して入力される指示は、例えば、以下である。
　・サーバ２０に対して画像を登録する指示
　・サーバ２０に対して合成画像を要求する指示
　また、操作受付部１９１は、マイク１７１から入力される音声指示を受け付ける。具体的には、例えば、操作受付部１９１は、マイク１７１から入力され、音声処理部１７でデジタル信号に変換された音声信号を受信する。操作受付部１９１は、例えば、受信した音声信号を分析して所定の名詞を抽出することで、ユーザからの指示を取得する。
　送受信部１９２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部１９２は、画像を登録する指示、及び登録する画像情報をサーバ２０へ送信する。また、送受信部１９２は、合成画像を要求する指示をサーバ２０へ送信する。
　また、送受信部１９２は、ユーザ情報１８１の少なくとも一部の情報をサーバ２０へ送信する。例えば、送受信部１９２は、情報を、例えば、以下のタイミングでサーバ２０へ送信する。
　・所定の周期
　・センサにより動作が検出されたとき
　・ユーザからの入力に応じて（例えば、画像の登録指示の入力、又は合成画像の要求指示の入力）
　画像解析部１９３は、カメラ１６１により撮影された撮影信号を解析する。具体的には、画像解析部１９３は、ピクセル情報を解析し、画像内に含まれる情報を取得する。例えば、画像解析部１９３は、画像内に含まれる情報として、色相を取得する。また、画像解析部１９３は、画像内に含まれる情報として、撮影された人物、場所、物体、イベント等を取得する。なお、端末装置１０によっては、画像解析部１９３が存在していないこともある。
　表示制御部１９４は、ユーザに対してサーバ２０から提供された画像を提示するため、出力装置１４を制御する。具体的には、例えば、表示制御部１９４は、サーバ２０から送信される情報に基づく画像をディスプレイ１４１に表示させる。
　記憶制御部１９５は、記憶部１８０に対するデータの記憶を制御する。例えば、記憶制御部１９５は、例えば、ユーザについてのパラメータをユーザ情報１８１に記憶する。具体的には、例えば、記憶制御部１９５は、位置情報センサ１５０により取得される移動距離、移動経路等をユーザ情報１８１に記憶する。また、記憶制御部１９５は、例えば、加速度センサにより取得される歩数をユーザ情報１８１に記憶する。また、記憶制御部１９５は、カメラ１６１により取得される総撮影回数、所定の場所で撮影をした情報等をユーザ情報１８１に記憶する。また、記憶制御部１９５は、所定のサーバから提供される情報をユーザ情報１８１に記憶する。また、記憶制御部１９５は、所定の基準点から経過した時間をユーザ情報１８１に記憶する。
　また、記憶制御部１９５は、カメラ１６１により撮影された画像についての情報を画像情報１８２に記憶する。具体的には、例えば、記憶制御部１９５は、カメラ１６１により取得された撮影信号に基づく画像についての情報を画像情報１８２に記憶する。
　＜１．２　サーバの機能的な構成＞
　図３は、サーバ２０の機能的な構成の例を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
　通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
　記憶部２０２は、合成画像を生成するためのデータが蓄積されたデータベース、例えば、画像情報データベース（ＤＢ）２８１と、パラメータデータベース（ＤＢ）２８２と、オブジェクト情報データベース（ＤＢ）２８３等とを有する。
　画像情報ＤＢ２８１は、ユーザから登録された画像についての情報を保持するためのデータベースである。詳細は後述する。
　パラメータＤＢ２８２は、サービスの提供を受けるユーザについて管理している情報を保持するためのデータベースである。パラメータＤＢ２８２では、登録された画像に対応した項目で、ユーザの活動等を示すパラメータ値が管理されている。以下では、パラメータＤＢ２８２で管理される項目をパラメータ項目と称する。詳細は後述する。
　オブジェクト情報ＤＢ２８３は、画像に合成するオブジェクトについての情報を保持するためのデータベースである。詳細は後述する。
　制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、プログラムに従って動作することにより、受信制御モジュール２０４１、送信制御モジュール２０４２、登録モジュール２０４３、管理モジュール２０４４、解析モジュール２０４５、取得モジュール２０４６、決定モジュール２０４７、及び提示モジュール２０４８として示す機能を発揮する。
　受信制御モジュール２０４１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
　送信制御モジュール２０４２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
　登録モジュール２０４３は、ユーザにより指定された画像の登録処理を制御する。例えば、登録モジュール２０４３は、画像を登録する旨の指示と、当該画像についての画像情報とをユーザから受けると、受け取った画像情報を画像情報ＤＢ２８１に記憶する。
　管理モジュール２０４４は、ユーザについてのパラメータを管理する。例えば、管理モジュール２０４４は、ユーザ情報１８１の少なくとも一部の情報を端末装置１０から受信すると、受信した情報に基づき、パラメータＤＢ２８２を更新する。具体的には、例えば、管理モジュール２０４４は、画像が登録されると、登録された画像に関するパラメータ項目を設定する。管理モジュール２０４４は、例えば、パラメータ項目として、時間経過に係る項目（例えば、日数、月数、年数等）、場所に関する経験回数に係る項目（例えば、訪問回数、撮影回数等）、移動に係る項目（例えば、歩数、移動距離、到達地点等）、又は総撮影回数等を設定する。
　管理モジュール２０４４は、受信した情報に含まれる、ユーザの移動に関する情報に基づき、パラメータ項目の値を更新する。例えば、管理モジュール２０４４は、ユーザの移動に関する情報に基づき、所定の場所へ訪問したことを把握する。また、管理モジュール２０４４は、所定の場所へ訪問した回数を管理する。
　また、管理モジュール２０４４は、受信した情報に含まれる、ユーザによる撮影に関する情報から、所定の場所でユーザが撮影をしたことを把握する。また、管理モジュール２０４４は、所定の場所で撮影した回数を管理する。
　また、管理モジュール２０４４は、受信した情報に含まれる、ユーザと関連付けられた他のユーザの活動に基づく情報に基づき、パラメータ項目の値を更新する。なお、管理モジュール２０４４は、ユーザと関連付けられた他のユーザの活動に基づく情報を、所定のサービスを提供しているサーバ（図示せず）から受信してもよい。
　また、管理モジュール２０４４は、受信した情報に含まれる、時間経過に関する情報に基づき、パラメータ項目の値を更新する。
　管理モジュール２０４４は、サーバ２０の管理者、又はユーザからの指示に基づき、パラメータ項目を設定してもよい。例えば、管理モジュール２０４４は、管理者から所謂ノルマのように課せられた条件を、パラメータ項目として設定してもよい。例えば、管理モジュール２０４４は、ユーザからノルマのように課せられた条件を、パラメータ項目として設定してもよい。
　解析モジュール２０４５は、画像情報の解析処理を制御する。例えば、解析モジュール２０４５は、画像情報ＤＢ２８１に登録されている画像のうち、所定の第１画像についての情報を解析し、第１画像に含まれるコンテクストを取得する。本実施形態において、コンテクストは、例えば、画像が撮影されたときの文脈、言い換えると、画像が撮影された意味、又は画像が撮影された意義、画像が撮影された場面等を表す。解析モジュール２０４５は、画像情報に含まれている情報に基づいて予め記憶部２０２に登録された複数のコンテクストから１、又は複数のコンテクストを取得する。例えば、解析モジュール２０４５は、画像情報に含まれているピクセル情報に対して画像解析を実施することで、以下の情報をコンテクストとして取得する。
　・画像に映っている建物（遊園地、野球場、サッカースタジアム、陸上競技場、ライブ会場等）がある場所にいること
　・画像に映っている人（ユーザ本人、ユーザが登録した人、公共のデータベースに基づいて判別可能な人等）がいること
　・画像に映っているキャラクター（ユーザが登録したキャラクター、公共のデータベースに基づいて判別可能なキャラクター等）と一緒にいること
　・画像に映っているイベント（誕生日、クリスマス、ハロウィン等）が実施されていること
　・画像に映っている物体（ケーキ、クリスマスツリー、ジャック・オー・ランタン等）があること
　・画像に漂う雰囲気
　なお、画像に漂う雰囲気は画像の色相から判定してもよいし、画像に映っている人物の表情から判定してもよい。
　また、解析モジュール２０４５は、例えば、画像情報に含まれているメタ情報に基づき、以下の情報をコンテクストとして取得する。
　・所定の年月日に撮影された画像であること
　・所定の場所で撮影された画像であること
　・所定の方向へ向けて撮影された画像であること
　・所定の雰囲気の画像であること（色合いに基づく）
　・所定の撮影対象（物体、人、キャラクター、イベント等）を含む画像であること
　なお、解析モジュール２０４５は、画像情報に含まれているピクセル情報に対する画像解析処理と、画像情報に含まれているメタ情報の抽出処理とを実施してもよいし、いずれか一方の処理を実施するようにしてもよい。
　解析モジュール２０４５は、登録されている画像のうち所定の要件を満たす画像を第１画像として決定する。所定の要件は、例えば、以下である。
　・ユーザから指定された画像
　・ランダムに選択された画像
　・現在の日付けと関連する画像（撮影した日が同一の画像、撮影した月が同一の画像等）
　・現在の場所と関連する画像（撮影した場所が同一の画像、撮影した場所が同一施設内の異なる場所の画像等）
　・現在実施中と推定されるイベントと関連する画像（同一のイベントについての画像、一連のイベントのいずれかについての画像）
　・所定の撮影条件を満たす画像（所定の対象を含む画像、所定の方向を撮影した画像、所定の輝度で撮影された画像、所定の色相の画像等）
　取得モジュール２０４６は、画像に関するパラメータ値の取得を制御する。例えば、取得モジュール２０４６は、登録されている画像のうち、例えば、解析モジュール２０４５で解析された第１画像についての所定のパラメータ項目についての値を、パラメータＤＢ２８２を参照して取得する。
　具体的には、取得モジュール２０４６は、第１画像について、取得するパラメータの項目を選択する。取得モジュール２０４６は、設定されているパラメータ項目を選択する。ここで、パラメータ項目の値は、画像の撮影タイミングや、登録タイミングの後、画像合成処理までの間に変化しうる。例えば、取得モジュール２０４６は、パラメータ項目として、経過日数、訪問回数、撮影回数、歩数、移動距離、到達地点、総撮影回数等のうち、少なくともいずれかを選択する。
　取得モジュール２０４６は、例えば、解析モジュール２０４５により取得されたコンテクストに基づいて、いずれかのパラメータ項目を選択してもよい。例えば、解析モジュール２０４５により、所定の野球場にいるということがコンテクストとして取得された場合、取得モジュール２０４６は、この野球場への訪問回数をパラメータ項目として選択する。また、例えば、解析モジュール２０４５により、昔に撮影された画像（所定の年月日に撮影された画像）ということがコンテクストとして取得された場合、取得モジュール２０４６は、この画像が登録されてからの経過日数、又はこの画像が撮影されてからの経過日数をパラメータ項目として選択する。
　また、取得モジュール２０４６は、取得されたコンテクストに関わらず、ランダムに、いずれかのパラメータ項目を選択してもよい。
　取得モジュール２０４６は、選択したパラメータ項目についての値を、パラメータＤＢ２８２に基づいて取得する。例えば、訪問回数をパラメータ項目として選択した場合、取得モジュール２０４６は、パラメータＤＢ２８２に記憶される、所定の場所へ訪問した回数を取得する。
　また、例えば、経過日数をパラメータ項目として選択した場合、取得モジュール２０４６は、画像が登録されてから経過した日数を、パラメータＤＢ２８２に記憶される更新日と、画像情報ＤＢ２８１に記憶される登録年月日とに基づいて取得する。また、取得モジュール２０４６は、画像が撮影されてから経過した日数を、パラメータＤＢ２８２に記憶される更新日と、画像情報ＤＢ２８１に記憶される撮影年月日とに基づいて取得してもよい。
　決定モジュール２０４７は、画像に合成するオブジェクト、及びオブジェクトの態様を決定する。例えば、決定モジュール２０４７は、解析モジュール２０４５で取得されたコンテクストに基づいてオブジェクトを決定する。本実施形態において、オブジェクトは、例えば、キャラクター、人物、物体、文字等のいずれかに分類されており、分類に応じた内容となっている。
　決定モジュール２０４７は、取得モジュール２０４６により取得されたパラメータ項目の値に基づき、決定したオブジェクトのレベルを決定する。本実施形態において、オブジェクトのレベルとは、例えば、オブジェクトの豪華さ、オブジェクトの変化の度合い等を表す。オブジェクトの豪華さは、例えば、オブジェクトの分類がキャラクターである場合、例えば、以下により表される。
　・キャラクターの数（レベルが上がると数が増える）
　・キャラクターの持ち物（レベルが上がると持ち物が増える、持ち物が大きくなる）
　・キャラクターの表情（レベルが上がるとより笑顔になる）
　・キャラクターの進化度（レベルが上がると進化した形状となる）
　・キャラクターが動く（レベルが低いときに動かなかったキャラクターがレベルが高いと動く、また、レベルが上がるとキャラクターの動きが変化する）
　決定モジュール２０４７は、画像内の構成に基づいてオブジェクトの表示態様を決定する。例えば、決定モジュール２０４７は、画像内において物体のない領域の位置、大きさ、及び形状等に基づき、決定したオブジェクトを合成する位置、大きさ、角度等を決定する。
　提示モジュール２０４８は、登録された画像のいずれかの第１画像に、所定のオブジェクトについての第２画像が合成された合成画像をユーザに提示する。具体的には、例えば、提示モジュール２０４８は、決定モジュール２０４７で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第２画像を作成する。提示モジュール２０４８は、作成した第２画像を第１画像に合成し合成画像を作成する。提示モジュール２０４８は、作成した合成画像をユーザに提示する。
　＜２　データ構造＞
　図４～図６は、サーバ２０が記憶するデータベースのデータ構造を示す図である。なお、図４～図６は一例であり、記載されていないデータを除外するものではない。
　図４は、画像情報ＤＢ２８１のデータ構造を示す図である。図４に示すように、画像情報ＤＢ２８１のレコードの各々は、項目「画像ＩＤ」と、項目「登録者」、項目「登録年月日」と、項目「撮影者」と、項目「撮影年月日」と、項目「場所」と、項目「撮影方向（方角、仰角）」と、項目「輝度」と、項目「色相」と、項目「撮影モード」、項目「撮影対象」等とを含む。図４では記載されていないが、各レコードには、ピクセル情報が関連付けられている。
　項目「画像ＩＤ」は、画像を識別する情報を記憶する。画像ＩＤは、例えば、画像情報を登録する際に自動的に設定される。
　項目「登録者」は、画像を登録したユーザの氏名を記憶する。項目「登録者」は、ユーザを識別するユーザＩＤを記憶してもよい。
　項目「登録年月日」は、ユーザが画像を登録した年月日を記憶する。
　項目「撮影者」は、画像を撮影したユーザの氏名を記憶する。項目「撮影者」は、ユーザを識別するユーザＩＤを記憶してもよい。
　項目「撮影年月日」は、画像を撮影した年月日を記憶する。
　項目「場所」は、ユーザが画像を撮影した場所を記憶する。項目「場所」は、例えば、経度及び緯度により表される。
　項目「撮影方向」は、ユーザが画像を撮影した方向を記憶する。項目「撮影方向」は、例えば、方位角及び仰角により表される。
　項目「輝度」は、ユーザが画像を撮影した際に設定されていた輝度を記憶する。
　項目「色相」は、画像に含まれる色合いを記憶する。
　項目「撮影モード」は、ユーザが画像を撮影した際に設定されていた撮影モードを記憶する。
　項目「撮影対象」は、撮影後の解析により、画像に含まれていると判断されたオブジェクトを記憶する。
　図５は、パラメータＤＢ２８２のデータ構造を示す図である。図５に示すように、パラメータＤＢ２８２のレコードの各々は、項目「ユーザＩＤ」と、項目「パラメータ項目」と、項目「値」等とを含む。
　項目「ユーザＩＤ」は、ユーザを識別する情報を記憶する。
　項目「パラメータ項目」は、管理しているパラメータの項目を記憶する。パラメータ項目は、例えば、画像が登録されると追加される。
　項目「値」は、パラメータ項目についての値を記憶する。
　図６は、オブジェクト情報ＤＢ２８３のデータ構造を示す図である。図６に示すように、オブジェクト情報ＤＢ２８３のレコードの各々は、項目「オブジェクトＩＤ」と、項目「分類」と、項目「関連コンテクスト」と、項目「内容」等とを含む。
　項目「オブジェクトＩＤ」は、オブジェクトを識別する情報を記憶する。
　項目「分類」は、オブジェクトが属する分類を記憶する。
　項目「関連コンテクスト」は、オブジェクトと関連するコンテクストを記憶する。
　項目「内容」は、オブジェクトの内容を記憶する。項目「内容」は、複数のサブ項目を含む。本実施形態では、項目「内容」は、レベル毎に設定されている。各オブジェクトにおいて、サブ項目「レベル１」、サブ項目「レベル２」、サブ項目「レベル３」、サブ項目「レベル４」で、レベルに応じた内容が記憶されている。各レベルの内容は、例えば、取得モジュール２０４６で選択されるパラメータ項目毎に設定されていてもよい。
　＜３　動作＞
　ユーザにより登録される画像に、オブジェクトに関する画像が合成されて提供される際の端末装置１０と、サーバ２０との動作について説明する。
　図７は、合成画像がユーザに提示される際の端末装置１０と、サーバ２０との動作の一例を説明する図である。
　まず、ユーザは、端末装置１０を操作し、合成画像を提供するサービスを開始する。端末装置１０は、サービスの提供画面において、例えば、画像の登録画面を表示する。ユーザは、登録画面において、端末装置１０に記憶されている画像のうち、少なくとも１枚の画像を選択する。ユーザは、画像の選択を確定させる場合、例えば、端末装置１０に表示される確定ボタンを押下する。端末装置１０は、ユーザから画像の選択を受けると、画像の登録指示と、選択された画像についての情報とをサーバ２０へ送信する（ステップＳ１１）。
　サーバ２０は、画像の登録指示と、選択された画像についての情報とを受信すると、登録モジュール２０４３により、受信した画像情報を画像情報ＤＢ２８１に記憶する（ステップＳ２１）。サーバ２０は、管理モジュール２０４４により、受信した画像情報に基づき、選択された画像と関連するパラメータ項目を作成する。管理モジュール２０４４は、作成したパラメータ項目をパラメータＤＢ２８２に加える。
　端末装置１０は、所定のタイミングで、ユーザ情報１８１の少なくとも一部の情報をサーバ２０へ送信する（ステップＳ１２）。端末装置１０は、例えば、画像の登録指示に関わらず、情報をサーバ２０へ送信する。
　サーバ２０は、端末装置１０から送信された情報を受信すると、管理モジュール２０４４により、受信した情報に基づき、パラメータＤＢ２８２を更新する（ステップＳ２２）。具体的には、例えば、管理モジュール２０４４は、パラメータＤＢ２８２の各パラメータ項目における値を更新する。
　画像の登録指示を送信した後、端末装置１０は、所定のタイミングでサーバ２０に対し、合成画像の提示を要求する指示をサーバ２０へ送信する（ステップＳ１３）。所定のタイミングは、例えば、以下である。
　・ユーザが合成画像の要求を入力したとき
　・所定の日時に達したとき
　・ユーザの活動が所定の条件を満たしたとき（所定の訪問回数の達成、所定の撮影回数の達成、所定の歩数の達成、所定の移動距離の達成、所定の地点への到達等）
　・ユーザが画像情報１８２に記憶されている画像の閲覧に関する処理をしたとき（登録された画像と関連する画像が記憶されているアルバムを開いたとき、登録された画像を閲覧するとき等）
　・ユーザと関連付けられた他のユーザの活動が所定の条件を満たしたとき
　端末装置１０は、合成画像の元となる画像の指定をユーザから受け付けてもよい。ユーザは、登録した画像のうち、合成画像の元となる画像を選択し、確定ボタンを押下する。端末装置１０は、ユーザから画像の選択を受けると、合成画像を要求する指示と共に、画像を選択する指示をサーバ２０へ送信する。
　サーバ２０は、合成画像を要求する指示を受信すると、解析モジュール２０４５により、登録されている画像のうち第１画像を決定する。解析モジュール２０４５は、ユーザにより合成画像の元となる画像が指定されている場合は、ユーザにより指定されている画像を第１画像として決定する。解析モジュール２０４５は、ユーザにより合成画像の元となる画像が指定されていない場合、例えば、画像情報ＤＢ２８１に記憶される情報と、ユーザの現在の状況とに基づいて第１画像を決定する。解析モジュール２０４５は、決定した第１画像についての情報を解析し、第１画像に含まれるコンテクストを取得する（ステップＳ２３）。
　図８は、第１画像として決定された画像の例を表す図である。図８に示す画像は、誕生日のお祝いの際に撮影されたものである。図８に示す画像は、祝われる人物、祝う人物、誕生ケーキ等を含む。また、図８に示す画像は、例えば、画像情報ＤＢ２８１に記載する項目を含むメタ情報が付加されている。
　解析モジュール２０４５は、図８に示す画像からコンテクストを取得する。例えば、解析モジュール２０４５は、画像情報に含まれているピクセル情報、及び画像情報ＤＢ２８１に記憶される情報に基づき、「２０ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ１，緯度：Ｌｏｎ１）で開催されたＡＡＡＡの誕生日会についての画像」という内容のコンテクストを取得する。
　サーバ２０は、取得モジュール２０４６により、第１画像についての所定のパラメータ項目についての値を、パラメータＤＢ２８２を参照して取得する（ステップＳ２４）。具体的には、取得モジュール２０４６は、第１画像について、取得するパラメータの項目を選択する。取得モジュール２０４６は、予め設定されているパラメータ項目、例えば、経過日数、訪問回数、撮影回数、歩数、移動距離、到達地点、総撮影回数等のうち、少なくともいずれかを選択する。取得モジュール２０４６は、選択したパラメータ項目についての値を、パラメータＤＢ２８２に基づいて取得する。
　図８に示す例において、取得モジュール２０４６は、例えば、解析モジュール２０４５により取得された「２０ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ１，緯度：Ｌｏｎ１）で開催されたＡＡＡＡの誕生日会についての画像」とのコンテクストに基づいて、パラメータ項目を選択する。取得モジュール２０４６は、例えば、「（経度：Ｌａｔ１，緯度：Ｌｏｎ１）での撮影回数」、「誕生日会の撮影回数」、「撮影日からの経過日数」、「登録日からの経過日数」、又は「総撮影回数」等のうち、いずれかをパラメータ項目として選択する。本説明では、例えば、取得モジュール２０４６が「誕生日会の撮影回数」をパラメータ項目として選択することとする。取得モジュール２０４６は、パラメータＤＢ２８２を参照し、「誕生日会の撮影回数」を取得する。
　サーバ２０は、決定モジュール２０４７により、第１画像に合成するオブジェクト、オブジェクトのレベル、及びオブジェクトの態様を決定する（ステップＳ２５）。具体的には、決定モジュール２０４７は、解析モジュール２０４５で取得されたコンテクストに基づいてオブジェクトを決定する。決定モジュール２０４７は、取得モジュール２０４６により取得されたパラメータ項目の値に基づき、決定したオブジェクトのレベルを決定する。決定モジュール２０４７は、画像内の構成に基づいてオブジェクトの表示態様を決定する。
　図８に示す例において、決定モジュール２０４７は、例えば、解析モジュール２０４５により取得された「２０ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ１，緯度：Ｌｏｎ１）で開催されたＡＡＡＡの誕生日会についての画像」とのコンテクストに基づいて、オブジェクトを決定する。決定モジュール２０４７は、例えば、項目「関連コンテクスト」が誕生日であるオブジェクトを選択する。決定モジュール２０４７は、例えば、取得モジュール２０４６で決定された「誕生日会の撮影回数」の値に応じ、オブジェクトのレベルを決定する。決定モジュール２０４７は、レベルに応じた基準値を予め複数設定している。決定モジュール２０４７は、撮影回数と基準値を比較し、オブジェクトのレベルを決定する。決定モジュール２０４７は、図８に示す第１画像の破線領域１４１１を、オブジェクトを合成させる領域として決定する。決定モジュール２０４７は、破線領域１４１１に合成可能なように、オブジェクトの大きさ、角度等を決定する。
　サーバ２０は、提示モジュール２０４８により、合成画像を作成する（ステップＳ２６）。具体的には、例えば、提示モジュール２０４８は、決定モジュール２０４７で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第２画像を作成する。提示モジュール２０４８は、作成した第２画像を第１画像に合成し合成画像を作成する。サーバ２０は、作成した合成画像を記憶部２０２に記憶する。サーバ２０は、例えば、合成画像を、第１画像とは別の画像として記憶部２０２に記憶する。
　サーバ２０は、作成した合成画像をユーザに提示する（ステップＳ２７）。具体的には、サーバ２０は、作成した合成画像についての情報を端末装置１０へ送信する。
　端末装置１０は、受信した合成画像をディスプレイ１４１に表示する（ステップＳ１４）。
　図９は、ディスプレイ１４１に表示される合成画像の例を表す図である。図９に示す合成画像において、誕生日を祝う文字、及びキャラクターを含む第２画像１４１２が合成されている。
　第１画像に基づいて作成される合成画像の内容は、図９に限定されない。合成画像が表示されるまでにパラメータ項目の値が高くなっていれば、オブジェクトのレベルが上がった合成画像が表示される。
　例えば、図９に示す合成画像をユーザが確認した後、所定のパラメータ項目の値が増大したとする。具体的には、図９に示す合成画像をユーザが確認してから、誕生日会を撮影する機会が複数回あったとする。撮影の対象となる誕生日会は、ＡＡＡＡの誕生日会に限定されてもよいし、他の人物の誕生日会を許容してもよい。これにより、パラメータ項目として選択された「誕生日会の撮影回数」の値が高くなる。ユーザは、図９に示す合成画像を要求してから所定の期間が経過した後、改めて合成画像を要求する。決定モジュール２０４７は、高くなった「誕生日会の撮影回数」の値に応じ、オブジェクトのレベルを決定する。提示モジュール２０４８は、オブジェクトが豪華になった合成画像を作成する。
　図１０は、ディスプレイ１４１に表示される合成画像のその他の例を表す図である。図１０に示す合成画像は、例えば、図９に示す合成画像が提示されてから所定の期間が経過した後に入力された合成画像の要求指示に応じて作成された画像である。図１０に示す合成画像では、図９に示す合成画像よりも豪華な内容となっている。
　図１１は、第１画像として決定された画像のその他の例を表す図である。図１１に示す画像は、公園で撮影されたものである。図１１に示す画像は、公園で遊ぶ子供、公園の遊具、ベンチ等を含む。また、図１１に示す画像は、例えば、画像情報ＤＢ２８１に記載する項目を含むメタ情報が付加されている。
　解析モジュール２０４５は、図１１に示す画像からコンテクストを取得する。例えば、解析モジュール２０４５は、画像情報に含まれているピクセル情報、及び画像情報ＤＢ２８１に記憶される情報に基づき、「２０ＹＹ／ＭＭ／ＤＤに、経度：Ｌａｔ２，緯度：Ｌｏｎ２の公園でＡＡＡＡが遊んでいる画像」という内容のコンテクストを取得する。
　取得モジュール２０４６は、解析モジュール２０４５により取得された「２０ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園でＡＡＡＡが遊んでいる画像」とのコンテクストに基づいて、パラメータ項目を選択する。取得モジュール２０４６は、例えば、「（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園での撮影回数」、「（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園への訪問回数」、「公園内での歩数」、「公園内での移動距離」、「撮影日からの経過日数」、「登録日からの経過日数」、又は「総撮影回数」等のうち、いずれかをパラメータ項目として選択する。本説明では、例えば、取得モジュール２０４６が「（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園への訪問回数」をパラメータ項目として選択することとする。取得モジュール２０４６は、パラメータＤＢ２８２を参照し、「（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園への訪問回数」を取得する。
　決定モジュール２０４７は、例えば、解析モジュール２０４５により取得された「２０ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園でＡＡＡＡが遊んでいる画像」とのコンテクストに基づいて、オブジェクトを決定する。決定モジュール２０４７は、例えば、項目「関連コンテクスト」が公園であるオブジェクトを選択する。決定モジュール２０４７は、例えば、取得モジュール２０４６で決定された「（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園への訪問回数」の値に応じ、オブジェクトのレベルを決定する。ここでは、オブジェクトが合成されるレベルまで、訪問回数が足らなかった場合を想定する。決定モジュール２０４７は、再度の訪問を促すオブジェクトを決定する。
　提示モジュール２０４８は、決定モジュール２０４７で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第２画像を作成する。提示モジュール２０４８は、作成した第２画像を第１画像に合成し合成画像を作成する。
　図１２は、ディスプレイ１４１に表示される合成画像のその他の例を表す図である。図１２に示す合成画像において、再度の訪問を促す文字が合成されている。図１２では、パラメータ項目が「訪問回数」であるため、再度の訪問を促す文字として「あと１回来園したら楽しい画像になります」が表示されている。取得モジュール２０４６が他のパラメータ項目を選択している場合、異なる記載が表示される。例えば、パラメータ項目として「公園での撮影回数」が選択される場合、決定モジュール２０４７は、公園での再度の撮影を促す文字オブジェクトとして「あと１枚公園で写真を撮ったら楽しい画像になります」を決定する。
　また、例えば、パラメータ項目として「公園内での歩数」が選択される場合、決定モジュール２０４７は、更なるウォーキングを促す文字オブジェクトとして、「もう少し歩くと楽しい画像になります」を決定する。また、例えば、パラメータ項目として「公園内での移動距離」が選択される場合、決定モジュール２０４７は、更なる移動を促す文字オブジェクトとして「公園内をもう少し探索すると楽しい画像になります」を決定する。
　また、例えば、パラメータ項目として「撮影日からの経過日数」、又は「登録日からの経過日数」が選択される場合、決定モジュール２０４７は、日数の経過を促す文字オブジェクトとして、「明日になったら楽しい画像になります」を決定する。また、例えば、パラメータ項目として「総撮影回数」が選択される場合、決定モジュール２０４７は、再度の撮影を促す文字オブジェクトとして「あと１枚写真を撮ったら楽しい画像になります」を決定する。
　次の動作を促す際に表示する回数は、１回に限定されない。予め設定された複数回から表示されるようにしてもよい。対応する動作を実施するごとに数字が減ることになり、ユーザはカウントダウンの楽しみを得ることが可能となる。
　図１２に示す合成画像をユーザが確認した後、促される動作をユーザが実施したとする。具体的には、図１２に示す合成画像をユーザが確認してから、この公園を訪問する機会が１回以上あったとする。これにより、パラメータ項目として選択された「（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園への訪問回数」の値が高くなる。ユーザは、要求された活動を実施した後、改めて合成画像を要求する。決定モジュール２０４７は、高くなった「（経度：Ｌａｔ２，緯度：Ｌｏｎ２）の公園への訪問回数」の値に応じ、オブジェクトのレベルを決定する。提示モジュール２０４８は、オブジェクトが豪華になった合成画像を作成する。
　図１３は、ディスプレイ１４１に表示される合成画像のその他の例を表す図である。図１３に示す合成画像は、例えば、図１２に示す合成画像が提示されてから、要求された活動をユーザが実施した後の要求指示に応じて作成された画像である。図１３に示す合成画像では、図１１に示す第１画像に基づく合成画像が表示されている。図１３に示す合成画像では、公園での画像に、虹と太陽と光とのオブジェクトが合成されている。
　図１４は、第１画像として決定された画像のその他の例を表す図である。図１４に示す画像は、遊園地で撮影されたものである。図１４に示す画像は、遊園地で遊ぶ子供、遊園地の建物、遊園地のアトラクション等を含む。また、図１４に示す画像は、例えば、画像情報ＤＢ２８１に記載する項目を含むメタ情報が付加されている。
　解析モジュール２０４５は、図１４に示す画像からコンテクストを取得する。例えば、解析モジュール２０４５は、画像情報に含まれているピクセル情報、及び画像情報ＤＢ２８１に記憶される情報に基づき、「１９ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ３，緯度：Ｌｏｎ３）の遊園地でＡＡＡＡがアトラクションＡ１で遊んでいる画像」という内容のコンテクストを取得する。
　取得モジュール２０４６は、解析モジュール２０４５により取得された「１９ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ３，緯度：Ｌｏｎ３）の遊園地でＡＡＡＡがアトラクションＡ１で遊んでいる画像」とのコンテクストに基づいて、パラメータ項目を選択する。取得モジュール２０４６は、例えば、「（経度：Ｌａｔ３，緯度：Ｌｏｎ３）の遊園地での撮影回数」、「（経度：Ｌａｔ３，緯度：Ｌｏｎ３）の遊園地への訪問回数」、「遊園地内での歩数」、「遊園地内での移動距離」、「撮影日からの経過日数」、「登録日からの経過日数」、又は「総撮影回数」等のうち、いずれかをパラメータ項目として選択する。本説明では、例えば、取得モジュール２０４６が「撮影日からの経過日数」をパラメータ項目として選択することとする。取得モジュール２０４６は、パラメータＤＢ２８２を参照し、「撮影日からの経過日数」を取得する。
　決定モジュール２０４７は、例えば、解析モジュール２０４５により取得された「１９ＹＹ／ＭＭ／ＤＤに、（経度：Ｌａｔ３，緯度：Ｌｏｎ３）の遊園地でＡＡＡＡがアトラクションＡ１で遊んでいる画像」とのコンテクストに基づいて、オブジェクトを決定する。決定モジュール２０４７は、例えば、項目「関連コンテクスト」が遊園地であるオブジェクトを選択する。決定モジュール２０４７は、例えば、取得モジュール２０４６で決定された「撮影日からの経過日数」の値に応じ、オブジェクトのレベルを決定する。遊園地によっては、過去に設置されていたアトラクションが、新しいアトラクションに変わっていることがある。そこで、撮影日から所定日数以上が経過している場合、つまり、パラメータ項目の値が所定値を超える場合、現存するアトラクションを紹介するオブジェクトが設定されるようにしてもよい。決定モジュール２０４７は、経過日数が所定以上の第１画像に対し、現存するアトラクションを紹介するオブジェクトを決定する。決定モジュール２０４７は、図１４に示す第１画像に対し、決定したオブジェクトを合成可能なように、オブジェクトの大きさ、角度等を決定する。
　提示モジュール２０４８は、決定モジュール２０４７で決定されたオブジェクトと、オブジェクトの表示態様に基づき、第２画像を作成する。提示モジュール２０４８は、作成した第２画像を第１画像に合成し合成画像を作成する。
　図１５は、ディスプレイ１４１に表示される合成画像のその他の例を表す図である。図１５に示す合成画像において、アトラクションＡ１の近傍に、現存する新たなアトラクションＡ２を紹介するオブジェクトとして、「今では新アトラクションＡ２になってます！」が表示されている。ユーザは、新たなアトラクションを紹介する表示を見ることで、新たなアトラクションへの興味が沸くと共に、今はないアトラクションを懐かしむことが可能となる。このように、サーバ２０は、オブジェクトとして、ユーザに有益な情報を合成してもよい。
　以上のように、本実施形態では、サーバ２０は、登録モジュール２０４３により、ユーザから指定された画像を登録する。サーバ２０は、解析モジュール２０４５により、ユーザから合成画像の要求を受け付ける。サーバ２０は、解析モジュール２０４５により、登録した画像を要求に応じて解析することで、画像のコンテクストを取得する。サーバ２０は、取得モジュール２０４６により、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得する。サーバ２０は、決定モジュール２０４７により、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定する。サーバ２０は、提示モジュール２０４８により、決定したオブジェクトを、登録した画像に合成してユーザに提示するようにしている。これにより、サーバ２０は、過去に撮影した画像に対し、撮影時には含まれていなかった画像を、登録又は撮影から要求時までの所定のパラメータに応じた態様で合成することが可能となる。このため、ユーザは、過去の画像に基づく思いがけない画像が提供されることになり、画像を楽しめる。
　したがって、本実施形態係るサーバ２０によれば、過去の画像を振り返って見直すことに、新たな興趣性を付与することができる。
　また、サーバ２０は、解析モジュール２０４５により、オブジェクトが合成された元の画像を用いた合成画像の要求を受け付ける。サーバ２０は、取得モジュール２０４６により、先の合成後からユーザの活動に応じて更新されたパラメータ値を取得するようにしている。これにより、サーバ２０は、合成画像を作成した後に、同一の画像について改めて合成画像の要求を受けた場合、先の要求時から、今回の要求時までに更新されたパラメータ値を合成画像に反映させることが可能となる。このため、サーバ２０は、先に提示した合成画像と異なる合成画像、例えば、先の合成画像よりも豪華なオブジェクトが合成された合成画像をユーザに提示することが可能となる。これにより、過去に撮影した画像に対する楽しみが膨らむことになる。
　また、上記実施形態では、取得モジュール２０４６は、パラメータ値を、時間経過に係る値、場所に関する経験回数、移動に係る値、又は総撮影回数等のパラメータ項目から取得するようにしている。これにより、取得モジュール２０４６は、設定されている任意のパラメータ項目からパラメータ値を取得することが可能となる。
　また、上記実施形態では、取得モジュール２０４６は、パラメータ値を、ユーザ又は管理者から設定されたパラメータ項目についての値から取得するようにしている。これにより、ユーザは、合成画像を出現させるためのパラメータ項目を自身で設定することが可能となる。つまり、ユーザは、合成画像の提示を、自身が設定した目標（ノルマ）に対する報酬のように捉えることが可能となる。このため、合成画像が提示される興趣性が向上することとなる。
　また、管理者は、画像と関連する条件を自由に設定することが可能となる。例えば、管理者は、場所に対して、所定の時間をパラメータ項目に含めることが可能となる。具体的には、例えば、管理者は、「○○時から○○時の間における、所定の場所への訪問回数」のように設定可能である。このように管理者がパラメータ項目を設定できるようになることで、合成画像を出現させるための条件のバリエーションが増える。このため、ユーザは、合成画像の提示を、自身が設定した目標（ノルマ）に対する報酬のように捉えることが可能となる。このため、合成画像が提示される興趣性が向上することとなる。また、運営側が、ユーザに対し、過去の画像を振り返るきっかけを提供することが可能となる。
　また、上記実施形態では、解析モジュール２０４５は、画像に含まれる場所、人物、又はイベントを画像解析により把握することで、コンテクストを取得するようにしている。これにより、サーバ２０は、ピクセル情報に含まれる内容からコンテクストを自動的に抽出することが可能となる。
　また、上記実施形態では、解析モジュール２０４５は、画像が撮影された場所、方向、又は日時を画像に関するメタ情報から把握することで、コンテクストを取得するようにしている。これにより、サーバ２０は、メタ情報からコンテクストを自動的に抽出することが可能となる。
　また、上記実施形態では、決定モジュール２０４７は、取得したコンテクストと対応するキャラクター、人物、物体、又は文字から、オブジェクトを決定するようにしている。これにより、サーバ２０は、抽出したコンテクストと対応するオブジェクトを自動的に決定することが可能となる。
　また、上記実施形態では、決定モジュール２０４７は、ユーザの活動等に応じて更新されるパラメータ値の大きさに基づき、オブジェクトの内容を決定するようにしている。これにより、サーバ２０は、パラメータ値の大きさに応じて画像に合成させるオブジェクトの内容を変化させることが可能となる。このため、ユーザは、自身の活動等が画像にどのような変更を与えたのかを楽しむことが可能となる。
　また、上記実施形態では、取得モジュール２０４６は、登録した画像のうち、所定の要件を満たす画像を解析の対象とするようにしている。これにより、サーバ２０は、画像を複数登録している場合において、合成画像の元になる画像を選択することが可能となる。
　＜４　変形例＞
　サーバ２０は、作成した合成画像に対し、元の画像である第１画像と関連付ける情報を付加してもよい。例えば、サーバ２０は、合成画像のメタ情報に、第１情報との関連情報を書き込む。
　端末装置１０は、サーバ２０から合成画像を受信すると、受信した合成画像をディスプレイ１４１に表示する。端末装置１０は、合成画像に付されているメタ情報を参照し、合成画像と関連する画像を画像情報１８２から検出する。具体的には、端末装置１０は、例えば、合成画像と関連付けられている第１画像と、撮影された条件が同一の画像を検出する。撮影された条件が同一の画像とは、例えば、以下である。
　・撮影時間が所定範囲内の画像（静止画、動画に関わらない。以下同様。）
　・撮影場所が所定範囲内の画像
　・撮影方向が所定範囲内の画像
　・撮影対象が関連付けられている画像
　端末装置１０は、検出した画像を、他の画像と識別可能にディスプレイ１４１に表示する。具体的には、例えば、端末装置１０は、合成画像をディスプレイ１４１に表示しているときに、合成画像と関連する画像の表示をユーザに提案する。ユーザが提案に承諾すると、端末装置１０は、合成画像と関連する画像、例えば、合成画像と関連付けられている第１画像と、撮影された条件が同一の画像のサムネイル画像をディスプレイ１４１に表示する。ユーザは、ディスプレイ１４１表示されているサムネイル画像から画像を選択し、画像を視認する。このように、オブジェクトが合成された画像と関連する画像を、他の画像と識別してユーザに提示することで、サーバ２０は、合成画像をきっかけにして思い出させた画像と関連する画像を、ユーザに選択させやすくすることが可能である。このため、ユーザは、合成画像をきっかけに、自身の思い出を振り返ることが可能となる。
　また、サーバ２０は、生成した画像信号を他のユーザに共有してもよい。例えば、サーバ２０は、合成信号を端末装置１０に送信すると、送信した合成信号の共有をユーザに提案する。
　ユーザは、合成画像が気に入り、他者へ共有することに同意した場合、サーバ２０からの提案を承諾する。
　サーバ２０は、ユーザが合成画像の共有に同意すると、合成画像にアクセス可能な情報を所定のＳＮＳ（Social Network Service）サービス、メールサービス、掲示板等を利用して他のユーザへ拡散する。サーバ２０は、合成画像へアクセス可能な時期に制限をかけてもよい。サーバ２０は、共有を承諾してくれたユーザに対し、所定の報酬を提供する。所定の報酬とは、例えば、以下である。
　・合成画像へのオブジェクトの追加合成
　・有利な効果（ポイント、クーポン等）の提供
　・所定のパラメータ項目についての値の追加
　このように、オブジェクトを合成した画像を、他のユーザと共有することで、サーバ２０は、他のユーザに対し、合成画像を作成する楽しさを提示することが可能となる。これにより、サーバ２０は、今まで合成画像を作成していなかったユーザに対し、合成画像に興味を持たせることが可能となる。また、合成画像を共有されたユーザにとっては、自身の楽しさが拡散されることで他のユーザと楽しさを共有することが可能となる。
　また、サーバ２０は、合成画像が表示されるサイトにおいて、合成画像を発生させるための条件（パラメータ項目、及びパラメータ項目についての値）を表示してもよい。これにより、合成画像を共有されたユーザは、合成画像を取得するための条件を把握することが可能となる。
　＜５　その他の実施形態＞
　上記実施形態では、取得モジュール２０４６が一つのパラメータ項目を選択し、選択したパラメータ項目についての値を取得する場合を説明した。しかしながら、取得モジュール２０４６が選択するパラメータ項目は、一つに限定されない。取得モジュール２０４６は、２つ以上のパラメータ項目を選択してもよい。取得モジュール２０４６は、選択したパラメータ項目についての複数の値を決定モジュール２０４７へ出力してもよい。取得モジュール２０４６は、選択したパラメータ項目についての複数の値のうち、いずれかの値を決定モジュール２０４７へ出力してもよい。取得モジュール２０４６は、選択したパラメータ項目についての複数の値から評価値を算出してもよい。
　決定モジュール２０４７は、取得モジュール２０４６から出力される値に基づき、オブジェクトのレベルを決定する。取得モジュール２０４６から複数の値が出力される場合、決定モジュール２０４７は、複数の値のうち、いずれかの値を用いてオブジェクトのレベルを決定してもよい。また、決定モジュール２０４７は、複数の値に基づいて算出した評価値を用いてオブジェクトのレベルを決定してもよい。
　また、上記実施形態では、ユーザに提示する有益な情報として、新たなアトラクションを紹介する情報を例に説明した。しかしながら、有益な情報は、新たなアトラクションを紹介する情報に限定されない。決定モジュール２０４７は、有益な情報として以下も含めてよい。
　・割引についての情報
　・応募可能な権利についての情報
　・当選を通知する情報
　このような情報が合成される可能性がある場合、サーバ２０は、有益な情報を合成画像上に発生させる条件を、画像の登録時にユーザが把握可能なように表示する。
　また、上記実施形態では、画像がユーザにより撮影された画像である場合を例に説明した。しかしながら、画像は、これに限定されない。画像は、例えば、所定のアプリケーションにおけるスクリーンショット、又は所定のアプリケーション内で撮影された画像であってもよい。画像が、所定のアプリケーションにおけるスクリーンショット、又は所定のアプリケーション内で撮影された画像である場合、ユーザの活動に基づく情報は、例えば、ユーザによる操作ログを含んでもよい。ユーザの操作ログは、例えば、ユーザが操作するキャラクターの活動に基づく情報を含んでもよい。
　また、上記実施形態では、パラメータＤＢ２８２で管理されるパラメータ項目が、ユーザの活動等を示すパラメータである場合を例に説明した。パラメータＤＢ２８２では、ユーザと関連付けられた他のユーザの活動等を示すパラメータが管理されていてもよい。取得モジュール２０４６は、第１画像について、ユーザと関連付けられた他のユーザの活動等を示すパラメータの項目からもパラメータ項目を選択してもよい。決定モジュール２０４７は、選択されたパラメータ項目の値に基づき、オブジェクトのレベルを決定する。このように、他のユーザの活動等を示すパラメータ項目の値に基づいてオブジェクトのレベルを変えることで、自身の写真が他者の活動の影響を受けることになる。また、他者の写真が自身の活動の影響を受けることになる。このため、合成画像を作成する際、又は合成画像を変更させる際の興趣性が向上することになる。
　また、上記実施形態では、決定モジュール２０４７は、解析モジュール２０４５で取得されたコンテクストに基づいてオブジェクトを決定する場合を例に説明した。しかしながら、決定モジュール２０４７は、コンテクストに基づいてオブジェクトを決定しなくてもよい。決定モジュール２０４７は、例えば、以下によりオブジェクトを決定してもよい。
　・ユーザからの指定
　・ランダム
　・オブジェクトが既に決定されている
　以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
＜付記＞
　以上の各実施形態で説明した事項を以下に付記する。
　（付記１）
　プロセッサ２９と、メモリ２５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、指定された画像を登録するステップ（ステップＳ２１）と、合成画像の要求を受け付けるステップ（ステップＳ１３）と、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップ（ステップＳ２３）と、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップ（ステップＳ２４）と、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップ（ステップＳ２５）と、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップ（ステップＳ２６）とを実行させるプログラム。
　（付記２）
　パラメータ値を取得するステップにおいて、パラメータ値を、時間経過に係る値、場所に関する経験回数、移動に係る値、又は総撮影回数から取得する、（付記１）に記載のプログラム。
　（付記３）
　パラメータ値を取得するステップにおいて、パラメータ値を、ユーザ又は管理者から設定された項目についての値から取得する、（付記１）又は（付記２）に記載のプログラム。
　（付記４）
　コンテクストを取得するステップにおいて、画像に含まれる場所、人物、又はイベントを画像解析により把握することで、コンテクストを取得する、（付記１）乃至（付記３）のいずれかに記載のプログラム。
　（付記５）
　コンテクストを取得するステップにおいて、画像が撮影された場所、方向、又は日時を画像に関するメタ情報から把握することで、コンテクストを取得する、（付記１）乃至（付記４）のいずれかに記載のプログラム。
　（付記６）
　オブジェクトを決定するステップにおいて、取得したコンテクストと対応するキャラクター、人物、物体、又は文字から、オブジェクトを決定する、（付記１）乃至（付記５）のいずれかに記載のプログラム。
　（付記７）
　オブジェクトを決定するステップにおいて、取得したパラメータ値の大きさに基づき、オブジェクトの内容を決定する、（付記１）乃至（付記６）のいずれかに記載のプログラム。
　（付記８）
　オブジェクトを決定するステップにおいて、オブジェクトは、ユーザに有益な情報を含む、（付記１）乃至（付記７）のいずれかに記載のプログラム。
　（付記９）
　コンテクストを取得するステップにおいて、登録した画像のうち、所定の要件を満たす画像を解析の対象とする、（付記１）乃至（付記８）のいずれかに記載のプログラム。
　（付記１０）
　要求を受け付けるステップにおいて、オブジェクトが合成された元の画像を用いた合成画像の要求を受け付け、パラメータ値を取得するステップにおいて、先の合成後からユーザの活動に応じて更新されたパラメータ値を取得する、（付記１）乃至（付記９）記載のいずれかに記載のプログラム。
　（付記１１）
　オブジェクトが合成された画像と関連する画像を他の画像と識別してユーザに提示するステップをプロセッサに実行させる、（付記１）乃至（付記１０）のいずれかに記載のプログラム。
　（付記１２）
　オブジェクトを合成した画像を、他のユーザと共有するステップをプロセッサに実行させる、（付記１）乃至（付記１１）のいずれかに記載のプログラム。
　（付記１３）
　プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成して前記ユーザに提示するステップとを実行する方法。
　（付記１４）
　制御部と、記憶部とを備える情報処理装置であって、制御部が、指定された画像を登録するステップと、合成画像の要求を受け付けるステップと、要求に応じて登録した画像を解析することで、画像のコンテクストを取得するステップと、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得するステップと、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定するステップと、決定したオブジェクトを、登録した画像に合成してユーザに提示するステップとを実行する情報処理装置。
　（付記１５）
　指定された画像を登録する手段と、合成画像の要求を受け付ける手段と、要求に応じて登録した画像を解析することで、画像のコンテクストを取得する手段と、ユーザの活動に応じて更新されるパラメータ値のうち、登録した画像と関連するパラメータ値を取得する手段と、取得したコンテクストと、取得したパラメータ値とから、オブジェクトを決定する手段と、決定したオブジェクトを、登録した画像に合成してユーザに提示する手段とを具備するシステム。
　（付記１６）
　プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、指定された画像を登録するステップと、登録した一の画像とパラメータ値とを関連付けるステップと、パラメータ値に基づいて、第１オブジェクトを決定するステップと、決定した第１オブジェクトを一の画像に合成した第１合成画像をユーザに提示するステップと、所定条件の成立により、パラメータ値を更新するステップと、更新したパラメータ値に基づいて、第２オブジェクトを決定するステップと、決定した第２オブジェクトを一の画像に合成した第２合成画像をユーザに提示するステップとを実行させるプログラム。
　（付記１７）
　プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、指定された画像を登録するステップと、登録した一の画像とパラメータ値とを関連付けるステップと、パラメータ値に基づいて、第１オブジェクトを決定するステップと、決定した第１オブジェクトを一の画像に合成した第１合成画像をユーザに提示するステップと、所定条件の成立により、パラメータ値を更新するステップと、更新したパラメータ値に基づいて、第２オブジェクトを決定するステップと、決定した第２オブジェクトを一の画像に合成した第２合成画像をユーザに提示するステップとを実行する方法。
　（付記１８）
　制御部と、記憶部とを備える情報処理装置であって、制御部が、指定された画像を登録するステップと、登録した一の画像とパラメータ値とを関連付けるステップと、パラメータ値に基づいて、第１オブジェクトを決定するステップと、決定した第１オブジェクトを一の画像に合成した第１合成画像をユーザに提示するステップと、所定条件の成立により、パラメータ値を更新するステップと、更新したパラメータ値に基づいて、第２オブジェクトを決定するステップと、決定した第２オブジェクトを一の画像に合成した第２合成画像をユーザに提示するステップとを実行する情報処理装置。
　（付記１９）
　指定された画像を登録する手段と、登録した一の画像とパラメータ値とを関連付ける手段と、パラメータ値に基づいて、第１オブジェクトを決定する手段と、決定した第１オブジェクトを一の画像に合成した第１合成画像をユーザに提示する手段と、所定条件の成立により、パラメータ値を更新する手段と、更新したパラメータ値に基づいて、第２オブジェクトを決定する手段と、決定した第２オブジェクトを一の画像に合成した第２合成画像をユーザに提示する手段とを具備するシステム。
１…システム
１０…端末装置
１２…通信ＩＦ
１２０…通信部
１３…入力装置
１３１…タッチ・センシティブ・デバイス
１４…出力装置
１４１…ディスプレイ
１５…メモリ
１５０…位置情報センサ
１６…ストレージ
１６１…カメラ
１７…音声処理部
１７１…マイク
１７２…スピーカ
１８０…記憶部
１８１…ユーザ情報
１８２…画像情報
１９…プロセッサ
１９０…制御部
１９１…操作受付部
１９２…送受信部
１９３…画像解析部
１９４…表示制御部
１９５…記憶制御部
２０…サーバ
２０１…通信部
２０２…記憶部
２０３…制御部
２０４１…受信制御モジュール
２０４２…送信制御モジュール
２０４３…登録モジュール
２０４４…管理モジュール
２０４５…解析モジュール
２０４６…取得モジュール
２０４７…決定モジュール
２０４８…提示モジュール
２２…通信ＩＦ
２３…入出力ＩＦ
２５…メモリ
２６…ストレージ
２９…プロセッサ
２８１…画像情報ＤＢ
２８２…パラメータＤＢ
２８３…オブジェクト情報ＤＢ
８０…ネットワーク

Claims (19)

  1. 　プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
    　指定された画像を登録するステップと、
    　合成画像の要求を受け付けるステップと、
    　登録した画像を要求に応じて解析することで、前記画像のコンテクストを取得するステップと、
    　ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
    　前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
    　前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
    を実行させるプログラム。
  2. 　前記パラメータ値を取得するステップにおいて、前記パラメータ値を、時間経過に係る値、場所に関する経験回数、移動に係る値、又は総撮影回数から取得する、請求項１記載のプログラム。
  3. 　前記パラメータ値を取得するステップにおいて、前記パラメータ値を、ユーザ又は管理者から設定された項目についての値から取得する、請求項１又は２に記載のプログラム。
  4. 　前記コンテクストを取得するステップにおいて、前記画像に含まれる場所、人物、又はイベントを画像解析により把握することで、前記コンテクストを取得する、請求項１乃至３のいずれかに記載のプログラム。
  5. 　前記コンテクストを取得するステップにおいて、前記画像が撮影された場所、方向、又は日時を画像に関するメタ情報から把握することで、前記コンテクストを取得する、請求項１乃至４のいずれかに記載のプログラム。
  6. 　前記オブジェクトを決定するステップにおいて、前記取得したコンテクストと対応するキャラクター、人物、物体、又は文字から、前記オブジェクトを決定する、請求項１乃至５のいずれかに記載のプログラム。
  7. 　前記オブジェクトを決定するステップにおいて、前記取得したパラメータ値の大きさに基づき、前記オブジェクトの内容を決定する、請求項１乃至６のいずれかに記載のプログラム。
  8. 　前記オブジェクトを決定するステップにおいて、前記オブジェクトは、ユーザに有益な情報を含む、請求項１乃至７のいずれかに記載のプログラム。
  9. 　前記コンテクストを取得するステップにおいて、前記登録した画像のうち、所定の要件を満たす画像を前記解析の対象とする、請求項１乃至８のいずれかに記載のプログラム。
  10. 　前記要求を受け付けるステップにおいて、前記オブジェクトが合成された元の画像を用いた合成画像の要求を受け付け、
    　前記パラメータ値を取得するステップにおいて、先の合成後からユーザの活動に応じて更新されたパラメータ値を取得する、請求項１乃至９のいずれかに記載のプログラム。
  11. 　前記オブジェクトが合成された画像と関連する画像を他の画像と識別して前記ユーザに提示するステップを前記プロセッサに実行させる、請求項１乃至１０のいずれかに記載のプログラム。
  12. 　前記オブジェクトを合成した画像を、他のユーザと共有するステップを前記プロセッサに実行させる、請求項１乃至１１のいずれかに記載のプログラム。
  13. 　プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    　指定された画像を登録するステップと、
    　合成画像の要求を受け付けるステップと、
    　要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得するステップと、
    　ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
    　前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
    　前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
    を実行する方法。
  14. 　制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    　指定された画像を登録するステップと、
    　合成画像の要求を受け付けるステップと、
    　要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得するステップと、
    　ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得するステップと、
    　前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定するステップと、
    　前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示するステップと
    を実行する情報処理装置。
  15. 　指定された画像を登録する手段と、
    　合成画像の要求を受け付ける手段と、
    　要求に応じて登録した画像を解析することで、前記画像のコンテクストを取得する手段と、
    　ユーザの活動に応じて更新されるパラメータ値のうち、前記登録した画像と関連するパラメータ値を取得する手段と、
    　前記取得したコンテクストと、前記取得したパラメータ値とから、オブジェクトを決定する手段と、
    　前記決定したオブジェクトを、前記登録した画像に合成して前記ユーザに提示する手段と
    を具備するシステム。
  16. 　プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
    　指定された画像を登録するステップと、　
    　登録した一の画像とパラメータ値とを関連付けるステップと、
    　前記パラメータ値に基づいて、第１オブジェクトを決定するステップと、
    　前記決定した第１オブジェクトを前記一の画像に合成した第１合成画像を前記ユーザに提示するステップと、
    　所定条件の成立により、前記パラメータ値を更新するステップと、
    　前記更新したパラメータ値に基づいて、第２オブジェクトを決定するステップと、
    　前記決定した第２オブジェクトを前記一の画像に合成した第２合成画像を前記ユーザに提示するステップと
    を実行させるプログラム。
  17. 　プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、
    　指定された画像を登録するステップと、　
    　登録した一の画像とパラメータ値とを関連付けるステップと、
    　前記パラメータ値に基づいて、第１オブジェクトを決定するステップと、
    　前記決定した第１オブジェクトを前記一の画像に合成した第１合成画像を前記ユーザに提示するステップと、
    　所定条件の成立により、前記パラメータ値を更新するステップと、
    　前記更新したパラメータ値に基づいて、第２オブジェクトを決定するステップと、
    　前記決定した第２オブジェクトを前記一の画像に合成した第２合成画像を前記ユーザに提示するステップと
    を実行する方法。
  18. 　制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    　指定された画像を登録するステップと、　
    　登録した一の画像とパラメータ値とを関連付けるステップと、
    　前記パラメータ値に基づいて、第１オブジェクトを決定するステップと、
    　前記決定した第１オブジェクトを前記一の画像に合成した第１合成画像を前記ユーザに提示するステップと、
    　所定条件の成立により、前記パラメータ値を更新するステップと、
    　前記更新したパラメータ値に基づいて、第２オブジェクトを決定するステップと、
    　前記決定した第２オブジェクトを前記一の画像に合成した第２合成画像を前記ユーザに提示するステップと
    を実行する情報処理装置。
  19. 　指定された画像を登録する手段と、　
    　登録した一の画像とパラメータ値とを関連付ける手段と、
    　前記パラメータ値に基づいて、第１オブジェクトを決定する手段と、
    　前記決定した第１オブジェクトを前記一の画像に合成した第１合成画像を前記ユーザに提示する手段と、
    　所定条件の成立により、前記パラメータ値を更新する手段と、
    　前記更新したパラメータ値に基づいて、第２オブジェクトを決定する手段と、
    　前記決定した第２オブジェクトを前記一の画像に合成した第２合成画像を前記ユーザに提示する手段と
    を具備するシステム。
PCT/JP2021/046496 2021-02-12 2021-12-16 プログラム、方法、情報処理装置、システム WO2022172587A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/231,248 US20230419465A1 (en) 2021-02-12 2023-08-08 Program, method, information processing apparatus, and system for generating a combination image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-021159 2021-02-12
JP2021021159A JP7167207B2 (ja) 2021-02-12 2021-02-12 プログラム、方法、情報処理装置、システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/231,248 Continuation US20230419465A1 (en) 2021-02-12 2023-08-08 Program, method, information processing apparatus, and system for generating a combination image

Publications (1)

Publication Number Publication Date
WO2022172587A1 true WO2022172587A1 (ja) 2022-08-18

Family

ID=82838667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/046496 WO2022172587A1 (ja) 2021-02-12 2021-12-16 プログラム、方法、情報処理装置、システム

Country Status (3)

Country Link
US (1) US20230419465A1 (ja)
JP (2) JP7167207B2 (ja)
WO (1) WO2022172587A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308527A (ja) * 2002-04-15 2003-10-31 Fuji Photo Film Co Ltd 画像処理システム及びプログラム
JP2018147151A (ja) * 2017-03-03 2018-09-20 Kddi株式会社 端末装置およびその制御方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5569152B2 (ja) * 2010-04-12 2014-08-13 辰巳電子工業株式会社 画像表示制御システム
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308527A (ja) * 2002-04-15 2003-10-31 Fuji Photo Film Co Ltd 画像処理システム及びプログラム
JP2018147151A (ja) * 2017-03-03 2018-09-20 Kddi株式会社 端末装置およびその制御方法、並びにプログラム

Also Published As

Publication number Publication date
JP2023001173A (ja) 2023-01-04
US20230419465A1 (en) 2023-12-28
JP2022123693A (ja) 2022-08-24
JP7167207B2 (ja) 2022-11-08

Similar Documents

Publication Publication Date Title
US11665122B2 (en) Geolocation-based data sharing system
US10171617B2 (en) Communication system that support review of usage details for a communication service
US8743144B2 (en) Mobile terminal, server device, community generation system, display control method, and program
US20150347577A1 (en) Communication terminal, communication method, program, and communication system
KR20180132063A (ko) 개인의 생활 스토리 시뮬레이션 시스템
CN104769589B (zh) 通信终端、信息处理装置、通信方法、信息处理方法、程序和通信系统
JP6375039B1 (ja) プログラム、撮影方法及び端末
JP2013191035A (ja) 画像公開装置、画像公開方法、画像公開システム、および、プログラム
EP2919198B1 (en) Image processing device, image processing method, and program
US8299897B2 (en) Information processing apparatus, method, and program
JP2003346170A (ja) 画像配信サーバ、画像配信プログラム、及び画像配信方法
JP5090115B2 (ja) 動画像配信装置、動画像配信方法ならびにそのプログラム
CN104866520A (zh) 用于媒体文件的上下文相关组织的方法、装置和系统
JP7167207B2 (ja) プログラム、方法、情報処理装置、システム
JP2023153790A (ja) プログラム
KR20200028830A (ko) 실시간 cg 영상 방송 서비스 시스템
JP6063697B2 (ja) 画像表示のための装置、方法及びプログラム
JP6849851B2 (ja) 撮影システム、撮影装置及びユーザ撮影方法
KR20210110821A (ko) 이미징 방법 및 시스템
JP7152644B1 (ja) 応援システム、管理サーバ、端末装置、応援方法および応援プログラム
JP7445272B1 (ja) 動画処理方法、動画処理システム、及び動画処理プログラム
JP6909941B1 (ja) コメントアート管理システム、コメントアート管理方法、コメントアート管理プログラム、およびコンピュータ読取可能な記録媒体
JP7462375B2 (ja) サーバ、プログラム、情報処理方法
JP4964977B2 (ja) 演奏予約曲に利用者がリンクさせたｕｒｌのウエブページをカラオケ演奏時に画像出力するカラオケ装置
JP2024042753A (ja) プログラム、方法、情報処理装置、システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21925830

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21925830

Country of ref document: EP

Kind code of ref document: A1