WO2021166583A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2021166583A1
WO2021166583A1 PCT/JP2021/003094 JP2021003094W WO2021166583A1 WO 2021166583 A1 WO2021166583 A1 WO 2021166583A1 JP 2021003094 W JP2021003094 W JP 2021003094W WO 2021166583 A1 WO2021166583 A1 WO 2021166583A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
icon
extraction
information processing
Prior art date
Application number
PCT/JP2021/003094
Other languages
English (en)
French (fr)
Inventor
杉森 茂夫
雄貴 村田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/798,684 priority Critical patent/US20230137452A1/en
Priority to DE112021001101.4T priority patent/DE112021001101T5/de
Priority to JP2022501735A priority patent/JPWO2021166583A1/ja
Priority to CN202180013723.3A priority patent/CN115066710A/zh
Publication of WO2021166583A1 publication Critical patent/WO2021166583A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Definitions

  • This technology is related to information processing equipment, information processing methods, and programs, especially technology suitable for creating image collections of events related to marriage.
  • Patent Document 1 describes a technique for transferring and sharing an image taken by a camera to a smartphone or the like.
  • the image collection of the event is fun for the participants, and they often want to see it as soon as possible after the event. For example, if the images taken immediately after the wedding or reception are over and the images are taken, the bride and groom and the participants will be more impressed. However, for example, when a large number of photographs are taken at a wedding ceremony, it is troublesome for the viewer to simply look at them in order, and it cannot be said that it is appropriate. Therefore, it is considered to create an image collection edited by using an image selected from a large number of images so that the persons concerned can view it. However, even in this case, it is a difficult task for a person who creates an image collection such as a cameraman to determine and select which image to add to the image collection among a large number of images. Therefore, it is an object of the present disclosure to provide an information processing function that assists the creator when producing such an image collection.
  • the information processing device is based on a user interface control unit that controls to provide a user interface capable of specifying extraction conditions for a group of images taken at an event related to marriage, and a specified extraction conditions. It includes an extraction processing unit that extracts an image from the image group.
  • marriage-related events are, for example, weddings, receptions, second parties, ceremonies, face-to-face meetings, matchmaking, etc., and refer to events in which a plurality of people including the bride and groom participate.
  • a device is realized in which a user can specify extraction conditions for an image group as a plurality of images captured in such an event and can obtain an image extraction result.
  • the user interface control unit is a control that displays an image extracted by the extraction processing unit and provides a user interface capable of inputting rating information for each image.
  • a list of images satisfying a predetermined condition is displayed, and the user can arbitrarily set the rating information of each image.
  • the extraction processing unit refers to the analysis result data of the image contents of each image in the image group and extracts an image that matches the specified extraction conditions. Can be considered. For each image, information indicating the image content is obtained by image analysis processing. For each image, it is determined whether or not the information of the analysis result matches the extraction conditions.
  • the analysis result data is received from an external device.
  • Each image captured at the event is transmitted to an external device, the image analysis process is executed by the external device, and the analysis result data is received.
  • the user interface control unit controls to display an icon that presents an extraction condition for an image of the image group, and detects an operation on the icon as an operation for designating an extraction condition. It is conceivable to do.
  • An icon indicating the image type, etc. of the captured image of the event related to marriage is displayed so that the user can select it.
  • the user interface control unit displays an icon that is the target of an operation for specifying an extraction condition in a display mode different from that of an icon that is not a target for the specified operation. It is possible to make it. For example, the color of the icon, the color of the frame, and the highlighting are changed so that the manipulated icon can be distinguished from other icons.
  • the extraction condition includes a condition for designating a person. Allows you to specify the person to be the subject of a marriage event. For example, allow brides, bridesmaids, relatives (parents, brothers, etc.), friends, guests, etc. to be specified.
  • the extraction condition includes a condition that can specify a scene of an event related to marriage. Prepare conditions that allow you to specify a scene for a marriage event, such as a cake cut or a guest greeting.
  • the extraction condition includes a condition in which time information of an event related to marriage can be specified.
  • the time information can be extracted under conditions such as a specific time, a period from a certain time to another time, or a time from the start of shooting.
  • the extraction conditions include conditions that can specify an object or an animal as a subject. Prepare conditions to specify items that are likely to be subjects at wedding events, such as cakes, candles, rings, pets, and glasses.
  • the extraction condition includes a condition in which the emotion or facial expression of the subject can be specified. For example, prepare conditions to specify a smiling scene, an emotional scene, a crying scene, a downturned scene, and the like.
  • the user interface control unit presents information indicating the degree of emotion or facial expression of the subject with respect to the image extracted by the extraction processing unit. For example, when an image such as a smiling scene is extracted, each image is presented to indicate the degree of smiling.
  • the extraction condition includes a condition capable of specifying a matter determined by the metadata added at the time of imaging.
  • a condition capable of specifying a matter determined by the metadata added at the time of imaging.
  • the user interface control unit presents the focusing position of the image extracted by the extraction processing unit. For example, on the extracted image, an image showing a position or region in focus by a focusing frame or the like is superimposed and displayed by referring to the information of the focusing region in the metadata.
  • the user interface control unit displays the icon of the extraction condition in the candidate area on the display screen, and displays the icon designated by a predetermined operation on the display screen. It is conceivable to control the display in the selected area of. A candidate area and a selection area are set on the display screen so that the user can display the icon of the candidate area in the selection area by an operation.
  • the user interface control unit controls to end the display of the icon displayed in the selected area in response to a predetermined deselection operation. Can be considered. Allows the user to manually return the icon of the selected area to the candidate area.
  • the information processing apparatus includes a moving image editing unit that creates moving image content using a plurality of moving image scenes extracted by the extraction processing unit based on extraction conditions.
  • a video scene is extracted based on the extraction conditions, and video content is created using it.
  • the information processing method of the present technology is based on a control process that provides a user interface capable of specifying extraction conditions for an image group taken at an event related to marriage and an image from the image group based on the specified extraction conditions.
  • the information processing device performs the extraction process for extracting the image.
  • These are support processes for streamlining the work of creating an image collection by a cameraman or the like.
  • the program according to the present technology is a program that causes an information processing apparatus to execute a process corresponding to such an information processing method.
  • cameramen and their assistants are collectively called camera staff.
  • client is a general term for not only the ordering party but also the users who can receive and browse the image collection. For example, the bride and groom, their relatives, friends, and other related parties are collectively referred to as clients.
  • the image collection broadly refers to the content that collects images (still images and moving images) such as a photo album, and the form of provision thereof does not matter, but in the present embodiment, as an example, an image collection as a web gallery and a book It shall be possible to provide a collection of images of delivery.
  • the image collection of the web gallery referred to here is an electronic image collection that enables the photograph of the event to be quickly browsed on the website after the event such as a wedding ceremony is completed.
  • a website is used as an example, but this is an example.
  • a provision form in which a content file as an image collection can be transmitted to a client terminal device using e-mail, electronic message, SNS, or the like. May be.
  • the image collection of this delivery is, for example, an image collection of an event that the camera staff officially produces as a photo album and provides it to the client at a later date.
  • the image data captured at the event may be edited to obtain an electronic image collection as image album contents, slide show contents, or the like, or for example, an image collection in a paper medium may be created.
  • the electronic image collection may be provided by download, streaming, etc., or may be stored and provided in a portable storage medium such as a disk-shaped storage medium, a card-shaped storage medium, a tape-shaped storage medium, or a flash memory medium. It may be a thing.
  • an image collection that can be quickly viewed by a client can be generated before the image collection of the present delivery.
  • the image collection of the web gallery is not simply a large number of captured images arranged side by side, but is a selected image so that the viewer can enjoy the quality.
  • the image collection of this delivery is positioned so that the camera staff can take the time to edit and create it with more creativity.
  • FIG. 1 shows terminal devices 1A and 1B, an image pickup device 2, a personal computer 3, a server device 4, terminal devices 5A and 5B, and a network 6.
  • the terminal devices 1A and 1B indicate terminal devices used by the camera staff, and these are collectively referred to as the staff terminal 1 for the sake of explanatory distinction.
  • the terminal devices 5A and 5B indicate the terminal devices used by the user as the above-mentioned client, and for the sake of description, these are collectively referred to as the client terminal 5.
  • a portable terminal device such as a smartphone or a tablet device is exemplified here.
  • the terminal device 1A is assumed to be a smartphone used by a cameraman
  • the terminal device 1B is assumed to be a smartphone used by an assistant.
  • the terminal device 5A is assumed to be a smartphone used by the bride
  • the terminal device 5B is assumed to be a tablet device used by a friend at the venue.
  • the staff terminal 1 and the client terminal 5 may be so-called information processing devices, and specific examples thereof include personal computer devices, mobile phone devices, game devices, audio devices, video devices, communication devices, and television devices. Various examples are assumed.
  • the staff terminal 1 or the client terminal 5 of the present disclosure can be used.
  • the terminal is a portable terminal such as a smartphone or a tablet device.
  • the image pickup device 2 various image pickup devices such as a video camera and a still camera are assumed.
  • the image pickup device 2 shown is assumed to be a camera used by a cameraman at a wedding venue.
  • Data communication is possible between the image pickup device 2 and the staff terminal 1 (for example, the terminal device 1A).
  • data communication is performed by FTP (File Transfer Protocol) communication.
  • the terminal device 1A serves as an FTP server, and the image files (including image data and metadata) captured by the image pickup device 2 can be uploaded sequentially or collectively by FTP communication. Conceivable. Therefore, it is assumed that the image pickup device 2 is set with FTP for data transfer to the terminal device 1A.
  • the contents of the FTP setting information include the host name of the FTP server, the save destination path, the user name, the password, the connection type, and the like.
  • the image pickup device 2 and the terminal device 1A are not necessarily limited to FTP, and other protocols may be used.
  • the image or metadata may be transferred between the image pickup device 2 and the terminal device 1A by some communication method.
  • short-range wireless communication such as Bluetooth (Bluetooth: registered trademark), Wi-Fi (Wireless Fidelity: registered trademark), NFC (Near Field Communication: registered trademark), infrared communication, etc. enable mutual information communication. You may do it.
  • the image pickup device 2 and the terminal device 1A may be made capable of communicating with each other by a wired connection communication such as a wired LAN.
  • the personal computer 3 is exemplified as an information processing device used by the camera staff to create the image collection contents of the present delivery, for example.
  • the personal computer 3 is used for the work of acquiring data related to the image of the event from the server device 4 and creating the image collection content of the present delivery by an image editing application or the like.
  • the server device 4 provides and manages various information for the camera staff to create a web gallery and an image collection of the main delivery.
  • the staff terminal 1 has an application program for the image collection providing service installed, and performs the processing described later according to the application program.
  • the server device 4 manages data related to the event, generates a web gallery, and the like.
  • the staff terminal 1 and the server device 4 are always connected, for example, while the above application program is running, and event data is synchronized. Examples of event data will be described later, but include image data captured at the event and data used for generating a web gallery.
  • synchronization means that at least a part of the event data stored in the staff terminal 1 and the event data stored in the server device 4 is maintained so as to have the same data content.
  • the target data to be synchronized includes image data, rating information, selection information, editing information, and the like. The contents of each will be described later.
  • the network 6 is assumed to be, for example, the Internet, a home network, a LAN (Local Area Network), a satellite communication network, and various other networks.
  • the staff terminal 1 can upload image data or the like to the server device 4 or transmit information for synchronization via the network 6.
  • the client terminal 5 can access the web page provided by the server device 4 via the network 6 and browse the web gallery.
  • the personal computer 3 can acquire an image file for creating the image collection content of the present delivery from the server device 4 via the network 6.
  • the image pickup device 2 has, for example, a display panel provided on the back surface of the device, a display device such as a viewfinder, and can be operated and input by functions such as various controls and a touch panel. In other words, it has sufficient functions as a user interface. Further, the image pickup device 2 is equipped with a microcomputer and is capable of various information processing and communication. Therefore, the image pickup device 2 functions as an information processing device referred to in the present disclosure, and communicates with the server device 4 without going through the terminal devices 1A and 1B, and the terminal devices 1A and 1B are described later. It is also expected that the processing performed in will be executed. In the embodiment, the processing of the staff terminal 1 and the server device 4 will be mainly described, but there may be an example in which the image pickup device 2 performs all or part of the processing of the staff terminal 1 described below.
  • FIG. 1 A schematic procedure for providing an image collection realized by a system as shown in FIG. 1 will be described with reference to FIG. This is a work procedure on the staff terminal 1 based on the operation of the camera staff as a service provider.
  • Pre-setting is performed as step S1.
  • the camera staff sets communication settings between the staff terminal 1 and the image pickup device 2, event settings, image retouching settings, and the like. This preset should be done before the wedding starts.
  • step S2 imaging / transfer / automatic editing during the wedding ceremony is performed.
  • the image files captured by the cameraman with the image pickup device 2 are sequentially transferred to the staff terminal 1 (for example, the terminal device 1A).
  • the staff terminal 1 takes in the image file, transfers the image file or the like to the server device 4, and automatically edits the image according to the preset setting.
  • Step S3 shows the work that can be done on the day after the wedding.
  • the camera staff uses the staff terminal 1 to operate the selection. Selection includes selection of images to be posted in the web gallery, selection of cover images, highlight images, and even image editing.
  • the staff terminal 1 performs event data update processing and the like according to the operation of the camera staff. Processing for synchronizing event data with the server device 4 side is also performed sequentially.
  • the web gallery delivery process is performed in step S4.
  • a web gallery is created in the server device 4 based on the event data. After the camera staff confirms the contents of the web gallery on the staff terminal 1, the operation is performed so that the client can view the contents. As a result, the client can browse the web gallery, which is a collection of images of the wedding ceremony, for example, on the day after the wedding ceremony.
  • step S5 the creation of the image collection of the main delivery and the processing of the main delivery are shown.
  • the camera staff will later create the image collection content of this delivery using, for example, the personal computer 3 and provide it to the client.
  • the client can receive the image collection content as the main delivery.
  • FIG. 3 shows a configuration example of an information processing device 10 that can be configured as a staff terminal 1, a client terminal 5, a server device 4, or a personal computer 3.
  • the staff terminal 1, the personal computer 3, or the server device 4 can execute the processing described later by providing the following configuration of the information processing device 10.
  • the image pickup apparatus 2 can also perform the same processing as the staff terminal 1 described later by providing the following configuration of the information processing apparatus 10.
  • the CPU (Central Processing Unit) 71 of the information processing device 10 performs various processes according to the program stored in the ROM (Read Only Memory) 72 or the program loaded from the storage unit 79 into the RAM (Random Access Memory) 73. Run.
  • the RAM 73 also appropriately stores data and the like necessary for the CPU 71 to execute various processes.
  • the CPU 71, ROM 72, and RAM 73 are connected to each other via a bus 74.
  • An input / output interface 75 is also connected to the bus 74.
  • An input unit 76 including an operator and an operation device is connected to the input / output interface 75.
  • various controls and operation devices such as a keyboard, mouse, keys, dial, touch panel, touch pad, and remote controller are assumed.
  • the user's operation is detected by the input unit 76, and the signal corresponding to the input operation is interpreted by the CPU 71.
  • a display unit 77 composed of a liquid crystal panel (LCD: Liquid Crystal Display), an organic EL (Electro-Luminescence) display, etc., and an audio output unit 78 composed of a speaker or the like are connected to the input / output interface 75 as one or as a separate body.
  • LCD Liquid Crystal Display
  • organic EL Electro-Luminescence
  • an audio output unit 78 composed of a speaker or the like are connected to the input / output interface 75 as one or as a separate body.
  • the display unit 77 is a display unit that performs various displays, and is composed of, for example, a display device provided in the housing of the information processing device 10, a separate display device connected to the information processing device 10, and the like.
  • the display unit 77 executes the display of various images for image processing, moving images to be processed, and the like on the display screen based on the instruction of the CPU 71. Further, the display unit 77 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) based on the instruction of the CPU 71.
  • GUI Graphic User Interface
  • the input / output interface 75 may be connected to a storage unit 79 composed of a hard disk, a solid-state memory, or the like, or a communication unit 80 that communicates in various communication methods.
  • the communication unit 80 performs communication processing via a transmission line such as the Internet, wire / wireless communication with various devices, bus communication, and the like.
  • the communication unit 80 has a function of FTP communication with the image pickup device 2 and a function of communicating with the server device 4 via the network 6.
  • the communication unit 80 may have a function of performing communication by short-range wireless communication such as Bluetooth, Wi-Fi, NFC, infrared communication, wired connection communication, or the like described above.
  • the communication unit 80 may have a function of performing communication by a communication line for a mobile phone such as LTE (Long Term Evolution).
  • LTE Long Term Evolution
  • a drive 82 is also connected to the input / output interface 75, if necessary, and a removable recording medium 81 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted.
  • the drive 82 can read data files such as image files and various computer programs from the removable recording medium 81.
  • the read data file is stored in the storage unit 79, and the image and sound included in the data file are output by the display unit 77 and the sound output unit 78. Further, the computer program or the like read from the removable recording medium 81 is installed in the storage unit 79 as needed.
  • software for the processing of the present disclosure can be installed via network communication by the communication unit 80 or a removable recording medium 81.
  • the software may be stored in the ROM 72, the storage unit 79, or the like in advance.
  • FIG. 4 shows an event data management unit 30, a UI (user interface) control unit 31, a communication control unit 32, and an automatic setting unit 33 as functions provided in the information processing device 10 which is the staff terminal 1.
  • the event data management unit 30 is a processing function that stores image data received by communication with the image pickup device 2 and additional information including rating information corresponding to the image data as event data related to a specific event. The event data management unit 30 also updates the event data according to the operation input of the camera staff.
  • FIG. 5 shows event data 60 for an event whose event name is “event2”.
  • the event data 60 includes the preset information 61, the imaging / editing information table 62, and the tendency information 63.
  • the preset information 61 is information set by the camera staff by the preset in step S1 of FIG. Includes editing information such as retouch parameters.
  • the imaging / editing information table 62 is a table in which information is sequentially added / updated in the processes of steps S2 and S3 of FIG.
  • various information is described corresponding to the image file transferred from the imaging device 2.
  • the image file transferred from the image pickup apparatus 2 includes image data and metadata (MT1, MT2 ).
  • This image data is managed as the original image data, and the added metadata is also managed.
  • the image data includes, for example, raw (RAW) data or data compressed by the JPEG method, and the data format does not matter, but here, the data compressed by the JPEG method such as "DSC0001.jpg" is used.
  • the metadata (MT1, MT2 ) Includes image data imaging date and time, camera information, data format, data size, angle of view information, focus point information, and other information added by various imaging devices 2. ..
  • the rating information is information indicating the evaluation value that the cameraman or the like evaluated the image.
  • the number of star marks is “no star”, “1 star”, “2 stars”, “3 stars”, “4 stars”. It is evaluation information of 6 stages such as "5 stars”. For example, the higher the number of stars, the higher the evaluation. Of course, such evaluation information is an example. Since such rating information serves as a reference for image selection for the camera staff, for example, when setting the selection flag (setting of image information to be used) described later, the rating information shows a higher evaluation. It can be said that the image is an image that is likely to be used in a web gallery or this delivery.
  • This rating information can be given by confirming the captured image when the cameraman captures the image.
  • the image pickup apparatus 2 is provided with a user interface for inputting rating information. It is conceivable that this rating information is transferred to the staff terminal 1 together with the image data included in the metadata corresponding to the image data, for example. Alternatively, it may be written in the XMP area of Exif in the image file.
  • the staff terminal 1 extracts and manages rating information from metadata (or Exif data). This rating information can be added or updated in correspondence with the image data by the operation of the staff terminal 1.
  • Selection information corresponding to the image data is stored in the imaging / editing information table 62.
  • image information indicating whether or not the image is to be posted on the web gallery. This is a "selection flag" (also referred to simply as a "flag"), which will be described later.
  • Flag-off indicates that the image is not used in the web gallery, and flag-on indicates that the image is selected for use in the web gallery.
  • cover image information indicating that the image is selected as the cover image arranged as the cover image at the top of the web gallery.
  • a highlighted image information indicating that the image is selected to be highlighted (highlighted) in the web gallery.
  • the highlight display shall be displayed larger than other images.
  • the normal image is a monochrome image, but the highlight image may be displayed in color.
  • the normal image in the sense of emphasis, is a color image, but the highlight image may be an image displayed in monochrome.
  • the normal image may be distinguished as a borderless display, and the highlight image may be distinguished as a bordered display. There are many ways to highlight.
  • the editing information includes various image processing parameters such as retouch parameters and tilt correction parameters.
  • the retouch parameters include image quality adjustment parameters such as brightness adjustment value, color adjustment value, contrast adjustment value, and sharpness adjustment value.
  • Retouch parameters can be set in advance, but can also be set for individual images.
  • the tilt correction parameters are set individually. From these things, the editing information corresponding to the image data is stored so that the parameters set for each image can be stored.
  • the imaging / editing information table 62 may store the editing information corresponding to the image data.
  • the edited image data is image data in which the original image data is image-edited based on the editing information determined in advance or the editing information individually set. Further, not only the image data retouched by the editing information but also the image data edited image data in which the quality of the image is changed may be used.
  • the quality change includes, for example, a change in image size, a change in resolution, a cutout, and a change in frame rate in a moving image.
  • the edited image data is indicated by adding "E" to the file name such as "DSC0001E.jpg" to distinguish it from the original image data.
  • This edited image data is used for display on the user interface on the staff terminal 1.
  • Such edited image data does not necessarily have to be created and stored, and for example, when displaying an image, the edited information may be applied and displayed each time. Therefore, in the imaging / editing information table 62, the editing information may be updated and managed, and the edited image data may not be stored. However, of course, by generating and storing the edited image data at any time as shown in the figure, it is effective in reducing the processing load during the display processing.
  • the event data 60 may store trend information 63.
  • the tendency information is characteristic information such as the selection tendency of the camera staff and the tendency of the favorite image of the client (for example, the bride). An example using this tendency information 63 will be described later.
  • the format of the event data 60 and the format of the imaging / editing information table 62 are merely examples, and any format may be used as long as the above contents are managed at least for each event.
  • the original image data, metadata, rating information, selection information, editing information, and edited image data included in the imaging / editing information table 62 are not limited to being collectively stored as a table. Any format and mode may be used as long as metadata, rating information, selection information, editing information, and edited image data can be associated with at least one original image data.
  • the UI control unit 31 of FIG. 4 is a function that controls the presentation of images, rating information, and the like related to the event data 60 of a specific event, and also performs a process of detecting an operation input. In other words, it is a function that performs user interface processing.
  • User interface processing includes presentation of various information, provision of an environment in which operation input is possible, processing for detecting operation by the user, processing for detecting / estimating the intention of the user, and the like.
  • the UI control unit 31 causes, for example, the display unit 77 and the voice output unit 78 to execute output such as display output and voice output to the user to provide the user with an operation input environment and present information. Perform control processing.
  • the UI control unit 31 performs a process of detecting an operation by the user, for example.
  • the UI control unit 31 performs both a process of providing an operation input environment to the user and a process of detecting the operation by the user, for example.
  • the UI control unit 31 may perform other user interface processing.
  • the communication control unit 32 is a function of controlling communication for synchronizing event data with an external server device 4 in response to storage or update of event data 60. For example, when the image transfer is received from the image pickup device 2, the communication control unit 32 controls the process of transferring the image data from the communication unit 80 to the server device 4, or updates the contents of the event data 60 according to the update. Controls such as notifying the contents to the server device 4.
  • the automatic setting unit 33 is a function for automatically setting rating information, selection information, or editing information using the above-mentioned tendency information 63.
  • the processing of the automatic setting unit 33 will be described later together with the tendency information 63.
  • FIG. 4 The above functions of FIG. 4 are merely examples.
  • the information processing device 10 includes at least an event data management unit 30, a UI control unit 31, and a communication control unit 32, the information processing device 10 comes to perform processing as the staff terminal 1 of the present embodiment. ..
  • Each such function is realized, for example, by the information processing apparatus 10 installing an application program for creating an image collection content.
  • the server device 4 is the information processing device 10 as shown in FIG. 3, in the information processing device 10, the functional configuration as shown in FIG. 6 is constructed in the CPU 71 by software (application program).
  • FIG. 6 as functions provided in the information processing device 10 which is the server device 4, an event data management unit 40, an image collection generation unit 41, an event data provision control unit 42, a data output unit 43, and a trend information generation unit 44 are shown. Shown.
  • the event data management unit 40 is a processing function for storing / updating event data in the server device 4.
  • the contents of the event data 90 on the server device 4 side are schematically shown in FIG. Similar to FIG. 5, the event data 90 is for an event whose event name is “event2”. In this example, it is assumed that the event data 90 includes the preset information 91 and the imaging / editing information table 92.
  • the preset information 91 is the same information as the preset information 61 in the staff terminal 1. For example, the contents set in the preset settings in step S1 of FIG. 2 are similarly managed in the server device 4.
  • the imaging / editing information table 92 has substantially the same information as the imaging / editing information table 62. That is, the original image data, metadata, rating information, selection information, and editing information can be managed for each image.
  • the image editing / editing information table 92 does not associate the edited image data, but this is because the edited image is created when the web gallery is generated.
  • the server device 4 may also generate sequential edited image data so that the edited image data is associated with the original image data in the imaging / editing information table 92.
  • the CPU 71 of the information processing device 10 which is the server device 4 executes additional storage and updating of information about the event data 90 as described above by the function of the event data management unit 40 of FIG.
  • the image collection generation unit 41 of FIG. 6 is a function of generating image collection contents as a web gallery of a specific event.
  • the image collection generation unit 41 generates image collection data, that is, web page data to be a web gallery, with reference to the selection information and editing information in the event data 90.
  • An example of the generated web gallery data is shown in FIG.
  • the server device 4 generates page information in HTML (HyperText Markup Language) format or XML (Extensible Markup Language) format as web gallery data, for example, as web page setting information 96, and is called from the web page setting information 96 to generate a page.
  • Generate an image folder 97 that collects the images displayed in.
  • the image folder 97 contains edited image data about the image adopted as the web gallery.
  • the event data provision control unit 42 of FIG. 6 is a function of controlling the staff terminal 1 to execute transmission for providing the event data 90. For example, when the staff terminal 1 logs in to the server device 4 and specifies an event, all or part of the event data 90 of the event is transmitted to the staff terminal 1. The staff terminal 1 sets the received content as event data 60 under its own control. As a result, for example, the assistant can operate using the event data 60 on the terminal device 1B side. Of course, it is also assumed that the event data provision control unit 42 controls the event data provision to the terminal device 1A and the personal computer 3.
  • the data output unit 43 sets a part or all of data included in the event data, for example, metadata, rating information, selection information, editing information, or image data (for example, original image data) as a file in a predetermined format (for example,). Controls transmission to the personal computer 3). That is, it is a processing function that provides the camera staff with the data necessary for creating the image collection content of this delivery.
  • the tendency information generation unit 44 is a function of learning the image selection tendency of the camera staff and the evaluation tendency of the image of the user as a client, and generating the feature information thereof.
  • the processing of the trend information generation unit 44 will be described later together with the processing of the automatic setting unit 33 of the staff terminal 1.
  • FIG. 6 The above functions of FIG. 6 are merely examples. Since the information processing device 10 includes the event data management unit 40, event data can be synchronized between the staff terminal 1 and the server device 4. Further, since the server device 4 includes the image collection generation unit 41, the web gallery can be generated quickly.
  • Each function of FIG. 6 is realized by, for example, the information processing apparatus 10 installing an application program for creating an image collection content.
  • FIG. 9 shows the processing of the staff terminal 1.
  • the camera staff uses the staff terminal 1 to start an application program and perform an operation for preparatory processing.
  • the CPU 71 executes the processes after step S10.
  • step S10 the staff terminal 1 performs a project creation process.
  • This is a process of setting an event for creating an image collection.
  • the project list screen 110 is displayed on the display unit 77 of the staff terminal 1 that has started the application program, as shown in FIG. 10A.
  • the project list screen 110 is provided with a list area 111 in which event names for each project are displayed in a list. Further, an additional icon 112, a camera icon 134, a menu icon 127, and the like are displayed.
  • the camera staff creates a project to be created as an image collection. For example, an operation to create one project is performed by inputting an event name or the like. For example, by operating the add icon 112, a project setting screen (not shown) is displayed, and the project title (for example, event name), the date and time of the event, the location, whether or not the auto retouch setting is applied, and the like can be set.
  • the camera staff inputs items as appropriate and performs operations to set the project contents.
  • the staff terminal 1 creates one project and displays it in the list area 111.
  • FIG. 10B shows an example in which two projects with the names “event1” and “event2” are displayed. For example, for each project, information such as event name, date and time, location is presented.
  • the staff terminal 1 controls to provide such a screen user interface by the function of the UI control unit 31, and performs the project creation process according to the operation of the camera staff.
  • this project creation process is performed, for example, so that the staff terminal 1 and the server device 4 are connected online.
  • the staff terminal 1 transmits information for synchronization processing to the server device 4 according to the operation content of the user by the function of the communication control unit 32.
  • the information as one project can be entered in a synchronous manner.
  • step S11 of FIG. 9 the staff terminal 1 sets the transfer.
  • This transfer setting is a setting for FTP transfer to and from the image pickup apparatus 2, and is, for example, a setting for a file format to be transferred, an FTP connection server, and the like.
  • the staff terminal 1 executes a screen display for transfer setting to the camera staff by the function of the UI control unit 31, and makes necessary transfer settings according to the operation of the camera staff.
  • the staff terminal 1 sets the auto retouch.
  • the auto-retouch setting is a process of setting parameters of an image editing process that is commonly applied to each image.
  • the staff terminal 1 executes a screen display for auto-retouch setting for the camera staff by the function of the UI control unit 31, and performs necessary auto-retouch setting according to the operation of the camera staff.
  • the parameter of this auto retouch setting is described in the event data 60 of the created project as the preset information 61.
  • this auto-retouch setting is also performed so that, for example, the staff terminal 1 and the server device 4 are connected online, and the staff terminal 1 transmits the parameter information set for auto-retouch to the server device 4 for synchronization processing.
  • the server device 4 can also store the preset information 91 having the same contents as the preset information 61 of the event data 60 as the event data 90 of the project.
  • the staff terminal 1 sets a watermark.
  • a cameraman's name can be inserted as a watermark (digital watermark) in the image of the web gallery.
  • the watermark setting is a process for setting the presence / absence and contents of the watermark.
  • the staff terminal 1 executes a screen display for watermark setting for the camera staff by the function of the UI control unit 31, and sets the necessary watermark according to the operation of the camera staff.
  • This watermark setting information is also described as preset information 61 in the event data 60 of the created project. Further, this watermark setting is also performed so that the staff terminal 1 and the server device 4 are connected online, and the staff terminal 1 transmits the watermark setting information to the server device 4 for synchronization processing.
  • the server device 4 can also store the preset information 91 synchronized with the preset information 61 in the event data 90 of the project.
  • steps S11, S12, and S13 may be different. Further, the processing of each step does not have to be performed as a series of processing, and may be performed each time according to a user's operation during startup, for example. Further, each process may be skipped if it is not necessary.
  • the transfer setting in step S11 may be performed each time a project is created in step S10, but after the FTP transfer setting is once made and if there is no particular need to change the setting, after the project is created in step S10. May skip step S11 and move to step S12.
  • steps S12 and S13 is the same, and if there is no particular need to change after setting, these may be skipped.
  • communication with the server device 4 for synchronization may be performed at the timing of each process, but preset information can be obtained by collectively transmitting the information when some settings are made. 61, 91 may be synchronized. Further, if there is a content set in an environment where the online connection with the server device 4 is not possible, the set information is transmitted and the preset information 61 and 91 are synchronized when the online connection state is established. It is good to be taken.
  • the staff terminal 1 checks whether or not the image file transfer from the image pickup apparatus 2 has been started in step S101 of FIG. During the period when the image transfer is not performed, the processing of FIG. 11 is not particularly performed. For example, during a wedding ceremony, a cameraman uses an image pickup device 2 to capture a scene of a ceremony or reception. The image pickup device 2 sequentially transfers the image file to the staff terminal 1 after the still image is captured, for example, automatically or in response to the operation of the cameraman.
  • the transfer timing is an example. The transfer may be performed for each image captured, or a plurality of images may be transferred together.
  • it may be transferred in the unit in which the recording start / stop is performed during the non-recording period, or may be transferred during the recording period after the recording start. All recorded video may be transferred, or only the first predetermined period may be transferred.
  • the cameraman can add rating information to the captured image by operating the image pickup device 2 side. For example, immediately after imaging, the image is confirmed and rating information is input. This rating information is described in the metadata.
  • the transfer of the image file including the image data and the metadata may be executed, for example, in response to the cameraman confirming the captured image and inputting the rating information.
  • step S101 When the staff terminal 1 detects that the transfer of such an image file has started, the process proceeds from step S101 to step S102 to receive the image data and the metadata.
  • the received image data is managed as the original image data in the imaging / editing information table 62 of the event data 60. Also, the received metadata will be managed accordingly.
  • the staff terminal 1 performs image compression processing in step S103.
  • the compression process is performed so as to increase the compression rate of the received image data.
  • This is a process of generating image data to be transmitted to the server device 4.
  • step S104 the staff terminal 1 manages rating information. This is a process of confirming the metadata of the received image file, extracting the rating information given by the image pickup apparatus 2, and managing the event data 60 so that it can be updated and managed in the image pickup / edit information table 62. be.
  • step S105 the staff terminal 1 transmits information to the server device 4 for synchronization of event data 60 and 90.
  • the staff terminal 1 transmits the image data, metadata, and rating information compressed in step S103 to the server device 4.
  • the event data 90 is updated in response to receiving the event data 90, and the synchronization state with the event data 60 is maintained.
  • step S106 the staff terminal 1 performs an auto-retouch application process. That is, the original image data is automatically subjected to image processing according to the preset retouch parameters to generate the edited image data, which is managed by the imaging / editing information table 62. This edited image data will be generated for use in the UI display on the staff terminal 1.
  • the auto-retouch application process is performed as the process when the image file is received, but it may be performed at other times, for example, when the display of one image is requested. good. It is also conceivable to perform image processing on the compressed image data generated in step S103. In that case, for example, the processing order of steps S105 and S106 may be changed so that the image processing for applying auto-retouch to the compressed image data is performed and then transmitted to the server.
  • the staff terminal 1 is in a state where an image is captured according to the image taken by the cameraman and the information according to the image is managed by the event data 60. For example, when the wedding is over, all the captured images are managed by the event data 60. Further, since the transmission for sequential synchronization is performed, the event data 90 on the server device 4 side is in a state of being synchronized with the event data 60 on the staff terminal 1 side during and at the end of the wedding ceremony.
  • the camera staff can capture the image into the staff terminal 1 by displaying the list of images transferred from the image pickup apparatus 2 and the communication status on the event screen 120 or the like described later. Etc. can be confirmed.
  • FIGS. 12 to 17 show a series of flowcharts separately, and the connection relationship is shown by "c1", “c2", “c3", “c4", "c5", “c6", and "c7".
  • the processing of these flowcharts is the processing by the functions of the event data management unit 30, the UI control unit 31, and the communication control unit 32 of FIG.
  • Step S201 of FIG. 12 shows a process of displaying a list of projects (event names, etc.) on the project list screen 110 as shown in FIG. 10B.
  • the staff terminal 1 monitors whether or not a project selection operation has been performed on the project list screen 110, and monitors the end operation of the application program in step S203. When the end operation of the application program is performed, the application program is closed and the process is completed.
  • the camera staff when performing a selection immediately after a wedding ceremony, performs an operation of selecting a target project on the project list screen 110. For example, an operation such as tapping one of the projects displayed in the list area 111 is performed.
  • the staff terminal 1 advances the process from step S202 to step S204 and acquires the latest event data for the selected project.
  • the staff terminal 1 requests the event data 90 of the selected project from the server device 4, and takes in the transmitted event data 90. Then, it is compared with the event data 60 held by itself and updated to the latest information content.
  • some information that can determine whether the information is old or new such as update date / time information and version control information for the event data 60 and the event data 90, is compared, and if they are different, the event data 60 is set to the latest information content. ..
  • an assistant may input rating information and selection information on the terminal device 1B side during a wedding ceremony, and these are event data on the terminal device 1A side. It may not be reflected in 60. Further, when the rating information or the selection information is to be input on the terminal device 1B side possessed by the assistant, it is appropriate to input the latest information on the terminal device 1A side as a reference. Therefore, the staff terminal 1 receives the event data 90 of the server device 4 to which the latest information is transmitted from any of the terminal devices 1A and 1B, and if its own event data 60 is not the latest, the information of the event data 60. To update.
  • step S204 may not be necessary.
  • the staff terminal 1 proceeds to step S211 of FIG. 13 to display a list of event images.
  • the event screen 120 as shown in FIG. 18 is displayed.
  • the event title 121 is displayed on the event screen 120, and the all flag icon 123, the next icon 132, the camera icon 134, the menu icon 127, and the like are displayed.
  • the menu icon 127 is an operator for displaying various menu items.
  • the camera icon 134 is an icon that displays the FTP communication status with the image pickup device 2.
  • the all flag icon 123 is an operator for setting on / off of a flag (selection flag) which is used image information for all images.
  • the next icon 132 is an operator for transitioning to the next screen.
  • An image area 128 is provided on the event screen 120, and the images transferred from the image pickup apparatus 2 are displayed in a list by thumbnails. For example, images are displayed in chronological order according to the imaging time. Further, all tabs 125 and candidate tabs 126 are provided for displaying the image area 128. When the all tab 125 is selected, the image transferred from the image pickup apparatus 2 is displayed in the image area 128 regardless of whether the flag state as the used image information is on or off.
  • FIG. 18 is a list display when all tab 125 is selected.
  • the candidate tab 126 when the candidate tab 126 is selected, only the images for which the flag is set are displayed in a list in the image area 128 among all the images transferred from the image pickup apparatus 2.
  • FIG. 19 shows an example of list display when the candidate tab 126 is selected. The on / off of the flag is set by manipulating each image depending on whether or not the image is adopted by the camera staff for the web gallery.
  • the event screen 120 is provided with a filter designation area 129.
  • the filter designation area 129 enables the image to be narrowed down by, for example, a rating of 6 levels. For example, an operator as the number of stars is provided, filtering is performed according to the designated operator, and the extracted images are listed in the image area 128. For example, when a three-star operator is operated, an image whose rating information is "3 stars" or more (that is, an image corresponding to any of "3 stars", "4 stars", and "5 stars") is extracted. Is displayed in a list. Alternatively, in this case, only the images whose rating information is "3 stars" may be extracted and displayed in a list. Further, in the filter designation area 129, the number of images whose rating is set is also shown together with the operator represented by the number of stars.
  • the staff terminal 1 processes the monitoring loop from step S212 to step S219 in FIG. 14 in the state where such an event screen 120 is displayed in step S211.
  • step S212 of FIG. 13 the staff terminal 1 monitors the operation of the next icon 132.
  • the process when the operation of the next icon 132 is detected will be described later.
  • step S213 the staff terminal 1 monitors the tab switching operation.
  • the tab switching operation is an operation of the candidate tab 126 during the list display on the all tab 125, or an operation of the all tab 125 during the list display on the candidate tab 126.
  • the staff terminal 1 performs a process of switching the list display contents in the image area 128 according to the selected tab in step S220.
  • step S214 the staff terminal 1 monitors the pinch operation performed by the camera staff on the image area 128.
  • the pinch operation referred to here is a pinch-out operation for enlarging an image and a pinch-in operation for reducing an image.
  • the staff terminal 1 enlarges or reduces the display state in the image area 128 as the operation corresponding display in step S221.
  • FIG. 20A, 20B, and 20C show an example of a change in the display of the image area 128 in response to pinch-in / pinch-out.
  • FIG. 20A is the same normal display state as that of FIG.
  • the pinch-out operation is performed, the images displayed in the list are enlarged as shown in FIG. 20B. Further, the pinch-out operation is performed to enlarge the image as shown in FIG. 20C.
  • the state is reduced from the state shown in FIG. 20C to the state shown in FIG. 20B, and further, the pinch-in operation returns to the state shown in FIG. 20A.
  • the rating icon 130 and the flag setting icon correspond to the images as shown in FIGS. 20B and 20C. 131 is displayed. That is, when the size becomes easy to see or operate, the rating icon 130 and the flag setting icon 131 are displayed corresponding to the image. Of course, even in the state of FIG. 20A, the rating icon 130 and the flag setting icon 131 may be displayed corresponding to the image.
  • the staff terminal 1 performs a process of changing the display state of the image area 128 in response to the pinch operation as in the above example.
  • the rating icon 130 not only displays rating information set by the number of stars, but is also used as an operator for changing the rating. For example, by tapping or sliding the portion of the rating icon 130, the number of stars can be changed, and this is the rating change operation.
  • the flag setting icon 131 expresses on / off of the flag by, for example, a change in the color or brightness of the icon.
  • the flag setting icon 131 is also used as an operator for switching the flag on / off. For example, the flag can be switched on / off by tapping.
  • step S215 the staff terminal 1 monitors whether or not one of the images displayed in the image area 128 has been selected. For example, it is an operation such as tapping one thumbnail image. The process when this selection operation is detected will be described later.
  • step S216 the staff terminal 1 monitors the filter operation. That is, it is an operation of the operator indicating the rating of the filter designated area 129.
  • the staff terminal 1 proceeds to step S223, performs filtering processing according to the controls, and extracts the corresponding image. Then, the images extracted in step S224 are listed in the image area 128.
  • step S217 of FIG. 14 the staff terminal 1 monitors the rating operation. For example, it is an operation for the rating icon 130 as shown in FIGS. 20B and 20C.
  • the staff terminal 1 proceeds to step S230 and updates the event data 60 so that the rating information of the image corresponding to the rating icon 130 becomes a value corresponding to the operation.
  • step S231 the staff terminal 1 transmits the updated rating information to the server device 4, so that the event data 90 is updated on the server device 4 side. That is, the synchronous state is maintained.
  • step S2108 the staff terminal 1 monitors the flag on / off operation. For example, it is an operation for the flag setting icon 131 as shown in FIGS. 20B and 20C.
  • the staff terminal 1 proceeds to step S232 and updates the event data 60 so that the flag in the selection information of the image corresponding to the flag setting icon 131 is switched on / off.
  • step S233 the staff terminal 1 transmits the updated flag information to the server device 4, so that the event data 90 is updated on the server device 4 side. That is, the synchronous state is maintained.
  • step S219 the staff terminal 1 monitors the operation of the all flag icon 123.
  • the staff terminal 1 proceeds to step S234 and branches the process depending on whether or not the flags of all the images are currently turned on. If some images are flag-on or all are flag-off and not all images are flag-on, the staff terminal 1 proceeds to step S236 and updates the event data 60 so that all images are flag-on.
  • the staff terminal 1 proceeds to step S235 and updates the event data 60 so that the flags are turned off for all the images.
  • step S237 the staff terminal 1 transmits the updated flag information to the server device 4, so that the event data 90 is updated on the server device 4 side. That is, the synchronous state is maintained.
  • step S215 of FIG. 13 the process of the staff terminal 1 proceeds to step S250 of FIG. 15 to display the single display screen 140 as shown in FIG.
  • the single image display screen 140 is provided with a single image display area 142, and the selected image is displayed in a large size.
  • the image displayed in the single display area 142 is, for example, an image based on the edited image data managed by the event data 60. That is, it is the edited image data generated by the auto-retouching process in step S106 of FIG. 11, and is a reproduced image of the image data reflecting the retouching parameter in the preset information 61. Further, a focus point mark 149 indicating the focusing position in the image may be displayed on the image.
  • a return icon 133 which is an operator for returning the display to the event screen 120, a rating icon 130 for the displayed image, and a flag setting icon 131 are displayed.
  • an edit icon 145, a focus point operation icon 146, an export icon 147, and an original icon 148 for operations related to the displayed image are displayed.
  • the staff terminal 1 performs the monitoring loop processing of steps S251 to S257 of FIGS. 15 and 16.
  • step S251 the staff terminal 1 monitors the operation of the edit icon 145.
  • the staff terminal 1 proceeds to step S260 to display an edit screen (not shown).
  • the editing screen for example, a user interface capable of retouching operation and tilt correction operation is prepared, and the camera staff can perform image editing operation by the user interface.
  • the retouching operation for example, a brightness adjustment value, a color adjustment value, a contrast adjustment value, a sharpness adjustment value, and the like can be set as retouch parameters.
  • the tilt correction operation for example, an operator for adjusting the angle of the image is prepared.
  • the editing screen may be a screen different from the one-sheet display screen 140, or may be a screen that is superimposed on the one-sheet display screen 140 to display various controls.
  • step S261 When the staff terminal 1 detects the retouching operation, the staff terminal 1 proceeds from step S261 to step S262 to perform the retouching process.
  • This is a process of further editing the edited image data by the retouch parameters input by the operation of the camera staff. Further, the retouch parameter input in this case is stored in the event data 60 as editing information for the individual image data.
  • step S263 When the staff terminal 1 detects the tilt correction operation, the staff terminal 1 proceeds from step S263 to step S264 to perform the tilt correction process of the image.
  • This is a process of editing the edited image data by the tilt correction parameter input by the operation of the camera staff. Further, the tilt correction parameter input in this case is stored in the event data 60 as editing information for the individual image data.
  • step S265 When the end of the editing operation is detected in step S265, the staff terminal 1 transmits the editing information of the event data 60 updated according to the editing process to the server device 4 in step S266, and the event data 90 is updated on the server device 4 side. To do so. That is, the synchronous state is maintained.
  • step S267 the staff terminal 1 ends the editing screen and returns to the normal single display screen 140. The image displayed at this time should reflect the editing result. In this way, the camera staff can retouch and correct the tilt of an arbitrary image by operating from the edit icon 145.
  • the staff terminal 1 monitors the operation of the focus point operation icon 146 in step S252.
  • the staff terminal 1 proceeds to step S270 and branches the process depending on whether or not the focus point mark 149 is currently displayed on the image of the single image display area 142. If the focus point mark 149 is not currently displayed, the staff terminal 1 proceeds to step S271 to acquire focus point information about the displayed image.
  • the focus point is information indicating a position in which the image pickup apparatus 2 is in focus in the image at the time of imaging, and is described in the metadata. For example, the focus point is described by the coordinate information of one point in the image.
  • the staff terminal 1 acquires focus point information from the metadata of the displayed image, and displays the focus point mark 149 on the displayed image according to the information, as shown in FIG. 21.
  • the focus point mark 149 is displayed as an area having a predetermined spread centering on the coordinate information of one point in the image stored as the focus point. This allows the user to confirm the subject in focus at the time of imaging.
  • the above-mentioned "spread" as the region indicated by the focus point mark 149 may be variable, and for example, the amount of spread may be changed according to the position in the image and the subject as a result of subject recognition. For example, if the pupil of the person in FIG.
  • the focus point mark 149 is displayed in a region as small as the pupil region, and if the bouquet is in focus, the focus point mark 149 is displayed so as to include the entire bouquet. It may be displayed widely.
  • the display mode of the focus point mark 149 is a mark (square represented by parentheses) for displaying the four corners in FIG. 21, but other display modes such as a quadrangular frame and a circular frame may be used.
  • FIG. 21 shows a case where there is only one focus point, there are cases where a plurality of subjects (for example, a bride) in the image are in focus, or there are a plurality of subjects (for example, a bride and a groom).
  • the focus point mark 149 is displayed on the single image display screen.
  • the focus point mark 149 is displayed on the images listed in the image area of the event screen of FIG. You may do it.
  • step S252 If the operation of the focus point operation icon 146 is detected in step S252 while the focus point operation icon 146 is being displayed, the staff terminal 1 proceeds from step S270 to step S273, and the focus point operation icon 146 is displayed. To end. Therefore, the camera staff can turn on / off the display of the focus point mark 149 by the focus point operation icon 146.
  • the staff terminal 1 monitors the operation of the export icon 147 in step S253 of FIG. 16 in the display state of the single display screen 140.
  • the staff terminal 1 proceeds to step S280 to perform the export process. That is, the information related to the displayed image data is exported.
  • step S254 the staff terminal 1 monitors the image switching operation.
  • the image switching operation in this case is the operation of the original icon 148.
  • the staff terminal 1 proceeds to step S281 to switch between the image based on the original image data and the image based on the edited image data. That is, if the reproduced image based on the edited image data is displayed at that time, the reproduced image based on the original image data is displayed. If the reproduced image based on the original image data is displayed at that time, the reproduced image based on the edited image data is displayed. Therefore, the camera staff can arbitrarily compare the edited image with the original image by operating the original icon 148.
  • the rating icon 130 for the displayed image is displayed.
  • the staff terminal 1 monitors the rating operation.
  • the staff terminal 1 proceeds to step S282 and updates the event data 60 so that the rating information of the displayed image is a value corresponding to the operation.
  • the staff terminal 1 transmits the updated rating information to the server device 4, so that the event data 90 is updated on the server device 4 side. That is, the synchronous state is maintained.
  • the flag setting icon 131 for the displayed image is displayed.
  • the staff terminal 1 monitors the flag on / off operation, that is, the operation of the flag setting icon 131.
  • the staff terminal 1 proceeds to step S284 and updates the event data 60 so that the flag in the selection information of the displayed image is switched on / off.
  • the staff terminal 1 transmits the updated flag information to the server device 4, so that the event data 90 is updated on the server device 4 side. That is, the synchronous state is maintained.
  • step S257 the staff terminal 1 monitors the operation of the return icon 133.
  • the staff terminal 1 proceeds to step S211 of FIG. 13 to end the single display screen 140 and return to the state of displaying the event screen 120.
  • step S212 of FIG. 13 the process when the operation of the next icon 132 is detected in step S212 of FIG. 13 will be described.
  • the process of the staff terminal 1 proceeds to step S300 of FIG. 17, and the cover / highlight selection screen 150 as shown in FIG. 22 is displayed.
  • the cover / highlight selection screen 150 is a screen for the camera staff to select an image to be a cover (cover) or an image to be highlighted (highlighted) in the web gallery.
  • the return icon 133 and the next icon 132 are displayed on the cover / highlight selection screen 150.
  • the cover / highlight selection screen 150 is provided with a list designation area 153, and a candidate tab 151 and a selection tab 152 are prepared.
  • the flag-on images that is, the images selected for use in the web gallery
  • the list designation area 153 A highlight button 155 and a cover button 156 are displayed for each image.
  • the highlight button 155 is an operator for designating an image as a highlight
  • the cover button 156 is an operator for designating an image as a cover.
  • the highlight button 155 may also express the presence or absence of the current highlight setting depending on the display mode, and the cover button 156 may express the current cover setting state according to the display mode.
  • the selection tab 152 is selected, the cover-designated or highlighted images are listed in the list-designated area 153.
  • the camera staff operates the cover / highlight selection screen 150 to select an image to be covered or an image to be highlighted.
  • the staff terminal 1 processes the monitoring loop from step S301 to step S305.
  • step S301 the staff terminal 1 monitors the operation of the cover button 156.
  • the staff terminal 1 proceeds to step S310, sets the cover image information in the selection information so as to set the corresponding image as the cover image, and updates the event data 60.
  • step S311 the staff terminal 1 transmits the updated selection information to the server device 4, so that the event data 90 is updated on the server device 4 side. That is, the synchronous state is maintained.
  • step S302 the staff terminal 1 monitors the operation of the highlight button 155.
  • the staff terminal 1 proceeds to step S320, sets the highlighted image information in the selection information so as to set the corresponding image as the highlight image, and updates the event data 60.
  • step S321 the staff terminal 1 transmits the updated selection information to the server device 4, so that the event data 90 is updated on the server device 4 side. That is, the synchronous state is maintained.
  • step S303 the staff terminal 1 monitors the tab switching operation.
  • the tab switching operation in this case is an operation of the selection tab 152 during the list display on the candidate tab 151, or an operation of the candidate tab 151 during the list display on the selection tab 152.
  • the staff terminal 1 performs a process of switching the list display contents in the list designation area 153 according to the selected tab in step S330.
  • step S305 the staff terminal 1 monitors the operation of the return icon 133.
  • the staff terminal 1 proceeds to step S211 of FIG. 13 to return to the display state of the event screen 120. This allows the camera staff to suspend cover highlighting and redo the selection from the flag settings.
  • step S304 of FIG. 17 the staff terminal 1 monitors the operation of the next icon 132.
  • the staff terminal 1 proceeds to step S340 and displays a confirmation screen.
  • FIG. 23 shows an example of the confirmation screen 160.
  • a return icon 133 and a next icon 132 are prepared, and a detail area 161 is prepared, and the final confirmation content is displayed.
  • detailed information such as the number of flagged images used in the web gallery, the number of images to be highlighted, the title, and the date is displayed.
  • the staff terminal 1 monitors the operation of the next icon 132 in step S341 of FIG. 17, and monitors the operation of the return icon 133 in step S342. When the operation of the return icon 133 is detected, the staff terminal 1 returns to step S300 and returns to the display state of the cover / highlight selection screen 150.
  • step S343 When the operation of the next icon 132 is detected, the staff terminal 1 proceeds to step S343 and transmits the web gallery generation request to the server device 4. Then, the process proceeds to step S201 of FIG. 12, and the display state of the project list screen 110 is returned. In this case, the process may proceed to step S211 in FIG. 13 to return to the event screen 120.
  • the camera staff had to repeat the decision (flag on / off) as to whether or not to select the image to be used for the web gallery. Therefore, even when a plurality of similar images (images having similar subject type, subject pose, angle of view, etc.) are continuously photographed (also referred to as when the same scene is photographed). At the time of browsing, it was necessary to browse the same images one by one and then decide on / off the flag.
  • the image pickup device 2 is provided with a function of recognizing scene information
  • a plurality of captured images can be captured by including the scene information of each image in the metadata of the image file transferred to the staff terminal 1. It can be grouped by each.
  • the staff terminal 1 is provided with a recognition function, the staff terminal 1 can group images for each scene.
  • the scene information of each image can be retained in the event data 60 of FIG.
  • processing examples as the selection in step S3 of FIG. 2 will be described below with reference to the flowchart of FIG. 31 and the screen example of FIG. 32.
  • the processing of the flowchart of FIG. 31 is a processing by the function of the UI control unit 31 of FIG. It should be noted that this processing example can be said to be an example in which the processing of steps S218, S232 and / or S233 in FIG. 14 is repeatedly processed for all images.
  • Step S381 of FIG. 31 is a process in which the staff terminal 1 displays an image as illustrated in FIGS. 20A, 20B, and 20C.
  • the staff terminal 1 monitors the flag on / off operation for the displayed image. For example, it is an operation for the flag setting icon 131 as shown in FIGS. 20B and 20C.
  • the staff terminal 1 updates the event data 60 so that the flag in the selection information of the image corresponding to the flag setting icon 131 is switched on / off.
  • step S383 the staff terminal 1 receives the result of the flag operation performed in step S382 and counts the number of flag-on, which is the number of images for which the flag is determined to be on in the same grouped scene.
  • step S384 the staff terminal 1 compares a predetermined number of flag-ons determined in advance for each scene with the number of flag-ons counted in step S383, and determines whether or not the predetermined number of flag-ons has been reached.
  • the predetermined number of flag-ons may be determined in advance by the camera staff for each scene, or may be determined according to the number of images in the same scene group.
  • step S385 monitors whether an operation for displaying the next image has been performed, and if so, step S386. Go to and continue to control the display of the next image in the same scene.
  • step S387 the staff terminal 1 monitors whether or not an operation for displaying the next image has been performed, and the operation is performed. In this case, the process proceeds to step S388 to control the display of an image of the scene of the next group different from the scene of the previous group. This process can be repeated until the process of the scenes of all groups is completed.
  • FIG. 32A and 32B are screen examples showing the display order of images.
  • FIG. 32A is an example in which all images (images A to E) are displayed in order regardless of the scene of the image.
  • FIG. 32B is an example in which some images are not displayed (display is skipped) according to the scene and the number of flag-ons. For example, when the predetermined number of flag-ons in the scene SN1 is "1" and the image A is subjected to the flag-off process, the number of flag-ons is "0 (zero)" and the predetermined number of flag-ons has not been reached. Therefore, FIG. 32B As shown in the above, the display control of the next image B in the scene SN1 which is the same scene is performed.
  • the image B is subjected to the flag-on processing
  • the number of flag-ons becomes "1" and the predetermined number of flag-ons is reached. Therefore, the next image C in the same scene is not displayed as shown in the figure, and the next image C is displayed.
  • the image D which is an image of the scene SN2, is displayed and controlled. Further, when the predetermined number of flag-on in the scene SN2 is "1" and the image D is subjected to the flag-on process, the number of flag-on becomes "1" and the predetermined number of flag-on is reached. Image E is not displayed, and the image of the next scene is displayed.
  • the camera staff may want to review and replace the rating information and selection information once set in the selection in step S3 of FIG. In that case, each information may be changed by operating the rating icon 130 and the flag setting icon 131 again, but if the rating information and selection information given to the two images can be exchanged, the selection process is more efficient. Can be done.
  • the processing of the flowchart of FIG. 33 is a processing by the function of the UI control unit 31 of FIG.
  • Step S420 in FIG. 33 is a step in which the staff terminal 1 displays the single display screen 140 as shown in FIG. 34A.
  • the same numbers as those in FIG. 21 are given the same numbers, but a replacement icon 170 for instructing replacement of information is newly added, and the displayed image is referred to as image W. ..
  • the staff terminal 1 monitors the operation of the replacement icon 170.
  • the staff terminal 1 displays an image list including an image in the vicinity of the displayed image in step S422.
  • the neighborhood may be an image having a similar shooting order, an image having a similar number as a file name of image data, or an image in the same scene.
  • FIG. 34B shows a state in which the image X, the image Y, and the image Z are displayed in a list below the image W as an image in the vicinity of the image W.
  • step S423 the staff terminal 1 monitors the operation of selecting an image from the image list.
  • the information added to the original image is replaced with the information of the selected image in step S424, and the selected image is displayed in the following step S425.
  • FIG. 34C the rating information and the selection information of the original image W and the selected image Y are exchanged according to the selection of the image Y among the images in the vicinity of FIG. 34B, and the image Y is displayed. The state is shown.
  • step S424 and step S425 may also perform a process in which the steps are reversed, that is, a process in which step S425 is preceded.
  • the information replacement process as in the above example may be a process of replacing both the rating information and the selection information, or a process of replacing only one of the rating information and the selection information. In that case, an operation step may be added to indicate which one to replace.
  • FIG. 35 is a conceptual diagram showing that the rating information has been replaced. When the rating information of the image W was "3 stars" and the rating information of the image Y was "no stars" as shown in FIG. 35A, the processing of FIG. 33 according to the user's replacement operation was performed as shown in FIG. 35B.
  • FIG. 36 is a conceptual diagram showing that the flags as selection information have been replaced.
  • the image W was flag-off and the image Y was flag-on as shown in FIG. 36A
  • the image W was flag-on and the image Y was flag-off as shown in FIG. 36B by the process of FIG. 33 according to the user's replacement operation. It is shown that.
  • FIG. 24 shows the processing of the server device 4 corresponding to the communication from the staff terminal 1.
  • the processing of the server device 4 referred to below is a processing performed by the CPU 71 of the information processing device 10 having the function of FIG. In FIG. 24, the processing is mainly executed by the functions of the event data management unit 40 and the image collection generation unit 41.
  • step S1 in FIG. 2 preset information from the staff terminal 1 is transmitted to the server device 4.
  • the server device 4 receives the information regarding the project setting from the staff terminal 1, the process proceeds from step S500 to step S510, and the project setting process is performed in the server device 4.
  • the project setting communication from the staff terminal 1 is the communication that the staff terminal 1 performs to the server in the processes from steps S10 to S13 of FIG. For example, information such as the event name, date and time, and location of the created project will be sent. Based on this information, the server device 4 sets a new project and sets the event data 90. Further, on the staff terminal 1 side, not only the setting of the project itself but also the auto retouch setting and the watermark setting are performed, and the setting information is sequentially transmitted to the server device 4. By describing this information as the preset information 91 of the event data 90, the server device 4 synchronizes the event data 60 with the event data 60 in the preset state.
  • the metadata including the image and rating information transferred from the image pickup device 2 is transmitted to the server device 4 by the process of step S105 of FIG. 11 of the staff terminal 1.
  • the server device 4 receives the image or metadata from the staff terminal 1
  • the server device 4 proceeds from step S501 to step S520 in FIG. 24, and takes in the image or metadata as information of the event data 90 of the corresponding project.
  • the rating information in the metadata is extracted from the metadata and managed in the event data 90 in a state where it can be updated thereafter.
  • step S3 in FIG. 2 various information for maintaining synchronization is transmitted from the staff terminal 1 to the image pickup device 2 to the server device 4 in the process of the processing of FIGS. 12 to 17 of the staff terminal 1.
  • the server device 4 When the server device 4 receives the rating information from the staff terminal 1, the server device 4 proceeds from step S502 to step S530 in FIG. 24 to update the rating information for the corresponding image in the event data 90 of the corresponding project.
  • step S503 the server device 4 proceeds from step S503 to step S540 to update the selection information for the corresponding image in the event data 90 of the corresponding project. That is, the image information used by setting the flag, the cover image information as the cover, the highlighted image information by setting the highlight, and the like are sequentially updated on the server device 4 side as well.
  • step S504 the server device 4 receives the editing information from the staff terminal 1
  • step S550 the server device 4 proceeds from step S504 to step S550 to update the editing information about the corresponding image in the event data 90 of the corresponding project.
  • step S560 This is the information transmitted by the staff terminal 1 in step S343 of FIG.
  • step S560 of FIG. 24 the server device 4 first performs an image editing process using parameters as editing information (including editing information according to the preset information 61) for each image flag-on as used image information, and then performs an image editing process on the Web. Export as an image for the gallery. That is, each edited image stored in the image folder 97 of FIG. 8 is generated.
  • step S561 of FIG. 24 the server device 4 performs a web gallery generation process. That is, for example, the web page setting information 96 of FIG. 8 as HTML data or the like is generated and entered as a web page. This forms a web gallery.
  • step S562 of FIG. 24 the server device 4 transmits the URL (uniform resource locator) of the web gallery to the staff terminal 1. This allows the staff terminal 1 to browse the web gallery. At this point, the web gallery is still set to be private, and only the staff terminal 1 to which the URL is sent can be viewed.
  • the URL uniform resource locator
  • a share request is transmitted from the staff terminal 1 to the server device 4 as the step S4 in FIG. 2 (described later in FIG. 25).
  • the staff terminal 1 proceeds from step S506 to step S570 in FIG. 24 to set the corresponding web gallery as a public setting. For example, it can be viewed from the client terminal 5.
  • FIG. 25 shows the processing of the staff terminal 1 after acquiring the URL.
  • the staff terminal 1 accesses the web page using the URL acquired in step S350.
  • the web gallery can be previewed and viewed on the staff terminal 1.
  • the created web gallery is displayed in the preview area 183, and the edit button 181 and the share button 182 are prepared.
  • the content of the web gallery displayed in the preview area 183 has a configuration in which images for which flags are set are arranged in chronological order, for example.
  • the image for which the cover image information is set is displayed at the top as the cover.
  • the image highlighted by the highlighted image information is displayed in a larger size than the image not set to be highlighted. Even if the image is not highlighted, it may be automatically arranged in a large size. This is done to balance and sharpen the entire gallery.
  • the browsing end operation is monitored in step S351 of FIG. 25
  • the operation of the edit button 181 is monitored in step S352
  • the operation of the share button 182 is monitored in step S353.
  • browsing the web page is terminated.
  • the staff terminal 1 proceeds to step S360 to perform the editing process.
  • the camera staff can check the contents of the web gallery in the preview area 183 and operate the edit button 181 as needed for further editing.
  • the staff terminal 1 displays the interface image for editing, accepts the operation of the camera staff, and edits the preview image accordingly. For example, the background color, title font, title color, title position, slide show music, etc. can be edited.
  • the editing information is transmitted to the server device 4 so that the editing operation is reflected in the web gallery.
  • the camera staff operates the share button 182 after performing editing operations as necessary.
  • the staff terminal 1 proceeds to step S370 and transmits a share request to the server device 4.
  • the server device 4 sets the web gallery publicly in step S570 of FIG. 24 in response to the share request.
  • the staff terminal 1 performs a process corresponding to the screen display and screen operation of the delivery completion of the web gallery in step S371 of FIG.
  • the staff terminal 1 displays the web gallery delivery screen 190 of FIG. 27.
  • a notification of the completion of creation of the web gallery, a valid period, and a URL 193 of the web gallery are displayed.
  • the copy button 191 and the share button 192 are displayed.
  • the camera staff can operate the copy button 191 to copy the URL, attach it to an e-mail or the like, and send it to the client terminal 5.
  • the share button 192 can be operated to provide the URL to the SNS or the like so that the client can browse the web gallery via the SNS.
  • the client will be able to browse the web gallery at an extremely early stage, such as during the day after the wedding.
  • the URL is distributed to the client so that the image collection can be viewed as a web gallery.
  • an image collection content corresponding to the above web gallery may be created and distributed to a client as a content file.
  • This delivery process is performed at the stage of step S5 in FIG.
  • FIG. 28 shows the processing at the final delivery stage. This is a process performed by, for example, the personal computer 3 or the staff terminal 1. Hereinafter, the processing performed by the personal computer 3 will be described.
  • the camera staff operates using the personal computer 3, accesses the server device 4 as step S400, and requests information reading for the main delivery.
  • the event data 90 is acquired from the server device 4.
  • the server device 4 downloads the rating information, the selection information, or the editing information as an XMP file so that it can be applied to the RAW image file in the personal computer 3. That is, the rating information, the used image information indicating the flag setting, the cover image information indicating that the cover image is set, the highlighted image information indicating the highlight setting, and the like are inherited by the personal computer 3.
  • all of the event data 90 may be provided to the personal computer 3.
  • the camera staff takes the RAW image data as the image data captured by the image pickup device 2 into the personal computer 3 and uses the RAW image data to generate the image collection of the present delivery.
  • the creation work can be made more efficient.
  • step S402 the necessary editing process is performed in step S402 to complete the image collection of the present delivery.
  • step S403 the process for the main delivery is performed.
  • content data as image collection content is generated and electronically transmitted, recorded on a recording medium, or printed as print data.
  • the created content data, the recording medium on which the content data is recorded, or the image collection in the printed paper medium is delivered to the client.
  • the selection information is automatically set based on the tendency information generated based on the past selection information of the camera staff who is the user of the staff terminal 1 by the function of the automatic setting unit 33 of FIG. This is an example of processing.
  • the server device 4 manages event data 90 for a plurality of projects of a certain camera staff. Then, the server device 4 can perform learning processing on the event data 90 related to the camera staff by the function of the tendency information generation unit 44 of FIG. 6 and generate the tendency information indicating the selection tendency of the camera staff. For example, as machine learning, a flag-on set image, a highlight set image, a cover set image, etc. are used as learning data, and the flag-on set image feature information, the highlight set image feature information, and the cover are used as learning data. Generate trend information including feature information of the set image.
  • step S600 the staff terminal 1 acquires the tendency information of the camera staff generated by the server device 4.
  • step S601 the staff terminal 1 determines each image transferred from the image pickup apparatus 2 based on the tendency information, and has a feature to be flag-on set, a feature to be highlighted, or a cover setting. It is determined whether or not the product has the characteristics to be used.
  • step S602 the staff terminal 1 automatically sets a flag, a highlight, and a cover for each image according to the above determination result.
  • the camera staff can operate the selection described with reference to FIGS. 13 to 17 in such an automatically set state. This increases the possibility that the work of the camera staff can be streamlined.
  • the above processing can also be applied to ratings, and rating information can be set automatically. That is, the server device 4 uses the function of the trend information generation unit 44 to analyze the images of each rating level using the event data 90 of the past project of the camera staff, and the feature information of the "starless” image, ""1star” image feature information, "2 star” image feature information, "3 star” image feature information, "4 star” image feature information, "5 star” image Generate feature information for. Of course, instead of all of this, for example, it is conceivable to generate only the feature information of the "five-star” image. Then, the staff terminal 1 automatically sets the rating information of all or part of the images by acquiring the tendency information including such feature information and determining the matching with the feature information of each image. This also makes it possible to streamline operations when selecting camera staff.
  • FIG. 30 shows an example in which the staff terminal 1 automatically sets the selection information based on the tendency information generated based on the orientation of the client user by the function of the automatic setting unit 33.
  • the preference is determined from the past behavior of the client (the bride who is the orderer of the image collection), and the tendency information is set.
  • the tendency of a favorite image is determined from the behavior of the client in the SNS (such as giving a "like" to the image) or the transmitted image in the own SNS, and the tendency information is set.
  • the process of FIG. 30 is performed at the timing of displaying the event screen 120 in step S211 of FIG. 13 or at a timing before that.
  • the staff terminal 1 acquires the tendency information of the client (for example, the bride) of the project generated by the server device 4.
  • the staff terminal 1 determines each image transferred from the image pickup apparatus 2 based on the tendency information, and determines whether or not the staff terminal 1 has a feature that matches the taste of the client.
  • step S612 the staff terminal 1 automatically sets a flag for each image according to the above determination result.
  • images that match the client's taste are adopted in the web gallery.
  • the highlight setting and the cover setting may be performed.
  • the camera staff can operate the selection described with reference to FIGS. 13 to 17 in such an automatically set state. As a result, the work of the camera staff can be streamlined, and the possibility of creating an image collection that enhances the satisfaction of the client is increased.
  • the above processing can also be applied to ratings, and rating information can be set automatically. That is, the server device 4 generates the tendency information including the feature information of the image preferred by the client by the function of the tendency information generation unit 44.
  • the staff terminal 1 automatically sets the rating information by acquiring the tendency information including such feature information and determining the matching with the feature information of each image. This not only makes the operation of the camera staff selection more efficient, but also improves the satisfaction of the client.
  • a selection by rating is performed as an effective method for selecting a photograph to be adopted in the above-mentioned web gallery or the image collection as the main delivery.
  • the rating information is managed by being linked to the image, but the rating information is, for example, evaluation information in 6 stages from “no star” to "5 stars", and the camera staff is responsible for each image. To evaluate and set.
  • FIG. 37A shows that a rating information of "three stars" was added to a certain image.
  • the camera staff evaluates all the captured images while setting the rating information, for example, extracting highly rated images and selecting the images to be used in the image collection. Can be done. Therefore, rating information is useful from the viewpoint of selecting an image to be used in an image collection from a large number of images.
  • FIG. 37B shows an example in which an image is extracted under a condition that the rating information is “three or more stars”. As a result, only highly rated images with 3 or more stars are extracted, and the camera staff can select the images to be used in the image collection. This is extremely efficient as compared with selecting an image to be used in the image collection for all the captured images.
  • rating information must be set for all the captured images, which is time-consuming and can be a troublesome task.
  • evaluation criteria for rating may fluctuate with time, and there may be differences such as sweet / severe evaluation depending on the camera staff, so it is difficult to evaluate all images with a unified standard.
  • each image is evaluated as efficiently as possible with a certain standard, and rating information is set. Make itself efficient. In some cases, it is possible to assume that it is not necessary to set rating information for all images.
  • the image extraction can be performed by using the scene analysis result for each image and the metadata given by the image pickup apparatus 2.
  • an icon corresponding to the scene analysis result is provided, and by an operation using an icon corresponding to the extraction condition, images matching the condition can be extracted and rating information can be set for them.
  • the rating can be set for the extracted image, and the process of selecting the image to be adopted in the image collection may be performed for the extracted image. That is, the extraction process using the icon based on the scene analysis or the like described below is described as image extraction for rating setting, but is not necessarily limited to the process for rating setting.
  • an event related to marriage is, for example, a wedding reception, a reception, a second party, a marriage, a face-to-face meeting, a matchmaking, etc., and refers to an event in which a plurality of people including the bride and groom participate.
  • Appropriate extraction conditions can be set as support for speeding up selection specialized for such events.
  • the process for speeding up selection based on scene analysis, etc. basically analyzes the captured image, sets the extraction conditions, and extracts the image with reference to the scene analysis results, etc. according to the extraction conditions. It will be.
  • Such processing can be executed by any of the imaging device 2, the staff terminal 1, and the server device 4 shown in FIG.
  • FIG. 38A shows a case where the image pickup apparatus 2 executes the process.
  • the image pickup apparatus 2 for example, an image, an icon, or the like can be displayed on the display unit 2a.
  • various controls are provided.
  • each image of a group of images imaged and recorded at a certain event is subjected to analysis processing to obtain analysis result data.
  • the extraction condition applicable determination is performed for each image using the analysis result data, and the extracted image as a result is displayed on the display unit 2a.
  • the camera staff can set the rating for the extracted image.
  • the image pickup device 2 transmits each image captured to the server device 4, analyzes each image of the image group in the server device 4, and transmits the analysis result data to the image pickup device 2. be.
  • the image pickup apparatus 2 can perform extraction using the analysis result data according to the extraction operation of the camera staff, and display the extracted image as the extraction result on the display unit 2a.
  • FIG. 38B shows a case where the staff terminal 1 executes the selection acceleration support process.
  • the image captured by the image pickup device 2 is transferred to the staff terminal 1.
  • the staff terminal 1 transmits, for example, each image of the image group received from the image pickup device 2 as a reduced image to the server device 4 in the cloud 7.
  • the server device 4 analyzes each image of the image group and transmits the analysis result data to the staff terminal 1.
  • extraction using the analysis result data can be performed according to the extraction operation of the camera staff, and the extracted image can be displayed on the display unit 1a.
  • image analysis may be performed within the staff terminal 1. That is, the staff terminal 1 analyzes each image of the image group received from the image pickup device 2 and obtains the analysis result data. Then, extraction is performed using the analysis result data according to the operation of specifying the extraction conditions by the camera staff, and the extracted image is displayed on the display unit 1a.
  • FIG. 38C shows a case where the server device 4 in the cloud 7 executes the process.
  • the image captured by the image pickup device 2 is transmitted to the server device 4.
  • the server device 4 analyzes each image of the image group received from the image pickup device 2 and obtains analysis result data. Then, the server device 4 provides an interface to the staff terminal 1 via, for example, a browser or an application program. On the staff terminal 1 side, the camera staff can perform an extraction operation on a web page screen or the like viewed by a browser. In response to this extraction operation, the server device 4 performs extraction using the analysis result data, and provides the image extracted as the extraction result to the display unit 1a of the staff terminal 1 via a browser or the like.
  • the image captured by the image pickup device 2 is once transferred to the staff terminal 1, and the staff terminal 1 transmits the image to the server device 4, and then the server device 4 analyzes and provides an interface via a browser or the like. You may. Further, if the image pickup device 2 has a web browsing function or the like, the camera staff can also specify the extraction conditions and browse the extracted images using the image pickup device 2.
  • the camera staff will be able to obtain image extraction results for speeding up the selection.
  • selection speed-up support processing it is possible to support the work of rating setting for a large number of images by the camera staff and the work of selecting images to be used in the image collection.
  • a configuration example of the information processing device 10 serving as the staff terminal 1 and the server device 4 has been described with reference to FIG. Further, since the image pickup device 2 has a built-in microcomputer or the like, it also has a configuration as the information processing device 10 of FIG. The process for speeding up the selection is realized by providing the CPU 71 of FIG. 3 with the function of FIG. 39A, for example.
  • UI control unit 31, extraction processing unit 34, rating information management unit 35, and analysis result data reception are provided as functions provided in the CPU 71 of the information processing device 10 as the image pickup device 2, the staff terminal 1, and the server device 4.
  • a unit 36, an analysis unit 37, and a moving image editing unit 38 are shown.
  • the selection speed-up support processing at least the UI control unit 31 and the extraction processing unit 34 may be provided, and at least one of the analysis result data receiving unit 36 and the analysis unit 37 may be provided.
  • the UI control unit 31 is a function of performing presentation control of images, rating information, and the like, as well as processing of detecting operation input. In particular, the processing for speeding up the selection will be described.
  • the UI control unit 31 performs UI processing that enables designation of extraction conditions that can classify a group of images that are a plurality of images taken at an event related to marriage. conduct. Specifically, processing such as display of an icon described later and operation detection corresponding to the display will be performed.
  • the extraction processing unit 34 is a function of extracting one or a plurality of images from an image group of a certain event based on a designated extraction condition. For example, the extraction processing unit 34 extracts an image by referring to the analysis result data of the image based on the extraction condition specified by the icon. Various specific examples will be described later.
  • the rating information management unit 35 is a function that updates the rating information of the image when the rating is set for the extracted image. In the case of the staff terminal 1, it can be considered that it is included in the function of the event data management unit 30 described with reference to FIG.
  • the analysis result data receiving unit 36 has a function of receiving the analysis result data.
  • the analysis unit 37 has a function of performing image analysis on each image and generating analysis result data. Either one of the analysis result data receiving unit 36 and the analysis unit 37 may be provided.
  • the CPU 71 of the imaging device 2 includes the analysis unit 37 to obtain the analysis result data, so that the function of the analysis result data receiving unit 36 Is not needed.
  • the imaging device 2 causes, for example, the server device 4 to execute the analysis and receives the analysis result data from the server device 4
  • the CPU 71 of the imaging device 2 does not need the function of the analysis unit 37, and the analysis result. It suffices to have the function of the data receiving unit 36. In that case, the CPU 71 of the server device 4 is provided with the analysis unit 37 as shown in FIG. 39B.
  • the CPU 71 of the staff terminal 1 does not need the function of the analysis unit 37, and the function of the analysis result data receiving unit 36 is not required. Should be provided. In that case, the CPU 71 of the server device 4 is provided with the analysis unit 37 as shown in FIG. 39B. Further, when performing image analysis in the staff terminal 1, the CPU 71 of the staff terminal 1 has the function of the analysis unit 37. The analysis result data receiving unit 36 is unnecessary.
  • the analysis result data receiving unit 36 becomes unnecessary.
  • the video editing unit 38 shows a function of editing the extracted video in particular. This is a function provided when generating a highlight moving image, which will be described later.
  • the analysis unit 37 analyzes an image taken by a camera staff or the like, and performs scene recognition and person recognition.
  • Machine learning is used as a typical method.
  • the image is analyzed by machine learning to acquire information on the following people and objects (scenes).
  • FIG. 40A is an example in which an analysis is performed on a certain image and it is determined that an object called a “bouquet” is included as the analysis result.
  • the recognition rate is a value of reliability of the analysis result.
  • FIG. 40B is an example in which an analysis is performed on a certain image and it is determined that the analysis result includes a person as a “bride” and a “groom” and an object as a “cake”.
  • analysis result data indicating that the image contains "bouquet” and analysis result data indicating that the image contains "bride”, “groom's cake”, and “cake” are available. Be associated with the image.
  • the image is extracted with reference to such analysis result data.
  • an extraction condition of "bouquet” an image associated with "bouquet” is extracted as analysis result data. That is, by extracting the AND condition and the OR condition using the information as the analysis result data, the user can selectively browse the image of the desired scene. This makes it possible to set the rating from the image of the desired scene and select the image to be used in the image collection without looking at all the captured images, which makes the selection work of the camera staff more efficient. can.
  • FIG. 41A shows, for example, a display example on the display unit 1a of the staff terminal 1 or the display unit 2a of the image pickup apparatus 2.
  • the icon area 200 is set together with the image area 128.
  • the image area 128, for example, an image of a group of images to be processed, that is, a series of images taken at a certain marriage event are displayed in a list in the state before extraction.
  • An icon IC for designating extraction conditions for extracting a desired scene or person from such a list image is displayed in the icon area 200.
  • the icon IC can specify the extraction condition using the analysis result data in each image of the image group.
  • a user such as a camera staff can specify an extraction condition by designating an arbitrary icon IC.
  • an extraction condition by designating an arbitrary icon IC.
  • the "bride” icon is specified, the "bride” is used as the extraction condition, and the image including the bride is extracted.
  • the user can arbitrarily specify a plurality of icon ICs to set extraction conditions such as an extraction formula including a so-called AND condition, an or condition, and the like. For example, when it is desired to extract an image of a cake cutscene, an operation of designating the icon ICs of "bride", "groom", and "cake” with an AND condition is performed.
  • the selection speed-up support in this case can realize the efficiency of rating setting, but as described above, the selection speed-up support process is not limited to being used for rating setting efficiency.
  • the selection speed-up support process is executed for the selection of the image to be posted on the web gallery, the selection of the cover image, the highlight image, and the selection of the image to be edited. Therefore, the rating setting process in each of the following processes can be considered in place of these image selection processes.
  • FIG. 42 is an example in which the image pickup apparatus 2 performs selection speed-up support processing as described in FIG. 38A.
  • the CPU 71 in the image pickup apparatus 2 saves the image data obtained by shooting in step S700. This comprehensively shows the process of sequentially storing the captured image data in the internal storage unit 79. A large number of images are stored in the storage unit 79 by a series of shootings by the cameraman.
  • step S701 the CPU 71 performs image analysis on each of the stored images.
  • person information and scene information are obtained by analysis of each image, and analysis result data is generated.
  • the analysis result data is recorded as information associated with the image, that is, metadata.
  • This image analysis process may be sequentially executed each time one image is captured, or may be periodically performed on a new captured image. Further, when the cameraman performs a predetermined operation, for example, an operation for executing image extraction, the stored images may be collectively executed.
  • the CPU 71 causes the icon IC to be displayed in the icon area 200 on the display unit 2a.
  • icon IC As the type of icon IC to be displayed, it is conceivable to use an icon preset for an event related to marriage. For example, icons such as "bride”, “groom”, “cake”, and “bouquet” should be prepared. Further, such an icon IC may not be fixedly displayed, but may be selected and displayed based on the analysis result data. That is, as the person information and the scene information obtained by the analysis of each image in step S701, the icon IC corresponding to the existing one is selected and displayed. Alternatively, the corresponding icon IC may be generated and displayed based on the person or object obtained as the analysis result data.
  • step S703 the CPU 71 confirms the extraction conditions. That is, the UI processing detects the user's designated operation of the icon IC.
  • step S704 the CPU 71 performs an image extraction process based on the specified extraction conditions, and controls the display of the extracted image. That is, the analysis result data associated with each image of the image group to be processed is referred to, and an image matching the extraction conditions is extracted. Then, the extracted image is displayed in the image area 128 in the display unit 2a.
  • the CPU 71 proceeds from step S705 to step S706 and saves the rating information.
  • the rating information is stored as metadata associated with the image.
  • FIG. 43 is an example in which the selection acceleration support process is performed on the staff terminal 1 as described in FIG. 38B.
  • the image analysis is also used as an example in the case where the staff terminal 1 is used.
  • the CPU 71 in the staff terminal 1 receives an image from the image pickup apparatus 2 in step S720. This is a process for capturing an image stored in the image pickup apparatus 2 by a series of shootings by a cameraman into a storage unit 79 in the staff terminal 1 by short-range wireless communication, wired communication, or transfer by a recording medium. Is.
  • step S721 the CPU 71 of the staff terminal 1 performs image analysis on each image received from the image pickup device 2. Person information and scene information are obtained by analysis for each image, and analysis result data is generated.
  • the analysis result data is saved as information associated with the image.
  • the analysis result data may be stored as information associated with each image in the event data 60 as shown in FIG. 5, for example.
  • the imaging / editing information table 62 of the event data 60 the analysis result data corresponding to each image is saved.
  • it may be stored in addition to the metadata MT1, MT2 ...
  • the result data may be stored corresponding to each image. Regardless of the storage form, the analysis result data may be stored in a state associated with the image.
  • this image analysis process is performed for each image transferred from the image transfer device 2, for example, when the image is transferred. Further, when the camera staff performs a predetermined operation, for example, an operation for executing image extraction, the stored images may be collectively executed.
  • step S722 the CPU 71 causes the icon IC to be displayed in the icon area 200 on the display unit 1a.
  • the type of icon IC to be displayed may be an icon preset for an event related to marriage, but in particular, a person or an article obtained as analysis result data. It is preferable to present only the icon IC corresponding to the above to the user.
  • step S723 the CPU 71 confirms the extraction conditions. That is, the UI processing detects the user's designated operation of the icon IC.
  • step S724 the CPU 71 performs an image extraction process based on the specified extraction conditions, and controls the display of the extracted image. That is, the analysis result data associated with each image of the image group to be processed is referred to, and an image matching the extraction conditions is extracted. Then, the extracted image is displayed in the image area 128 in the display unit 1a.
  • step S725 the CPU 71 proceeds from step S725 to step S726 to save the rating information.
  • the set rating information is saved / updated as the rating information in the imaging / editing information table 62 of the event data 60 as shown in FIG.
  • an image to be posted on the web gallery, a cover image, a highlight image, and an image to be edited may be selected by the operation of the camera staff after step S724. .. In that case, the event data 60 will be updated according to those operations.
  • FIG. 44 is an example in which the selection speed-up support process is performed by the server device 4 as described in FIG. 38C.
  • the CPU 71 in the server device 4 receives an image from the staff terminal 1 or the image pickup device 2 in step S740. For example, an image saved in the image pickup device 2 by a series of shootings by a cameraman or an image transferred to the staff terminal 1 is uploaded to the server device 4 in the cloud 7.
  • step S741 the CPU 71 of the server device 4 performs image analysis on each received image. Person information and scene information are obtained by analysis for each image, and analysis result data is generated. The analysis result data is saved as information associated with the image. In this case, the analysis result data may be stored as information associated with each image in the event data 90 as shown in FIG. 7, for example.
  • Steps S742 to S746 are processes in which the server device 4 provides a UI image to the staff terminal 1 by a browser, an application program, or the like. For example, the processing after step S742 is performed in response to the staff terminal 1 requesting the server device 4 to display by a browser or the like.
  • step S742 the CPU 71 causes the display unit 1a of the staff terminal 1 to display the icon IC, for example, as the display of the icon area 200 on the web page.
  • the type of icon IC to be displayed may be an icon preset for an event related to marriage, but in particular, only the icon IC corresponding to the person or article obtained as the analysis result data is considered. It is recommended to present it to the user.
  • step S743 the CPU 71 receives the extraction condition based on the operation performed by the staff terminal 1 or the like.
  • step S744 the CPU 71 performs an image extraction process based on the specified extraction conditions, and controls the display of the extracted image. That is, the analysis result data associated with each image of the image group to be processed is referred to, and an image matching the extraction conditions is extracted. Then, the extracted image is displayed on the display unit 1a or the like as an image area 128 on a web page or the like.
  • step S725 the CPU 71 proceeds from step S725 to step S726 to save the rating information.
  • the set rating information is saved / updated as the rating information in the imaging / editing information table 92 of the event data 90 as shown in FIG.
  • an image to be posted on the web gallery, a cover image, a highlight image, and an image to be edited may be selected by the operation of the camera staff after step S744. ..
  • the CPU 71 of the server device 4 updates the event data 90 according to those operations.
  • the event data 90 is updated on the server device 4 side
  • the event data 60 on the staff terminal 1 side is also synchronized as described above.
  • the process of FIG. 44 can be realized not only as the staff terminal 1 but also as an interface process using the image pickup device 2.
  • FIGS. 38A and 38B an example in which image analysis is executed in the server device 4 when the selection speed-up support process is performed in the image pickup device 2 and the staff terminal 1 is also described.
  • the image analysis process of step S701 in FIG. 42 and step S721 in FIG. 43 may be performed as shown in FIG. 45.
  • steps S800 and S803 in FIG. 45 are processed by the function of the analysis result data receiving unit 36 (FIG. 39A) in the CPU 71 of the staff terminal 1 and the imaging device 2, and steps S801 and S803 are the analysis units 37 (in the CPU 71 of the server device 4).
  • the processing is performed by the function shown in FIG. 39B).
  • the image pickup device 2 or the staff terminal 1 uploads the captured image to the server device 4.
  • the server device 4 it is conceivable to transmit the captured image as a reduced image with a reduced resolution in consideration of, for example, the amount of communication and the communication speed. Since the original image has a large size and takes time for transfer and analysis, the transfer time can be reduced and the analysis processing load of the server device 4 can also be reduced by reducing the size to a size sufficient for analysis. It is conceivable that the image is uploaded without being reduced, but in that case, the server device 4 may create a reduced image for analysis.
  • step S801 the server device 4 performs analysis processing on each image and generates analysis result data.
  • step S802 the server device returns the analysis result data for each image to the image pickup device 2 or the staff terminal 1.
  • step S803 the imaging device 2 or the staff terminal 1 receives the analysis result data from the server device 4 and saves it.
  • the image pickup apparatus 2 it is saved as metadata for an image, or it is saved as a separate database. If it is the staff terminal 1, it is conceivable to save it in the event data 60.
  • step S701 of FIG. 42 or step S721 of FIG. 43 it is not necessary to perform analysis processing having a relatively high processing load on the image pickup apparatus 2 and the staff terminal 1. be able to.
  • the display examples of the figures described below are display examples in the display unit 1a of the staff terminal 1 or the display unit 2a of the image pickup apparatus 2.
  • the display examples of the display units 1a and 2a include a case where an image provided by the server device 4 is displayed by a browser or an application program.
  • FIG. 46 shows an example of a user interface in support for speeding up selection.
  • captured images are displayed in a list in the image area 128, and various icon ICs are displayed in the icon area 200.
  • This icon IC is displayed according to, for example, the analysis result of each image.
  • FIG. 46B is an example in which the extraction conditions are determined by the icon IC1 and IC4 being designated by the user, and the image extracted by the extraction process corresponding to the icon IC1 and IC4 is displayed in the image area 128.
  • the designated icon ICs 1 and IC4 are displayed in the icon area 200 in a manner different from that of other icon ICs.
  • the frame of the icon is displayed thick. This makes it possible for the user to recognize which icon IC is in the specified state.
  • the designated icon IC changes the color, brightness, and size of the icon itself or the frame as compared with other icon ICs, or normally displays a two-dimensional display icon in three dimensions. Can be considered. In particular, assuming that the user specifies a plurality of icons, it is desirable for the user to clearly present the designated icon IC by changing the display mode.
  • a rating icon 130 is shown for each image in the image area 128.
  • the user can operate the rating icon 130 to set rating information for each image.
  • the user who confirms the extraction result as shown in FIG. 46B sets the rating for each image.
  • FIG. 46C shows a state in which the rating information is updated by the operation.
  • the user can browse the images with the desired extraction conditions by using the process of the selection acceleration support, and then can set the rating while comparing the extracted images.
  • the rating setting it is not limited to the rating setting, and it may be possible to select an image to be posted on the web gallery, a cover image, a highlight image, an image to be edited, and the like.
  • FIG. 47 An example of the icon IC displayed in the icon area 200 is shown in FIG. 47. For example, there are the following.
  • Icon IC1 Image of the bride Icon IC2: Image of the bride-in-law Icon IC3: Image of the cake Icon IC4: Image of only one person Icon IC5: Image of multiple people Icon IC6: Close-up image with a large face size (for example, an image in which the face size occupies 20% or more of the width of the screen) Icon IC7: "Pull" image with a small face size (for example, an image with a face size of 5% or less of the width of the screen) Icon IC8: Image showing glass Icon IC9: Image showing bouquet Icon IC10: Icon for specifying time (for example, to specify time, time range, etc. to divide by time division or scene division) icon)
  • a suitable icon may be learned from the result of the image analysis and added as an icon IC for setting the extraction condition. For example, if it is determined by learning that an object appears in a relatively large number of images, an icon corresponding to that object is added. By doing so, it is possible to automatically iconize an item that is likely to be a subject at a wedding ceremony or the like.
  • FIG. 48 shows a case where the icon IC1 representing the bride and the icon IC4 representing one person are designated, whereby an image showing only the bride is extracted. This is useful for rating and selecting images of the bride, who is the protagonist of the wedding ceremony. Similarly, by designating the icon IC2 representing the groom and the icon IC4 representing one person, an image showing only the groom is extracted.
  • FIG. 49 shows a case where the icon IC1 representing the bride and the icon IC5 representing a plurality of persons are designated, whereby an image in which a plurality of persons are captured while including the bride is extracted. This is useful when rating or selecting images that include the bride and related parties. Similarly, by designating the icon IC2 representing the groom and the icon IC5 representing the plurality of persons, an image showing a plurality of persons including the groom is extracted.
  • FIG. 50 shows a case where an icon IC1 representing a bride, an icon IC4 representing one person, and an icon IC6 representing a close-up image are designated, whereby an image in which only the bride is shown up is extracted.
  • the face up or "pull" cut may be judged from the size of the rectangle (bounding box BB) including the face.
  • An example of the bounding box BB is shown in FIGS. 51A and 51B.
  • FIG. 51A is an example in which the bounding box BB is defined by the upper left coordinate and the lower right coordinate.
  • FIG. 51B is an example in which the bounding box BB is defined by the upper left coordinates, the width (width), and the height (height).
  • FIG. 52 shows a case where the icon IC1 representing the bride, the icon IC4 representing one person, and the icon IC7 representing the image of “pull” are specified, whereby an image in which only the bride is shown by “pull” is extracted.
  • NS Example 4
  • FIG. 53 shows a case where the icon IC1 representing the bride and the icon IC3 representing the cake are designated, whereby an image showing the bride and the cake is extracted. For example, it is used when you want to check the image of the cake cutting scene. By using an object as an extraction condition in this way, it becomes easy to extract a desired scene.
  • FIG. 54 shows a case where the icon IC9 representing the bouquet is specified, whereby an image in which the bouquet is detected as a subject is extracted. This is useful when you want to extract an image that shows an item that symbolizes a wedding ceremony or the like.
  • FIG. 55 shows a case where the icon IC1 representing the bride, the icon IC2 indicating the groom, and the icon IC10 for designating the time are designated.
  • a time designation frame 202 for inputting a time range appears according to the operation, and the user inputs a desired time.
  • the image of the bride and groom is extracted from the images taken from 13:00 to 14:00.
  • Specifying the time information can be said to be a condition for extracting a scene at a specific time.
  • FIG. 56 shows a case where the icon IC1 representing the bride and the icon IC2 representing the groom are designated, whereby an image showing the bride and the groom is extracted.
  • the emotion / facial expression recognition level 201 is displayed for each image.
  • the emotion / facial expression recognition level is a value indicating the degree of recognition of emotions / facial expressions such as a smiling face, a surprised face, and a crying face.
  • the degree of smile is quantified as a recognition level, and this is included in the analysis result data.
  • the emotion / facial expression recognition level 201 can be displayed as shown in the figure. The user can set and select a rating with reference to the emotion / facial expression recognition level 201.
  • the display unit 2a of the image pickup apparatus 2 or the display unit 1a when a smartphone or the like is assumed as the staff terminal 1 may have a smaller display area than, for example, a desktop PC or the like, and may have low visibility and operability.
  • An example of UI suitable for using such relatively small display units 2a and 1a will be described.
  • the 57 and 58 show the display unit 2a of the image pickup apparatus 2. Further, the cross key 2c and the wheel 2d provided in the image pickup apparatus 2 are illustrated as operators.
  • the cross key 2c is an operator on which the up / down / left / right and center keys can be pressed.
  • the wheel 2d is an operator capable of rotating and pressing the center key.
  • the image area 128 is set at the upper part of the screen, and the icon area 200 is set at the lower part of the screen.
  • Candidate area AR1 and selection area AR2 are set as the icon area 200.
  • the candidate area AR1 is an area where the icon ICs are lined up in a horizontal row at the bottom of the screen, and the icon ICs displayed are displayed in the horizontal direction by operating the left key or the right key of the cross key 2c or by rotating the wheel 2d. It is schematically shown that one icon IC located at the center is being selected by the cursor K while being scrolled to.
  • the rows of icon ICs are shown so as to protrude from the screen of the display unit 2a, which means that each icon IC is schematically displayed on the screen by scrolling.
  • the selected area AR2 is an area adjacent to the upper part of the candidate area AR1.
  • the user scrolls the candidate area AR1 and selects a desired icon IC with the cursor K. Then, the center key of the cross key 2c or the center key of the wheel 2d is pressed to perform an enter operation. In that case, the icon IC related to the enter operation is displayed in the selection area AR2 as shown in FIG. 58.
  • the user can easily confirm the specified icon type. It is also useful to represent the designated state by changing the display mode as described above, but it may be difficult to understand the difference in the display mode, especially on a relatively small screen such as the display unit 2a of the image pickup apparatus 2. .. In addition, when it is not possible to display all at once and scrolling is used, the icon itself may not be displayed even if the display mode is changed, and it may be difficult to check. As shown in FIG. 58, if the selected area AR2 is prepared separately from the candidate area AR1 and displayed there indicates the designated state, the designated icon IC can be easily confirmed even on a small screen.
  • the icon IC once displayed in the selected area AR2 can be deleted from the selected area AR2 by the user performing a deselection operation.
  • the scroll target is moved to the selection area AR2 by operating the up key of the cross key 2c.
  • the cursor K is set to select an arbitrary icon IC by the scroll operation, and the enter operation is performed.
  • the icon IC is released from the selected state and erased from the selected area AR2.
  • the case where the icon IC4 is specified is shown, but as shown in FIG. 58, the icon IC4 is displayed in both the candidate area AR1 and the selected area AR2. ..
  • the designated icon IC may be moved from the candidate area AR1 to the selected area AR2.
  • the icons IC1 and IC4 are displayed in the selected area AR2, but at this time, the icons IC1 and IC4 are erased in the candidate area AR1 (they do not appear even if scrolled).
  • the number of icons in the candidate area AR1 that can be selected decreases, making it easier for the user to select and avoiding the duplicate selection operation. Further, when the icon IC is moved in this way, the display in the candidate area AR1 is restored for the icon IC deselected in the selected area AR2.
  • FIGS. 59 and 60 are cases where the display unit 1a of the staff terminal 1, particularly the display unit 1a of a small portable device such as a smartphone, is assumed. It is assumed that the display unit 1a is provided with a touch panel mechanism so that the user can perform operations such as tapping, double tapping, flicking, dragging, and pinching in / out.
  • the image area 128 is set at the upper part of the screen, and the icon area 200 is set at the lower part of the screen.
  • candidate area AR1 and selection area AR2 are set as the icon area 200.
  • the candidate area AR1 is an area in which icon ICs are lined up in a horizontal row at the bottom of the screen, and one icon IC located in the center while the displayed icon ICs are scrolled horizontally by flicking in the left-right direction. Is schematically shown by the cursor K.
  • the user scrolls the candidate area AR1 and selects a desired icon IC with the cursor K. Then, by performing an operation such as dragging the icon IC toward the selected area AR2, the icon IC is displayed in the selected area AR2 as shown in FIG. 60.
  • the icon IC once displayed in the selected area AR2 can be deleted from the selected area AR2 by the user performing a deselection operation. For example, the user taps the icon IC in the selection area AR2. As a result, the icon IC is released from the selected state and erased from the selected area AR2.
  • the icon IC designated by the user is displayed in the selection area AR2, so that the user can easily confirm the designated icon type.
  • the designated icon IC may be moved from the candidate area AR1 to the selected area AR2, and the deselected icon IC may be moved from the selected area AR2 to the candidate area AR1.
  • FIG. 61 further gives an example of an icon IC useful when targeting an image such as a wedding ceremony. It is a further variation of the example of the icon IC shown in FIG. 47.
  • FIG. 61A is an icon IC20 whose extraction condition is an image of a scene of a bride's bind-off eye.
  • FIG. 61B is an icon IC 21 whose extraction condition is an image of a crying scene.
  • FIG. 61C is an icon IC 22 whose extraction condition is an image of a moving or surprised facial expression.
  • icon ICs with extraction conditions that are useful for extracting images in which the emotions and facial expressions of the subject person appear. Especially in the image collection of wedding events, it is desirable to adopt scenes rich in emotions and facial expressions. Therefore, extraction conditions including emotional and facial expression elements are set, and image extraction can be easily performed by the icon IC corresponding to the extraction conditions.
  • An image of a bind-off scene can be determined by blinding, face angle, and machine learning.
  • the image of the crying scene can be judged by detecting tears or by wiping the tears with a handkerchief or hand.
  • Images of moving and surprising scenes can be judged by facial expression judgment, especially analysis of eyes, mouth, gestures, and the like. Therefore, by determining these scenes by image analysis and including them in the analysis result data, it is possible to extract images under the extraction conditions of the icons IC20, IC21, IC22 and the like.
  • FIG. 61D shows the icons IC20 and IC31 of the person's face by personal face recognition.
  • the in-focus position information is associated with the image as metadata at the time of shooting. By combining this in-focus position information with the analysis result data, it is possible to narrow down by the focused position.
  • FIG. 62 shows a case where the icon IC1 representing the bride is designated and the condition that it is an image of pupil focusing is added.
  • the metadata includes information on the pupil frame EP indicating the pupil position at the time of imaging and information on the focusing frame FW indicating the focusing position.
  • FIG. 63 shows a case where the icon IC1 representing the bride is specified and focusing is added to the condition. In other words, the image that is in focus on the bride will be extracted.
  • the figure shows a bounding box BB showing the body range of the bride, and the image in which the focusing frame FW is located in the bounding box BB is an image in which the bride is in focus. Therefore, it is possible to extract an image including the bride based on the analysis result data, and further extract an image in which the bride is in focus.
  • the UI for performing extraction using the focus information in the metadata may be specified by the user using, for example, icons such as "pupil focusing" and "focusing".
  • FIG. 64 shows an example of extraction processing using the focus information in the metadata.
  • FIG. 64 cites the extraction of an image focused on the bride's eyes as in Example 9.
  • the CPU 71 performs the process of FIG. 64 for all the target images in order to set a flag indicating that the bride's eyes are in focus for each image.
  • the CPU 71 invalidates (initializes) the flag indicating that the bride's eyes are in focus for one target image.
  • the CPU 71 refers to the analysis result data for the image and determines whether or not the image includes the bride. If the image does not include the bride, the process is finished for that image.
  • step S901 If it is determined in step S901 that the image includes the bride, the CPU 71 proceeds to step S902 and determines whether or not the distance between the in-focus position and the bride's pupil position is equal to or less than the threshold value. That is, it is determined whether or not the images are at substantially the same position and are in focus on the pupil. If the distance exceeds the threshold value, it is considered that the image is not in focus and the processing is finished for that image.
  • the CPU 71 proceeds to step S903 and enables a flag indicating that the bride's pupil is in focus. do. Then, the processing for the image is finished.
  • the image for which the flag is valid is extracted as the image in focus on the bride's eyes.
  • the focusing frame FW and the pupil frame EP are shown in FIGS. 62 and 63, such the focusing frame FW and the pupil are displayed when the image of the extraction result is displayed in the image area 128 of the display units 1a and 2a.
  • the user can easily understand the in-focus position and the in-focus state, and can also use it as a reference for rating setting and image selection.
  • FIG. 65 shows a case where the icon IC3 representing the cake is specified and focusing is added to the condition. In other words, the image in which the cake is in focus is extracted.
  • the position of the focusing frame FW is an image at a position recognized as a cake during image analysis, and an image can be extracted that meets such conditions.
  • FIG. 66A shows a case where the icon IC40 representing an animal is designated and pupil focusing is added to the condition. In this case, an image in which an animal is included and in which a pupil frame EP indicating pupil focusing is present in the bounding box BB of the animal is extracted.
  • FIG. 66B shows a case where the icon IC40 representing an animal is designated and focusing is added to the condition. In this case, an image including an animal and an image in which the focusing frame FW exists in the bounding box BB of the animal is extracted.
  • FIG. 67 shows a case where the icon IC41 representing a car is designated and focusing is added to the condition. An image in which the focusing frame FW exists in the bounding box BB of the car recognized from the image is extracted.
  • Example 14 Example of extraction under OR conditions
  • FIG. 68A shows a case where the icon IC1 representing the bride and the icon IC2 representing the groom are specified by the OR condition, whereby an image showing either the bride or the groom is extracted.
  • FIG. 68B shows a case where the icon IC1 representing the bride and the icon IC2 representing the groom are designated by the OR condition, and the icon IC3 representing the cake and the icon IC7 representing the image of “pull” are designated by the AND condition. .. This extracts either the bride or groom, the cake, and the "pull" image.
  • FIG. 69A shows an image of a group of images to be processed, which includes an image of blind eyes.
  • FIG. 69B shows a case where the icon IC1 representing the bride is designated as the extraction condition and the icon IC50 representing the blindness is designated as the exclusion condition. This extracts an image that includes the bride but is not blinded, as shown in FIG. 69C.
  • FIG. 70A shows an image of an image group to be processed, which includes an image showing a cake.
  • FIG. 70B shows a case where the AND condition is specified for the icon IC1 representing the bride and the icon IC2 representing the groom as the extraction condition, and the icon IC3 representing the cake is specified as the exclusion condition.
  • FIG. 70C an image in which the bride and groom are included but the cake is not shown is extracted.
  • the camera staff can extract images that are not subject to rating setting or image selection, and work efficiency can be improved.
  • Example 16 Registration of extraction conditions
  • the extraction conditions for extracting the cuts assumed by the cameraman or the like are registered in advance so that the cuts necessary for delivery for the web gallery or the like can be quickly extracted.
  • condition c1 a condition of "bride”&"groom”&”church” is set in order to extract an image of a scene with the church in the background.
  • the icon IC1 representing the bride, the icon IC2 representing the groom, and the icon IC51 representing the church are registered by the operation of designating.
  • the condition c2 the condition of "bride"&"groom”&”pastor” is set in order to extract the image of the scene with the pastor.
  • the icon IC1 representing the bride, the icon IC2 representing the groom, and the icon IC52 representing the pastor are registered by the operation of designating.
  • the condition of "bride”&"ring” is set in order to extract the image of the scene in which the ring is fitted.
  • the icon IC1 representing the bride and the icon IC53 representing the ring are registered by the operation of designating.
  • the conditions of "bride"&"groom"&”riceshower” are set in order to extract the image of the scene of the bride and groom in the rice shower.
  • the icon IC1 representing the bride, the icon IC2 representing the groom, and the icon IC54 representing the church rice shower are registered by the operation of designating.
  • condition c5 a condition of "bride”&"groom”&”child” is set in order to extract an image of a scene in which a child delivers a flower to the bride and groom.
  • the icon IC1 representing the bride, the icon IC2 representing the groom, and the icon IC55 representing the child are registered by the operation of designating.
  • the camera staff may specify the icon IC for each event to register the extraction conditions, but the extraction conditions that specify a typical scene at a wedding ceremony or the like, for example, the above conditions c1 to c5. Extraction conditions may be registered so that they can be selected for each event. For example, the extraction conditions of "bride”&"groom”&”church” are set as "church scene”. Prepare a plurality of such settings so that the registered settings can be used for each event. As a result, the registration status of extraction conditions can be made more efficient for the camera staff.
  • Example 17 Application to video
  • the processing for speeding up selection has been described from the viewpoint of still image selection, but such processing can also be applied to moving images.
  • An example is shown in FIG.
  • the video section (in-point-out point) corresponding to the scene in which the bride and groom are included and has the bouquet is extracted. can.
  • a moving image section (in point-out point) corresponding to the cake cutting scene can be extracted.
  • the icon IC1 representing the bride, the icon IC2 representing the groom, and the icon IC5 representing multiple people can be extracted.
  • Example 18 Automatic production of highlight videos
  • FIG. 73 illustrates the same scene extraction conditions as those in FIG. 72, but in response to the registration of these, the CPU 71 extracts the moving image section of the corresponding scene according to the extraction conditions and connects them. At the same time, make the highlight video automatically produced.
  • FIG. 74 shows a highlight moving image production process performed by the CPU 71 by the function of the moving image editing unit 38 of FIG. 39.
  • the CPU 71 registers one or a plurality of extraction conditions according to the user's operation.
  • step S1001 the CPU 71 performs scene extraction according to each registered extraction condition. That is, an in-out point is set as a scene according to each extraction condition.
  • Extraction of specific video sections can be considered in various ways. For example, an image is searched for in a frame unit that meets the extraction conditions, but in the case of a moving image, it is not always a continuous frame and does not meet the extraction conditions. For example, even in a scene that includes a bride, the bride may be framed out for a moment. For this reason, it is advisable to perform processing such as setting an out point when the condition is not continuously met in a certain number of frames or more.
  • step S1002 the CPU 71 edits the scene. That is, the images from the in-point to the out-point of each scene set in step S1001 are concatenated to form a series of moving images.
  • step S1003 the series of moving images is saved as a highlight moving image.
  • the highlight video is automatically generated, and the camera staff can watch it as video content or provide it to the client.
  • Video editing which is generally a laborious task, can be done simply by registering extraction conditions, which makes it extremely easy for camera staff to create highlight videos.
  • FIG. 75 shows a state in which a list of images that are candidates for delivery is displayed.
  • the "delivery image” referred to in the embodiment may be considered as a delivery image as a web gallery (an image selected as a photograph to be adopted in the web gallery), or as an image selected for the main delivery. You may.
  • FIG. 76 schematically shows an example of narrowing down by face.
  • a face selection area 210 is provided so that a face image can be selected by scrolling.
  • the camera staff arbitrarily selects a face image, an image showing a person with that face is extracted and displayed in the image area 128. This makes it convenient to check whether or not the images of each participant are included in a well-balanced manner.
  • the attributes of each person such as the name and position at the event (groom, bride, friends, family, etc. for a wedding ceremony) are set in advance, it is possible to narrow down by more effective information.
  • the delivery image it is also possible to narrow down the photos by the objects in the picture.
  • tags are automatically added to the image. -Personal information (groom / bride / Bridgemaid / etc) -Object information (ring / cake / welcome board / etc) -Scene information (cake sword / bride and groom admission / etc) These tags can be used to support image selection during delivery.
  • a template for example, there are the following examples. ⁇ Deliver 1 photo of the bride and groom admission ⁇ Deliver 5 photos of the groom ⁇ Deliver 8 photos of the bride ⁇ Deliver 3 photos of the cake sword
  • the shot list is assumed to be what can be called planning data for image collection creation, such as setting the number of images to be used for the image collection and setting the number of images for each scene for each bride, groom, family, relatives, friends, etc. There is. Hear the bride in advance, create a list of photos you want to take (shot list), and input it. For example, the shot list contains the following contents. ⁇ Scene: I want a cake cutscene ⁇ People: I want a photo of my aunt and bride ⁇ Things: Cake, ring
  • the information processing device of the embodiment is a UI that enables designation of extraction conditions for a group of images that are a plurality of images taken at an event related to marriage. It includes a control unit 31 and an extraction processing unit 34 that extracts one or a plurality of images from an image group based on designated extraction conditions.
  • an event related to marriage for example, when an extremely large number of images are captured and a web gallery or an image collection of this delivery is produced by carefully selecting from the image group, each image is evaluated first. It is necessary, but it requires a great deal of labor and time. Therefore, it is possible to specify conditions specific to wedding ceremonies, etc., so that image extraction can be performed accordingly. As a result, the work efficiency of the camera staff can be improved.
  • by providing an interface that can classify the image contents of events related to marriage it is possible to appropriately support the work of creating an image collection of events related to marriage.
  • the UI control unit 31 has described an example of performing control to display the image extracted by the extraction processing unit 34 and to provide a user interface capable of inputting rating information for each image.
  • the work can be made extremely efficient as compared with inputting the rating information while viewing all the captured images one by one.
  • rating can be set while comparing images of the same type, it is easy to unify the evaluation criteria, which is desirable for appropriate rating setting. In particular, it is easy to make an appropriate evaluation by being able to rate images of the same type while comparing them together. Further, as a result, even if an image to be added to the image collection is selected based on the rating information, a desirable image can be easily selected, and the value as the rating information for selection is increased.
  • the extraction processing unit 34 refers to the analysis result data of the image contents for each image in the image group of a certain event, and extracts an image that matches the specified extraction condition.
  • the analysis result data indicating the contents of each image by image analysis, it is possible to easily determine whether or not the image meets the extraction conditions by referring to the analysis result data.
  • the analysis result data is received from an external device, for example, the server device 4.
  • the server device 4 As a result, it is possible to obtain analysis result data showing the contents of each image without performing image analysis with a relatively large load in the device such as the staff terminal 1 or the image pickup device 2.
  • the UI control unit 31 controls to display the icon IC that presents the extraction condition for the image of the image group, and detects the operation on the icon IC as the operation for designating the extraction condition.
  • the icon IC presents the extraction conditions for images of events related to marriage in an easy-to-understand manner, and the icon IC makes it possible to easily specify the extraction conditions. It was stated that the icon IC should be set according to the image analysis result. For example, when the image recognition results of "bride” and "bouquet" are obtained for a certain image, the bride icon IC1 and the bouquet icon IC9 are prepared. By preparing icons based on the analysis results for all the images to be analyzed, it is possible to prepare the icons necessary for image extraction of the target image group. In other words, it is not necessary to display icons that are unnecessary for the target image group. For example, when there is no image containing "cake” in the image group of a certain event, the cake icon IC3 is not displayed, and unnecessary extraction execution can be prevented.
  • the UI control unit 31 has described an example in which the icon IC that is the target of the operation of specifying the extraction condition is displayed in a display mode different from that of the icon IC that is not the target of the designated operation.
  • the color of the icon, the color of the frame, and the highlight display are changed so that the icon IC that has been designated and operated can be distinguished from other icon ICs.
  • the extraction condition includes a condition for designating a person. For example, allow brides, bridesmaids, relatives (parents, brothers, etc.), friends, guests, etc. to be specified. It can be said that the most important thing in the image collection of the event related to marriage is to properly feature the people who participate mainly in the bride and groom. Therefore, it is appropriate to prepare extraction conditions so that a person can extract an image from the viewpoint of supporting the creation of an image collection.
  • the extraction condition includes a condition that can specify the scene of the event related to marriage.
  • extraction conditions that allow you to specify the scene itself such as “cake cut”, “ring exchange”, and “bouquet toss”
  • extraction conditions that make you assume a certain scene such as “cake” and "ring”, and equivalent to a scene.
  • Extraction conditions that can specify the scene are prepared by specifying the time to be performed. This makes it possible to easily extract an image of a specific scene, which is convenient when rating or the like for a large number of images in that scene.
  • the extraction condition includes a condition that can specify the time information of the event related to marriage.
  • a condition that can specify the time information of the event related to marriage For example, an image of a specific scene can be extracted by specifying a time or the like corresponding to a scene such as "cake cut”, “ring exchange”, or “bouquet toss". This is convenient when rating or the like for an image of a specific scene.
  • the extraction conditions include conditions that can specify an object or an animal as a subject. Prepare conditions to specify items that are likely to be subjects at wedding events, such as cakes, candles, rings, pets, and glasses. In the image of an event related to marriage, it is often appropriate to extract the same kind of image by specifying the item. By preparing extraction conditions that specify objects, it becomes possible to easily extract images of the same type, which is convenient for rating and selecting images.
  • the extraction condition includes a condition in which the emotion or facial expression of the subject can be specified. For example, prepare conditions to specify a smiling scene, an emotional scene, a crying scene, a downturned scene, and the like. From the perspective of producing an image collection of wedding events, it is appropriate to select more emotional images and give them a higher rating in order to express the emotions of the participants. It is convenient for rating and selecting images by preparing extraction conditions that enable images to be extracted based on the recognition results of emotions and facial expressions, such as a smiling scene.
  • an example is given in which information indicating the degree of emotion or facial expression of the subject is presented with respect to the image extracted by the extraction processing unit 34.
  • displaying numerical values obtained as a result of recognizing emotions and facial expressions for an image under certain extraction conditions serves as a reference for rating and selection, and is useful as support for producing an image collection. ..
  • the degree of smile is shown in FIG. 56, it is assumed that the degree of emotional and facial expression analysis results for the image, such as the degree of crying face, the degree of surprised face, the degree of prone eyes, and the degree of joy, are displayed. ..
  • the extraction condition includes a condition in which items to be determined based on the metadata added at the time of imaging can be specified.
  • a condition that can be determined by referring to the metadata associated with the image in the imaging device at the time of imaging such as information on focus (see FIGS. 62 to 67).
  • the metadata added at the time of imaging such as the focus position information that is focused by controlling the face focus and pupil focus
  • an image in which the bride's eyes are in focus can be extracted. It will be possible.
  • the imaging state it is possible to extract not only the content of the image but also only the in-focus image, which is appropriate in terms of extracting images that are candidates for adoption in the image collection from a large number of images. ..
  • the metadata in the embodiment, the example of using the information of "pupil focusing" and "focusing” is given, but of course, other metadata can also be used. For example, when information such as an F value, an ISO value, a shutter speed, and a zoom magnification is included in the metadata, it is possible to add them to the extraction conditions to narrow down the data.
  • the focusing position is presented for the image extracted by the extraction processing unit 34.
  • the focusing frame FW As described with reference to FIGS. 62 and 63, by superimposing and displaying an image showing the in-focus position and area and information related to them as the focusing frame FW, pupil frame EP, bounding box BB, etc. Camera staff can be helpful when selecting and rating the right images.
  • the icon IC of the extraction condition is displayed in the candidate area AR1 on the display screen and the icon IC designated by the predetermined operation is displayed in the selection area AR2 on the display screen.
  • rice field Since the icon ICs that can be specified in the candidate area AR1 can be listed and the icon ICs that are the targets of the designated operation are displayed in the selection area AR2, the user can always recognize the selected icon ICs.
  • the image becomes easy to understand and easy to operate.
  • the candidate area AR1 and the selection area AR2 are arranged one above the other (or left and right), and the icon is placed in the selection area AR2 according to the operation.
  • the selected state can be clearly presented. Further, the selected state can be clearly presented by moving the icon from the candidate area AR1 to the selected area AR2 according to the operation.
  • the candidate area AR1 can display a large number of icons even on a small display screen by scrolling the display.
  • the same icon is not selected in the candidate area AR1 or the number of icons to be scrolled is narrowed down to facilitate selection by the cursor K. It is also useful in terms of points.
  • the icon displayed in the selected area AR2 is controlled to end the display in the selected area AR2 in response to a predetermined deselection operation. That is, the user can return the icon of the selected area to the candidate area by the operation. As a result, the icon IC (extraction condition) once selected as the extraction condition can be deselected.
  • the camera staff can flexibly operate the icons to set appropriate conditions for image extraction.
  • the selection state can be easily understood by returning to the candidate area AR1 in response to a predetermined deselection operation.
  • the extraction processing unit 34 has described an example in which an image is extracted by setting an and condition, an or condition, or an exclusion condition for each of a plurality of designated extraction conditions.
  • the camera staff can set a conditional expression by combining the and condition / or condition / exclusion condition for a plurality of extraction conditions set for the event related to marriage, and use it as the extraction condition. Therefore, the desired image can be extracted more appropriately.
  • the extraction processing unit 34 includes a moving image editing unit 38 that creates moving image content using a plurality of moving image scenes extracted based on the extraction conditions.
  • the extraction process based on the extraction conditions can also be applied to scene extraction as a moving image. In that case, by concatenating the extracted scenes, it is possible to generate video content as a highlight video. For the camera staff, it is possible to easily realize video production by selecting the extraction conditions, which is suitable for quick highlight video production.
  • the staff terminal 1 of the embodiment stores image data received by communication with the image pickup device 2 and metadata (additional information) including rating information corresponding to at least the image data as event data 60 related to a specific event. It has an event data management unit 30 that updates the event data 60 in response to an operation input. Further, the staff terminal 1 has a UI control unit 31 that controls the presentation of images and rating information related to the event data 60 of a specific event as a project target and detects an operation input. Further, the staff terminal 1 has a communication control unit 32 that controls communication that synchronizes the event data 60 and the event data 90 with the external server device 4 according to the storage or update of the event data 60.
  • the information processing device 10 as the staff terminal 1 stores the image data received by communication with the image pickup device 2 and additional information including rating information corresponding to at least the image data as event data related to a specific event.
  • Event data management processing including update processing of event data according to input, UI control processing to control presentation of image and rating information related to event data of a specific event and detect operation input, and to store or update event data
  • the communication control process that controls the communication that synchronizes the event data with the external server device is performed.
  • Such a staff terminal 1 can manage images and metadata sequentially transferred from the image pickup apparatus 2 as event data of a specific event, and can present this to the camera staff, for example, in a list. Therefore, the camera staff can confirm the image that is the basis of the image collection such as the web gallery by using the staff terminal 1. Moreover, at this time, the rating information attached by the cameraman on the image pickup device 2 for each image is also displayed as the rating icon 130, which can assist the cameraman himself or the camera staff such as an assistant in selecting the image to be adopted in the image collection. It becomes. Further, communication is performed so as to keep the event data 60 of the staff terminal 1 and the event data 90 of the server device 4 synchronized.
  • the terminal device 1A is synchronized with the latest terminal device 1B in the terminal device 1B logged in to the server device 4.
  • the operation can be performed while reflecting the event data contents of. This makes it possible to efficiently create an image collection.
  • the image pickup device 2 and the staff terminal 1 are separate bodies, for example, the terminal device 1A of the staff terminal 1 may be integrated with the image pickup device 2.
  • the event data management unit 30 acquires the event data of the specific event from the server device 4 in response to the selection of the specific event (see step S204 of FIG. 12).
  • the event data is synchronized in the server device 4 by the communication from the staff terminal 1, and therefore the event data in the server device 4 is the latest event data.
  • the application program is started on the staff terminal 1, the event list is displayed.
  • the latest event data can be acquired by first loading the event data on the server device 4 side.
  • the rating information is up to date. For example, even when the assistant uses the terminal device 1B, the cameraman can check the latest rating when the rating is set / changed on the image pickup device 2 or the staff terminal 1 in the past.
  • the event data 60 includes the preset information 61
  • the UI control unit 31 uses the edited image data edited according to the edit information in the preset information for the image data included in the event data 60.
  • the display is performed (see step S250 in FIG. 15).
  • editing information such as retouch parameters as the preset information 61
  • each image captured and captured can be automatically edited and displayed. This is effective when creating a unified atmosphere for each image in a web gallery or the like.
  • automatic editing eliminates the need to perform similar editing operations on individual images, making the work of camera staff extremely easy.
  • the UI control unit 31 controls to provide a user interface capable of inputting edit information about the image data included in the event data 60, and the event data management unit 30 responds to the edit information input operation.
  • the event data is updated (see step S251 and step S260 to step S267 in FIG. 15).
  • the UI control unit 31 controls to provide a user interface capable of inputting rating information about the image data included in the event data 60, and the event data management unit 30 controls to input rating information.
  • the event data is updated according to the above (see steps S217, S230, S231 in FIG. 14, steps S255, S282, S283 in FIG. 16 and the like).
  • the UI control unit 31 controls to provide a user interface capable of setting selection information for creating an image collection by selectively using the image data included in the event data 60, and performs an event.
  • the data management unit 30 is configured to perform a process of updating the event data according to the selection operation setting operation (steps S218, S219, S232 to S237 in FIG. 14, steps S256, S284, S285, and FIG. 17 in FIG. Steps S301, S302, S310, S311, S320, S321, etc.).
  • the server device 4 automatically creates the web gallery based on the synchronized event data 90, an image collection reflecting the intention of the camera staff can be created. This makes it possible to provide clients with a web gallery that covers the production intentions of the camera staff extremely quickly.
  • the selection information includes the used image information indicating that the image included in the image collection has been selected.
  • the used image information indicating that the image included in the image collection has been selected.
  • the selection information includes cover image information indicating that the image has been selected as the cover image of the image collection.
  • the cover image can be set as selection information indicating which image is used for the cover of the web gallery.
  • the selection information includes the highlighted image information indicating that the image to be highlighted in the image collection has been selected.
  • the image to be highlighted in the web gallery for example, by making it larger than other images, can be selected by the highlight setting.
  • the highlight setting allows the camera staff to select the image to emphasize.
  • the highlight setting also allows the web gallery to be created as a non-monotonous image collection, even if it is automatically generated.
  • the server device 4 may create a web gallery that highlights an image that has not been highlighted. Further, the highlight setting may be set to highlight by brightness, color, frame display, etc., instead of increasing the size.
  • the staff terminal 1 includes an automatic setting unit 33 that automatically sets the selection information based on the tendency information generated based on the past selection information of the camera staff.
  • Learn past selection settings and set trend information such as what kind of image to use, cover image, or highlight image. That is, the feature points of an image that is easily flag-on, an image that is easily set, an image that is easily covered, and the like are analyzed and used as trend information.
  • the work of the camera staff can be facilitated to some extent.
  • the camera staff can set it manually after the automatic selection setting, so it is possible to create an image collection that reflects the intention of the camera staff.
  • the automatic setting of the selection information may be performed on the server device 4 side, and the event data reflecting the automatic setting may be provided to the staff terminal 1. Further, although it is assumed that the tendency information is generated on the server device 4 side, the staff terminal 1 may be provided with a tendency information generation unit to generate the tendency information.
  • the staff terminal 1 has described an example including an automatic setting unit 33 that automatically sets selection information based on the tendency information generated based on the orientation of the client user.
  • the tendency of the client's favorite image is learned, the feature points of the favorite image are analyzed, and the tendency information is used.
  • the automatic setting of the selection information may be performed on the server device 4 side, and the event data reflecting the automatic setting may be provided to the staff terminal 1.
  • the staff terminal 1 may be provided with a tendency information generation unit to generate the tendency information.
  • the server device 4 of the embodiment is an event that stores and manages the update of the event data 90 including the image data and the rating information corresponding to the image data in response to the reception of the information about the specific event from the staff terminal 1.
  • a data management unit 40 is provided.
  • the server device 4 adds and updates the event data 90 so that the image data and the rating information transmitted from the staff terminal 1 are reflected in the event data 90 of the specific event.
  • the event data 60 on the staff terminal 1 side and the event data 90 in which the image and the rating information are synchronized can be stored.
  • the rating information can be arbitrarily changed on the staff terminal 1 side, but the server device 4 can retain the latest event data 90 by reflecting the change.
  • the server device 4 receives the image data and the rating information corresponding to the image data from the staff terminal 1, but the server device 4 includes the image data and the rating information corresponding to the image data directly from the image pickup device 2.
  • the metadata may be transmitted.
  • the server device 4 of the embodiment includes an event data provision control unit 42 that executes transmission for providing event data to the staff terminal 1.
  • the event data is synchronized in the server device 4 by the communication from the staff terminal 1, and therefore the event data in the server device 4 is the latest event data.
  • the application program is started on the staff terminal 1, and when an event is selected, the display based on the latest event data can be executed. Therefore, the cameraman and the assistant can perform various operations in the latest state by the staff terminal 1.
  • the event data management unit 40 of the server device 4 of the embodiment stores and updates the event data 90 including the selection information or the editing information corresponding to the image data in response to the reception of the information about the specific event from the staff terminal 1. It was decided to manage. Event data is also updated on the server device 4 side in response to receiving editing information such as retouch parameters and selection information related to flags, covers, highlights, and the like. As a result, the synchronization state with the event data of the staff terminal 1 can be maintained.
  • the server device 4 of the embodiment includes an image collection generation unit 41 that generates a web gallery that is image collection data for a specific event by using selection information and editing information. Since the event data 60 and 90 are synchronized between the server device 4 side and the staff terminal 1, the camera staff using the staff terminal 1 can refer to the edit information and the selection information in the event data 90 on the server device 4 side. It is possible to generate an image collection (web gallery) according to the intention. Further, by generating the image collection on the server device 4, the processing load of the staff terminal 1, which is a terminal device having a small resource, can be reduced.
  • the selection information in the event data 90 on the server device 4 side of the embodiment includes the used image information indicating that the image included in the image collection has been selected.
  • the selection information it is possible to generate an image collection (web gallery) using the images selected by the camera staff using the staff terminal 1.
  • the selection information in the event data 90 on the server device 4 side of the embodiment includes the cover image information indicating that the image has been selected as the cover image of the image collection.
  • the selection information it is possible to generate an image collection (web gallery) using the cover image selected by the camera staff using the staff terminal 1 as the cover.
  • the selection information in the event data 90 on the server device 4 side of the embodiment includes the highlighted image information indicating that the image to be highlighted in the image collection has been selected. Thereby, by referring to the selection information, it is possible to generate an image collection (web gallery) in which the highlight image selected by the camera staff using the staff terminal 1 is emphasized.
  • the server device 4 of the embodiment includes a data output unit 43 that transmits all or a part of the event data 90 as a file in a predetermined format to the terminal device (personal computer 3 or staff terminal 1).
  • the terminal device personal computer 3 or staff terminal 1
  • the personal computer 3 or the staff terminal 1 can be used to efficiently acquire the material of the image collection for the main delivery, perform necessary editing, etc., and easily obtain the image collection for the main delivery. You will be able to generate it.
  • the image file from the image pickup device 2 is transferred to the staff terminal 1 and the staff terminal 1 uploads the image file to the server device 4, but the image pickup device 2 directly uploads the image file to the server device 4. May be good.
  • the description has been made assuming the generation of an image collection of still images, but the image collection may include a moving image as a part of the content, or may generate an image collection of a plurality of moving images.
  • the processing described in the embodiment can be applied in the same manner.
  • the moving image in this case may be a moving image with sound or a moving image having only image information without sound.
  • the program of the embodiment is a program for causing, for example, a CPU, a DSP, or a device including these to execute the processes shown in FIGS. 42 to 45 and 74. That is, the program of the embodiment is based on a control process that provides a user interface capable of specifying an extraction condition for an image group taken at an event related to marriage and an image from the image group based on the specified extraction condition.
  • This is a program for causing an information processing device as a staff terminal 1, a server device 4, or an image pickup device 2 to execute an extraction process for extracting the above.
  • the staff terminal 1 and the server device 4 that perform the above-mentioned selection acceleration support processing can be realized in, for example, a mobile terminal device, a personal computer, or other device capable of executing information processing.
  • the image pickup apparatus 2 can execute the process of supporting the speeding up of selection.
  • the program that realizes the staff terminal 1, the server device 4, or the image pickup device 2 is recorded in advance in an HDD as a recording medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like. Can be kept.
  • a device such as a computer device, a ROM in a microcomputer having a CPU, or the like.
  • a removable recording medium can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • a program it is suitable for a wide range of provision of the staff terminal 1, the server device 4, or the image pickup device 2 of the embodiment.
  • a mobile terminal device such as a smartphone or tablet, a mobile phone, a personal computer, a still camera, a video camera, a game device, a video device, a PDA (Personal Digital Assistant), etc.
  • the smartphone etc.
  • a mobile terminal device such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a mobile phone such as a smartphone or tablet
  • a still camera such as a mobile phone, a personal computer, a still camera, a video camera
  • the present technology can also adopt the following configurations.
  • a user interface control unit that controls to provide a user interface that can specify extraction conditions for a group of images taken at an event related to marriage, and a user interface control unit.
  • An information processing device including an extraction processing unit that extracts an image from the image group based on a designated extraction condition.
  • the information processing unit according to (1) or (2) above extracts an image that matches the specified extraction conditions by referring to the analysis result data of the image contents for each image in the image group. Device.
  • the information processing device according to (3) above, wherein the analysis result data is received from an external device.
  • the user interface control unit The information processing apparatus according to any one of (1) to (4) above, which controls to display an icon that presents an extraction condition for an image of the image group and detects an operation on the icon as an operation for designating an extraction condition.
  • the user interface control unit The information processing apparatus according to (5) above, which displays an icon that is the target of an operation for specifying an extraction condition in a display mode different from that of an icon that is not a target for the specified operation.
  • the extraction condition includes a condition for designating a person.
  • the extraction condition includes a condition that can specify a scene of an event related to marriage.
  • the extraction condition includes a condition for specifying time information of an event related to marriage.
  • the extraction condition includes a condition capable of designating an object or an animal as a subject.
  • the extraction condition includes a condition capable of designating the emotion or facial expression of the subject.
  • the user interface control unit In addition to displaying the extraction condition icon in the candidate area on the display screen, The information processing apparatus according to any one of (1) to (14) above, which controls display of an icon designated by a predetermined operation in a selection area on the display screen. (16) The user interface control unit The information processing apparatus according to (15) above, wherein the icon displayed in the selected area is controlled to end the display in the selected area in response to a predetermined deselection operation. (17) The information processing according to any one of (1) to (16) above, wherein an and condition, an or condition, or an exclusion condition is set for each of a plurality of specified extraction conditions so that an image is extracted. Device.
  • the information processing device includes a video editing unit that creates video content using a plurality of video scenes extracted by the extraction processing unit based on extraction conditions.
  • Control processing that provides a user interface that allows you to specify extraction conditions for images taken at a marriage event, and An extraction process that extracts images from the image group based on the specified extraction conditions, and Information processing method performed by the information processing device.
  • Control processing that provides a user interface that allows you to specify extraction conditions for images taken at a marriage event, and An extraction process that extracts images from the image group based on the specified extraction conditions, and Is a program that causes the information processing device to execute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御処理と、指定された抽出条件に基づいて、画像群からの画像の抽出を行う抽出処理とを情報処理装置が行うようにする。

Description

情報処理装置、情報処理方法、プログラム
 本技術は情報処理装置、情報処理方法、プログラムに関し、特に結婚に関するイベントの画像集の作成に適した技術に関する。
 例えば結婚式や披露宴、二次会パーティなどの結婚に関するイベントにおいて、カメラマンが撮影を行い、画像集としての写真アルバムを制作して参加者等に提供するサービスがある。
 この場合、カメラマン等は、撮像装置で撮像した画像を、イベント終了後にパーソナルコンピュータやスマートフォン等に取り込み、編集ソフトウエア等を用いて編集し、画像集を作成する。そしてその画像集をSNS(social networking service)、クラウドサービス、電子メール、メッセージアプリケーションなどで提供することが想定できる。
 下記特許文献1では、カメラで撮った画像をスマートフォン等に転送してシェアする技術が記載されている。
特開2016-81173号公報
 ところでイベントの画像集は、参加者にとって楽しみであり、イベント終了後になるべく早く鑑賞したいと思うことが多い。
 例えば結婚式や披露宴の終了直後に、その余韻の残るうちに、撮影された画像を鑑賞できれば、新郎新婦や参加者はより大きな感動を味わうことができると考えられる。
 但し、例えば結婚式で大量の写真が撮られた場合に、それを単純に順番に見ていくようにすることは、閲覧者にとっても面倒で、適切とは言えない。
 そのため、大量の画像のうちで選択された画像を用いて編集された画像集を制作し、関係者が閲覧できるようにすることを考える。ところがこの場合も、カメラマン等の画像集の制作を行う者にとっては、大量の画像の中でどの画像を画像集に加えるかを判断したり、選択したりすることが大変な作業となる。
 そこで本開示では、このような画像集を制作の際に制作者の支援となる情報処理機能を提供することを目的とする。
 本技術に係る情報処理装置は、結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御を行うユーザインタフェース制御部と、指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理部と、を備える。
 結婚に関するイベントとは、例えば結婚式、披露宴、二次会、結納、顔合わせ、見合いなどであり、新郎新婦を含む複数人が参加するイベントを指す。
 このようなイベントにおいて撮影された複数の画像としての画像群について、ユーザが抽出条件を指定でき、画像の抽出結果を得ることのできる装置を実現する。
 上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像を表示させるとともに、各画像についてのレーティング情報の入力操作が可能なユーザインタフェースを提供する制御を行うことが考えられる。
 例えば所定の条件を満たす画像を一覧表示させるとともに、ユーザが各画像のレーティング情報を任意に設定できるようにする。
 上記した本技術に係る情報処理装置においては、前記抽出処理部は、前記画像群における各画像についての画像内容の解析結果データを参照して、指定された抽出条件に合致する画像を抽出することが考えられる。
 各画像について、画像解析処理により、その画像内容を示す情報を得る。各画像については、この解析結果の情報が抽出条件に合致するものであるか否かを判定する。
 上記した本技術に係る情報処理装置においては、前記解析結果データは、外部装置から受信することが考えられる。
 イベントで撮像した各画像について、外部装置に送信しておき、その外部装置で画像解析処理を実行させ、その解析結果データを受信する。
 上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記画像群の画像についての抽出条件を提示するアイコンを表示させる制御を行い、アイコンに対する操作を抽出条件の指定操作として検知することが考えられる。
 結婚に関するイベントの撮像画像について画像種別等を示すアイコンを表示してユーザが選択できるようにする。
 上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、抽出条件の指定の操作の対象となったアイコンを、指定の操作の対象となっていないアイコンとは異なる表示態様で表示させることが考えられる。
 例えばアイコンの色、枠の色を変化させたり、ハイライト表示をさせたりするなど、操作されたアイコンを他のアイコンと区別できるようにする。
 上記した本技術に係る情報処理装置においては、前記抽出条件は人物を指定する条件を含むことが考えられる。
 結婚に関するイベントにおいて被写体となる人物を指定することができるようにする。例えば花嫁、花婿、親族(両親、兄弟、等)、友人、主賓などを指定できるようにする。
 上記した本技術に係る情報処理装置においては、前記抽出条件は結婚に関するイベントのシーンを指定可能な条件を含むことが考えられる。
 結婚に関するイベントにおけるシーン、例えばケーキカット、主賓挨拶など、何らかのシーンを指定することができる条件を用意する。
 上記した本技術に係る情報処理装置においては、前記抽出条件は結婚に関するイベントの時間情報を指定可能な条件を含むことが考えられる。
 時間情報として、特定の時刻、又は或る時刻から別の時刻までの期間、または撮影開始からの時間などの条件で抽出可能とする。
 上記した本技術に係る情報処理装置においては、前記抽出条件は被写体とされた物又は動物を指定可能な条件を含むことが考えられる。
 例えばケーキ、キャンドル、指輪、ペット、グラスなど、結婚に関するイベントにおいて被写体になりやすい物品を指定する条件を用意する。
 上記した本技術に係る情報処理装置においては、前記抽出条件は、被写体の感情又は表情を指定可能な条件を含むことが考えられる。
 例えば笑顔のシーン、感動のシーン、泣いているシーン、伏し目のシーンなどを指定する条件を用意する。
 上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像について、被写体の感情又は表情の度合いを示す情報の提示を行うことが考えられる。
 例えば笑顔のシーンなどの画像が抽出された場合に、各画像について、笑顔の度合いを示すような提示を行う。
 上記した本技術に係る情報処理装置においては、前記抽出条件として、撮像時に付加されたメタデータにより判定される事項を指定可能な条件を含むことが考えられる。
 例えばフォーカスに関する情報のように撮像時に撮像装置において画像に関連付けられたメタデータを参照して判定できる条件を指定できるようにする。
 上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像について合焦位置の提示を行うことが考えられる。
 例えば抽出された画像に対し、メタデータにおける合焦領域の情報を参照して合焦枠などにより合焦している位置や領域を示す画像を重畳表示させる。
 上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、表示画面上の候補領域に、前記抽出条件のアイコンを表示させるとともに、所定操作により指定されたアイコンを、前記表示画面上の選択領域に表示させる制御を行うことが考えられる。
 表示画面上で候補領域と選択領域を設定し、ユーザが操作により、候補領域のアイコンを選択領域に表示させることができるようにする。
 上記した本技術に係る情報処理装置においては、前記ユーザインタフェース制御部は、前記選択領域に表示させたアイコンを、所定の選択解除操作に応じて、前記選択領域における表示を終了させる制御を行うことが考えられる。
 ユーザが操作により、選択領域のアイコンを候補領域に戻すことができるようにする。
 上記した本技術に係る情報処理装置においては、指定された複数の抽出条件のそれぞれについて、アンド条件、又はオア条件、又は除外条件を設定して画像の抽出が行われるようにすることが考えられる。
 結婚に関するイベントについて用意された複数の抽出条件を用いて、多様な抽出を可能とする。
 上記した本技術に係る情報処理装置においては、前記抽出処理部が抽出条件に基づいて抽出した複数の動画シーンを用いて、動画コンテンツを作成する動画編集部を備えることが考えられる。
 抽出条件に基づいて動画シーンを抽出し、それを用いて動画コンテンツを作成する。
 本技術の情報処理方法は、結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御処理と、指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理とを情報処理装置が行う。
 これらはカメラマン等が画像集を作成する作業を効率化する支援処理となる。
 本技術に係るプログラムは、このような情報処理方法に相当する処理を情報処理装置に実行させるプログラムである。
本技術の実施の形態のサービス提供のためのシステム構成の説明図である。 実施の形態のサービス提供のための作業手順の説明図である。 実施の形態の端末装置及びサーバ装置の構成のブロック図である。 実施の形態の端末装置の機能構成の説明図である。 実施の形態の端末装置側のイベントデータの説明図である。 実施の形態のサーバ装置の機能構成の説明図である。 実施の形態のサーバ装置側のイベントデータの説明図である。 実施の形態のサーバ装置が生成するウェブギャラリー情報の説明図である。 実施の形態の端末装置の事前設定処理のフローチャートである。 実施の形態のプロジェクト一覧画面の説明図である。 実施の形態の端末装置の転送/編集処理のフローチャートである。 実施の形態の端末装置の選択支援処理のフローチャートである。 実施の形態の端末装置の選択支援処理のフローチャートである。 実施の形態の端末装置の選択支援処理のフローチャートである。 実施の形態の端末装置の選択支援処理のフローチャートである。 実施の形態の端末装置の選択支援処理のフローチャートである。 実施の形態の端末装置の選択支援処理のフローチャートである。 実施の形態のイベント画面の説明図である。 実施の形態のイベント画面のタブ遷移の説明図である。 実施の形態のイベント画面のピンチ操作の説明図である。 実施の形態の一枚表示画面の説明図である。 実施の形態のカバー・ハイライト選択画面の説明図である。 実施の形態の確認画面の説明図である。 実施の形態のサーバ装置の処理のフローチャートである。 実施の形態の端末装置のURL受信後の処理のフローチャートである。 実施の形態のウェブギャラリーのプレビュー画面の説明図である。 実施の形態のウェブギャラリー納品画面の説明図である。 実施の形態の端末装置の本納品処理のフローチャートである。 実施の形態の端末装置の自動設定処理のフローチャートである。 実施の形態の端末装置の自動設定処理のフローチャートである。 実施の形態のフラグオン数に応じた表示制御処理例のフローチャートである。 実施の形態のフラグオン数に応じた表示制御処理例の説明図である。 実施の形態の情報の入れ替え処理例のフローチャートである。 実施の形態の情報の入れ替えに関する表示例の説明図である。 実施の形態のレーティング情報の入れ替えの説明図である。 実施の形態のセレクション情報の入れ替えの説明図である。 レーティング設定の説明図である。 実施の形態のセレクション高速化のための構成例の説明図である。 実施の形態の機能構成例の説明図である。 実施の形態の画像解析の説明図である。 実施の形態の画像選択の説明図である。 実施の形態の撮像装置の処理例のフローチャートである。 実施の形態のスタッフ端末の処理例のフローチャートである。 実施の形態のサーバ装置の処理例のフローチャートである。 実施の形態の画像解析処理のフローチャートである。 実施の形態の画像抽出からのレーティングの説明図である。 実施の形態の抽出条件を示すアイコンの説明図である。 実施の形態の一人抽出の説明図である。 実施の形態の複数人抽出の説明図である。 実施の形態の一人アップの画像の説明図である。 実施の形態のバウンディングボックスの説明図である。 実施の形態の一人引きカットの画像の説明図である。 実施の形態の人と物の画像の説明図である。 実施の形態の物の画像の説明図である。 実施の形態の人と時間による抽出の説明図である。 実施の形態の感情認識情報の表示の説明図である。 実施の形態のユーザインタフェース例の説明図である。 実施の形態のユーザインタフェース例の説明図である。 実施の形態のユーザインタフェース例の説明図である。 実施の形態のユーザインタフェース例の説明図である。 実施の形態の感情認識情報による抽出の説明図である。 実施の形態の合焦位置情報による絞り込みの説明図である。 実施の形態の合焦位置情報による絞り込みの説明図である。 実施の形態の瞳合焦している画像の検出のフローチャートである。 実施の形態の物に合焦している画像の抽出の説明図である。 実施の形態の動物に合焦している画像の抽出の説明図である。 実施の形態の抽出物に合焦している画像の抽出の説明図である。 実施の形態のOR条件による抽出の説明図である。 実施の形態の除外条件を用いた抽出の説明図である。 実施の形態の除外条件を用いた抽出の説明図である。 実施の形態の抽出条件のカスタマイズの説明図である。 実施の形態の動画への適用の説明図である。 実施の形態のハイライト動画制作の説明図である。 実施の形態のハイライト動画制作処理のフローチャートである。 実施の形態の納品候補とした画像のチェック画面の説明図である。 実施の形態の顔によるフィルタリングの説明図である。 実施の形態の納品画像に含まれていない人の提示の説明図である。
 以下、実施の形態を次の順序で説明する。
<1.画像集提供サービスのためのシステム構成及び作業手順>
<2.情報処理装置の構成>
<3.事前設定処理>
<4.転送/編集処理>
<5.セレクション処理>
<6.サーバ処理>
<7.ウェブギャラリー納品処理>
<8.本納品処理>
<9.自動設定処理>
<10.セレクション高速化支援処理>
<11.納品画像選択の最終確認サポート>
<12.顔情報に基づく提示>
<13.納品画像の自動選択>
<14.顔情報などを用いて納品写真に含まれていない人を提示>
<15.ショットリストを用いた撮影サポート>
<16.まとめ及び変形例>
<1.画像集提供サービスのためのシステム構成及び作業手順>
 実施の形態では、例えば結婚式などのイベントにおいてカメラマンが静止画撮像(写真撮影)を行い、撮像画像による画像集としてのコンテンツを生成し、有償又は無償でクライアントに提供する場合を想定して説明する。
 なお静止画に限らず音声付きの動画や音声無しの動画を撮像し、それらの動画を含む画像集、或いは複数の動画による画像集を生成するものでもよい。
 説明上、カメラマンやそのアシスタントを総称してカメラスタッフと呼ぶ。
 またクライアントとは、特に発注者だけでなく、画像集の提供を受けて閲覧できるユーザの総称とする。例えば新郎新婦や、その親戚、友人等の関係者を総称してクライアントということとする。
 画像集とは、写真アルバムのような画像(静止画や動画)を集めたコンテンツを広く指し、その提供形態は問わないが、本実施の形態では一例として、ウェブギャラリーとしての画像集と、本納品の画像集を提供できるものとする。
 ここでいうウェブギャラリーの画像集とは、例えば結婚式等のイベント終了後に迅速にウェブサイト上でイベントの写真を閲覧できるようにした電子的画像集である。
 なお、説明ではウェブサイトを用いる例とするが、これは一例であり、例えば電子メール、電子メッセージ、SNS等を利用して画像集としてのコンテンツファイルをクライアントの端末装置に送信できるような提供形態としてもよい。
 また本納品の画像集とは、例えば後日、カメラスタッフが正式に写真アルバムとして制作しクライアントに提供するイベントの画像集である。イベントで撮像した画像データを編集して画像アルバムコンテンツやスライドショウコンテンツ等としての電子的画像集としてもよいし、例えば紙媒体による画像集を作成するものとしてもよい。電子的画像集としてはダウンロードやストリーミングなどで提供されるものでもよいし、ディスク状記憶媒体、カード状記憶媒体、テープ状記憶媒体、フラッシュメモリ媒体などの可搬性記憶媒体に記憶されて提供されるものでもよい。
 本実施の形態では、ウェブギャラリーの画像集として、本納品の画像集の前に、迅速にクライアントが閲覧できる画像集を生成できるようにする。またそのウェブギャラリーの画像集は単に大量の撮像画像を単純に並べたものではなく、選ばれた画像であって閲覧者が楽しめるクオリティを備えることができるようにする。
 一方で本納品の画像集は、カメラスタッフが、時間をかけて、よりクリエイティビティを発揮した編集を行って作成できるようなものとして位置づけされる。
 図1に端末装置1A,1B、撮像装置2、パーソナルコンピュータ3、サーバ装置4、端末装置5A,5B、ネットワーク6を示している。
 なお、端末装置1A,1Bは、カメラスタッフが用いる端末装置を示しており、説明上の区別のため、これらをスタッフ端末1と総称する。
 端末装置5A,5Bは上述のクライアントとしてのユーザが用いる端末装置を示しており、説明上、これらをクライアント端末5と総称する。
 スタッフ端末1及びクライアント端末5としては、ここではスマートフォンやタブレット機器等の携帯型端末装置を例示している。
 例えば端末装置1Aはカメラマンが使用するスマートフォンで、端末装置1Bはアシスタントが使用するスマートフォンなどとして想定される。
 また端末装置5Aは新婦が使用するスマートフォン、端末装置5Bは会場に居る友人が使用するタブレット機器などとして想定される。
 これらスタッフ端末1やクライアント端末5としては、いわゆる情報処理装置であればよく、その具体例としては、例えばパーソナルコンピュータ装置、携帯電話装置、ゲーム機器、オーディオ機器、ビデオ機器、通信装置、テレビジョン装置など、各種の例が想定される。即ち情報処理演算を行うことのできる情報処理装置、例えばマイクロコンピュータを内蔵する装置であれば本開示のスタッフ端末1やクライアント端末5とすることが可能である。
 但し、イベント会場等での使用を想定するため、スマートフォンやタブレット機器などの携帯可能な端末であることが好適である。
 撮像装置2としては、ビデオカメラやスチルカメラとしての各種の撮像装置が想定される。図示する撮像装置2はカメラマンが結婚式の会場で用いるカメラを想定している。
 撮像装置2とスタッフ端末1(例えば端末装置1A)は、データ通信が可能とされる。例えばFTP(File Transfer Protocol)通信によりデータ通信が行われる。
 具体的には、端末装置1AがFTPサーバとなり、撮像装置2で撮像された画像ファイル(画像データ及びメタデータを含む)が、FTP通信で、逐次、或いはまとめてアップロードされるようにすることが考えられる。
 このため撮像装置2には端末装置1Aにデータ転送を行うためのFTP設定がされているとする。
 FTP設定情報の内容としては、FTPサーバのホスト名、保存先パス、ユーザ名、パスワード、接続種別などがある。
 但し、撮像装置2と端末装置1Aは、必ずしもFTPに限らず他のプロトコルが用いられてもよい。
 また撮像装置2と端末装置1Aの間は、何らかの通信方式で画像やメタデータの転送ができるものであればよい。例えばブルートゥース(Bluetooth:登録商標)、Wi-Fi(Wireless Fidelity:登録商標)、NFC(Near Field Communication:登録商標)等の近距離無線通信や、赤外線通信などにより、相互に情報通信が可能とされることとしてもよい。
 さらに撮像装置2と端末装置1Aが有線LAN等の有線接続通信によって相互に通信可能とされてもよい。
 パーソナルコンピュータ3は、例えばカメラスタッフが本納品の画像集コンテンツの作成に用いる情報処理装置として例示している。
 このパーソナルコンピュータ3は、サーバ装置4から、イベントの画像に関するデータを取得し、画像編集アプリケーションなどにより本納品の画像集コンテンツを作成する作業に用いられる。
 サーバ装置4は、カメラスタッフがウェブギャラリーや本納品の画像集を作成するために各種情報の提供や管理を行う。
 例えばスタッフ端末1は、画像集提供サービスのためのアプリケーションプログラムをインストールしており、そのアプリケーションプログラムに従って、後述の処理を行う。それに対応してサーバ装置4は、イベントに関するデータの管理やウェブギャラリーの生成等を行う。
 スタッフ端末1とサーバ装置4は、例えば上記のアプリケーションプログラムの起動中は常時接続状態とされ、イベントデータの同期がとられる。イベントデータの例は後述するが、イベントで撮像された画像データやウェブギャラリー生成のために用いるデータなどが含まれる。
 本開示において「同期」とは、スタッフ端末1が記憶するイベントデータと、サーバ装置4が記憶するイベントデータの内容の少なくとも一部が、同じデータ内容となるように維持されることを言う。特に同期される対象のデータとは、画像データ、レーティング情報、セレクション情報、編集情報などがある。それぞれの内容は後述する。
 ネットワーク6は、例えばインターネット、ホームネットワーク、LAN(Local Area Network)、衛星通信網、その他の各種のネットワークが想定される。
 スタッフ端末1はネットワーク6を介して画像データ等をサーバ装置4にアップロードしたり、同期のための情報を送信したりすることができる。
 クライアント端末5は、ネットワーク6を介してサーバ装置4が提供するウェブページにアクセスし、ウェブギャラリーを閲覧することができる。
 パーソナルコンピュータ3は、ネットワーク6を介して本納品の画像集コンテンツを作成するための画像ファイルをサーバ装置4から取得することができる。
 なお、撮像装置2は、例えば機器背面に設けられた表示パネルや、ビューファインダー等の表示装置を有するとともに、各種操作子、タッチパネルなどの機能で操作入力が可能である。つまりユーザインタフェースとしての十分な機能を備えている。また撮像装置2はマイクロコンピュータを搭載しており、各種情報処理や通信が可能である。
 このため、撮像装置2が本開示で言う情報処理装置として機能し、端末装置1A、1Bを介さずに、サーバ装置4との間で通信を行うことや、後述のように端末装置1A、1Bで行う処理を実行することも想定される。
 実施の形態では、主にスタッフ端末1やサーバ装置4の処理について説明するが、以下説明するスタッフ端末1の処理の全部又は一部を撮像装置2が行うような例も考えられる。
 図1のようなシステムで実現される画像集提供の概略的な手順を図2で説明する。これはサービス提供者としてのカメラスタッフの操作に基づくスタッフ端末1での作業手順である。
 ステップS1として事前設定を行う。例えばカメラスタッフはスタッフ端末1と撮像装置2の間の通信設定や、イベント設定、画像レタッチの設定等を行う。この事前設定は結婚式の開始前までに行っておく。
 ステップS2として結婚式中の撮像/転送/自動編集が行われる。
 カメラマンが撮像装置2で撮像した画像ファイルは逐次スタッフ端末1(例えば端末装置1A)に転送される。
 スタッフ端末1は画像ファイルを取り込むと共に、サーバ装置4への画像ファイル等の転送や、事前設定に応じた画像の自動編集などを行う。
 ステップS3として結婚式終了後の当日中などに可能な作業を示している。
 カメラスタッフはスタッフ端末1を用いて、セレクションの操作を行う。セレクションとは、ウェブギャラリーに掲載する画像の選択や、カバー画像、ハイライト画像の選択、さらには画像の編集などを含む。スタッフ端末1はカメラスタッフの操作に応じてイベントデータの更新処理等を行う。イベントデータのサーバ装置4側との同期のための処理も逐次行われる。
 ステップS4でウェブギャラリー納品の処理が行われる。サーバ装置4においてイベントデータに基づいてウェブギャラリーが作成される。カメラスタッフがスタッフ端末1でウェブギャラリーの内容を確認した上で、クライアントに閲覧可能とする操作を行う。これにより、例えば結婚式終了後の当日中などに、クライアントは結婚式の画像集とされたウェブギャラリーを閲覧できる。
 ステップS5として本納品の画像集の作成及び本納品の処理を示している。
 カメラスタッフは、後日、本納品の画像集コンテンツを例えばパーソナルコンピュータ3を用いて作成し、クライアントに提供する。
 これによりクライアントが本納品としての画像集コンテンツを受け取ることができる。
<2.情報処理装置の構成>
 スタッフ端末1、クライアント端末5、或いはサーバ装置4やパーソナルコンピュータ3として構成できる情報処理装置10の構成例を図3に示す。スタッフ端末1やパーソナルコンピュータ3、或いはサーバ装置4は以下の情報処理装置10の構成を備えることで後述する処理を実行できる。また撮像装置2も以下の情報処理装置10の構成を備えることで後述するスタッフ端末1と同様の処理を実行できる。
 情報処理装置10のCPU(Central Processing Unit)71は、ROM(Read Only Memory)72に記憶されているプログラム、または記憶部79からRAM(Random Access Memory)73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
 CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インタフェース75も接続されている。
 入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。
 例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
 入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
 また入出力インタフェース75には、液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等よりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
 表示部77は各種表示を行う表示部であり、例えば情報処理装置10の筐体に設けられるディスプレイデバイスや、情報処理装置10に接続される別体のディスプレイデバイス等により構成される。
 表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
 入出力インタフェース75には、ハードディスクや固体メモリなどより構成される記憶部79や、各種の通信方式の通信を行う通信部80が接続される場合もある。
 通信部80は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などによる通信を行う。
 この情報処理装置10をスタッフ端末1として考えた場合、通信部80は、撮像装置2との間のFTP通信の機能やネットワーク6を介したサーバ装置4との通信を行う機能を備える。或いは通信部80は、上述のブルートゥース、Wi-Fi、NFC等の近距離無線通信、赤外線通信、有線接続通信などによる通信を行う機能を備えてもよい。また通信部80はLTE(Long Term Evolution)等の携帯電話用の通信回線による通信を行う機能を備えてもよい。
 この情報処理装置10をサーバ装置4やパーソナルコンピュータ3として考えた場合、通信部80は、ネットワーク6を介した通信を行う機能を少なくとも備える。
 入出力インタフェース75にはまた、必要に応じてドライブ82が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体81が適宜装着される。
 ドライブ82により、リムーバブル記録媒体81からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体81から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
 この情報処理装置10では、例えば本開示の処理のためのソフトウエアを、通信部80によるネットワーク通信やリムーバブル記録媒体81を介してインストールすることができる。或いは当該ソフトウエアは予めROM72や記憶部79等に記憶されていてもよい。
 情報処理装置10としてスタッフ端末1を想定した場合、情報処理装置10ではソフトウエア(アプリケーションプログラム)によって、図4のような機能構成がCPU71において構築される。
 図4にはスタッフ端末1とされる情報処理装置10に設けられる機能として、イベントデータ管理部30、UI(ユーザインタフェース)制御部31、通信制御部32、自動設定部33を示している。
 イベントデータ管理部30は、撮像装置2との通信により受信した画像データ及び画像データに対応するレーティング情報等を含む付加情報を特定のイベントに関するイベントデータとして記憶させる処理機能である。またイベントデータ管理部30は、カメラスタッフの操作入力に応じたイベントデータの更新処理も行う。
 イベントデータの内容の一例を図5に模式的に示している。
 イベントデータはカメラスタッフがスタッフ端末1を操作して登録した1つのイベントについての画像や各種内容を含むデータ群である。図5ではイベント名称が「event2」とされたイベントについてのイベントデータ60を示している。
 この例では、イベントデータ60には事前設定情報61、撮像・編集情報テーブル62、傾向情報63が含まれているものとしている。
 事前設定情報61は、カメラスタッフが図2のステップS1の事前設定により設定した情報である。例えばレタッチパラメータなどの編集情報を含む。
 撮像・編集情報テーブル62は、図2のステップS2,S3の処理で逐次情報が追加・更新されるテーブルである。
 この撮像・編集情報テーブル62は、撮像装置2から転送される画像ファイルに対応して各種情報が記述される。
 撮像装置2から転送される画像ファイルとしては、画像データとメタデータ(MT1,MT2・・・)を含む。この画像データはオリジナル画像データとして管理され、また付加されたメタデータも管理される。
 画像データは、例えばロウ(RAW)データ、或いはJPEG方式で圧縮されたデータなどがあり、データ形式は問われないが、ここでは「DSC0001.jpg」などのようにJPEG方式で圧縮されたデータを例示している。
 メタデータ(MT1,MT2・・・)には、画像データの撮像日時、カメラ情報、データ形式、データサイズ、画角情報、フォーカスポイント情報、その他各種の撮像装置2で付加された情報が含まれる。
 撮像・編集情報テーブル62には画像データに対応するレーティング情報が記憶される。レーティング情報は、カメラマン等が画像を評価した評価値を示す情報であり、例えば星マークの数で、「星なし」「星1つ」「星2つ」「星3つ」「星4つ」「星5つ」といった6段階の評価情報である。例えば星の数が多い程高い評価とする。もちろんこのような評価情報は一例である。このようなレーティング情報は、カメラスタッフにとって画像選択の参考になるものであるため、例えば後述するセレクションフラグの設定(使用画像情報の設定)の際には、レーティング情報により高い評価が示されている画像は、ウェブギャラリーや本納品に使用される可能性が高い画像であるともいえる。
 このレーティング情報は、カメラマンが画像の撮像を行ったときに、その撮像画像を確認して付与することができる。撮像装置2には、レーティング情報を入力するユーザインタフェースが設けられている。このレーティング情報は例えば画像データに対応するメタデータに含まれる、画像データと共にスタッフ端末1に転送されてくることが考えられる。或いは、画像ファイル内にExifのXMP領域に書き込まれることも考えられる。
 スタッフ端末1では、メタデータ(或いはExifデータ)からレーティング情報を抽出して管理する。
 このレーティング情報は、スタッフ端末1側の操作により画像データに対応させて付加したり、更新したりすることができる。
 撮像・編集情報テーブル62には画像データに対応するセレクション情報が記憶される。
 セレクション情報の1つとして、ウェブギャラリーに掲載する画像であるか否かを示す使用画像情報がある。これは後述する「セレクションフラグ」(単に「フラグ」とも記述する)であり、フラグオフはウェブギャラリーに使用しない画像で、フラグオンはウェブギャラリーで使用する画像として選択されたことを示す。
 またセレクション情報の1つとして、ウェブギャラリーのトップに表紙として配置されるカバー画像として選択された画像であることを示す表紙画像情報がある。
 またセレクション情報の1つとして、ウェブギャラリー内で強調表示(ハイライト表示)させるものとして選択された画像であることを示す強調表示画像情報がある。ハイライト表示とは、他の画像よりも大きく表示されるものとする。或いは通常画像はモノクロ画像であるがハイライト画像はカラー表示されるものとしてもよい。逆に強調という意味では、通常画像はカラー画像であるがハイライト画像はモノクロ表示される画像とすることも考えられる。また、通常画像は縁なし表示、ハイライト画像は縁有り表示などとして区別されるものでも良い。強調表示の仕方は多様に考えられる。
 編集情報はレタッチパラメータや、傾き補正のパラメータなどの各種の画像処理パラメータを含む。レタッチパラメータとしては、輝度調整値、色調整値、コントラスト調整値、シャープネス調整値などの画質調整のパラメータがある。
 レタッチパラメータは事前設定により設定可能であるが、個別の画像に対しても設定することができる。また、傾き補正のパラメータは個別に設定するものとなる。これらのことから、個別の画像について設定されたパラメータを記憶できるように、画像データに対応する編集情報が記憶されるようにしている。
 なお図示するように撮像・編集情報テーブル62には画像データに対応する編集情報が記憶されるようにしてもよい。
 編集画像データとは、オリジナル画像データについて、事前設定で決められた編集情報や個別に設定された編集情報に基づいて画像編集が行われた画像データである。また編集情報によりレタッチされた画像データだけでなく、画像の品質を変更した画像データ編集画像データとされることもある。品質の変更とは、例えば画サイズの変更、解像度の変更、切り出し、動画におけるフレームレートの変更などがある。
 図では編集画像データを「DSC0001E.jpg」などのようにファイル名に「E」を付して示してオリジナル画像データと区別している。この編集画像データは、スタッフ端末1におけるユーザインタフェース上での表示などに用いられる。
 このような編集画像データは必ずしも作成して記憶しておかなくても、例えば画像表示の際に、都度編集情報を適用して表示を行うようにしてもよい。従って、撮像・編集情報テーブル62では編集情報が更新管理されればよく、編集画像データを記憶しておかなくてもよい。ただし、もちろん図のように編集画像データを随時生成し記憶しておくことで、表示処理時の処理負担の削減などの点では有効である。
 イベントデータ60には、以上の事前設定情報61や撮像・編集情報テーブル62に加えて、傾向情報63が記憶される場合がある。傾向情報とは、例えばカメラスタッフの選択傾向や、クライアント(例えば花嫁)の好きな画像の傾向などの特徴情報である。この傾向情報63を用いる例については後に述べる。
 スタッフ端末1とされる情報処理装置10のCPU71は、以上のようなイベントデータ60についての情報の追加記憶や更新を、図4のイベントデータ管理部30の機能により実行する。
 なおイベントデータ60の形式や、撮像・編集情報テーブル62の形式はあくまで一例であり、少なくともイベント毎に以上の内容が管理される形態であればどのような形式でもよい。
 例えば撮像・編集情報テーブル62に含まれるオリジナル画像データ、メタデータ、レーティング情報、セレクション情報、編集情報、編集画像データは、テーブルとしてまとめて記憶されることに限られない。少なくとも1つのオリジナル画像データ毎に対して、メタデータ、レーティング情報、セレクション情報、編集情報、編集画像データが対応付けられるようにすれば、どのような形式、態様で記憶されるものでも良い。
 図4のUI制御部31は、特定のイベントのイベントデータ60に関する画像及びレーティング情報等の提示制御を行うとともに操作入力を検知する処理を行う機能である。つまりユーザインタフェース処理を行う機能である。
 ユーザインタフェース処理としては、各種情報の提示、操作入力が可能な環境の提供、ユーザによる操作を検知する処理、ユーザの意思を検知/推定する処理などがある。
 具体的にはUI制御部31は、例えば表示部77や音声出力部78により、ユーザに対する表示出力や音声出力等の出力を実行させて、ユーザに操作入力環境を提供したり情報提示したりする制御処理を行う。
 或いはUI制御部31は、例えばユーザによる操作を検知する処理を行う。
 或いはUI制御部31は、例えばユーザに操作入力環境を提供する処理と、ユーザによる操作を検知する処理の両方を行う。
 もちろんUI制御部31は他のユーザインタフェース処理を行ってもよい。
 通信制御部32は、イベントデータ60の記憶又は更新に応じて外部のサーバ装置4に対してイベントデータを同期させる通信を制御する機能である。
 例えば通信制御部32は、撮像装置2から画像転送を受けたときに、画像データを通信部80からサーバ装置4に転送する処理の制御を行ったり、イベントデータ60の内容の更新に応じて更新内容をサーバ装置4に通知したりする制御を行う。
 自動設定部33は、上述の傾向情報63を用いて、レーティング情報やセレクション情報、或いは編集情報の自動設定を行う機能である。この自動設定部33の処理については傾向情報63と合わせて後述する。
 以上の図4の機能はあくまで例示である。情報処理装置10が、少なくともイベントデータ管理部30、UI制御部31、通信制御部32を備えることで、その情報処理装置10は、本実施の形態のスタッフ端末1としての処理を行うようになる。
 このような各機能は、例えば情報処理装置10が画像集コンテンツ作成のためのアプリケーションプログラムをインストールすることで実現される。
 次に図3のような情報処理装置10としてサーバ装置4を想定した場合、情報処理装置10ではソフトウエア(アプリケーションプログラム)によって、図6のような機能構成がCPU71において構築される。
 図6にはサーバ装置4とされる情報処理装置10に設けられる機能として、イベントデータ管理部40、画像集生成部41、イベントデータ提供制御部42、データ出力部43、傾向情報生成部44を示している。
 イベントデータ管理部40は、サーバ装置4でイベントデータの記憶・更新管理を行う処理機能である。
 サーバ装置4側のイベントデータ90の内容を図7に模式的に示している。図5と同じく、イベント名称が「event2」とされたイベントについてのイベントデータ90である。
 この例では、イベントデータ90には事前設定情報91、撮像・編集情報テーブル92が含まれているものとしている。
 事前設定情報91は、スタッフ端末1における事前設定情報61と同じ情報である。例えば図2のステップS1の事前設定で設定された内容が、サーバ装置4においても同様に管理される。
 撮像・編集情報テーブル92は、撮像・編集情報テーブル62とほぼ同内容の情報を有するものとなる。即ちオリジナル画像データ、メタデータ、レーティング情報、セレクション情報、編集情報を画像毎に管理できるようにしている。
 なお、撮像・編集情報テーブル92では編集画像データを対応付けていないが、これはウェブギャラリー生成時に編集画像を作成するものとするためである。もちろんサーバ装置4でも逐次編集画像データを生成して、編集画像データを撮像・編集情報テーブル92においてオリジナル画像データに対応付けるようにしてもよい。
 サーバ装置4とされる情報処理装置10のCPU71は、以上のようなイベントデータ90についての情報の追加記憶や更新を、図6のイベントデータ管理部40の機能により実行する。
 図6の画像集生成部41は、特定のイベントのウェブギャラリーとしての画像集コンテンツを生成する機能である。特に画像集生成部41は、イベントデータ90におけるセレクション情報と編集情報を参照して画像集データ、即ちウェブギャラリーとするウェブページデータを生成する。
 生成するウェブギャラリーデータの例を図8に示す。
 サーバ装置4は、ウェブギャラリーデータとして、例えばウェブページ設定情報96として、HTML(HyperText Markup Language)形式或いはXML(Extensible Markup Language)形式のページ情報を生成するとともに、ウェブページ設定情報96から呼び出されページ内に表示される画像を集めた画像フォルダ97を生成する。
 画像フォルダ97には、ウェブギャラリーとして採用された画像についての編集画像データが含まれる。
 図6のイベントデータ提供制御部42は、スタッフ端末1に対してイベントデータ90を提供するための送信を実行させる制御を行う機能である。
 例えばスタッフ端末1がサーバ装置4にログインし、イベントを指定することに応じて、そのイベントのイベントデータ90の全部又は一部をスタッフ端末1に送信する。スタッフ端末1は、受信した内容を自己の管理下のイベントデータ60とする。これにより例えば端末装置1B側でアシスタントがイベントデータ60を用いた操作が可能になる。
 もちろんイベントデータ提供制御部42が、端末装置1Aやパーソナルコンピュータ3に対してイベントデータ提供制御を行う場合も想定される。
 データ出力部43は、イベントデータに含まれるデータ、例えばメタデータ、レーティング情報、セレクション情報、編集情報、或いは画像データ(例えばオリジナル画像データ)の一部又は全部を所定フォーマットのファイルとして端末装置(例えばパーソナルコンピュータ3)に送信する制御を行う。
 即ち本納品の画像集コンテンツの作成のために必要なデータをカメラスタッフ側に提供する処理機能である。
 傾向情報生成部44は、カメラスタッフの画像の選択傾向や、クライアントとされたユーザの画像の評価の傾向を学習し、その特徴情報を生成する機能である。
 傾向情報生成部44の処理は、スタッフ端末1の自動設定部33の処理とともに後述する。
 以上の図6の機能はあくまで例示である。情報処理装置10が、イベントデータ管理部40を備えることで、スタッフ端末1とサーバ装置4でイベントデータ同期ができる。またサーバ装置4が画像集生成部41を備えることで、ウェブギャラリー生成が迅速に可能となる。
 図6の各機能は、例えば情報処理装置10が画像集コンテンツ作成のためのアプリケーションプログラムをインストールすることで実現される。
<3.事前設定処理>
 以下、具体的な処理例を説明していく。
 まず図2のステップS1として示したスタッフ端末1での事前設定の処理例を図9、図10で説明する。
 なお、以下で言うスタッフ端末1の処理とは、図4の機能を備える情報処理装置10のCPU71によって行われる処理のことである。
 また以下でフローチャートとともに説明する各画面例は、例えばスタッフ端末1としての情報処理装置10がスマートフォンであることを想定し、その筐体上に形成されたディスプレイにおける表示内容の例としている。
 図9はスタッフ端末1の処理を示している。
 例えばカメラスタッフは、スタッフ端末1を用いてアプリケーションプログラムを起動し、準備処理のための操作を行う。その操作に応じてスタッフ端末1では、CPU71によりステップS10以降の処理が実行される。
 ステップS10でスタッフ端末1ではプロジェクト作成の処理を行う。これは画像集を作成する対象のイベントを設定する処理である。
 例えばアプリケーションプログラムを起動したスタッフ端末1の表示部77では図10Aのようにプロジェクト一覧画面110が表示される。
 プロジェクト一覧画面110には、個々のプロジェクト対象となるイベント名が一覧表示される一覧領域111が設けられる。また追加アイコン112、カメラアイコン134、メニューアイコン127などが表示される。
 このようなプロジェクト一覧画面110においてカメラスタッフは、画像集作成を行う対象のプロジェクトを作成する。例えばイベント名等を入力して1つのプロジェクトを作成する操作を行う。
 例えば追加アイコン112を操作することで、不図示のプロジェクトセッティング画面が表示され、プロジェクトのタイトル(例えばイベント名)、イベントの日時、場所、オートレタッチ設定の適用有無などが設定可能とされる。
 カメラスタッフは、適宜項目の入力を行い、プロジェクト内容を設定する操作を行う。これに応じてスタッフ端末1では1つのプロジェクトを作成し、一覧領域111に表示させるようにする。
 図10Bでは名称を「event1」「event2」とした2つのプロジェクトが表示されている例を示している。例えば各プロジェクトについて、イベント名、日時、場所などの情報が提示される。
 図9のステップS10ではスタッフ端末1は、UI制御部31の機能により、このような画面のユーザインタフェースを提供する制御を行い、カメラスタッフの操作に応じてプロジェクト作成処理を行うことになる。
 なお、このプロジェクト作成処理は、例えばスタッフ端末1とサーバ装置4がオンライン接続状態で行われるようにする。この場合、スタッフ端末1は通信制御部32の機能により、ユーザの操作内容に応じて同期処理のための情報をサーバ装置4に送信する。
 これによりサーバ装置4でも、1つのプロジェクトとしての情報が同期してエントリされる状態とすることができる。
 図9のステップS11でスタッフ端末1は、転送設定を行う。この転送設定とは、撮像装置2との間のFTP転送の設定であり、例えば転送するファイル形式やFTP接続サーバなどの設定である。
 スタッフ端末1はUI制御部31の機能によりカメラスタッフに対して転送設定用の画面表示を実行し、カメラスタッフの操作に応じて必要な転送設定を行う。
 ステップS12でスタッフ端末1はオートレタッチ設定を行う。オートレタッチ設定とは、各画像に共通に適用する画像編集処理のパラメータを設定する処理である。
 スタッフ端末1はUI制御部31の機能によりカメラスタッフに対してオートレタッチ設定用の画面表示を実行し、カメラスタッフの操作に応じて必要なオートレタッチ設定を行う。このオートレタッチ設定のパラメータは事前設定情報61として、作成したプロジェクトのイベントデータ60に記述される。
 またこのオートレタッチ設定も、例えばスタッフ端末1とサーバ装置4がオンライン接続状態で行われるようにし、スタッフ端末1はオートレタッチ設定されたパラメータ情報を同期処理のためにサーバ装置4に送信する。
 これによりサーバ装置4でも、当該プロジェクトのイベントデータ90として、イベントデータ60の事前設定情報61と同じ内容の事前設定情報91を記憶できる。
 ステップS13でスタッフ端末1はウォーターマーク設定を行う。ウェブギャラリーの画像には、例えばカメラマン名などをウォーターマーク(電子透かし)として挿入することができる。ウォーターマーク設定は、このウォーターマークの有無や内容を設定する処理である。
 スタッフ端末1はUI制御部31の機能によりカメラスタッフに対してウォーターマーク設定用の画面表示を実行し、カメラスタッフの操作に応じて必要なウォーターマーク設定を行う。このウォーターマーク設定の情報も事前設定情報61として、作成したプロジェクトのイベントデータ60に記述される。
 またこのウォーターマーク設定も、スタッフ端末1とサーバ装置4がオンライン接続状態で行われるようにし、スタッフ端末1はウォーターマーク設定の情報を同期処理のためにサーバ装置4に送信する。
 これによりサーバ装置4でも、当該プロジェクトのイベントデータ90において、事前設定情報61と同期した事前設定情報91を記憶できる。
 なお以上のステップS11,S12,S13の順序は異なる順序でもよい。また各ステップの処理は一連の処理として行われなくてもよく、例えば起動中においてユーザの操作に応じて都度行われるようにしてもよい。
 また各処理は必要がなければスキップされてもよい。例えばステップS11の転送設定は、ステップS10でプロジェクト作成する都度行ってもよいが、一度FTP転送設定を行った後であって特に設定の変更が必要なければ、ステップS10でプロジェクト作成を行った後はステップS11をスキップしてステップS12に移るようにしてもよい。もちろんステップS12、ステップS13の処理も同様で、設定後に特に変更の必要がない場合は、これらをスキップするようにしてもよい。
 また同期のためのサーバ装置4との通信は、それぞれの処理のタイミングで行われてもよいが、いくつかの設定が行われた時点でまとめてそれらの情報を送信することで、事前設定情報61,91の同期がとられるようにしてもよい。
 さらに、サーバ装置4とのオンライン接続ができない環境下で設定された内容がある場合、オンライン接続状態となったときに、設定された情報の送信が行われて事前設定情報61、91の同期がとられるようにするとよい。
<4.転送/編集処理>
 続いて図2のステップS2の具体的なスタッフ端末1の処理例を図11で説明する。即ち結婚式が行われている時に、主に図4のイベントデータ管理部30、通信制御部32の機能によりスタッフ端末1で実行される処理である。
 スタッフ端末1は図11のステップS101で撮像装置2からの画像ファイル転送が開始されたか否かをチェックする。画像転送が行われていない期間は、特に図11の処理は行わない。
 例えば結婚式の間、カメラマンは撮像装置2により式や披露宴の光景の撮像を行っている。撮像装置2は、例えば静止画撮像が行われた後、自動的に、或いはカメラマンの操作に応じて、逐次スタッフ端末1に画像ファイルを転送する。なお、転送タイミングは一例である。1枚の画像の撮像毎に転送が行われても良いし、複数枚の画像がまとめて転送されるようにしてもよい。
 また動画撮像の場合には、録画スタート・ストップがされた単位で録画していない期間に転送しても良いし、録画スタート後に録画期間中に転送しても良い。録画された映像をすべて転送しても良いし、最初の所定期間だけを転送しても良い。
 またカメラマンは、撮像した画像について撮像装置2側の操作でレーティング情報を付加することができる。例えば撮像直後で画像を確認してレーティング情報を入力する。このレーティング情報がメタデータに記述される。
 画像データ及びメタデータを含む画像ファイルの転送は、例えばカメラマンが撮像画像を確認してレーティング情報を入力することに応じて実行されるようにしてもよい。
 スタッフ端末1では、このような画像ファイルの転送が開始されたことを検知したら、処理をステップS101からステップS102に進め、画像データ及びメタデータの受信処理を行う。この場合、受信した画像データについては、オリジナル画像データとしてイベントデータ60の撮像・編集情報テーブル62で管理されるようにする。また受信したメタデータも対応して管理されるようにする。
 スタッフ端末1はステップS103で画像圧縮処理を行う。例えば受信した画像データの圧縮率を高めるように圧縮処理を行う。これはサーバ装置4に送信する画像データを生成する処理となる。
 ステップS104でスタッフ端末1は、レーティング情報管理を行う。これは受信した画像ファイルのメタデータを確認して、撮像装置2側で付与されたレーティング情報を抽出し、イベントデータ60の撮像・編集情報テーブル62で更新可能に管理されるようにする処理である。
 ステップS105でスタッフ端末1は、イベントデータ60、90の同期のためにサーバ装置4へ情報送信を行う。この場合、スタッフ端末1は、ステップS103で圧縮した画像データや、メタデータ、レーティング情報をサーバ装置4に送信することになる。サーバ装置4側では、これを受信することに応じてイベントデータ90の更新を行い、イベントデータ60との同期状態を維持する。
 ステップS106でスタッフ端末1は、オートレタッチ適用処理を行う。即ちオリジナル画像データに対して、自動的に事前設定されたレタッチパラメータによる画像処理を施して編集画像データを生成し、撮像・編集情報テーブル62で管理されるようにする。
 この編集画像データは、スタッフ端末1でのUI表示に用いるために生成することとなる。
 なお、この例では画像ファイル受信時の処理としてオートレタッチ適用処理を行うものとしたが、他の時点、例えば1枚の画像の表示が要求されたときなどに必要に応じて行うようにしてもよい。
 また、ステップS103で生成した圧縮画像データについて画像処理を施すことも考えられる。その場合、例えばステップS105とステップS106の処理の順序を入れ替え、圧縮画像データにオートレタッチを適用する画像処理を行った後にサーバに送信するようにするとよい。
 以上の図11の処理が行われることで、スタッフ端末1では、カメラマンの撮像に応じて画像が取り込まれ、また画像に応じた情報がイベントデータ60により管理される状態となる。例えば結婚式が終了した時点で、全撮像画像が、イベントデータ60で管理される状態となる。
 また逐次同期のための送信が行われることで、結婚式の最中及び終了時点で、サーバ装置4側のイベントデータ90はスタッフ端末1側のイベントデータ60と同期された状態となっている。
 また、この図11の処理の過程でも、撮像装置2から転送された画像の一覧や通信状況が後述するイベント画面120などで表示されることで、カメラスタッフはスタッフ端末1への画像の取り込み状況などを確認できる。
<5.セレクション処理>
 続いて図2のステップS3のセレクションとしての詳細な処理例を図12から図17のフローチャート及び図18から図23の画面例を参照して説明する。
 なお図12から図17は一連のフローチャートを分けて示したもので、「c1」「c2」「c3」「c4」「c5」「c6」「c7」で接続関係を示している。
 これらのフローチャートの処理は、図4のイベントデータ管理部30、UI制御部31、通信制御部32の機能による処理である。
 図12のステップS201は図10Bのようなプロジェクト一覧画面110でプロジェクト(イベント名等)の一覧表示をする処理を示している。
 ステップS202でスタッフ端末1は、このプロジェクト一覧画面110においてプロジェクト選択操作が行われたか否かを監視し、またステップS203でアプリケーションプログラムの終了操作を監視している。
 アプリケーションプログラムの終了操作が行われたらアプリケーションプログラムを閉じ、処理を終える。
 カメラスタッフは、例えば結婚式の直後にセレクションを行う場合、プロジェクト一覧画面110において対象のプロジェクトを選択する操作を行う。例えば一覧領域111に表示されているプロジェクトの1つをタップする等の操作を行う。
 このような操作を検知したら、スタッフ端末1は、処理をステップS202からステップS204に進め、当該選択されたプロジェクトについての最新のイベントデータを取得する。例えばスタッフ端末1は、サーバ装置4に当該選択されたプロジェクトのイベントデータ90を要求し、送信されてきたイベントデータ90を取り込む。そして自身が保持するイベントデータ60と比較し、最新の情報内容に更新する。例えばイベントデータ60とイベントデータ90についての更新日時情報やバージョン管理情報など、情報の新旧が判定できる何らかの情報を比較して、異なっていれば、イベントデータ60が最新の情報内容になるようにする。
 例えばカメラマンが所持する端末装置1Aを想定すると、結婚式の最中に、アシスタントが端末装置1B側で、レーティング情報やセレクション情報を入力していることもあり、それらが端末装置1A側のイベントデータ60に反映されていない場合があり得る。
 またアシスタントが所持する端末装置1B側で、レーティング情報やセレクション情報を入力しようとする場合には、端末装置1A側の最新の情報を基準として入力することが適切である。
 そのため、スタッフ端末1は、端末装置1A、1Bのいずれからも最新の情報が送信されているサーバ装置4のイベントデータ90を受信し、自己のイベントデータ60が最新でなければイベントデータ60の情報を更新するようにする。
 なお、スタッフ端末1が一台のみであって、必ずスタッフ端末1の情報が最新であることもある。そのような場合は、ステップS204の処理は不要としてもよい。
 続いてスタッフ端末1は図13のステップS211に進み、イベント画像一覧表示を行う。例えば図18のようなイベント画面120を表示させる。
 イベント画面120にはイベントタイトル121が表示され、またオールフラグアイコン123、ネクストアイコン132、カメラアイコン134、メニューアイコン127などが表示される。
 メニューアイコン127は、各種メニュー項目を表示させるための操作子である。
 カメラアイコン134は、撮像装置2とのFTP通信状態の表示等を行うアイコンである。
 オールフラグアイコン123は、全画像を対象として使用画像情報であるフラグ(セレクションフラグ)のオン/オフ設定を行う操作子である。
 ネクストアイコン132は次の画面への遷移のための操作子である。
 またイベント画面120には画像領域128が設けられ、撮像装置2から転送されてきた画像がサムネイルにより一覧表示される。例えば撮像時刻に従って時系列順に画像が表示される。
 また画像領域128の表示に関してオールタブ125、候補タブ126が設けられている。
 オールタブ125が選択されているときは、画像領域128には、撮像装置2から転送されてきた画像が使用画像情報としてのフラグの状態がオンであるかオフであるかに関わらず表示される。例えば図18はオールタブ125が選択されているときの一覧表示であるとする。
 一方候補タブ126が選択されているときは、画像領域128には、撮像装置2から転送されてきた全ての画像のうちでフラグがオン設定された画像のみが一覧表示される。例えば図19は候補タブ126が選択されているときの一覧表示の例を示している。
 フラグのオン/オフは、個々の画像について、カメラスタッフがウェブギャラリーに採用する画像とするか否かにより操作することで設定される。
 またイベント画面120にはフィルタ指定領域129が設けられる。フィルタ指定領域129によって、例えば6段階のレーティングにより画像の絞り込みができるようにされる。例えば星の数としての操作子が設けられ、指定された操作子に応じたフィルタリングが行われて、抽出された画像が画像領域128に一覧表示される。
 例えば星3つの操作子が操作された場合、レーティング情報が「星3つ」以上の画像(つまり「星3つ」「星4つ」「星5つ」のいずれかに該当する画像)が抽出され、一覧表示される。或いはこの場合、レーティング情報が「星3つ」の画像のみが抽出されて一覧表示されるようにしてもよい。
 またフィルタ指定領域129においては、星の数で表した操作子と共に、そのレーティングが設定された画像の数も示すようにしている。
 スタッフ端末1は、ステップS211でこのようなイベント画面120を表示させた状態では、ステップS212から図14のステップS219までの監視ループの処理を行う。
 図13のステップS212でスタッフ端末1は、ネクストアイコン132の操作を監視する。ネクストアイコン132の操作を検知した場合の処理は後述する。
 ステップS213でスタッフ端末1は、タブ切替操作を監視する。タブ切替操作とは、オールタブ125での一覧表示中の候補タブ126の操作、又は候補タブ126での一覧表示中のオールタブ125の操作である。
 タブ切替操作を検知したらスタッフ端末1はステップS220で画像領域128での一覧表示内容を選択されたタブに応じて切り替える処理を行う。
 ステップS214でスタッフ端末1は、カメラスタッフが画像領域128上で行うピンチ操作を監視する。ここでいうピンチ操作とは、画像拡大のためのピンチアウト操作、及び画像縮小のためのピンチイン操作である。
 ピンチ操作を検知したらスタッフ端末1はステップS221の操作対応表示として、画像領域128での表示状態の拡大又は縮小を行う。
 図20A、図20B、図20Cは、ピンチイン/ピンチアウトに応じた画像領域128の表示の変化の例を示している。
 図20Aは図18と同じ通常の表示状態である。ピンチアウト操作が行われると一覧表示されている画像が図20Bのように拡大される。さらにピンチアウト操作で図20Cのように拡大される。
 またピンチイン操作が行われると、図20Cの状態から縮小され図20Bの状態になり、さらにピンチイン操作で図20Aの状態にまで戻る。
 また、この例では、図20Aの通常の表示状態では表示していないが、ピンチアウト操作で拡大された段階で、図20B、図20Cのように画像に対応させてレーティングアイコン130とフラグ設定アイコン131が表示されるようにしている。つまり見やすいサイズ、或いは操作しやすいサイズになったときに、画像に対応させてレーティングアイコン130とフラグ設定アイコン131が表示されるようにする。
 なおもちろん、図20Aの状態でもレーティングアイコン130とフラグ設定アイコン131が画像に対応して表示されているようにしてもよい。
 図13のステップS221では、スタッフ端末1は、以上の例のようにピンチ操作に対応して画像領域128の表示状態を変化させる処理を行うことになる。
 レーティングアイコン130は、星の数で設定されたレーティング情報を表示するだけでなく、レーティングを変更する操作子ともされる。例えばレーティングアイコン130の部分をタップしたりスライドしたりすることで、星の数を変化させることができ、これがレーティング変更操作となる。
 またフラグ設定アイコン131は、例えばアイコンの色、輝度の変化などによりフラグのオン/オフを表現する。またフラグ設定アイコン131は、フラグのオン/オフを切り替える操作子ともされる。例えばタップ操作によりフラグのオン/オフが切り替えられる。
 ステップS215でスタッフ端末1は、画像領域128に表示された画像の1つが選択された操作が行われたか否かを監視する。例えば1つのサムネイル画像をタップするような操作である。この選択操作を検知した場合の処理は後述する。
 ステップS216でスタッフ端末1は、フィルタ操作を監視する。即ちフィルタ指定領域129のレーティングを示す操作子の操作である。
 フィルタ指定領域129のいずれかの操作子の操作を検知した場合、スタッフ端末1はステップS223に進み、その操作子に応じたフィルタリング処理を行って、該当する画像を抽出する。そしてステップS224で抽出した画像が画像領域128に一覧表示されるようにする。
 図14のステップS217でスタッフ端末1は、レーティング操作を監視する。例えば図20B、図20Cのようなレーティングアイコン130に対する操作である。
 レーティングアイコン130に対する操作を検知した場合、スタッフ端末1はステップS230に進み、そのレーティングアイコン130に対応する画像のレーティング情報が操作に応じた値になるようにイベントデータ60を更新する。
 またステップS231でスタッフ端末1は、更新したレーティング情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 ステップS218でスタッフ端末1は、フラグオン/オフ操作を監視する。例えば図20B、図20Cのようなフラグ設定アイコン131に対する操作である。
 フラグ設定アイコン131に対する操作を検知した場合、スタッフ端末1はステップS232に進み、そのフラグ設定アイコン131に対応する画像のセレクション情報におけるフラグのオン/オフが切り替わるようにイベントデータ60を更新する。
 またステップS233でスタッフ端末1は、更新したフラグの情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 ステップS219でスタッフ端末1は、オールフラグアイコン123の操作を監視する。
 オールフラグアイコン123に対する操作を検知した場合、スタッフ端末1はステップS234に進み、現在、全ての画像のフラグがオンであるか否かにより処理を分岐する。一部の画像がフラグオン又は全てがフラグオフであって、全ての画像がフラグオンという状態ではなければ、スタッフ端末1はステップS236に進み、全ての画像についてフラグオンとするようにイベントデータ60を更新する。
 一方、全ての画像がフラグオンのときにオールフラグアイコン123が操作されたのであれば、スタッフ端末1はステップS235に進み、全ての画像についてフラグオフとするようにイベントデータ60を更新する。
 またステップS237でスタッフ端末1は、更新したフラグの情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 続いて図13のステップS215で画像選択操作を検知した場合の処理を説明する。この場合、スタッフ端末1の処理は図15のステップS250に進み、図21のような一枚表示画面140を表示させる。
 一枚表示画面140には一枚表示領域142が設けられて、選択された画像が大きく表示される。
 この一枚表示領域142に表示される画像は、例えばイベントデータ60で管理される編集画像データによる画像である。即ち、図11のステップS106のオートレタッチ処理で生成された編集画像データであって、事前設定情報61におけるレタッチパラメータを反映させた画像データの再生画像である。
 また画像上には、画像内の合焦位置を示すフォーカスポイントマーク149が表示される場合がある。
 また一枚表示画面140にはイベント画面120に表示を戻すための操作子である戻りアイコン133や、表示された画像についてのレーティングアイコン130、フラグ設定アイコン131が表示される。
 さらに一枚表示画面140には、表示された画像に関する操作のための編集アイコン145、フォーカスポイント操作アイコン146、エクスポートアイコン147、オリジナルアイコン148が表示される。
 このような一枚表示画面140を表示させた状態で、スタッフ端末1は図15及び図16のステップS251からステップS257の監視ループ処理を行う。
 ステップS251でスタッフ端末1は編集アイコン145の操作を監視する。
 編集アイコン145の操作子の操作を検知した場合、スタッフ端末1はステップS260に進み、不図示の編集画面を表示させる。編集画面では例えばレタッチ操作や傾き補正操作が可能なユーザインタフェースが用意されており、カメラスタッフはそのユーザインタフェースにより画像編集操作ができるようにされている。
レタッチ操作としては、例えばレタッチパラメータとして輝度調整値、色調整値、コントラスト調整値、シャープネス調整値などが設定可能とされる。
 傾き補正操作としては、例えば画像の角度を調整する操作子が用意される。
 なお編集画面は、一枚表示画面140とは別の画面としてもよいし、一枚表示画面140に重畳させて各種操作子を表示させるような画面でもよい。
 スタッフ端末1はレタッチ操作を検知した場合は、ステップS261からステップS262に進み、レタッチ処理を行う。これは、カメラスタッフの操作により入力されたレタッチパラメータにより編集画像データをさらに編集する処理となる。またこの場合に入力されたレタッチパラメータを個別の画像データについての編集情報としてイベントデータ60に記憶させる。
 スタッフ端末1は傾き補正操作を検知した場合は、ステップS263からステップS264に進み、画像の傾き補正処理を行う。これは、カメラスタッフの操作により入力された傾き補正パラメータにより編集画像データを編集する処理となる。またこの場合に入力された傾き補正パラメータを個別の画像データについての編集情報としてイベントデータ60に記憶させる。
 ステップS265で編集操作終了を検知したら、スタッフ端末1はステップS266で、編集処理に応じて更新したイベントデータ60の編集情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 ステップS267でスタッフ端末1は、編集画面を終了させ、通常の一枚表示画面140に戻る。このとき表示される画像は編集結果を反映したものとされるようにする。
 このように編集アイコン145からの操作により、カメラスタッフは任意の画像のレタッチや傾き補正を行うことができるようにされている。
 一枚表示画面140の表示状態においてスタッフ端末1はステップS252でフォーカスポイント操作アイコン146の操作を監視する。
 フォーカスポイント操作アイコン146の操作を検知した場合、スタッフ端末1はステップS270に進んで、現在、一枚表示領域142の画像上にフォーカスポイントマーク149を表示しているか否かにより処理を分岐する。
 現在フォーカスポイントマーク149を表示させていなければ、スタッフ端末1はステップS271に進み、表示している画像についてのフォーカスポイントの情報を取得する。フォーカスポイントは撮像時に撮像装置2が画像内で合焦状態とした位置を示す情報であり、メタデータに記述されている。例えばフォーカスポイントは、画像内の1点の座標情報で記述されている。
 スタッフ端末1は表示している画像のメタデータからフォーカスポイントの情報を取得し、その情報に応じて、図21に示したように、表示している画像上にフォーカスポイントマーク149を表示させる。例えばフォーカスポイントとして記憶された画像内の1点の座標情報を中心に、所定の広がりを持った領域として、フォーカスポイントマーク149が表示されるようにする。これによりユーザは、撮像時に合焦状態とした被写体を確認できるようになる。
 なお、フォーカスポイントマーク149で示す領域としての上記の「広がり」は可変であって良く、例えば、画像内の位置や、被写体認識の結果の被写体に応じて広がりの量を変えてもよい。例えば図21における人物の瞳にフォーカスが当たっていれば瞳の領域程度の小さい領域でフォーカスポイントマーク149が表示され、花束にフォーカスがあっていれば、花束全体を含むようにフォーカスポイントマーク149が広く表示されても良い。
 さらに、フォーカスポイントマーク149の表示態様は、図21では四隅を表示するマーク(カッコで表現された四角)としているが、四角形の枠や円形の枠など、他の表示態様でも良い。
 また図21では、フォーカスポイントが1点のみの場合を示しているが、画像内の被写体(例えば花嫁)の複数個所に合焦している場合や、被写体が複数あって(例えば花嫁と花婿など)、各々の一部に合焦しているなど、フォーカスポイントが複数あるケースも考えられる。従ってフォーカスポイントとしてのメタデータとしては、座標位置が複数記述される場合もあり、その場合、対応するフォーカスポイントマーク149は複数表示されることになる。
 また図21のように一枚表示画面でフォーカスポイントマーク149が表示されるものとしているが、例えば図18のイベント画面の画像領域に一覧表示される画像上でフォーカスポイントマーク149が表示されるようにしてもよい。
 フォーカスポイント操作アイコン146を表示しているときにステップS252でフォーカスポイント操作アイコン146の操作を検知した場合は、スタッフ端末1はステップS270からステップS273に進むことになり、フォーカスポイント操作アイコン146の表示を終了させる。
 従ってカメラスタッフは、フォーカスポイント操作アイコン146により、フォーカスポイントマーク149の表示をオン/オフできる。
 スタッフ端末1は、一枚表示画面140の表示状態において図16のステップS253でエクスポートアイコン147の操作を監視する。
 エクスポートアイコン147の操作を検知した場合、スタッフ端末1はステップS280に進んで、エクスポート処理を行う。即ち表示している画像データに関する情報についてのエクスポート処理を行う。
 ステップS254でスタッフ端末1は画像切替の操作を監視する。この場合の画像切替の操作とはオリジナルアイコン148の操作である。
 オリジナルアイコン148の操作を検知した場合、スタッフ端末1はステップS281に進みオリジナル画像データによる画像と編集画像データによる画像の切替を行う。つまりそのときに編集画像データによる再生画像を表示していたのであれば、オリジナル画像データによる再生画像を表示させる。またそのときにオリジナル画像データによる再生画像を表示していたのであれば、編集画像データによる再生画像を表示させる。
 従ってカメラスタッフは、オリジナルアイコン148の操作により、編集後の画像と元の画像を任意に見比べることができるようになる。
 一枚表示画面140では表示中の画像についてのレーティングアイコン130が表示される。
 ステップS255でスタッフ端末1はレーティング操作を監視している。
 レーティングアイコン130に対する操作を検知した場合、スタッフ端末1はステップS282に進み、その表示している画像のレーティング情報が操作に応じた値とされるようにイベントデータ60を更新する。
 またステップS283でスタッフ端末1は、更新したレーティング情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 一枚表示画面140では表示中の画像についてのフラグ設定アイコン131が表示される。
 ステップS256でスタッフ端末1は、フラグオン/オフ操作、即ちフラグ設定アイコン131の操作を監視する。
 フラグ設定アイコン131に対する操作を検知した場合、スタッフ端末1はステップS284に進み、表示している画像のセレクション情報におけるフラグのオン/オフが切り替わるようにイベントデータ60を更新する。
 またステップS285でスタッフ端末1は、更新したフラグの情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 ステップS257でスタッフ端末1は戻りアイコン133の操作を監視する。
 戻りアイコン133の操作を検知したらスタッフ端末1は、図13のステップS211に進み、一枚表示画面140を終了させてイベント画面120を表示させる状態に戻す。
 続いて図13のステップS212でネクストアイコン132の操作を検知した場合の処理を説明する。
 この場合、スタッフ端末1の処理は図17のステップS300に進み、図22のようなカバー・ハイライト選択画面150を表示させる。
 カバー・ハイライト選択画面150は、カメラスタッフがウェブギャラリーにおいてカバー(表紙)とする画像や、ハイライト(強調表示)させる画像を選択する操作を行うための画面である。
 カバー・ハイライト選択画面150には戻りアイコン133、ネクストアイコン132が表示される。
 またカバー・ハイライト選択画面150には一覧指定領域153が設けられるとともに候補タブ151と選択タブ152が用意される。
 候補タブ151が選択されているときは、一覧指定領域153に、フラグオンとされている画像(つまりウェブギャラリーに使用されるものとして選択された画像)が一覧表示される。
 また各画像に対して、ハイライトボタン155とカバーボタン156が表示される。ハイライトボタン155は、画像をハイライト指定する操作子であり、カバーボタン156は画像をカバーに指定する操作子である。
 なおハイライトボタン155はその表示態様により、現在のハイライト設定の有無も表現し、カバーボタン156はその表示態様により、現在のカバー設定状態を表現するようにしてもよい。
 選択タブ152が選択されているときは、一覧指定領域153に、カバー指定又はハイライト指定された画像が一覧表示される。
 カメラスタッフは、このようなカバー・ハイライト選択画面150を操作して、カバーとする画像やハイライトさせる画像の選択を行う。
 図17のステップS300でカバー・ハイライト選択画面150を表示させた状態でスタッフ端末1は、ステップS301からステップS305の監視ループの処理を行う。
 ステップS301でスタッフ端末1はカバーボタン156の操作を監視する。
 カバーボタン156に対する操作を検知した場合、スタッフ端末1はステップS310に進み、対応する画像をカバー画像と設定するようにセレクション情報における表紙画像情報を設定し、イベントデータ60を更新する。
 またステップS311でスタッフ端末1は、更新したセレクション情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 ステップS302でスタッフ端末1はハイライトボタン155の操作を監視する。
 ハイライトボタン155に対する操作を検知した場合、スタッフ端末1はステップS320に進み、対応する画像をハイライト画像と設定するようにセレクション情報における強調表示画像情報を設定し、イベントデータ60を更新する。
 またステップS321でスタッフ端末1は、更新したセレクション情報をサーバ装置4に送信し、サーバ装置4側でイベントデータ90が更新されるようにする。即ち同期状態を維持させる。
 ステップS303でスタッフ端末1は、タブ切替操作を監視する。この場合のタブ切替操作とは、候補タブ151での一覧表示中の選択タブ152の操作、又は選択タブ152での一覧表示中の候補タブ151の操作である。
 タブ切替操作を検知したらスタッフ端末1はステップS330で一覧指定領域153での一覧表示内容を選択されたタブに応じて切り替える処理を行う。
 ステップS305でスタッフ端末1は戻りアイコン133の操作を監視する。戻りアイコン133の操作を検知したら、スタッフ端末1は図13のステップS211に進み、イベント画面120の表示状態に戻す。
 これによりカメラスタッフは、カバー・ハイライト指定を中断したり、フラグ設定から選択をやり直したりすることができる。
 カバー・ハイライト選択画面150における操作を完了したときは、カメラスタッフはネクストアイコン132を操作する。
 図17のステップS304でスタッフ端末1はネクストアイコン132の操作を監視する。ネクストアイコン132の操作を検知したら、スタッフ端末1はステップS340に進み、確認画面表示を行う。
 図23に確認画面160の例を示している。確認画面160には、戻りアイコン133、ネクストアイコン132が用意されるとともに、詳細領域161が用意され、最終確認内容が表示される。例えばウェブギャラリーに採用するフラグが付された画像の数やハイライト表示させる画像の数、タイトル、日付などの詳細情報が表示される。
 スタッフ端末1は図17のステップS341でネクストアイコン132の操作を監視し、ステップS342で戻りアイコン133の操作を監視する。
 戻りアイコン133の操作を検知したら、スタッフ端末1はステップS300に戻り、カバー・ハイライト選択画面150の表示状態に戻す。
 ネクストアイコン132の操作を検知したら、スタッフ端末1はステップS343に進み、ウェブギャラリー生成要求をサーバ装置4に送信する。
 そして図12のステップS201に進み、プロジェクト一覧画面110の表示状態に戻す。なおこの場合、図13のステップS211に進んでイベント画面120に戻るようにしてもよい。
 ところで、上記したセレクション処理においては、カメラスタッフはウェブギャラリーに使用する画像として選択するか否かの決定(フラグのオン/オフ)を順に繰り返さなければいけなかった。そのため同様の画像(被写体の種別、被写体のポーズ、画角等が類似する画像)を連続して複数枚撮影している場合(同一のシーンを撮影している場合、ともいう)であっても、閲覧時にも同様の画像を1枚ずつ閲覧した上でフラグのオン/オフの決定をおこなう必要があった。
 例えば、同一のシーンの画像が連続する場合には、ウェブギャラリーで使用する画像として所定の枚数のフラグをオンと決定した後には、同一シーンの残りの画像は閲覧用に表示がされずに、代わりに次のシーンの画像を表示されるように表示処理するのが効率的である。
 以下に、具体的な処理の流れを説明するが、その前提として撮影した各画像の被写体の種別、被写体のポーズ、画角や撮影時刻などの情報を基に画像の撮影シーンを認識することが好適である。例えば、撮像装置2にシーン情報を認識する機能が備わっている場合には、スタッフ端末1に転送される画像ファイルのメタデータに各画像のシーン情報を含めることで、撮影した複数の画像をシーン毎にグループ化することができる。或いは、スタッフ端末1に認識する機能が備わっている場合には、スタッフ端末1にて画像をシーン毎にグループ化することができる。いずれの場合でも、図5のイベントデータ60内に、各画像のシーン情報が保持され得る。
 以下に図2のステップS3のセレクションとしてのその他の処理例を図31のフローチャート及び図32の画面例を参照して説明する。
 図31のフローチャートの処理は、図4のUI制御部31の機能による処理である。なお本処理例は図14のステップS218、S232及び/またはS233の処理を全ての画像に繰り返し処理する場合の一例とも言える。
 図31のステップS381は、スタッフ端末1が、図20A、図20B、図20Cで例示したような画像を表示する処理である。ステップS382でスタッフ端末1は、表示された画像に対するフラグオン/オフ操作を監視する。例えば図20B、図20Cのようなフラグ設定アイコン131に対する操作である。
 フラグ設定アイコン131に対する操作を検知した場合、スタッフ端末1はそのフラグ設定アイコン131に対応する画像のセレクション情報におけるフラグのオン/オフが切り替わるようにイベントデータ60を更新する。
 ステップS383でスタッフ端末1は、ステップS382でされたフラグ操作の結果を受けて、グループ化された同一シーン内におけるフラグがオンと決定された画像数であるフラグオン数をカウントする。ステップS384でスタッフ端末1は、シーン毎に予め決定しておいた所定のフラグオン数と、ステップS383でカウントしたフラグオン数とを比較し、所定のフラグオン数に達しているかを判断する。なお所定のフラグオン数は、予めカメラスタッフがシーン毎に決めても良いし、同一シーンとされたグループ内の画像数に応じて決められても良い。
 所定のフラグオン数に達していないと判断された場合には、スタッフ端末1はステップS385に進み、次の画像を表示するための操作がされたかを監視し、操作がされた場合にはステップS386に進んで引き続き同一のシーン内の次の画像を表示する制御をおこなう。他方で、ステップS384で所定のフラグオン数に達していると判断された場合には、ステップS387に進みスタッフ端末1は次の画像を表示するための操作がされたかを監視し、操作がされた場合にはステップS388に進んでこれまでのグループのシーンとは異なる次のグループのシーンの画像を表示する制御をおこなう。この処理は全てのグループのシーンの処理が完了されるまで繰り返され得る。
 図32Aと図32Bは画像の表示順の様子を示した画面例である。図32Aは、画像のシーンに依らず、全ての画像(画像Aから画像E)を順に表示する例である。図32Bはシーンとフラグオン数に応じて一部の画像を表示しない(表示スキップする)場合の例である。
 例えばシーンSN1の所定のフラグオン数が「1」とされていて、画像Aがフラグオフ処理とされた場合にはフラグオン数は「0(ゼロ)」で所定のフラグオン数に達していないため、図32Bに示すように、同一シーンであるシーンSN1内の次の画像Bを表示制御する。次に画像Bがフラグオン処理とされた場合には、フラグオン数は「1」となり、所定のフラグオン数に達したため、図示のように同一シーン内の次の画像Cは表示がされずに、次のシーンSN2の画像である画像Dが表示制御される。さらにシーンSN2の所定のフラグオン数が「1」とされていて、画像Dがフラグオン処理とされた場合には、フラグオン数は「1」となり、所定のフラグオン数に達したため、同一シーン内の次の画像Eは表示がされずに、次のシーンの画像が表示される。
 続いて、セレクション処理における他の処理例として、画像間のレーティング情報やセレクション情報を入れ替える処理について説明する。
 図2のステップS3のセレクションにおいて一旦設定したレーティング情報やセレクション情報を、再びカメラスタッフが見直して入れ替えたい場合がある。その場合に、改めてレーティングアイコン130とフラグ設定アイコン131を操作して各情報を変更しても良いが、2つの画像に付与されたレーティング情報やセレクション情報を入れ替えることができればセレクション処理をより効率的におこなえる。
 以下に図2のステップS3のセレクションとしてのその他の処理例を図33のフローチャート及び図34、図35、図36の画面例を参照して説明する。図33のフローチャートの処理は、図4のUI制御部31の機能による処理である。
 図33のステップS420は、スタッフ端末1が図34Aのような一枚表示画面140を表示させるステップである。図34Aにおいて図21と同一のものは同一の番号を付与しているが、情報の入れ替えを指示するための入れ替えアイコン170が新たに追加されており、また表示されている画像を画像Wとしている。ステップS421で、スタッフ端末1は入れ替えアイコン170の操作を監視する。入れ替えアイコン170への操作がされたと判断された場合には、ステップS422でスタッフ端末1は表示されている画像の近傍の画像を含んだ画像リストを表示する。ここで近傍とは撮影順が近い画像であったり、画像データのファイル名としての番号が近い画像であったり、同一シーン内の画像であったりし得る。図34Bには画像Wの近傍の画像として、画像Wの下方に画像X、画像Y及び画像Zをリスト表示している状態を示している。
 ステップS423で、スタッフ端末1は画像リストの中から画像を選択する操作を監視する。リストから画像が選択された場合、ステップS424で元の画像に付加されていた情報と選択された画像の情報を入れ替え、続くステップS425では、選択された画像を表示させる。図34Cでは、図34Bの近傍の画像のうちでる画像Yが選択されたことに応じて、元の画像Wと選択された画像Yのレーティング情報とセレクション情報が入れ替えられて、画像Yが表示された状態が示されている。
 なおステップS424とステップS425は、そのステップを逆にした処理、即ちステップS425を先にした処理もおこない得る。
 以上の例のような情報の入れ替え処理は、レーティング情報とセレクション情報の両方を入れ替える処理としても良いし、レーティング情報とセレクション情報のどちらか一方のみを入れ替える処理としても良い。その場合には、どちらを入れ替えるのかを指示する操作ステップが追加され得る。
 図35はレーティング情報が入れ替えられたことを示す概念図である。図35Aのように画像Wのレーティング情報が「星3つ」、画像Yのレーティング情報が「星なし」であったところ、ユーザの入れ替え操作に応じた図33の処理で、図35Bのように画像Wが「星なし」、画像Yが「星3つ」に入れ替えられたことを示している。
 図36はセレクション情報としてのフラグが入れ替えられたことを示す概念図である。図36Aのように画像Wがフラグオフ、画像Yがフラグオンであったところ、ユーザの入れ替え操作に応じた図33の処理で、図36Bのように画像Wがフラグオン、画像Yがフラグオフに入れ替えられたことを示している。
<6.サーバ処理>
 ここまで図2のステップS3のセレクションの段階までのスタッフ端末1の処理を説明してきたが、ここでサーバ装置4側の処理を説明しておく。
 図24はスタッフ端末1からの通信に対応するサーバ装置4の処理を示している。なお以下で言うサーバ装置4の処理とは、図6の機能を備える情報処理装置10のCPU71によって行われる処理のことである。この図24では主にイベントデータ管理部40、画像集生成部41の機能により実行される処理となる。
 図2のステップS1の段階では、スタッフ端末1からの事前設定の情報がサーバ装置4に送信されてくる。
 サーバ装置4はスタッフ端末1からのプロジェクト設定に関する情報を受信したらステップS500からステップS510に進み、サーバ装置4内でプロジェクト設定処理を行う。
 スタッフ端末1からのプロジェクト設定の通信とは、スタッフ端末1が図9のステップS10からステップS13までの処理でサーバに対して行う通信である。例えば作成したプロジェクトのイベント名、日時、場所などの情報が送信されてくる。サーバ装置4はこれらの情報に基づいて、新規のプロジェクトを設定し、そのイベントデータ90を設定する。
 またスタッフ端末1側では、プロジェクト自体の設定だけでなく、オートレタッチ設定やウォーターマーク設定なども行われ、逐次設定情報がサーバ装置4に送信されてくる。サーバ装置4はこれらの情報をイベントデータ90の事前設定情報91として記述することで、イベントデータ60を事前設定状態のイベントデータ60と同期させる。
 図2のステップS2の段階では、スタッフ端末1の図11のステップS105の処理により、撮像装置2から転送された画像やレーティング情報を含むメタデータ等がサーバ装置4に送信されてくる。
 サーバ装置4はスタッフ端末1からの画像やメタデータを受信したら図24のステップS501からステップS520に進み、画像やメタデータを該当するプロジェクトのイベントデータ90の情報として取り込む。メタデータにおけるレーティング情報はメタデータから抽出して、イベントデータ90内でその後に更新可能な状態で管理する。
 図2のステップS3の段階では、スタッフ端末1の図12から図17の処理の過程で、スタッフ端末1からは撮像装置2に同期維持のための各種情報がサーバ装置4に送信されてくる。
 サーバ装置4はスタッフ端末1からのレーティング情報を受信したら図24のステップS502からステップS530に進み、該当するプロジェクトのイベントデータ90内で該当する画像についてのレーティング情報の更新を行う。
 サーバ装置4はスタッフ端末1からセレクション情報を受信したらステップS503からステップS540に進み、該当するプロジェクトのイベントデータ90内で該当する画像についてのセレクション情報の更新を行う。
 即ちフラグ設定による使用画像情報、カバーとしての表紙画像情報、ハイライト設定による強調表示画像情報などの更新が逐次サーバ装置4側でも行われるようにする。
 サーバ装置4はスタッフ端末1からの編集情報を受信したらステップS504からステップS550に進み、該当するプロジェクトのイベントデータ90内で該当する画像についての編集情報の更新を行う。
 サーバ装置4はスタッフ端末1からのウェブギャラリー編集情報を受信したらステップS505からステップS560に進む。これは図17のステップS343でスタッフ端末1が送信する情報である。
 サーバ装置4は図24のステップS560で、まず使用画像情報としてフラグオンとされた各画像について、編集情報(事前設定情報61による編集情報を含む)としてのパラメータを用いた画像編集処理を行い、ウェブギャラリー用の画像として書き出す。即ち図8の画像フォルダ97に格納する各編集画像を生成する。
 図24のステップS561でサーバ装置4は、ウェブギャラリー生成処理を行う。即ち例えばHTMLデータなどとしての図8のウェブページ設定情報96を生成し、またウェブページとしてエントリする。これによりウェブギャラリーが形成される。
 サーバ装置4は図24のステップS562で、当該ウェブギャラリーのURL( uniform resource locator)をスタッフ端末1に対して送信する。これによりスタッフ端末1がウェブギャラリーを閲覧できるようにする。
 なお、この時点ではまだウェブギャラリーは非公開設定としており、URL送信先のスタッフ端末1のみが閲覧可能な状態としている。
 以上が図2のステップS3までのスタッフ端末1の処理に対応するサーバ装置4の処理となる。
なお図24には示していないが、サーバ装置4にログインしたスタッフ端末1に対しては必要に応じて(図12のステップS201の説明参照)、イベントデータ90を提供する処理を行うことになる。
 ウェブギャラリーを生成した後は、図2のステップS4の段階として、サーバ装置4にはスタッフ端末1からシェア要求が送信されてくる(図25で後述する)。
 その場合、スタッフ端末1は図24のステップS506からステップS570に進み、該当のウェブギャラリーを公開設定とする。例えばクライアント端末5からでも閲覧可能とする。
<7.ウェブギャラリー納品処理>
 図2のステップS4のウェブギャラリー納品処理の段階のスタッフ端末1の処理を図25で説明する。
 上記のようにサーバ装置4に対してウェブギャラリー生成要求を送信すると、サーバ装置4でイベントデータ90に基づいてウェブギャラリーの生成が行われ、そのウェブページのURLが送信されてくる。図25はURLを取得した後のスタッフ端末1の処理となる。
 スタッフ端末1は、ステップS350で取得したURLを用いてウェブページにアクセスする。これによりスタッフ端末1においてウェブギャラリーをプレビュー閲覧ができる。
 これはカメラスタッフが確認のためのプレビューするための閲覧であり、そのプレビュー用のウェブギャラリーは、例えば図26のプレビュー画面180のようになる。
 例えばプレビュー領域183に作成されたウェブギャラリーが表示されると共に、エディットボタン181やシェアボタン182が用意される。
 プレビュー領域183に表示されるウェブギャラリー内容、即ちサーバ装置4が作成したウェブギャラリーは、フラグがオン設定された画像を、例えば時系列で並べた構成とされている。また表紙画像情報を設定した画像が表紙としてトップに表示される。また強調表示画像情報によりハイライト設定された画像は、ハイライト設定されていない画像よりも大きいサイズで表示される。なお、ハイライト設定がされていない画像であっても自動的に大きいサイズで配置される場合もある。これはギャラリー全体のバランスやメリハリを付けるために行われる。
 スタッフ端末1では、図25のステップS351でブラウジング終了操作を監視し、またステップS352でエディットボタン181の操作を監視し、ステップS353でシェアボタン182の操作を監視する。
 ブラウジング終了の操作を検知したらウェブページ閲覧を終了させる。
 エディットボタン181の操作を検知したら、スタッフ端末1はステップS360に進み編集処理を行う。
 カメラスタッフは、プレビュー領域183でウェブギャラリー内容を確認し、必要に応じてエディットボタン181を操作して、さらに編集を行うことができる。
 スタッフ端末1はステップS360の編集処理で、編集のためのインタフェース画像を表示させ、カメラスタッフの操作を受け付けるとともに、それによりプレビュー画像の編集を行う。例えば背景色、タイトルのフォント、タイトルの色、タイトルの位置、スライドショウの音楽などを編集可能とする。
 そして編集完了操作に応じて、編集情報をサーバ装置4に送信し、編集操作がウェブギャラリーにおいて反映されるようにする。
 カメラスタッフは必要に応じて編集操作を行った後、シェアボタン182を操作する。この場合スタッフ端末1はステップS370に進み、サーバ装置4に対してシェア要求を送信する。上述のようにサーバ装置4はシェア要求に応じて図24のステップS570でウェブギャラリーを公開設定する。
 スタッフ端末1は図25のステップS371でウェブギャラリーの納品完了の画面表示及び画面の操作に対応する処理を行う。
 例えばスタッフ端末1は、図27のウェブギャラリー納品画面190を表示させる。このウェブギャラリー納品画面190には、ウェブギャラリーの作成完了の通知や、有効期間が表示されるとともに、ウェブギャラリーのURL193が表示される。またコピーボタン191やシェアボタン192が表示される。
 カメラスタッフは、コピーボタン191を操作してURLをコピーし、電子メール等に添付してクライアント端末5に送信できる。またシェアボタン192を操作して、SNS等にURLを提供し、クライアントがSNSを介してウェブギャラリーを閲覧できるようにすることができる。
 以上により、クライアントは結婚式終了後、当日中などの極めて早い時点で、ウェブギャラリーを閲覧することができるようになる。
 なおURLをクライアントに配信してウェブギャラリーとして画像集を閲覧させるようにするのは一例である。例えば上記のウェブギャラリーに相当する画像集コンテンツを作成し、コンテンツファイルとしてクライアントに配信するものとしてもよい。
<8.本納品処理>
 図2のステップS5の段階で本納品処理が行われる。
 図28に本納品段階の処理を示している。これは例えばパーソナルコンピュータ3或いはスタッフ端末1で行われる処理である。以下ではパーソナルコンピュータ3で行われる処理として説明する。
 カメラスタッフは、パーソナルコンピュータ3を用いて操作を行い、ステップS400としてサーバ装置4にアクセスして、本納品のための情報読み込み要求を行う。
 そしてステップS401でサーバ装置4からイベントデータ90を取得する。
 例えばこの場合、サーバ装置4は、レーティング情報とセレクション情報、或いは編集情報をXMPファイルとしてダウンロードさせ、パーソナルコンピュータ3内のRAW画像ファイルに適用できるようにすることが考えられる。
 即ちレーティング情報や、フラグ設定を示す使用画像情報、カバー画像としたことを示す表紙画像情報、ハイライト設定したことを示す強調表示画像情報などが、パーソナルコンピュータ3に引き継がれる。
 なお、イベントデータ90の全てをパーソナルコンピュータ3に提供するようにしてもよい。
 カメラスタッフは、撮像装置2で撮像された画像データとしてのRAW画像データをパーソナルコンピュータ3に取り込んでおき、このRAW画像データを用いて本納品の画像集を生成する。この場合に、サーバ装置4からイベントデータ90に基づくXMPファイルを取得することで、作成作業が効率化できる。
 パーソナルコンピュータ3ではステップS402で必要な編集処理を行い、本納品の画像集を完成させる。
 その後ステップS403として本納品のための処理を行う。例えば画像集コンテンツとしてのコンテンツデータを生成し、電子的に送信したり、記録媒体に記録したり、印刷データとしたりする処理を行う。
 そして、作成されたコンテンツデータ、又はコンテンツデータを記録した記録媒体、又は印刷された紙媒体による画像集が、クライアントに届けられることになる。
<9.自動設定処理>
 以上で事前設定から本納品までの一連の処理を説明したが、ここで変形例として、図2のセレクションをより効率化する自動設定処理について説明する。
 図29は、図4の自動設定部33の機能により、スタッフ端末1の使用者であるカメラスタッフの過去のセレクション情報に基づいて生成された傾向情報に基づいて、自動的にセレクション情報を設定する処理を行う例である。
 例えばサーバ装置4では、或るカメラスタッフの複数のプロジェクトについてのイベントデータ90を管理していることになる。するとサーバ装置4は図6の傾向情報生成部44の機能により、そのカメラスタッフに関するイベントデータ90について学習処理を行い、そのカメラスタッフの選択傾向を示す傾向情報を生成することができる。
 例えば機械学習として、フラグオン設定された画像、ハイライト設定された画像、カバー設定された画像などをそれぞれ学習データとし、フラグオン設定される画像の特徴情報、ハイライト設定される画像の特徴情報、カバー設定される画像の特徴情報等を含む傾向情報を生成する。
 スタッフ端末1側では、例えば図13のステップS211などでイベント画面120を表示するタイミング、或いはそれ以前のタイミングで、図29の処理を行う。
 ステップS600でスタッフ端末1は、サーバ装置4が生成した、当該カメラスタッフの傾向情報を取得する。
 ステップS601でスタッフ端末1は、傾向情報に基づいて、撮像装置2から転送されてきた各画像の判定を行い、フラグオン設定される特徴を有するか、ハイライト設定される特徴を有するか、カバー設定される特徴を有するかなどを判定する。
 ステップS602でスタッフ端末1は、以上の判定結果に応じて、自動的に各画像についてフラグ設定、ハイライト設定、カバー設定を行う。
 カメラスタッフは、そのように自動設定が施された状態で、図13から図17で説明したセレクションの操作を行うことができる。これにより、カメラスタッフの作業が効率化できる可能性が高まる。
 なお、以上の処理はレーティングにも適用でき、自動的なレーティング情報設定も可能である。即ちサーバ装置4は、傾向情報生成部44の機能により、カメラスタッフの過去のプロジェクトのイベントデータ90を用いて、各レーティングレベルの画像をそれぞれ解析し、「星なし」の画像の特徴情報、「星1つ」の画像の特徴情報、「星2つ」の画像の特徴情報、「星3つ」の画像の特徴情報、「星4つ」の画像の特徴情報、「星5つ」の画像の特徴情報を生成する。もちろん、この全てではなく、例えば「星5つ」の画像の特徴情報のみを生成することなども考えられる。
 そしてスタッフ端末1は、そのような特徴情報を含む傾向情報を取得し、各画像の特徴情報との合致性を判定することで、全部又は一部の画像のレーティング情報を自動設定する。
 これもカメラスタッフのセレクションの際の操作を効率化できるものとなる。
 次に図30は、スタッフ端末1が自動設定部33の機能により、クライアントユーザの指向に基づいて生成された傾向情報に基づいて、自動的にセレクション情報を設定する処理を行う例である。
 例えばサーバ装置4では、クライアント(画像集の発注者である花嫁)の過去の行動から嗜好を判定し、傾向情報を設定しておく。例えばクライアントのSNSにおける挙動(画像に対する「いいね」の付与など)や、自己のSNSでの発信画像などから、好みの画像の傾向を判定し、傾向情報を設定する。
 スタッフ端末1側では、例えば図13のステップS211などでイベント画面120を表示するタイミング、或いはそれ以前のタイミングで、図30の処理を行う。
 ステップS610でスタッフ端末1は、サーバ装置4が生成した、当該プロジェクトのクライアント(例えば花嫁)の傾向情報を取得する。
 ステップS611でスタッフ端末1は、傾向情報に基づいて、撮像装置2から転送されてきた各画像の判定を行い、クライアントの嗜好に合致する特徴を有するかを判定する。
 ステップS612でスタッフ端末1は、以上の判定結果に応じて、自動的に各画像についてフラグ設定を行う。つまりクライアントの嗜好に合致する画像をウェブギャラリーに採用されるようにする。もちろんハイライト設定、カバー設定を行うようにしてもよい。
 カメラスタッフは、そのように自動設定が施された状態で、図13から図17で説明したセレクションの操作を行うことができる。これにより、カメラスタッフの作業が効率化できるとともに、クライアントの満足度を上げる画像集が作成できる可能性が高まることになる。
 なお、以上の処理はレーティングにも適用でき、自動的なレーティング情報設定も可能である。即ちサーバ装置4は、傾向情報生成部44の機能により、クライアントが好む画像の特徴情報を含む傾向情報を生成する。
 スタッフ端末1は、そのような特徴情報を含む傾向情報を取得し、各画像の特徴情報との合致性を判定することで、レーティング情報を自動設定する。
 これもカメラスタッフのセレクションの際の操作を効率化できるだけでなく、クライアントの満足度を向上させるものともなる。
<10.セレクション高速化支援処理>
 以下、実施の形態のさらなる処理例について各種説明していく。
 上述のように例えばカメラマンが結婚式、披露宴等において撮影を行い、画像集を制作することを想定すると、その結婚に関するイベントの1日において数千枚から1万枚以上の撮影をおこなうことがある。
 このように膨大な数の画像のうちで、上述のウェブギャラリーあるいは本納品としての画像集に採用する写真を選ぶための有効な手法として、レーティングによるセレクションが行われる。
 上述のようにレーティング情報が画像に紐づけられて管理されるが、レーティング情報は一例としては「星なし」から「星5つ」までの6段階の評価情報であり、カメラスタッフが、各画像を評価して設定する。
 図37Aには、或る画像に「星3つ」というレーティング情報が付加されたことを示している。
 カメラスタッフが、撮影されたすべての画像を見ながら評価して、レーティング情報を設定していくことで、例えば評価の高い画像を抽出し、その中で画像集に採用する画像を選択することなどができる。従って多数の画像の中から画像集に採用する画像の選択の観点でレーティング情報は有用である。
 例えば図37Bでは、レーティング情報が「星3つ以上」というような条件で画像を抽出する場合の例を示している。これにより星3つ以上とされた高評価の画像のみが抽出されるため、カメラスタッフはその中で画像集に採用する画像を選択できる。これは、撮影した全ての画像を対象にして画像集に採用する画像を選択することに比べれば極めて効率的である。
 ところが、この手法では、撮影した全ての画像についてレーティング情報を設定しなければならないため、その点で時間がかかり、また面倒な作業ともなりえる。
 またレーティングのための評価の基準が時間によって揺らぐことや、カメラスタッフによって評価が甘い/厳しいといった差が生じることもあり、全ての画像について統一した基準で評価を行うことも困難である。
 そこで以下説明する処理例では、結婚に関するイベントで撮影された複数の画像としての画像群を処理対象とする場合に、各画像についてなるべく一定の基準で且つ効率的に評価を行い、レーティング情報の設定自体も効率的にする。また場合によっては、全ての画像についてレーティング情報の設定を行わなくともよい場合も想定できるようにする。
 このために、各画像に対するシーン解析結果や撮像装置2で付与したメタデータを用いて、画像抽出を行うことができるようにする。
 例えばシーン解析結果に応じたアイコンを提供し、抽出条件に相当するアイコンを用いた操作で、条件に合致した画像を抽出し、それらについてレーティング情報を設定できるようにする。
 結果としてカメラスタッフが行う画像のセレクションを高速化できるような支援を実現する。
 なお、抽出した画像についてレーティング設定を可能とすることは一例であり、抽出した画像について画像集に採用する画像を選択する処理を行うようにしてもよい。
 すなわち以下説明するシーン解析等に基づくアイコンを用いた抽出処理は、レーティング設定のための画像抽出として述べるが、必ずしもレーティング設定を目的する処理に限定されるものではない。
 また、結婚に関するイベントとは、例えば結婚式、披露宴、二次会、結納、顔合わせ、見合いなどであり、新郎新婦を含む複数人が参加するイベントを指す。このようなイベントに特化したセレクション高速化支援として、抽出条件も適切なものが設定できるようにする。
 図38A、図38B、図38Cにより処理主体の例を説明する。
 シーン解析等に基づくセレクション高速化のための処理は、基本的には、撮像した画像の解析を行い、抽出条件を設定し、抽出条件に応じてシーン解析結果等を参照した画像の抽出を行うことになる。
 このような処理は、図1に示した撮像装置2、スタッフ端末1、サーバ装置4のいずれかで実行可能である。
 図38Aは、撮像装置2が当該処理を実行する場合を示している。
 撮像装置2では例えば表示部2aにおいて画像やアイコン等を表示できる。また各種操作子が設けられている。
 この撮像装置2では、或るイベントで撮像して記録した画像群の各画像について解析処理を行い解析結果データを得る。そして抽出操作に応じて各画像について解析結果データを利用した抽出条件該当判定を行い、その結果として抽出した画像を表示部2aに表示させる。カメラスタッフは、抽出された画像に対してレーティング設定等を行うことができる。
 なお、撮像装置2は、撮像した各画像をサーバ装置4に送信し、サーバ装置4において画像群の各画像の解析を行い、解析結果データを撮像装置2に送信するようにすることも可能である。この場合も撮像装置2では、カメラスタッフの抽出操作に応じて解析結果データを利用した抽出を行い、抽出結果として抽出した画像を表示部2aに表示させることができる。
 図38Bはスタッフ端末1が当該セレクション高速化支援処理を実行する場合を示している。
 撮像装置2で撮像した画像をスタッフ端末1に転送する。スタッフ端末1は、例えば撮像装置2から受信した画像群の各画像を縮小画像としてクラウド7におけるサーバ装置4に送信する。サーバ装置4では画像群の各画像の解析を行い、解析結果データをスタッフ端末1に送信する。スタッフ端末1では、カメラスタッフの抽出操作に応じて解析結果データを利用した抽出を行い、抽出した画像を表示部1aに表示させることができる。
 なお、スタッフ端末1内で画像解析を行ってもよい。即ちスタッフ端末1は、撮像装置2から受信した画像群の各画像の解析を行い、解析結果データを得る。そしてカメラスタッフによる抽出条件の指定操作に応じて解析結果データを利用した抽出を行い、抽出した画像を表示部1aに表示させる。
 図38Cはクラウド7におけるサーバ装置4が当該処理を実行する場合を示している。
 撮像装置2で撮像した画像をサーバ装置4に送信する。サーバ装置4には、撮像装置2から受信した画像群の各画像の解析を行い、解析結果データを得る。そしてサーバ装置4は、例えばブラウザやアプリケーションプログラム等を介して、スタッフ端末1にインタフェースを提供する。
 スタッフ端末1側ではブラウザで閲覧するウェブページ画面などに対してカメラスタッフが抽出操作を行うことができる。この抽出操作に応じてサーバ装置4は解析結果データを利用した抽出を行い、抽出結果として抽出した画像を、ブラウザ等を介してスタッフ端末1の表示部1aに提供する。
 なお撮像装置2で撮像した画像は一旦スタッフ端末1に転送され、スタッフ端末1がサーバ装置4に送信するようにし、その後サーバ装置4が解析や、ブラウザ等を介したインタフェースの提供を行うようにしてもよい。
 また撮像装置2がウェブブラウジング機能等を備えていれば、カメラスタッフは撮像装置2を用いて抽出条件の指定や抽出画像の閲覧を行うことも可能となる。
 以上のいずれの場合でも、カメラスタッフは、セレクション高速化のための画像抽出結果を得ることができるようになる。このようなセレクション高速化支援処理により、カメラスタッフによる多数の画像に対するレーティング設定の作業や、画像集に採用する画像の選択作業を支援することができる。
 スタッフ端末1やサーバ装置4となる情報処理装置10の構成例は図3で説明した。また撮像装置2は、マイクロコンピュータ等を内蔵するため図3の情報処理装置10としての構成を備えることにもなる。
 そしてセレクション高速化のための処理については、図3のCPU71が例えば図39Aの機能を備えることで実現される。
 図39Aには、撮像装置2、スタッフ端末1、サーバ装置4としての情報処理装置10のCPU71に設けられる機能として、UI制御部31、抽出処理部34、レーティング情報管理部35、解析結果データ受信部36、解析部37、動画編集部38を示している。
 セレクション高速化支援処理に関しては、少なくともUI制御部31、抽出処理部34が設けられると共に、解析結果データ受信部36と解析部37のいずれかが設けられればよい。
 UI制御部31は図4において説明したように、画像やレーティング情報等の提示制御を行うとともに操作入力を検知する処理を行う機能である。
 特にセレクション高速化のための処理について述べると、UI制御部31は、結婚に関するイベントで撮影された複数の画像である画像群を分類可能な抽出条件を指定することができるようにするUI処理を行う。具体的には後述するアイコンの表示やそれに応じた操作検知などの処理も行うことになる。
 抽出処理部34は、或るイベントの画像群から、指定された抽出条件に基づいて、1又は複数の画像の抽出を行う機能である。
 例えば抽出処理部34は、アイコンで指定された抽出条件に基づいて、画像の解析結果データを参照して画像抽出を行う。各種の具体例は後述する。
 レーティング情報管理部35は、抽出された画像についてレーティング設定が行われた場合に、画像のレーティング情報を更新する処理を行う機能である。スタッフ端末1の場合、図4で説明したイベントデータ管理部30の機能に含まれると考えることもできる。
 解析結果データ受信部36は、解析結果データの受信を行う機能としている。
 解析部37は、各画像について画像解析を行い、解析結果データを生成する機能としている。
 解析結果データ受信部36や解析部37は、いずれか一方が設けられればよい。
 例えば図38Aのように撮像装置2の単体でセレクション高速化の処理を行う場合、撮像装置2のCPU71は、解析部37を備えて解析結果データを得ることで、解析結果データ受信部36の機能は必要ない。
 また、撮像装置2が例えばサーバ装置4に解析を実行させてサーバ装置4から解析結果データを受信するようにする場合は、撮像装置2のCPU71は、解析部37の機能は不要で、解析結果データ受信部36の機能を備えればよい。
 その場合、サーバ装置4のCPU71は図39Bのように解析部37を備えるようにする。
 また図38Bのようにスタッフ端末1がサーバ装置4から解析結果データを受信するようにする場合は、スタッフ端末1のCPU71は、解析部37の機能は不要で、解析結果データ受信部36の機能を備えればよい。その場合、サーバ装置4のCPU71は図39Bのように解析部37を備えるようにする。
 またスタッフ端末1内で画像解析を行う場合は、スタッフ端末1のCPU71は、解析部37の機能を備える。解析結果データ受信部36は不要である。
 図38Cのようにサーバ装置4において画像解析及びブラウザ等を介したUI処理、抽出処理を行う場合、解析結果データ受信部36は不要となる。
 動画編集部38は、特に抽出した動画について編集処理を行う機能を示している。これは、後述するハイライト動画生成を行う場合に設けられる機能である。
 解析部37によるシーン解析について説明する。
 解析部37は、カメラスタッフ等により撮影された画像を解析し、シーン認識、人物認識を行う。
 この手法として代表的なものとして、機械学習が用いられる。
 例えば機械学習によって画像を解析して以下の人物や物体(シーン)の情報を取得する。
・人物情報
 男女判別、顔情報、目つぶり情報、画面上の顔のサイズ、感情、笑顔、表情の種別等
・シーン情報
 ケーキ、花婿、花嫁、ブーケ、教会等
 図40Aは、或る画像について解析を行い、解析結果として「ブーケ」とされる物体が含まれていることを判定した例である。認識率とは、解析結果の信頼性の値である。
 図40Bは、或る画像について解析を行い、解析結果として「花嫁」「花婿」としての人物や、「ケーキ」としての物体が含まれていることを判定した例である。
 このような画像解析の結果として、画像に「ブーケ」が含まれることを示す解析結果データや、画像に「花嫁」「花婿」「ケーキ」が含まれていることを示す解析結果データが、各画像に関連付けられるようにする。
 そしてこのような解析結果データを参照して画像の抽出が行われるようにする。
 例えば「ブーケ」という抽出条件をユーザが指定した場合、解析結果データとして「ブーケ」が関連付けられている画像が抽出されるようにする。
 即ち、解析結果データとされた情報を用いたAND条件やOR条件の抽出が行われるようにすることで、ユーザが所望のシーンの画像を選択的に閲覧できるようにする。これにより撮影した全ての画像を見なくとも、所望のシーンの画像からレーティング設定を行ったり、画像集に採用する画像の選択を行ったりしていくことができ、カメラスタッフのセレクション作業を効率化できる。
 この具体的な手法を図41A、図41Bに例示する。
 図41Aは、例えばスタッフ端末1の表示部1a、又は撮像装置2の表示部2aにおける表示例を示している。
 表示部1a(又は2a)において、画像領域128とともにアイコン領域200が設定される。画像領域128には、抽出前の状態では、例えば処理対象の画像群の画像、つまりある結婚イベントで撮影された一連の画像が一覧表示される。
 このような一覧画像から所望のシーンや人を抽出するための抽出条件を指定するアイコンICがアイコン領域200に表示される。
 詳細は後述するがアイコンICは、当該画像群の各画像における解析結果データを用いた抽出条件を指定できるものである。
 カメラスタッフ等のユーザは、任意のアイコンICを指定することで抽出条件を指定できる。例えば「花嫁」のアイコンを指定すれば、「花嫁」が抽出条件となり、花嫁が含まれる画像の抽出が行われる。
 またユーザは、図41Bに示すように、複数のアイコンICを任意に指定することで、いわゆるアンド条件やオア条件等を含む抽出式のような抽出条件を設定することも可能である。
 例えばケーキカットシーンの画像を抽出したい場合に「花嫁」「花婿」「ケーキ」のアイコンICをアンド条件で指定する操作を行う。
 また花嫁のアップが印象的なシーンを抽出したい場合には「花嫁」「ひとり」「寄り(アップ)」「ブーケ」のアイコンICや特定の時間帯を指定する「時間指定」のアイコンICを指定するなどの操作を行うことで、目的の画像を絞り込み易くすることができる。
 このような手法による画像抽出を行うセレクション高速化支援処理例を説明していく。以下の例は、画像解析後に、アイコンICに基づく操作が行われることに応じて画像抽出が実行され、ユーザが抽出された画像に対してレーティング設定を行う場合を想定したものとしている。
 従ってこの場合のセレクション高速化支援は、レーティング設定の効率化を実現できるが、セレクション高速化支援処理は、レーティング設定効率化のために用いられることに限られないことは前述のとおりである。
 例えば前述したウェブギャラリーに掲載する画像の選択や、カバー画像、ハイライト画像の選択、さらには編集したい画像の選択などに、セレクション高速化支援処理が実行されることも考えられる。従って以下の各処理におけるレーティング設定の処理は、これらの画像選択の処理に置き換えて考えることができる。
 図42は、図38Aで述べたように撮像装置2においてセレクション高速化支援処理を行う例である。
 撮像装置2におけるCPU71は、ステップS700で撮影によって得た画像データの保存を行う。これは撮影された画像データを逐次内部の記憶部79に保存する処理を包括的に示している。カメラマンの一連の撮影により、多数の画像が記憶部79に保存されていく。
 ステップS701でCPU71は、保存されたそれぞれの画像に対して画像解析を行う。上述のように各画像について解析により人物情報やシーン情報を得、解析結果データを生成する。解析結果データは画像に関連付けた情報、つまりメタデータとして記録する。
 この画像解析の処理は、一枚の画像撮像が行われる毎に逐次実行してもよいし、定期的に新たな撮像画像に対して行うようにしてもよい。またカメラマンが所定の操作、例えば画像抽出を実行するための操作を行った際に、保存されている画像に対してまとめて実行するようにしてもよい。
 ステップS702でCPU71は、表示部2aにおいてアイコン領域200にアイコンICを表示させる。
 表示するアイコンICの種別としては、結婚に関するイベントのために予め設定したアイコンとすることが考えられる。例えば「花嫁」「花婿」「ケーキ」「ブーケ」等のアイコンが用意されるようにする。
 またこのようなアイコンICは、固定的に表示されるのではなく、解析結果データに基づいて選択して表示するとよい。即ちステップS701での各画像の解析により得られた人物情報やシーン情報として、存在するものに対応するアイコンICが選択されて表示されるようにする。あるいは解析結果データとして得られた人物や物体に基づいて対応するアイコンICが生成されて、表示されるようにしてもよい。
 このようにすれば、画像抽出が可能なアイコンICのみが表示されるようにすることができる。例えば処理対象の画像群の全ての画像のうちに「ケーキ」が含まれる画像が存在しなかったとすると、「ケーキ」のアイコンICは不要といえる。ユーザが「ケーキ」のアイコンICを指定しても画像が抽出されないためである。解析結果データとして得られた人物や物品に相当するアイコンICのみをユーザに提示するようにすることで、意味の無い(画像が抽出されない)アイコンICの指定が行われることをなくすことができる。
 ステップS703でCPU71は抽出条件を確認する。即ちUI処理によりユーザによるアイコンICの指定操作を検知する。
 ステップS704でCPU71は、指定された抽出条件に基づいて画像抽出処理を行い、抽出された画像の表示制御を行う。即ち処理対象としている画像群の各画像に関連付けられた解析結果データを参照し、抽出条件に合致する画像を抽出する。そして抽出した画像が表示部2aにおける画像領域128に表示されるようにする。
 この後、ユーザが、画像領域128に表示された画像に対してレーティング操作を行った場合、CPU71はステップS705からステップS706に進み、レーティング情報の保存を行う。撮像装置2のCPU71の場合、レーティング情報を、画像に関連付けられたメタデータとして保存することになる。
 次に図43は、図38Bで述べたようにスタッフ端末1においてセレクション高速化支援処理を行う例である。但し、画像解析もスタッフ端末1内で行う場合の例としている。
 スタッフ端末1におけるCPU71は、ステップS720で撮像装置2からの画像の受信を行う。これは、例えばカメラマンの一連の撮影により撮像装置2に保存された画像が近距離無線通信あるいは有線通信、あるいは記録媒体による受け渡しなどにより、スタッフ端末1内の記憶部79に取り込まれるようにする処理である。
 ステップS721でスタッフ端末1のCPU71は、撮像装置2から受信したそれぞれの画像に対して画像解析を行う。各画像について解析により人物情報やシーン情報を得、解析結果データを生成する。解析結果データは画像に関連付けた情報として保存する。
 この場合は、解析結果データは、例えば図5のようなイベントデータ60において、各画像に関連付ける情報として記憶することが考えられる。具体的にはイベントデータ60の撮像・編集情報テーブル62において、各画像に対応する解析結果データが保存されるようにする。例えば図5のイベントデータ60内のメタデータMT1,MT2・・・に加えられて保存されてもよいし、これらメタデータMT1,MT2・・・とは別に、撮像・編集情報テーブル62内で解析結果データが各画像に対応して記憶されるようにしてもよい。どのような記憶形態であれ、解析結果データが画像に関連付けられた状態で保存されればよい。
 この画像解析の処理は、例えば撮像装置2からの画像転送が行われた際に、その転送されてきた各画像について行われるようにすることが想定される。またカメラスタッフが所定の操作、例えば画像抽出を実行するための操作を行った際に、保存されている画像に対してまとめて実行するようにしてもよい。
 ステップS722でCPU71は、表示部1aにおいてアイコン領域200にアイコンICを表示させる。上述の撮像装置2の場合と同じく、表示するアイコンICの種別としては、結婚に関するイベントのために予め設定したアイコンとすることが考えられるが、特には、解析結果データとして得られた人物や物品に相当するアイコンICのみをユーザに提示するようにするとよい。
 ステップS723でCPU71は抽出条件を確認する。即ちUI処理によりユーザによるアイコンICの指定操作を検知する。
 ステップS724でCPU71は、指定された抽出条件に基づいて画像抽出処理を行い、抽出された画像の表示制御を行う。即ち処理対象としている画像群の各画像に関連付けられた解析結果データを参照し、抽出条件に合致する画像を抽出する。そして抽出した画像が表示部1aにおける画像領域128に表示されるようにする。
 この後、ユーザが、画像領域128に表示された画像に対してレーティング操作を行った場合、CPU71はステップS725からステップS726に進み、レーティング情報の保存を行う。スタッフ端末1のCPU71の場合、設定されたレーティング情報を、図5のようなイベントデータ60の撮像・編集情報テーブル62におけるレーティング情報として保存・更新することになる。
 なおスタッフ端末1で、ステップS724以降にカメラスタッフの操作により、例えばウェブギャラリーに掲載する画像の選択や、カバー画像、ハイライト画像の選択、さらには編集したい画像の選択などが行われることもある。その場合は、それらの操作に応じてイベントデータ60の更新が行われることになる。
 次に図44は、図38Cで述べたようにサーバ装置4によりセレクション高速化支援処理を行う場合の例である。
 サーバ装置4におけるCPU71は、ステップS740でスタッフ端末1又は撮像装置2からの画像の受信を行う。例えばカメラマンの一連の撮影により撮像装置2に保存された画像、あるいはスタッフ端末1に転送された画像が、クラウド7におけるサーバ装置4にアップロードされる。
 ステップS741でサーバ装置4のCPU71は、受信したそれぞれの画像に対して画像解析を行う。各画像について解析により人物情報やシーン情報を得、解析結果データを生成する。解析結果データは画像に関連付けた情報として保存する。この場合は、解析結果データは、例えば図7のようなイベントデータ90において、各画像に関連付ける情報として記憶することが考えられる。
 ステップS742からステップS746は、サーバ装置4がブラウザやアプリケーションプログラム等によりスタッフ端末1にUI画像を提供する処理となる。例えばスタッフ端末1がブラウザ等によりサーバ装置4に表示を要求することに応じてステップS742以降の処理が行われる。
 ステップS742で、CPU71は、例えばウェブページ上のアイコン領域200の表示として、スタッフ端末1の表示部1aにアイコンICを表示させる。この場合も表示するアイコンICの種別としては、結婚に関するイベントのために予め設定したアイコンとすることが考えられるが、特には、解析結果データとして得られた人物や物品に相当するアイコンICのみをユーザに提示するようにするとよい。
 ステップS743でCPU71は、スタッフ端末1等で行われる操作に基づく抽出条件を受信する。
 ステップS744でCPU71は、指定された抽出条件に基づいて画像抽出処理を行い、抽出された画像の表示制御を行う。即ち処理対象としている画像群の各画像に関連付けられた解析結果データを参照し、抽出条件に合致する画像を抽出する。そして抽出した画像がウェブページ上などの画像領域128として、表示部1a等で表示されるようにする。
 この後、ユーザが、画像領域128に表示された画像に対してレーティング操作を行った場合、CPU71はステップS725からステップS726に進み、レーティング情報の保存を行う。サーバ装置4のCPU71の場合、設定されたレーティング情報を、図7のようなイベントデータ90の撮像・編集情報テーブル92におけるレーティング情報として保存・更新することになる。
 なおスタッフ端末1で、ステップS744以降にカメラスタッフの操作により、例えばウェブギャラリーに掲載する画像の選択や、カバー画像、ハイライト画像の選択、さらには編集したい画像の選択などが行われることもある。その場合は、サーバ装置4のCPU71はそれらの操作に応じてイベントデータ90の更新が行われることになる。
 サーバ装置4側でイベントデータ90が更新された場合は、上述のようにスタッフ端末1側のイベントデータ60も同期されることになる。
 なお撮像装置2がウェブブラウジング機能等を備えていることで、図44の処理は、スタッフ端末1に限らず、撮像装置2を用いたインタフェース処理としても実現可能である。
 ところで図38A、図38Bでは、撮像装置2やスタッフ端末1においてセレクション高速化支援の処理を行う場合に、画像解析をサーバ装置4において実行する例も述べた。その場合、図42のステップS701,図43のステップS721の画像解析の処理は図45のように行われればよい。
 例えば図45のステップS800,S803は、スタッフ端末1や撮像装置2のCPU71における解析結果データ受信部36(図39A)の機能による処理、ステップS801,S803はサーバ装置4のCPU71における解析部37(図39B)の機能による処理となる。
 ステップS800として、撮像装置2又はスタッフ端末1は、撮像画像をサーバ装置4にアップロードする。この場合、例えば通信量、通信速度などを考慮して、撮像画像を、解像度を低下させた縮小画像として送信することが考えられる。オリジナル画像はサイズが大きく転送と解析に時間がかかるため、解析に十分なサイズに縮小することで、転送時間を削減することができ、またサーバ装置4の解析処理負荷も低下させることができる。
 なお、画像を縮小せずにアップロードすることも考えられるが、その場合サーバ装置4が、解析のために縮小画像を作成することも考えられる。
 ステップS801では、サーバ装置4において、各画像に対する解析処理を行い、解析結果データを生成する。
 ステップS802でサーバ装置は、各画像についての解析結果データを撮像装置2又はスタッフ端末1に返信する。
 ステップS803で撮像装置2又はスタッフ端末1は、サーバ装置4からの解析結果データを受信し、保存する。例えば撮像装置2であれば、画像に対するメタデータとして保存したり、別途データベース化して保存したりする。スタッフ端末1であればイベントデータ60において保存することが考えられる。
 以上の処理が図42のステップS701又は図43のステップS721で行われるようにすることで、撮像装置2やスタッフ端末1において、比較的処理負荷の高い解析処理を行わなくてもよいようにすることができる。
 以上説明した処理例により実現されるセレクション高速化支援の具体例を説明していく。
 なお逐次言及しないが、以降説明する各図の表示例は、スタッフ端末1の表示部1a又は撮像装置2の表示部2aにおける表示例とする。表示部1a、2aの表示例とは、ブラウザやアプリケーションプログラムによるサーバ装置4が提供する画像の表示を行う場合も含む。
 図46はセレクション高速化支援におけるユーザインタフェースの例を示している。
 図46Aは、画像領域128に撮影画像が一覧表示され、またアイコン領域200は、各種アイコンICが表示されている。このアイコンICは、例えば各画像の解析結果に応じて表示される。
 図46Bは、アイコンIC1,IC4が、ユーザによって指定されることで抽出条件が決定され、それに応じた抽出処理で抽出された画像が画像領域128に表示されている例である。
 指定されたアイコンIC1,IC4は、アイコン領域200において他のアイコンICとは異なる態様で表示される。この例では、アイコンの枠が太く表示されている例としている。これにより、どのアイコンICが指定された状態かをユーザが認識できるようにしている。
 異なる表示態様としては多様に考えられる。指定されたアイコンICは、そのアイコン自体又は枠について、他のアイコンICと比較して、色、輝度、サイズを変えるようにしたり、通常は二次元表示のアイコンを三次元的に表示させたりすることが考えられる。
 特に複数のアイコンをユーザが指定することを想定すると、表示態様を変えて指定されたアイコンICを明確に提示することがユーザにとって望ましい。
 画像領域128の各画像にはレーティングアイコン130が示される。
 ユーザはレーティングアイコン130を操作して、各画像に対するレーティング情報を設定できる。図46Bのような抽出結果を確認したユーザは、各画像に対してレーティング設定を行う。図46Cは、操作によりレーティング情報が更新された状態を示している。
 例えばこのように、ユーザはセレクション高速化支援の処理を利用して、所望の抽出条件の画像を閲覧でき、その上で、抽出された画像を見比べながらレーティング設定を行うことができる。もちろんレーティング設定に限らず、ウェブギャラリーに掲載する画像の選択、カバー画像の選択、ハイライト画像の選択、編集したい画像の選択などを行うことができるようにしてもよい。
 アイコン領域200に表示されるアイコンICの例を図47に示しているが、例えば次のようなものがある。
 アイコンIC1:花嫁が写っている画像
 アイコンIC2:花婿が写っている画像
 アイコンIC3:ケーキが写っている画像
 アイコンIC4:人物が一人だけ写っている画像
 アイコンIC5:複数の人物が写っている画像
 アイコンIC6:顔のサイズが大きいアップの画像(例えば顔サイズが画面の横幅の20%以上を占めている画像)
 アイコンIC7:顔のサイズが小さい「引き」の画像(例えば顔サイズが画面の横幅の5%以下である画像)
 アイコンIC8:グラスが写っている画像
 アイコンIC9:ブーケが写っている画像
 アイコンIC10:時間指定用のアイコン(例えば時間の区切りやシーンの区切りで分けるために、時刻、時間範囲などを指定するためのアイコン)
 以上は一例であり、これら以外にも各種のアイコンが想定されるが、結婚に関するイベントにおける画像抽出に適したアイコンであることが望ましい。上述のように画像解析の結果により、適したアイコンが学習され、抽出条件の設定用のアイコンICとして追加されていくようにしてもよい。例えば或る物体が、比較的多くの画像に写っていることを学習により判定されたら、その物体に相当するアイコンを追加するなどである。このようにすることで、結婚式等で被写体となりやすい物品が自動的にアイコン化されるようにすることができる。
 抽出受験画像抽出の例を各種説明していく。なお、以下の説明で特に言及しない場合は、複数のアイコンICが指定される場合、それらアイコンICで表される抽出条件がAND条件とされるものとする。
(例1:人物情報を抽出条件とする例)
 図48は、花嫁を表すアイコンIC1と人物一人を表すアイコンIC4が指定された場合であり、これによって花嫁のみが写っている画像が抽出される。結婚式の主役である花嫁の画像についてレーティングや選択を行う場合に有用となる。
 同様に、花婿を表すアイコンIC2と人物一人を表すアイコンIC4が指定されることで花婿のみが写っている画像が抽出される。
(例2:人物と人数を抽出条件とする例)
 図49は、花嫁を表すアイコンIC1と複数人物を表すアイコンIC5が指定された場合であり、これによって花嫁を含みつつ複数人物が写っている画像が抽出される。花嫁と関係者を含む画像についてレーティングや選択等を行う場合に有用となる。
 同様に、花婿を表すアイコンIC2と複数人物を表すアイコンIC5が指定されることで花婿を含む複数人物が写っている画像が抽出される。
(例3:人物、人数と、顔サイズを抽出条件とする例)
 図50は、花嫁を表すアイコンIC1、人物一人を表すアイコンIC4、アップ画像を表すアイコンIC6が指定された場合であり、これによって花嫁のみがアップで写っている画像が抽出される。
 顔のアップ、あるいは「引き」のカットは、顔を含む矩形(バウンディングボックスBB)の大きさから判断すればよい。
 図51A、図51BにバウンディングボックスBBの例を示している。
 図51Aは、バウンディングボックスBBが左上座標と右下座標で定義される例である。
 図51Bは、バウンディングボックスBBが左上座標と、幅(width)、高さ(height)で定義される例である。
(例4:人物、人数と、顔サイズを抽出条件とする例)
 図52は、花嫁を表すアイコンIC1、人物一人を表すアイコンIC4、「引き」の画像を表すアイコンIC7が指定された場合であり、これによって花嫁のみが「引き」で写っている画像が抽出される。
(例5:人物と物を抽出条件とする例)
 図53は、花嫁を表すアイコンIC1、ケーキを表すアイコンIC3が指定された場合であり、これによって花嫁とケーキが写っている画像が抽出される。例えばケーキカットのシーンの画像を確認したい場合などに用いられる。このように物を抽出条件とすることで、所望のシーンを抽出しやすいものとなる。
(例6:物を抽出条件とする例)
 図54は、ブーケを表すアイコンIC9が指定された場合であり、これによって被写体としてブーケを検出した画像が抽出される。結婚式等を象徴するような物品が映っている画像を抽出したい場合などに有用である。
(例7:人物と時間情報を抽出条件とする例)
 図55は、花嫁を表すアイコンIC1、花婿を示すアイコンIC2、時間指定のアイコンIC10が指定された場合である。時間指定のアイコンIC10については、操作されることに応じて時刻範囲を入力する時間指定枠202が現れ、ユーザは所望の時刻を入力する。図の例の場合、13時から14時に撮像した画像のうちで花嫁と花婿が写っている画像が抽出されることになる。
 時間情報を指定することは、特定の時刻のシーンを抽出するための条件ともいえる。
(例8:人物を抽出条件とし、認識レベルを表示する例)
 図56は、花嫁を表すアイコンIC1、花婿を表すアイコンIC2が指定された場合であり、これによって花嫁と花婿が写っている画像が抽出される。この場合に、各画像に対して、感情・表情認識レベル201の表示が行われるようにする。
 感情・表情認識レベルとは、笑顔、驚きの顔、泣き顔など、感情や表情を認識する場合に、その度合いを示す値とする。画像認識の際に例えば「笑顔」を認識する処理を行う場合に、笑顔の度合いを認識レベルとして数値化するようにし、これを解析結果データに含めるようにしておく。その場合、図示のように、感情・表情認識レベル201の表示を行うことができる。ユーザは、この感情・表情認識レベル201を参考にして、レーティング設定や選択を行うことができる。
 ここまで、解析結果データに対応したアイコンICにより抽出条件を指定する例を述べてきたが、その場合のUI例について説明する。
 例えば撮像装置2の表示部2aや、スタッフ端末1としてスマートフォン等を想定した場合の表示部1aは、表示面積が、例えばデスクトップPC等に比べて小さく、視認性や操作性が低い場合がある。そのような比較的小さい表示部2a、1aを用いる場合に好適なUI例を説明する。
 図57,図58は撮像装置2の表示部2aを示している。また操作子として撮像装置2に設けられている十字キー2cやホイール2dを例示している。
 十字キー2cは、上下左右及び中央のキーが押圧可能な操作子である。ホイール2dは回転操作及び中央キーの押圧が可能な操作子である。
 表示部2aにおいては、例えば画面上方に画像領域128が設定され、画面下方にアイコン領域200が設定される。このアイコン領域200として、候補領域AR1と選択領域AR2が設定される。
 候補領域AR1は、画面最下方においてアイコンICが横一列に並ぶような領域とされ、十字キー2cの左キーや右キーの操作、あるいはホイール2dは回転操作により、表示されるアイコンICが横方向にスクロールされつつ、中央に位置する1つのアイコンICがカーソルKで選択中となることを模式的に示している。
 なお、図では表示部2aの画面からはみ出すようにアイコンICの列を表記しているが、これはスクロールによって各アイコンICが画面内に表示されることを模式的に示す意味である。
 選択領域AR2は、候補領域AR1の上方に隣接した領域としている。
 ユーザは、候補領域AR1に対してスクロール操作を行い、所望のアイコンICをカーソルKで選択する状態とする。その上で、十字キー2cの中央キー又はホイール2dの中央キーを押圧してエンター操作を行う。
 その場合、エンター操作に係るアイコンICは、図58のように選択領域AR2に表示されるようにする。
 このようにユーザが指定したアイコンICが、選択領域AR2に表示されることで、指定済みのアイコン種別をユーザが確認しやすいものとなる。上述のように表示態様を変化させることで指定状態を表すことも有用であるが、特に撮像装置2の表示部2aのように比較的小型の画面では、表示態様の違いがわかりにくい場合もある。また全てを一度に表示できず、スクロールで対応する場合、表示態様を変えていても、そのアイコン自体が表示されずに、確認しにくい場合もある。図58のように候補領域AR1とは別途に選択領域AR2を用意し、そこに表示することが指定状態を示すものとすると、小型の画面でも指定済みのアイコンICが確認しやすいものとなる。
 1以上のアイコンICが選択領域AR2に表示されている状態で、所定の操作が行われることで、それらのアイコンICに応じた抽出条件で抽出が行われ、抽出された画像が画像領域128に表示される。図58の例では、花嫁を表すアイコンIC1と人物一人を示すアイコンIC4が選択領域AR2に表示されている。この場合、これらが抽出条件とされ、花嫁一人が写っている画像が抽出される画像領域128に表示されることになる。
 また、一旦選択領域AR2に表示させたアイコンICを、ユーザが選択解除の操作を行うことで、選択領域AR2から消去することもできる。
 例えば十字キー2cの上キーの操作によりスクロール対象が選択領域AR2に移動するようにする。そのうえでスクロール操作によりカーソルKを任意のアイコンICを選択中とし、エンター操作する。これにより、当該アイコンICは選択状態が解除され、選択領域AR2から消去される。
 なお、図57、図58の例では、アイコンIC4が指定された場合を示しているが、図58のように、アイコンIC4は、候補領域AR1と選択領域AR2の両方に表示されることになる。
 このような例に代えて、指定されたアイコンICが候補領域AR1から選択領域AR2に移動されるようにしてもよい。例えば図58の例では選択領域AR2にアイコンIC1,IC4が表示されているが、このとき候補領域AR1ではアイコンIC1,IC4が消去される(スクロールしても現れない)ようにする。
 すると、選択領域AR2のアイコンICが増えるほど、選択可能な候補となる候補領域AR1のアイコンが減っていき、ユーザにとって選択しやすく、また重複選択操作を避けることができる。
 またこのようにアイコンICの移動とする場合は、選択領域AR2において選択解除されたアイコンICについては、候補領域AR1での表示が復活するようにする。
 次に図59,図60は、スタッフ端末1の表示部1a、特にスマートフォン等の小型携帯機器の表示部1aを想定する場合である。表示部1aではタッチパネル機構が設けられ、ユーザがタップ、ダブルタップ、フリック、ドラッグ、ピンチイン/アウト等の操作が可能とされているとする。
 上記図57と同様に、表示部1aにおいて、例えば画面上方に画像領域128が設定され、画面下方にアイコン領域200が設定される。このアイコン領域200として、候補領域AR1と選択領域AR2が設定される。
 候補領域AR1は、画面最下方においてアイコンICが横一列に並ぶような領域とされ、左右方向のフリック操作により、表示されるアイコンICが横方向にスクロールされつつ、中央に位置する1つアイコンICがカーソルKで示されることを模式的に示している。
 ユーザは、候補領域AR1に対してスクロール操作を行い、所望のアイコンICをカーソルKで選択する状態とする。その上で、アイコンICを選択領域AR2に向けてドラッグ等の操作を行うことで、図60のように選択領域AR2に表示されるようにする。
 1以上のアイコンICが選択領域AR2に表示されている状態で、所定の操作が行われることで、それらのアイコンICに応じた抽出条件で抽出が行われ、抽出された画像が画像領域128に表示される。
 また、一旦選択領域AR2に表示させたアイコンICを、ユーザが選択解除の操作を行うことで、選択領域AR2から消去することもできる。
 例えばユーザは選択領域AR2にあるアイコンICに対してタップ操作を行う。これにより、当該アイコンICは選択状態が解除され、選択領域AR2から消去される。
 以上のようにスタッフ端末1の表示部1aの場合も、ユーザが指定したアイコンICが、選択領域AR2に表示されることで、指定済みのアイコン種別をユーザが確認しやすいものとなる。
 もちろんこの場合も、指定されたアイコンICは、候補領域AR1から選択領域AR2、に移動され、また選択解除されたアイコンICは、選択領域AR2から候補領域AR1に移動されるようにしてもよい。
 次に図61に、結婚式等の画像を対象とする場合に有用なアイコンICの例をさらに挙げる。図47で示したアイコンICの例のさらなるバリエーションである。
 図61Aは、花嫁の伏し目のシーンの画像を抽出条件とするアイコンIC20である。
 図61Bは、泣いているシーンの画像を抽出条件とするアイコンIC21である。
 図61Cは、感動や驚きの表情の画像を抽出条件とするアイコンIC22である。
 これらは被写体人物の感情や表情が現れている画像を抽出するために有用な抽出条件のアイコンICとなる。特に結婚式に関するイベントの画像集では感情や表情が豊かなシーンを採用することが望ましい。そのため感情や表情の要素を加えた抽出条件を設定し、それに応じたアイコンICにより簡易に画像抽出ができるようにする。
伏し目のシーンの画像は、目つぶり、顔の角度、機械学習で判定することができる。
泣いているシーンの画像は、涙の検出や、ハンカチや手で涙をぬぐっている仕草などで判定できる。
感動や驚きのシーンの画像は、表情判定、特に目、口、仕草などの解析で判定できる。
 従って、画像解析によりこれらのシーンを判定し、解析結果データに含めることで、アイコンIC20,IC21,IC22等の抽出条件での画像抽出が可能となる。
 図61Dは、個人顔認識による本人の顔のアイコンIC20,IC31を示している。結婚式等に参加した個人の顔を抽出してアイコンICとすることで、特定の人の画像を抽出できるようにする。
 各画像の解析の際に、個人識別を行うようにすることで、各参加者の顔画像を用いてアイコンICを生成することで、このような個人顔アイコンを作成し、セレクション高速化支援のためのアイコンとして使用できる。
 続いて、解析結果データだけでなく、撮像装置2で付加されたメタデータとの連携を考える。
 例えば撮像装置2では、撮影時に合焦位置情報をメタデータとして画像に関連付けておく。この合焦位置情報と、解析結果データを組み合わせることで、フォーカスが当たっている位置による絞り込みも可能となる。
(例9:人物と瞳合焦を抽出条件とする例)
 図62は、花嫁を表すアイコンIC1が指定されるとともに、瞳合焦の画像であるという条件が加えられた場合である。
 各画像については、撮像時の瞳位置を示す瞳枠EPの情報や合焦位置を示す合焦枠FWの情報がメタデータに含まれている。これにより、花嫁を含む画像を、解析結果データに基づいて抽出し、さらにそのうちで、花嫁の瞳にピントが合った画像を抽出することが可能である。例えばこの場合、合焦位置と瞳位置がほぼ同じ位置になっている画像を、花嫁の瞳にピントが合っている画像であると判定できる。
(例10:人物と合焦を抽出条件とする例)
 図63は、花嫁を表すアイコンIC1が指定されるとともに、合焦が条件に加えられた場合である。つまり花嫁にピントが合っている画像を抽出することになる。
 図では花嫁の身体範囲を示すバウンディングボックスBBを示しているが、このバウンディングボックスBB内に合焦枠FWが位置する画像が、花嫁にピントが合っている画像となる。従って、花嫁を含む画像を解析結果データに基づいて抽出し、さらにそのうちで、花嫁にピントが合った画像を抽出することが可能である。
 これらのように、メタデータにおけるフォーカス情報を利用した抽出を行うためのUIとしては、例えば「瞳合焦」「合焦」等のアイコンを用いてユーザが指定できるようにすればよい。
 メタデータにおけるフォーカス情報を利用した抽出処理例を図64に示す。図64は、例9のように花嫁の瞳に合焦している画像の抽出を例に挙げている。
 CPU71は、各画像に対して、花嫁の瞳に合焦していることを示すフラグを設定するために、対象とする全ての画像について図64の処理を行う。
 まずステップS900でCPU71は、対象とする1つの画像について、花嫁の瞳に合焦していることを示すフラグを無効化(初期化)する。
 ステップS901でCPU71は、その画像についての解析結果データを参照し、花嫁を含む画像であるか否かを判定する。花嫁を含む画像でなければ、その画像について処理を終える。
 ステップS901で花嫁を含む画像であると判定した場合は、CPU71はステップS902に進み、合焦位置と花嫁の瞳位置との距離が閾値以下であるか否かを判定する。即ちほぼ同じ位置であって、瞳に合焦している画像であるか否かを判定する。
 距離が閾値を超えていた場合は、瞳合焦している画像ではないとして、その画像について処理を終える。
 一方、合焦位置と花嫁の瞳位置がほぼ一致して、瞳合焦していると判定した場合、CPU71はステップS903に進み、花嫁の瞳に合焦していることを示すフラグを有効にする。そしてその画像について処理を終える。
 このような処理を対象の画像群の全ての画像に対して行うことで、フラグが有効となっている画像が、花嫁の瞳に合焦している画像として抽出されることになる。
 なお図62,図63には合焦枠FWや瞳枠EPを示したが、表示部1a、2aの画像領域128において抽出結果の画像を表示させる際に、このような合焦枠FWや瞳枠EPを表示させることで、ユーザは合焦位置や合焦状態がわかりやすいものとなるとともに、レーティング設定や画像選択の参考とすることもできる。
(例11:物と合焦を抽出条件とする例)
 更に「瞳合焦」「合焦」を条件とする例を挙げる。
 図65は、ケーキを表すアイコンIC3が指定されるとともに、合焦が条件に加えられた場合である。つまりケーキにピントが合っている画像を抽出することになる。
 図のように合焦枠FWの位置は、画像解析の際にケーキと認識された位置にある画像として、このような条件にあった画像抽出が可能である。
(例12:動物と合焦を抽出条件とする例)
 図66Aは、動物を表すアイコンIC40が指定されるとともに、瞳合焦が条件に加えられた場合である。この場合、動物が含まれる画像であって、その動物のバウンディングボックスBB内に瞳合焦を示す瞳枠EPが存在する画像が抽出される。
 図66Bは、動物を表すアイコンIC40が指定されるとともに、合焦が条件に加えられた場合である。この場合、動物が含まれる画像であって、その動物のバウンディングボックスBB内に合焦枠FWが存在する画像が抽出される。
(例13:物と合焦を抽出条件とする例)
 図67は、車を表すアイコンIC41が指定されるとともに、合焦が条件に加えられた場合である。画像から認識された車のバウンディングボックスBB内に合焦枠FWが存在する画像が抽出される。
(例14:OR条件による抽出の例)
 ここまでは、複数のアイコンICによる抽出条件のAND条件や、アイコンICとメタデータのAND条件について説明してきたが、OR条件による抽出で、抽出される画像の範囲を広げることも可能である。
 図68Aは、花嫁を表すアイコンIC1と花婿を表すアイコンIC2が、OR条件により指定された場合であり、これによって花嫁あるいは花婿のいずれかが写っている画像が抽出される。
 また、OR条件とAND条件を組み合わせることで絞り込みも可能である。
 図68Bは、花嫁を表すアイコンIC1と花婿を表すアイコンIC2が、OR条件により指定され、さらにケーキを表すアイコンIC3と、「引き」の画像を表すアイコンIC7がAND条件で指定された場合である。
 これによって花嫁あるいは花婿のいずれかが写っており、かつケーキが写っており、且つ「引き」の画像が抽出される。
(例15-1、例15-2:除外条件を用いた抽出の例)
 除外条件(NOT条件)を使用することもできる。
 図69Aは、処理対象の画像群の画像を示しているが、この中に目つむりの画像が含まれている。
 図69Bは抽出条件として、花嫁を表すアイコンIC1が指定され、且つ除外条件として目つむりを表すアイコンIC50が指定された場合である。
 これによって図69Cのように、花嫁が含まれるが、目つむりをしていない画像が抽出される。
 また図70Aは、処理対象の画像群の画像を示しているが、この中にはケーキが写っている画像が含まれている。
 図70Bは抽出条件として、花嫁を表すアイコンIC1と花婿を表すアイコンIC2についてAND条件が指定され、且つ除外条件としてケーキを表すアイコンIC3が指定された場合である。
 これによって図70Cのように、花嫁と花婿が含まれるが、ケーキが写っていない画像が抽出される。
 これらのような除外条件の設定により、カメラスタッフがレーティング設定や画像選択の対象としない画像を除外した抽出が可能になり、作業の効率化を図ることができる。
(例16:抽出条件の登録)
 ところで、以上の抽出条件を予め設定することや、時系列に従って各種の抽出条件を設定しておくことも可能である。
 例えばカメラマン等が想定したカットを抽出するための抽出条件を予め登録しておき、ウェブギャラリー等のための納品に必要なカットを素早く抽出できるようにする。さらに結婚式等の定番の流れに沿って、抽出条件を設定しておくことで、各シーンの画像を抽出することが便利となる。
 図71に例を示す。
 条件c1として、教会をバックにしたシーンの画像を抽出するために、「花嫁」&「花婿」&「教会」という条件を設定する。例えば花嫁を表すアイコンIC1、花婿を表すアイコンIC2、教会を表すアイコンIC51を指定する操作により登録しておく。
 条件c2として、牧師と一緒のシーンの画像を抽出するために、「花嫁」&「花婿」&「牧師」という条件を設定する。例えば花嫁を表すアイコンIC1、花婿を表すアイコンIC2、牧師を表すアイコンIC52を指定する操作により登録しておく。
 条件c3として、指輪をはめるシーンの画像を抽出するために、「花嫁」&「指輪」という条件を設定する。例えば花嫁を表すアイコンIC1、指輪を表すアイコンIC53を指定する操作により登録しておく。
 条件c4として、ライスシャワーの中にいる新郎新婦のシーンの画像を抽出するために、「花嫁」&「花婿」&「ライスシャワー」という条件を設定する。例えば花嫁を表すアイコンIC1、花婿を表すアイコンIC2、教会ライスシャワーを表すアイコンIC54を指定する操作により登録しておく。
 条件c5として、新郎新婦に子供が花を届けるシーンの画像を抽出するために、「花嫁」&「花婿」&「子供」という条件を設定する。例えば花嫁を表すアイコンIC1、花婿を表すアイコンIC2、子供を表すアイコンIC55を指定する操作により登録しておく。
 このような条件を時系列で登録しておくことで、時系列に沿って極めて容易な操作で条件に合った画像が抽出できるようになり、例えば納品に必要な画像を素早く選べるなど、カメラスタッフの作業を効率化できる。
 なお、「教会」「ライスシャワー」などのシーンの画像を抽出するたには、機械学習により、それらのシーンに相当する画像を予め学習させておくことが考えられる。
 抽出条件の登録は、イベント毎にカメラスタッフがアイコンICを指定して行うようにしてもよいが、結婚式等において典型的なシーンを指定する抽出条件、例えば上記の条件c1から条件c5のような抽出条件を登録しておき、それらをイベント毎に選択できるようにしてもよい。
 例えば「花嫁」&「花婿」&「教会」という抽出条件を「教会シーン」として設定しておく。このような設定を複数用意し、イベント毎に、その登録された設定を利用できるようにする。これにより抽出条件の登録事態もカメラスタッフにとって効率化できる。
(例17:動画への適用)
 ここまで静止画のセレクションという観点でセレクション高速化支援の処理を説明してきたが、このような処理は動画にも適用できる。
 図72に例を示す。
 例えば花嫁を表すアイコンIC1、花婿を表すアイコンIC2、ブーケを表すアイコンIC9を指定することで、花嫁と花婿が含まれブーケを持っているシーンに該当する動画区間(イン点-アウト点)を抽出できる。
 また花嫁を表すアイコンIC1、花婿を表すアイコンIC2、ケーキを表すアイコンIC3を指定することで、ケーキカットのシーンに該当する動画区間(イン点-アウト点)を抽出できる。
 また花嫁を表すアイコンIC1、花婿を表すアイコンIC2、複数人物を表すアイコンIC5を指定することで、花嫁と花婿が友人等と一緒にいるシーンに該当する動画区間(イン点-アウト点)を抽出できる。
 なお、これらの動画の抽出の条件を上記(例16)のように予め登録しておくことも考えられる。
(例18:ハイライト動画の自動制作)
 上記したような動画の抽出条件を登録することで、自動でシーンを抽出してハイライト動画を制作することも考えられる。
 図73に例を示す。図73には、図72と同様のシーンの抽出条件を例示しているが、これらが登録されることに応じて、CPU71は、その抽出条件に従って該当シーンの動画区間を抽出し、それらをつなぎ合わせて、ハイライト動画を自動制作するようにする。
 図74にCPU71が図39の動画編集部38の機能により行う、ハイライト動画の制作処理を示す。
 ステップS1000でCPU71は、ユーザの操作に応じて1又は複数の抽出条件の登録を行う。
 ステップS1001でCPU71は、登録された各抽出条件に応じたシーン抽出を行う。即ち各抽出条件に応じたシーンとしてイン点-アウト点を設定する。
 具体的な動画区間の抽出は多様に考えられる。例えばフレーム単位で画像が抽出条件に該当するものを探索するが、動画の場合、必ずしも連続するフレームで、抽出条件に該当するとは限らない。例えば花嫁が含まれるシーンであっても、一瞬花嫁がフレームアウトするような場合もある。このため、ある程度以上のフレームで継続して条件に該当しなくなったときにアウト点とするなどの処理を行うようにするとよい。
 ステップS1002でCPU71はシーン編集を行う。つまりステップS1001で設定した各シーンのイン点-アウト点までの画像を連結して、一連の動画とする。
 ステップS1003で、当該一連の動画をハイライト動画として保存する。
 このような処理によりハイライト動画が自動生成され、カメラスタッフが動画コンテンツとして視聴したり、クライアントに対して提供したりすることができる。
 一般的に手間が掛かる作業である動画編集を、抽出条件を登録するということをおこなうのみでよくなり、カメラスタッフにとってハイライト動画制作が極めて容易となる。
<11.納品画像選択の最終確認サポート>
 納品画像については、カメラスタッフは、納品候補とした画像の単なる一覧を見て、納品画像に含まれる人物のバランスなどをチェックすることを行う。例えば図75は、納品候補となる画像の一覧を表示している状態である。
 なお実施の形態でいう「納品画像」とは、ウェブギャラリーとしての納品画像(ウェブギャラリーに採用する写真として選択された画像)と考えてもよいし、本納品のために選択された画像と考えてもよい。
 そしてこのような納品画像を確認しながら
-新郎・新婦の各参列者のバランスは適切か
-集合写真の枚数は適切か
-寄り/引きの写真の割合は適切か
などを確認する。
 このような作業を効率化し、最終確認を容易に行えるようにするために、画像解析による顔認識や物体認識などを用いて、さまざまな要素で画像をフィルタリングできるようにすることが考えられる。
 例えば写真に写っている人物の顔を認識して、各々が何枚の写真に映っているかの情報提示するようにする。
 図76は顔による絞り込みを行う例を模式的に示している。
 例えば「顔でフィルタ」のタブの画面で、顔選択領域210を設け、顔画像をスクロールにより選択できるようにする。カメラスタッフが任意に顔画像を選択すると、その顔の人物が写っている画像が抽出され、画像領域128に表示されるようにする。
 これにより、各参加者の画像がバランスよく含まれているか否かなどをチェックすることに便利となる。
 また各々の人物の属性、例えば名前や当該イベントにおける立場(結婚式なら新郎・新婦・友人・家族など)を事前に設定しておけば、より有効な情報での絞り込み等も可能となる。
 また画像に写っている人数を利用して画像を絞り込むことも可能である。
 例えば1人だけで映っているか、集合写真であるか、などである。
 納品画像のチェックとして、重要な人物が一人で写っている写真の有無等を確認することに便利であったり、集合写真にしか写っていない人物をチェックしたりすることに有用となる。
 また映っている物体で写真を絞り込むことも可能である。
 納品画像として、ケーキ、指輪、など、結婚式などの画像集として重要なアイテムの画像が納品画像に含まれているか否か、などをチェックできる。
<12.顔情報に基づく提示>
 参列者の顔情報を事前に登録しておけば、どの人物が撮影できていないかを提示することが可能である。これにより撮影中に納品状況を提示することができる。
 撮影写真/納品写真に含まれている顔を検出し、誰が何枚写っているかをカウントすることができる。
 また新郎両親に比べて新婦両親が少ないなどを確認可能、バランスをとることができる。
<13.納品画像の自動選択>
 画像を解析することで、画像に対して自動でタグを付与するようにする。
-人物情報 (新郎/新婦/Bridemaid/etc)
-物体情報 (指輪/ケーキ/ウェルカムボード/etc)
-シーン情報 (ケーキ入刀/新郎新婦入場/etc)
 これらのタグを用いて、納品時の画像選択をサポートすることができる。
 また予めテンプレートを定義しておけば、納品する写真を自動選択することも可能である。
 テンプレートとしては例えば次のような例がある。
・新郎新婦入場写真を1枚納品する
・新郎が映っている写真は5枚納品する
・新婦が映っている写真は8枚納品する
・ケーキ入刀は3枚納品する
<14.顔情報などを用いて納品写真に含まれていない人を提示>
 撮影した写真から納品する写真をセレクションする際、「撮影した写真には写っているが、納品する写真には1枚も写っていない人」を検出し、情報提示する。
 例えば図77に示すように、人物Cの写真が納品する写真に1枚も含まれていないことをカメラスタッフに通知する。
<15.ショットリストを用いた撮影サポート>
 ショットリストとは、例えば花嫁、花婿、家族、親戚、友人などの毎に、画像集に採用する枚数の設定、シーン毎の枚数の設定など、画像集作成の企画データと呼べるものを想定している。
 事前に花嫁にヒアリング等行って、撮影してほしい写真のリスト(ショットリスト)を作成し、インプットしておく。
 例えばショットリストは、次のような内容を含む。
・シーン:ケーキカットシーンがほしい
・人:叔母と花嫁の写真が欲しい
・物:ケーキ、指輪
 このようなショットリストに基づくことで、結婚式中に自動的にセレクションが行われ、納品する写真がピックアップされているようにすることができる。
 撮影中にもこのショットリストをチェックすることで、カメラマンが撮影できていないカットを確認できるようになる。
<16.まとめ及び変形例>
 図37以降で説明したセレクション高速化支援処理に関し、実施の形態では次のような効果を得ることができる。
 実施の形態の情報処理装置、即ちスタッフ端末1、サーバ装置4、又は撮像装置2は、結婚に関するイベントで撮影された複数の画像である画像群に対する抽出条件を指定することができるようにするUI制御部31と、画像群から、指定された抽出条件に基づいて、1又は複数の画像の抽出を行う抽出処理部34を備える。
 結婚に関する1つのイベントにおいて例えば極めて多数の画像の撮像が行われ、その画像群の中から厳選してウェブギャラリーや本納品の画像集を制作するような場合、まずはそれぞれの画像を評価していくことが必要であるが、それは多大な労力や時間を要する。そこで結婚式等に特化した条件を指定できるようにし、それにより画像抽出が行われるようにする。これによりカメラスタッフの作業効率を向上させることができる。
 特に結婚に関するイベントの画像について、その画像内容を分類できるようなインタフェースを提供することで、結婚に関するイベントの画像集の作成作業を適切に支援できることになる。
 実施の形態では、UI制御部31は、抽出処理部34が抽出した画像を表示させるとともに、各画像についてのレーティング情報の入力操作が可能なユーザインタフェースを提供する制御を行う例を述べた。
 これにより、例えば画像集に含める可能性のあるような人物、シーン等に応じて該当する画像を抽出し、それらについて一覧しながらレーティング情報を設定するような操作が可能となる。
 従って、撮像した全ての画像を1枚ずつ見ながらレーティング情報を入力することに比べて、作業を極めて効率化できる。しかも同種の画像を見比べながらレーティング設定ができるため、評価基準が統一されやすく、適切なレーティング設定のためにも望ましいものとなる。特に同種の画像をまとめて比較しながらレーティングできることで適切な評価がしやすいものとなる。またこれにより、レーティング情報に基づいて画像集に加える画像を選択しても、望ましい画像が選択されやすくなり、セレクションのためのレーティング情報としての価値を高めることにもなる。
 実施の形態では、抽出処理部34は、或るイベントの画像群における各画像についての画像内容の解析結果データを参照して、指定された抽出条件に合致する画像を抽出するものとした。
 画像解析により各画像の内容を示す解析結果データを関連付けておくことで、その解析結果データを参照することで、抽出条件に合った画像か否かを簡易に判定できる。
 実施の形態では、解析結果データは、外部装置、例えばサーバ装置4から受信する例を挙げた。
 これにより、例えばスタッフ端末1或いは撮像装置2としての装置内で、比較的負荷の大きい画像解析を行うことなく、各画像の内容を示す解析結果データを得ることができる。
 実施の形態では、UI制御部31は、画像群の画像についての抽出条件を提示するアイコンICを表示させる制御を行い、アイコンICに対する操作を抽出条件の指定操作として検知するものとした。
 アイコンICにより、結婚に関するイベントの画像の抽出条件をわかりやすく提示し、またアイコンICにより、抽出条件を容易に指定できるようになる。
 なお、アイコンICは画像の解析結果に応じて設定されるとよいと述べた。例えば或る画像について「花嫁」「ブーケ」という画像認識結果が得られた場合、花嫁のアイコンIC1や、ブーケのアイコンIC9が用意されるようにする。解析対象の全ての画像について解析結果に基づくアイコンを用意することで、対象とする画像群についての画像抽出に必要なアイコンを用意できることになる。
 またこれは、換言すれば、対象とする画像群にとって不要なアイコンを表示させなくてもよいことになる。例えば或るイベントの画像群に「ケーキ」を含む画像が1枚も無いような場合にケーキのアイコンIC3を表示させないことになり、無駄な抽出実行を防止することができる。
 実施の形態では、UI制御部31は、抽出条件の指定の操作の対象となったアイコンICを、指定の操作の対象となっていないアイコンICとは異なる表示態様で表示させる例を述べた。
 例えばアイコンの色、枠の色を変化させたり、ハイライト表示をさせたりするなど、指定操作されたアイコンICを他のアイコンICと区別できるようにする。
 抽出条件として指定されたアイコンを識別できるように表示させることで、抽出条件自体をユーザに明示することになり、抽出される画像の種別がわかりやすい。
 また抽出条件を組み合わせる際に、既に指定されているアイコン(条件)が分かりやすいものとなり、また、条件の組み合わせ状態も一目でわかるようになる。
 また抽出された画像一覧と共に指定された状態が分かるようにアイコンが表示されていることで、抽出された画像がどのような条件又は条件の組み合わせで得られたかもわかりやすいものとなる。
 実施の形態では、抽出条件は人物を指定する条件を含むものとした。例えば花嫁、花婿、親族(両親、兄弟、等)、友人、主賓などを指定できるようにする。
 結婚に関するイベントの画像集で最も重視すべきは、花嫁や花婿を中心として参加している人々を適切にフィーチュアすることといえる。そこで人物で画像を抽出できるように抽出条件を用意することが、画像集作成の支援の観点で適切となる。
 実施の形態では、抽出条件は結婚に関するイベントのシーンを指定可能な条件を含むものとした。
 例えば「ケーキカット」「指輪交換」「ブーケトス」などのシーン自体を指定することができる抽出条件や、「ケーキ」「指輪」などのように、或るシーンを想定させる抽出条件や、シーンに相当する時間指定などにより、シーンを特定することのできる抽出条件が用意される。これにより、特定のシーンの画像を容易に抽出できるようになり、そのシーンにおける多数の画像についてレーティング等を行う場合などに便利になる。
 実施の形態では、抽出条件は結婚に関するイベントの時間情報を指定可能な条件を含むものとした。
 例えば「ケーキカット」「指輪交換」「ブーケトス」などのシーンに相当する時刻等の指定などにより、特定のシーンの画像を抽出できる。これにより、特定のシーンの画像についてレーティング等を行う場合などに便利になる。
 実施の形態では、抽出条件は被写体とされた物又は動物を指定可能な条件を含むものとした。
 例えばケーキ、キャンドル、指輪、ペット、グラスなど、結婚に関するイベントにおいて被写体になりやすい物品を指定する条件を用意する。
 結婚に関するイベントの画像においては、物品を指定することで、同種の画像を抽出することに適切な場合が多い。物を指定する抽出条件が用意されることで、同種の画像を容易に抽出できるようになり、画像のレーティングや選択に便利になる。
 実施の形態では、抽出条件は、被写体の感情又は表情を指定可能な条件を含むものとした。
 例えば笑顔のシーン、感動のシーン、泣いているシーン、伏し目のシーンなどを指定する条件を用意する。
 結婚に関するイベントの画像集の制作の観点では、参加者の感情を表現するために、より感情豊かな画像を選択したり、レーティングを高くしたりすることは適切である。笑顔のシーンのように感情や表情の認識結果で画像を抽出できるようにする抽出条件が用意されることで画像のレーティングや選択に便利になる。
 実施の形態では、抽出処理部34が抽出した画像について、被写体の感情又は表情の度合いを示す情報の提示を行う例を挙げた。
 図56で説明したように、或る抽出条件で画像について、感情や表情の認識結果として得られる数値等を表示することは、レーティングや選択の参考になり、画像集の制作支援として有用となる。図56では笑顔の度合いを示す例としたが、泣き顔の度合い、驚き顔の度合い、伏し目の度合い、喜びの度合い、など、画像について感情や表情の解析結果の度合いを表示することが想定される。
 実施の形態では、抽出条件として、撮像時に付加されたメタデータにより判定される事項を指定可能な条件を含むものとした。
 例えばフォーカスに関する情報のように撮像時に撮像装置において画像に関連付けられたメタデータを参照して判定できる条件を指定できるようにする(図62から図67参照)。
 顔フォーカス、瞳フォーカスなどの制御で合焦される合焦位置の情報など、撮像時に付加されるメタデータを抽出条件の1つとすることで、例えば花嫁の瞳にピントが合った画像などを抽出可能となる。撮像状態を加味することで、画像の内容だけでなく、ピントのあった画像のみを抽出するなどができ、多数の画像から画像集への採用の候補となる画像の抽出という点で適切になる。
 メタデータを用いる例として、実施の形態では「瞳合焦」「合焦」の情報を用いる例を挙げたが、もちろん他のメタデータを用いることもできる。例えばF値、ISO値、シャッタースピード、ズーム倍率等の情報がメタデータに含まれている場合、それらを抽出条件に加えて絞り込みが行われるようにすることもできる。
 実施の形態では、抽出処理部34が抽出した画像について合焦位置の提示を行う例を挙げた。
 図62、図63で説明したように合焦枠FW、瞳枠EP、バウンディングボックスBB等として、合焦している位置や領域や、それらに関連する情報を示す画像を重畳表示させることで、カメラスタッフは適切な画像の選択やレーティングを行うときに参考にすることができる。
 実施の形態では、表示画面上の候補領域AR1に、抽出条件のアイコンICを表示させるとともに、所定操作により指定されたアイコンICを、表示画面上の選択領域AR2に表示させる制御を行う例を述べた。
 候補領域AR1で指定可能なアイコンICを一覧できるとともに、指定操作の対象となったアイコンICは選択領域AR2に表示させるため、ユーザは選択中としているアイコンICを常に認識できる。複数のアイコンIC(抽出条件)を組み合わせて画像抽出したい場合に、わかりやすく操作性のよいものとなる。
 特にスタッフ端末1や撮像装置2などの小型の機器の比較的小さな表示部(1a,2a)においては、アイコンICの表示態様の変更よりも、アイコンICが表示される領域によって選択中であるか否かがわかるようにすることで、視認性及び選択状態の把握がカメラスタッフにとって良好となる。
 図57,図58,図59,図60で説明した例のように、候補領域AR1と選択領域AR2を上下に隣り合って配置し(左右でもよい)、アイコンを操作に応じて選択領域AR2に表示させるようにすることで、選択状態を明確に提示できる。
 またアイコンを操作に応じて候補領域AR1から選択領域AR2に移動させるようにすることでも、選択状態を明確に提示できる。
 また候補領域AR1については、スクロール表示させることで小型の表示画面でも多数のアイコンを表示可能である。
 候補領域AR1から選択領域AR2に移動させるようにする場合は、候補領域AR1において、同じアイコンが選択操作されないようにすることや、スクロール対象のアイコン数を絞ってカーソルKによる選択をしやすくするという点でも有用である。
 実施の形態では、選択領域AR2に表示させたアイコンを、所定の選択解除操作に応じて、選択領域AR2における表示を終了させる制御を行う例を述べた。
 つまりユーザが操作により、選択領域のアイコンを候補領域に戻すことができるようにする。これにより一旦、抽出条件として選択したアイコンIC(抽出条件)の選択を解除できる。カメラスタッフにとっては、画像抽出のための適切な条件設定のためのアイコン操作を柔軟に行うことができる。
 候補領域AR1で指定されたアイコンICを選択領域AR2に移動させる場合は、所定の選択解除操作に応じて、候補領域AR1に戻すようにすることも、選択状態がわかりやすいものとなる。
 実施の形態では、抽出処理部34は、指定された複数の抽出条件のそれぞれについて、アンド条件、又はオア条件、又は除外条件を設定して画像の抽出を行う例を述べた。
 これによりカメラスタッフは、結婚に関するイベントについて設定された複数の抽出条件についてアンド条件/オア条件/除外条件を組み合わせて条件式を設定し、抽出条件とすることができる。従って所望の画像をより適切に抽出できる。
 実施の形態では、抽出処理部34が抽出条件に基づいて抽出した複数の動画シーンを用いて、動画コンテンツを作成する動画編集部38を備える例を挙げた。
 図72から図74で説明したように、抽出条件による抽出処理は、動画としてのシーン抽出にも適用できる。その場合に、抽出されたシーンを連結することで、ハイライト動画としての動画コンテンツを生成できる。カメラスタッフにとっては、抽出条件選択を行うことで簡易に動画制作を実現できることになり、迅速なハイライト動画制作として好適となる。
 また図1から図36までを用いて説明した実施の形態の処理によれば次の効果が得られる。
 実施の形態のスタッフ端末1は、撮像装置2との通信により受信した画像データ及び少なくとも画像データに対応するレーティング情報を含むメタデータ(付加情報)を特定のイベントに関するイベントデータ60として記憶させるとともに、操作入力に応じたイベントデータ60の更新を行うイベントデータ管理部30を有する。またスタッフ端末1はプロジェクト対象としての特定のイベントのイベントデータ60に関する画像及びレーティング情報の提示制御を行うとともに操作入力を検知するUI制御部31を有する。またスタッフ端末1は、イベントデータ60の記憶又は更新に応じて外部のサーバ装置4に対してイベントデータ60とイベントデータ90を同期させる通信を制御する通信制御部32を有する。
 これによりスタッフ端末1としての情報処理装置10は、撮像装置2との通信により受信した画像データ及び少なくとも画像データに対応するレーティング情報を含む付加情報を特定のイベントに関するイベントデータとして記憶させる処理及び操作入力に応じたイベントデータの更新処理を含むイベントデータ管理処理と、特定のイベントのイベントデータに関する画像及びレーティング情報の提示制御及び操作入力検知を行うUI制御処理と、イベントデータの記憶又は更新に応じて外部のサーバ装置に対してイベントデータを同期させる通信を制御する通信制御処理と、を行う。
 このようなスタッフ端末1は、撮像装置2から逐次転送される画像及びメタデータを、特定イベントのイベントデータとして管理し、これをカメラスタッフに例えば一覧等で提示できる。従って、カメラスタッフは、スタッフ端末1を用いて、例えばウェブギャラリーなどの画像集の元になる画像を確認できる。
 しかもこのときに、各画像について、カメラマンが撮像装置2で付したレーティング情報もレーティングアイコン130として表示されるさめ、カメラマン本人やアシスタントなどのカメラスタッフが画像集に採用する画像の選択を支援できるものとなる。
 またスタッフ端末1のイベントデータ60とサーバ装置4のイベントデータ90とが同期される状態を保つように通信が行われる。これにより、例えばカメラマンが端末装置1Aでセレクション等の操作をした後に、アシスタントが端末装置1Bで操作するような場合も、サーバ装置4にログインした端末装置1Bでは、端末装置1Aは同期された最新のイベントデータ内容を反映した状態で操作を行うことができる。これにより画像集の作成を効率よく実行できるようになる。
 なお、撮像装置2とスタッフ端末1は別体のものとしたが、例えばスタッフ端末1のうち端末装置1Aは撮像装置2と一体の装置とすることも考えられる。
 実施の形態では、イベントデータ管理部30は、特定のイベントが選択されることに応じて、サーバ装置4から当該特定のイベントのイベントデータを取得するとした(図12のステップS204参照)。
 スタッフ端末1からの通信によってサーバ装置4ではイベントデータが同期されており、従ってサーバ装置4のイベントデータは最新のイベントデータとなっている。スタッフ端末1でアプリケーションプログラムを起動させたとき、イベント一覧が表示されるが、ユーザがイベントを選択した場合、まずサーバ装置4側のイベントデータをロードすることで、最新のイベントデータを取得できる。もちろんレーティング情報は最新にものとなっている。例えばアシスタントが端末装置1Bを用いる場合でも、過去にカメラマンが撮像装置2やスタッフ端末1でレーティングを設定・変更した場合の最新のレーティングを確認できることになる。
 実施の形態では、イベントデータ60には事前設定情報61が含まれ、UI制御部31は、イベントデータ60に含まれる画像データについて、事前設定情報における編集情報に応じて編集した編集画像データによる画像表示を行うようにした(図15のステップS250参照)。
 事前設定情報61としてレタッチパラメータ等の編集情報を設定しておくことで、撮像されて取り込まれる各画像について、自動編集して表示させることができる。これはウェブギャラリー等において各画像に統一した雰囲気を作る場合に有効である。
 また自動編集とすることで個々の画像に同じような編集操作を行う必要はなく、カメラスタッフの作業は極めて容易となる。
 実施の形態では、UI制御部31は、イベントデータ60に含まれる画像データについての編集情報入力操作が可能なユーザインタフェースを提供する制御を行い、イベントデータ管理部30は、編集情報入力操作に応じてイベントデータを更新させる処理を行うものとした(図15のステップS251、ステップS260からステップS267参照)。
 レタッチパラメータ等の編集情報を入力可能としておくことで、例えば個々の画像に対してカメラスタッフが、任意の編集を行うことができる。
 特に、事前設定のレタッチパラメータと合わせれば、例えば各画像を共通のトーンとしたうえで、個々の画像について微調整したり、雰囲気を変えたりするようなことができるようになる。
 実施の形態では、UI制御部31は、イベントデータ60に含まれる画像データについてのレーティング情報の入力操作が可能なユーザインタフェースを提供する制御を行い、イベントデータ管理部30は、レーティング情報の入力操作に応じてイベントデータを更新させる処理を行うようにした(図14のステップS217,S230,S231、図16のステップS255,S282,S283等参照)。
 レーティング情報を入力可能としておくことで、例えば個々の画像に対してカメラスタッフが撮像時に設定したレーティングを後に任意に変更できる。例えば結婚式終了後に画像を見直してレーティングをし直すことで、より適切なセレクションが可能になる場合もある。
 実施の形態では、UI制御部31は、イベントデータ60に含まれる画像データを選択的に用いて画像集を作成するためのセレクション情報の設定操作が可能なユーザインタフェースを提供する制御を行い、イベントデータ管理部30は、セレクション情報の設定操作に応じてイベントデータを更新させる処理を行うようにした(図14のステップS218,S219,S232からS237、図16のステップS256,S284,S285、図17のステップS301,S302,S310,S311,S320,S321等参照)。
 セレクション情報を設定することで画像集に対するカメラスタッフの意図をイベントデータ60に含めることができる。すると同期したイベントデータ90に基づいてサーバ装置4でウェブギャラリーを自動作成するときに、カメラスタッフの意図を反映した画像集が作成できることになる。これによりカメラスタッフの制作意図を範囲させたウェブギャラリーを極めて迅速にクライアントに提供できるようになる。
 実施の形態ではセレクション情報には、画像集に含む画像に選択されたことを示す使用画像情報が含まれるものとした。
 つまりどの画像をウェブギャラリーに採用するかを示す使用画像情報としてフラグを設定できるようにした。フラグのオン/オフによりカメラスタッフは採用する画像を容易に設定できるようになる。
 実施の形態ではセレクション情報には、画像集の表紙の画像として選択されたことを示す表紙画像情報が含まれるものとした。
 つまりどの画像をウェブギャラリーの表紙に採用するかを示す選択情報としてカバー画像を設定できるようにした。カバー画像の設定によりカメラスタッフは表紙にする画像を容易に設定できるようになる。
 実施の形態ではセレクション情報には、画像集において強調表示する画像に選択されたことを示す強調表示画像情報が含まれるようにした。
 つまりウェブギャラリーにおいて例えば他の画像よりサイズを大きくするなどして強調表示する画像を、ハイライト設定により選択できるようにした。ハイライト設定によりカメラスタッフは強調する画像が選択できる。またハイライト設定により、自動生成であっても単調でない画像集としてウェブギャラリーが作成されるようになる。
 なおサーバ装置4は、ハイライト設定がされていない画像を、ハイライト表示させるようにしたウェブギャラリーを作成するようにしてもよい。
 またハイライト設定は、サイズを大きくさせるのではなく、輝度、色、枠表示などにより強調表示するものとしてもよい。
 実施の形態では、スタッフ端末1はカメラスタッフの過去のセレクション情報に基づいて生成された傾向情報に基づいて、自動的にセレクション情報を設定する処理を行う自動設定部33を備える例を述べた。
 過去のセレクション設定を学習し、どのような画像を採用したり、カバー画像としたり、ハイライト画像としたりするという傾向情報を設定する。即ちフラグオンとされやすい画像ハイライト設定されやすい画像、カバーとされやすい画像などについて特徴点を解析しておき、傾向情報とする。この傾向情報を用いて、自動的にセレクション設定を行うことで、ある程度当該カメラスタッフの作業を容易化できる。
 もちろんカメラスタッフは、自動的なセレクション設定の後に、手動で設定すればよいため、カメラスタッフの意図も反映される画像集を作成できる。
 なお、セレクション情報の自動設定をサーバ装置4側で行い、それを反映したイベントデータをスタッフ端末1に提供するようにしてもよい。
 またサーバ装置4側で傾向情報を生成するとしたが、スタッフ端末1が傾向情報生成部を備えて、傾向情報を生成するものとしてもよい。
 実施の形態では、スタッフ端末1は、クライアントユーザの指向に基づいて生成された傾向情報に基づいて、自動的にセレクション情報を設定する処理を行う自動設定部33を備える例を述べた。
 クライアントの好みの画像の傾向を学習し、好みの画像の特徴点を解析しておき、傾向情報とする。この傾向情報を用いて、自動的にセレクション設定を行うことで、ある程度クライアントの傾向に沿った画像集を容易に作成できるようになる。
 なお、セレクション情報の自動設定をサーバ装置4側で行い、それを反映したイベントデータをスタッフ端末1に提供するようにしてもよい。
 またサーバ装置4側で傾向情報を生成するとしたが、スタッフ端末1が傾向情報生成部を備えて、傾向情報を生成するものとしてもよい。
 実施の形態のサーバ装置4は、スタッフ端末1からの特定のイベントに関する情報の受信に応じて、画像データと画像データに対応するレーティング情報を含むイベントデータ90の記憶、及び更新の管理を行うイベントデータ管理部40を備える。
 サーバ装置4は、スタッフ端末1から送信されてくる画像データ及びレーティング情報を、特定イベントのイベントデータ90に反映させるようにイベントデータ90の追記、更新を行う。これにより、スタッフ端末1側のイベントデータ60と、画像及びレーティング情報が同期したイベントデータ90を記憶できる。特にレーティング情報はスタッフ端末1側で任意に変更可能であるが、サーバ装置4では、変更を反映させることで最新のイベントデータ90を保持することができるようになる。
 なおサーバ装置4はスタッフ端末1から画像データ及び画像データに対応するレーティング情報を受信するようにしたが、サーバ装置4は、撮像装置2から直接、画像データ及び画像データに対応するレーティング情報を含むメタデータ(付加情報)の送信を受けるようにしてもよい。
 実施の形態のサーバ装置4は、スタッフ端末1に対してイベントデータを提供するための送信を実行させるイベントデータ提供制御部42を備える。
 スタッフ端末1からの通信によってサーバ装置4ではイベントデータが同期されており、従ってサーバ装置4のイベントデータは最新のイベントデータとなっている。スタッフ端末1にイベントデータを提供することで、スタッフ端末1でアプリケーションプログラムが起動され、イベントが選択された場合に、最新のイベントデータに基づく表示が実行できるようになる。従ってカメラマンやアシスタントがスタッフ端末1により最新の状態で各種作業を行うことができる。
 実施の形態のサーバ装置4のイベントデータ管理部40は、スタッフ端末1からの特定イベントに関する情報の受信に応じて、画像データに対応するセレクション情報又は編集情報を含むイベントデータ90の記憶及び更新の管理を行うものとした。
 レタッチパラメータ等の編集情報やフラグ、カバー、ハイライトなどに関するセレクション情報を受信することに応じて、サーバ装置4側でもイベントデータの更新を行う。これによりスタッフ端末1のイベントデータとの同期状態を維持することができる。
 実施の形態のサーバ装置4は、セレクション情報と編集情報を用いて特定イベントについての画像集データであるウェブギャラリーを生成する画像集生成部41を備えるものとした。
 サーバ装置4側とスタッフ端末1側でイベントデータ60,90が同期されているため、サーバ装置4側でイベントデータ90における編集情報やセレクション情報を参照することで、スタッフ端末1を用いるカメラスタッフの意図に応じた画像集(ウェブギャラリー)を生成することができる。
 またサーバ装置4側で画像集生成を行うことでリソースの小さい端末装置であるスタッフ端末1の処理負担を軽減できる。
 実施の形態のサーバ装置4側のイベントデータ90におけるセレクション情報には、画像集に含む画像に選択されたことを示す使用画像情報が含まれるものとした。
 これによりセレクション情報を参照することで、スタッフ端末1を用いるカメラスタッフにより選択された画像を用いた画像集(ウェブギャラリー)を生成することができる。
 実施の形態のサーバ装置4側のイベントデータ90におけるセレクション情報には、画像集の表紙の画像として選択されたことを示す表紙画像情報が含まれるものとした。
 これによりセレクション情報を参照することで、スタッフ端末1を用いるカメラスタッフにより選択されたカバー画像を表紙として用いた画像集(ウェブギャラリー)を生成することができる。
 実施の形態のサーバ装置4側のイベントデータ90におけるセレクション情報には、画像集において強調表示する画像に選択されたことを示す強調表示画像情報が含まれるものとした。
 これによりセレクション情報を参照することで、スタッフ端末1を用いるカメラスタッフにより選択されたハイライト画像を強調した画像集(ウェブギャラリー)を生成することができる。
 実施の形態のサーバ装置4は、イベントデータ90の全部又は一部を所定フォーマットのファイルとして端末装置(パーソナルコンピュータ3やスタッフ端末1)に送信するデータ出力部43を備える。
 これにより例えばカメラスタッフ側ではパーソナルコンピュータ3やスタッフ端末1を用いて、本納品のための画像集の素材を効率よく取得し、必要な編集等を行って、本納品用の画像集を容易に生成できるようになる。
 なお実施の形態では、撮像装置2からの画像ファイルをスタッフ端末1に転送し、スタッフ端末1がサーバ装置4にアップロードするものとしたが、撮像装置2が直接サーバ装置4にアップロードするようにしてもよい。
 実施の形態では静止画の画像集の生成を想定して説明したが、画像集は一部のコンテンツとして動画を含むようにしてもよいし、複数の動画による画像集を生成するようにしてもよい。それらの場合も、実施の形態で説明した処理は同様に適用できる。
 この場合の動画は音声付きの動画であっても音声無しの画像情報のみの動画であってもよい。
 実施の形態のプログラムは、図42から図45、図74のような処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
 即ち実施の形態のプログラムは、結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御処理と、指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理とを、スタッフ端末1、サーバ装置4、又は撮像装置2としての情報処理装置に実行させるプログラムである。
 このようなプログラムにより、上述したセレクション高速化支援の処理を行うスタッフ端末1、サーバ装置4を例えば携帯端末装置やパーソナルコンピュータ、その他の情報処理が実行できる機器において実現できる。或いは撮像装置2によりセレクション高速化支援の処理を実行できる。
 このようなスタッフ端末1、サーバ装置4、又は撮像装置2を実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
 あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
 またこのようなプログラムによれば、実施の形態のスタッフ端末1、サーバ装置4、又は撮像装置2の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、スチルカメラ、ビデオカメラ、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該スマートフォン等を、本開示のスタッフ端末1、サーバ装置4、又は撮像装置2として機能させることができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
 なお本技術は以下のような構成も採ることができる。
 (1)
 結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御を行うユーザインタフェース制御部と、
 指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理部と、を備えた
 情報処理装置。
 (2)
 前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像を表示させるとともに、各画像についてのレーティング情報の入力操作が可能なユーザインタフェースを提供する制御を行う
 上記(1)に記載の情報処理装置。
 (3)
 前記抽出処理部は、前記画像群における各画像についての画像内容の解析結果データを参照して、指定された抽出条件に合致する画像を抽出する
 上記(1)又は(2)に記載の情報処理装置。
 (4)
 前記解析結果データは、外部装置から受信する
 上記(3)に記載の情報処理装置。
 (5)
 前記ユーザインタフェース制御部は、
 前記画像群の画像についての抽出条件を提示するアイコンを表示させる制御を行い、アイコンに対する操作を抽出条件の指定操作として検知する
 上記(1)から(4)のいずれかに記載の情報処理装置。
 (6)
 前記ユーザインタフェース制御部は、
 抽出条件の指定の操作の対象となったアイコンを、指定の操作の対象となっていないアイコンとは異なる表示態様で表示させる
 上記(5)に記載の情報処理装置。
 (7)
 前記抽出条件は人物を指定する条件を含む
 上記(1)から(6)のいずれかに記載の情報処理装置。
 (8)
 前記抽出条件は結婚に関するイベントのシーンを指定可能な条件を含む
 上記(1)から(7)のいずれかに記載の情報処理装置。
 (9)
 前記抽出条件は結婚に関するイベントの時間情報を指定可能な条件を含む
 上記(1)から(8)のいずれかに記載の情報処理装置。
 (10)
 前記抽出条件は被写体とされた物又は動物を指定可能な条件を含む
 上記(1)から(9)のいずれかに記載の情報処理装置。
 (11)
 前記抽出条件は、被写体の感情又は表情を指定可能な条件を含む
 上記(1)から(10)のいずれかに記載の情報処理装置。
 (12)
 前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像について、被写体の感情又は表情の度合いを示す情報の提示を行う
 上記(1)から(11)のいずれかに記載の情報処理装置。
 (13)
 前記抽出条件として、撮像時に付加されたメタデータにより判定される事項を指定可能な条件を含む
 上記(1)から(12)のいずれかに記載の情報処理装置。
 (14)
 前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像について合焦位置の提示を行う
 上記(1)から(13)のいずれかに記載の情報処理装置。
 (15)
 前記ユーザインタフェース制御部は、
 表示画面上の候補領域に、前記抽出条件のアイコンを表示させるとともに、
 所定操作により指定されたアイコンを、前記表示画面上の選択領域に表示させる制御を行う
 上記(1)から(14)のいずれかに記載の情報処理装置。
 (16)
 前記ユーザインタフェース制御部は、
 前記選択領域に表示させたアイコンを、所定の選択解除操作に応じて、前記選択領域における表示を終了させる制御を行う
 上記(15)に記載の情報処理装置。
 (17)
 指定された複数の抽出条件のそれぞれについて、アンド条件、又はオア条件、又は除外条件を設定して画像の抽出が行われるようにした
 上記(1)から(16)のいずれかに記載の情報処理装置。
 (18)
 前記抽出処理部が抽出条件に基づいて抽出した複数の動画シーンを用いて、動画コンテンツを作成する動画編集部を備えた
 上記(1)から(17)のいずれかに記載の情報処理装置。
 (19)
 結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御処理と、
 指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理と、
 を情報処理装置が行う情報処理方法。
 (20)
 結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御処理と、
 指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理と、
 を情報処理装置に実行させるプログラム。
1 スタッフ端末
1a 表示部
2 撮像装置
2a 表示部
2c 十字キー
2d ホイール
3 パーソナルコンピュータ
4 サーバ装置
5 クライアント端末
6 ネットワーク
10 情報処理装置
30 イベントデータ管理部
31 UI制御部
32 通信制御部
33 自動設定部
34 抽出処理部
35 レーティング情報管理部
36 解析結果データ受信部
37 解析部
38 動画編集部
71 CPU
200 アイコン領域
201 感情・表情認識レベル
202 時間指定枠
210 顔選択領域
AR1 候補領域
AR2 選択領域

Claims (20)

  1.  結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御を行うユーザインタフェース制御部と、
     指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理部と、を備えた
     情報処理装置。
  2.  前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像を表示させるとともに、各画像についてのレーティング情報の入力操作が可能なユーザインタフェースを提供する制御を行う
     請求項1に記載の情報処理装置。
  3.  前記抽出処理部は、前記画像群における各画像についての画像内容の解析結果データを参照して、指定された抽出条件に合致する画像を抽出する
     請求項1に記載の情報処理装置。
  4.  前記解析結果データは、外部装置から受信する
     請求項3に記載の情報処理装置。
  5.  前記ユーザインタフェース制御部は、
     前記画像群の画像についての抽出条件を提示するアイコンを表示させる制御を行い、アイコンに対する操作を抽出条件の指定操作として検知する
     請求項1に記載の情報処理装置。
  6.  前記ユーザインタフェース制御部は、
     抽出条件の指定の操作の対象となったアイコンを、指定の操作の対象となっていないアイコンとは異なる表示態様で表示させる
     請求項5に記載の情報処理装置。
  7.  前記抽出条件は人物を指定する条件を含む
     請求項1に記載の情報処理装置。
  8.  前記抽出条件は結婚に関するイベントのシーンを指定可能な条件を含む
     請求項1に記載の情報処理装置。
  9.  前記抽出条件は結婚に関するイベントの時間情報を指定可能な条件を含む
     請求項1に記載の情報処理装置。
  10.  前記抽出条件は被写体とされた物又は動物を指定可能な条件を含む
     請求項1に記載の情報処理装置。
  11.  前記抽出条件は、被写体の感情又は表情を指定可能な条件を含む
     請求項1に記載の情報処理装置。
  12.  前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像について、被写体の感情又は表情の度合いを示す情報の提示を行う
     請求項1に記載の情報処理装置。
  13.  前記抽出条件として、撮像時に付加されたメタデータにより判定される事項を指定可能な条件を含む
     請求項1に記載の情報処理装置。
  14.  前記ユーザインタフェース制御部は、前記抽出処理部が抽出した画像について合焦位置の提示を行う
     請求項1に記載の情報処理装置。
  15.  前記ユーザインタフェース制御部は、
     表示画面上の候補領域に、前記抽出条件のアイコンを表示させるとともに、
     所定操作により指定されたアイコンを、前記表示画面上の選択領域に表示させる制御を行う
     請求項1に記載の情報処理装置。
  16.  前記ユーザインタフェース制御部は、
     前記選択領域に表示させたアイコンを、所定の選択解除操作に応じて、前記選択領域における表示を終了させる制御を行う
     請求項15に記載の情報処理装置。
  17.  指定された複数の抽出条件のそれぞれについて、アンド条件、又はオア条件、又は除外条件を設定して画像の抽出が行われるようにした
     請求項1に記載の情報処理装置。
  18.  前記抽出処理部が抽出条件に基づいて抽出した複数の動画シーンを用いて、動画コンテンツを作成する動画編集部を備えた
     請求項1に記載の情報処理装置。
  19.  結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御処理と、
     指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理と、
     を情報処理装置が行う情報処理方法。
  20.  結婚に関するイベントで撮影された画像群に対する抽出条件の指定操作が可能なユーザインタフェースを提供する制御処理と、
     指定された抽出条件に基づいて、前記画像群からの画像の抽出を行う抽出処理と、
     を情報処理装置に実行させるプログラム。
PCT/JP2021/003094 2020-02-17 2021-01-28 情報処理装置、情報処理方法、プログラム WO2021166583A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/798,684 US20230137452A1 (en) 2020-02-17 2021-01-28 Information processing device, inforamtion processing method, and program
DE112021001101.4T DE112021001101T5 (de) 2020-02-17 2021-01-28 Datenverarbeitungsvorrichtung, Datenverarbeitungsverfahren und Programm
JP2022501735A JPWO2021166583A1 (ja) 2020-02-17 2021-01-28
CN202180013723.3A CN115066710A (zh) 2020-02-17 2021-01-28 信息处理设备、信息处理方法和程序

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020024625 2020-02-17
JP2020-024625 2020-02-17
JP2020-162637 2020-09-28
JP2020162637 2020-09-28

Publications (1)

Publication Number Publication Date
WO2021166583A1 true WO2021166583A1 (ja) 2021-08-26

Family

ID=77390970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003094 WO2021166583A1 (ja) 2020-02-17 2021-01-28 情報処理装置、情報処理方法、プログラム

Country Status (5)

Country Link
US (1) US20230137452A1 (ja)
JP (1) JPWO2021166583A1 (ja)
CN (1) CN115066710A (ja)
DE (1) DE112021001101T5 (ja)
WO (1) WO2021166583A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014073275A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017058783A (ja) * 2015-09-14 2017-03-23 富士ゼロックス株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2019132016A1 (ja) * 2017-12-28 2019-07-04 富士フイルム株式会社 画像提示システム、画像提示方法、プログラムおよび記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5686673B2 (ja) * 2010-07-22 2015-03-18 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
JP2015156187A (ja) * 2014-02-21 2015-08-27 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
JP6529108B2 (ja) 2014-10-14 2019-06-12 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10860876B2 (en) * 2017-12-28 2020-12-08 Fujifilm Corporation Image presentation system, image presentation method, program, and recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014073275A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017058783A (ja) * 2015-09-14 2017-03-23 富士ゼロックス株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
WO2019132016A1 (ja) * 2017-12-28 2019-07-04 富士フイルム株式会社 画像提示システム、画像提示方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JPWO2021166583A1 (ja) 2021-08-26
CN115066710A (zh) 2022-09-16
DE112021001101T5 (de) 2023-01-19
US20230137452A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
CN108369633B (zh) 相册的视觉表示
US7796779B1 (en) Efficient synchronization of changes to images
US8761523B2 (en) Group method for making event-related media collection
US8711228B2 (en) Collaborative image capture
US20130130729A1 (en) User method for making event-related media collection
US7996772B2 (en) Apparatus, method, and medium for providing guideline for arranging images with story
JP2018124779A (ja) 画像処理装置、制御方法、及びプログラム
JP6281648B2 (ja) サーバ、制御方法、制御プログラムおよび記録媒体
KR20090031142A (ko) 컨텐츠 생성시 관련된 컨텐츠를 표시하는 gui 제공방법및 이를 적용한 멀티미디어 기기
JP5896385B1 (ja) 写真撮影遊戯装置、写真シール作成装置、コンテンツ提供システム、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
WO2021166583A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2005196615A (ja) 情報処理システムおよび情報処理方法
JP2016116245A (ja) 写真撮影遊戯装置、写真シール作成装置、コンテンツ提供システム、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
US20230260549A1 (en) Information processing apparatus, information processing method, and program
JP6673771B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2021166515A1 (ja) 情報処理方法、サーバ装置、プログラム
WO2022070825A1 (ja) 情報処理装置、情報処理方法、プログラム
JP5924429B1 (ja) 通信端末、サーバ、通信端末の制御方法、制御プログラムおよび記録媒体、ならびにサーバの制御方法、制御プログラムおよび記録媒体
WO2022196167A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2022070827A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2023021759A1 (ja) 情報処理装置、情報処理方法
JP5677119B2 (ja) フォトブック作成装置及びその制御方法
KR101963298B1 (ko) 사진 관리 전용 어플리케이션이 구동되는 스마트기기 및 그 사진관리방법
JP2005196613A (ja) 情報処理装置および情報処理方法、情報処理システム、記録媒体、並びに、プログラム
US20230353795A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21756522

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501735

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21756522

Country of ref document: EP

Kind code of ref document: A1