WO2018179310A1 - アルバム生成装置、アルバム生成システム及びアルバム生成方法 - Google Patents

アルバム生成装置、アルバム生成システム及びアルバム生成方法 Download PDF

Info

Publication number
WO2018179310A1
WO2018179310A1 PCT/JP2017/013520 JP2017013520W WO2018179310A1 WO 2018179310 A1 WO2018179310 A1 WO 2018179310A1 JP 2017013520 W JP2017013520 W JP 2017013520W WO 2018179310 A1 WO2018179310 A1 WO 2018179310A1
Authority
WO
WIPO (PCT)
Prior art keywords
album
user
images
generating
image
Prior art date
Application number
PCT/JP2017/013520
Other languages
English (en)
French (fr)
Inventor
伸也 高橋
康瑛 手塚
嘉秀 遊座
伊藤 淳
章平 鈴木
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to CN201780088228.2A priority Critical patent/CN110393008A/zh
Priority to DE112017007333.2T priority patent/DE112017007333T5/de
Priority to PCT/JP2017/013520 priority patent/WO2018179310A1/ja
Priority to JP2019508085A priority patent/JP6748292B2/ja
Publication of WO2018179310A1 publication Critical patent/WO2018179310A1/ja
Priority to US16/567,270 priority patent/US11165955B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00148Storage
    • H04N1/00151Storage with selective access
    • H04N1/00153Storage with selective access for sharing images with a selected individual or correspondent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00172Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to an album generation apparatus, an album generation system, and an album generation method.
  • Patent Document 1 describes that when there are other vehicles or fixed cameras around the host vehicle, the host vehicle is requested to shoot the host vehicle and the shooting data is acquired.
  • an album generating device is a first obtaining unit that obtains identification information for identifying a combination of a user and a moving object, and one or more images from one or more photographing devices. Using a second acquisition means for acquiring, a selection means for selecting an image including the combination of the user and the moving body from the one or more images using the identification information, and using the selected image
  • An album generating apparatus comprising: generating means for generating an album.
  • an advantageous technique is provided for generating an album including a moving body image.
  • FIGS. 1A and 2B are diagrams illustrating a configuration example of a photographing apparatus according to an embodiment of the present invention.
  • generation apparatus which concerns on embodiment of this invention.
  • the figure explaining the structural example of the album browsing apparatus which concerns on embodiment of this invention.
  • the figure explaining an example of the reception process of the service application which concerns on embodiment of this invention.
  • the moving body is a movable object, and includes, for example, a vehicle, a ship, and an aircraft.
  • a vehicle particularly a motorcycle (a so-called motorcycle) is used as an example of a moving body, but the moving body may be an automobile or another moving body.
  • the album generation system 100 includes a service reception apparatus 110, photographing apparatuses 120a to 120d, an album generation apparatus 130, and an album browsing apparatus 140.
  • the service reception device 110 is a device that receives an application for an album providing service from the driver 103 of the vehicle 101.
  • the album providing service is a service provided by the album generation system 100, and an image obtained by taking a picture of a vehicle 101 (moving moving body) traveling in a specific traveling section 102 by a service user (hereinafter referred to as a user). It is a service that provides albums that include it.
  • the album providing service is simply called a service.
  • the specific traveling section 102 is an album generation target section.
  • the driver 103 becomes a user of this service by applying for the service.
  • the service reception device 110 captures images of the vehicle 101 and the driver 103 when receiving a service application, and transmits the images to the album generation device 130.
  • the service reception apparatus 110 receives the service identification number as a response and notifies the driver 103 of this number.
  • the driver 103 obtains an album using this number after the traveling of the traveling section 102 is completed. Also, the user may specify album editing conditions when applying for a service.
  • the service reception device 110 may be prepared by the provider of the album generation system 100 and installed at the start point 102a and the end point 102b of the travel section 102.
  • a person who wants to use the service may apply for the service using the service reception device 110 installed at the starting point 102a of the travel section 102 and then travel in the travel section 102.
  • the images of the vehicle 101 and the driver 103 transmitted to the album generating apparatus 130 are taken before the driver 103 travels in the travel section 102.
  • a user who wishes to use the service may apply for the service using the service reception device 110 installed at the end point 102b of the travel section 102 after traveling the travel section 102.
  • the images of the vehicle 101 and the driver 103 transmitted to the album generating apparatus 130 are taken after the driver 103 travels in the travel section 102.
  • the driver 103 may use an electronic device that the driver 103 has (for example, a mobile device with a camera such as a smartphone) as the service reception apparatus 110.
  • the driver 103 applies for the service through the website provided by the album generating apparatus 130.
  • the driver 103 transmits the image of himself / herself and the vehicle to the album generating apparatus 130.
  • the driver 103 receives the service identification number from the album generating apparatus 130 with his / her electronic device.
  • the application using its own electronic device may be performed before traveling in the traveling section 102 or may be performed after traveling.
  • the photographing devices 120a to 120d are devices that photograph a vehicle traveling in the traveling section 102, respectively.
  • the imaging devices 120a to 120d are collectively referred to as the imaging device 120 when it is not necessary to distinguish between them.
  • the image capturing device 120 transmits the captured image to the album generating device 130.
  • the image may be a still image or a moving image.
  • the photographing device 120 may be fixed at a point where the traveling section 102 can be photographed like the photographing device 120a, or is mounted on an unmanned air vehicle 105 (for example, a drone) that can fly independently like the photographing device 120b. Alternatively, it may be used by the photographer 104 like the photographing device 120c, or may be mounted on the vehicle 101 like the photographing device 120d.
  • the unmanned air vehicle 105 and the vehicle 101 are both examples of moving bodies.
  • the album generation system 100 may include at least one of the imaging devices 120a to 120d, or may include a plurality of each of the imaging devices 120a to 120d.
  • the imaging device 120a may detect that a moving object is present in the imaging area and automatically image the moving object.
  • the unmanned air vehicle 105 equipped with the imaging device 120b flies along the traveling section 102.
  • the imaging device 120b may detect that a moving object is present in the imaging area and automatically image the moving object.
  • the album generation apparatus 130 is an apparatus that generates an album of travel images of the vehicle 101.
  • the album browsing device 140 is a device for the user to browse an album of travel images of the vehicle 101. The user uses the album browsing device 140 to request the album generation device 130 to provide an album. In response to this, the album generation device 130 generates an album of travel images and transmits it to the album browsing device 140.
  • the album browsing device 140 displays the received album on the display device.
  • the service reception device 110 includes a processing device 111, a storage device 112, an input device 113, a display device 114, a communication device 115, and an image sensor 116.
  • the processing device 111 is a device that executes processing performed by the service reception device 110, and includes a processor such as a CPU.
  • the storage device 112 is a device for storing data for performing processing by the service reception device 110, and includes, for example, a memory such as a RAM or a ROM.
  • the input device 113 is a device for receiving an input from the user (for example, the driver 103) of the service reception device 110, and includes, for example, a touch pad or a button.
  • the display device 114 is a device for presenting information to the user of the service reception device 110, and includes, for example, a liquid crystal display or a speaker.
  • the input device 113 and the display device 114 may be configured as an integrated device such as a touch screen.
  • the communication device 115 is a device for the service reception device 110 to communicate with other devices, and is configured by a network card or the like when performing wired communication, and by an antenna or a signal processing circuit when performing wireless communication. Composed.
  • the image sensor 116 is a sensor for generating an electrical signal based on light incident through the lens of the service reception apparatus 110.
  • the processing device 111 generates an image by processing the electrical signal generated by the image sensor 116.
  • the photographing device 120 includes a processing device 121, a storage device 122, an input device 123, a display device 124, a communication device 125, and an image sensor 126.
  • the processing device 121, the storage device 122, the input device 123, the display device 124, the communication device 125, and the image sensor 126 are the same as the processing device 111, the storage device 112, the input device 113, the display device 114, the communication device 115, and the image sensor 116. Therefore, the overlapping description is omitted.
  • the album generating apparatus 130 includes a processing device 131, a storage device 132, an input device 133, a display device 134, and a communication device 135. Since the processing device 131, the storage device 132, the input device 133, the display device 134, and the communication device 135 are the same as the processing device 111, the storage device 112, the input device 113, the display device 114, and the communication device 115, redundant description is omitted. To do. Since the album generation apparatus 130 processes a large amount of data, it is configured by a server computer, for example. In addition to the memory, the storage device 132 may be configured by a disk device or the like.
  • the album browsing device 140 includes a processing device 141, a storage device 142, an input device 143, a display device 144, and a communication device 145.
  • the processing device 141, the storage device 142, the input device 143, the display device 144, and the communication device 145 are the same as the processing device 111, the storage device 112, the input device 113, the display device 114, and the communication device 115, and thus redundant description is omitted.
  • the album browsing device 140 is, for example, a mobile device such as a smartphone or a personal computer.
  • This process is executed by cooperation between the service reception apparatus 110 and the album generation apparatus 130.
  • Processing in the service reception device 110 is performed by the processing device 111 reading a program stored in the storage device 112 and executing an instruction included therein.
  • the processing in the album generation apparatus 130 is performed by the processing apparatus 131 reading a program stored in the storage device 132 and executing an instruction included therein.
  • step S ⁇ b> 301 the service reception apparatus 110 receives a service application instruction from the driver 103 using the input device 113.
  • the service reception device 110 receives an album editing policy from the driver 103 simultaneously with the application instruction.
  • the album editing policy includes, for example, a method of cutting out the traveling vehicle 101.
  • Examples of the cutting-out method include a tandem traveling shooting mode, a saddle traveling shooting mode, and a group traveling shooting mode.
  • the tandem travel shooting mode is a shooting mode in the case of traveling with two people, and the image 601 of the vehicle 101 is cut out in a range where the surrounding scenery can be seen as shown in FIG. 6A.
  • the saddle-running shooting mode is a shooting mode in the case of traveling on a saddle alone, and the image 602 is cut out so that the vehicle 101 occupies most of the image as shown in FIG. 6B.
  • the collective traveling photographing mode is a photographing mode when traveling with a plurality of vehicles, and the image 603 is cut out so as to include the entire plurality of vehicles 101 as shown in FIG. 6C.
  • the album editing policy may include the type of sound effect, the type of BGM, the priority camera angle (front, side, rear).
  • step S302 the service reception apparatus 110 captures images of the driver 103 and the vehicle 101.
  • An example of the image 701 photographed here is shown in FIG. 7A.
  • the service reception device 110 captures an image 701 including the vehicle 101 and the helmet 702 and the wear 703 of the driver 103.
  • the image 701 may be photographed before traveling in the traveling section 102 or may be photographed after traveling.
  • step S303 the service reception apparatus 110 transmits the editing policy received in step S301 and the image photographed in step S302 to the album generation apparatus 130, and the album generation apparatus 130 receives them.
  • the album generating apparatus 130 generates identification information for identifying the combination of the driver 103 and the vehicle 101 from the received image.
  • this identification information is referred to as vehicle identification information.
  • the album generation device 130 generates vehicle identification information including at least one of the appearance of the driver 103 and the appearance of the vehicle 101.
  • the appearance of the driver 103 may include at least one of the helmet 702 and the wear 703 of the driver 103.
  • the album generation device 130 specifies the color of the helmet 702 and the color of the wear 703 from the image of the driver 103, and specifies the color and model of the vehicle 101 from the image of the vehicle 101.
  • the album generating apparatus 130 uses a combination of these specified information as vehicle identification information.
  • step S305 the album generating apparatus 130 issues a new service ID.
  • the service ID is a number for uniquely identifying each instance of the album providing service.
  • the album generation device 130 stores the editing policy received in step S303, the vehicle identification information generated in step S304, and the service ID issued in step S305 in association with each other in the storage device 132.
  • step S307 the album generation apparatus 130 transmits the service ID issued in step S305 to the service reception apparatus 110, and the service reception apparatus 110 receives the service ID.
  • step S308 the service reception apparatus 110 presents the service ID received in step S306 to the driver 103.
  • the editing policy is received in step S301, and the editing policy is transmitted to the album generating apparatus 130 in step S303. These steps may be omitted.
  • the album generation apparatus 130 may generate an album according to the default editing policy, may follow the past editing policy of the same user, or may recommend editing based on the editing policy of another user. You may follow the policy.
  • the album generating apparatus 130 generates vehicle identification information in step S304.
  • the service reception apparatus 110 may generate vehicle identification information by executing step S304 and transmit the vehicle identification information to the album generation apparatus 130.
  • the album generating apparatus 130 can acquire the vehicle identification information.
  • FIG. 1 An example of processing for registering an image will be described with reference to FIG. This process is executed by the cooperation of the image capturing device 120 and the album generating device 130.
  • the processing in the imaging device 120 is performed by the processing device 121 reading a program stored in the storage device 122 and executing instructions included therein.
  • the processing in the album generation apparatus 130 is performed by the processing apparatus 131 reading a program stored in the storage device 132 and executing an instruction included therein.
  • the image capturing apparatus 120 captures an image using the image sensor 127.
  • This image may be a still image or a moving image (for example, a moving image of about 10 seconds).
  • Various images are taken according to the installation position of the photographing apparatus 120.
  • the imaging device 120d mounted on the vehicle 101 captures an image 702 when another vehicle is viewed from behind, as shown in FIG. 7B.
  • the imaging device 120b mounted on the unmanned aerial vehicle 105 captures an image 703 when the vehicle 101 is viewed from above, as shown in FIG. 7C.
  • the imaging device 120 transmits the image captured in step S401 to the album generation device 130, and the album generation device 130 receives the image.
  • the album generating apparatus 130 stores the image received in step S403 in the storage device 132.
  • the album generation apparatus 130 may store the image in association with the identification information of the imaging apparatus 120 that has captured the image.
  • the processing (steps S401 to S403) of the image capturing device 120 is started, for example, when the image capturing device 120 is started, and then repeatedly (for example, every second), and is ended when the image capturing device 120 is stopped. Also good. Instead of this, the processing of the photographing apparatus 120 may be performed in accordance with an instruction from the photographer 104.
  • the image capturing device 120 stores the image in its own storage device 112 instead of transmitting it to the album generating device 130 every time an image is captured, and collects a plurality of images (for example, when the photographer 104 instructs or albums). When instructed from the generation device 130 from the remote, it may be transmitted to the album generation device 130 when a certain time (for example, 1 hour) has elapsed.
  • FIG. 1 An example of processing for generating and displaying an album will be described with reference to FIG. This process is executed when the album browsing device 140 and the album generating device 130 cooperate.
  • the processing in the album browsing device 140 is performed by the processing device 141 reading a program stored in the storage device 142 and executing a command included therein.
  • the processing in the album generation apparatus 130 is performed by the processing apparatus 131 reading a program stored in the storage device 132 and executing an instruction included therein.
  • step S501 the album browsing device 140 receives a request for displaying an album of travel images from a user (for example, the driver 103). This request includes the service ID presented in step S308 of FIG.
  • step S502 the album browsing apparatus 140 transmits a request including the service ID received in step S501 to the album generating apparatus 130, and the album generating apparatus 130 receives the request.
  • step S503 the album generation apparatus 130 reads vehicle identification information associated with the service ID received in step S502 from the storage device 132. As described above, the vehicle identification information is stored in the storage device 132 in step S306 of FIG. In step S504, the album generating apparatus 130 uses the vehicle identification information read out in step S503 to determine the combination of the driver 103 and the vehicle 101 that are the album generation target among the one or more images stored in the storage device 132. Select an image to include.
  • the album generating apparatus 130 creates an album using the image selected in step S504.
  • the album generating apparatus 130 generates an album according to the editing policy.
  • the creation of an album includes cutting out a scene from a moving image, combining one or more images, trimming an image, inserting a BGM, adding a sound effect, and the like.
  • the album generating apparatus 130 generates an album according to the editing policy.
  • the parameters that are not set in detail in the user's editing policy are determined by the album generating apparatus 130 by making a judgment on its own.
  • step S506 the album generating apparatus 130 transmits the album generated in step S505 to the album browsing apparatus 140, and the album browsing apparatus 140 receives the album.
  • step S507 the album browsing device 140 displays the album received in step S506 on the display device 144.
  • step S508 the album browsing apparatus 140 acquires an evaluation for the album from the user. This evaluation may be a two-stage evaluation of “good” or “bad”, or may be an evaluation of three or more stages.
  • step S509 the album browsing apparatus 140 transmits the evaluation received in step S508 to the album generating apparatus 130, and the album generating apparatus 130 receives this.
  • the album generating apparatus 130 stores the evaluation of the album in the storage device 132 in association with the album generating method.
  • the album generation apparatus 130 may generate a new album using this evaluation when generating the album in step S505 in providing future services.
  • the album generating apparatus 130 determines parameters that are not set in detail in the user's editing policy by performing machine learning using evaluations acquired in the past, and generates an album according to the parameters. May be.
  • each device may include a dedicated circuit (for example, ASIC) for executing part or all of the above-described processing.
  • ASIC application-specific integrated circuit
  • An album generation device (130), First acquisition means (131, S304) for acquiring identification information for identifying a combination of the user (103) and the moving object (101); Second acquisition means (131, S402) for acquiring one or more images from one or more imaging devices (120); Selection means (131, S504) for selecting an image including the combination of the user and the moving body from the one or more images using the identification information; Generation means (131, S505) for generating an album using the selected image;
  • An album generation apparatus comprising:
  • This configuration makes it possible to generate an album in a specific section.
  • the first acquisition unit acquires the identification information from images of the user and the moving body that are photographed before or after traveling the section to be generated of the album.
  • the album generation device described.
  • the identification information can be acquired by taking images of the user and the moving body.
  • the user and the vehicle can be photographed before and after a specific section.
  • the image can be identified by the appearance of the user or the appearance of the moving body.
  • the mobile body is a motorcycle, and the external appearance of the user includes at least one of a helmet (702) and a wear (703) of the user.
  • Album generator is a helmet (702) and a wear (703) of the user.
  • This configuration makes it possible to generate an album that matches the user's preference.
  • [Configuration 8] Means for providing the album to the user; Means for obtaining an evaluation of the album from the user; 8. The album generation apparatus according to any one of configurations 1 to 7, wherein the generation unit generates a new album based on the evaluation.
  • the evaluation is fed back with respect to the generation of the album, so that it is possible to generate an album that suits the user's preference.
  • an image from a specific point can be included in the album.
  • An album generation system (100), One or more imaging devices (120); First acquisition means (131, S304) for acquiring identification information for identifying a combination of the user (103) and the moving object (101); Second acquisition means (131, S402) for acquiring one or more images from one or more imaging devices (120); Selection means (131, S504) for selecting an image including the combination of the user and the moving body from the one or more images using the identification information; Generation means (131, S505) for generating an album using the selected image;
  • An album generation system comprising:
  • a method of generating an album Obtaining identification information for identifying a combination of the user (103) and the moving body (101) (S304); Acquiring one or more images from one or more imaging devices (120) (S402); Selecting an image including the combination of the user and the moving body from the one or more images using the identification information (S504); Generating an album using the selected image (S505);
  • the one or more processors When executed by one or more processors (131), the one or more processors include: Obtaining identification information for identifying a combination of the user (103) and the moving object (101) (S304); Acquiring one or more images from one or more imaging devices (120) (S402); Using the identification information, selecting an image including the combination of the user and the moving body from the one or more images (S504); Generating an album using the selected image (S505); A program comprising an instruction for executing the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

アルバム生成装置は、ユーザ及び移動体の組み合わせを識別する識別情報を取得する第1取得部と、1つ以上の撮影装置から1つ以上の画像を取得する第2取得部と、識別情報を用いて、1つ以上の画像のうちユーザ及び移動体の組み合わせを含む画像を選択する選択部と、選択された画像を用いてアルバムを生成する生成部と、を備える。

Description

アルバム生成装置、アルバム生成システム及びアルバム生成方法
 本発明は、アルバム生成装置、アルバム生成システム及びアルバム生成方法に関する。
 近年、周囲を撮影するためにカメラを搭載した車両が増えてきている。特許文献1には、自車両の周囲に他車両や固定カメラがある場合に、それらに自車両の撮影を依頼し、撮影データを取得することが記載されている。
特開2009-212701号公報
 特許文献1に記載された技術では、他車両又は固定カメラで撮影された画像が自動的に自車両に送信される。これらの画像を用いてアルバムを生成するのはユーザにとって煩雑な作業であった。本発明の1つの側面は、移動体の画像を含むアルバムを生成するために有利な技術を提供することを目的とする。
 本発明の一部の実施形態では、アルバム生成装置であって、ユーザ及び移動体の組み合わせを識別する識別情報を取得する第1取得手段と、1つ以上の撮影装置から1つ以上の画像を取得する第2取得手段と、前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択する選択手段と、前記選択された画像を用いてアルバムを生成する生成手段と、を備えることを特徴とするアルバム生成装置が提供される。
 上記手段によれば、移動体の画像を含むアルバムを生成するために有利な技術が提供される。
 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態に係るアルバム生成システムの構成例を説明する図。 本発明の実施形態に係るサービス受付装置の構成例を説明する図。 本発明の実施形態に係る撮影装置の構成例を説明する図。 本発明の実施形態に係るアルバム生成装置の構成例を説明する図。 本発明の実施形態に係るアルバム閲覧装置の構成例を説明する図。 本発明の実施形態に係るサービスの申し込みの受付処理の一例を説明する図。 本発明の実施形態に係る画像を登録する処理の一例を説明する図。 本発明の実施形態に係るアルバムを生成・表示する処理の一例を説明する図。 本発明の実施形態に係るタンデム走行撮影モードの例を説明する図。 本発明の実施形態に係る峠走行撮影モードの例を説明する図。 本発明の実施形態に係る集団走行撮影モードの例を説明する図。 本発明の実施形態に係る撮影される画像の例を説明する図。 本発明の実施形態に係る撮影される画像の例を説明する図。 本発明の実施形態に係る撮影される画像の例を説明する図。
 添付の図面を参照しつつ本発明の実施形態について以下に説明する。様々な実施形態を通じて同様の要素には同一の参照符号を付し、重複する説明を省略する。また、各実施形態は適宜変更、組み合わせが可能である。以下の実施形態において、移動体とは移動可能な物体のことであり、例えば車両や船、航空機を含む。以下の実施形態では、移動体の一例として車両、とくに自動二輪車(いわゆるバイク)を扱うが、移動体は自動四輪車であってもよいし、他の移動体であってもよい。
 図1を参照して、一部の実施形態に係るアルバム生成システム100の構成例と動作の概要とを説明する。アルバム生成システム100は、サービス受付装置110と、撮影装置120a~120dと、アルバム生成装置130と、アルバム閲覧装置140とを含む。
 サービス受付装置110は、車両101の運転者103からアルバム提供サービスの申し込みを受け付ける装置である。アルバム提供サービスとは、アルバム生成システム100によって提供されるサービスであり、サービス利用者(以下、ユーザ)が特定の走行区間102を走行中の車両101(移動中の移動体)を撮影した画像を含むアルバムを提供するサービスのことである。以下、アルバム提供サービスを単にサービスと呼ぶ。特定の走行区間102がアルバムの生成対象の区間となる。運転者103はサービスを申し込むことによって、このサービスのユーザとなる。
 サービス受付装置110は、サービスの申し込みの受付の際に、車両101及び運転者103の画像を撮影し、この画像をアルバム生成装置130へ送信する。サービス受付装置110は、この応答としてサービス識別番号を受信し、この番号を運転者103へ通知する。運転者103は、走行区間102の走行終了後に、この番号を利用してアルバムを取得する。また、ユーザは、サービスの申込時にアルバムの編集条件を指定してもよい。
 サービス受付装置110は、アルバム生成システム100の提供者によって用意され、走行区間102の始点102a及び終点102bに設置されてもよい。サービスの利用希望者は、走行区間102の始点102aに設置されたサービス受付装置110を用いてサービスを申し込み、その後に走行区間102を走行してもよい。この場合に、アルバム生成装置130へ送信される車両101及び運転者103の画像は、運転者103が走行区間102を走行する前に撮影される。これに代えて、サービスの利用希望者は、走行区間102を走行した後に、走行区間102の終点102bに設置されたサービス受付装置110を用いてサービスを申し込んでもよい。この場合に、アルバム生成装置130へ送信される車両101及び運転者103の画像は、運転者103が走行区間102を走行した後に撮影される。
 運転者103は、自身が有する電子デバイス(例えば、スマートフォンなどのカメラ付きモバイルデバイス)をサービス受付装置110として利用してもよい。この場合に、運転者103は、アルバム生成装置130が提供するウェブサイトを通じてサービスに申し込む。その際に、運転者103は、自身及び車両の画像をアルバム生成装置130へ送信する。運転者103は、この応答としてアルバム生成装置130からサービス識別番号を自身の電子デバイスで受信する。自身の電子デバイスを利用した申し込みは、走行区間102を走行する前に行われてもよいし、走行した後に行われてもよい。
 撮影装置120a~120dはそれぞれ、走行区間102を走行する車両を撮影する装置である。撮影装置120a~120dを特に区別する必要がない場合に、撮影装置120と総称する。撮影装置120は撮影した画像をアルバム生成装置130へ送信する。画像は静止画像であってもよいし、動画像であってもよい。撮影装置120は、撮影装置120aのように走行区間102を撮影可能な地点に固定されていてもよいし、撮影装置120bのように自立飛行可能な無人飛行体105(例えば、ドローン)に搭載されてもよいし、撮影装置120cのように撮影者104によって使用されてもよいし、撮影装置120dのように車両101に搭載されてもよい。無人飛行体105及び車両101はいずれも移動体の一例である。アルバム生成システム100は、撮影装置120a~120dの少なくとも1つを備えてもよいし、撮影装置120a~120dのそれぞれを複数備えてもよい。
 撮影装置120aは、撮影エリアに移動体が存在していることを検出し、その移動体を自動的に撮影してもよい。撮影装置120bを搭載した無人飛行体105は、走行区間102に沿って飛行する。撮影装置120bは、撮影エリアに移動体が存在していることを検出し、その移動体を自動的に撮影してもよい。
 アルバム生成装置130は、車両101の走行画像のアルバムを生成する装置である。アルバム閲覧装置140は、ユーザが車両101の走行画像のアルバムを閲覧するための装置である。ユーザはアルバム閲覧装置140を用いてアルバム生成装置130に対してアルバムの提供を要求する。これに応じて、アルバム生成装置130は走行画像のアルバムを生成し、アルバム閲覧装置140に送信する。アルバム閲覧装置140は受信したアルバムを表示装置に表示する。
 図2A~図2Dを参照して、アルバム生成システム100に含まれる各装置のハードウェア構成例を説明する。図2Aに示すように、サービス受付装置110は、処理装置111と、記憶装置112と、入力装置113と、表示装置114と、通信装置115と、イメージセンサ116とを有する。処理装置111は、サービス受付装置110が行う処理を実行する装置であり、例えばCPUなどのプロセッサによって構成される。記憶装置112は、サービス受付装置110による処理を行うためのデータを記憶するための装置であり、例えばRAMやROMなどのメモリで構成される。
 入力装置113は、サービス受付装置110のユーザ(例えば運転者103)からの入力を受け取るための装置であり、例えばタッチパッドやボタンなどで構成される。表示装置114は、サービス受付装置110のユーザへ情報を提示するための装置であり、例えば液晶ディスプレイやスピーカなどで構成される。入力装置113及び表示装置114はタッチスクリーンのような一体の装置で構成されてもよい。
 通信装置115は、サービス受付装置110が他の装置と通信するための装置であり、有線通信を行う場合にはネットワークカードなどによって構成され、無線通信を行う場合にはアンテナや信号処理回路などによって構成される。イメージセンサ116は、サービス受付装置110のレンズを通じて入射した光に基づいて電気信号を生成するためのセンサである。処理装置111は、イメージセンサ116で生成された電気信号を処理することによって画像を生成する。
 図2Bに示すように、撮影装置120は、処理装置121と、記憶装置122と、入力装置123と、表示装置124と、通信装置125と、イメージセンサ126とを有する。処理装置121、記憶装置122、入力装置123、表示装置124、通信装置125及びイメージセンサ126は、処理装置111、記憶装置112、入力装置113、表示装置114、通信装置115及びイメージセンサ116と同様であるので重複する説明を省略する。
 図2Cに示すように、アルバム生成装置130は、処理装置131と、記憶装置132と、入力装置133と、表示装置134と、通信装置135とを有する。処理装置131、記憶装置132、入力装置133、表示装置134及び通信装置135は、処理装置111、記憶装置112、入力装置113、表示装置114及び通信装置115と同様であるので重複する説明を省略する。アルバム生成装置130は大量のデータを処理するので、例えばサーバ用のコンピュータによって構成される。また、記憶装置132は、メモリ以外に、ディスク装置などで構成されてもよい。
 図2Dに示すように、アルバム閲覧装置140は、処理装置141と、記憶装置142と、入力装置143と、表示装置144と、通信装置145とを有する。処理装置141、記憶装置142、入力装置143、表示装置144及び通信装置145は、処理装置111、記憶装置112、入力装置113、表示装置114及び通信装置115と同様であるので重複する説明を省略する。アルバム閲覧装置140は、例えばスマートフォンなどのモバイルデバイスやパーソナルコンピュータなどである。
 図3を参照して、サービスの申し込みの受付処理の一例を説明する。この処理は、サービス受付装置110とアルバム生成装置130とが連携することによって実行される。サービス受付装置110における処理は、処理装置111が記憶装置112に格納されているプログラムを読み出し、これに含まれる命令を実行することによって行われる。アルバム生成装置130における処理は、処理装置131が記憶装置132に格納されているプログラムを読み出し、これに含まれる命令を実行することによって行われる。
 ステップS301において、サービス受付装置110は、入力装置113を用いて運転者103からサービスの申し込みの指示を受け取る。サービス受付装置110は、申し込みの指示と同時にアルバムの編集方針を運転者103から受け取る。
 アルバムの編集方針は、例えば走行中の車両101の切り出し方法を含む。切り出し方法として、例えばタンデム走行撮影モードと、峠走行撮影モードと、集団走行撮影モードとを含む。タンデム走行撮影モードとは、二人乗りで走行した場合の撮影モードであり、図6Aに示すように周囲の風景が分かるような範囲で車両101の画像601が切り出される。峠走行撮影モードとは、一人乗りで峠を走行した場合の撮影モードであり、図6Bに示すように車両101が画像の大部分を占めるように画像602が切り出される。集団走行撮影モードとは、複数の車両で走行した場合の撮影モードであり、図6Cに示すように複数の車両101全体が含まれるように画像603が切り出される。その他に、アルバムの編集方針は、効果音の種類、BGMの種類、優先するカメラアングル(前方、側方、後方)などを含んでもよい。
 ステップS302において、サービス受付装置110は、運転者103及び車両101の画像を撮影する。ここで撮影される画像701の一例を図7Aに示す。サービス受付装置110は、車両101と、運転者103のヘルメット702及びウェア703が含まれる画像701を撮影する。上述のように、画像701は、走行区間102の走行前に撮影されてもよいし、走行後に撮影されてもよい。ステップS303において、サービス受付装置110は、ステップS301で受け取った編集方針と、ステップS302で撮影された画像とをアルバム生成装置130へ送信し、アルバム生成装置130はこれを受信する。
 ステップS304において、アルバム生成装置130は、受信した画像から運転者103及び車両101の組み合わせを識別する識別情報を生成する。以下、この識別情報を車両識別情報と呼ぶ。例えば、アルバム生成装置130は、運転者103の外観と、車両101の外観との少なくとも1つを含む車両識別情報を生成する。運転者103の外観は、運転者103のヘルメット702とウェア703との少なくとも1つを含んでもよい。例えば、アルバム生成装置130は、運転者103の画像からヘルメット702の色及びウェア703の色を特定し、車両101の画像から車両101の色及びモデルを特定する。アルバム生成装置130は、これらの特定された情報の組み合わせを車両識別情報とする。
 ステップS305において、アルバム生成装置130は新たなサービスIDを発行する。サービスIDとは、アルバム提供サービスの各インスタンスを一意に識別するための番号である。ステップS306において、アルバム生成装置130は、ステップS303で受信した編集方針と、ステップS304で生成した車両識別情報と、ステップS305で発行したサービスIDとを関連付けて記憶装置132に格納する。
 ステップS307において、アルバム生成装置130は、ステップS305で発行されたサービスIDをサービス受付装置110へ送信し、サービス受付装置110はこれを受信する。ステップS308において、サービス受付装置110は、ステップS306で受信したサービスIDを運転者103に提示する。
 上述の動作例では、ステップS301で編集方針が受け取られ、ステップS303で編集方針がアルバム生成装置130へ送信された。これらのステップは省略されてもよい。この場合に、アルバム生成装置130はデフォルトの編集方針に沿ってアルバムを生成してもよいし、同じユーザの過去の編集方針に沿ってもよいし、他のユーザの編集方針に基づく推奨の編集方針に沿ってもよい。
 上述の動作例では、アルバム生成装置130がステップS304で車両識別情報を生成した。これに代えて、サービス受付装置110がステップS304を実行することによって車両識別情報を生成し、この車両識別情報をアルバム生成装置130へ送信してもよい。いずれの方法であっても、アルバム生成装置130は車両識別情報を取得できる。
 図4を参照して、画像を登録する処理の一例を説明する。この処理は、撮影装置120とアルバム生成装置130とが連携することによって実行される。撮影装置120における処理は、処理装置121が記憶装置122に格納されているプログラムを読み出し、これに含まれる命令を実行することによって行われる。アルバム生成装置130における処理は、処理装置131が記憶装置132に格納されているプログラムを読み出し、これに含まれる命令を実行することによって行われる。
 ステップS401において、撮影装置120は、イメージセンサ127を用いて画像を撮影する。この画像は静止画像であってもよいし、動画像(例えば、10秒程度の動画像)であってもよい。撮影装置120の設置位置に応じて様々な画像が撮影される。例えば、車両101に搭載された撮影装置120dは、図7Bに示すように他の車両を背後から見た画像702を撮影する。無人飛行体105に搭載された撮影装置120bは、図7Cに示すように車両101を上空から見た画像703を撮影する。ステップS402において、撮影装置120は、ステップS401で撮影された画像をアルバム生成装置130へ送信し、アルバム生成装置130はこれを受信する。ステップS403において、アルバム生成装置130は、ステップS403で受信した画像を記憶装置132に格納する。このステップにおいて、アルバム生成装置130は、画像を撮影した撮影装置120の識別情報と関連付けて画像を格納してもよい。
 撮影装置120の処理(ステップS401~ステップS403)は、例えば撮影装置120が起動することによって開始され、その後反復して(例えば、1秒ごとに)実行され、撮影装置120の停止によって終了してもよい。これに代えて、撮影装置120の処理は、撮影者104の指示に応じて行われてもよい。
 撮影装置120は、画像を撮影するごとにアルバム生成装置130へ送信する代わりに、自身の記憶装置112に格納しておき、画像を複数まとめて(例えば撮影者104に指示された場合や、アルバム生成装置130からリモートから指示された場合、一定時間(例えば1時間)が経過した場合などに)アルバム生成装置130へ送信してもよい。
 図5を参照して、アルバムを生成・表示する処理の一例を説明する。この処理は、アルバム閲覧装置140とアルバム生成装置130とが連携することによって実行される。アルバム閲覧装置140における処理は、処理装置141が記憶装置142に格納されているプログラムを読み出し、これに含まれる命令を実行することによって行われる。アルバム生成装置130における処理は、処理装置131が記憶装置132に格納されているプログラムを読み出し、これに含まれる命令を実行することによって行われる。
 ステップS501において、アルバム閲覧装置140はユーザ(例えば、運転者103)から走行画像のアルバムを表示することの要求を受け取る。この要求は、図3のステップS308で提示されたサービスIDを含む。ステップS502において、アルバム閲覧装置140は、ステップS501で受け取ったサービスIDを含む要求をアルバム生成装置130へ送信し、アルバム生成装置130はこれを受信する。
 ステップS503において、アルバム生成装置130は、ステップS502で受信したサービスIDに関連付けられた車両識別情報を記憶装置132から読み出す。上述のように、記憶装置132には図3のステップS306で車両識別情報が格納されている。ステップS504において、アルバム生成装置130は、ステップS503で読み出した車両識別情報を用いて、記憶装置132に格納されている1つ以上の画像のうちアルバム生成対象の運転者103及び車両101の組み合わせを含む画像を選択する。
 ステップS505において、アルバム生成装置130は、ステップS504で選択された画像を用いてアルバムを作成する。ユーザによって編集方針が指定されている場合に、アルバム生成装置130はこの編集方針に沿ってアルバムを生成する。アルバムの作成は、動画像からのシーンの切り出し、1以上の画像の結合、画像のトリミング、BGMの挿入、効果音の付加などを含む。ユーザによって編集方針が指定されている場合に、アルバム生成装置130はこの編集方針に沿ってアルバムを生成する。ユーザの編集方針で詳細に設定されていないパラメータに関しては、アルバム生成装置130が自身で判断して決定する。
 ステップS506において、アルバム生成装置130は、ステップS505で生成したアルバムをアルバム閲覧装置140へ送信し、アルバム閲覧装置140はこれを受信する。ステップS507において、アルバム閲覧装置140は、ステップS506で受信したアルバムを表示装置144で表示する。
 ステップS508において、アルバム閲覧装置140は、アルバムに対する評価をユーザから取得する。この評価は「良い」か「悪い」かの2段階であってもよいし、3段階以上の評価であってもよい。ステップS509において、アルバム閲覧装置140は、ステップS508で受け取った評価をアルバム生成装置130へ送信し、アルバム生成装置130はこれを受信する。
 ステップS510において、アルバム生成装置130は、アルバムの評価を、このアルバムの生成方法に関連付けて記憶装置132に格納する。アルバム生成装置130は、今後のサービスの提供において、ステップS505のアルバム生成の際にこの評価を利用して新たなアルバムを生成してもよい。具体的に、アルバム生成装置130は、ユーザの編集方針で詳細に設定されていないパラメータを、過去に取得した評価を用いて機械学習を行うことによって決定し、そのパラメータに沿ってアルバムを生成してもよい。
 上述の図3~図5では、アルバム生成システム100の各装置の処理装置がプログラムを実行することによって処理が行われた。これに代えて、各装置は、上述の処理の一部又は全部を実行するための専用回路(例えばASIC)を備えてもよい。
 <実施形態のまとめ>
[構成1]
 アルバム生成装置(130)であって、
 ユーザ(103)及び移動体(101)の組み合わせを識別する識別情報を取得する第1取得手段(131、S304)と、
 1つ以上の撮影装置(120)から1つ以上の画像を取得する第2取得手段(131、S402)と、
 前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択する選択手段(131、S504)と、
 前記選択された画像を用いてアルバムを生成する生成手段(131、S505)と、
を備えることを特徴とするアルバム生成装置。
 この構成によれば、移動中の移動体のアルバムを移動体のユーザに対して提供可能になる。
[構成2]
 前記1つ以上の撮影装置は、前記アルバムの生成対象の区間(102)を移動する移動体を撮影することを特徴とする構成1に記載のアルバム生成装置。
 この構成によれば、特定の区間におけるアルバムを生成可能になる。
[構成3]
 前記第1取得手段は、前記アルバムの生成対象の区間を走行する前又は走行した後に撮影された前記ユーザ及び前記移動体の画像から前記識別情報を取得することを特徴とする構成1又は2に記載のアルバム生成装置。
 この構成によれば、ユーザ及び移動体の画像を撮影することによって識別情報を取得可能になる。
[構成4]
 前記ユーザ及び前記移動体の画像は、前記アルバムの生成対象の区間の始点又は終点に設置された撮影装置(110)によって撮影されることを特徴とする構成1乃至3の何れか1項に記載のアルバム生成装置。
 この構成によれば、特定の区間の前後でユーザ及び車両を撮影可能になる。
[構成5]
 前記識別情報は、前記ユーザの外観と、前記移動体の外観との少なくとも一方を含むことを特徴とする構成1乃至4の何れか1項に記載のアルバム生成装置。
 この構成によれば、ユーザの外観又は移動体の外観によって画像を識別可能になる。
[構成6]
 前記移動体は自動二輪車であり、前記ユーザの外観は、前記ユーザのヘルメット(702)とウェア(703)との少なくとも1つを含むことを特徴とする構成1乃至5の何れか1項に記載のアルバム生成装置。
 この構成によれば、ユーザが装着するもので画像を識別することによって、複雑な処理することなく、簡易でかつ確実にユーザ及び移動体を含む画像を特定可能になる。
[構成7]
 前記生成手段は、前記ユーザによって指定された方針に沿って前記アルバムを生成することを特徴とする構成1乃至6の何れか1項に記載のアルバム生成装置。
 この構成によれば、ユーザの嗜好に合ったアルバムを生成可能になる。
[構成8]
 前記アルバムを前記ユーザに提供する手段と、
 前記アルバムの評価を前記ユーザから取得する手段とを更に備え、
 前記生成手段は、前記評価に基づいて新たなアルバムを生成することを特徴とする構成1乃至7の何れか1項に記載のアルバム生成装置。
 この構成によれば、アルバムの生成に対して評価がフィードバックされるので、よりユーザの嗜好にあったアルバムを生成可能になる。
[構成9]
 前記1つ以上の撮影装置は、前記アルバムの生成対象の区間を撮影可能な地点に固定された撮影装置(120a)を含むことを特徴とする構成1乃至8の何れか1項に記載のアルバム生成装置。
 この構成によれば、特定の地点からの画像をアルバムに含めることが可能となる。
[構成10]
 前記1つ以上の撮影装置は、無人飛行体(105)に搭載された撮影装置(102b)を含むことを特徴とする構成1乃至9の何れか1項に記載のアルバム生成装置。
 この構成によれば、上空からの画像をアルバムに含めることが可能となる。
[構成11]
 アルバム生成システム(100)であって、
 1つ以上の撮影装置(120)と、
 ユーザ(103)及び移動体(101)の組み合わせを識別する識別情報を取得する第1取得手段(131、S304)と、
 1つ以上の撮影装置(120)から1つ以上の画像を取得する第2取得手段(131、S402)と、
 前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択する選択手段(131、S504)と、
 前記選択された画像を用いてアルバムを生成する生成手段(131、S505)と、
を備えることを特徴とするアルバム生成システム。
 この構成によれば、移動中の移動体のアルバムを移動体のユーザに対して提供可能になる。
[構成12]
 アルバムを生成する方法であって、
 ユーザ(103)及び移動体(101)の組み合わせを識別する識別情報を取得する工程(S304)と、
 1つ以上の撮影装置(120)から1つ以上の画像を取得する工程(S402)と、
 前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択する工程(S504)と、
 前記選択された画像を用いてアルバムを生成する工程(S505)と、
を有することを特徴とする方法。
 この構成によれば、移動中の移動体のアルバムを移動体のユーザに対して提供可能になる。
[構成13]
 1つ以上のプロセッサ(131)により実行された場合に、前記1つ以上のプロセッサに、
 ユーザ(103)及び移動体(101)の組み合わせを識別する識別情報を取得すること(S304)と、
 1つ以上の撮影装置(120)から1つ以上の画像を取得すること(S402)と、
 前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択すること(S504)と、
 前記選択された画像を用いてアルバムを生成すること(S505)と、
を実行させるための命令を備えることを特徴とするプログラム。
 この構成によれば、移動中の移動体のアルバムを移動体のユーザに対して提供可能になる。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

Claims (13)

  1.  アルバム生成装置であって、
     ユーザ及び移動体の組み合わせを識別する識別情報を取得する第1取得手段と、
     1つ以上の撮影装置から1つ以上の画像を取得する第2取得手段と、
     前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択する選択手段と、
     前記選択された画像を用いてアルバムを生成する生成手段と、
    を備えることを特徴とするアルバム生成装置。
  2.  前記1つ以上の撮影装置は、前記アルバムの生成対象の区間を移動する移動体を撮影することを特徴とする請求項1に記載のアルバム生成装置。
  3.  前記第1取得手段は、前記アルバムの生成対象の区間を走行する前又は走行した後に撮影された前記ユーザ及び前記移動体の画像から前記識別情報を取得することを特徴とする請求項1又は2に記載のアルバム生成装置。
  4.  前記ユーザ及び前記移動体の画像は、前記アルバムの生成対象の区間の始点又は終点に設置された撮影装置によって撮影されることを特徴とする請求項1乃至3の何れか1項に記載のアルバム生成装置。
  5.  前記識別情報は、前記ユーザの外観と、前記移動体の外観との少なくとも一方を含むことを特徴とする請求項1乃至4の何れか1項に記載のアルバム生成装置。
  6.  前記移動体は自動二輪車であり、前記ユーザの外観は、前記ユーザのヘルメットとウェアとの少なくとも1つを含むことを特徴とする請求項1乃至5の何れか1項に記載のアルバム生成装置。
  7.  前記生成手段は、前記ユーザによって指定された方針に沿って前記アルバムを生成することを特徴とする請求項1乃至6の何れか1項に記載のアルバム生成装置。
  8.  前記アルバムを前記ユーザに提供する手段と、
     前記アルバムの評価を前記ユーザから取得する手段とを更に備え、
     前記生成手段は、前記評価に基づいて新たなアルバムを生成することを特徴とする請求項1乃至7の何れか1項に記載のアルバム生成装置。
  9.  前記1つ以上の撮影装置は、前記アルバムの生成対象の区間を撮影可能な地点に固定された撮影装置を含むことを特徴とする請求項1乃至8の何れか1項に記載のアルバム生成装置。
  10.  前記1つ以上の撮影装置は、無人飛行体に搭載された撮影装置を含むことを特徴とする請求項1乃至9の何れか1項に記載のアルバム生成装置。
  11.  アルバム生成システムであって、
     1つ以上の撮影装置と、
     ユーザ及び移動体の組み合わせを識別する識別情報を取得する第1取得手段と、
     前記1つ以上の撮影装置から1つ以上の画像を取得する第2取得手段と、
     前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択する選択手段と、
     前記選択された画像を用いてアルバムを生成する生成手段と、
    を備えることを特徴とするアルバム生成システム。
  12.  アルバムを生成する方法であって、
     ユーザ及び移動体の組み合わせを識別する識別情報を取得する工程と、
     1つ以上の撮影装置から1つ以上の画像を取得する工程と、
     前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択する工程と、
     前記選択された画像を用いてアルバムを生成する工程と、
    を有することを特徴とする方法。
  13.  1つ以上のプロセッサにより実行された場合に、前記1つ以上のプロセッサに、
     ユーザ及び移動体の組み合わせを識別する識別情報を取得することと、
     1つ以上の撮影装置から1つ以上の画像を取得することと、
     前記識別情報を用いて、前記1つ以上の画像のうち前記ユーザ及び前記移動体の前記組み合わせを含む画像を選択することと、
     前記選択された画像を用いてアルバムを生成することと、
    を実行させるための命令を備えることを特徴とするプログラム。
PCT/JP2017/013520 2017-03-31 2017-03-31 アルバム生成装置、アルバム生成システム及びアルバム生成方法 WO2018179310A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201780088228.2A CN110393008A (zh) 2017-03-31 2017-03-31 相册生成装置、相册生成系统及相册生成方法
DE112017007333.2T DE112017007333T5 (de) 2017-03-31 2017-03-31 Albumerzeugungsvorrichtung, albumerzeugungssystem undalbumerzeugungsverfahren
PCT/JP2017/013520 WO2018179310A1 (ja) 2017-03-31 2017-03-31 アルバム生成装置、アルバム生成システム及びアルバム生成方法
JP2019508085A JP6748292B2 (ja) 2017-03-31 2017-03-31 アルバム生成装置、アルバム生成システム及びアルバム生成方法
US16/567,270 US11165955B2 (en) 2017-03-31 2019-09-11 Album generation apparatus, album generation system, and album generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013520 WO2018179310A1 (ja) 2017-03-31 2017-03-31 アルバム生成装置、アルバム生成システム及びアルバム生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/567,270 Continuation US11165955B2 (en) 2017-03-31 2019-09-11 Album generation apparatus, album generation system, and album generation method

Publications (1)

Publication Number Publication Date
WO2018179310A1 true WO2018179310A1 (ja) 2018-10-04

Family

ID=63674382

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013520 WO2018179310A1 (ja) 2017-03-31 2017-03-31 アルバム生成装置、アルバム生成システム及びアルバム生成方法

Country Status (5)

Country Link
US (1) US11165955B2 (ja)
JP (1) JP6748292B2 (ja)
CN (1) CN110393008A (ja)
DE (1) DE112017007333T5 (ja)
WO (1) WO2018179310A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021013067A (ja) * 2019-07-04 2021-02-04 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
JP2021013068A (ja) * 2019-07-04 2021-02-04 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
JP2021064102A (ja) * 2019-10-11 2021-04-22 本田技研工業株式会社 移動体撮影システム、移動体撮影方法、および移動体撮影プログラム
US11165955B2 (en) 2017-03-31 2021-11-02 Honda Motor Co., Ltd. Album generation apparatus, album generation system, and album generation method
JP7346365B2 (ja) 2020-07-31 2023-09-19 本田技研工業株式会社 撮影管理システム、撮影管理装置、運営装置、撮影管理装置の制御方法、運営装置の制御方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438466B2 (en) * 2019-12-19 2022-09-06 HCL Technologies Italy S.p.A. Generating an automatic virtual photo album
CN112685583B (zh) * 2020-12-29 2023-01-13 科大讯飞股份有限公司 行程记录相册生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336576A (ja) * 1997-05-29 1998-12-18 Yamaha Motor Co Ltd 画像記録システム
JP2005267287A (ja) * 2004-03-18 2005-09-29 Fujifilm Graphic Systems Co Ltd 写真アルバム作成・配送システム、画像サーバ、印刷装置および写真アルバム作成・配送方法
JP2006020260A (ja) * 2004-07-01 2006-01-19 Takeshi Tanaka マルチアングル車両追尾システム
JP2014123362A (ja) * 2012-12-21 2014-07-03 Honda Motor Co Ltd 合成訓練データを用いてリアルタイムで自転車運転者を検知する方法、記憶媒体及びコンピュータ
JP2017016388A (ja) * 2015-07-01 2017-01-19 株式会社日本総合研究所 地域アルバム生成サーバ及びその生成方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865306B2 (en) * 2000-09-28 2011-01-04 Michael Mays Devices, methods, and systems for managing route-related information
US7764308B2 (en) * 2002-05-27 2010-07-27 Nikon Corporation Image transmission system, image relay apparatus, and electronic image device
CN100407782C (zh) * 2002-09-27 2008-07-30 富士胶片株式会社 相册制作方法及其装置
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
EP1598638A2 (en) * 2004-05-20 2005-11-23 Noritsu Koki Co., Ltd. Image processing system and navigaton system for correlating position data with image data
JP4649980B2 (ja) * 2004-12-21 2011-03-16 ソニー株式会社 画像編集装置、画像編集方法、プログラム
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data
JP2009088687A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp アルバム作成装置
JP5024121B2 (ja) 2008-03-03 2012-09-12 日産自動車株式会社 カメラコントロール装置及び撮影システム
US8869198B2 (en) * 2011-09-28 2014-10-21 Vilynx, Inc. Producing video bits for space time video summary
WO2013118218A1 (ja) * 2012-02-09 2013-08-15 パナソニック株式会社 画像認識装置、画像認識方法、プログラムおよび集積回路
US9465813B1 (en) * 2012-11-09 2016-10-11 Amazon Technologies, Inc. System and method for automatically generating albums
JP6195340B2 (ja) * 2013-03-08 2017-09-13 キヤノン株式会社 コンテンツ管理システム、サーバ装置、制御方法及びプログラム
US20150143236A1 (en) * 2013-11-19 2015-05-21 Disney Enterprises, Inc. Generating photo albums from unsorted collections of images
CN104820675B (zh) * 2015-04-08 2018-11-06 小米科技有限责任公司 相册显示方法及装置
CN105005599A (zh) * 2015-06-30 2015-10-28 广东欧珀移动通信有限公司 一种照片分享方法及移动终端
KR20170011177A (ko) * 2015-07-21 2017-02-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN106055624A (zh) * 2016-05-26 2016-10-26 努比亚技术有限公司 一种基于图片聚类的照片整理方法和移动终端
DE112017007333T5 (de) 2017-03-31 2019-12-12 Honda Motor Co., Ltd. Albumerzeugungsvorrichtung, albumerzeugungssystem undalbumerzeugungsverfahren
US10471297B1 (en) * 2018-05-16 2019-11-12 Hydrow, Inc. Rowing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336576A (ja) * 1997-05-29 1998-12-18 Yamaha Motor Co Ltd 画像記録システム
JP2005267287A (ja) * 2004-03-18 2005-09-29 Fujifilm Graphic Systems Co Ltd 写真アルバム作成・配送システム、画像サーバ、印刷装置および写真アルバム作成・配送方法
JP2006020260A (ja) * 2004-07-01 2006-01-19 Takeshi Tanaka マルチアングル車両追尾システム
JP2014123362A (ja) * 2012-12-21 2014-07-03 Honda Motor Co Ltd 合成訓練データを用いてリアルタイムで自転車運転者を検知する方法、記憶媒体及びコンピュータ
JP2017016388A (ja) * 2015-07-01 2017-01-19 株式会社日本総合研究所 地域アルバム生成サーバ及びその生成方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11165955B2 (en) 2017-03-31 2021-11-02 Honda Motor Co., Ltd. Album generation apparatus, album generation system, and album generation method
JP2021013067A (ja) * 2019-07-04 2021-02-04 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
JP2021013068A (ja) * 2019-07-04 2021-02-04 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
JP7208114B2 (ja) 2019-07-04 2023-01-18 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
JP7210394B2 (ja) 2019-07-04 2023-01-23 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
JP2021064102A (ja) * 2019-10-11 2021-04-22 本田技研工業株式会社 移動体撮影システム、移動体撮影方法、および移動体撮影プログラム
JP7346365B2 (ja) 2020-07-31 2023-09-19 本田技研工業株式会社 撮影管理システム、撮影管理装置、運営装置、撮影管理装置の制御方法、運営装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
US20200007759A1 (en) 2020-01-02
JPWO2018179310A1 (ja) 2020-01-16
US11165955B2 (en) 2021-11-02
JP6748292B2 (ja) 2020-08-26
CN110393008A (zh) 2019-10-29
DE112017007333T5 (de) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6748292B2 (ja) アルバム生成装置、アルバム生成システム及びアルバム生成方法
JP2008096867A (ja) 表示装置、表示方法
US10560645B2 (en) Immersive video environment using near-infrared video compositing
JP5829851B2 (ja) 画像処理システム、車両用装置、画像処理装置、プログラム、及び、画像表示方法
JP6096654B2 (ja) 画像の記録方法、電子機器およびコンピュータ・プログラム
US11770605B2 (en) Apparatus and method for remote image capture with automatic subject selection
JP6921031B2 (ja) 制御装置及び撮影方法
DE102022105788A1 (de) Tragbare Bildaufnahmevorrichtung, tragbare Einrichtung und Kalibriereinrichtung, die mit der Bildaufnahmevorrichtung kommunizieren, Steuerverfahren für diese und Speichermedien, die Steuerprogramme für diese speichern
JP5664677B2 (ja) 撮像表示装置、撮像表示方法
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
JP2017194898A (ja) 観光案内システム
JP2013083994A (ja) 表示装置、表示方法
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
JPWO2018179312A1 (ja) 画像生成装置及び画像生成方法
JP2015046885A (ja) 表示装置、表示方法
TW201926251A (zh) 全景攝像機、圖像處理系統及圖像處理方法
JP7018561B2 (ja) 表示制御装置、表示制御システム、表示制御方法、及び表示制御プログラム
JP6921204B2 (ja) 情報処理装置および画像出力方法
JP2015019215A (ja) 撮像装置及び撮像方法
JP2020107196A (ja) 画像処理装置または画像処理サーバー
WO2023074669A1 (ja) 撮像装置、画像処理装置、および方法
US20240134195A1 (en) Electronic device and method for obtaining media corresponding to location by controlling camera based on location
WO2019193708A1 (ja) 動画提供装置および動画提供方法
JP2023065313A (ja) 撮像装置、画像処理装置、および方法
KR20240055584A (ko) 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903648

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508085

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17903648

Country of ref document: EP

Kind code of ref document: A1