WO2022065018A1 - スライドショー生成方法、プログラム、及び、スライドショー生成装置 - Google Patents

スライドショー生成方法、プログラム、及び、スライドショー生成装置 Download PDF

Info

Publication number
WO2022065018A1
WO2022065018A1 PCT/JP2021/032761 JP2021032761W WO2022065018A1 WO 2022065018 A1 WO2022065018 A1 WO 2022065018A1 JP 2021032761 W JP2021032761 W JP 2021032761W WO 2022065018 A1 WO2022065018 A1 WO 2022065018A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
group
generated
slide show
date
Prior art date
Application number
PCT/JP2021/032761
Other languages
English (en)
French (fr)
Inventor
徳夫 中谷
翔太 久保
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to US18/024,665 priority Critical patent/US20230282242A1/en
Priority to JP2022551844A priority patent/JPWO2022065018A1/ja
Priority to EP21872149.6A priority patent/EP4221192A4/en
Publication of WO2022065018A1 publication Critical patent/WO2022065018A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • This disclosure relates to a slide show generation method, a program, and a slide show generation device.
  • Patent Document 1 discloses an image reproduction device that sequentially switches and displays a plurality of images.
  • the image reproduction device stores and manages the related information associated with the image for each image, evaluates the image with reference to the related information for each image, and evaluates a predetermined number of images based on the evaluation result. It is extracted as a reproduction target in descending order, and a plurality of extracted images are sequentially switched and displayed.
  • the image reproduction device can select an appropriate image as a reproduction target for a predetermined number of times and sequentially switch and reproduce it without the user performing the work of selecting a desired reproduction target while checking a large number of images in advance. ..
  • the present disclosure provides a slide show generation method and the like that can select appropriate video data as a playback target.
  • the first video data generated at the same place on the same day is grouped in the first group.
  • the second video data that does not include the location information indicating the generated location and belongs to the first group.
  • the second classification step for classifying the second video data generated during the date and time when each of the plurality of first video data was generated into the first group, and the first video data belonging to the first group, respectively.
  • it includes a generation step of selecting one or more video data from a plurality of video data, which is the second video data, and generating slide show data for sequentially reproducing the selected one or more video data.
  • one aspect of the program in the present disclosure is a program for causing a computer to execute the slide show generation method in the present disclosure.
  • the slide show generator in the present disclosure first obtains the acquisition unit that acquires a plurality of video data and the first video data generated at the same place on the same day among the plurality of video data acquired by the acquisition unit.
  • the first classification unit for classifying into groups and the second video data which is video data that does not include the location information indicating the generated location among the plurality of video data acquired by the acquisition unit, and is the first group.
  • a second classification unit that classifies the second video data generated during the date and time when each of the plurality of first video data belonging to the first group into the first group, and each of the first group is included in the first group.
  • a generation unit that selects one or more video data from a plurality of video data, which is one video data or a second video data, and generates slide show data for sequentially reproducing the selected one or more video data. To prepare for.
  • appropriate video data can be selected as a playback target.
  • FIG. 1 is a schematic diagram showing a configuration of a slide show generation system according to an embodiment.
  • FIG. 2 is a diagram showing a hardware configuration of the slide show generator according to the embodiment.
  • FIG. 3 is a block diagram showing a functional configuration of the slide show generator according to the embodiment.
  • FIG. 4 is a flowchart showing a processing procedure for generating slide show data of the slide show generator according to the embodiment.
  • FIG. 5 is a flowchart showing a processing procedure for reproducing a slide show of the slide show generator according to the embodiment.
  • FIG. 6 is a flowchart showing a processing procedure for classifying image data of the slide show generator according to the embodiment.
  • FIG. 7 is a flowchart showing a processing procedure of additional processing for classifying image data of the slide show generator according to the embodiment.
  • FIG. 8 is a flowchart showing a processing procedure for classifying moving image data of the slide show generator according to the embodiment.
  • FIG. 9 is a flowchart showing a processing procedure for generating slide show data of the slide show generator according to the embodiment.
  • FIG. 10 is a diagram showing a first example of classification of image data of the slide show generator according to the embodiment.
  • FIG. 11 is a diagram showing a second example of classification of image data of the slide show generator according to the embodiment.
  • FIG. 12 is a diagram showing a first example of classification of moving image data of the slide show generator according to the embodiment.
  • FIG. 13 is a diagram showing a second example of classification of moving image data of the slide show generator according to the embodiment.
  • FIG. 10 is a diagram showing a first example of classification of image data of the slide show generator according to the embodiment.
  • FIG. 11 is a diagram showing a second example of classification of image data of the slide show generator according to the embodiment.
  • FIG. 12 is a diagram showing a first example of classification
  • FIG. 14 is a diagram showing a third example of classification of moving image data of the slide show generator according to the embodiment.
  • FIG. 15 is a diagram showing a fourth example of classification of moving image data of the slide show generator according to the embodiment.
  • FIG. 16 is a diagram showing a fifth example of classification of moving image data of the slide show generator according to the embodiment.
  • FIG. 17 is a diagram showing a sixth example of classification of moving image data of the slide show generator according to the embodiment.
  • FIG. 18 is a flowchart showing a processing procedure of the slide show generator according to the embodiment.
  • a device having a function of analyzing video data such as image data and moving image data and generating slide show data for sequentially reproducing a plurality of the video data using the analysis results.
  • a device that generates slide show data based on the date and time when the video data is generated and notifies the user.
  • a display device such as a monitor determines the order in which a plurality of video data are displayed based on the slide show data, and sequentially displays (reproduces) the plurality of video data in the determined order. That is, a display device such as a monitor displays a slide show (also referred to as a short movie) based on the slide show data.
  • the function of generating these slide show data is intended for individuals, and is adopted, for example, in devices such as smartphones owned by individuals.
  • devices such as recorders, which are conventionally shared by groups such as families, have a function of capturing video data such as photographs (image data) and moving images (moving image data) taken by individual smartphones or digital cameras. Have. However, even if the video data is taken into the device, the user cannot effectively utilize the video data.
  • the family By generating slide show data using the video data recorded on these smartphones or digital cameras and displaying the video data generated from each viewpoint of the family on a display device or the like, the family such as an athletic meet or a trip can perform it. The whole family can look back on the event.
  • the device is a device that generates slide show data using a plurality of video data
  • the user does not have to instruct the user to generate the slide show data by himself or to display the video data on the display device. Can be shown.
  • a slide show generator which is a device for generating this kind of slide show data, takes in video data from each of a plurality of devices, performs image analysis (or moving image analysis) on all of the taken-in video data, and either the subject of the video data or Judge the event of the video data.
  • the slide show generation device generates slide show data indicating the order in which the video data according to the determined subject or event is reproduced.
  • the slide show generator notifies the user when the power is turned on, and the video data is sequentially displayed on the display device based on the generated slide show data, that is, the slide show is displayed. As a result, the user can look back on the event held by the family and enjoy it with the family by watching the slide show.
  • the plurality of video data may include video data of events different from each other.
  • the slide show generation device may capture the video data generated by each of a plurality of devices such as a smartphone and generate the slide show data based on the captured video data.
  • the video data may include (associate) the generated date and time and GPS (Global Positioning System) data indicating the generated location.
  • GPS Global Positioning System
  • the recording method of GPS data may differ from device to device. In this case, for example, even if the slide show generator acquires video data from each device, classifies the video data based on the GPS data associated with the acquired video data, and attempts to generate slide show data for each classified video data. , GPS data may not be read.
  • moving image data there is no common standard such as EXIF (Exifable Image File Format) in image data, and the standard of data related to shooting conditions may differ depending on the device.
  • FIG. 1 is a schematic diagram showing a configuration of a slide show generation system 400 according to an embodiment.
  • FIG. 2 is a diagram showing a hardware configuration of the slide show generator 100 according to the embodiment.
  • FIG. 3 is a block diagram showing a functional configuration of the slide show generator 100 according to the embodiment.
  • the slide show generation system 400 classifies (groups) a plurality of video data into a plurality of groups based on predetermined conditions, and generates slide show data indicating the order in which the video data is sequentially displayed (reproduced) on the display device for each group.
  • the slide show generation system 400 includes a slide show generation device 100, an image pickup device 200, and a display device 300.
  • the smartphone 201, the smartphone 202, the digital camera 203, and the video camera 204 shown in FIG. 1 are examples of the image pickup apparatus 200, respectively.
  • the slide show generator 100 acquires video data from each of the smartphone 201, the smartphone 202, the digital camera 203, and the video camera 204. That is, the slide show generation device 100 acquires video data from each of the plurality of image pickup devices 200. Although one image pickup device 200 is shown in FIG. 3, the number of image pickup devices 200 for which the slide show generation device 100 acquires video data may be two or three or more.
  • the video data indicates that it is image data or moving image data.
  • the image pickup device 200 is a device that generates and stores video data by imaging an object, and transmits the stored video data to the slide show generation device 100 by communicating with the slide show generation device 100.
  • the image pickup apparatus 200 is, for example, a smartphone 201, 202, a digital camera 203, a video camera 204, or the like.
  • the slide show generation device 100 generates slide show data indicating the reproduction order of a plurality of video data acquired based on a predetermined processing procedure described later. Further, the slide show generation device 100 sequentially displays the video data on the display device 300 based on the reproduction order indicated by the generated slide show data.
  • the display device 300 is a device that displays an image or a moving image based on the image data.
  • the display device 300 is, for example, a monitor device such as a liquid crystal display or an organic EL (Electroluminescence) display.
  • the display device 300 sequentially displays images based on the image data sequentially output from the slide show generation device 100, for example.
  • the slide show generation device 100 is, for example, a device realized by a BD (Blu-ray (registered trademark) Disc) player, a recorder, a game device, a personal computer, or the like.
  • BD Blu-ray (registered trademark) Disc
  • the slide show generator 100 is realized by, for example, a communication IF 110a, a processor 130a, a content output IF 170a, a light receiving sensor 180a, and a recording medium 190a.
  • the communication IF 110a is a communication interface for communicating with the smartphone 201, the digital camera 203, and the like.
  • the communication IF 110a is realized by, for example, an antenna and a wireless communication circuit.
  • the communication standard when the slide show generator 100 communicates with the smartphone 201, the digital camera 203, and the like is not particularly limited.
  • the slide show generator 100 communicates with a smartphone 201, a digital camera 203, and the like based on the Bluetooth® standard.
  • the processor 130a is a processor that controls each component included in the slide show generator 100.
  • the content output IF170a is a connector to which a communication line for communicating with the television 300a, which is an example of the display device 300, is connected.
  • the processor 130a transmits content such as video data and audio data stored in the recording medium 190a to the television 300a via the content output IF 170a, so that the television 300a outputs the video and audio of the content. ..
  • the light receiving sensor 180a is a sensor that receives an optical signal such as infrared light from a device operated by a user such as an operation console.
  • the processor 130a executes various processes based on, for example, an optical signal received by the light receiving sensor 180a, that is, based on an instruction from a user.
  • the recording medium 190a is a storage device that stores information such as video data and a control program executed by the processor 130a.
  • the recording medium 190a is, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.
  • the slide show generation device 100 has, as functional configurations, for example, a communication unit 110, an acquisition unit 120, a control unit 130, an estimation unit 140, a classification unit 150, and a generation unit 160.
  • the output unit 170, the decoder unit 171 and the reception unit 180, and the storage unit 190 are provided.
  • the communication unit 110 is a communication interface for communicating with the image pickup apparatus 200.
  • the communication unit 110 is realized by, for example, the communication IF 110a.
  • the communication unit 110 may perform wireless communication with the image pickup apparatus 200, or may perform wired communication via a communication line or the like. Further, the communication standard when the communication unit 110 and the image pickup apparatus 200 communicate with each other may be arbitrary.
  • the control unit 130 stores the video data acquired via the communication unit 110 in the storage unit 190 via the acquisition unit 120.
  • the acquisition unit 120 is a processing unit that acquires a plurality of video data stored in the storage unit 190.
  • the control unit 130 is a processing unit that controls each component included in the slide show generation device 100.
  • the estimation unit 140 is a processing unit that estimates the type of event of the video data by performing image analysis on the video data acquired by the acquisition unit 120.
  • An event is, for example, an event such as a trip, an athletic meet, or an outing such as shopping.
  • the estimation unit 140 analyzes the video data so that the video data is the video data generated during the trip (that is, the video data captured during the trip) or the video data generated at the athletic meet (that is, the video data captured during the trip). That is, it is estimated whether the data is the video data captured at the athletic meet or the video data generated during the outing such as shopping (that is, the video data captured at the time of going out).
  • the estimation unit 140 analyzes the video data so that the probability that the event of the video data is a trip is 80%, the probability that the event is an athletic meet is 20%, and so on. Calculate the possibility (probability) of what the event is.
  • the event estimated by the estimation unit 140 may be arbitrarily determined in advance.
  • the classification unit 150 is a processing unit that classifies the video data acquired by the acquisition unit 120 into a plurality of groups. For example, the classification unit 150 classifies the video data acquired by the acquisition unit 120 for each event estimated by the estimation unit 140. For example, the classification unit 150 classifies the video data for each event by classifying the video data whose event is a trip into group A and the video data whose event is an athletic meet into group B.
  • the classification unit 150 includes, for example, a first classification unit 151, a second classification unit 152, and a third classification unit 153.
  • the first classification unit 151 is a processing unit that classifies image data among video data. For example, the first classification unit 151 groups the same group (for example, the first group) of the image data (also referred to as the first video data) generated at the same place on the same day among the plurality of video data acquired by the acquisition unit 120. ).
  • the first classification unit 151 calculates the distance between the generated location and the predetermined first location for each of the plurality of first video data among the plurality of video data acquired by the acquisition unit 120.
  • the first classification unit 151 has calculated that the short-distance first video data, which is the first video data calculated that the distance is less than the predetermined first distance, and the distance is the predetermined first distance or more.
  • the long-distance first video data, which is the first video data is classified into different groups.
  • the predetermined first distance is, for example, 10 km, 30 km, 100 km, or the like, but any distance may be set.
  • the second classification unit 152 is a processing unit that classifies moving image data among video data.
  • the second classification unit 152 is a second video data (in the present embodiment, a moving image) which is video data that does not include location information indicating the generated location among the plurality of video data acquired by the acquisition unit 120. Data), the second video data generated during the date and time when each of the plurality of first video data belonging to a certain group (for example, the first group) is classified into the first group.
  • the second classification unit 152 is a group including the first video data having the closest generated date and time for the second video data among the plurality of video data acquired by the acquisition unit 120. The second video data generated at the date and time between the date and time when each of the plurality of first video data belonging to the group was generated is classified into the group.
  • the location information is not particularly limited as long as it is information that can specify the location.
  • the location information may be, for example, GPS data (coordinate data), or information that can identify an area such as "Japan” or "Osaka Prefecture”.
  • video data including location information will be referred to as image data
  • video data not including location information will be described as moving image data.
  • the video data includes identification data indicating the image pickup device 200 that generated the video data.
  • the date and time when the second video data is generated is located between the date and time when each of the plurality of first video data belonging to the first group is generated.
  • the first group is assigned. 2 Classify video data.
  • the second classification unit 152 classifies the moving image data into the first group if the moving image data is generated on the same day as the image data.
  • the image data belonging to the first group is generated by the digital camera 203 and the moving image data is generated by the video camera 204.
  • the second classification unit 152 does not classify the moving image data into the first group even if the moving image data is generated on the same day as the image data.
  • the fact that the location information is not included means that the location information that can be recognized by the slide show generator 100 is not included. For example, even if the moving image data includes location information such as a standard that cannot be recognized by the slide show generator 100, it is determined that the moving image data does not include the location information.
  • the first classification unit 151 among the plurality of video data acquired by the acquisition unit 120, at least one of the generated date and place is different from the plurality of first video data belonging to the first group.
  • the third video data (image data in the present embodiment), which is one video data, is classified into the second group. That is, for example, the first classification unit 151 classifies image data having a different date and place of generation into different groups.
  • the date and time when the second video data was generated is the date and time when each of the plurality of first video data belonging to the first group was generated.
  • the second video data among the video data classified into either the first group or the second group is classified into a group to which the video data generated at the date and time closest to the generated date and time belongs.
  • the second classification unit 152 when viewed in chronological order, the date and time when the second video data was generated was generated for each of the plurality of first video data belonging to the first group.
  • the date and time are located between the date and time and the date and time when each of the plurality of third video data belonging to the second group was generated, the second of the video data classified into either the first group or the second group.
  • the second video data is classified into a group to which the video data, which is the type of the event having the highest matching rate with the event type of the video data, belongs.
  • the type of video data event belonging to the first group is "athletic meet” and the type of video data event belonging to the second group is "outing”. Further, it is assumed that the event type of the second video data is "athletic meet” with a probability of 80% and "outing" with a probability of 20%. In this case, the second classification unit 152 classifies the second video data into the first group.
  • the third classification unit 153 is a processing unit that determines whether or not the number of video data has reached a predetermined number for each group.
  • the slide show generation device 100 generates slide show data for displaying the video data on the display device 300 in order for each group.
  • the time during which the slide show is displayed on the display device 300 is required to have a certain length. Therefore, it is preferable that a certain number of video data belong to each group. Therefore, the third classification unit 153 determines whether or not the video data has reached a predetermined number for each group, and the group that has not reached the predetermined number may be related to the video data belonging to the group. Add high video data.
  • the third classification unit 153 determines whether or not the number of the plurality of video data belonging to the first group is less than a predetermined number.
  • the place where the first video data belonging to the first group is generated is a predetermined place (predetermined). It is determined whether or not the place is separated from the second place) by a predetermined distance (predetermined second distance) or more.
  • the predetermined number may be arbitrarily determined in advance and is not particularly limited.
  • the predetermined second place may be arbitrarily determined in advance and is not particularly limited.
  • the predetermined second place is, for example, the user's home.
  • the predetermined second distance may be arbitrarily determined in advance and is not particularly limited.
  • the predetermined second distance is set in advance as, for example, 10 km, 30 km, 100 km, or the like, but any distance may be set.
  • the acquisition unit 120 acquires the data.
  • the first video data generated on or after the day following the day when each of the plurality of video data belonging to the first group is generated is extracted. Further, the third classification unit 153 determines whether or not the place where the extracted first video data is generated and the place where the first video data belonging to the first group is generated are the same.
  • the same location not only means that the coordinate data indicated by GPS data, which is an example of location information, completely matches, but also the area name such as "Japan” or "Osaka prefecture” is used. It also means the case where they are the same, the case where the blocks are the same, or the case where the place where the two first video data are generated is within a predetermined distance (predetermined third distance) arbitrarily determined in advance.
  • the third classification unit 153 determines that the place where the extracted first video data is generated and the place where the first video data belonging to the first group is generated are the same, the extracted first video data Is classified into the first group.
  • the generation unit 160 is a processing unit that generates slide show data based on the video data acquired by the acquisition unit 120. Specifically, the generation unit 160 generates slide show data indicating the reproduction order of the video data belonging to the group for each group in which the classification unit 150 classifies the video data. For example, the generation unit 160 selects one or more video data from a plurality of video data belonging to the first group, each of which is the first video data or the second video data, and selects one or more video data. Generate slide show data to play back sequentially.
  • the slide show data may be data indicating the reproduction order of a plurality of video data, or may be moving image data in which a plurality of video data are connected.
  • the generation unit 160 arranges a plurality of video data included in the first group in chronological order from the video data with the earliest generation date and time.
  • the generation unit 160 sets the total period from the date and time when the first video data in the arranged plurality of video data is generated to the date and time when the last video data is generated to N (N is an integer of 2 or more). ) Generate a plurality of subsets in which a plurality of video data that have been equally divided and arranged are classified for each period of the total period divided into N equal parts.
  • the generation unit 160 generates a plurality of small sets in which a plurality of arranged video data are classified into M pieces (M is an integer of 2 or more) in the order of arrangement.
  • the generation unit 160 selects, for example, one or more video data for each generated small set.
  • the generation unit 160 may preferentially select the moving image data when the image data and the moving image data are included in the plurality of video data belonging to the first group.
  • the generation unit 160 may preferentially select the video data of the most event type among the event types of the plurality of video data belonging to the first group.
  • the generation unit 160 selects a predetermined number of video data from a plurality of video data belonging to the first group, half of the predetermined number is selected as the event type of the plurality of video data belonging to the first group. Among them, the video data of the event type with the largest number may be selected in order.
  • the generation unit 160 does not select the remaining half of the predetermined number as half of the predetermined number among the event types of the plurality of video data belonging to the first group. Select data.
  • the generation unit 160 may select the remaining half of the predetermined number in order from the video data of the event type having the smallest number among the event types of the plurality of video data belonging to the first group. good.
  • the decoder unit 171 processes, for example, decoding (for example, decompressing) the encoded (for example, compressed) content so that the content such as video data can be displayed on the display device 300 when the content such as video data is output from the output unit 170. It is a department.
  • the processing units such as the acquisition unit 120, the control unit 130, the estimation unit 140, the classification unit 150, the generation unit 160, and the decoder unit 171 are, for example, a control program stored in the storage unit 190 and a processor that executes the control program. It is realized by 130a.
  • the various processing units may be realized by different processors or may be realized by the same processor.
  • the output unit 170 is a communication interface that outputs a plurality of video data based on the slide show data generated by the generation unit 160.
  • the output unit 170 is realized by, for example, the content output IF170a.
  • the output unit 170 may perform wired communication or wireless communication with the display device 300. Further, the communication unit 110 and the output unit 170 may be realized by one hardware (more specifically, a communication interface).
  • the output unit 170 may output the slide show data and a plurality of video data to the display device 300.
  • the display device 300 sequentially displays the images shown by the plurality of image data based on the slide show data.
  • the output unit 170 may sequentially output video data based on the slide show data. In this case, the display device 300 sequentially displays the video indicated by the output video data.
  • the receiving unit 180 is a device that acquires instructions from the user.
  • the receiving unit 180 receives, for example, an optical signal emitted by an operation console operated by the user.
  • the receiving unit 180 is realized by, for example, a light receiving sensor 180a.
  • the storage unit 190 is a storage device that stores a plurality of video data.
  • the storage unit 190 is realized by, for example, a recording medium 190a.
  • FIG. 4 is a flowchart showing a processing procedure for generating slide show data of the slide show generation device 100 according to the embodiment.
  • the slide show generation device 100 captures video data from the image pickup device 200 (step S101).
  • the control unit 130 receives video data via the communication unit 110.
  • the slide show generator 100 writes the captured video data in the storage unit 190, that is, stores it (step S102).
  • the control unit 130 stores the video data received via the communication unit 110 in the storage unit 190 via the acquisition unit 120.
  • the control unit 130 stores the video data based on the date when the video data was generated. Classify into folders.
  • the slide show generation device 100 stores a plurality of video data in the storage unit 190 by repeating steps S101 and S102, for example.
  • the acquisition unit 120 acquires a plurality of video data stored in the storage unit 190 (step S103).
  • the estimation unit 140 estimates the type of each event of the plurality of video data by image analysis of each of the plurality of video data acquired by the acquisition unit 120 (step S104).
  • the classification unit 150 classifies the image data into one of a plurality of groups based on predetermined conditions (step S105). The details of the classification of image data will be described later.
  • the classification unit 150 classifies the moving image data into one of a plurality of groups based on predetermined conditions (step S106). For example, the classification unit 150 classifies the moving image data into any group to which the image data classified into the plurality of groups in step S105 belongs. The details of the classification of moving image data will be described later.
  • the generation unit 160 selects one or more video data from a plurality of video data belonging to the group for each group classified by the classification unit 150 (step S107).
  • the generation unit 160 generates slide show data for sequentially reproducing one or more selected video data for each group classified by the classification unit 150 (step S108). In this way, the slide show generation device 100 generates slide show data for each group.
  • the generation unit 160 stores the generated slide show data in the storage unit 190.
  • FIG. 5 is a flowchart showing a processing procedure for playing back a slide show of the slide show generator 100 according to the embodiment.
  • the slide show generation device 100 generates slide show data and scenario list information by executing steps S101 to S108, and the power is turned off by the user.
  • the slide show generator 100 determines whether or not the power is turned on (step S109). For example, the control unit 130 determines whether or not a signal indicating an instruction to turn on the power is received from the user via the reception unit 180, or whether or not a power button (not shown) is pressed.
  • step S109 the process returns to step S109.
  • the control unit 130 determines that the power of the slide show generation device 100 is turned on (Yes in step S109)
  • the control unit 130 causes the acquisition unit 120 to acquire the slide show data from the storage unit 190 (step S110).
  • the control unit 130 generates scenario list information which is a list of slide show data for each group.
  • the scenario list information is, for example, data in which the titles of each slide show data are tabulated.
  • the title may be arbitrarily determined.
  • the title may be the date and place where the video data belonging to the group was generated, the type of the event of the video data belonging to the group, or the like.
  • control unit 130 causes the display device 300 to display the scenario list information by causing the output unit 170 to output the scenario list information to the display device 300 (step S111).
  • the control unit 130 acquires a scenario selection from the user (step S112). For example, the user selects one scenario from a plurality of scenarios (for example, the title of slide show data) displayed on the display device 300 as scenario list information by operating the operation console, and selects the selected scenario. Have the console send the indicated signal.
  • the control unit 130 receives, for example, a signal indicating a scenario selected by the user via the reception unit 180. As a result, the control unit 130 acquires the selection of the scenario.
  • control unit 130 causes the output unit 170 to sequentially output the video data based on the selected scenario, that is, based on the slide show data of the selected scenario, so that the video data is shown on the display device 300. Images or moving images are sequentially displayed (step S113).
  • control unit 130 may have the output unit 170 collectively output the plurality of video data and the slide show data indicating the order in which the plurality of video data are displayed to the display device 300.
  • FIG. 6 is a flowchart showing a processing procedure for classifying image data of the slide show generator 100 according to the embodiment. Specifically, FIG. 6 is a flowchart showing the details of step S105.
  • the first classification unit 151 selects any of the folders in which the image data is classified stored in the storage unit 190 (step S201). As described above, for example, the control unit 130 classifies the video data into folders created for each day based on the date when the video data was generated. That is, the video data having the same generation date is collected in each folder. For example, the first classification unit 151 selects the folder that stores the earliest generated image data from the folders that store the unclassified image data that does not classify the group from a plurality of folders.
  • the first classification unit 151 selects image data stored in the selected folder that is not yet classified into any group, in other words, image data that does not belong to any group (step). S202). When there are a plurality of image data that do not belong to any group, the first classification unit 151 may select any one.
  • the first classification unit 151 determines whether or not there is a group to which the video data having the same generation date as the generation date of the selected image data belongs (step S203).
  • the first classification unit 151 determines that there is a group to which the video data of the same generation date as the generation date of the selected image data belongs (Yes in step S203), the first classification unit 151 determines that the selected image data exists in the group. It is determined whether or not the image data to which the data belongs and the generated location are the same (step S204).
  • the first classification unit 151 determines that the selected image data belongs to the group determined to exist and the generated location is the same (Yes in step S204), the first classification unit 151 determines that the group exists. Select (step S205).
  • step S206 when the first classification unit 151 determines No in step S203 or No in step S204, a new group is generated and selected (step S206).
  • the first classification unit 151 adds the selected image data to the selected group after step S205 or step S206 (step S207). In other words, the first classification unit 151 associates the selected image data with the selected group so that the selected image data belongs to the selected group.
  • the first classification unit 151 determines whether or not unclassified image data exists in the selected folder (step S208).
  • step S208 When the first classification unit 151 determines that unclassified image data exists in the selected folder (Yes in step S208), the process returns to step S202.
  • the first classification unit 151 determines that there is no unclassified image data in the selected folder (No in step S208), whether or not the number of video data belonging to each group is a predetermined number or more. Is determined (step S209).
  • the first classification unit 151 determines that the number of video data belonging to each group is equal to or more than a predetermined number (Yes in step S209), the first classification unit 151 ends the image data classification process.
  • the first classification unit 151 determines that the number of video data belonging to each group is not more than a predetermined number (No in step S209), that is, a group in which the number of video data belonging to is less than a predetermined number If it is determined that it exists, the process proceeds to additional processing.
  • FIG. 7 is a flowchart showing a processing procedure of additional processing of classification of image data of the slide show generation device 100 in the embodiment (that is, continuation of processing in the case of No in step S209).
  • the position where the video data belonging to the group (more specifically, the image data) belonging to the group is less than a predetermined number is separated from the predetermined position by a predetermined distance or more. It is determined whether or not it is (step S210). For example, it is assumed that the predetermined position is the home and the predetermined distance is 30 km. In this case, the third classification unit 153 determines whether or not the position where the image data is generated is 30 km or more away from the home.
  • the third classification unit 153 determines that the position where the video data belonging to the group is less than a predetermined number is not separated from the predetermined position by a predetermined distance or more (in step S210). No), the additional processing (more specifically, the image data classification processing) is completed.
  • step S210 select the folder of the next day of the folder selected in step S201 (step S211). That is, in the case of Yes in step S210, the third classification unit 153 selects the folder storing the image data generated on the day after the date and time when the image data stored in the folder selected in step S201 was generated. do.
  • the third classification unit 153 selects image data that is not classified into any of the groups from the image data stored in the selected folder (step S212).
  • the third classification unit 153 determines whether or not the position where the selected image data is generated coincides with the position where the video data belonging to the group is less than a predetermined number. Is determined (step S213).
  • the third classification unit 153 determines that the position where the selected image data is generated and the position where the video data belonging to the group belongs to less than a predetermined number match the position where the video data belongs (step S213). Yes), the selected image data is added to the group (step S214).
  • the third classification unit 153 determines No after step S214 or in step S213, the selected folder contains image data that is not classified into any of the groups (that is, unclassified). Whether or not it is determined (step S215).
  • step S215 When the third classification unit 153 determines that the image data not classified into any of the groups exists in the selected folder (Yes in step S215), the process returns to step S212.
  • the third classification unit 153 determines that the image data not classified into any of the groups does not exist in the selected folder (No in step S215), the image data stored in the selected folder is stored. It is determined whether or not any one is added to the group less than a predetermined number (step S216).
  • the third classification unit 153 determines that none of the image data stored in the selected folder has been added to the group of less than a predetermined number (Yes in step S216), the additional processing (more specifically, more specifically). Image data classification process) is completed.
  • step S216 when the third classification unit 153 determines that even one image data stored in the selected folder has been added to a group of less than a predetermined number (No in step S216), the process returns to step S209.
  • the third classification unit 153 further selects a folder for the next day in step S211.
  • the third classification unit 153 places the image data generated on or after the next day of the image data belonging to the group at the generated position. Add to the group accordingly.
  • FIG. 8 is a flowchart showing a processing procedure for classifying moving image data of the slide show generator 100 according to the embodiment. Specifically, FIG. 8 is a flowchart showing the details of step S106.
  • the second classification unit 152 selects one of the folders in which the moving image data is classified, which is stored in the storage unit 190 (step S301). For example, the second classification unit 152 selects the folder storing the earliest generated moving image data among the folders storing unclassified moving image data that do not classify the group from a plurality of folders. do.
  • the second classification unit 152 acquires the classification information (step S302).
  • the classification information is the information of the group in which the video data is classified. As described above, by executing steps S201 to S216, the image data is classified into any of the groups.
  • the second classification unit 152 classifies the moving image data into one of the groups included in the classification information based on the classification information, for example, by the subsequent processing.
  • the second classification unit 152 selects the moving image data that is not classified into any of the groups from the moving image data stored in the selected folder (step S303).
  • the second classification unit 152 determines whether or not there are a plurality of groups to which the video data of the same generation date as the date (generation date) in which the selected moving image data was generated exists (step S304). That is, the second classification unit 152 determines whether there are a plurality of groups to which the video data of the same generation date as the generation date of the selected moving image data belongs, or whether there is only one.
  • step S304 When the second classification unit 152 determines that there are a plurality of groups to which the video data of the same generation date as the generation date of the selected moving image data belongs (Yes in step S304), the moving image selected from the plurality of groups. Select the group to which the video data closest to the time when the image data was generated belongs (step S305).
  • the second classification unit 152 determines that there is only one group to which the video data having the same generation date as the generation date of the selected moving image data belongs (No in step S304), the second classification unit 152 selects the only group. (Step S306).
  • a new group may be generated and selected. ..
  • the second classification unit 152 adds the selected moving image data to the selected group after step S305 or step S306 (step S307).
  • the second classification unit 152 determines whether or not the selected folder contains moving image data that is not classified into any of the groups, that is, unclassified moving image data (step S308).
  • step S308 When the second classification unit 152 determines that the moving image data not classified into any of the groups exists in the selected folder (Yes in step S308), the process returns to step S304.
  • the second classification unit 152 determines that there is no moving image data that is not classified into any of the groups in the selected folder (No in step S308), the second classification unit 152 ends the classification process of the moving image data.
  • FIG. 9 is a flowchart showing a processing procedure for generating slide show data of the slide show generation device 100 according to the embodiment. Specifically, FIG. 9 is a flowchart showing the details of steps S107 and S108. Note that FIG. 9 describes a procedure for generating slide show data in any of the groups classified by the classification unit 150. The generation unit 160 generates slide show data for each group by executing the subsequent processing in each group. Further, in the description of FIG. 9, it is assumed that a plurality of video data belong to the group in which the generation unit 160 generates the slide show data.
  • the generation unit 160 arranges a plurality of video data belonging to the group in chronological order from the video data with the earliest generated date and time, that is, arranges the arranged video data in chronological order, and arranges the arranged plurality of video data in a plurality of small pieces.
  • Classify into sets step S401). For example, the generation unit 160 divides the total period from the date and time when the first video data of the arranged plurality of video data was generated to the date and time when the last video data is generated into N equal parts, and arranges the plurality of video data. To generate a plurality of subsets classified for each period of the total period divided into N equal parts.
  • the generation unit 160 generates a plurality of small sets in which a plurality of arranged video data are classified into M pieces in the order of arrangement.
  • the generation unit 160 selects the first small set when viewed in chronological order from the plurality of small sets (step S402).
  • the generation unit 160 determines whether or not there is unselected moving image data among the video data belonging to the selected small set (step S403).
  • the generation unit 160 determines that there is unselected video data among the video data belonging to the selected small set (Yes in step S403), the generation unit 160 selects the unselected video data (step S404). For example, when there are a plurality of unselected moving images, the generation unit 160 selects one of them. At that time, the generation unit 160 may randomly select a moving image, and if the selected group is a group classified by the event type, the generation unit 160 is related to the event type based on the result of the image analysis. You may preferentially select from moving images with high.
  • step S403 when the generation unit 160 determines that there is no unselected moving image data among the video data belonging to the selected subset (No in step S403), the generation unit 160 among the image data belonging to the selected subset. , Select the image data of the event type having the highest matching rate with the predetermined event type (step S405).
  • the type of the predetermined event may be set arbitrarily and is not particularly limited.
  • the predetermined event type may be predetermined by the user.
  • the generation unit 160 sets the most common event type among the event types of a plurality of video data belonging to the group as the predetermined event type. May be decided.
  • step S404 or step S405 the generation unit 160 determines whether or not the number of selected video data has reached a predetermined number (step S406).
  • step S406 When the generation unit 160 determines that the number of selected video data has not reached a predetermined number (No in step S406), is the selected small set the last small set when viewed in chronological order? It is determined whether or not (step S407).
  • step S407 If the generation unit 160 determines that the selected small set is the last small set when viewed in chronological order (Yes in step S407), the process returns to step S402.
  • step S407 when the generation unit 160 determines that the selected small set is not the last small set when viewed in chronological order (No in step S407), the generation unit 160 is next to the selected small set when viewed in chronological order. Select a small set in (step S408) and return the process to step S403.
  • the generation unit 160 selects video data from a plurality of small sets without bias in the number by repeating the processes of steps S402 to S408 until the selected video data reaches a predetermined number.
  • step S406 When the generation unit 160 determines that the number of selected video data has reached a predetermined number (Yes in step S406), the generation unit 160 generates slide show data for sequentially reproducing the selected video data (step S409), and the slide show. End the data generation process.
  • the generation unit 160 may select all the plurality of video data belonging to the group and execute step S409, or the group may be executed. It is not necessary to generate slide show data.
  • the image data may be simply referred to as a photograph
  • the moving image data may be simply referred to as a moving image.
  • FIG. 10 is a diagram showing a first example of classification of image data of the slide show generator 100 according to the embodiment.
  • the first classification unit 151 classifies Photo A, Photo B, Photo C, and Photo D generated at a predetermined distance or more from home and “on the go” into the same group (for example, the first group). do.
  • the photographs A to D may have the same or different generation dates. It is assumed that the first classification unit 151 classifies the photographs A to C into the first group by executing, for example, steps S201 to S208, and determines No in step S209. In this case, the first classification unit 151 and the third classification unit 153 classify the photographs D generated on or after the next day of the photographs A to C into the first group by repeatedly executing, for example, steps S209 to S216. You may.
  • FIG. 11 is a diagram showing a second example of classification of image data of the slide show generator 100 according to the embodiment.
  • the first classification unit 151 classifies photographs A to D generated on the same day into different groups based on the place where they were generated. For example, it is assumed that the GPS data of the outing destination A indicates GPS1 and the GPS data of the outing destination B indicates GPS2. Further, Photo A includes location information indicating GPS1, Photo B includes location information indicating GPS1, Photo C includes location information indicating GPS2, and Photo D includes GPS2. Suppose it contains the location information shown. In this case, the first classification unit 151 classifies, for example, Photo A and Photo B and Photo C and Photo D into different groups. For example, the first classification unit 151 classifies Photo A and Photo B into the same group (for example, the first group), and Photo C and Photo D into the same group (for example, the second group).
  • FIG. 12 is a diagram showing a first example of classification of moving image data of the slide show generator 100 according to the embodiment.
  • the upper part of the paper of the photographs A to D and the moving image A shown in FIG. 12 shows the date and time when each of the photographs A to D was generated. For example, Photo A was generated at 12:00 on July 3rd.
  • the photographs A to D are classified into the first group by the first classification unit 151.
  • the generation dates of the photographs A to D belonging to the first group are all July 3, and the generation date of the moving image A is July 3.
  • the second classification unit 152 selects the moving image A in step S303 and determines No in step S304, the second classification unit 152 selects the first group in step S306 and adds the moving image A to the first group in step S307. ..
  • FIG. 13 is a diagram showing a second example of classification of moving image data of the slide show generator 100 according to the embodiment.
  • the upper part of the paper of the photographs A to D and the moving image A shown in FIG. 13 shows the date and time when each of the photographs A to D was generated.
  • the second classification unit 152 determines Yes in step S304.
  • the photograph B belonging to the first group is generated at the latest among the video data belonging to the first group, and the generated time is 12:30.
  • the photograph C belonging to the second group is generated earliest among the video data belonging to the second group, and the generated time is 14:00.
  • the time when the moving image A is generated is 12:32. That is, the time when the moving image A is generated is closer to the photo B than to the photo C. Therefore, in this case, the second classification unit 152 selects the first group in step S305, and adds the moving image A to the first group in step S307.
  • FIG. 14 is a diagram showing a third example of classification of moving image data of the slide show generator 100 according to the embodiment.
  • the types of events in the photographs A to D are shown on the upper part of the pages of the photographs A to D and the moving image A shown in FIG.
  • the type of event in Photo A is an athletic meet.
  • Photo A and Photo B are classified into the first group
  • Photo C and Photo D are classified into the second group by the first classification unit 151.
  • all the types of video data events belonging to the first group are athletic meet, and all the types of video data events belonging to the second group are outing.
  • the event type of the moving image A is an athletic meet.
  • the second classification unit 152 may classify the moving image A into the first group. In this way, the second classification unit 152 may determine the group to which the video data belongs based on the type of the event of the video data.
  • FIG. 15 is a diagram showing a fourth example of classification of moving image data of the slide show generator 100 according to the embodiment.
  • the upper part of the paper surface of the photographs A to L shown in FIG. 15 shows the date and time when each of the photographs A to L was generated.
  • M 3 in this example
  • the generation unit 160 classifies the photographs A to C into the first subset, the photographs D to F into the second subset, the photographs G to I into the third subset, and the photographs J to L. Is classified into the 4th subset.
  • FIG. 16 is a diagram showing a fifth example of classification of moving image data of the slide show generator 100 according to the embodiment.
  • the upper part of the paper surface of the photographs A to L shown in FIG. 16 shows the date and time when each of the photographs A to L was generated.
  • step S401 the generation unit 160 starts from the date and time when the first video data (photograph A in this example) in the photographs A to L arranged in chronological order is generated.
  • the generation unit 160 has the first small set, which is a small set to which the video data generated from 12:00 to 13:00 belongs, and from 13:00 to 14:00.
  • the second subset which is the subset to which the generated video data belongs
  • the third subset which is the subset to which the video data generated from 14:00 to 15:00 belongs, and 15:00 to 16:00.
  • Photos A to L are classified into any of the fourth subsets, which are the subsets to which the video data generated by 00 minutes belong.
  • the generation unit 160 classifies the photographs A to C into the first subset, the photographs D to F into the second subset, and the photographs G and H into the third subset. Photographs I to L are classified into the 4th subset.
  • the above M and N may be arbitrarily determined in advance.
  • FIG. 17 is a diagram showing a sixth example of classification of moving image data of the slide show generator 100 according to the embodiment.
  • the upper part of the paper of the photographs A to J and the moving images A and B shown in FIG. 17 shows the date and time when the photographs A to J and the moving images A and B were generated.
  • the generation unit 160 sorts the photographs A to J and the moving images A and B belonging to the first group in chronological order as shown in FIG. 17 and classifies them into a plurality of small sets.
  • the generation unit 160 selects, for example, one video data from a plurality of video data belonging to the first subset, and further selects one video data from the plurality of video data belonging to the second subset. Further, one video data is selected from a plurality of video data belonging to the third subset, and one video data is selected from the plurality of video data belonging to the fourth subset. Further, for example, when the number of selected video data has not reached a predetermined number, the generation unit 160 further selects one video data from the first subset.
  • the generation unit 160 preferentially selects moving image data among the video data belonging to the small set. For example, when selecting one video data from a plurality of video data belonging to the second subset, the generation unit 160 selects the moving image A. The generation unit 160 may select any image data among the video data belonging to the small set as long as the moving image data does not exist. When the generation unit 160 selects one video data from a plurality of video data belonging to the first subset, the generation unit 160 selects the photo A having the earliest generation date among the plurality of video data belonging to the first subset. You may. Alternatively, as described above, the generation unit 160 may select image data based on the type of event if the moving image data does not exist among the video data belonging to the small set.
  • the slide show generator 100 described above operates as follows, for example.
  • FIG. 18 is a flowchart showing a processing procedure of the slide show generator 100 according to the embodiment.
  • the acquisition unit 120 acquires a plurality of video data (step S501). For example, the acquisition unit 120 acquires a plurality of video data stored in the storage unit 190 from the storage unit 190 as in step S103.
  • the first classification unit 151 classifies the first video data generated at the same place on the same day into the first group among the plurality of video data acquired by the acquisition unit 120 (step S502). For example, the first classification unit 151 knows the date and time and place where the video data was generated among the plurality of video data (that is, the video data includes date and time information indicating the date and time when the video data was generated and place information indicating the place where the video data was generated. ), The video data is classified into multiple groups according to the date and time and place of generation.
  • the second classification unit 152 is the second video data that does not include the location information indicating the generated location among the plurality of video data acquired by the acquisition unit 120, and is in the first group.
  • the second video data generated during the date and time when each of the plurality of first video data to which the data belongs is classified into the first group (step S503).
  • the second classification unit 152 is based on the date and time information included in the first video data belonging to the first group and the date and time information included in the second video data. It is determined whether or not the video data was generated during the date and time when each of the plurality of first video data belonging to the first group was generated.
  • the second classification unit 152 determines that the second video data was generated during the date and time when each of the plurality of first video data belonging to the first group was generated, the second video data is assigned to the first group. Classify.
  • the generation unit 160 selects one or more video data from a plurality of video data belonging to the first group, each of which is the first video data or the second video data (step S504).
  • the generation unit 160 generates slide show data for sequentially reproducing one or more video data selected in step S504 (step S505).
  • the slide show generation method in the embodiment is generated at the same place on the same day among the acquisition step (step S501) for acquiring a plurality of video data and the plurality of video data acquired in the acquisition step.
  • the first classification step (step S502) for classifying the first video data into the first group, and the second video data that does not include the location information indicating the generated location among the plurality of video data acquired in the acquisition step.
  • a second classification step (step S503) for classifying the second video data, which is video data and was generated during the date and time when each of the plurality of first video data belonging to the first group was generated, into the first group.
  • step S504 Select one or more video data from a plurality of video data belonging to the first group, each of which is the first video data or the second video data (step S504), and sequentially reproduce the selected one or more video data.
  • a generation step (step S505) for generating slide show data for the purpose is included.
  • image data (an example of the first video data) including information on the generated date and time and place can be classified based on the generated date and time and place.
  • the moving image data (an example of the second video data) including the information indicating the generated date and time and not including the information indicating the generated location can be classified into the same group as the image data having a similar generation date and time. If the generated video data is close to the date and time, it is highly possible that the video data was generated at the same location. Therefore, according to such a classification method, it is possible to easily group video data of the same event generated in the same place, that is, in the same period. That is, according to the slide show generation method in the present disclosure, appropriate video data can be selected as a reproduction target.
  • the video data includes identification data indicating the image pickup device that generated the video data.
  • the date and time when the second video data is generated is located between the date and time when each of the plurality of first video data belonging to the first group is generated, and ,
  • the second video data is assigned to the first group. To classify.
  • the video data are generated by the same image pickup device, there is a high possibility that the video data is generated at the same location. That is, if the video data are generated by the same image pickup device, it is highly possible that the video data is the video data of the same event that occurred in the same period. Therefore, according to this, more appropriate video data can be selected as a reproduction target.
  • the distance between the generated place and the predetermined first place is calculated for each of the plurality of first video data among the plurality of video data acquired in the acquisition step.
  • the short-distance first video data which is the first video data whose calculated distance is less than the predetermined first distance, and the first video whose calculated distance is the predetermined first distance or more.
  • the data is classified into different groups according to the long-distance first video data.
  • the video data generated at a short distance is more likely to be the video data of the same event that occurred in the same period as compared to the video data generated at a long distance. Therefore, according to this, more appropriate video data can be selected as a reproduction target.
  • the first classification step among the plurality of video data acquired in the acquisition step, the first video having at least one of the generated date and place is different from the plurality of first video data belonging to the first group.
  • the third video data which is the data, is classified into the second group.
  • the date and time when the second video data was generated is the date and time when each of the plurality of first video data belonging to the first group was generated, and the second.
  • the second video data is generated among the video data classified into either the first group or the second group.
  • the second video data is classified into a group to which the video data generated at the date and time closest to the date and time of the data belongs.
  • the second video data after classifying the first video data, even the second video data that was not generated during the date and time when the plurality of first video data of each group were generated was generated at a close date and time.
  • the second video data can be classified into a group including the first video data.
  • the slide show generation method in the present disclosure further includes an estimation step (for example, step S104) for estimating the event type of the video data by image analysis of the video data.
  • step S104 for estimating the event type of the video data by image analysis of the video data.
  • the first classification step among the plurality of video data acquired in the acquisition step, at least one of the generated date and place is different from the plurality of first video data belonging to the first group.
  • the third video data which is video data, is classified into the second group.
  • the date and time when the second video data was generated is the date and time when each of the plurality of first video data belonging to the first group was generated.
  • the second video among the video data classified into either the first group or the second group is classified into a group to which the video data, which is the type of the event having the highest matching rate with the data event type, belongs.
  • the second video data can be classified into a group containing a large amount of the first video data of the event.
  • a third classification step for example, steps S209 to S216 for determining whether or not the number of a plurality of video data belonging to the first group is less than a predetermined number is further determined. )including.
  • the third classification step when it is determined that the number of the plurality of video data belonging to the first group is less than a predetermined number (No in step S209), the first video data belonging to the first group is It is determined whether or not the generated place is a place separated from the predetermined second place by a predetermined second distance or more (for example, step S210).
  • the place where the first video data belonging to the first group is generated is a place separated from a predetermined second place by a predetermined second distance or more (step).
  • the first video data generated on or after the day after each of the plurality of video data belonging to the first group was generated is extracted (for example,).
  • Step S211 and step S212) it is determined whether or not the place where the extracted first video data is generated and the place where the first video data belonging to the first group is generated are the same (for example, step S213). ).
  • step S213 it is further determined that the place where the extracted first video data is generated and the place where the first video data belonging to the first group is generated are the same (for example). , Yes in step S213), the extracted first video data is classified into the first group (for example, step S214).
  • the slide show will be a slide show in which the same video data is frequently displayed. Therefore, in a group with extremely few video data to which it belongs, the video data generated on or after the next day of the video data belonging to the group is included. For example, if the video data is generated at a place away from the user's home to some extent, the video data can be classified as a group containing a large amount of video data of a rough event type, such as when a user goes out for several days.
  • a plurality of video data included in the first group are arranged in chronological order from the video data with the earliest generated date and time, and the first video data in the arranged plurality of video data is generated.
  • the total period from the date and time when the last video data was generated to the date and time when the last video data was generated is equally divided into N (N is an integer of 2 or more), and the arranged multiple video data are each divided into N equal parts.
  • a plurality of subsets classified for each period of (for example, steps S401 and FIG. 16) are generated, and one or more video data are selected for each generated subset (for example, steps S402 to S408 and FIG. 17).
  • a slide show that includes all the video data of the group when the video data belonging to a certain group is extremely large, it may be a long slide show or a slide show with an extremely short display time of each video data. There is sex. Therefore, by extracting the video data for each generated period and generating a slide show, the slide show is not generated only by the plurality of video data generated in a specific period, and a plurality of time-distributed slide shows are generated. You can generate a slide show with video data. With such a slide show, for example, when the user sees it, it is possible to easily look back on the entire event.
  • a plurality of video data included in the first group are arranged in chronological order from the video data having the earliest generated date and time, and the arranged plurality of video data are arranged in the order of M.
  • M is an integer of 2 or more
  • This also makes it possible to generate a slide show with a plurality of time-distributed video data without generating a slide show only with a plurality of video data generated in a specific period. With such a slide show, for example, when the user sees it, it is possible to easily look back on the entire event.
  • the moving image data is preferentially selected (step S404). ..
  • the moving image data is likely to contain more information than the image data. Therefore, by preferentially selecting moving image data, a slide show with a large amount of information can be generated.
  • the slide show generation method in the present disclosure further includes an estimation step of estimating the event type of the video data by image analysis of the video data.
  • the generation step among the event types of the plurality of video data belonging to the first group, the video data of the most event type is preferentially selected.
  • the slide show generation method in the present disclosure further includes an estimation step of estimating the event type of the video data by image analysis of the video data.
  • the generation step when a predetermined number of video data is selected from a plurality of video data belonging to the first group, half of the predetermined number is set to the event type of the plurality of video data belonging to the first group. Among them, select in order from the video data of the event type with the largest number, and select the remaining half of the predetermined number from the predetermined number of the event types of the plurality of video data belonging to the first group. Select the video data that was not selected as half of.
  • the video data may also include video data for which the type of event cannot be specified by the estimation unit 140.
  • the generation unit 160 includes a predetermined number of video data belonging to the first group, including video data for which the event type has not been estimated, from video data not included in a large number of events. You can select the other half.
  • the generation step when a predetermined number of video data is selected from a plurality of video data belonging to the first group, the remaining half of the predetermined number is assigned to the plurality of video data belonging to the first group.
  • the event types select in order from the video data of the event type with the smallest number.
  • some users may participate in multiple events in a day and shoot at each of the multiple events.
  • all the video data generated in the day may belong to the same group.
  • the event with the small amount of video data may not be included in the slide show. be.
  • half of the predetermined number is selected in order from the video data of the event type having the largest number among the event types of the plurality of video data belonging to the first group, and the remaining of the predetermined number is selected.
  • Half of the event types of the plurality of video data belonging to the first group are selected in order from the video data of the event type having the smallest number.
  • present disclosure may be realized as a program for causing a computer to execute the slide show generation method in the present disclosure.
  • the general or specific aspects of the present disclosure may be realized by a system, an apparatus, a method, an integrated circuit or a computer program.
  • it may be realized by a computer-readable non-temporary recording medium such as an optical disk, HDD or semiconductor memory in which the computer program is stored.
  • the slide show generation device 100 is the first video data generated at the same place on the same day among the acquisition unit 120 that acquires a plurality of video data and the plurality of video data acquired by the acquisition unit 120.
  • the second video data is video data that does not include location information indicating the generated location among the plurality of video data acquired by the first classification unit 151 and the acquisition unit 120.
  • the second classification unit 152 which classifies the second video data generated during the date and time when each of the plurality of first video data belonging to the first group was generated into the first group, and the second classification unit 152 included in the first group, respectively.
  • a generator 160 that selects one or more video data from a plurality of video data, which is the first video data or the second video data, and generates slide show data for sequentially playing back the selected one or more video data. , Equipped with.
  • the wireless communication method between the slide show generator and the image pickup device is not particularly limited.
  • Examples of the wireless communication method include predetermined wireless communication standards such as Bluetooth (registered trademark), wireless LAN (Local Area Network), Wi-Fi (registered trademark), and ZigBee (registered trademark).
  • the slide show generation device acquires video data by communicating with the image pickup device, but the present invention is not limited to this.
  • the slide show generation device may acquire video data from a device that does not have a function of generating video data, such as a server device or a USB (Universal Serial Bus) memory.
  • all or a part of the components of the processing unit such as the control unit, the classification unit, the generation unit, etc. included in the slide show generation device in the present disclosure may be configured by dedicated hardware. Alternatively, it may be realized by executing a software program suitable for each component. Even if each component is realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as an HDD (Hard Disk Drive) or a semiconductor memory. good.
  • a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as an HDD (Hard Disk Drive) or a semiconductor memory. good.
  • the components of the processing unit such as the control unit, the classification unit, the generation unit, etc. included in the slide show generation device in the present disclosure may be composed of one or a plurality of electronic circuits.
  • the one or more electronic circuits may be general-purpose circuits or dedicated circuits, respectively.
  • One or more electronic circuits may include, for example, a semiconductor device, an IC (Integrated Circuit), an LSI (Large Scale Integration), or the like.
  • the IC or LSI may be integrated on one chip or may be integrated on a plurality of chips. Here, it is called IC or LSI, but the name changes depending on the degree of integration, and it may be called system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration).
  • FPGA Field Programmable Gate Array programmed after manufacturing the LSI can also be used for the same purpose.
  • the general or specific aspects of the present disclosure may be realized by a system, an apparatus, a method, an integrated circuit or a computer program.
  • it may be realized by a computer-readable non-temporary recording medium such as an optical disk, HDD or semiconductor memory in which the computer program is stored.
  • the present disclosure may be realized as a program for executing the slide show generation method in the above embodiment by a computer.
  • this program may be recorded on a non-temporary recording medium such as a computer-readable CD-ROM, or may be distributed on a communication path such as the Internet.
  • This disclosure is applicable to recorders and the like that acquire video data from a plurality of devices and generate slide show data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本開示におけるスライドショー生成方法は、複数の映像データを取得する取得ステップ(ステップS501)と、複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する第1分類ステップ(ステップS502)と、複数の映像データのうち、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に生成された第2映像データを第1グループに分類する第2分類ステップ(ステップS503)と、第1グループに属する、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し(ステップS504)、選択した1以上の映像データを順次再生するためのスライドショーデータを生成する生成ステップ(ステップS505)と、を含む。

Description

スライドショー生成方法、プログラム、及び、スライドショー生成装置
 本開示は、スライドショー生成方法、プログラム、及び、スライドショー生成装置に関する。
 特許文献1は、複数の画像を順次切り替え表示する画像再生装置を開示する。当該画像再生装置は、画像に関連付けられている関連情報を画像毎に記憶管理し、画像毎に当該関連情報を参照して当該画像を評価し、評価結果に基づいて所定数の画像を評価の高い順に再生対象として抽出し、抽出した複数の画像を順次切り換え表示する。これにより、当該画像再生装置は、ユーザが多数の画像を確認しながら所望する再生対象を選択する作業を事前に行うことなく、再生対象として適切な画像を所定数分選択して順次切り換え再生できる。
特開2006-279118号公報
 本開示は、再生対象として適切な映像データを選択できるスライドショー生成方法等を提供する。
 本開示におけるスライドショー生成方法は、複数の映像データを取得する取得ステップと、前記取得ステップで取得した複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する第1分類ステップと、前記取得ステップで取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データであって、前記第1グループに属する複数の前記第1映像データのそれぞれが生成された日時の間に生成された第2映像データを前記第1グループに分類する第2分類ステップと、前記第1グループに属する、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し、選択した前記1以上の映像データを順次再生するためのスライドショーデータを生成する生成ステップと、を含む。
 また、本開示におけるプログラムの一態様は、本開示におけるスライドショー生成方法をコンピュータに実行させるためのプログラムである。
 また、本開示におけるスライドショー生成装置は、複数の映像データを取得する取得部と、前記取得部が取得した複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する第1分類部と、前記取得部が取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データであって、前記第1グループに属する複数の前記第1映像データのそれぞれが生成された日時の間に生成された第2映像データを前記第1グループに分類する第2分類部と、前記第1グループに含まれる、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し、選択した前記1以上の映像データを順次再生するためのスライドショーデータを生成する生成部と、を備える。
 本開示におけるスライドショー生成方法等によれば、再生対象として適切な映像データを選択できる。
図1は、実施の形態におけるスライドショー生成システムの構成を示す概略図である。 図2は、実施の形態におけるスライドショー生成装置のハードウェア構成を示す図である。 図3は、実施の形態におけるスライドショー生成装置の機能構成を示すブロック図である。 図4は、実施の形態におけるスライドショー生成装置のスライドショーデータの生成の処理手順を示すフローチャートである。 図5は、実施の形態におけるスライドショー生成装置のスライドショーの再生の処理手順を示すフローチャートである。 図6は、実施の形態におけるスライドショー生成装置の画像データの分類の処理手順を示すフローチャートである。 図7は、実施の形態におけるスライドショー生成装置の画像データの分類の追加処理の処理手順を示すフローチャートである。 図8は、実施の形態におけるスライドショー生成装置の動画像データの分類の処理手順を示すフローチャートである。 図9は、実施の形態におけるスライドショー生成装置のスライドショーデータの生成の処理手順を示すフローチャートである。 図10は、実施の形態におけるスライドショー生成装置の画像データの分類の第1例を示す図である。 図11は、実施の形態におけるスライドショー生成装置の画像データの分類の第2例を示す図である。 図12は、実施の形態におけるスライドショー生成装置の動画像データの分類の第1例を示す図である。 図13は、実施の形態におけるスライドショー生成装置の動画像データの分類の第2例を示す図である。 図14は、実施の形態におけるスライドショー生成装置の動画像データの分類の第3例を示す図である。 図15は、実施の形態におけるスライドショー生成装置の動画像データの分類の第4例を示す図である。 図16は、実施の形態におけるスライドショー生成装置の動画像データの分類の第5例を示す図である。 図17は、実施の形態におけるスライドショー生成装置の動画像データの分類の第6例を示す図である。 図18は、実施の形態におけるスライドショー生成装置の処理手順を示すフローチャートである。
 (本開示の基礎となった知見)
 まず、発明者らの着眼点が、下記に説明される。
 従来、画像データ及び動画像データ等の映像データの解析を行い、解析結果を用いて複数の当該映像データを順次再生するためのスライドショーデータを生成する機能を有する装置がある。或いは、映像データが生成された日時に基づいてスライドショーデータを生成し、ユーザに通知する装置がある。例えば、モニタ等の表示装置は、スライドショーデータに基づいて複数の映像データを表示する順序を決定し、決定した順序で複数の映像データを順次表示(再生)する。つまり、モニタ等の表示装置は、スライドショーデータに基づいてスライドショー(ショートムービーともいう)を表示する。これらのスライドショーデータを生成する機能は、個々人が対象であり、例えば、個々人が所有するスマートフォン等の機器に採用される。
 また、従来、家族等の集団で共有されるレコーダ等の装置は、個々人が所有するスマートフォン又はデジタルカメラ等で撮影した写真(画像データ)及び動画(動画像データ)等の映像データを取り込む機能を有する。しかしながら、当該装置に映像データが取り込まれたとしても、当該映像データをユーザが有効に活用できる状況にはなっていない。
 そこで、当該装置に取り込まれている映像データをユーザにとって魅力のあるスライドショーとしてユーザに対して表示する機能について考える。
 例えば、家族が運動会又は旅行に行った場合について考える。この場合、近年では、家族それぞれが、自分が所有するスマートフォン又はデジタルカメラを用いて写真又は動画を撮ることが多い。そのため、家族がそれぞれ興味を持った写真又は動画のデータ(つまり、映像データ)がそれぞれのスマートフォン又はデジタルカメラに記録される。
 これらのスマートフォン又はデジタルカメラに記録された映像データを用いてスライドショーデータを生成し、家族のそれぞれの視点で生成された映像データを表示装置等で表示することで、運動会及び旅行等の家族が行ったイベントを家族全員で全体的に振り返ることができる。
 また、複数の映像データを用いてスライドショーデータを生成する装置であれば、ユーザが自らスライドショーデータを生成する、又は、映像データを表示装置に表示させる等の指示をすることなく、ユーザに映像データを見せることができる。
 例えば、この種のスライドショーデータを生成する装置であるスライドショー生成装置は、複数の装置それぞれから映像データを取り込み、取り込んだ映像データ全てについて画像解析(又は動画像解析)を行い、映像データの被写体又は映像データのイベントを判定する。スライドショー生成装置は、判定した被写体又はイベント毎に応じた映像データを再生する順序を示すスライドショーデータを生成する。例えば、スライドショー生成装置は、電源がオンされた際にユーザに通知を行い、生成したスライドショーデータに基づいて、映像データを表示装置に順次表示させる、つまり、スライドショーを表示させる。これにより、ユーザは、スライドショーを見ることで、家族で行ったイベントを家族で振り返ったり、家族で楽しんだりすることができる。
 ここで、複数の映像データの中には、互いに異なるイベントの映像データが含まれる場合がある。このような複数の映像データからスライドショーデータを生成するには、映像データをイベント毎に適切に分類し、分類した映像データ毎にスライドショーデータを生成することが重要である。
 しかしながら、複数の映像データをイベント毎に適切に分類することが困難である場合がある。具体的には、スライドショー生成装置が、スマートフォン等の複数の装置それぞれで生成された映像データを取り込み、取り込んだ映像データに基づいてスライドショーデータを生成することが困難である場合がある。
 例えば、映像データには、生成された日時と、生成された場所を示すGPS(Global Positioning System)データとが含まれる(紐づけられている)場合がある。しかしながら、例えば、GPSデータは、記録方式が装置毎に異なることがある。この場合、例えば、スライドショー生成装置が各装置から映像データを取得し、取得した映像データに紐づけられたGPSデータに基づき映像データを分類し、分類した映像データ毎にスライドショーデータを生成しようとしても、GPSデータが読み取れない場合がある。特に、動画像データについては、画像データにおけるEXIF(Exchangeable Image File Format)のような共通の規格がなく、機器によって撮影条件に関するデータの規格が異なる場合がある。
 そのため、映像データを日時、場所等の撮影条件によって適切に分類できず、スライドショーデータを生成できない問題がある。
 以上を鑑み、発明者らは本開示を創作するに至った。
 以下、適宜図面を参照しながら、各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
 (実施の形態)
 [1.構成]
 図1は、実施の形態におけるスライドショー生成システム400の構成を示す概略図である。図2は、実施の形態におけるスライドショー生成装置100のハードウェア構成を示す図である。図3は、実施の形態におけるスライドショー生成装置100の機能構成を示すブロック図である。
 スライドショー生成システム400は、所定の条件に基づいて複数の映像データを複数のグループに分類(グルーピング)し、グループ毎に映像データを順次表示装置で表示(再生)する順序を示すスライドショーデータを生成し、生成したスライドショーデータに基づいて映像データを表示装置が順次表示する(つまり、スライドショーを再生する)システムである。
 スライドショー生成システム400は、スライドショー生成装置100と、撮像装置200と、表示装置300と、を備える。なお、図1に示すスマートフォン201、スマートフォン202、デジタルカメラ203、及び、ビデオカメラ204は、それぞれ、撮像装置200の一例である。
 スライドショー生成装置100は、スマートフォン201、スマートフォン202、デジタルカメラ203、及び、ビデオカメラ204のそれぞれから、映像データを取得する。つまり、スライドショー生成装置100は、複数の撮像装置200のそれぞれから、映像データを取得する。なお、図3には、1つの撮像装置200を図示しているが、スライドショー生成装置100が映像データを取得する撮像装置200は、2つでもよいし、3以上でもよい。
 また、本実施の形態では、映像データとは、画像データ又は動画像データであることを示す。
 撮像装置200は、対象を撮像することで映像データを生成して記憶し、スライドショー生成装置100と通信することで、記憶している映像データをスライドショー生成装置100に送信する装置である。撮像装置200は、例えば、スマートフォン201、202、デジタルカメラ203、又は、ビデオカメラ204等である。
 スライドショー生成装置100は、後述する所定の処理手順に基づいて取得した複数の映像データの再生順序を示すスライドショーデータを生成する。また、スライドショー生成装置100は、生成したスライドショーデータが示す再生順序に基づいて、映像データを表示装置300に順次表示させる。
 表示装置300は、映像データに基づいて画像又は動画像である映像を表示する装置である。表示装置300は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等のモニタ装置である。表示装置300は、例えば、スライドショー生成装置100から順次出力される映像データに基づいて映像を順次表示する。
 スライドショー生成装置100は、例えば、BD(Blu-ray(登録商標) Disc)プレーヤ、レコーダ、ゲーム装置、又は、パーソナルコンピュータ等により実現される装置である。
 図2に示すように、スライドショー生成装置100は、例えば、通信IF110aと、プロセッサ130aと、コンテンツ出力IF170aと、受光センサ180aと、記録媒体190aと、により実現される。
 通信IF110aは、スマートフォン201及びデジタルカメラ203等と通信するための通信インターフェースである。通信IF110aは、例えば、アンテナと、無線通信回路と、により実現される。スライドショー生成装置100がスマートフォン201及びデジタルカメラ203等と通信する際の通信規格は、特に限定されない。例えば、スライドショー生成装置100は、Bluetooth(登録商標)規格に基づきスマートフォン201及びデジタルカメラ203等と通信する。
 プロセッサ130aは、スライドショー生成装置100が備える各構成要素を制御するプロセッサである。
 コンテンツ出力IF170aは、表示装置300の一例であるテレビ300aと通信するための通信線が接続されるコネクタである。プロセッサ130aは、例えば、記録媒体190aに記憶されている映像データ及び音声データ等のコンテンツを、コンテンツ出力IF170aを介してテレビ300aに送信することで、テレビ300aに当該コンテンツの映像及び音声を出力させる。
 受光センサ180aは、操作卓等のユーザが操作する機器からの赤外光等の光信号を受光するセンサである。プロセッサ130aは、例えば、受光センサ180aで受光された光信号に基づいて、つまり、ユーザからの指示に基づいて、各種処理を実行する。
 記録媒体190aは、映像データ及びプロセッサ130aが実行する制御プログラム等の情報を記憶する記憶装置である。記録媒体190aは、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。
 また、図3に示すように、スライドショー生成装置100は、機能構成として、例えば、通信部110と、取得部120と、制御部130と、推定部140と、分類部150と、生成部160と、出力部170と、デコーダ部171と、受信部180と、記憶部190と、を備える。
 通信部110は、撮像装置200と通信するための通信インターフェースである。通信部110は、例えば、通信IF110aにより実現される。なお、通信部110は、撮像装置200と、無線通信してもよいし、通信線等を介して有線通信してもよい。また、通信部110と撮像装置200とが通信する際の通信規格は、任意でよい。例えば、制御部130は、通信部110を介して取得された映像データを、取得部120を介して記憶部190に記憶させる。
 取得部120は、記憶部190に記憶されている複数の映像データを取得する処理部である。
 制御部130は、スライドショー生成装置100が備える各構成要素を制御する処理部である。
 推定部140は、取得部120が取得した映像データを画像解析することで映像データのイベントの種別を推定する処理部である。イベントとは、例えば、旅行、運動会、買い物等のおでかけ等の行事である。推定部140は、映像データを画像解析することで、当該映像データが、旅行中に生成された映像データ(つまり、旅行で撮像された映像データ)であるか、運動会で生成された映像データ(つまり、運動会で撮像された映像データ)であるか、買い物等のおでかけ中に生成された映像データ(つまり、おでかけ時に撮像された映像データ)であるかを推定する。例えば、推定部140は、映像データを画像解析することで、当該映像データのイベントが旅行である確率が80%であり、運動会である確率が20%である、等のように、当該映像データのイベントが何であるかの可能性(確率)を算出する。なお、推定部140が推定するイベントは、予め任意に定められてよい。
 分類部150は、取得部120が取得した映像データを複数のグループに分類する処理部である。分類部150は、例えば、取得部120が取得した映像データを、推定部140が推定したイベント毎に分類する。例えば、分類部150は、イベントが旅行である映像データをグループAに分類し、イベントが運動会である映像データをグループBに分類する等して、映像データをイベント毎に分類する。
 分類部150は、例えば、第1分類部151と、第2分類部152と、第3分類部153と、を含む。
 第1分類部151は、映像データのうち画像データを分類する処理部である。例えば、第1分類部151は、取得部120が取得した複数の映像データのうち、同一日に同一場所で生成された画像データ(第1映像データともいう)を同じグループ(例えば、第1グループ)に分類する。
 例えば、第1分類部151は、取得部120が取得した複数の映像データのうちの複数の第1映像データのそれぞれについて、生成された場所と所定の第1場所との距離を算出する。この場合、第1分類部151は、当該距離が所定の第1距離未満と算出された第1映像データである近距離第1映像データと、当該距離が所定の第1距離以上と算出された第1映像データである遠距離第1映像データとで、異なるグループに分類する。
 なお、所定の第1距離は、例えば、10km、30km、又は、100km等と予め定められるが、任意の距離が定められてよい。
 第2分類部152は、映像データのうち動画像データを分類する処理部である。例えば、第2分類部152は、取得部120が取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データ(本実施の形態では、動画像データ)であって、あるグループ(例えば、第1グループ)に属する複数の第1映像データのそれぞれが生成された日時の間に生成された第2映像データを第1グループに分類する。より具体的には、第2分類部152は、取得部120が取得した複数の映像データのうちの第2映像データについて、生成された日時が最も近い第1映像データを含むグループであって、当該グループに属する複数の第1映像データのそれぞれが生成された日時の間の日時に生成された第2映像データを、当該グループに分類する。
 場所情報は、位置を特定できる情報であればよく、特に限定されない。場所情報は、例えば、GPSデータ(座標データ)でもよいし、「日本」、又は、「大阪府」等の地域を特定できる情報でもよい。
 以下、本実施の形態では、場所情報を含む映像データを画像データとし、場所情報を含まない映像データを動画像データとして説明する。
 例えば、映像データは、当該映像データを生成した撮像装置200を示す識別データを含む。この場合、例えば、第2分類部152は、第2映像データが生成された日時が、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に位置する場合であって、且つ、第2映像データに含まれる識別データが示す撮像装置200と、第1グループに属する複数の第1映像データに含まれる識別データが示す撮像装置200とが一致する場合、第1グループに第2映像データを分類する。
 例えば、第1グループに属する画像データがデジタルカメラ203によって生成され、動画像データがデジタルカメラ203によって生成されたとする。この場合、例えば、第2分類部152は、当該動画像データが当該画像データと同一日に生成されていれば、当該動画像データを第1グループに分類する。一方、例えば、第1グループに属する画像データがデジタルカメラ203によって生成され、動画像データがビデオカメラ204によって生成されたとする。この場合、例えば、第2分類部152は、当該動画像データが当該画像データと同一日に生成されたとしても、当該動画像データを第1グループには分類しない。
 なお、ここで、場所情報を含まないとは、スライドショー生成装置100が認識できる場所情報を含まないことを意味する。例えば、スライドショー生成装置100が認識できない規格等の場所情報を動画像データが含んでいたとしても、当該動画像データは、場所情報を含まないと判定されるとして説明する。
 また、例えば、第1分類部151は、取得部120が取得した複数の映像データのうち、第1グループに属する複数の第1映像データとは、生成された日にち及び場所の少なくとも一方が異なる第1映像データである第3映像データ(本実施の形態では、画像データ)を第2グループに分類する。つまり、例えば、第1分類部151は、生成された日にち及び場所の少なくとも一方が異なる画像データについては、異なるグループに分類する。
 この場合、例えば、第2分類部152は、時系列で見た場合に、第2映像データが生成された日時が、第1グループに属する複数の第1映像データのそれぞれが生成された日時と、第2グループに属する複数の第3映像データのそれぞれが生成された日時との間に位置するとき、第1グループ及び第2グループのいずれかに分類された映像データのうち、第2映像データが生成された日時と最も近い日時に生成された映像データが属するグループに、第2映像データを分類する。
 或いは、この場合、例えば、第2分類部152は、時系列で見た場合に、第2映像データが生成された日時が、第1グループに属する複数の第1映像データのそれぞれが生成された日時と、第2グループに属する複数の第3映像データのそれぞれが生成された日時との間に位置するとき、第1グループ及び第2グループのいずれかに分類された映像データのうち、第2映像データのイベントの種別と最も一致率が高いイベントの種別である映像データが属するグループに、第2映像データを分類する。
 例えば、第1グループに属する映像データのイベントの種別が「運動会」であり、第2グループに属する映像データのイベントの種別が「おでかけ」であるとする。また、第2映像データのイベントの種別が、80%の確率で「運動会」であり、20%の確率で「おでかけ」であるとする。この場合、第2分類部152は、当該第2映像データを第1グループに分類する。
 第3分類部153は、各グループについて、映像データが所定の数に達しているか否かを判定する処理部である。スライドショー生成装置100は、グループ毎に、映像データを順番に表示装置300に表示させるためのスライドショーデータを生成する。スライドショーが表示装置300に表示される時間は、ある程度の長さがあることが要求される。そのため、各グループには、ある程度の数の映像データが属しているとよい。そこで、第3分類部153は、各グループについて、映像データが所定の数に達しているか否かを判定し、達していないグループには、当該グループに属する映像データと関係性のある可能性が高い映像データを追加する。
 例えば、第3分類部153は、第1グループに属する複数の映像データの数が所定の数未満であるか否かを判定する。第3分類部153は、第1グループに属する複数の映像データの数が所定の数未満であると判定した場合、第1グループに属する第1映像データが生成された場所が所定の場所(所定の第2場所)から所定の距離(所定の第2距離)以上離れた場所であるか否かを判定する。
 なお、所定の数は、予め任意に定められてよく、特に限定されない。
 所定の第2場所は、予め任意に定められてよく、特に限定されない。所定の第2場所は、例えば、ユーザの自宅である。
 また、所定の第2距離は、予め任意に定められてよく、特に限定されない。所定の第2距離は、例えば、10km、30km、又は、100km等と予め定められるが、任意の距離が定められてよい。
 第3分類部153は、第1グループに属する第1映像データが生成された場所が所定の第2場所から所定の第2距離以上離れた場所であると判定した場合、取得部120が取得した複数の映像データのうち、第1グループに属する複数の映像データのそれぞれが生成された日にちの翌日以降に生成された第1映像データを抽出する。さらに、第3分類部153は、抽出した第1映像データが生成された場所と、第1グループに属する第1映像データが生成された場所とが同じであるか否かを判定する。
 なお、場所が同じとは、例えば、場所情報の一例であるGPSデータが示す座標データが完全に一致することを意味するだけでなく、例えば、「日本」又は「大阪府」等の地域名が同じである場合、街区が同じである場合、又は、2つの第1映像データが生成された場所が予め任意に定められる所定の距離(所定の第3距離)以内である場合等も意味する。
 第3分類部153は、抽出した第1映像データが生成された場所と、第1グループに属する第1映像データが生成された場所とが同じであると判定した場合、抽出した第1映像データを第1グループに分類する。
 生成部160は、取得部120が取得した映像データに基づいてスライドショーデータを生成する処理部である。具体的には、生成部160は、分類部150が映像データを分類したグループ毎に、当該グループに属する映像データの再生順序を示すスライドショーデータを生成する。例えば、生成部160は、第1グループに属する、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し、選択した1以上の映像データを順次再生するためのスライドショーデータを生成する。
 スライドショーデータとは、複数の映像データの再生順序を示すデータでもよいし、複数の映像データを繋いだ動画像データであってもよい。
 例えば、生成部160は、第1グループに含まれる複数の映像データを、生成された日時が早い映像データから順に時系列で配列する。
 ここで、例えば、生成部160は、配列した複数の映像データにおける先頭の映像データが生成された日時から、末尾の映像データが生成された日時までの総期間をN(Nは2以上の整数)等分し、配列した複数の映像データを、N等分された総期間のうちのそれぞれの期間毎に分類した複数の小集合を生成する。
 或いは、例えば、生成部160は、配列した複数の映像データを配列順にM個(Mは2以上の整数)毎に分類した複数の小集合を生成する。
 生成部160は、例えば、生成した小集合毎に1以上の映像データを選択する。
 なお、生成部160は、第1グループに属する複数の映像データに画像データ及び動画像データが含まれる場合、動画像データを優先して選択してもよい。
 また、生成部160は、第1グループに属する複数の映像データのイベントの種別のうちで、最も多いイベントの種別の映像データを優先して選択してもよい。
 或いは、生成部160は、第1グループに属する複数の映像データから所定の数の映像データを選択する場合、所定の数のうちの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、数が多いイベントの種別の映像データから順に選択してもよい。
 また、例えば、生成部160は、所定の数のうちの残りの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、所定の数のうちの半数として選択しなかった映像データを選択する。
 或いは、生成部160は、所定の数のうちの残りの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、数が少ないイベントの種別の映像データから順に選択してもよい。
 デコーダ部171は、映像データ等のコンテンツを出力部170から出力する際に、表示装置300で表示できるように、例えば、符号化(例えば、圧縮)されたコンテンツを復号(例えば、解凍)する処理部である。
 取得部120、制御部130、推定部140、分類部150、生成部160、及び、デコーダ部171等の処理部は、例えば、記憶部190に記憶される制御プログラム及び当該制御プログラムを実行するプロセッサ130aにより実現される。
 なお、各種処理部は、それぞれが互いに異なるプロセッサにより実現されてもよいし、同じプロセッサにより実現されてもよい。
 出力部170は、生成部160が生成したスライドショーデータに基づいて、複数の映像データを出力する通信インターフェースである。出力部170は、例えば、コンテンツ出力IF170aにより実現される。なお、出力部170は、表示装置300と、有線通信してもよいし、無線通信してもよい。また、通信部110と出力部170とは、1つのハードウェア(より具体的には、通信インターフェース)で実現されてもよい。
 また、出力部170は、スライドショーデータと複数の映像データとを表示装置300に出力してもよい。この場合、例えば、表示装置300は、スライドショーデータに基づいて、複数の映像データが示す映像を順次表示する。或いは、出力部170は、スライドショーデータに基づいて、映像データを順次出力してもよい。この場合、表示装置300は、出力された映像データが示す映像を順次表示する。
 受信部180は、ユーザからの指示を取得するデバイスである。受信部180は、例えば、ユーザが操作する操作卓が発した光信号を受光する。受信部180は、例えば、受光センサ180aにより実現される。
 記憶部190は、複数の映像データを記憶する記憶装置である。記憶部190は、例えば、記録媒体190aより実現される。
 [1-2.動作]
 以上のように構成されたスライドショー生成装置100について、動作を以下説明する。
 <処理手順>
 図4は、実施の形態におけるスライドショー生成装置100のスライドショーデータの生成の処理手順を示すフローチャートである。
 まず、スライドショー生成装置100は、撮像装置200から映像データを取り込む(ステップS101)。例えば、制御部130は、通信部110を介して映像データを受信する。
 次に、スライドショー生成装置100は、取り込んだ映像データを記憶部190に書き込む、つまり、記憶させる(ステップS102)。例えば、制御部130は、通信部110を介して受信した映像データを、取得部120を介して記憶部190に記憶させる。制御部130は、例えば、日にち毎のフォルダを作成して記憶部190に記憶させ、通信部110を介して映像データを受信した場合に、映像データが生成された日にちに基づいて映像データを各フォルダに分類する。
 スライドショー生成装置100は、例えば、ステップS101及びステップS102を繰り返すことで、記憶部190に複数の映像データを記憶させる。
 次に、取得部120は、記憶部190に記憶された複数の映像データを取得する(ステップS103)。
 次に、推定部140は、取得部120が取得した複数の映像データのそれぞれを画像解析することで、複数の映像データのそれぞれのイベントの種別を推定する(ステップS104)。
 次に、分類部150は、画像データを所定の条件に基づいて複数のグループのうちのいずれかに分類する(ステップS105)。なお、画像データの分類の詳細については、後述する。
 次に、分類部150は、動画像データを所定の条件に基づいて複数のグループのうちのいずれかに分類する(ステップS106)。例えば、分類部150は、ステップS105で複数のグループに分類した画像データが属するいずれかのグループに、動画像データを分類する。なお、動画像データの分類の詳細については、後述する。
 次に、生成部160は、分類部150が分類したグループ毎に、グループに属する複数の映像データから1以上の映像データを選択する(ステップS107)。
 次に、生成部160は、分類部150が分類したグループ毎に、選択した1以上の映像データを順次再生するためのスライドショーデータを生成する(ステップS108)。このように、スライドショー生成装置100は、グループ毎のスライドショーデータを生成する。
 生成部160は、生成したスライドショーデータを記憶部190に記憶させる。
 図5は、実施の形態におけるスライドショー生成装置100のスライドショーの再生の処理手順を示すフローチャートである。
 例えば、スライドショー生成装置100は、ステップS101~ステップS108を実行することで、スライドショーデータ及びシナリオ一覧情報を生成し、ユーザによって電源がOFFにされたとする。
 スライドショー生成装置100は、電源がONにされたか否かを判定する(ステップS109)。例えば、制御部130は、受信部180を介してユーザから電源をONにする指示を示す信号を受信したか否か、又は、図示しない電源ボタンが押下されたか否かを判定する。
 制御部130は、スライドショー生成装置100の電源がONにされていないと判定した場合(ステップS109でNo)、処理をステップS109に戻す。
 一方、制御部130は、スライドショー生成装置100の電源がONにされたと判定した場合(ステップS109でYes)、取得部120に記憶部190からスライドショーデータを取得させる(ステップS110)。ここで、例えば、制御部130は、グループ毎のスライドショーデータの一覧であるシナリオ一覧情報を生成する。シナリオ一覧情報は、例えば、各スライドショーデータのタイトルを表にしたデータである。当該タイトルは、任意に定められてよい。当該タイトルは、グループに属する映像データが生成された日付、場所、又は、グループに属する映像データのイベントの種別等でもよい。
 次に、制御部130は、シナリオ一覧情報を出力部170に表示装置300へ出力させることで、表示装置300にシナリオ一覧情報を表示させる(ステップS111)。
 次に、制御部130は、ユーザからシナリオの選択を取得する(ステップS112)。例えば、ユーザは、操作卓を操作することで、シナリオ一覧情報として表示装置300に表示された複数のシナリオ(例えば、スライドショーデータのタイトル)の中から、1つのシナリオを選択し、選択したシナリオを示す信号を操作卓に送信させる。制御部130は、例えば、受信部180を介して、ユーザが選択したシナリオを示す信号を受信する。これにより、制御部130は、シナリオの選択を取得する。
 次に、制御部130は、選択されたシナリオに基づいて、つまり、選択されたシナリオのスライドショーデータに基づいて、映像データを出力部170に順次出力させることで、表示装置300に映像データが示す画像又は動画像を順次表示させる(ステップS113)。もちろん、制御部130は、複数の映像データと、当該複数の映像データを表示する順番を示すスライドショーデータとを出力部170に表示装置300へまとめて出力させてもよい。
 図6は、実施の形態におけるスライドショー生成装置100の画像データの分類の処理手順を示すフローチャートである。具体的には、図6は、ステップS105の詳細を示すフローチャートである。
 第1分類部151は、記憶部190に記憶された、画像データが分類されたフォルダのいずれかを選択する(ステップS201)。上記した通り、例えば、制御部130は、映像データが生成された日にちに基づいて、映像データを日にち毎に作成されたフォルダに分類する。つまり、各フォルダには、生成された日にちが同じ映像データがまとめられている。例えば、第1分類部151は、複数のフォルダからグループを分類していない未分類の画像データが格納されたフォルダのうちで、最も早く生成された画像データを格納しているフォルダを選択する。
 次に、第1分類部151は、選択したフォルダに格納された画像データのうちで、未だにどのグループにも分類されていない、言い換えると、どのグループにも属していない画像データを選択する(ステップS202)。第1分類部151は、どのグループにも属していない画像データが複数ある場合、任意の1つを選択すればよい。
 次に、第1分類部151は、選択した画像データの生成日と同じ生成日の映像データが属するグループが存在するか否かを判定する(ステップS203)。
 第1分類部151は、選択した画像データの生成日と同じ生成日の映像データが属するグループが存在すると判定した場合(ステップS203でYes)、選択した画像データが、存在すると判定した当該グループに属する画像データと生成された場所が同じであるか否かを判定する(ステップS204)。
 第1分類部151は、選択した画像データが、存在すると判定した当該グループに属する画像データと生成された場所が同じであると判定した場合(ステップS204でYes)、存在すると判定した当該グループを選択する(ステップS205)。
 一方、第1分類部151は、ステップS203でNoと判定した場合、又は、ステップS204でNoと判定した場合、新たなグループを生成して選択する(ステップS206)。
 第1分類部151は、ステップS205又はステップS206の次に、選択したグループに選択した画像データを追加する(ステップS207)。言い換えると、第1分類部151は、選択した画像データが選択したグループに属するように、選択した画像データと選択したグループとを紐付ける。
 次に、第1分類部151は、選択したフォルダに未分類の画像データが存在するか否かを判定する(ステップS208)。
 第1分類部151は、選択したフォルダに未分類の画像データが存在すると判定した場合(ステップS208でYes)、処理をステップS202に戻す。
 一方、第1分類部151は、選択したフォルダに未分類の画像データが存在しないと判定した場合(ステップS208でNo)、各グループに属する映像データの数が所定の数以上であるか否かを判定する(ステップS209)。
 第1分類部151は、各グループに属する映像データの数が所定の数以上であると判定した場合(ステップS209でYes)、画像データの分類処理を終了する。
 一方、第1分類部151は、各グループに属する映像データの数が所定の数以上ではないと判定した場合(ステップS209でNo)、つまり、属する映像データの数が所定の数未満のグループが存在すると判定した場合、追加処理へ移行する。
 図7は、実施の形態におけるスライドショー生成装置100の画像データの分類の追加処理(つまり、ステップS209でNoの場合の処理の続き)の処理手順を示すフローチャートである。
 第3分類部153は、グループに属する映像データが所定の数未満のグループに属する当該映像データ(より具体的には、画像データ)が生成された位置が、所定の位置から所定の距離以上離れているか否かを判定する(ステップS210)。例えば、所定の位置が自宅であり、所定の距離が30kmであるとする。この場合、第3分類部153は、画像データが生成された位置が、自宅から30km以上離れているか否かを判定する。
 第3分類部153は、グループに属する映像データが所定の数未満のグループに属する当該映像データが生成された位置が、所定の位置から所定の距離以上離れていないと判定した場合(ステップS210でNo)、追加処理(より具体的には、画像データの分類処理)を終了する。
 一方、第3分類部153は、グループに属する映像データが所定の数未満のグループに属する当該映像データが生成された位置が、所定の位置から所定の距離以上離れていると判定した場合(ステップS210でYes)、ステップS201で選択したフォルダの翌日のフォルダを選択する(ステップS211)。つまり、第3分類部153は、ステップS210でYesの場合、ステップS201で選択したフォルダに格納されている画像データが生成された日時の翌日に生成された画像データを格納しているフォルダを選択する。
 次に、第3分類部153は、選択したフォルダに格納された画像データのうちで、いずれかのグループに分類されていない画像データを選択する(ステップS212)。
 次に、第3分類部153は、選択した画像データが生成された位置と、グループに属する映像データが所定の数未満のグループに属する当該映像データが生成された位置とが一致するか否かを判定する(ステップS213)。
 第3分類部153は、選択した画像データが生成された位置と、グループに属する映像データが所定の数未満のグループに属する当該映像データが生成された位置とが一致すると判定した場合(ステップS213でYes)、当該グループに選択した画像データを追加する(ステップS214)。
 第3分類部153は、ステップS214の次に、又は、ステップS213でNoと判定した場合、選択したフォルダに、いずれかのグループに分類されていない(つまり、未分類の)画像データが存在するか否かを判定する(ステップS215)。
 第3分類部153は、選択したフォルダに、いずれかのグループに分類されていない画像データが存在すると判定した場合(ステップS215でYes)、処理をステップS212に戻す。
 一方、第3分類部153は、選択したフォルダに、いずれかのグループに分類されていない画像データが存在しないと判定した場合(ステップS215でNo)、選択したフォルダに格納されている画像データが1つも所定の数未満のグループに追加されなかったか否かを判定する(ステップS216)。
 第3分類部153は、選択したフォルダに格納されている画像データが1つも所定の数未満のグループに追加されなかったと判定した場合(ステップS216でYes)、追加処理(より具体的には、画像データの分類処理)を終了する。
 一方、第3分類部153は、選択したフォルダに格納されている画像データが1つでも所定の数未満のグループに追加されたと判定した場合(ステップS216でNo)、処理をステップS209に戻す。
 第3分類部153は、例えば、ステップS216でNoの場合に、さらに、ステップS209でNoであり、さらに、ステップS210でYesである場合、ステップS211で、さらに、翌日のフォルダを選択する。このように、第3分類部153は、グループに属する映像データが所定の数未満のグループが存在する場合、当該グループに属する画像データの翌日以降に生成された画像データを、生成された位置に応じて当該グループに追加する。
 図8は、実施の形態におけるスライドショー生成装置100の動画像データの分類の処理手順を示すフローチャートである。具体的には、図8は、ステップS106の詳細を示すフローチャートである。
 第2分類部152は、記憶部190に記憶された、動画像データが分類されたフォルダのいずれかを選択する(ステップS301)。例えば、第2分類部152は、複数のフォルダからグループを分類していない未分類の動画像データが格納されたフォルダのうちで、最も早く生成された動画像データを格納しているフォルダを選択する。
 次に、第2分類部152は、分類情報を取得する(ステップS302)。
 分類情報とは、映像データが分類されたグループの情報である。上記した通り、ステップS201~ステップS216が実行されることにより、画像データは、いずれかのグループに分類される。第2分類部152は、例えば、以降の処理により、分類情報に基づいて、分類情報に含まれるグループのうちのいずれかのグループに動画像データを分類する。
 次に、第2分類部152は、選択したフォルダに格納されている動画像データのうちで、いずれかのグループに分類されていない動画像データを選択する(ステップS303)。
 次に、第2分類部152は、選択した動画像データが生成された日にち(生成日)と同じ生成日の映像データが属するグループが複数存在するか否かを判定する(ステップS304)。つまり、第2分類部152は、選択した動画像データの生成日と同じ生成日の映像データが属するグループが複数存在するか、1つしか存在しないかを判定する。
 第2分類部152は、選択した動画像データの生成日と同じ生成日の映像データが属するグループが複数存在すると判定した場合(ステップS304でYes)、当該複数のグループのうちで、選択した動画像データが生成された時刻に最も近い映像データが属するグループを選択する(ステップS305)。
 一方、第2分類部152は、選択した動画像データの生成日と同じ生成日の映像データが属するグループが1つしか存在しないと判定した場合(ステップS304でNo)、当該唯一のグループを選択する(ステップS306)。
 なお、例えば、第2分類部152は、ステップS304で、選択した動画像データの生成日と同じ生成日の画像データが存在しないと判定した場合、新たなグループを生成して選択してもよい。
 第2分類部152は、ステップS305又はステップS306の次に、選択したグループに選択した動画像データを追加する(ステップS307)。
 次に、第2分類部152は、選択したフォルダに、いずれかのグループに分類されていない動画像データ、つまり、未分類の動画像データが存在するか否かを判定する(ステップS308)。
 第2分類部152は、選択したフォルダに、いずれかのグループに分類されていない動画像データが存在すると判定した場合(ステップS308でYes)、処理をステップS304に戻す。
 一方、第2分類部152は、選択したフォルダに、いずれかのグループに分類されていない動画像データが存在しないと判定した場合(ステップS308でNo)、動画像データの分類処理を終了する。
 図9は、実施の形態におけるスライドショー生成装置100のスライドショーデータの生成の処理手順を示すフローチャートである。具体的には、図9は、ステップS107及びステップS108の詳細を示すフローチャートである。なお、図9では、分類部150が分類したグループのうちのいずれかのグループにおける、スライドショーデータの生成の処理手順について説明する。生成部160は、以降の処理を各グループにおいて実行することにより、グループ毎のスライドショーデータを生成する。また、図9の説明においては、生成部160がスライドショーデータを生成するグループには、複数の映像データが属しているとして説明する。
 生成部160は、グループに属する複数の映像データを、生成された日時が早い映像データから順に時系列で配列して、つまり、時系列順に配列して、配列した複数の映像データを複数の小集合に分類する(ステップS401)。例えば、生成部160は、配列した複数の映像データにおける先頭の映像データが生成された日時から、末尾の映像データが生成された日時までの総期間をN等分し、配列した複数の映像データを、N等分された総期間のうちのそれぞれの期間毎に分類した複数の小集合を生成する。或いは、例えば、生成部160は、配列した複数の映像データを配列順にM個毎に分類した複数の小集合を生成する。
 次に、生成部160は、複数の小集合のうち、時系列で見た場合に先頭の小集合を選択する(ステップS402)。
 次に、生成部160は、選択した小集合に属する映像データのうちで、未選択の動画像データが存在するか否かを判定する(ステップS403)。
 生成部160は、選択した小集合に属する映像データのうちで、未選択の動画像データが存在すると判定した場合(ステップS403でYes)、未選択の動画像を選択する(ステップS404)。例えば、生成部160は、未選択の動画像が複数存在する場合、いずれか1つを選択する。その際、生成部160は、ランダムに動画像を選択してもよいし、選択しているグループがイベント種別によって分類されたグループであれば、画像解析の結果に基づいてイベントの種別に関係性が高い動画像から優先的に選択してもよい。
 一方、生成部160は、選択した小集合に属する映像データのうちで、未選択の動画像データが存在しないと判定した場合(ステップS403でNo)、選択した小集合に属する画像データのうちで、所定のイベントの種別との一致率が最も高いイベントの種別の画像データを選択する(ステップS405)。
 所定のイベントの種別は、任意に設定されてよく、特に限定されない。所定のイベントの種別は、ユーザによって予め定められてもよいし、例えば、生成部160が、グループに属する複数の映像データのイベントの種別のうちで、最も多いイベントの種別を所定のイベントの種別と決定してもよい。
 生成部160は、ステップS404又はステップS405の次に、選択した映像データの数が所定の数に到達したか否かを判定する(ステップS406)。
 生成部160は、選択した映像データの数が所定の数に到達していないと判定した場合(ステップS406でNo)、選択した小集合が時系列で見た場合に末尾の小集合であるか否かを判定する(ステップS407)。
 生成部160は、選択した小集合が時系列で見た場合に末尾の小集合であると判定した場合(ステップS407でYes)、処理をステップS402に戻す。
 一方、生成部160は、選択した小集合が時系列で見た場合に末尾の小集合でないと判定した場合(ステップS407でNo)、時系列順で見た場合に、選択した小集合の次に小集合を選択し(ステップS408)、処理をステップS403に戻す。
 生成部160は、選択した映像データが所定の数に到達するまで、ステップS402~ステップS408の処理を繰り返すことにより、複数の小集合から数の偏りなく映像データを選択する。
 生成部160は、選択した映像データの数が所定の数に到達したと判定した場合(ステップS406でYes)、選択した映像データを順次再生するためのスライドショーデータを生成し(ステップS409)、スライドショーデータの生成処理を終了する。
 なお、生成部160は、グループに属する複数の映像データが、所定の数未満である場合、グループに属する複数の映像データを全て選択し、ステップS409を実行してもよいし、当該グループについてのスライドショーデータを生成しなくてもよい。
 <具体例>
 以下、スライドショー生成装置100が実行する各処理について、図10~図17を参照しながら詳細に説明する。なお、以下では、画像データを単に写真と呼称し、動画像データを単に動画と呼称する場合がある。
 図10は、実施の形態におけるスライドショー生成装置100の画像データの分類の第1例を示す図である。
 第1分類部151は、例えば、自宅から所定の距離以上離れ、且つ、「外出先」で生成された写真A、写真B、写真C及び写真Dを同じグループ(例えば、第1グループ)に分類する。
 なお、写真A~Dは、生成日が同じでもよいし、異なってもよい。第1分類部151が、例えば、ステップS201~ステップS208を実行することで、写真A~Cを第1グループに分類し、ステップS209でNoと判定したとする。この場合、第1分類部151及び第3分類部153は、例えば、ステップS209~ステップS216を繰り返し実行することで、写真A~Cの翌日以降に生成された写真Dを第1グループに分類してもよい。
 図11は、実施の形態におけるスライドショー生成装置100の画像データの分類の第2例を示す図である。
 第1分類部151は、例えば、同一日に生成された写真A~Dを、生成された場所に基づいて、異なるグループに分類する。例えば、外出先Aは、GPSデータがGPS1を示し、外出先Bは、GPSデータがGPS2を示すとする。また、写真Aは、GPS1を示す場所情報を含み、また、写真Bは、GPS1を示す場所情報を含み、また、写真Cは、GPS2を示す場所情報を含み、また、写真Dは、GPS2を示す場所情報を含むとする。この場合、第1分類部151は、例えば、写真A及び写真Bと写真C及び写真Dとを異なるグループに分類する。例えば、第1分類部151は、写真A及び写真Bを同じグループ(例えば、第1グループ)に分類し、写真C及び写真Dを同じグループ(例えば、第2グループ)に分類する。
 図12は、実施の形態におけるスライドショー生成装置100の動画像データの分類の第1例を示す図である。なお、図12に示す写真A~D及び動画Aの紙面上部には、写真A~Dのそれぞれが生成された日時を示している。例えば、写真Aは、7月3日の12時に生成されている。
 例えば、第1分類部151によって、写真A~Dが、第1グループに分類されたとする。図12に示すように、例えば、第1グループに属する写真A~Dの生成日がいずれも7月3日であり、動画Aの生成日が7月3日である。この場合、第2分類部152は、ステップS303で動画Aを選択し、ステップS304でNoと判定したとき、ステップS306で第1グループを選択し、ステップS307で第1グループに動画Aを追加する。
 図13は、実施の形態におけるスライドショー生成装置100の動画像データの分類の第2例を示す図である。なお、図13に示す写真A~D及び動画Aの紙面上部には、写真A~Dのそれぞれが生成された日時を示している。
 例えば、第1分類部151によって、写真A及び写真Bが第1グループに分類され、写真C及び写真Dが、第2グループに分類されたとする。図13に示すように、例えば、写真A~Dの生成日がいずれも7月3日であり、動画Aの生成日が7月3日である。この場合、第2分類部152は、ステップS304でYesと判定する。ここで、第1グループに属する写真Bは、第1グループに属する映像データのうちで最も遅く生成されており、且つ、生成された時刻が12時30分である。また、第2グループに属する写真Cは、第2グループに属する映像データのうちで最も早く生成されており、且つ、生成された時刻が14時00分である。また、動画Aが生成された時刻は、12時32分である。つまり、動画Aが生成された時刻は、写真Cよりも写真Bに近い。そのため、この場合、第2分類部152は、ステップS305で第1グループを選択し、ステップS307で第1グループに動画Aを追加する。
 図14は、実施の形態におけるスライドショー生成装置100の動画像データの分類の第3例を示す図である。なお、図14に示す写真A~D及び動画Aの紙面上部には、写真A~Dのイベントの種別を示している。例えば、写真Aのイベントの種別は、運動会である。
 例えば、第1分類部151によって、写真A及び写真Bが第1グループに分類され、写真C及び写真Dが、第2グループに分類されたとする。ここで、例えば、第1グループに属する映像データのイベントの種別が全て運動会であり、第2グループに属する映像データのイベントの種別が全ておでかけであるとする。また、動画Aのイベントの種別が運動会であるとする。この場合、第2分類部152は、動画Aを第1グループに分類してもよい。このように、第2分類部152は、映像データのイベントの種別に基づいて、映像データが属するグループを決定してもよい。
 図15は、実施の形態におけるスライドショー生成装置100の動画像データの分類の第4例を示す図である。なお、図15に示す写真A~Lの紙面上部には、写真A~Lのそれぞれが生成された日時を示している。
 例えば、生成部160は、ステップS401では、写真A~Lを時系列順に配列し、配列した写真A~Lを配列順にM個(本例では、M=3)毎に分類した複数の小集合を生成する。生成部160は、例えば、写真A~Cを第1小集合に分類し、写真D~Fを第2小集合に分類し、写真G~Iを第3小集合に分類し、写真J~Lを第4小集合に分類する。
 図16は、実施の形態におけるスライドショー生成装置100の動画像データの分類の第5例を示す図である。なお、図16に示す写真A~Lの紙面上部には、写真A~Lのそれぞれが生成された日時を示している。
 図15を用いて説明した例とは異なり、生成部160は、ステップS401では、時系列順に配列した写真A~Lにおける先頭の映像データ(本例では、写真A)が生成された日時から、末尾の映像データ(本例では、写真L)が生成された日時までの総期間をN(本例では、N=4)等分し、配列した複数の映像データを、N等分された総期間のうちのそれぞれの期間毎に分類した複数の小集合を生成してもよい。例えば、写真Aは、12時00分に生成され、写真Lは、16時00分に生成されたとする。この場合、総期間は、12時00分から16時00分までの4時間である。そのため、N=4のとき、生成部160は、12時00分から13時00分までに生成された映像データが属する小集合である第1小集合と、13時00分から14時00分までに生成された映像データが属する小集合である第2小集合と、14時00分から15時00分までに生成された映像データが属する小集合である第3小集合と、15時00分から16時00分までに生成された映像データが属する小集合である第4小集合とのいずれかの小集合に、写真A~Lを分類する。本例では、生成部160は、例えば、写真A~Cを第1小集合に分類し、写真D~Fを第2小集合に分類し、写真G及びHを第3小集合に分類し、写真I~Lを第4小集合に分類する。
 なお、上記したM及びNは、予め任意に定められればよい。
 図17は、実施の形態におけるスライドショー生成装置100の動画像データの分類の第6例を示す図である。なお、図17に示す写真A~J並びに動画A及びBの紙面上部には、写真A~J並びに動画A及びBのそれぞれが生成された日時を示している。
 生成部160は、例えば、第1グループに属する写真A~J並びに動画A及びBを、図17に示すように時系列順に並び替え、且つ、複数の小集合に分類したとする。この場合、生成部160は、例えば、第1小集合に属する複数の映像データから1つの映像データを選択し、さらに、第2小集合に属する複数の映像データから1つの映像データを選択し、さらに、第3小集合に属する複数の映像データから1つの映像データを選択し、第4小集合に属する複数の映像データから1つの映像データを選択する。また、例えば、生成部160は、選択した映像データの数が所定の数に到達していない場合、第1小集合からさらに映像データを1つ選択する。例えば、生成部160は、小集合に属する映像データのうち、動画像データを優先して選択する。生成部160は、例えば、第2小集合に属する複数の映像データのうちから1つの映像データを選択する場合、動画Aを選択する。生成部160は、小集合に属する映像データのうち、動画像データが存在しなければ、任意の画像データを選択してもよい。生成部160は、第1小集合に属する複数の映像データのうちから1つの映像データを選択する場合、第1小集合に属する複数の映像データのうちで最も生成日が早い写真Aを選択してもよい。或いは、上記した通り、生成部160は、小集合に属する映像データのうち、動画像データが存在しなければ、イベントの種別に基づいて画像データを選択してもよい。
 <まとめ>
 以上説明したスライドショー生成装置100は、例えば、下記のように動作する。
 図18は、実施の形態におけるスライドショー生成装置100の処理手順を示すフローチャートである。
 まず、取得部120は、複数の映像データを取得する(ステップS501)。例えば、取得部120は、ステップS103のように、記憶部190に記憶されている複数の映像データを記憶部190から取得する。
 次に、第1分類部151は、取得部120が取得した複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する(ステップS502)。例えば、第1分類部151は、複数の映像データのうち生成された日時及び場所が分かる(つまり、映像データが、生成された日時を示す日時情報と生成された場所を示す場所情報とを含む)場合、生成された日時及び場所毎に映像データを複数のグループに分類する。
 次に、第2分類部152は、取得部120が取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データであって、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に生成された第2映像データを第1グループに分類する(ステップS503)。例えば、図12を用いて説明したように、第2分類部152は、第1グループに属する第1映像データに含まれる日時情報及び第2映像データに含まれる日時情報に基づいて、当該第2映像データが、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に生成されたか否かを判定する。第2分類部152は、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に当該第2映像データが生成されたと判定した場合、当該第2映像データを第1グループに分類する。
 次に、生成部160は、第1グループに属する、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択する(ステップS504)。
 次に、生成部160は、ステップS504で選択した1以上の映像データを順次再生するためのスライドショーデータを生成する(ステップS505)。
 [1-3.効果等]
 以上のように、実施の形態におけるスライドショー生成方法は、複数の映像データを取得する取得ステップ(ステップS501)と、取得ステップで取得した複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する第1分類ステップ(ステップS502)と、取得ステップで取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データであって、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に生成された第2映像データを第1グループに分類する第2分類ステップ(ステップS503)と、第1グループに属する、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し(ステップS504)、選択した1以上の映像データを順次再生するためのスライドショーデータを生成する生成ステップ(ステップS505)と、を含む。
 これによれば、例えば、生成された日時及び場所の情報を含む画像データ(第1映像データの一例)を生成された日時及び場所に基づいて分類できる。さらに、生成された日時を示す情報を含み且つ生成された場所を示す情報を含まない動画像データ(第2映像データの一例)を、生成された日時が近い画像データと同じグループに分類できる。生成された日時が近い映像データであれば、同じ場所で生成された映像データである可能性が高い。そのため、このような分類方法によれば、同じ場所で生成された、つまり、同じ期間に発生した同じイベントの映像データを同じグループにまとめやすくすることができる。つまり、本開示におけるスライドショー生成方法によれば、再生対象として適切な映像データを選択できる。
 また、例えば、映像データは、当該映像データを生成した撮像装置を示す識別データを含む。この場合、例えば、第2分類ステップでは、第2映像データが生成された日時が、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に位置する場合であって、且つ、第2映像データに含まれる識別データが示す撮像装置と、第1グループに属する複数の第1映像データに含まれる識別データが示す撮像装置とが一致する場合、第1グループに第2映像データを分類する。
 同じ撮像装置によって生成された映像データ同士であれば、同じ場所で生成された映像データである可能性が高い。つまり、同じ撮像装置によって生成された映像データ同士であれば、同じ期間に発生した同じイベントの映像データである可能性が高い。そのため、これによれば、再生対象としてさらに適切な映像データを選択できる。
 また、例えば、第1分類ステップでは、取得ステップで取得した複数の映像データのうちの複数の第1映像データのそれぞれについて、生成された場所と所定の第1場所との距離を算出する。この場合、例えば、第1分類ステップでは、算出した距離が所定の第1距離未満の第1映像データである近距離第1映像データと、算出した距離が所定の第1距離以上の第1映像データである遠距離第1映像データとで、異なるグループに分類する。
 近い距離で生成された映像データは、遠い距離で生成された映像データと比べて、同じ期間に発生した同じイベントの映像データである可能性が高い。そのため、これによれば、再生対象としてさらに適切な映像データを選択できる。
 また、例えば、第1分類ステップでは、取得ステップで取得した複数の映像データのうち、第1グループに属する複数の第1映像データとは、生成された日にち及び場所の少なくとも一方が異なる第1映像データである第3映像データを第2グループに分類する。また、例えば、第2分類ステップでは、時系列で見た場合に、第2映像データが生成された日時が、第1グループに属する複数の第1映像データのそれぞれが生成された日時と、第2グループに属する複数の第3映像データのそれぞれが生成された日時との間に位置するとき、第1グループ及び第2グループのいずれかに分類された映像データのうち、第2映像データが生成された日時と最も近い日時に生成された映像データが属するグループに、第2映像データを分類する。
 これによれば、第1映像データを分類した後で、各グループの複数の第1映像データが生成された日時の間に生成されていない第2映像データであっても、近い日時に生成された第1映像データを含むグループに第2映像データを分類できる。
 或いは、例えば、本開示におけるスライドショー生成方法は、さらに、映像データを画像解析することで、当該映像データのイベントの種別を推定する推定ステップ(例えば、ステップS104)を含む。この場合、例えば、第1分類ステップでは、取得ステップで取得した複数の映像データのうち、第1グループに属する複数の第1映像データとは、生成された日にち及び場所の少なくとも一方が異なる第1映像データである第3映像データを第2グループに分類する。また、この場合、例えば、第2分類ステップでは、時系列で見た場合に、第2映像データが生成された日時が、第1グループに属する複数の第1映像データのそれぞれが生成された日時と、第2グループに属する複数の第3映像データのそれぞれが生成された日時との間に位置するとき、第1グループ及び第2グループのいずれかに分類された映像データのうち、第2映像データのイベントの種別と最も一致率が高いイベントの種別である映像データが属するグループに、第2映像データを分類する。
 これによれば、第1映像データを分類した後で、各グループの複数の第1映像データが生成された日時の間に生成されていない第2映像データであっても、同じ期間に発生した同じイベントの第1映像データを多く含むグループに当該第2映像データを分類できる。
 また、例えば、本開示におけるスライドショー生成方法は、さらに、第1グループに属する複数の映像データの数が所定の数未満であるか否かを判定する第3分類ステップ(例えば、ステップS209~ステップS216)を含む。この場合、例えば、第3分類ステップでは、第1グループに属する複数の映像データの数が所定の数未満であると判定した場合(ステップS209でNo)、第1グループに属する第1映像データが生成された場所が所定の第2場所から所定の第2距離以上離れた場所であるか否かを判定する(例えば、ステップS210)。また、例えば、第3分類ステップでは、さらに、第1グループに属する第1映像データが生成された場所が所定の第2場所から所定の第2距離以上離れた場所であると判定した場合(ステップS210でYes)、取得ステップで取得した複数の映像データのうち、第1グループに属する複数の映像データのそれぞれが生成された日にちの翌日以降に生成された第1映像データを抽出し(例えば、ステップS211及びステップS212)、抽出した第1映像データが生成された場所と、第1グループに属する第1映像データが生成された場所とが同じであるか否かを判定する(例えば、ステップS213)。また、例えば、第3分類ステップでは、さらに、抽出した第1映像データが生成された場所と、第1グループに属する第1映像データが生成された場所とが同じであると判定した場合(例えば、ステップS213でYes)、抽出した第1映像データを第1グループに分類する(例えば、ステップS214)。
 あるグループに属する映像データが極端に少ない状態で当該グループのスライドショーを生成すると、同じ映像データが頻繁に表示されるスライドショーとなる。そこで、属する映像データが極端に少ないグループにおいては、当該グループに属する映像データの翌日以降に生成された映像データを含めるようにする。例えば、ユーザの自宅からある程度離れた場所で生成された映像データであれば、数日にわたるユーザが外出等のように、大まかなイベントの種別の映像データを多く含むグループとして映像データを分類できる。
 また、例えば、生成ステップでは、第1グループに含まれる複数の映像データを、生成された日時が早い映像データから順に時系列で配列し、配列した複数の映像データにおける先頭の映像データが生成された日時から、末尾の映像データが生成された日時までの総期間をN(Nは2以上の整数)等分し、配列した複数の映像データを、N等分された総期間のうちのそれぞれの期間毎に分類した複数の小集合を生成し(例えば、ステップS401及び図16)、生成した小集合毎に1以上の映像データを選択する(例えば、ステップS402~ステップS408及び図17)。
 あるグループに属する映像データが極端に多い状態で当該グループの映像データを全て含むスライドショーを生成すると、長時間のスライドショーとなったり、それぞれの映像データの表示時間が極端に短いスライドショーとなったりする可能性がある。そこで、生成された期間毎に映像データを抽出してスライドショーを生成することで、特定の期間に生成された複数の映像データのみでスライドショーが生成されることなく、時間的に分散された複数の映像データでスライドショーを生成できる。このようなスライドショーであれば、例えば、ユーザが見た場合に、イベント全体の振り返りやすくできる。
 また、例えば、或いは、例えば、生成ステップでは、第1グループに含まれる複数の映像データを、生成された日時が早い映像データから順に時系列で配列し、配列した複数の映像データを配列順にM個(Mは2以上の整数)毎に分類した複数の小集合を生成し(例えば、ステップS401及び図15)、生成した小集合毎に1以上の映像データを選択する(例えば、ステップS402~ステップS408及び図17)。
 これによってもまた、特定の期間に生成された複数の映像データのみでスライドショーが生成されることなく、時間的に分散された複数の映像データでスライドショーを生成できる。このようなスライドショーであれば、例えば、ユーザが見た場合に、イベント全体の振り返りやすくできる。
 また、例えば、生成ステップでは、第1グループに属する複数の映像データに画像データ及び動画像データが含まれる場合(例えば、ステップS403でNo)、動画像データを優先して選択する(ステップS404)。
 動画像データは、画像データと比較して、より多くの情報を含んでいる可能性が高い。そのため、動画像データを優先的に選択することで、情報量の多いスライドショーを生成できる。
 また、例えば、本開示におけるスライドショー生成方法は、さらに、映像データを画像解析することで、当該映像データのイベントの種別を推定する推定ステップを含む。この場合、例えば、生成ステップでは、第1グループに属する複数の映像データのイベントの種別のうちで、最も多いイベントの種別の映像データを優先して選択する。
 これによれば、仮に他の映像データとイベントの種別が全く異なる映像データがあるグループに含まれていたとしても、当該映像データを選択せずに、同じイベントの種別の映像データを用いてスライドショーを生成できる。
 また、例えば、本開示におけるスライドショー生成方法は、さらに、映像データを画像解析することで、当該映像データのイベントの種別を推定する推定ステップを含む。例えば、生成ステップでは、第1グループに属する複数の映像データから所定の数の映像データを選択する場合、所定の数のうちの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、数が多いイベントの種別の映像データから順に選択し、所定の数のうちの残りの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、所定の数のうちの半数として選択しなかった映像データを選択する。
 これによれば、また、映像データには、推定部140によってイベントの種別を特定することができない映像データが含まれる場合がある。そのような場合においても、生成部160は、イベントの種別が推定されなかった映像データを含め、第1グループに属する映像データのうち、数が多いイベントに含まれない映像データから所定の数の残りの半数を選択することができる。
 また、例えば、生成ステップでは、第1グループに属する複数の映像データから所定の数の映像データを選択する場合、所定の数のうちの残りの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、数が少ないイベントの種別の映像データから順に選択する。
 例えば、ユーザによっては、一日のうちで複数のイベントに参加して、複数のイベントそれぞれで撮影を行う場合がある。映像データの数によっては、当該一日に生成された映像データが全て同じグループに属する場合がある。この場合、例えば、あるグループに属する複数の映像データのイベントの種別のうちで、数が多いイベントの種別の映像データから順に選択すると、映像データの少ないイベントについてはスライドショーに含まれない可能性がある。この場合、ユーザがスライドショーを見ることで当該一日を振り返りやすくできるという観点においては、映像データの少ないイベントについてはユーザが振り返りにくい。そこで、所定の数のうちの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、数が多いイベントの種別の映像データから順に選択し、所定の数のうちの残りの半数を、第1グループに属する複数の映像データのイベントの種別のうちで、数が少ないイベントの種別の映像データから順に選択する。これにより、映像データの少ないイベントについてもユーザが振り返りやすいスライドショーを生成できる。
 また、本開示は、本開示におけるスライドショー生成方法をコンピュータに実行させるためのプログラムとして実現されてもよい。
 また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、HDD若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的な記録媒体で実現されてもよい。
 また、実施の形態におけるスライドショー生成装置100は、複数の映像データを取得する取得部120と、取得部120が取得した複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する第1分類部151と、取得部120が取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データであって、第1グループに属する複数の第1映像データのそれぞれが生成された日時の間に生成された第2映像データを第1グループに分類する第2分類部152と、第1グループに含まれる、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し、選択した1以上の映像データを順次再生するためのスライドショーデータを生成する生成部160と、を備える。
 これによれば、上記した本開示におけるスライドショー生成方法と同様の効果を奏する。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 そこで、以下、他の実施の形態を例示する。
 例えば、スライドショー生成装置と撮像装置との無線通信方式は、特に限定されない。当該無線通信方式としては、Bluetooth(登録商標)、無線LAN(Local Area Network)、Wi-Fi(登録商標)、ZigBee(登録商標)等の所定の無線通信規格が例示される。
 また、例えば、上記実施の形態では、スライドショー生成装置は、撮像装置と通信することで映像データを取得したが、これに限らない。例えば、スライドショー生成装置は、サーバ装置又はUSB(Universal Serial Bus)メモリ等のように、映像データを生成する機能を有していない装置から映像データを取得してもよい。
 また、例えば、上記実施の形態において、本開示におけるスライドショー生成装置が備える制御部、分類部、生成部等の処理部の構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、或いは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)又はプロセッサ等のプログラム実行部が、HDD(Hard Disk Drive)又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 また、本開示におけるスライドショー生成装置が備える制御部、分類部、生成部等の処理部の構成要素は、1つ又は複数の電子回路で構成されてもよい。1つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
 1つ又は複数の電子回路には、例えば、半導体装置、IC(Integrated Circuit)又はLSI(Large Scale Integration)等が含まれてもよい。IC又はLSIは、1つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、IC又はLSIと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、又は、ULSI(Ultra Large Scale Integration)と呼ばれるかもしれない。また、LSIの製造後にプログラムされるFPGA(Field Programmable Gate Array)も同じ目的で使うことができる。
 また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、HDD若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的な記録媒体で実現されてもよい。例えば、本開示は、上記実施の形態におけるスライドショー生成方法をコンピュータによって実行させるためのプログラムとして実現されてもよい。また、このプログラムは、コンピュータ読み取り可能なCD-ROM等の非一時的な記録媒体に記録されてもよいし、インターネット等の通信路で配信されてもよい。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
 したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示は、複数の装置から映像データを取得してスライドショーデータを生成するレコーダ等に適用可能である。
 100 スライドショー生成装置
 110 通信部
 110a 通信IF
 120 取得部
 130 制御部
 130a プロセッサ
 140 推定部
 150 分類部
 151 第1分類部
 152 第2分類部
 153 第3分類部
 160 生成部
 170 出力部
 170a コンテンツ出力IF
 171 デコーダ部
 180 受信部
 180a 受光センサ
 190 記憶部
 190a 記録媒体
 200 撮像装置
 201、202 スマートフォン
 203 デジタルカメラ
 204 ビデオカメラ
 300 表示装置
 300a テレビ
 400 スライドショー生成システム

Claims (14)

  1.  複数の映像データを取得する取得ステップと、
     前記取得ステップで取得した複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する第1分類ステップと、
     前記取得ステップで取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データであって、前記第1グループに属する複数の前記第1映像データのそれぞれが生成された日時の間に生成された第2映像データを前記第1グループに分類する第2分類ステップと、
     前記第1グループに属する、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し、選択した前記1以上の映像データを順次再生するためのスライドショーデータを生成する生成ステップと、を含む
     スライドショー生成方法。
  2.  前記映像データは、当該映像データを生成した撮像装置を示す識別データを含み、
     前記第2分類ステップでは、前記第2映像データが生成された日時が、前記第1グループに属する複数の前記第1映像データのそれぞれが生成された日時の間に位置する場合であって、且つ、前記第2映像データに含まれる識別データが示す撮像装置と、前記第1グループに属する複数の前記第1映像データに含まれる識別データが示す撮像装置とが一致する場合、前記第1グループに前記第2映像データを分類する
     請求項1に記載のスライドショー生成方法。
  3.  前記第1分類ステップでは、
     前記取得ステップで取得した複数の映像データのうちの複数の前記第1映像データのそれぞれについて、生成された場所と所定の第1場所との距離を算出し、
     算出した距離が所定の第1距離未満の前記第1映像データである近距離第1映像データと、算出した距離が前記所定の第1距離以上の前記第1映像データである遠距離第1映像データとで、異なるグループに分類する
     請求項1又は2に記載のスライドショー生成方法。
  4.  前記第1分類ステップでは、前記取得ステップで取得した複数の映像データのうち、前記第1グループに属する複数の前記第1映像データとは、生成された日にち及び場所の少なくとも一方が異なる前記第1映像データである第3映像データを第2グループに分類し、
     前記第2分類ステップでは、時系列で見た場合に、前記第2映像データが生成された日時が、前記第1グループに属する複数の前記第1映像データのそれぞれが生成された日時と、前記第2グループに属する複数の前記第3映像データのそれぞれが生成された日時との間に位置するとき、前記第1グループ及び前記第2グループのいずれかに分類された映像データのうち、前記第2映像データが生成された日時と最も近い日時に生成された映像データが属するグループに、前記第2映像データを分類する
     請求項3に記載のスライドショー生成方法。
  5.  さらに、前記映像データを画像解析することで、当該映像データのイベントの種別を推定する推定ステップを含み、
     前記第1分類ステップでは、前記取得ステップで取得した複数の映像データのうち、前記第1グループに属する複数の前記第1映像データとは、生成された日にち及び場所の少なくとも一方が異なる前記第1映像データである第3映像データを第2グループに分類し、
     前記第2分類ステップでは、時系列で見た場合に、前記第2映像データが生成された日時が、前記第1グループに属する複数の前記第1映像データのそれぞれが生成された日時と、前記第2グループに属する複数の前記第3映像データのそれぞれが生成された日時との間に位置するとき、前記第1グループ及び前記第2グループのいずれかに分類された映像データのうち、前記第2映像データのイベントの種別と最も一致率が高いイベントの種別である映像データが属するグループに、前記第2映像データを分類する
     請求項3に記載のスライドショー生成方法。
  6.  さらに、前記第1グループに属する複数の映像データの数が所定の数未満であるか否かを判定する第3分類ステップを含み、
     前記第3分類ステップでは、
     前記第1グループに属する複数の映像データの数が所定の数未満であると判定した場合、前記第1グループに属する前記第1映像データが生成された場所が所定の第2場所から所定の第2距離以上離れた場所であるか否かを判定し、
     前記第1グループに属する前記第1映像データが生成された場所が所定の第2場所から所定の第2距離以上離れた場所であると判定した場合、前記取得ステップで取得した複数の映像データのうち、前記第1グループに属する複数の映像データのそれぞれが生成された日にちの翌日以降に生成された前記第1映像データを抽出し、抽出した前記第1映像データが生成された場所と、前記第1グループに属する前記第1映像データが生成された場所とが同じであるか否かを判定し、
     抽出した前記第1映像データが生成された場所と、前記第1グループに属する前記第1映像データが生成された場所とが同じであると判定した場合、抽出した前記第1映像データを前記第1グループに分類する
     請求項1~5のいずれか1項に記載のスライドショー生成方法。
  7.  前記生成ステップでは、
     前記第1グループに含まれる複数の映像データを、生成された日時が早い映像データから順に時系列で配列し、
     配列した複数の映像データにおける先頭の映像データが生成された日時から、末尾の映像データが生成された日時までの総期間をN(Nは2以上の整数)等分し、
     配列した前記複数の映像データを、N等分された前記総期間のうちのそれぞれの期間毎に分類した複数の小集合を生成し、
     生成した小集合毎に1以上の映像データを選択する
     請求項1~6のいずれか1項に記載のスライドショー生成方法。
  8.  前記生成ステップでは、
     前記第1グループに含まれる複数の映像データを、生成された日時が早い映像データから順に時系列で配列し、
     配列した前記複数の映像データを配列順にM個(Mは2以上の整数)毎に分類した複数の小集合を生成し、
     生成した小集合毎に1以上の映像データを選択する
     請求項1~6のいずれか1項に記載のスライドショー生成方法。
  9.  前記生成ステップでは、前記第1グループに属する複数の映像データに画像データ及び動画像データが含まれる場合、動画像データを優先して選択する
     請求項1~8のいずれか1項に記載のスライドショー生成方法。
  10.  さらに、前記映像データを画像解析することで、当該映像データのイベントの種別を推定する推定ステップを含み、
     前記生成ステップでは、前記第1グループに属する複数の映像データのイベントの種別のうちで、最も多いイベントの種別の映像データを優先して選択する
     請求項1~9のいずれか1項に記載のスライドショー生成方法。
  11.  さらに、前記映像データを画像解析することで、当該映像データのイベントの種別を推定する推定ステップを含み、
     前記生成ステップでは、前記第1グループに属する複数の映像データから所定の数の映像データを選択する場合、
     前記所定の数のうちの半数を、前記第1グループに属する複数の映像データのイベントの種別のうちで、数が多いイベントの種別の映像データから順に選択し、
     前記所定の数のうちの残りの半数を、前記第1グループに属する複数の映像データのイベントの種別のうちで、前記所定の数のうちの半数として選択しなかった映像データを選択する
     請求項1~9のいずれか1項に記載のスライドショー生成方法。
  12.  前記生成ステップでは、前記所定の数のうちの残りの半数を、前記第1グループに属する複数の映像データのイベントの種別のうちで、数が少ないイベントの種別の映像データから順に選択する
     請求項11に記載のスライドショー生成方法。
  13.  請求項1~12のいずれか1項に記載のスライドショー生成方法をコンピュータに実行させるための
     プログラム。
  14.  複数の映像データを取得する取得部と、
     前記取得部が取得した複数の映像データのうち、同一日に同一場所で生成された第1映像データを第1グループに分類する第1分類部と、
     前記取得部が取得した複数の映像データのうち、生成された場所を示す場所情報を含まない映像データである第2映像データであって、前記第1グループに属する複数の前記第1映像データのそれぞれが生成された日時の間に生成された第2映像データを前記第1グループに分類する第2分類部と、
     前記第1グループに含まれる、それぞれが第1映像データ又は第2映像データである、複数の映像データのうちから1以上の映像データを選択し、選択した前記1以上の映像データを順次再生するためのスライドショーデータを生成する生成部と、を備える
     スライドショー生成装置。
PCT/JP2021/032761 2020-09-25 2021-09-07 スライドショー生成方法、プログラム、及び、スライドショー生成装置 WO2022065018A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/024,665 US20230282242A1 (en) 2020-09-25 2021-09-07 Slide show generation method, recording medium, and slide show generation device
JP2022551844A JPWO2022065018A1 (ja) 2020-09-25 2021-09-07
EP21872149.6A EP4221192A4 (en) 2020-09-25 2021-09-07 SLIDESHOW GENERATION METHOD, PROGRAM AND SLIDESHOW GENERATION DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020161454 2020-09-25
JP2020-161454 2020-09-25

Publications (1)

Publication Number Publication Date
WO2022065018A1 true WO2022065018A1 (ja) 2022-03-31

Family

ID=80845281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032761 WO2022065018A1 (ja) 2020-09-25 2021-09-07 スライドショー生成方法、プログラム、及び、スライドショー生成装置

Country Status (4)

Country Link
US (1) US20230282242A1 (ja)
EP (1) EP4221192A4 (ja)
JP (1) JPWO2022065018A1 (ja)
WO (1) WO2022065018A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279118A (ja) 2005-03-28 2006-10-12 Casio Comput Co Ltd 画像再生装置及びプログラム
JP2010004479A (ja) * 2008-06-23 2010-01-07 Canon Inc 画像再生装置および制御方法およびプログラム
JP2011223465A (ja) * 2010-04-13 2011-11-04 Canon Inc 表示制御装置及び表示制御方法
JP2015008385A (ja) * 2013-06-25 2015-01-15 株式会社ニコン 画像選択装置、撮像装置および画像選択プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4433025B2 (ja) * 2007-09-10 2010-03-17 ソニー株式会社 画像再生装置及び画像記録装置と画像再生方法及び画像記録方法
US20110016398A1 (en) * 2009-07-16 2011-01-20 Hanes David H Slide Show
JP4988011B2 (ja) * 2010-06-15 2012-08-01 株式会社東芝 電子機器及び画像処理方法
JP2012217144A (ja) * 2011-03-30 2012-11-08 Panasonic Corp 画像編集装置、画像編集方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279118A (ja) 2005-03-28 2006-10-12 Casio Comput Co Ltd 画像再生装置及びプログラム
JP2010004479A (ja) * 2008-06-23 2010-01-07 Canon Inc 画像再生装置および制御方法およびプログラム
JP2011223465A (ja) * 2010-04-13 2011-11-04 Canon Inc 表示制御装置及び表示制御方法
JP2015008385A (ja) * 2013-06-25 2015-01-15 株式会社ニコン 画像選択装置、撮像装置および画像選択プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4221192A4

Also Published As

Publication number Publication date
EP4221192A1 (en) 2023-08-02
US20230282242A1 (en) 2023-09-07
JPWO2022065018A1 (ja) 2022-03-31
EP4221192A4 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US10062412B2 (en) Hierarchical segmentation and quality measurement for video editing
KR101535579B1 (ko) 증강 현실 인터액션 구현 방법 및 시스템
JP5790509B2 (ja) 画像再生装置、画像再生プログラム、及び画像再生方法
JP5735330B2 (ja) 画像処理装置および画像処理方法
US9081798B1 (en) Cloud-based photo management
US8135239B2 (en) Display control apparatus, display control method, computer program, and recording medium
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
US8068678B2 (en) Electronic apparatus and image processing method
US20070216773A1 (en) System, apparatus, method, program and recording medium for processing image
US8836811B2 (en) Content storage management in cameras
US8250068B2 (en) Electronic album editing system, electronic album editing method, and electronic album editing program
JP2009181216A (ja) 電子機器および画像処理方法
TWI591575B (zh) 用於增進已擷取資料的方法及系統
JP2006236218A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2011109428A (ja) 情報処理装置、情報処理方法、およびプログラム
US20110096994A1 (en) Similar image retrieval system and similar image retrieval method
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2014006680A (ja) ビデオ記録装置、情報処理システム、情報処理方法および記録媒体
JP6724919B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
US20170091205A1 (en) Methods and apparatus for information capture and presentation
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
WO2022065018A1 (ja) スライドショー生成方法、プログラム、及び、スライドショー生成装置
JP2009225116A (ja) ネットワーク伝送機能を備えた映像記録装置
US20120197923A1 (en) Information processing device, processing method, computer program, and integrated circuit

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872149

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022551844

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021872149

Country of ref document: EP

Effective date: 20230425