WO2012160771A1 - 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 - Google Patents

情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 Download PDF

Info

Publication number
WO2012160771A1
WO2012160771A1 PCT/JP2012/003102 JP2012003102W WO2012160771A1 WO 2012160771 A1 WO2012160771 A1 WO 2012160771A1 JP 2012003102 W JP2012003102 W JP 2012003102W WO 2012160771 A1 WO2012160771 A1 WO 2012160771A1
Authority
WO
WIPO (PCT)
Prior art keywords
highlight
priority
scene
scenes
reproduction
Prior art date
Application number
PCT/JP2012/003102
Other languages
English (en)
French (fr)
Inventor
慎吾 宮本
山本　雅哉
槻館　良太
井上　隆司
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013516189A priority Critical patent/JP5886839B2/ja
Priority to US13/809,008 priority patent/US20130108241A1/en
Priority to CN201280002141.6A priority patent/CN103026704B/zh
Publication of WO2012160771A1 publication Critical patent/WO2012160771A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a technology for supporting creation of a highlight moving image from moving image content.
  • Patent Documents 1 to 4 there has been a technology for supporting the extraction of a scene that is a highlight from moving image content to be provided for efficient viewing by the user (see, for example, Patent Documents 1 to 4).
  • an object of this invention is to provide the information processing apparatus which can be contributed to creation of a favorable highlight moving image.
  • the information processing apparatus includes, for the moving image content, a section of the moving image content including one or more reproduction positions based on reception means for receiving specification of a plurality of reproduction positions from the user and the plurality of reproduction positions received. Adjusting the length of one or more scenes based on the extraction means for extracting a plurality of scenes shown, the giving means for giving priority to each extracted scene, and the priority given to each scene Later, the creation means for combining the scenes to create the highlight video, It is characterized by having.
  • the information processing apparatus can contribute to the creation of a good highlight moving image.
  • the figure which shows an example of the priority provision from a viewpoint of the reproduction section length of a highlight scene Diagram showing an example of prioritization from the viewpoint of the density of marks in a highlight scene Diagram showing a flowchart of the operation of the highlight scene length adjustment step A diagram showing an example of creating a highlight moving image after shortening the playback section length of a low priority highlight scene
  • the present inventors considered creating a highlight moving image by connecting scenes extracted based on user's specification or extracted automatically.
  • highlight videos created by directly connecting the extracted scenes may be too short in overall length to make it difficult to understand the contents, or may be too long to be redundant, which does not necessarily satisfy the user. .
  • the present embodiment is made on the basis of such a background, and aims mainly to adjust the length of the scene to an optimum length for creating a highlight moving image.
  • FIG. 1 is a diagram showing the configuration of the information processing apparatus 10 according to the first embodiment.
  • the information processing apparatus 10 includes a user input reception unit 12, a highlight scene extraction unit 14, a priority assignment unit 16, and highlight video creation A unit 18 (including a length adjustment unit 20), a storage unit 22, a management unit 24, a decoding unit 26, and a display control unit 28 are provided.
  • the user input acceptance unit 12 has a function of accepting user input via the remote control 2.
  • the remote control 2 includes a plurality of buttons for instructing playback of a video (play start, playback stop, skip, fast forward, rewind, etc.), and a button for the user to specify a desired scene as a highlight video. .
  • the start and end points of the scene may be specified manually, or a part of the scene may be specified.
  • the user designates the latter. Specifically, the user presses a button for specifying a desired scene as the highlight moving image when he / she feels interesting, and inputs a “mark”.
  • the mark is composed of a moving image that the user finds interesting and information for identifying the reproduction position.
  • such a mark may be specified by the user, or may be automatically specified by the information processing apparatus 10 or another device by analyzing a moving image.
  • the case where the mark is specified by the user will be described as an example.
  • the remote controller 2 When a button is pressed on the remote controller 2, the remote controller 2 transmits information indicating the content of the user's instruction to the user input acceptance unit 12.
  • the user input acceptance unit 12 accepts the instruction content indicated in the received information as the user's input.
  • the highlight scene extraction unit 14 extracts a highlight scene from the moving image content stored in the storage unit 22 based on the mark.
  • the highlight scene is a scene that the user likes or is supposed to be liked.
  • the priority assignment unit 16 assigns a priority to each highlight scene extracted by the highlight scene extraction unit 14 as necessary.
  • the highlight moving image creation unit 18 combines the extracted highlight scenes to create a highlight moving image.
  • the length adjustment unit 20 determines whether the length of the highlight moving image created by connecting the highlight scenes is optimum or not, and when it is not optimum, the highlight scene whose length is changed to the highlight scene extraction unit 14 Adjust the length of highlight video by requesting re-extraction process of.
  • the storage unit 22 is configured of, for example, a hard disk drive (HDD) or the like, and stores moving image content and metadata.
  • HDD hard disk drive
  • the moving image content is not particularly limited as long as the moving image content has a predetermined length as an extraction target of the highlight scene.
  • the user created content is created by shooting by the user himself. This is because such user-created content tends to contain redundant scenes, and there are many user requests for creating highlight videos.
  • the table 23 showing the structure of the metadata in FIG. 2 includes items of “moving image content ID” 23 a, “shot ID” 23 b, “mark ID” 23 c, and “reproduction position of mark (second)” 23 d.
  • the “moving image content ID” 23 a is an identifier for uniquely identifying the moving image content stored in the storage unit 22.
  • the “shot ID” 23 b is an identifier for identifying one or more shots corresponding to the moving image content indicated by the “moving image content ID” 23 a.
  • “shot” is a unit from the start of one shooting to the end of shooting at the time of shooting a user moving image.
  • the “mark ID” 23 c is an identifier for identifying a mark.
  • the “mark reproduction position (seconds)” 23 d indicates the reproduction position corresponding to the mark ID.
  • any information indicating the reproduction position may be sufficient. For example, instead of the number of seconds, a moving image frame ID may be used.
  • the management unit 24 has a function of performing reproduction of moving image content and management of metadata.
  • the management unit 24 causes the decoding unit 26 to decode the moving image content stored in the storage unit 22 based on the instruction. Then, the management unit 24 displays the decoded moving image content on the display 4 via the display control unit 28.
  • the management unit 24 metamorphoses the moving image content ID of the moving image content being reproduced at the time of receiving the mark and the reproduction position thereof. It is stored in the storage unit 22 as data.
  • the content of the metadata shown in FIG. 2 is only an example, and is not limited to this. For example, it may be considered that the management of attribution of the shot to the moving image content is separately performed by a playlist or the like.
  • the processing of the mark input step (S310) is performed.
  • the information processing apparatus 10 executes a highlight scene extraction step (S320) of extracting a highlight scene based on the reproduction position of the mark received from the user.
  • step (S330) is performed to determine whether the length of the highlight moving image obtained by connecting the highlight scenes extracted in the highlight scene extraction step (S320) is optimal.
  • the state in which the length of the highlight moving image in step S330 is optimal means, for example, that the length of the highlight moving image obtained by directly connecting the highlight scene extracted in step S320 is between a predetermined lower limit and an upper limit. (E.g., between 5 and 15 minutes).
  • the user input reception unit 12 starts reception of mark input by the user (S410), and waits for the input (S420: No).
  • the information constituting the accepted mark is stored as metadata in the storage unit 22 (S430).
  • the information constituting the received mark includes the moving image content ID, the shot ID, the mark ID, and the reproduction position of the mark.
  • the reproduction position of the mark to be stored as metadata may be the reproduction position corresponding to the frame being decoded by the decoding unit 26 at the time of reception of the mark, or the frame being read by the management unit 24 at the time of reception of the mark. It may be the reproduction position corresponding to.
  • steps S420 to S430 are repeated until the user input acceptance unit 12 accepts stop of reproduction of the moving image content (S440) or until the end of the moving image content is completed (S450).
  • FIG. 5 shows an example of a scene where the user inputs a mark.
  • the user views the moving image content of the kindergarten play meeting to which the daughter photographed by the user attends. Since the user wants to see the daughter, when the daughter plays an active role, the highlight button of the remote control 2 is pressed.
  • the highlight scene extraction step (S320) will be described in detail using FIG.
  • the management unit 24 When the mark input step (S310) is completed, the management unit 24 notifies the highlight scene extraction unit 14 that the mark input step is completed.
  • the highlight scene extraction unit 14 having received this acquires the mark associated with the moving image content being reproduced immediately before the completion among the metadata stored in the storage unit 22 (S610).
  • the metadata of three lines from the top of the table of FIG. 2 is acquired .
  • the highlight scene extraction unit 14 extracts, as highlight scenes, reproduction sections before and after the reproduction position of the mark for each of the marks for which the corresponding highlight scene has not yet been extracted (S620).
  • step S620 Several methods can be considered as the extraction method of step S620. For example, a method of extracting a fixed length scene as a highlight scene using a mark can be considered.
  • reproduction segments before and after the mark reproduction position are extracted as highlight scenes by a set fixed length. Further, in the method, when the difference in reproduction position between the plurality of marks is smaller than the fixed length, the highlight scenes extracted from the plurality of marks overlap each other. In this case, a playback segment from the point of time when the fixed length is traced back from the first mark to the point of time after the fixed length after the point of reproduction of the last mark is extracted as a highlight scene.
  • FIG. 7 shows an example of the method when the fixed length is 5 seconds.
  • the reproduction position of the mark is 21 seconds, 16 seconds to 26 seconds which is a reproduction section of 5 seconds before and after that is extracted as a highlight scene.
  • FIG. 7B starting from 16 seconds 5 seconds back from the reproduction position (21 seconds) of the first mark, 28 seconds after 5 seconds from the reproduction position (23 seconds) from the next mark A reproduction section which is an end point is extracted as a highlight scene.
  • 5 seconds set as fixed length in FIG. 7 is an example, and is not restricted to this.
  • the highlight scene extraction method is not limited to the method of extracting the fixed length, and any method may be used as long as it is a highlight scene extraction method that includes the reproduction position of the mark.
  • the image feature quantity of each frame of the reproduction section before and after the mark reproduction position is calculated and compared, and the frame in which the difference of the image feature quantity is equal to or more than the threshold in each of the reproduction sections before and after the mark reproduction position
  • the method disclosed in Patent Document 3 or the like may be used which extracts a highlight scene so as to make the highlight scene a break.
  • the frames before and after the mark playback position are subdivided from the viewpoint of sound to derive the feature quantity and the average value of the sound environment, and the frame scene where the difference between the feature quantity and the average value is equal to or more than the threshold You may use the method of extracting the scene which makes it a break of.
  • the frame where the particular operation is performed is the cut of highlight scene A method disclosed in Patent Document 4 or the like for extracting a highlight scene to be used may be used.
  • the highlight scene extraction method is not limited to the methods listed above. ⁇ Highlight Scene Prioritization Step> Next, the highlight scene priority assignment step (S340) will be described with reference to FIG.
  • the priority assignment unit 16 assigns a priority from the viewpoint of "the length of the reproduction section of the highlight scene" (S810).
  • T1 ⁇ T2 the following two types of indices T1 and T2 (T1 ⁇ T2) are introduced to the length of the playback section of the highlight scene, and the length of the playback section of the highlight scene is shorter than T1 or T2. If it is long, give it the lowest priority.
  • this method is an example and is not limited to this.
  • T1 is the shortest length that can be found to be interesting.
  • T2 is the longest length that can be enjoyed without getting tired.
  • FIG. 9 is a diagram showing an example of giving priority based on the length of the reproduction section of the highlight scene.
  • the priority is determined to be the lowest.
  • the length of the reproduction section of the highlight scene extracted from the shot 3 is larger than T2, the priority is similarly determined to be the lowest.
  • the priority assignment unit 16 assigns a priority from the viewpoint of “density of marks in highlight scene” for the highlight scene whose length is greater than or equal to T1 and less than or equal to T2 in step S810 (S820). .
  • the density of marks is the number of marks per highlight scene.
  • the highlight scene where several attractions gather becomes more interesting by looking at it continuously for a little while. Therefore, the priority of the highlight scene having a high density of marks in one highlight scene is increased. That is, the priority assignment unit 16 raises the priority if the number of marks per highlight scene is large, and lowers the priority if the number of marks per highlight scene is small.
  • FIG. 10 is a diagram showing an example of prioritization according to the density of marks in a highlight scene.
  • the density of the mark of the highlight scene on the right side extracted from shot 2 is high, it is determined to be the highest priority 1.
  • the density of the highlight scene mark extracted from the shot 1 is medium, it is determined to be priority 2.
  • the density of the mark of the highlight scene on the left side extracted from shot 2 is low, it is determined to be priority 3.
  • the density of the highlight scene mark extracted from shot 3 is the lowest, it is determined to be priority 4. Note that the number of marks per unit time per highlight scene may be used as the density of marks.
  • the priority assigning unit 16 compares and analyzes the highlight scenes having the same priority as a result of step S810 and step S820 and assigns detailed priorities (S830). As a method of giving a detailed priority, for example, the following method can be considered.
  • the priorities may be given based on the points. good. Furthermore, when checking the highlight moving image length in step S330, it is also confirmed whether it is too long or too short than the preset time, and in each case the priority is different. May be given. ⁇ Highlight Scene Length Adjustment Step> Finally, the highlight scene length adjustment step (S350) will be described in detail with reference to FIG.
  • step S340 the priority assignment unit 16 notifies the highlight scene moving image creation unit 18 of that. Having received this, the length adjusting unit 20 of the highlight moving image creating unit 18 checks whether the length of the highlight moving image is longer than the set time (S1110).
  • the length adjustment unit 20 causes the highlight scene extraction unit 14 to re-select the highlight scene so as to make the highlight scene length shorter. Request extraction processing.
  • the highlight scene extraction unit 14 that has received the request extracts the highlight scene for which the length adjustment has not been performed among all the highlight scenes extracted at that time, and among them, the priority is the lowest.
  • the length of the playback section of the highlight scene is shortened (S1120).
  • the highlight scene extraction unit 14 uses the algorithm used in the first extraction process (S320) to perform highlighting. There is a method of changing the parameter and re-extracting so that the playback interval of the scene becomes shorter.
  • the fixed length is greater than at the first extraction. It is conceivable to shorten it. Specifically, the fixed length set to 5 seconds in FIG. 7 is set short to 3 seconds.
  • the first extraction process (S320) when a method of analyzing the image feature amount and the feature amount of the sound environment is used, parameters such as a threshold for comparing differences between the feature amounts between images are adjusted. It is conceivable to extract reproduction sections before and after the reproduction position of the mark as a highlight scene so as to be shorter than the highlight scene extracted in the first extraction process (S320).
  • the break of the scene closer to the mark reproduction position is adopted as it is as the start point of the highlight scene. It is conceivable to set the end point of the highlight scene so as to include the portion of the playback position of and be shorter than the highlight scene extracted in step S320.
  • a method different from the algorithm used in the first extraction process (S320) may be used as a method of shortening the length of the reproduction section of the highlight scene based on the re-extraction request. Further, the method of shortening the length of the reproduction section of the highlight scene is not limited to these.
  • step S1120 among highlight scenes with the lowest assigned priority, highlight scenes that are too short such that the playback interval of the highlight scene is shorter than T1 are excluded from the adjustment targets, or high The length of the reproduction section of the light scene may be increased.
  • the highlight moving image creation unit 18 determines whether the difference between the entire length of the highlight moving image and the setting time is within a preset threshold. It confirms (S1130). If it is within the threshold, the highlight scene length adjustment step is completed. On the other hand, if it is the threshold value or more, the process returns to step S1120, and the length adjustment unit 20 requests the highlight scene extraction unit 14 to perform highlight scene re-extraction processing so as to further shorten the highlight scene length.
  • the highlight scene extraction unit 14 that received the request extracts the highlight scene for which the length adjustment has not been performed among all the highlight scenes extracted at that time, and the priority is the highest among them. Shorten the playback interval of low highlight scenes.
  • the length adjustment unit 20 requests the highlight scene extraction unit 14 to perform highlight scene re-extraction processing to make the highlight scene length longer.
  • the highlight scene extraction unit 14 that has received the request lengthens the playback section length of the scene with the highest priority among the highlight scenes for which the length adjustment has not been performed (S1140).
  • the method of lengthening the playback section of the highlight scene is the same method as the method of extracting the highlight scene in the highlight scene extraction step (S320), similarly to the method of shortening the highlight scene in step S1120. It may be used or different methods may be used.
  • step S1140 among highlight scenes with the lowest assigned priority, highlight scenes with a highlight scene playback section longer than T2 are excluded from adjustment targets, or highlight scenes are reproduced.
  • the length of the section may be shortened.
  • the length adjustment unit 20 checks whether the difference between the length of the highlight moving image and the setting time is within a preset threshold (S1150). If within the threshold (S1150: Yes), the highlight scene length adjustment step is completed. On the other hand, if it is equal to or higher than the threshold (S1150: No), the process returns to step S1140, and the length of the reproduction section of the highlight scene with the next highest priority is lengthened.
  • the length of the playback section of the highlight scene is adjusted based on the priority given to the highlight scene, thereby matching the preset time. It is possible to realize creation of a highlight video according to the user's preference.
  • the length of the highlight moving image can be within the set time.
  • Second Embodiment is an application of the first embodiment, in that the analysis method of sound is used for highlight scene extraction, and the relationship between scenes is considered in giving priority, etc. It is different from Form 1. The description of the same points as the first embodiment will be omitted.
  • the information processing apparatus 11 of FIG. 13 is different from that of FIG. 1 particularly in that the highlight scene extraction unit 14 a includes an acoustic stability analysis unit 15.
  • the sound stability analysis unit 15 has a function of analyzing the sound stability of the moving image content. ⁇ Highlight Scene Extraction Step> Next, a method of highlight scene extraction according to the second embodiment will be described with reference to FIG.
  • the highlight scene extraction unit 14a extracts a section of n seconds in front of and behind the reproduction position of the mark, and requests the acoustic stability analysis unit 15 to analyze the acoustic stability.
  • the acoustic stability analysis unit 15 divides the section of n seconds into more detailed sections for each minimum section a (a is a positive arbitrary number) seconds (S1410).
  • n is taken as a predetermined minimum value, otherwise n is the value specified in step S1460 described later.
  • the minimum interval a second may be a value preset in the information processing apparatus 11, a value set by the user, or a value dynamically changed from other conditions.
  • the acoustic stability analysis unit 15 derives an average value of the acoustic feature quantities of each of the divided sections and the acoustic feature quantities of all the sections (S1420).
  • the highlight scene extraction unit 14a derives the difference between the average value and the acoustic feature amount of each section based on the result that the acoustic stability analysis unit 15 inside thereof derives in step S1420 (S1430) ).
  • the feature quantity of sound in the extracted highlight scene has a small amount of change and high sound stability.
  • changes in acoustic stability often correlate with changes in situations in a scene, so that the method can extract a scene that is meaningful to the user.
  • FIG. 15 shows an example of the highlight scene extraction step.
  • each difference between the acoustic feature amounts f1 to f5 and the average value f ave is compared with a preset threshold f th, and either of the differences is not larger than the threshold f th (S1440: No), indicating that the section to be extracted is changed from 10 seconds to 12 seconds.
  • the threshold f th is a value set in advance, the threshold f th is not limited to this and may be a value set by the user, or may be a value dynamically changed from other conditions.
  • the priority assigning unit 16 adds “length of reproduction section of highlight scene”, “total value of lengths of reproduction section of highlight scene in one shot”, and “length of reproduction section of highlight scene” with respect to the extracted highlight scene.
  • the priority is given from the viewpoint of "the relationship between highlight scenes in one shot” (S1610).
  • step S1610 An example of a method of giving priority in step S1610 is shown.
  • the method of giving priority based on the "length of reproduction section of highlight scene” will be described in detail. Since the user desires a highlight video that condenses a scene that he / she finds interesting, it is necessary that the playback section of the highlight scene is not too long and “long enough to be recognized as interesting”. So we should lower the priority of scenes that are obviously too short and too long. Therefore, the following two types of indices T1 and T2 are introduced into the length of the reproduction section of the highlight scene.
  • T1 is "the shortest length of the reproduction section of the highlight scene that is perceived as interesting”.
  • T2 is "the longest length of the reproduction section of the highlight scene that can be enjoyed without getting tired”.
  • Priority is given to highlight scenes according to the two types of indicators.
  • a method of giving a priority based on "the length of a reproduction segment of a highlight scene" will be described.
  • the priority is lowered because the length of the highlight section playback section is too short.
  • T1 ⁇ t ⁇ T2 since the playback section of the highlight scene is optimum, the priority is increased. If t> T2, the priority is lowered because the playback section of the highlight scene is too long.
  • FIG. 17B is a diagram showing division based on the total value T of the lengths of reproduction sections of highlight scenes in one shot.
  • FIG. 18 is a view showing the relationship between a plurality of highlight scenes in one shot.
  • FIG. 18 is only an example, and is not restricted to this.
  • FIGS. 19 to 21 are diagrams showing a method of setting the priority to the highlight scene based on the above-described determination factor by the priority assigning unit 16.
  • the examples of FIGS. 19 to 21 are merely examples, and the present invention is not limited thereto.
  • the priority assignment unit 16 checks the total value T of the lengths of reproduction sections of highlight scenes in one shot, and then confirms the relationship between the length and the reproduction section of highlight scenes.
  • the priority is set to the highest and basically it is extracted as the highlight scene as it is.
  • the priority is changed according to the length of the reproduction section of the highlight scene and the relation thereof. For example, when the relationship is irregular, it is determined that the relationship between each highlight scene is neither deep nor thin, and the priority is set to medium. Also, when t2T2 and the highlight scenes are independent, it is determined that the relationship between the scenes is small and there is a large room for shrinking the highlight scene, and the priority is set low. In other cases, it is determined that the highlight scene is optimal or there is little room for shortening the length more than that, and the priority is set high.
  • step S 830 is the same as step S 830 in the first embodiment, so the description will be omitted.
  • the priority assignment method in the second embodiment it is possible to more flexibly assign appropriate priorities based on the length of highlight scenes and the relationship between highlight scenes. For this reason, for example, even if the highlight scene is to be adjusted to be short, it is possible to make the scene that the user thinks is important not to be as short as possible.
  • ⁇ Highlight Scene Length Adjustment Step> It is a process of adjusting the length based on the priority given to each highlight scene. The process is the same as that of the first embodiment (FIG. 11), and thus the description thereof is omitted.
  • the mark is associated with the moving image based on the input operation of the remote control 2 by the user, but the present invention is not limited to this.
  • the third embodiment introduces another method of giving a mark to a moving image.
  • the information processing apparatus 230 of FIG. 23 particularly includes a highlight scene extraction unit 14 b including a user input reception unit 12 a and a mark application unit 17.
  • the other functional blocks are basically the same as those in FIG.
  • the user input acceptance unit 12a accepts an instruction to play back a moving image, unlike the first embodiment, the user input acceptance unit 12a may not accept an input operation for marking.
  • the timing of marking by the marking unit 17 is not particularly limited. For example, it is conceivable that the marking is performed triggered by the start of highlight scene extraction processing by the highlight scene extraction unit 14b.
  • the highlight scene extraction unit 14 b extracts a highlight scene from the moving image content based on the reproduction position of the mark provided by the mark application unit 17. For example, when the highlight scene extraction unit 14b extracts a highlight scene, the following (A) and (B) may be considered.
  • the marking unit 17 marks the moving image content based on one index or a combination of a plurality of indices.
  • the storage unit 22 stores metadata including the reproduction position of the added mark. The structure of this metadata is the same as that shown in FIG. Then, the highlight scene extraction unit 14b extracts a highlight scene from the moving image content based on the reproduction position of the mark included in the metadata stored in the storage unit 22.
  • FIG. 24 shows an example of the index used by the marking unit 17.
  • the index of the image singular point is for providing a mark at a point (reproduction position) at which the image feature value is significantly different from that before and after.
  • the image feature amount include a motion vector of an object in the image and a color feature amount in the image.
  • the mark applying unit 17 applies a mark on the condition that the difference between motion vectors in the preceding and succeeding scenes exceeds a threshold.
  • the acoustic singularity is for marking points at which acoustic features significantly differ from each other.
  • the acoustic feature amount may be calculated in advance for each section of the moving image content, and the marking unit 17 may add a mark on the condition that the difference between the acoustic feature amounts between adjacent sections is equal to or greater than a threshold. .
  • the shooting operation singularity is for marking a point at which a specific operation is performed.
  • the mark applying unit 17 applies a mark to the reproduction position at which the zoom operation is started, using the fact that if the zoom operation is performed, it is estimated that the photographer may have felt interesting.
  • Metadata singularities are for marking points where particular metadata appear.
  • An example of metadata is still image shooting during moving image shooting.
  • the mark applying unit 17 applies a mark to the reproduction position at which the still image was taken.
  • the highlight scene extracting unit 14b extracts the highlight scene based on the added mark.
  • the highlight scene extraction step (S320) performed using the mark provided by the mark applying unit 19, the same method as that described in the first embodiment can be used, and thus the description thereof is omitted.
  • the highlight scene priority assignment step (S340) and the highlight scene length adjustment step (S350) that follow the same method as that described in the first embodiment can be used, so the description will be omitted.
  • Embodiment 4 In the fourth embodiment, another form of the marking unit described in the third embodiment will be described.
  • the mark adding unit 17 is included in the highlight scene extracting unit 14b, but may be independent of the highlight scene extracting unit 14b.
  • Such an information processing apparatus 250 is shown in FIG.
  • the information processing apparatus 250 of FIG. 25 particularly includes a user input receiving unit 12 a and a mark applying unit 19.
  • the user input reception unit 12 a receives an instruction such as a reproduction instruction of a highlight moving image through the remote controller 2.
  • the marking unit 19 marks the moving image content based on one index or a combination of a plurality of indexes.
  • the method of the addition is the same as that described in the marking unit 17.
  • the timing of marking by the marking unit 19 is also the same as that of the marking unit 17, for example, (A) When moving image content is taken into the storage unit 22, a mark is automatically added. Or (B) Marking is automatically performed when instructed by the user to the highlight moving image reproduction.
  • marking may be preceded and the marking may be used for applications such as extraction of a highlight scene to be performed later. it can.
  • the highlight scene extraction step (S320), the highlight scene priority assignment step (S340), and the highlight scene length adjustment step (S350), which are performed using the mark provided by the mark application unit 19, are the same as described above. Since the same method as that described in the first embodiment can be used, the description is omitted.
  • highlight scene extraction processing by highlight scene extraction unit 14 (including highlight scene re-extraction processing based on a request from highlight moving image creation unit 18), and mark application unit 19 It is assumed that the marking is performed independently of each other. However, the highlight scene extraction unit 14 and the marking unit 19 both perform the same content analysis processing. Therefore, for example, the information processing apparatus 250 is provided with a content analysis unit (not shown), and the highlight scene extraction unit 14 and the marking unit 19 request the content analysis unit to analyze the content when performing each processing. Alternatively, highlight scene extraction or marking may be performed using the result.
  • the present invention is not limited to the above-mentioned contents, and can be carried out also in various forms for achieving the object of the present invention, the object related to or associated with it. It does not matter.
  • (1) Input Device Although the remote controller 2 has been described as an example of the input device in each embodiment, the present invention is not limited to this. Any input device that allows the user to detect a desired reproduction position as a highlight is sufficient, and may be the following input device.
  • it may be an input device such as a mouse or a keyboard.
  • the input device may be a stylus such as a touch pen or a finger of the user.
  • the state in which the length of the highlight moving image in step S330 in FIG. 3 is optimal means, for example, the difference between the length registered in advance in the information processing apparatus 10 and the length of the highlight moving image. May be within a predetermined value, or may be longer or shorter than the registered length. Furthermore, instead of the registered length, the length input by the user may be used.
  • the user may be asked by asking the user if the length of the highlight moving image is optimal.
  • (3) Method of Assigning Priority As a method of assigning priority, the remote control 2 as shown in FIG. 22 may be used. That is, the remote control 2 has a button 1 indicating the highest priority, a button 2 indicating the middle priority, and a button 3 indicating the lowest priority. Then, the priority assigning unit 16 may assign priorities 1 to 3 in accordance with the buttons 1 to 3 accepted by the user input accepting unit 12.
  • (4) Integrated Circuit The information processing apparatus of the embodiment may be realized as an LSI (Large Scale Integration), which is typically an integrated circuit.
  • Each circuit may be individually made into one chip, or may be made into one chip so as to include all circuits or a part of circuits.
  • the LSI is described here, it may be called an IC (Integrated Circuit), a system LSI, a super LSI, or an ultra LSI depending on the degree of integration. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • a field programmable gate array (FPGA) that can be programmed after LSI fabrication, or a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI may be used.
  • Such recording media include SmartMedia, Compact Flash (registered trademark), Memory Stick (registered trademark), SD memory card, multimedia card, CD-R / RW, DVD ⁇ R / RW, DVD-RAM, HD- There are DVD, BD ((Blu-ray (registered trademark) Disc)) and the like.
  • the control program distributed and distributed is used by being stored in a memory or the like that can be read by a processor, and the processor executes various control functions as described in the embodiment. It will be realized.
  • (6) Adjustment of Highlight Scene Length the adjustment of the highlight scene length is performed by re-extracting the highlight scene in which the length adjusting unit 20 changes the length to the highlight extracting unit 14. Although this is performed by requesting the processing, the present invention is not limited to this.
  • the length adjustment unit 20 may directly adjust the length of the highlight scene. In this case, the length adjustment unit 20 directly executes the process performed by the highlight scene extraction unit 14.
  • the first method may be adopted in which the parameter is changed and reextraction is performed so that the playback interval of the highlight scene is shorter using the same algorithm as the first extraction (S320) described above.
  • the highlight scene extraction unit 14 may adopt a second method in which re-extraction is performed so that the playback interval of the highlight scene becomes shorter using an algorithm different from the first extraction (S320).
  • the method of shortening the length of the reproduction section of the highlight scene is not limited to these. (7)
  • About giving priority based on mark density etc. The high and low of the priority given to the highlight scene may be determined based on whether the marks are gathered or sparse on the reproduction time axis. it can.
  • the density of marks per unit time can be used as an index. However, even if the density when viewed over a long period is low, it may be preferable to set a high priority if marks are concentrated locally. Such a degree of local mark concentration can also be employed as an indicator.
  • Examples of the following methods 1 to 3 can be given as methods for giving priority from such a viewpoint.
  • Method 1 is to give priority to a highlight scene based on the density of marks in one highlight scene as described in the first embodiment.
  • Method 2 obtains the number of marks per unit time by dividing the number of marks in one highlight scene by the length of the highlight scene, and based on this, the priority of the highlight scene is determined. It is given.
  • Method 3 utilizes the local degree of concentration of marks.
  • the priority of the highlight scene is given based on the maximum number of marks per arbitrary unit time in the highlight scene instead of one highlight scene as a whole.
  • the maximum number is increased, so high priority is given. can do.
  • 1 second of arbitrary unit time used for description above is an example, It is not restricted to this.
  • the highlight moving image is created in the information processing device, but such a creation function is not essential, and the highlight moving image is created by another device. It may be Further, the function of storing the moving image content in the information processing apparatus is not essential, and the moving image content stored in the external device may be used.
  • a marking unit (specification unit for specifying reproduction positions) 262 for giving a plurality of reproduction positions for moving image content
  • a highlight scene extraction unit 264 for extracting a plurality of highlight scenes each including one or more reproduction positions and indicating a section of the moving image content
  • a priority assignment unit 266 for assigning priorities to the extracted highlight scenes. It is enough if it is equipped with (9) Application of Priority In the embodiment, the example in which the given priority is used to create a highlight moving image has been mainly described, but the present invention is not limited thereto.
  • the assigned priority can be used for picking up and displaying a highlight scene having a high priority in each moving image content on a screen displaying a list of a plurality of moving image contents.
  • the information processing apparatus includes one or more reproduction positions based on specifying means for specifying a plurality of reproduction positions and a plurality of reproduction positions specified for the moving image content. It is characterized in that it comprises: extraction means for extracting a plurality of scenes indicating a section; and giving means for giving a priority to each of the extracted scenes.
  • the applying means analyzes the specified plurality of reproduction positions, and the plurality of reproduction positions are sparse on the reproduction time axis, or the plurality of reproduction positions are reproduction time It may be determined whether or not it is gathered on the axis, a low priority may be given to a scene including a playback position determined to be sparse, and a high priority may be assigned to a scene including a playback position determined to be collected. Absent.
  • the giving unit gives the priority based on the lengths of the plurality of extracted scenes and the relationship between the plurality of extracted scenes on the reproduction time axis. I don't care.
  • the giving unit analyzes the number of reproduction positions of each of the plurality of extracted scenes, gives high priority to a scene having a large number of reproduction positions per scene, and 1 A low priority may be assigned to a scene with a small number of playback positions per scene.
  • the extraction unit may analyze feature amounts of sound before and after the reproduction position, and may extract a scene indicating a section in which feature amounts of the analyzed sound are similar.
  • the creation means further adjusts the length of one or more scenes based on the priority given to each scene, joins the respective scenes after adjustment, and creates a highlight moving image, May be provided.
  • the creation means determines whether or not the length of the highlight moving image when all of the plurality of extracted scenes are joined is within a predetermined range, and If it is determined that it is longer than the upper limit, the length of the low priority scene is adjusted to be shorter, and if it is determined to be shorter than the lower limit of the predetermined range, the length of the high priority scene is adjusted to be longer. It does not matter.
  • the highlight moving image creation method includes one or more reproduction positions based on the specifying step of specifying a plurality of reproduction positions and the plurality of reproduction positions specified for the moving image content.
  • the method includes an extraction step of extracting a plurality of scenes indicating a section of the moving image content, and an giving step of giving a priority to each of the extracted scenes.
  • the program according to the present embodiment is a program that causes an information processing apparatus that stores moving image content to execute priority assignment processing, and the priority assignment processing specifies a plurality of reproduction positions for the moving image content.
  • the integrated circuit according to the present embodiment includes one or more reproduction positions for each of the moving image contents based on the specifying means for specifying a plurality of reproduction positions and the plurality of specified reproduction positions.
  • the information processing apparatus has a function of creating a highlight moving image according to the user's preference, it is useful as an information processing apparatus that views moving image content.

Abstract

　情報処理装置（２６０）は、動画コンテンツについて、複数の再生位置を特定する特定手段（２６２）と、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段（２６４）と、抽出されたシーン毎に、優先度を付与する付与手段（２６６）とを備える。

Description

情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路
　本発明は、動画コンテンツからハイライト動画の作成を支援する技術に関する。
　従来からユーザの効率的な視聴に供するために、オリジナルとなる動画コンテンツの中から見所となるシーンの抽出を支援する技術がある（例えば、特許文献１～４参照）。
特開２００８－９８７１９号公報 特開２００７－１３４７７０号公報 特開２０００－２３５６３７号公報 特開平６－１６５００９号公報
　ハイライト動画の作成には、元の動画コンテンツから、適切な部分を抽出して行う必要がある。
　そこで、本発明は、良好なハイライト動画の作成に資することができる情報処理装置を提供することを目的とする。
　本発明に係る情報処理装置は、動画コンテンツについて、複数の再生位置の指定をユーザから受け付ける受付手段と、受け付けた複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、抽出されたシーン毎に、優先度を付与する付与手段と、各シーンに付与された優先度に基づいて１以上のシーンの長さを調整し、調整後に、各シーンをつなぎ合わせてハイライト動画を作成する作成手段と、
を備えることを特徴としている。
　本発明に係る情報処理装置によれば、良好なハイライト動画の作成に資することができる。
実施の形態１における情報処理装置の構成を示す図 マークに関するメタデータのデータ構造を示す図 ハイライト動画作成の全体動作のフローチャートを示す図 マーク入力ステップの動作のフローチャートを示す図 ユーザがマークを入力する場面の一例を示す図 ハイライトシーン抽出ステップの動作のフローチャートを示す図 マークからハイライトシーンを抽出する一例を示す図 ハイライトシーン優先度付与ステップの動作のフローチャートを示す図 ハイライトシーンの再生区間の長さの観点からの優先度付与の一例を示す図 ハイライトシーン内のマークの密度の観点からの優先度付与の一例を示す図 ハイライトシーン長調整ステップの動作のフローチャートを示す図 優先度の低いハイライトシーンの再生区間の長さを短くした後で、ハイライト動画を作成する一例を示す図 実施の形態２における情報処理装置の構成を示す図 ハイライトシーン抽出ステップの動作のフローチャートを示す図 ハイライトシーン抽出ステップの一例を示す図 ハイライトシーン優先度付与ステップの動作のフローチャートを示す図 ハイライトシーンの再生区間の長さ、及び１ショット内のハイライトシーンの再生区間の長さの合計値による場合分けを示す図 １ショット内の複数のハイライトシーンの関係性を示す図 １ショット内のハイライトシーンの再生区間の長さの合計値がＴ１以下の場合の優先度付与を示す図 １ショット内のハイライトシーンの再生区間の長さの合計値がＴ２以下の場合の優先度を示す図 １ショット内のハイライトシーンの再生区間の長さの合計値がＴ２より大きい場合の優先度を示す図 リモコンを用いた優先度の付与の例を示す図 実施の形態３における情報処理装置の構成を示す図 マーク付与に利用する指標の例を示す図 実施の形態４における情報処理装置の構成を示す図 情報処理装置の概要構成を示す図
＜本実施形態を想到するに至った経緯＞
　本発明者らは、ユーザの指定に基づいて抽出した、あるいは自動的に抽出したシーンをつなぐことによって、ハイライト動画を作成することを検討した。
　しかし、抽出したシーンをそのままつないで作成したハイライト動画は、全体の長さが短すぎて内容把握が難しかったり、長すぎて冗長であったりすることがあり、必ずしもユーザが満足するものにならない。
　本実施の形態はこのような背景の元になされたものであって、主にハイライト動画の作成のために、前記シーンの長さを最適な長さに調整することを目的とする。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
＜情報処理装置の構成＞
　図１は、実施の形態１に係る情報処理装置１０の構成を示す図である
　情報処理装置１０は、ユーザ入力受付部１２、ハイライトシーン抽出部１４、優先度付与部１６、ハイライト動画作成部１８（長さ調整部２０を含む）、記憶部２２、管理部２４、デコード部２６、表示制御部２８を備える。
　ユーザ入力受付部１２は、リモコン２を介してユーザの入力を受け付ける機能を有する。
　リモコン２は、動画の再生など（再生開始、再生停止、スキップ、早送り、巻き戻しなど）を指示するための複数のボタン、及びユーザがハイライト動画として希望するシーンを指定するためのボタンを含む。
　ユーザが前記シーンを指定する方法としては、前記シーンの始点及び終点を手動で指定しても良いし、前記シーンの一部分を指定しても良い。
　本実施の形態では、ユーザが後者の指定を行うとして説明する。具体的には、ユーザは面白いと感じた時に前記ハイライト動画として希望するシーンを指定するためのボタンを押下して「マーク」を入力する。ここでマークは、ユーザが面白いと感じた動画、及びその再生位置を識別するための情報から構成される。
　このようなマークは、前述のように、ユーザが指定したものであってもよく、情報処理装置１０またはその他の機器が、動画を解析することにより自動的に指定したものであってもよい。実施の形態１では、マークはユーザが指定したものである場合を例として説明する。
　リモコン２においてボタンが押下されると、リモコン２はユーザ入力受付部１２へとユーザの指示内容を示す情報を送信する。
　ユーザ入力受付部１２は、受信した情報に示される指示内容をユーザの入力として受け付ける。
　ハイライトシーン抽出部１４は、前記マークに基づいて記憶部２２に記憶された動画コンテンツの中から、ハイライトシーンを抽出する。このハイライトシーンとは、ユーザが好む場面あるいは好むであろうと推測される場面のことである。
　優先度付与部１６は、必要に応じてハイライトシーン抽出部１４により抽出されたハイライトシーン毎に優先度を付与する。
　ハイライト動画作成部１８は、抽出したハイライトシーンをつなぎ合わせてハイライト動画を作成する。
　長さ調整部２０は、ハイライトシーンをつなぎ合わせて作成したハイライト動画の長さが最適かどうかの判定を行い、最適でないときには、ハイライトシーン抽出部１４に長さを変えたハイライトシーンの再抽出処理を依頼することで、ハイライト動画の長さを調整する。
　これらハイライトシーンの抽出、優先度付与及びハイライト動画作成の詳細については後述する。
　記憶部２２は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などから構成されており、動画コンテンツ及びメタデータを記憶する。
　この動画コンテンツとしては、ハイライトシーンの抽出対象として一定の長さを有するものであれば足り、特に限定されない。本実施の形態では、動画コンテンツの例として、ユーザ自身が撮影することにより作成したユーザ作成コンテンツであるとして説明する。なぜなら、このようなユーザ作成コンテンツは、冗長なシーンが入りがちなのでハイライト動画を作成したいというユーザの要望が多いためである。
　また、記憶部２２が記憶するメタデータの内容の一例は図２の通りである。
　図２のメタデータの構造を示すテーブル２３は、「動画コンテンツＩＤ」２３ａ、「ショットＩＤ」２３ｂ、「マークＩＤ」２３ｃ、「マークの再生位置（秒）」２３ｄの項目を含む。
　「動画コンテンツＩＤ」２３ａは、記憶部２２が記憶している動画コンテンツを一意に識別するための識別子である。
　「ショットＩＤ」２３ｂは、「動画コンテンツＩＤ」２３ａに示される動画コンテンツに対応する１以上のショットを識別するための識別子である。ここで「ショット」とは、ユーザ動画の撮影時において、１回の撮影開始から撮影終了までの単位である。
　「マークＩＤ」２３ｃは、マークを識別するための識別子である。
　「マークの再生位置（秒）」２３ｄは、マークＩＤに対応する再生位置を示す。なお、この情報としては再生位置を示す情報であれば足り、例えば、秒数に代えて動画のフレームＩＤを用いてもよい。
　管理部２４は、動画コンテンツの再生及びメタデータに関する管理を担う機能を有する。
　具体的には、ユーザ入力受付部１２が動画の再生指示を受け付けると、この指示に基づいて管理部２４は、記憶部２２に記憶された動画コンテンツをデコード部２６にデコードさせる。そして、管理部２４は、表示制御部２８を介してディスプレイ４上にデコードされた動画コンテンツを表示する。
　また、管理部２４は、動画コンテンツの再生中に、ユーザ入力受付部１２がユーザからのマークの入力を受け付けると、マークの受け付け時に再生中の動画コンテンツの動画コンテンツＩＤやその再生位置などをメタデータとして記憶部２２に記憶させる。
　なお、図２で示したメタデータの内容は一例に過ぎず、これに限られない。例えば、動画コンテンツに対するショットの帰属管理を、別途プレイリスト等で行う場合も考えられる。
＜ハイライト動画作成の全体動作＞
　次に、実施の形態１における情報処理装置１０のハイライト動画作成の全体動作について図３を用いて説明する。
　情報処理装置１０においては、まず、マーク入力ステップ（Ｓ３１０）の処理を行う。
　続いて、情報処理装置１０は、上記ユーザから入力を受け付けたマークの再生位置を基にハイライトシーンを抽出するハイライトシーン抽出ステップ（Ｓ３２０）を実行する。
　そして、前記ハイライトシーン抽出ステップ（Ｓ３２０）で抽出したハイライトシーンをつないだハイライト動画の長さが最適かどうかを判定するステップ（Ｓ３３０）の処理を行う。
　ハイライト動画の長さが最適でないと判定した場合（Ｓ３３０：Ｎｏ）には、上記ステップＳ３２０で抽出したハイライトシーン毎に優先度を付与するハイライトシーン優先度付与ステップ（Ｓ３４０）と、付与した優先度に基づいてハイライトシーンの再生区間の長さを調整するハイライトシーン長調整ステップ（Ｓ３５０）を実行する。
　なお、ステップＳ３３０のハイライト動画の長さが最適な状態とは、例えば、ステップＳ３２０で抽出されたハイライトシーンをそのままつないだハイライト動画の長さが、所定の下限値から上限値の間（例えば、５分から１５分の間）に収まっている状態である。
＜マーク入力ステップ＞
　まず、マーク入力ステップ（Ｓ３１０）の詳細について図４を用いて説明する。
　まず、管理部２４により動画コンテンツの再生が開始されると、ユーザ入力受付部１２は、ユーザによるマークの入力の受け付けを開始して（Ｓ４１０）、その入力を待つ（Ｓ４２０：Ｎｏ）。
　ユーザ入力受付部１２が、マークの入力を受け付けると（Ｓ４２０：Ｙｅｓ）、受け付けたマークを構成する情報を記憶部２２にメタデータとして格納する（Ｓ４３０）。図２の例の場合、この受け付けたマークを構成する情報は、動画コンテンツＩＤ、ショットＩＤ、マークＩＤ、及びマークの再生位置を含む。
　なお、メタデータとして格納すべきマークの再生位置については、マークの受け付け時点でデコード部２６がデコード中のフレームに対応する再生位置でもよいし、マークの受け付け時点で管理部２４が読み出し中のフレームに対応する再生位置でもよい。
　このステップＳ４２０～Ｓ４３０の処理は、ユーザ入力受付部１２が、動画コンテンツの再生の停止を受け付けるか（Ｓ４４０）、動画コンテンツが終端まで再生されて完了するまで（Ｓ４５０）、繰り返される。
　図５に、ユーザがマークを入力する場面の一例を示す。
　この図５の例では、ユーザは自身が撮影した娘が通う幼稚園のお遊戯会の動画コンテンツを視聴している。ユーザは娘を見たいと考えているため、娘が活躍したときに、リモコン２のハイライトボタンを押下している。
＜ハイライトシーン抽出ステップ＞
　次に、ハイライトシーン抽出ステップ（Ｓ３２０）について図６を用いて詳述する。
　上記マーク入力ステップ（Ｓ３１０）が完了すると、管理部２４は、ハイライトシーン抽出部１４に対して当該マーク入力ステップが完了した旨を通知する。
　これを受信したハイライトシーン抽出部１４は、記憶部２２に格納されているメタデータのうち、完了直前に再生していた動画コンテンツに関連付けられたマークを取得する（Ｓ６１０）。
　例えば、メタデータの内容が図２の例のような構成であり、完了直前に再生していた動画コンテンツのＩＤが０ならば、図２の表の上から３行分のメタデータを取得する。
　次に、ハイライトシーン抽出部１４は、まだ対応するハイライトシーンを抽出していないマークそれぞれについて、マークの再生位置前後の再生区間をハイライトシーンとして抽出する（Ｓ６２０）。
　ステップＳ６２０の抽出方法としてはいくつかの手法が考えられる。例えば、マークを利用して固定長のシーンをハイライトシーンとして抽出する方法が考えられる。
　本方法では、マークの再生位置の前後の再生区間を設定された固定長分だけハイライトシーンとして抽出する。また、前記手法では、複数のマーク間の再生位置の差が前記固定長より小さい場合、前記複数のマークから抽出したハイライトシーン同士が重なる。この場合、最初のマークから固定長分遡った時点から、最後のマークの再生位置から固定長分後の時点までの再生区間をハイライトシーンとして抽出する。
　図７に前記固定長を５秒とした場合の前記手法の一例を示す。図７（ａ）では、マークの再生位置が２１秒であるため、その前後５秒の再生区間である１６秒から２６秒までをハイライトシーンとして抽出する。また、図７（ｂ）では、最初のマークの再生位置（２１秒）から５秒遡った１６秒を始点とし、次のマークの再生位置（２３秒）から５秒後の時点の２８秒を終点とするような再生区間をハイライトシーンとして抽出する。
　なお、図７で固定長として設定した５秒は一例でありこれに限られない。また、ハイライトシーンの抽出方法は前記固定長を抽出するような手法に限らず、マークの再生位置が含まれるようなハイライトシーンの抽出方法であればどのような方法を用いても良い。
　例えば、マークの再生位置の前後の再生区間の各フレームの画像特徴量を計算して比較し、マークの再生位置の前後の再生区間のそれぞれで画像特徴量の差分が閾値以上になるようなフレームをハイライトシーンの切れ目とするようにハイライトシーンを抽出する特許文献３などで開示されている方法を用いても良い。
　また、マークの再生位置の前後のフレームを音響の観点から細分化してそれぞれ音環境に関する特徴量とその平均値を導出し、特徴量と平均値との差分が閾値以上になるようなフレームをシーンの切れ目とするようなシーンを抽出する方法を用いても良い。
　さらに、マークの再生位置の前後の再生区間のフレームを撮影した際のユーザの撮影機器の操作内容がある特定の操作内容であった場合、その特定の操作を行ったフレームをハイライトシーンの切れ目とするようなハイライトシーンを抽出する特許文献４などで開示されている方法を用いても良い。
　また、ハイライトシーンの抽出方法は、上に列挙した方法に限定されるものでもない。
＜ハイライトシーン優先度付与ステップ＞
　次に、ハイライトシーン優先度付与ステップ（Ｓ３４０）について図８を用いて説明する。
　まず優先度付与部１６は、「ハイライトシーンの再生区間の長さ」の観点から、優先度を付与する（Ｓ８１０）。
　ここでユーザは面白いと思ったシーンを凝縮したハイライト動画を望むため、ハイライトシーンの再生区間の長さが長すぎず「面白いと分かる程度に長い」ことが必要である。そこで、明らかに短すぎる、及び長すぎるシーンの優先度を下げる。
　具体的には、ハイライトシーンの再生区間の長さに次の２種類の指標Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を導入し、ハイライトシーンの再生区間の長さがＴ１より短い、あるいはＴ２より長い場合は優先度を最低とする。なお、この手法は一例でありこれに限られない。
　ここで、「Ｔ１」とは面白いと分かる程度の最短の長さである。また、「Ｔ２」とは飽きないで楽しめる程度の最長の長さである。
　図９は、ハイライトシーンの再生区間の長さによる優先度付与の一例を示す図である。ここでは、ショット２の２つ目のマークから抽出されたハイライトシーンの再生区間の長さがＴ１より小さいため、優先度が最低と判定されている。また、ショット３から抽出されたハイライトシーンの再生区間の長さがＴ２より大きいため、同様に優先度が最低と判定されている。
　次に、優先度付与部１６は、ステップＳ８１０で長さがＴ１以上且つＴ２以下であったハイライトシーンについて、「ハイライトシーン内のマークの密度」の観点から優先度を付与する（Ｓ８２０）。
　この「ハイライトシーン内のマークの密度」に基づいた優先度の付与の一例を詳述する。ここでマークの密度とは、１ハイライトシーンあたりのマークの数とする。
　「複数の見所が集まったハイライトシーン」は少し長くても連続して見ることで面白さが増す。そこで、１つのハイライトシーン内のマークの密度が高いハイライトシーンの優先度を上げる。つまり、優先度付与部１６は、１ハイライトシーンあたりのマークの数が多いならば優先度を上げ、１ハイライトシーンあたりのマークの数が少ないならば優先度を下げるのである。
　図１０は、ハイライトシーン内のマークの密度による優先度付与の一例を示す図である。ここでは、ショット２から抽出された右側のハイライトシーンのマークの密度が高いため、最も高い優先度１と判定されている。次に、ショット１から抽出されたハイライトシーンのマークの密度が中程度であるため、優先度２と判定されている。次に、ショット２から抽出された左側のハイライトシーンのマークの密度が低いため、優先度３と判定されている。最後に、ショット３から抽出されたハイライトシーンのマークの密度が最低であるため、優先度４と判定されている。なお、マークの密度として、ハイライトシーンごとの単位時間辺りのマーク数を用いても良い。
　最後に、優先度付与部１６は、ステップＳ８１０とステップＳ８２０の結果、同一の優先度となったハイライトシーン同士を比較・分析して詳細な優先度を付与する（Ｓ８３０）。詳細な優先度を付与する方法としては、例えば次のような方法が考えられる。
・特定の画像が含まれるハイライトシーンの優先度を高くする（例：子供の顔画像が含まれているハイライトシーン）
・特定の音響が含まれるハイライトシーンの優先度を高くする（例：子供の歌が含まれているハイライトシーン）
・撮影時に特定の操作を行っているハイライトシーンの優先度を高くする（例：ズームした直後のハイライトシーン）
・撮影に失敗していると想定されるハイライトシーンの優先度を低くする（例：手ぶれがひどいハイライトシーン）
・特定のメタデータを含むハイライトシーンの優先度を高くする（例：同一シーンの静止画を撮影しているハイライトシーン）
　このような詳細な優先度を付与する方法により、ハイライトシーンに対してユーザの主観を反映した優先度を付与することが可能となる。
　また、上記ハイライトシーンに詳細な優先度を付与する方法の全て、あるいはそれらの内の複数の方法を選択してハイライトシーンに得点を付け、その得点に基づいて優先度を付与しても良い。さらに、ステップＳ３３０でハイライト動画の長さを確認する際に事前に設定された時間よりも長すぎるのか、それとも短すぎるのかを合わせて確認しておいて、それぞれの場合に異なる方法で優先度を付与しても良い。

＜ハイライトシーン長調整ステップ＞
　最後に、ハイライトシーン長調整ステップ（Ｓ３５０）について図１１を用いて詳述する。
　優先度付与部１６は、ステップＳ３４０が完了するとハイライトシーン動画作成部１８にその旨を通知する。これを受信したハイライト動画作成部１８の長さ調整部２０は、ハイライト動画の長さが設定時間よりも長いかどうかを確認する（Ｓ１１１０）。
　ハイライト動画の長さが設定時間よりも長かった場合（Ｓ１１１０：Ｙｅｓ）、長さ調整部２０は、ハイライトシーン抽出部１４にハイライトシーンの長さをより短くするようハイライトシーンの再抽出処理を依頼する。
　依頼を受けたハイライトシーン抽出部１４は、その時点で抽出されている全てのハイライトシーンの中から長さの調整を行っていないハイライトシーンを抽出し、その内、優先度が最も低いハイライトシーンの再生区間の長さを短くする（Ｓ１１２０）。
　このような再抽出依頼に基づいてハイライトシーンの再生区間の長さを短くする方法としては、ハイライトシーン抽出部１４が、最初の抽出処理（Ｓ３２０）で用いたアルゴリズムを利用してハイライトシーンの再生区間がより短くなるようパラメータを変更して再抽出を行う手法がある。
　例えば、最初の抽出処理（Ｓ３２０）で、前記マークの再生位置の前後の再生区間を設定された固定長分だけハイライトシーンとして抽出する方法を用いた場合、固定長を最初の抽出時よりも短くすることが考えられる。具体的には、図７で５秒に設定されている固定長を３秒へと短く設定する。
　また、最初の抽出処理（Ｓ３２０）で、前記画像特徴量や音環境の特徴量を分析するような方法を用いた場合、画像間の各特徴量の差分を比較する閾値などのパラメータを調整し、上記最初の抽出処理（Ｓ３２０）で抽出したハイライトシーンよりも短くなるように、マークの再生位置の前後の再生区間をハイライトシーンとして抽出することが考えられる。
　さらに、最初の抽出処理（Ｓ３２０）で、前記撮影機器の操作内容を分析するような方法を用いた場合マークの再生位置に近い方のシーンの切れ目をそのままハイライトシーンの始点として採用し、マークの再生位置の部分を含み且つステップＳ３２０で抽出したハイライトシーンよりも短くなるようにハイライトシーンの終点を設定することが考えられる。
　なお、再抽出依頼に基づいて、ハイライトシーンの再生区間の長さを短くする方法として最初の抽出処理（Ｓ３２０）で用いたアルゴリズムとは異なる方法を利用してもよい。また、前記ハイライトシーンの再生区間の長さを短くする方法は、これらに限定されるものでもない。
　さらに、ステップＳ１１２０では、付与された優先度が最低のハイライトシーンのうち、ハイライトシーンの再生区間の長さがＴ１よりも短いような短すぎるハイライトシーンを調整対象から除外する、あるいはハイライトシーンの再生区間の長さを長くするようにしても良い。
　次に、ステップＳ１１２０で１つのハイライトシーンを短くする処理が完了すると、ハイライト動画作成部１８は、ハイライト動画全体の長さと設定時間の差分が予め設定された閾値以内であるかどうかを確認する（Ｓ１１３０）。閾値以内であればハイライトシーン長調整ステップを完了する。一方、閾値以上であれば、ステップＳ１１２０に戻り、長さ調整部２０は、ハイライトシーン抽出部１４にハイライトシーンの長さをより短くするようハイライトシーンの再抽出処理を依頼する。依頼を受けたハイライトシーン抽出部１４は、その時点で抽出されている全てのハイライトシーンの中から、 長さの調整を行っていないハイライトシーンを抽出し、その内、優先度が最も低いハイライトシーンの再生区間の長さを短くする。
　一方、ステップＳ１１１０の比較で設定時間よりも短かった場合、長さ調整部２０は、ハイライトシーン抽出部１４にハイライトシーンの長さをより長くするようハイライトシーンの再抽出処理を依頼する。まず、依頼を受けたハイライトシーン抽出部１４は、長さの調整を行っていないハイライトシーンのうち、優先度が最も高いシーンの再生区間の長さを長くする（Ｓ１１４０）。ハイライトシーンの再生区間の長さを長くする方法は、ステップＳ１１２０のハイライトシーンを短くする方法と同様に、ハイライトシーン抽出ステップ（Ｓ３２０）でハイライトシーンを抽出する方法と同様の方法を用いても良いし、異なる方法を用いても良い。
　なお、ステップＳ１１４０では、付与された優先度が最低のハイライトシーンのうち、ハイライトシーンの再生区間の長さがＴ２よりも長いハイライトシーンを調整対象から除外する、あるいはハイライトシーンの再生区間の長さを短くするようにしても良い。
　１つのハイライトシーンを短くすると、長さ調整部２０は、ハイライト動画の長さと設定時間の差分が予め設定された閾値以内であるかどうかを確認する（Ｓ１１５０）。閾値以内であれば（Ｓ１１５０：Ｙｅｓ）ハイライトシーン長調整ステップを完了する。一方、閾値以上であれば（Ｓ１１５０：Ｎｏ）、ステップＳ１１４０に戻り、次に優先度の高いハイライトシーンの再生区間の長さを長くする。
　以上説明したように、本実施の形態によれば、ハイライトシーンに付与された優先度に基づいて、ハイライトシーンの再生区間の長さを調整することで、予め設定された時間に合わせ、ユーザの好みに応じたハイライト動画の作成を実現できる。
　例えば、図１２に示すように、ハイライトシーンとして抽出されたシーン１～シーン３をそのままつないだハイライト動画では予め設定された時間を超過するような場合であったとしても、優先度が低い（ユーザにとって重要度が低いと推定される）シーン１、シーン２の長さを短縮することで、ハイライト動画の長さを設定時間内に収めることができる。
　本実施の形態によれば、ユーザは簡単に自己の好みに沿ったハイライト動画を作成することができるので、コンテンツの死蔵の防止にもつなげることができる。

（実施の形態２）
　本実施の形態は、実施の形態１を応用したものであり、ハイライトシーン抽出に音響の解析手法を利用する点、及び優先度の付与にシーン同士の関係性を考慮する点などが実施の形態１と異なっている。実施の形態１と同様な点については、説明を省略する。
　図１３の情報処理装置１１は、特に、ハイライトシーン抽出部１４ａが音響安定度解析部１５を有する点が図１と異なっている。
　音響安定度解析部１５は、動画コンテンツの音響安定度を分析する機能を有する。
＜ハイライトシーン抽出ステップ＞
　次に、実施の形態２におけるハイライトシーン抽出の方法について図１４を用いて説明する。
　ハイライトシーン抽出部１４ａは、マークの再生位置の前後合わせてｎ秒の区間を抽出して音響安定度解析部１５に音響安定度の解析を依頼する。
　音響安定度解析部１５は、ｎ秒の区間を最小区間ａ（ａは正の任意の数）秒ごとの更に詳細な区間に分割する（Ｓ１４１０）。
　ここで、あるマークの再生位置に対応するハイライトシーンの抽出が初めてであった場合、ｎは予め定められた最小値とし、そうでなかった場合、ｎは後述するステップＳ１４６０で指定された値とする。また、最小区間ａ秒は、情報処理装置１１に予め設定されている値としてもよいし、ユーザにより設定される値としてもよいし、その他の条件から動的に変更される値としてもよい。
　次に、音響安定度解析部１５は、分割した各区間の音響特徴量と、全区間の音響特徴量の平均値を導出する（Ｓ１４２０）。
　続いて、ハイライトシーン抽出部１４ａは、その内部の音響安定度解析部１５がステップＳ１４２０で導出した結果を基に、前記平均値と各区間の音響特徴量との差分をそれぞれ導出する（Ｓ１４３０）。
　次に、導出した差分のいずれかが、予め設定された閾値よりも大きいかどうかを確認する（Ｓ１４４０）。もし、大きい場合はｎ＝ｎ＋ａとして、ステップＳ１４１０の処理から繰り返す（Ｓ１４６０）。もし、大きい場合は、マークの前後ｎ－ａ秒の区間をシーンとして抽出する（Ｓ１４５０）。
　抽出したハイライトシーン内の音響の特徴量は変化量が少なく、音響安定度が高いと言える。一般的には、音響安定度の変化とシーン内の状況の変化が相関している場合が多いため、本方法によってユーザにとって意味のあるシーンが抽出できる。
　図１５に、ハイライトシーン抽出ステップの一例を示す。
　図１５の例では、ｎ＝１０、ａ＝２であり、マークの再生位置の前後１０秒の区間を、２秒ごとの詳細な区間に分割している。そして、各詳細な区間ごとに音響の特徴量ｆ１～ｆ５と、音響の特徴量の平均値ｆave＝（ｆ１＋ｆ２＋ｆ３＋ｆ４＋ｆ５）／５とを求めている。
　さらに、音響の特徴量ｆ１～ｆ５と平均値ｆaveとの各差分を、予め設定された閾値ｆthと比較し、各差分のいずれかが閾値ｆthよりも大きくはなかったので（Ｓ１４４０：Ｎｏ）、抽出する区間を１０秒から１２秒へと変更していることを示している。前記閾値ｆthは予め設定されている値としたが、これに限らずユーザにより設定される値としてもよいし、その他の条件から動的に変更される値としてもよい。
　なお、図１４に示した処理は一例であり、再生位置前後の音響の特徴量を解析し、解析した音響の特徴量が類似する区間をシーンとして抽出できる手法であればこれに限られない。
＜ハイライトシーン優先度付与ステップ＞
　実施の形態２のハイライトシーン優先度付与ステップ（Ｓ３４０）について図１６を用いて説明する。
　優先度付与部１６は、抽出されたハイライトシーンに対して「ハイライトシーンの再生区間の長さ」と、「１ショット内のハイライトシーンの再生区間の長さの合計値」と、「１ショット内のハイライトシーン同士の関係性」の観点から優先度を付与する（Ｓ１６１０）。
　ステップＳ１６１０の優先度を付与する方法の一例を示す。まず、「ハイライトシーンの再生区間の長さ」に基づいた優先度付与方法について詳述する。ユーザは面白いと思ったシーンを凝縮したハイライト動画を望むため、ハイライトシーンの再生区間の長さが長すぎず「面白いと分かる程度に長い」ことが必要である。そこで、明らかに短すぎる、及び長すぎるシーンの優先度を下げるべきである。そこで、ハイライトシーンの再生区間の長さに次の２種類の指標Ｔ１、Ｔ２を導入する。Ｔ１とは、「面白いと分かる程度のハイライトシーンの再生区間の最短の長さ」である。また、Ｔ２とは、「飽きないで楽しめるハイライトシーンの再生区間の最長の長さ」である。これら２種類の指標に基づいた場合に分けてハイライトシーンの優先度を付与する。まず、「ハイライトシーンの再生区間の長さ」に基づいた優先度付与方法を説明する。図１７（ａ）に示すように、ハイライトシーンの再生区間の長さｔがｔ＜Ｔ１となる場合、ハイライトシーンの再生区間の長さが短すぎるため優先度を下げるようにする。Ｔ１≦ｔ≦Ｔ２となる場合、ハイライトシーンの再生区間の長さが最適であるため優先度を上げるようにする。ｔ＞Ｔ２となる場合、ハイライトシーンの再生区間の長さが長すぎるため優先度を下げるようにする。
　次に、「１ショット内のハイライトシーンの再生区間の長さの合計値」に基づいた優先度付与方法を説明する。「複数の見所が集まった抽出シーン」は少し長くても連続して見ることで面白さが増す。そこで、１ショット内の関係性の高い複数のハイライトシーンの再生区間の長さの合計値に対してもＴ１とＴ２の指標に基づいた場合に分けて優先度を付与する。図１７（ｂ）は、１ショット内のハイライトシーンの再生区間の長さの合計値Ｔに基づいた場合分けを示す図である。まず、１ショット内のハイライトシーンの再生区間の長さの合計値ＴがＴ＜Ｔ１となる場合、短すぎるために優先度を下げるようにする。Ｔ１≦Ｔ≦Ｔ２となる場合、長さが最適であるため優先度を上げるようにする。Ｔ＞Ｔ２となる場合、長すぎるため優先度を下げるようにする。
　次に、「１ショット内のハイライトシーン同士の関係性」について詳述する。一般的にユーザは１つのショットを１つのまとまりとして撮影を行う。このため、１つのショットから抽出される複数のシーンは互いに関係性が高い場合が多い。そこで、これらの関係性を考慮して場合分けを行う。図１８は、１ショット内の複数のハイライトシーンの関係性を示す図である。
　なお、図１８の例は一例に過ぎずこれに限られない。
　このような、ハイライトシーンの再生区間の長さとその合計値、及び１ショット内のハイライトシーンの関係性を総合的に考慮して優先度付与部１６はハイライトシーンに優先度を設定する。図１９～図２１は、優先度付与部１６が上記した判断要素に基づいてハイライトシーンに優先度を設定する方法を示す図である。　なお、図１９～図２１の例は一例に過ぎずこれに限られない。
　優先度付与部１６は、まず、１ショット内のハイライトシーンの再生区間の長さの合計値Ｔを確認し、その後、ハイライトシーンの再生区間の長さと関係性を確認する。
　図１９に示しているような、Ｔ≒Ｔ１で且つｔ≒Ｔ１の場合、ハイライトシーンの再生区間の長さの合計値、及びその１つ１つのシーンの長さが最適なハイライトシーンの再生区間の長さの下限付近であるため、優先度を最高に設定し、基本的にはこのままハイライトシーンとして抽出する。
　次に、図２０に示しているような、Ｔ≒Ｔ２の場合、ハイライトシーンの再生区間の長さとその関係性によって優先度を変更する。例えば、関係性が不規則となっている場合、各ハイライトシーン同士の関係性は濃いとも薄いとも言えないと判断し、優先度を中程度とする。また、ｔ≒Ｔ２で且つハイライトシーン同士が独立している場合、各シーンの関係性が薄く、且つハイライトシーンを縮める余地が大きいと判断し、優先度を低く設定する。その他の場合はハイライトシーンが最適である、あるいはこれ以上長さを縮める余地が少ないと判断して優先度を高く設定する。
　次に、図２１に示しているようなＴ＞Ｔ２の場合、長すぎると判定して基本的に優先度を低めに設定する。ただし、ハイライトシーン同士の関係性が「連結」だったり「一部重複」である場合、「複数の見所が集まった抽出シーン」である可能性がその他の場合よりも高いため、優先度を中程度と設定する。
　最後に、情報処理装置１１は、ステップＳ１６１０で同一の優先度となったハイライトシーン同士を比較・分析して詳細な優先度を付与する（Ｓ８３０）。なお、ステップＳ８３０は実施の形態１のステップＳ８３０と同様であるため、説明を省略する。
　このように実施の形態２における優先度付与方法によれば、ハイライトシーンの長さ、及びハイライトシーン同士の関係性に基づいて、より柔軟に適切な優先度を付与することができる。このため、例えば、ハイライトシーンを短く調整することになったとしても、ユーザが大事と考えるであろうシーンについてはなるべく短縮の対象とならないようにすることができる。
＜ハイライトシーン長調整ステップ＞
　ハイライトシーン毎に付与された優先度に基づいて長さを調整する処理である。この処理については、実施の形態１（図１１）と同様であるので説明を省略する。
（実施の形態３）
　実施の形態１では、ユーザによるリモコン２の入力操作に基づいて、動画にマークを対応付けるとしていたがこれに限られない。本実施の形態３は、動画にマークを付与する他の手法について紹介する。
　図２３の情報処理装置２３０は、特に、ユーザ入力受付部１２ａや、マーク付与部１７を含むハイライトシーン抽出部１４ｂを備える。それ以外の機能ブロックは、図１と基本的には同様であるので説明を省略する。
　ユーザ入力受付部１２ａは、動画の再生指示は受け付けるが、実施の形態１とは異なりマーク付与のための入力操作は受け付けなくてもよい。
　マーク付与部１７がマーク付与する時機は、特に限定されないが、例えば、ハイライトシーン抽出部１４ｂによるハイライトシーン抽出処理の開始を契機として行われることが考えられる。
　ハイライトシーン抽出部１４ｂは、マーク付与部１７が付与したマークの再生位置に基づいて、動画コンテンツの中からハイライトシーンを抽出する。ハイライトシーン抽出部１４ｂがハイライトシーンを抽出する時機は、例えば、次の（Ａ）（Ｂ）の時機が考えられる。
　（Ａ）記憶部２２内に動画コンテンツが取り込まれたとき
　（Ｂ）ハイライト動画再生をユーザから指示されたとき
　ハイライトシーン抽出部１４ｂは、マーク付与部１７が付与したマークの再生位置に基づいて、動画コンテンツの中からハイライトシーンを抽出する。
　両ブロックの関係について具体的に説明すると、マーク付与部１７は、１つの指標あるいは複数の指標の組み合わせに基づいて動画コンテンツにマークを付与する。付与後、付与したマークの再生位置を含むメタデータを記憶部２２に記憶させる。このメタデータの構造は図２と同様であるので説明を省略する。そして、ハイライトシーン抽出部１４ｂは、記憶部２２に記憶されたメタデータに含まれるマークの再生位置に基づいて、動画コンテンツの中からハイライトシーンを抽出する。
　図２４に、マーク付与部１７が用いる指標の例を示す。
　画像的特異点の指標は、画像特徴量が前後と著しく異なる点（再生位置）にマークを付与するためのものである。この画像特徴量の例としては、画像内の物体の動きベクトルや、画像内のカラー特徴量などが挙げられる。例えば、マーク付与部１７は、前後のシーンで動きベクトルの差分が閾値を超えることを条件として、マークを付与する。
　音響的特異点は、音響特徴量が前後と著しく異なる点にマークを付与するためのものである。例えば、予め動画コンテンツの区間毎に音響特徴量を算出ておき、マーク付与部１７は、隣り合う区間間の音響特徴量の差分が閾値以上であることを条件として、マークを付与するとしてもよい。
　撮影操作的特異点は、特定の操作を行った点にマークを付与するためのものである。例えば、ズーム操作を行っていれば、撮影者の面白いと感じたであろうという推定が働くことを利用して、マーク付与部１７は、ズーム操作を開始した再生位置にマークを付与する。
　メタデータ的特異点は、特定のメタデータが現れる点にマークを付与するためのものである。メタデータの例としては、動画撮影中の静止画撮影が挙げられる。この場合、マーク付与部１７は、静止画撮影した再生位置にマークを付与する。
　上述のような手法でマーク付与部１７がマークを付与した後は、付与されたマークに基づいて、ハイライトシーン抽出部１４ｂがハイライトシーンを抽出することなる。なお、マーク付与部１９が付与したマークを利用して行う、ハイライトシーン抽出ステップ（Ｓ３２０）については、実施の形態１で説明したものと同様の手法を用いることができるので説明を省略する。また、この後に続く、ハイライトシーン優先度付与ステップ（Ｓ３４０）、ハイライトシーン長調整ステップ（Ｓ３５０）については、実施の形態１で説明したものと同様の手法を用いることができるので説明を省略する。
（実施の形態４）
　本実施の形態４では、実施の形態３で述べたマーク付与部の他の形態について説明する。
　図２３の情報処理装置２３０では、マーク付与部１７は、ハイライトシーン抽出部１４ｂに含まれるとしているが、ハイライトシーン抽出部１４ｂから独立した形態でもよい。このような情報処理装置２５０を図２５に示す。
　図２５の情報処理装置２５０は、特に、ユーザ入力受付部１２ａや、マーク付与部１９を備える。
　ユーザ入力受付部１２ａは、リモコン２を介して、ハイライト動画の再生指示などの指示を受け付ける。
　マーク付与部１９は、１つの指標あるいは複数の指標の組み合わせに基づいて動画コンテンツにマークを付与する。この付与の手法はマーク付与部１７で説明したものと同様である。
　このマーク付与部１９がマーク付与する時機も、マーク付与部１７と同様であり、例えば、
　（Ａ）記憶部２２内に動画コンテンツが取り込まれると、自動的にマークの付与を行う。
または、
　（Ｂ）ハイライト動画再生をユーザから指示されると、自動的にマークの付与を行う。
　実施の形態４によれば、マーク付与とハイライトシーンの抽出とを同時に行う代わりに、先行してマーク付与を行い、付与したマークを後々のハイライトシーンの抽出などの用途に利用することができる。
　例えば、装置のスペックの制約から、自動的なマーク付与の処理に時間を要する場合に有用である。
　なお、マーク付与部１９が付与したマークを利用して行う、ハイライトシーン抽出ステップ（Ｓ３２０）、ハイライトシーン優先度付与ステップ（Ｓ３４０）、ハイライトシーン長調整ステップ（Ｓ３５０）については、実施の形態１で説明したものと同様の手法を用いることができるので説明を省略する。
　なお、実施の形態４では、ハイライトシーン抽出部１４によるハイライトシーンの抽出処理（ハイライト動画作成部１８からの依頼に基づくハイライトシーンの再抽出処理を含む）、およびマーク付与部１９によるマークの付与はそれぞれ独立して行うものとしている。しかしながら、ハイライトシーン抽出部１４およびマーク付与部１９は、いずれも同様のコンテンツ解析処理を行う。そのため、例えば、情報処理装置２５０が図示しないコンテンツ解析部を備えることとし、ハイライトシーン抽出部１４およびマーク付与部１９は、それぞれの処理を行う際に、コンテンツ解析部にコンテンツの解析を依頼し、その結果を用いて、ハイライトシーンの抽出やマークの付与を行うこととしてもよい。
＜補足１＞
　以上、実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）入力デバイス
　各実施の形態では、入力デバイスの例として、リモコン２を用いて説明したが、これに限られない。ユーザがハイライトとして希望する再生位置を検出できるような入力デバイスであれば足り、次のような入力デバイスでもよい。
　例えば、マウスやキーボードのような入力デバイスでもよい。
　また、情報処理装置がタッチパネルを備えている場合は、入力デバイスがタッチペンのようなスタイラス、ユーザの指となることもあり得る。
　さらに、マイクロフォン及び音声認識機能を備える情報処理装置である場合には、音声入力でもよい。あるいは、手のひらなど人体モデルの認識機能を備える情報処理装置である場合には、ジェスチャ入力でもよい。
（２）ハイライトシーンの最適範囲
　図３のステップＳ３３０のハイライト動画の長さが最適である状態とは、例えば情報処理装置１０に予め登録されている長さとハイライト動画の長さの差分が一定値以内に収まっているような状態でも良いし、登録されている長さよりも長い、あるいは短い状態でも良い。さらに、登録されている長さの代わりにユーザが入力した長さを用いても良い。
　あるいは、ハイライト動画の長さが最適かどうかをユーザに問い合わせて、ユーザの判断を仰ぐようにしても構わない。
（３）優先度の付与方法
　優先度の付与方法としては、図２２に示すようなリモコン２を利用して行ってもよい。すなわち、リモコン２は、最高の優先度を示すボタン１、中程の優先度を示すボタン２及び最低の優先度を示すボタン３を有する。そして、優先度付与部１６は、ユーザ入力受付部１２が受け付けたこれらのボタン１～３に応じて優先度１～３を付与するとしてもよい。
（４）集積回路
　実施の形態の情報処理装置は、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（５）記録媒体、プログラム
　実施の形態で示した処理をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
　このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、ＳＤメモリーカード、マルチメディアカード、ＣＤ－Ｒ／ＲＷ、ＤＶＤ±Ｒ／ＲＷ、ＤＶＤ－ＲＡＭ、ＨＤ－ＤＶＤ、ＢＤ(（Ｂｌｕ－ｒａｙ(登録商標)  Ｄｉｓｃ））等がある。
　流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
（６）ハイライトシーンの長さの調整について
　実施の形態では、ハイライトシーンの長さの調整は、長さ調整部２０がハイライト抽出部１４に長さを変えたハイライトシーンの再抽出処理を依頼することで行うとしたがこれに限られない。例えば、長さ調整部２０がハイライトシーンの長さの調整を直接行う構成としても構わない。この場合、長さ調整部２０はハイライトシーン抽出部１４が行っていた処理を直接実行する。
　例えば、上述した最初の抽出（Ｓ３２０）と同じアルゴリズムを用いてハイライトシーンの再生区間がより短くなるようパラメータを変更して再抽出を行う第１の手法を採用してもよい。他にも、ハイライトシーン抽出部１４が、最初の抽出（Ｓ３２０）と異なるアルゴリズムを用いてハイライトシーンの再生区間がより短くなるよう再抽出を行う第２の手法を採用してもよい。また、前記ハイライトシーンの再生区間の長さを短くする方法は、これらに限定されるものでもない。
（７）マークの密度などに基づいた優先度の付与について
　ハイライトシーンに付与する優先度の高低は、マークが再生時間軸上において集まっているか、あるいはまばらであるかに基づいて決定することができる。
　「まばら」「集まっている」を判断する指標としては、単位時間辺りのマークの密度を指標として用いることができる。もっとも、長い期間で見たときの密度が低くとも、局所的にマークが集中していれば高い優先度とすることがよいときもある。このような、局所的なマークの集中度合いも指標として採用することができる。
　このような観点から優先度を付与する手法としては、次の手法１～手法３の例が挙げられる。
　・手法１
　手法１は、実施の形態１で説明したように１つのハイライトシーン内のマークの密度を元にハイライトシーンの優先度を付与するものである。
　・手法２
　手法２は、１つのハイライトシーン内のマークの数をそのハイライトシーンの長さで除することにより、単位時間辺りのマークの数を求め、これを基に、ハイライトシーンの優先度を付与するものである。
　・手法３
　手法３は、局所的なマークの集中度合いを利用するものである。つまり、
１つハイライトシーン全体ではなくハイライトシーン内の任意の単位時間あたりのマークの数の最大数を基に、ハイライトシーンの優先度を付与するものである。これによりハイライトシーン全体ではマークの数が少ない場合であっても、任意の単位時間（例えば、１秒）にマークが集中していれば、前記最大数は多くなるので、高い優先度を付与することができる。なお、上で説明に用いた任意の単位時間の１秒は一例でありこれに限られない。
（８）情報処理装置に必要な構成について
　実施の形態では、情報処理装置内でハイライト動画を作成するとしたが、このような作成機能は必須ではなく、ハイライト動画の作成を他装置で行うとしてもよい。また、動画コンテンツを情報処理装置内で記憶する機能も必須ではなく、外部装置に記憶された動画コンテンツを利用する形態でも構わない。
　すなわち、図２６に示すように、情報処理装置２６０の概要としては、動画コンテンツについて複数の再生位置を付与するマーク付与部（再生位置を特定する特定部）２６２と、複数の再生位置に基づいてそれぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のハイライトシーンを抽出するハイライトシーン抽出部２６４と、抽出されたハイライトシーン毎に、優先度を付与する優先度付与部２６６、を備えていれば足り得る。
（９）優先度の用途について
　実施の形態では、付与した優先度をハイライト動画の作成に利用する例を中心に説明したが、これに限られない。
　例えば付与した優先度は、複数の動画コンテンツを一覧表示する画面において、各動画コンテンツの中で優先度が高いハイライトシーンをピックアップして表示することに用いることができる。
　また、動画コンテンツの内容を示すメニュー画面において、優先度毎にハイライトシーンを色分けして表示することにより、ユーザに動画コンテンツの内容を知らせるようにしてもよい。
（１０）実施の形態１～４や、本補足１の（１）～（９）で述べた事項は組み合わせて構わない。
＜補足２＞
　上で説明した実施の形態は、以下の態様を含むものである。
（１）本実施の形態に係る情報処理装置は動画コンテンツについて、複数の再生位置を特定する特定手段と、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、抽出されたシーン毎に、優先度を付与する付与手段と、を備えることを特徴とする。
（２）（１）において、前記付与手段は、前記特定された複数の再生位置を解析して、当該複数の再生位置が再生時間軸上においてまばらであるか、当該複数の再生位置が再生時間軸上において集まっているかを判定し、まばらと判定した再生位置を含むシーンには低い優先度を付与し、集まっていると判定した再生位置を含むシーンには高い優先度を付与するとしても構わない。
（３）（１）において、前記付与手段は、抽出された複数のシーンそれぞれの長さ、及び抽出された複数のシーン同士の再生時間軸上における関係性に基づいて、優先度を付与するとしても構わない。
（４）（１）において、前記付与手段は、抽出された複数のシーンそれぞれの再生位置の数を解析し、１シーンあたりの再生位置の数が多いシーンには高い優先度を付与し、１シーンあたりの再生位置の数が少ないシーンには低い優先度を付与するとしても構わない。
（５）（１）において、前記抽出手段は、前記再生位置前後の音響の特徴量を解析し、解析した音響の特徴量が類似する区間を示すシーンを抽出するとしても構わない。
　この構成によれば、意味のあるまとまりとして期待できるシーンを抽出することに寄与する。
（６）（１）において、さらに、各シーンに付与された優先度に基づいて１以上のシーンの長さを調整し、調整後に、各シーンをつなぎ合わせてハイライト動画を作成する作成手段、を備えるとしても構わない。
（７）（６）において、前記作成手段は、抽出された複数のシーンのすべてをつなぎ合わせた場合のハイライト動画の長さが所定範囲内に収まっているかどうかを判定し、前記所定範囲の上限値より長いと判定したときには、優先度の低いシーンの長さをより短く調整し、前記所定範囲の下限値よりも短いと判定したときには、優先度の高いシーンの長さをより長く調整するとしても構わない。
　この構成によれば、作成したハイライト動画の長さを、所定範囲内に収めることができる。
（８）本実施の形態に係るハイライト動画作成方法は、動画コンテンツについて、複数の再生位置を特定する特定ステップと、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、抽出されたシーン毎に、優先度を付与する付与ステップと、を含む。
（９）本実施の形態に係るプログラムは、動画コンテンツを記憶する情報処理装置に優先度付与処理を実行させるプログラムであって、前記優先度付与処理は、動画コンテンツについて、複数の再生位置を特定する特定ステップと、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、抽出されたシーン毎に、優先度を付与する付与ステップと、の各ステップを含む。
（１０）本実施の形態に係る集積回路は、動画コンテンツについて、複数の再生位置を特定する特定手段と、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、抽出されたシーン毎に、優先度を付与する付与手段と、を備える。
　本発明に係る情報処理装置は、ユーザの好みに応じたハイライト動画を作成する機能を有しているため、動画コンテンツを視聴するような情報処理装置などとして有用である。
２　リモコン
４　ディスプレイ
１０，１１，２３０，２５０，２６０　情報処理装置
１２　ユーザ入力受付部
１４，１４ａ，１４ｂ，２６４　ハイライトシーン抽出部
１５　音響安定度解析部
１６，２６６　優先度付与部
１７，１９　マーク付与部
１８　ハイライト動画作成部
２０　長さ調整部
２２　記憶部
２４　管理部
２６　デコード部
２８　表示制御部
２６２　マーク付与部（特定部）

Claims (10)

  1. 　動画コンテンツについて、複数の再生位置を特定する特定手段と、
    　特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、
    　抽出されたシーン毎に、優先度を付与する付与手段と、
    を備えることを特徴とする情報処理装置。
  2. 　前記付与手段は、前記特定された複数の再生位置を解析して、当該複数の再生位置が再生時間軸上においてまばらであるか、当該複数の再生位置が再生時間軸上において集まっているかを判定し、
    　まばらと判定した再生位置を含むシーンには低い優先度を付与し、
    　集まっていると判定した再生位置を含むシーンには高い優先度を付与する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記付与手段は、
    　抽出された複数のシーンそれぞれの長さ、及び抽出された複数のシーン同士の再生時間軸上における関係性に基づいて、優先度を付与する
    ことを特徴とする請求項１に記載の情報処理装置。
  4. 　前記付与手段は、抽出された複数のシーンそれぞれの再生位置の数を解析し、
    　１シーンあたりの再生位置の数が多いシーンには高い優先度を付与し、
    　１シーンあたりの再生位置の数が少ないシーンには低い優先度を付与する
    ことを特徴とする請求項１に記載の情報処理装置。
  5. 　前記抽出手段は、前記再生位置前後の音響の特徴量を解析し、解析した音響の特徴量が類似する区間を示すシーンを抽出する
    ことを特徴とする請求項１に記載の情報処理装置。
  6. 　さらに、各シーンに付与された優先度に基づいて１以上のシーンの長さを調整し、調整後に、各シーンをつなぎ合わせてハイライト動画を作成する作成手段、
    を備えることを特徴とする請求項１に記載の情報処理装置。
  7. 　前記作成手段は、抽出された複数のシーンのすべてをつなぎ合わせた場合のハイライト動画の長さが所定範囲内に収まっているかどうかを判定し、
    　前記所定範囲の上限値より長いと判定したときには、優先度の低いシーンの長さをより短く調整し、
    　前記所定範囲の下限値よりも短いと判定したときには、優先度の高いシーンの長さをより長く調整する
    ことを特徴とする請求項６に記載の情報処理装置。
  8. 　動画コンテンツについて、複数の再生位置を特定する特定ステップと、
    　特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、
    　抽出されたシーン毎に、優先度を付与する付与ステップと、
    を含むハイライト動画作成方法。
  9. 　動画コンテンツを記憶する情報処理装置に優先度付与処理を実行させるプログラムであって、
    　前記優先度付与処理は、
    　動画コンテンツについて、複数の再生位置を特定する特定ステップと、
    　特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、
    　抽出されたシーン毎に、優先度を付与する付与ステップと、
    の各ステップを含むことを特徴とするプログラム。
  10. 　動画コンテンツについて、複数の再生位置を特定する特定手段と、
    　特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、
    　抽出されたシーン毎に、優先度を付与する付与手段と、
    を備えることを特徴とする集積回路。
PCT/JP2012/003102 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 WO2012160771A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013516189A JP5886839B2 (ja) 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路
US13/809,008 US20130108241A1 (en) 2011-05-23 2012-05-11 Information processing device, information processing method, program, recording medium, and integrated circuit
CN201280002141.6A CN103026704B (zh) 2011-05-23 2012-05-11 信息处理装置、信息处理方法以及集成电路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011114511 2011-05-23
JP2011-114511 2011-05-23

Publications (1)

Publication Number Publication Date
WO2012160771A1 true WO2012160771A1 (ja) 2012-11-29

Family

ID=47216865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003102 WO2012160771A1 (ja) 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路

Country Status (4)

Country Link
US (1) US20130108241A1 (ja)
JP (1) JP5886839B2 (ja)
CN (1) CN103026704B (ja)
WO (1) WO2012160771A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039177B2 (en) * 2019-03-19 2021-06-15 Rovi Guides, Inc. Systems and methods for varied audio segment compression for accelerated playback of media assets
US11102524B2 (en) 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets
US11102523B2 (en) 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5994974B2 (ja) * 2012-05-31 2016-09-21 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、プログラム及び情報処理方法
US20160014482A1 (en) * 2014-07-14 2016-01-14 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
EP3125245A1 (en) * 2015-07-27 2017-02-01 Thomson Licensing Method for selecting at least one sequence of frames and corresponding method for creating an audio and/or video digest, electronic devices, computer readable program product and computer readable storage medium
US10388321B2 (en) 2015-08-26 2019-08-20 Twitter, Inc. Looping audio-visual file generation based on audio and video analysis
US10204417B2 (en) * 2016-05-10 2019-02-12 International Business Machines Corporation Interactive video generation
US10509966B1 (en) 2017-08-16 2019-12-17 Gopro, Inc. Systems and methods for creating video summaries

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004820A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd ストリームデータ編集方法及びその装置
JP2005198303A (ja) * 2004-01-09 2005-07-21 Ricoh Co Ltd 関心度の値を生成及び表示する方法、コンピュータプログラム及びシステム
JP2008098719A (ja) * 2006-10-06 2008-04-24 Hitachi Ltd 情報記録装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227241B2 (ja) * 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法
JP3926756B2 (ja) * 2003-03-24 2007-06-06 株式会社東芝 映像要約装置、映像要約方法
JP2005277531A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 動画像処理装置
JP2006180306A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd 動画記録再生装置
JP2006304272A (ja) * 2005-03-25 2006-11-02 Matsushita Electric Ind Co Ltd 送信装置
JP4525437B2 (ja) * 2005-04-19 2010-08-18 株式会社日立製作所 動画処理装置
CN1941880A (zh) * 2005-09-28 2007-04-04 三洋电机株式会社 视频记录再生装置及视频再生装置
US20080269924A1 (en) * 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof
JP2008294584A (ja) * 2007-05-22 2008-12-04 Panasonic Corp ダイジェスト再生装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004820A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd ストリームデータ編集方法及びその装置
JP2005198303A (ja) * 2004-01-09 2005-07-21 Ricoh Co Ltd 関心度の値を生成及び表示する方法、コンピュータプログラム及びシステム
JP2008098719A (ja) * 2006-10-06 2008-04-24 Hitachi Ltd 情報記録装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039177B2 (en) * 2019-03-19 2021-06-15 Rovi Guides, Inc. Systems and methods for varied audio segment compression for accelerated playback of media assets
US11102524B2 (en) 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets
US11102523B2 (en) 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers

Also Published As

Publication number Publication date
CN103026704A (zh) 2013-04-03
US20130108241A1 (en) 2013-05-02
JP5886839B2 (ja) 2016-03-16
CN103026704B (zh) 2016-11-23
JPWO2012160771A1 (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
WO2012160771A1 (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路
CN103702039B (zh) 图像编辑装置和图像编辑方法
US8542982B2 (en) Image/video data editing apparatus and method for generating image or video soundtracks
US20100094441A1 (en) Image selection apparatus, image selection method and program
US9986218B2 (en) Electronic apparatus, method of changing a moving image data section, and program
US20170323665A1 (en) Information processing method, image processing apparatus, and program
US10325628B2 (en) Audio-visual project generator
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
WO2011059029A1 (ja) 映像処理装置、映像処理方法、および映像処理プログラム
US7929028B2 (en) Method and system for facilitating creation of content
JP5079817B2 (ja) サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機
KR100530086B1 (ko) 동영상의 자동편집장치와 그 방법 및 동영상자동편집방법이 저장된 기록매체
JP4735388B2 (ja) 再生装置および方法、並びにプログラム
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP4555214B2 (ja) 情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体
WO2012070371A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
KR101828601B1 (ko) 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법
KR101827985B1 (ko) 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법
KR101717014B1 (ko) 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법
JP2015082691A (ja) 映像編集装置、映像編集方法、および、映像編集プログラム
KR20180017073A (ko) 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법
US8565585B2 (en) Reproduction device and method for operating the same
EP3032435A1 (en) Method and apparatus for generating an audiovisual summary
JP2002100157A (ja) 再生データ編集装置及び記憶媒体
KR20140042547A (ko) 영상 편집 장치 및 그 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280002141.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13809008

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12789859

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013516189

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12789859

Country of ref document: EP

Kind code of ref document: A1