WO2007039994A1 - ダイジェスト作成装置およびそのプログラム - Google Patents

ダイジェスト作成装置およびそのプログラム Download PDF

Info

Publication number
WO2007039994A1
WO2007039994A1 PCT/JP2006/316511 JP2006316511W WO2007039994A1 WO 2007039994 A1 WO2007039994 A1 WO 2007039994A1 JP 2006316511 W JP2006316511 W JP 2006316511W WO 2007039994 A1 WO2007039994 A1 WO 2007039994A1
Authority
WO
WIPO (PCT)
Prior art keywords
digest
section
scene
partial
content
Prior art date
Application number
PCT/JP2006/316511
Other languages
English (en)
French (fr)
Inventor
Shinya Hashimoto
Harumi Nakamura
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to JP2007538660A priority Critical patent/JP4757876B2/ja
Priority to EP06796675A priority patent/EP1954041A4/en
Publication of WO2007039994A1 publication Critical patent/WO2007039994A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to a digest creation device for creating a digest of content including at least one of video information and audio information, and a program therefor.
  • a recording / playback apparatus capable of recording and playing back content including video information and audio information (such as a TV broadcast program) creates a digest that summarizes the recorded content and plays it back.
  • This digest playback can be played back mainly on characteristic scenes such as highlight scenes in the recorded content, so the user can grasp the contents of the rough content in a short time! Used when searching for programs.
  • Patent Document 1 Japanese Patent Laid-Open No. 2003-283993
  • Patent Document 2 JP-A-9-312827
  • Patent Document 3 Japanese Patent Laid-Open No. 10-32776
  • the digest playback method described in the above-mentioned patent document extracts characteristic scenes such as a frame where a face area exists and a section where the sound level is high.
  • the user wants It may contain scenes that are not. For example, when a sports program is recorded, the result of the trial is included in the digest, or when the drama is recorded, the end result is included in the digest. For this reason, when a digest is used for searching a program, it is desired to reproduce a content close to a so-called program trailer as long as the result of the content is not known.
  • an object of the present invention is to provide a digest creation device and a program thereof that can create a digest without impairing the viewer's willingness to view.
  • the digest creation device of the present invention includes content acquisition means for acquiring content including at least one of video information and audio information, and video information and audio information from all content sections on the time axis of the acquired content.
  • highlight section search means for searching for the highlight section including the highlight scene, and the content digest from the remaining sections excluding the highlight section for all content section forces. It is characterized by comprising a partial scene extracting means for extracting a partial scene as an element for creation, and a digest creating means for creating a digest using the extracted partial scene.
  • “content” includes video information and audio information (such as television programs), video information only (such as silent movies), and audio information only (such as music and radio).
  • Program includes video information and audio information (such as television programs), video information only (such as silent movies), and audio information only (such as music and radio).
  • “Highlight scenes” refer to characteristic scenes of the content, such as scenes that are most interesting and exciting, such as the results of sports program matches and the end of dramas. Searching for highlight scenes (highlighted sections) can be performed, for example, by extracting a scene that includes a face area in the video, or by extracting a scene that has a sound level or sound pressure level that exceeds a reference value. , Conventional techniques The technique can be applied.
  • “Digest” refers to summary information that summarizes the content.
  • the digest creation device further includes a recording unit for recording the acquired content, and the highlight section search unit searches for the highlight section in synchronization with the recording by the recording unit. .
  • the digest creation device further includes a digest playback means for playing back the digest, and the digest creation means includes section data indicating an address indicating the start point of the extracted partial scene and a section length of the partial scene. It is preferable that the digest playback information is generated, and the digest playback means plays the digest based on the digest playback information and the recorded data of the content by the recording means.
  • the digest can be reproduced by reading out the partial scene corresponding to the central digest reproduction information of the content recording data.
  • an address indicating the start point of a partial scene that does not need to be stored separately from the content recording data and the length of the section are extracted without extracting the digest data from a part of the content recording data. Since it is only necessary to save the section data shown, it is possible to reduce the memory usage for saving the digest.
  • the content is accompanied by metadata recorded for each scene, and the highlight section search means converts the metadata into metadata along with at least one of video information and audio information. Based on this, it is preferable to search for the highlight section.
  • Metadata includes detailed information about each scene included in the content, in addition to a description of the content as a whole, information on the creator, copyright, and the like.
  • the content includes audio information, and the sound section level calculated based on the audio information has a predetermined loud sound as a highlight section. Searching for a high sound pressure section that is above the threshold, the partial scene extraction means
  • the predetermined time ta is a time obtained by multiplying the section length hi (hl> 0) of the highlight section by a constant a (0 ⁇ a ⁇ 1). preferable.
  • the start point of the partial scene to be extracted can be determined according to the length of the highlight section. This is based on the rule of thumb that when the highlight scene is long, the preceding scene is also long.
  • the end point of the partial scene is preferably a time point that is a predetermined time tb (0 ⁇ tb ⁇ ta) from the start point of the highlight section.
  • the starting point force of the highlight section is determined to be the end point of the partial scene that is extracted by a predetermined time tb (0 ⁇ tb ⁇ ta), for example, the section length of the highlight section Accordingly, when the start point of the partial scene to be extracted is determined, a partial scene having a length corresponding to the section length (section length: ta ⁇ tb) can be extracted.
  • the end point of the partial scene is the time point when a predetermined time tp (tp ⁇ hl * ⁇ ) corresponding to the section length of the partial scene has elapsed from the start point of the partial scene. I prefer that.
  • the partial scene of -tb) can be extracted. Therefore, when a digest includes a plurality of partial scenes, it is possible to create a well-balanced digest with a constant scene length.
  • the digest creation means sets a priority for the extracted partial scene according to the length of each highlight section that is a reference for extracting each partial scene, and It is preferable to incorporate it as a digest element from a high partial scene.
  • the partial scenes extracted based on the highlight section can be incorporated into the digest with the priority order according to the section length of the highlight section. Therefore, viewers' motivation for viewing can be further enhanced by preferentially incorporating long highlight scenes, that is, scenes with greater excitement, into the digest.
  • the highlight scene if a certain short force is preferentially incorporated into the digest, it is possible to create a digest that makes it difficult to assume the end of the content.
  • a low sound pressure section searching means for searching for a low sound pressure section in which the sound pressure level calculated based on the sound information is below a predetermined low sound threshold, and a low sound section searching means;
  • a non-main scene extracting means for extracting a non-main scene including a commercial scene from the entire content section based on the search results of the partial scene extracting means immediately after the extracted non-main scene.
  • a predetermined section is extracted as an important partial scene, and the digest creation means may set the priority of the important partial scene to the maximum value and incorporate the important partial scene force as an element of the digest! !
  • Non-main scene refers to sections that are not considered the main part of the content, such as weather forecasts and program corners, as well as commercial scenes.
  • the partial scene extraction unit deletes the partial scene force when the partial scene extracted based on the highlight section partially or entirely overlaps the non-program main scene. May be.
  • a partial scene extracted as a scene before a noisy scene for example, a partial scene extracted as a scene before a noisy scene
  • the digest creation device further includes a threshold setting unit for setting a loud sound threshold.
  • the digest creation means when a part or the whole of at least two partial scenes of a plurality of partial scenes extracted by the partial scene extraction means overlap, the digest creation means includes two or more overlapping scenes. It is preferable to incorporate the partial scene into the digest as one continuous partial scene!
  • the digest creation means preferably rearranges the plurality of partial scenes in time series when creating a digest using a plurality of partial scenes.
  • the partial scene extraction unit extracts a partial scene from a target section which is an arbitrary section in the entire content section.
  • the target section when the target section has elapsed from the start point of the content by the time obtained by multiplying all the content sections by a constant j8 (0 ⁇ j8 ⁇ 1).
  • U which is preferably the interval to the point.
  • the partial scene extraction target section can be narrowed down from the entire content section.
  • the target section is obtained by multiplying the first half of all content sections (all content sections and a constant
  • the partial scene extracting means preferably divides the entire content section or the target section into a plurality of small sections, and extracts at least one partial scene from each small section.
  • the program of the present invention is characterized in that it functions as each means in the digest creation apparatus.
  • FIG. 1 is a block configuration diagram of a recording / reproducing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a sound pressure level waveform diagram illustrating a partial scene extraction method.
  • FIG. 3 is a diagram for explaining a method for determining a priority when a partial scene is incorporated into a digest.
  • FIG. 4 is a flowchart showing search processing for a high sound pressure section.
  • FIG. 5 is a flowchart showing digest creation processing according to the first embodiment.
  • FIG. 6 is a sound pressure level waveform diagram illustrating another method for extracting a partial scene.
  • FIG. 7 is a sound pressure level waveform diagram illustrating a method for extracting overlapping partial scenes.
  • FIG. 8 is a sound pressure level waveform diagram illustrating another method for determining the priority of a partial scene.
  • FIG. 9 is a sound pressure level waveform diagram illustrating a method for extracting a partial scene of target section force according to the second embodiment.
  • FIG. 10 is a flowchart showing digest creation processing according to the second embodiment.
  • FIG. 11 is a sound pressure level waveform diagram for explaining a partial scene extraction method for each small section force according to the third embodiment.
  • FIG. 12 is a flowchart showing digest creation processing according to the third embodiment.
  • FIG. 13 is a block diagram of a recording / reproducing apparatus according to a fourth embodiment.
  • FIG. 14 is a sound pressure level waveform diagram illustrating a method for extracting an important partial scene immediately after a non-program main scene according to a fourth embodiment.
  • FIG. 15 is a flowchart showing digest creation processing according to the fourth embodiment.
  • the present invention extracts one or more highlight scenes from all content sections of content including video information (video signal) and / or audio information (audio signal), and digests from the remaining sections excluding the highlight scene. It is characterized by extracting a partial scene that is an element for creating the image. Therefore, a case where the digest creation apparatus of the present invention is applied to a recording / reproducing apparatus that records and reproduces content including video information and audio information will be described as an example.
  • FIG. 1 is a block configuration diagram of a recording / reproducing apparatus 10 according to an embodiment of the present invention.
  • the recording / playback apparatus 10 stores various types of information, a content acquisition unit 20 that acquires content from the outside, a control unit 30 that performs various controls, a voice analysis unit 40 that performs analysis based on voice information, and the like. And a storage unit 50 for reproducing content and a digest for reproducing a content and digest. “Digest” refers to summary information that summarizes the content.
  • the content acquisition unit 20 receives a television broadcast such as terrestrial, BS, and CS from the reception antenna 81, a so-called tuner is a main component.
  • a so-called tuner is a main component.
  • the external input terminal is a main component.
  • the content acquisition unit 20 can also acquire video Z music data distributed via a communication network such as the Internet as content.
  • the Internet connection portion is a main component. Become. Further, in the case where various semiconductor memories and various optical disk reading devices are installed as the content acquisition unit 20, it is also possible to acquire content recorded on them.
  • the control unit 30 controls each unit of the recording / reproducing apparatus 10 and performs various controls. Specifically, the control unit 30 records the acquired content and the digest from the acquired content.
  • a partial scene extraction unit 32 that extracts a partial scene that is an element for creation, and a digest creation that creates information for reproducing a digest based on the extracted partial scene (hereinafter referred to as “digest playback information”)
  • a threshold value setting unit 34 for setting a threshold value serving as a reference level for searching for a highlight scene from the content.
  • no-light scene refers to a characteristic scene of the content such as a scene in which the viewer is most interested in, such as a game result of a sports program or a drama ending, or an exciting scene.
  • this highlight scene is searched based on audio information. That is, the excitement is determined by voice.
  • the audio analysis unit 40 analyzes the audio information (audio waveform information) included in the content, and calculates the average sound pressure level per unit time. (Hereinafter simply referred to as “sound pressure level”) is calculated, and a sound pressure level waveform as shown in FIG.
  • the high sound pressure interval search unit 41 is set to a predetermined threshold value (stored in a threshold value storage unit 54 described later) set by the threshold value setting unit 34 based on the generated sound pressure level waveform. (Hereinafter referred to as “sound threshold”) or more (hereinafter referred to as “sound pressure interval”).
  • the storage unit 50 includes a content recording data storage unit 51 that stores recording data of content recorded by the content recording unit 31 (hereinafter referred to as "content recording data"), and a high sound pressure section.
  • content recording data recording data of content recorded by the content recording unit 31
  • high sound pressure interval storage unit 52 for storing the search result of the search unit 41
  • the digest reproduction information storage unit 53 for storing the digest reproduction information created by the digest creation unit 33
  • the threshold setting unit 34 And a threshold storage unit 54 for storing a loud sound threshold.
  • the storage unit 50 can be composed of a hard disk, various semiconductor memories, various optical disks, and the like, and the type thereof is not limited.
  • the playback unit 60 includes a content playback unit 61 that plays back the recorded content, and a digest playback unit 62 that plays back the digest.
  • the content reproduction unit 61 reproduces the content based on the content recording data read from the content recording data storage unit 51 and displays it on the display device 91.
  • the digest playback unit 62 plays back the digest based on the digest playback information read from the digest playback information storage unit 53 and the content recording data, and displays the digest on the display device 91 as well.
  • FIG. 1 For example, when content recording is instructed by a user (viewer) using a UI (user interface) input device 92 such as a remote controller, the recording / playback device 10 acquires content via the content acquisition unit 20. Then, the content recording unit 31 records the acquired content. In synchronization with the content recording, the high sound pressure interval search unit 41 searches for a high sound pressure interval.
  • a UI user interface
  • a high sound pressure interval in which the sound pressure level is equal to or higher than the high sound threshold (THb) is searched, and data indicating the start point (DHs) address and the length (hi) of the sound pressure level is obtained.
  • the section storage unit 52 Stored in the section storage unit 52 (see Fig. 2).
  • the content recording data is stored in the content recording data storage unit 51.
  • the partial scene extraction unit 32 extracts a partial scene to be included in the digest. As shown in Fig.
  • the start point (DPs) of the start point (DHs) of the high sound pressure interval is used as the start point (DPs) as the start point (DPs) of the start point (DHs) force of the high sound pressure interval as the partial scene.
  • the digest creation unit 33 creates digest reproduction information based on the extraction result of the partial scene extraction unit 32.
  • the digest creation unit 33 assigns priorities according to the section length (hi) of the high sound pressure section that is a reference for extracting partial scenes, and incorporates them into the digest from the highest priority order. For example, as shown in Fig.
  • the digest playback unit 62 reads the content that has been read out from the content recording data storage unit 51.
  • the section corresponding to the section data included in the digest playback information is read from the recorded data, and the digest is played back.
  • the content that is the basis for creating the digest is stored in the content reproduction unit 61. Play by. It is also possible to display the content list on the display device 91 that does not necessarily require the digest to be played, and to play back the content selected by the user as its medium power.
  • the user can set the value of the loud sound threshold (THb) using the UI input device 92 (threshold setting unit 34).
  • the set value of the loud sound threshold value is stored in the threshold value storage unit 53 and is referred to when the loud sound pressure section search unit 41 searches.
  • the user can use the UI input device 92 to specify the total length of the digest to be created and the values (ta, tb) for determining the start and end points of the partial scene to be extracted. It can be set.
  • these loud sound thresholds, digest total length, and ta and tb values use default settings unless otherwise specified by the user.
  • the high sound pressure interval search processing by the high sound pressure interval search unit 41 will be described. This processing is executed every unit time (for example, every 1Z60 seconds) in synchronization with the recording of the content. As shown in the figure, first, it is determined whether or not the sound pressure level per unit time is equal to or higher than a set loud sound threshold (S01). If it is not above the loud sound threshold (SOI: No), it is determined whether the previous unit time was above the loud sound threshold (S02). If it is above the loud sound threshold (S02: Yes) ), Set the end point of the high sound pressure section (S03).
  • S01 set loud sound threshold
  • the digest creation process starts with the start of content recording (recording instruction by the user, or in the case of reserved recording, counting the specified time) (Sl l). Then, periodically determine whether or not the recording is finished (S12). If the recording is not finished (S12: No), the sound pressure level strength of the content loud sound threshold (THb) or more is searched. (S13). Note that the processing in S12 and S13 corresponds to the search processing for the high sound pressure section shown in FIG.
  • the last partial scene captured in the digest is deleted (S17). This is because the total length of the digest is determined in advance within a predetermined time. If there is no limit on the time, it is possible to eliminate the restriction on the digest playback time by user setting. ) Instead of S16 and S17, all the extracted partial scenes are included in the digest. Even if the total length of the digest is determined in advance within a predetermined time, if all of the partial scenes have been incorporated, the next time will not be reached as long as the total length of the digest is not reached. The process proceeds to step (S18).
  • the last extracted partial scenes are rearranged according to time series (S18), and the process ends. That is, in the case of the example in Fig. 3, the force that is incorporated in the digest in the order of the second partial scene ⁇ the third partial scene ⁇ the first partial scene. This is the first partial scene ⁇ the second partial scene ⁇ the third partial scene. Sort in the order.
  • the starting point (DHs) force of the high sound pressure interval is also set to the start point (DPs) when the force is traced back by the predetermined time ta, and the starting point (DHs) of the high sound pressure interval is set.
  • digest playback corresponds to medium digest playback information of content recording data (consisting of one or more section data (data indicating the start point of a partial scene and data indicating the section length)). Since it is performed by reading out partial scenes, it is not necessary to create digest data that extracts a part of the content recording data and store it separately from the content recording data. For this reason, the digest storage memory (digest playback information storage unit 53) needs only a capacity for storing the digest playback information.
  • the partial scenes to be incorporated into the digest are determined according to the priority order according to the length of the reference high sound pressure section from which the extracted scenes are extracted.
  • the scene can be preferentially incorporated into the digest, and the user's willingness to watch can be further enhanced.
  • the digest When playing back, it is possible to eliminate a sense of incongruity and to create a digest that is closer to a program trailer when partial scenes that are continuously played back and forth in time.
  • the starting point (DPs) of the partial scene is defined as the starting point (DPs) of the partial scene, which is a time point that is a predetermined time ta from the starting point (DHs) of the sound pressure interval (see Fig. 2).
  • the starting points (DPs) may be determined in proportion to the section length hi of the loud sound pressure section that is the reference for extraction. This is because, when the no-light scene is long, the preceding scene is generally considered to be long.
  • the predetermined time ta ′ for determining the start point (DPs) of the partial scene is, as shown in FIG. 6, from the start point (DHs) of the high sound pressure section to the section length hl ( hl> 0) and a constant ⁇ (0 ⁇ 1).
  • the force at which the end point (DPe) of the partial scene is the time point that is a predetermined time tb past the start point (DHs) of the high sound pressure interval, as shown in FIG.
  • the end point of the scene is determined as the point when a predetermined time tp '(tp, ⁇ hl * ⁇ ) corresponding to the section length of the partial scene has elapsed from the start point (DPs) of the partial scene. Also good.
  • this configuration (as in the example in Fig. 2), it is possible to extract a partial scene of a certain length (section length: tp ') regardless of the length of the high sound pressure section. Therefore, when a digest includes multiple partial scenes, a well-balanced digest with a constant scene length can be created.
  • the section length of the partial scene may be varied according to the section length hi of the high sound pressure section instead of making the section length of the partial scene constant.
  • the start point (DPs) of the partial scene is determined according to the section length hi of the high sound pressure section (at the time when (hi * ⁇ ) is traced back from the start point (DHs) of the high sound pressure section),
  • the end point (DPe) of the partial scene may be determined as a time point that is a predetermined time tb away from the start point (DHs) of the high sound pressure interval (not shown).
  • the section length of the partial scene can be determined in proportion to the section length hi of the high sound pressure section. According to these configurations, a partial scene that is considered interesting can be played as a longer digest scene according to the length of the highlight scene.
  • the partial scene is extracted based on the start point (DHs) of the high sound pressure section, it is extracted depending on the values of the predetermined time ta, tb and the sound pressure level waveform.
  • Part Scenes may overlap.
  • Fig. 7 shows an example of this.
  • the second half of the first partial scene (section length: tpl, shown in the lower left slanted line in the figure) extracted based on the first loud sound pressure section (section length: hll)
  • the first half of the second partial scene (section length: tp2) extracted based on the second loud sound pressure section (section length: hl2, downward slanted diagonal line in the figure) overlaps.
  • the second partial scene overlaps with the first high sound pressure interval (start point: DHsl, end point: DHel).
  • the overlapping section (DHsl to DHel) is preferably deleted from the partial scene (see (2) in the figure).
  • the extracted partial scenes have a very short section length of the extracted partial scenes, such as forces DHel to DPe2 that reach DPsl to DHsl and DHel to DP e2 (human It is preferable not to extract as a partial scene to the extent that the user cannot view and understand the contents (for example, 2 seconds or less). Therefore, in the example shown in FIG. 7, it is preferable to finally extract the section DPsl to DHsl as a partial scene (section length: tp, start point: DPs, end point: DPe) U (see (3) in the figure) ).
  • section data indicating the address of the start point of each section and the section length, such as a high sound pressure section and a partial scene (digest playback information).
  • the addresses of the start point and end point of each section may be stored.
  • the priority of the partial scene is determined based on the long section of the high sound pressure section.
  • the priority of the high sound pressure section is determined. Priority may be given to those with a short section length. According to this configuration, a digest with a shorter highlight scene length is preferentially incorporated into the digest, making it easier to assume the end of the content and creating a digest. can do.
  • the priority is determined in consideration of the value of the sound pressure level exceeding the loud sound threshold (THb), in which priority is given to the one with the long section length hi.
  • the priority may be determined by the cumulative sound pressure level per unit time in the high sound pressure section (corresponding to the area of shaded areas HI, H2, H3 in the figure). Therefore, in the example shown in FIG. 8, the priority order is the third partial scene ⁇ second partial scene ⁇ first partial scene. According to this configuration, it is possible to determine a partial scene to be extracted according to the degree of swelling that occurs only by the length of the swell.
  • the high sound pressure section is searched based on the sound pressure level.
  • the content has accompanying information such as metadata
  • the metadata is also taken into consideration.
  • the no-light scene may be searched.
  • “metadata” generally includes detailed information about the contents of the content, information about the creator, copyright, etc., as well as detailed information about each scene included in the content (for example, the content is In the case of video, it includes shoots (information indicating game movement such as corner kicks), so the detailed information of each scene is used to search for highlight scenes and extract partial scenes based on the highlight scenes. You may make it do. According to this configuration, the highlight scene can be searched more accurately.
  • the highlight scene may be searched in consideration of video information.
  • scenes containing face areas in the video, scene changes are early, text information such as scenes and telops is displayed, etc. are investigated by image analysis, and those scenes are prioritized.
  • those scenes are prioritized.
  • the scene before the high sound pressure interval is extracted as the partial scene of the digest.
  • the scene after the high sound pressure interval may be extracted as the partial scene. That is, any scene in the remaining section excluding the high sound pressure section from the entire content section may be extracted as a partial scene.
  • the partial scene that is an element for creating the digest is extracted for the entire content section.
  • the target section from which the partial scene is extracted is characterized by restricting. Therefore, the points different from the first embodiment will be mainly described.
  • FIG. 9 shows a sound pressure level waveform as an example for explaining the present embodiment.
  • a section from the start point Ds of all content sections (section length: T) to a point in time that is obtained by multiplying all content sections T by a constant
  • the value of j8 is preferably about 0.5 to 0.7.
  • the digest creation process starts with the start of recording of the content (S21), and the sound pressure level of the content becomes equal to or higher than the loud sound threshold (THb) until the end of recording.
  • a high sound pressure section is searched (S22, 23).
  • the end point (DPe) of the partial scene is determined from the one with the highest priority, and is incorporated into the digest (S26). That is, in the example of FIG. 9, [DPe2] is first determined, and the second partial scene is incorporated into the digest. [0091] Furthermore, each time it is incorporated into the digest, the total of the extracted partial scenes (total of section lengths) is repeated S26 and S27 until the total length of the digest is exceeded, and the total of the extracted partial scenes is If the total length is exceeded (S27: Yes), the last partial scene added to the digest is deleted (S28). Further, the extracted partial scenes are rearranged according to time series (S29), and the process is terminated.
  • the extraction target section of the partial scene can be narrowed down from all the content sections. For example, when it is not desired to include the result of a sports program match in the digest. , By narrowing down the target section to the first half of all content sections (time obtained by multiplying the section length T of all content sections by a constant
  • 8 (0 ⁇ j8 ⁇ 1) section length P1). It can be avoided that the result of the game is included.
  • the target section is assumed to be from the start point of the content to the point when the section length P1 has elapsed. It is also possible.
  • the target section is not limited to one section, and a plurality of sections can be set as the target section.
  • the partial scene included in the target section is the extraction target.
  • the target section In other words, the partial section Even when a part of the scene is not included in the target section, the start point to the end point of the partial scene may be extracted. Conversely, if the entire partial scene is not included in the target section, the partial scene may not be extracted. Further, it may be determined whether or not the extraction power is based on the ratio of a part of the partial scene included in the target section.
  • whether or not to extract may be determined depending on whether or not a high sound pressure section to be included in the partial scene is included in the target section. For example, if the entire high sound pressure section is included in the target section, the second high sound pressure section (start point DHs2, end point DHe2) in the example shown in FIG. Since it is not included in the target section, only the first partial scene (section length: tpl, start point DPsl, end point DPel) based on the first high sound pressure section (start point DHsl, end point DHel) existing in the target section Will be extracted.
  • the present embodiment is characterized in that the entire content section is divided into a plurality of small sections, and at least one partial scene is extracted from each small section. Therefore, the points different from the above embodiment will be mainly described.
  • FIG. 11 shows a sound pressure level waveform as an example for explaining the present embodiment.
  • the entire content section (section length: T, start point: Ds, end point: De) is divided into three small sections.
  • This number of sections may be set arbitrarily, but it is meaningless if there are too many. For example, if the total length of the digest is 18 seconds and the length of the partial scene is set to 6 seconds, if the number of sections is set to 10 sections, the partial scene will be extracted even with a biased position. Because it becomes. Therefore, in the present embodiment, an appropriate number of sections is determined based on the overall length of the digest and the length of the partial scene.
  • the priority is low when a small section is not set. Even if it is a partial scene (section length: tp6), since there are no other partial scenes in subsection 3, it has the highest priority.
  • the second partial scene (section length: tp2) based on the maximum priority high sound pressure section (section length: hl2) in subsection 1, the high priority sound pressure section (section length: hl5) in subsection 2 )
  • the fifth partial scene (section length: tp5)
  • the sixth partial scene section length: tp6) based on the high-priority sound pressure section (section length: hl6) with the highest priority of the small section 3 Will be incorporated into the digest.
  • the processing from the division of the small sections (determination of each small section) to the extraction of the partial scenes is executed by the partial scene extraction unit 32 in the block configuration diagram shown in FIG.
  • the digest creation process is started as the recording of the content starts (S31), and the sound pressure level of the content is equal to or higher than the loud sound threshold (THb) until the recording ends.
  • a high sound pressure section is searched (S32, 33).
  • the end point (DPe) of the partial scene existing in each small section is determined and incorporated in the digest (S37). That is, in the example of FIG. 11, the end points [DPe2, DPe5, DPe6] of the three partial scenes are determined, and each partial scene is incorporated into the digest.
  • the entire content section is divided into a plurality of small sections, and at least one partial scene is extracted from each small section. Can be extracted. In other words, even if there is a long highlight scene in a part of the content, it is extracted based on the highlight scene. A digest that includes only the selected partial scene is not created.
  • the entire content section is divided into a plurality of small sections.
  • a partial scene with the highest priority is extracted from a plurality of small sections according to time series (in the case of Fig. 11, partial scenes are extracted in the order of small section 1, small section 2, small section 3).
  • the partial scene and the high sound pressure section included in the target section are the extraction targets in each small section, but either the partial scene or the high sound pressure section is included. If there are partial scenes or loud sound pressure sections that cross the section, they may be excluded.
  • FIG. 13 is a block configuration diagram according to the present embodiment
  • FIG. 14 shows a sound pressure level waveform as an example for explaining the present embodiment.
  • the recording / playback apparatus 10 according to the present embodiment includes a non-main-scene extraction unit 35 in the control unit 30 and a low sound in the audio analysis unit 40.
  • a pressure section search section 42 is provided, and a storage section 50 is further provided with a low sound pressure section storage section 55 and a non-main-scene scene storage section 56.
  • the low sound pressure interval search unit 42 searches the content for a low sound pressure interval in which the sound pressure level calculated based on the audio information is equal to or lower than a predetermined low sound threshold (THs) (Fig. 14). reference).
  • the predetermined sound threshold (THs) is based on the setting value by the threshold setting unit 34, and the default value is used when no setting is made. Note that the processing in the low sound pressure section search unit 42 is performed by setting “high sound pressure section” to “low sound pressure section” and “high sound threshold or more” in the high sound pressure section search processing shown in FIG. This is equivalent to the processing read as “below the beep threshold”. That is, since the substantial processing content is the same, detailed description is abbreviate
  • the low sound pressure interval storage unit 55 stores the search result of the low sound pressure interval search unit 42, that is, data indicating the address of the start point of each low sound pressure interval and its length.
  • the non-main-scene scene extraction unit 35 extracts non-main-scene scenes from all content sections based on the search results of the high sound pressure section search unit 41 and the low sound section search unit 42. Specifically, based on the data stored in the low sound pressure interval storage unit 55, a section where low sound pressure sections exist at a predetermined interval (for example, every 15 seconds) is determined as a commercial scene, and the first From the start point (DCs) of the low sound pressure interval to the end point (DCe) of the last low sound pressure interval is extracted as a scene outside the main story (see Fig. 14).
  • a predetermined interval for example, every 15 seconds
  • the non-program main scene storage unit 56 stores the extraction result of the non-main program scene extraction unit 35, that is, data indicating the address of the start point of each non-main program scene and its section length.
  • the non-main scene refers to sections that are not considered the main part of the content, such as weather forecasts and warp corners.
  • the partial scene extraction unit 32 uses a predetermined section immediately after the non-main story scene extracted by the non-main story scene extraction unit 35 as an important partial scene.
  • the digest creation unit 33 creates digest playback information by setting the priority of the important partial scene immediately after the above-mentioned main part scene to the maximum value (incorporated into the digest). . This is because, for example, when the content is animation, the title or telop of the animation is often displayed immediately after the commercial. By including this in the digest, the user can understand the content more accurately. It is.
  • the priority is determined in chronological order. In other words, when a program from 0 o'clock to 1 o'clock is recorded and a commercial is broadcast every 15 minutes, the scene immediately after the commercial broadcast near 0:15, Commercials extracted as important partial scenes with the highest priority and broadcast near 0:30
  • the scene immediately after is extracted as an important partial scene having the next highest priority.
  • digest creation processing is started with the start of content recording (S41). Then, until the end of recording, search for a high sound pressure section where the sound pressure level of the content is higher than the high sound threshold (THb) and a low sound pressure section where the sound pressure level is higher than the low sound threshold (THs). (S42, 43).
  • a non-program main scene is extracted based on the search result of the low sound pressure section (S44).
  • a partial scene is extracted and priorities are assigned to the partial scenes.
  • important partial scenes are extracted from the detection results of the non-program main scene, and the priority is extracted. Is set to the maximum, and the start point (DP s, DPis) of each partial scene is determined according to the priority (S45).
  • the end point (DPe, DPie) of the partial scene is determined from the one with the highest priority, and is incorporated into the digest (S46). That is, as shown in the example of FIG.
  • the important partial scene when the important partial scene exists, first, the start point [DPis] of the important partial scene and the end point [DPie] of the important partial scene are determined, and the important partial scene is incorporated into the digest. [0123] Furthermore, every time it is included in the digest, the total of the extracted partial scenes (total of the section lengths) Force S46, S47 are repeated until the total length of the digest is exceeded, and the extracted partial scenes (including important partial scenes are also included) ) Exceeds the total length of the digest (S47: Yes), the last partial scene added to the digest is deleted (S48). Further, the extracted partial scenes are rearranged according to time series (S49), and the process is terminated.
  • the non-main scene including the commercial scene is extracted, and the immediately following scene is prioritized as the important partial scene.
  • the user can check the narration and important scenes that represent the outline of the content by viewing the digest, and thus can understand the content more.
  • a partial or total power of each partial scene extracted with reference to the high sound pressure section is used.
  • the duplicate scene is preferably deleted from each partial scene. According to this configuration, it is possible to create a more appropriate digest that does not include a non-program scene such as a commercial scene.
  • a section in which low sound pressure sections exist at a predetermined interval is extracted as a non-program main scene.
  • various commercial detection methods proposed in the past are used in combination.
  • a scene outside the main story may be extracted.
  • a commercial scene detected based on a scene change based on video information or a broadcast mode (whether or not power of dual-language broadcasting, power or power of stereo broadcasting, etc.) may be extracted as a non-main-scene scene. .
  • a scene before the highlight scene (high sound pressure section) is included.
  • partial scenes from the target area excluding the latter half of the content it is possible to avoid situations in which the content result is known from the digest.
  • all content sections are divided into small sections, By extracting partial scenes from each small section, it is possible to create a digest that includes partial scenes extracted in a well-balanced manner from the entire content.
  • the scene immediately after the commercial scene (the non-main scene) as an important partial scene, it is difficult to understand the end of the content. You can create a strike.
  • each unit and each function in the recording / reproducing apparatus 10 shown in the above embodiments is also possible to provide the program stored in a recording medium (not shown).
  • CD-ROM, flash ROM, memory card (compact flash (registered trademark), smart media, memory stick, etc.), compact disc, magneto-optical disc, digital versatile disc, flexible disc, and node disc are available as recording media. Can be used.
  • the apparatus configuration, processing steps, and the like can be appropriately changed without departing from the gist of the present invention, regardless of the above-described embodiments.
  • the digest creation function of the present invention can be installed in a video recorder, DVD recorder, personal computer, or the like.

Abstract

　視聴者の視聴意欲を損ねることがないダイジェストを作成可能なダイジェスト作成装置およびそのプログラムを提供することを課題とする。 【解決手段】映像情報と音声情報の少なくともいずれか一方を含むコンテンツを取得するコンテンツ取得部２０と、取得したコンテンツの全コンテンツ区間から、映像情報と音声情報の少なくともいずれか一方に基づいて、ハイライトシーンを含む大音圧区間を検索する大音圧区間検索部４１と、全コンテンツ区間からハイライト区間を除いた残区間の中から、コンテンツのダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出部３２と、抽出した部分シーンを用いて、ダイジェストを作成するダイジェスト作成部３３と、を備えたものである。

Description

明 細 書
ダイジェスト作成装置およびそのプログラム
技術分野
[0001] 本発明は、映像情報と音声情報の少なくともいずれか一方を含むコンテンツのダイ ジェストを作成するダイジェスト作成装置およびそのプログラムに関するものである。 背景技術
[0002] 近年、映像情報や音声情報を含むコンテンツ (テレビ放送番組など)を記録'再生 可能な記録再生装置にお 、て、記録したコンテンツを要約したダイジェストを作成し、 これを再生するものが知られている。このダイジェスト再生は、記録したコンテンツ中 のハイライトシーンなど特徴的なシーンを中心に再生させることができるため、ユーザ が短時間で大まかなコンテンツの内容を把握した!/、場合や、見た 、番組を検索する 場合に利用される。
[0003] ところで、ダイジェストを作成するに当たって、その特徴的なシーンを抽出する方法 として、各種提案が為されている。例えば、特許文献 1や特許文献 2では、画像の顔 領域が存在するフレーム、画像の連続性が無 、フレーム（シーンチェンジ後のフレー ム）等に応じて代表フレームを抽出し、当該代表フレームを先頭としてダイジェスト再 生を行うようにしている。また、特許文献 3では、コンテンツに含まれる音声情報に着 目し、基準となる基準音声レベルよりも大きい区間が所定時間継続した場合に、その 基準音声レベルより大きい区間を抽出してダイジェスト再生を行うようにしている。 特許文献 1：特開 2003— 283993号公報
特許文献 2 :特開平 9一 312827号公報
特許文献 3：特開平 10— 32776号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、上記の特許文献に記載されたダイジェスト再生方法は、顔領域が存 在するフレームや音声レベルが大きい区間など、いずれも特徴的なシーンを抽出し ているため、見たい番組を検索するためにダイジェスト再生を行う際に、ユーザが望 まないシーンを含んでいる可能性がある。例えば、スポーツ番組を記録した際に、試 合結果がダイジェストに含まれていたり、ドラマを記録した際に、その結末がダイジェ ストに含まれていたりするような場合である。このため、ダイジェストを番組検索用とし て用いる場合は、コンテンツの結果が判らない範囲で、いわゆる番組予告編に近いも のを再生することが望まれて 、る。
[0005] そこで、本発明は、視聴者の視聴意欲を損ねることがな 、ダイジェストを作成可能 なダイジェスト作成装置およびそのプログラムを提供することを目的とする。
課題を解決するための手段
[0006] 本発明のダイジェスト作成装置は、映像情報と音声情報の少なくともいずれか一方 を含むコンテンツを取得するコンテンツ取得手段と、取得したコンテンツの時間軸上 における全コンテンツ区間から、映像情報と音声情報の少なくともいずれか一方に基 づいて、ハイライトシーンを含むハイライト区間を検索するハイライト区間検索手段と、 全コンテンッ区間力もハイライト区間を除 ヽた残区間の中から、コンテンッのダイジェ ストを作成するための要素となる部分シーンを抽出する部分シーン抽出手段と、抽出 した部分シーンを用いて、ダイジェストを作成するダイジェスト作成手段と、を備えて いることを特徴とする。
[0007] この構成によれば、全コンテンツ区間から、ハイライトシーンを含むノ、イライト区間を 除いた残区間の中から、ダイジェストを作成するための要素となる部分シーンを抽出 するため、ダイジェストの中にハイライトシーンが含まれることがない。従って、作成さ れたダイジェストを視聴することによって、そのコンテンツの特徴的な内容や結果が判 つてしま 、、視聴者の視聴意欲を損ねてしまう t 、つたことがな!/、。
[0008] なお、「コンテンツ」には、映像情報および音声情報から成るもの (テレビジョン番組 など）、映像情報だけのもの（例えば無声映画など）、並びに音声情報だけのもの（例 えば音楽やラジオ番組など）が含まれる。また、「ハイライトシーン」とは、スポーツ番組 の試合結果やドラマの結末など、視聴者が最も興味をそそられるシーンや盛り上がる シーンなど、そのコンテンツの特徴的なシーンを指す。また、ハイライトシーン (ハイラ イト区間）の検索は、例えば映像に顔領域が含まれているシーンを抽出する方法や、 音声レベルや音圧レベルが基準値を超えているシーンを抽出する方法など、従来技 術を適用可能である。また、「ダイジェスト」とは、コンテンツの内容を要約した要約情 報を指す。
[0009] 上記のダイジェスト作成装置において、取得したコンテンツを記録する記録手段を さらに備え、ハイライト区間検索手段は、記録手段による記録と同期して、ハイライト 区間の検索を行うことが好まし 、。
[0010] この構成によれば、コンテンツの記録に伴ってハイライト区間を検索するため、記録 終了時には、ノ、イライト区間の検索を終えた状態となる。従って、コンテンツの記録後 にハイライト区間を検索する場合と比較して、その分ダイジェストの作成に要する時間 を短縮することができる。
[0011] 上記のダイジェスト作成装置において、ダイジェストを再生するダイジェスト再生手 段をさらに備え、ダイジェスト作成手段は、抽出した部分シーンの開始点を示すアド レスと当該部分シーンの区間長とを示す区間データ力 成るダイジェスト再生情報を 作成し、ダイジェスト再生手段は、ダイジェスト再生情報と、記録手段によるコンテンツ の記録データとに基づ 、て、ダイジェストを再生することが好ま 、。
[0012] この構成によれば、コンテンツの記録データの中力 ダイジェスト再生情報に該当 する部分シーンを読み出すことによって、ダイジェストを再生することができる。すなわ ち、コンテンツの記録データの一部を抽出したダイジェスト用のデータを、コンテンツ の記録データとは別に保存しておくといった必要が無ぐ部分シーンの開始点を示す アドレスとその区間長とを示す区間データを保存しておくだけで良いため、ダイジエス ト保存用のメモリ使用量を少なくすることができる。
[0013] 上記のダイジェスト作成装置において、コンテンツには、シーン毎に記録されたメタ データが付帯されており、ハイライト区間検索手段は、映像情報と音声情報の少なく ともいずれか一方と共にメタデータに基づいて、ハイライト区間を検索することが好ま しい。
[0014] この構成によれば、映像情報や音声情報以外に、メタデータも考慮するため、より 的確にハイライトシーンを含むハイライト区間を検索することができる。なお、「メタデ ータ」とは、コンテンツ全体の内容に関する記述、制作者、著作権などに関する情報 などの他、コンテンツに含まれる各シーンの詳細な情報を含むものである。 [0015] 上記のダイジェスト作成装置において、コンテンツは、音声情報を含むものであり、 ノ、イライト区間検索手段は、ハイライト区間として、音声情報に基づいて算出した音圧 レベルが、所定の大音閾値以上となる大音圧区間を検索し、部分シーン抽出手段は
、ハイライト区間の開始点から所定時間 taだけ (ta>0)遡った時点を開始点とする部 分シーンを抽出することが好ましい。
[0016] この構成によれば、音圧レベルが所定の閾値以上となる大音圧区間の開始点から 所定時間 taだけ (ta >0)遡った時点を開始点とする部分シーン、すなわちハイライト シーンの前のシーンを抽出するため、視聴者の視聴意欲を高めると想定されるシー ンを含むダイジェストを作成することができる。
[0017] 上記のダイジェスト作成装置において、所定時間 taは、ハイライト区間の区間長 hi ( hl>0)と、定数 a (0< a≤ 1)とを乗算して得られる時間であることが好ましい。
[0018] この構成によれば、ハイライト区間の区間長に応じて、抽出する部分シーンの開始 点を決定することができる。これは、ハイライトシーンが長い場合は、その前段となる シーンも長いとの経験則に基づくものである。
[0019] 上記のダイジェスト作成装置において、部分シーンの終了点は、ハイライト区間の 開始点から所定時間 tb (0≤tb< ta)だけ遡った時点であることが好ま 、。
[0020] この構成によれば、ハイライト区間の開始点力 所定時間 tb (0≤tb< ta)だけ遡つ た時点を抽出する部分シーンの終了点とするため、例えばハイライト区間の区間長 に応じて、抽出する部分シーンの開始点を決定する場合は、区間長に応じた長さ（ 区間長: ta— tb)の部分シーンを抽出することができる。
[0021] 上記のダイジェスト作成装置において、部分シーンの終了点は、部分シーンの開始 点から、当該部分シーンの区間長に相当する所定時間 tp (tp≤hl * α )だけ経過し た時点であることが好まし 、。
[0022] これらの構成によれば、ハイライト区間の長さに関わらず、一定の長さ（区間長： ta
—tb)の部分シーンを抽出することができる。従って、ダイジェストに複数の部分シー ンが含まれる場合、シーン長が一定のバランスの良いダイジェストを作成することがで きる。
[0023] 上記のダイジェスト作成装置において、ハイライト区間検索手段により、複数のハイ ライト区間が検索された場合、ダイジェスト作成手段は、各部分シーンを抽出する基 準となる各ハイライト区間の区間長に応じて、抽出された部分シーンに優先度を設定 し、当該優先度の高い部分シーンから、ダイジェストの要素として組み込んでいくこと が好ましい。
[0024] この構成によれば、ハイライト区間の区間長に応じた優先順位で、そのハイライト区 間に基づ 、て抽出した部分シーンをダイジェストに組み込んで行くことができる。従つ て、ハイライトシーンの長いもの、すなわち盛り上がりのより大きいシーンを優先的に ダイジェストに組み込むことで、視聴者の視聴意欲をより高めることができる。一方、 ハイライトシーンではある力 その長さの短いものを優先的にダイジェストに組み込む ようにすれば、コンテンツの結末がより想定しづらいダイジェストを作成することができ る。
[0025] なお、この場合、音声情報に基づいて算出した音圧レベルが、所定の小音閾値以 下となる小音圧区間を検索する小音圧区間検索手段と、小音区間検索手段との検 索結果に基づいて、全コンテンツ区間から、コマーシャルシーンを含む本編外シーン を抽出する本編外シーン抽出手段と、をさらに備え、部分シーン抽出手段は、抽出さ れた本編外シーンの直後の所定区間を、重要部分シーンとして抽出し、ダイジェスト 作成手段は、重要部分シーンの優先度を最大値に設定して、当該重要部分シーン 力もダイジェストの要素として組み込んで!/、くようにしても良!、。
[0026] この構成によれば、検索した小音圧区間に基づいて、コマーシャルシーンを含む本 編外シーンを抽出し、その直後のシーンを重要部分シーンとして優先的にダイジエス トに含めることができる。例えば、コンテンツがアニメの場合などは、コマーシャル直後 にアニメの題目やテロップが表示されることが多いが、これをダイジェストに含めること で、視聴者はより的確に内容を把握することができる。なお、「本編外シーン」とは、コ マーシャルシーンの他、天気予報や番組コーナーなど、コンテンツの本編ではないと 考えられる区間を指す。
[0027] また、この場合、部分シーン抽出手段は、ハイライト区間を基準にして抽出した各部 分シーンの一部または全体が本編外シーンと重なる場合、その重複したシーンを部 分シーン力 削除しても良い。 [0028] この構成によれば、例えばノヽイライトシーンの前のシーンとして抽出した部分シーン
1S コマーシャルシーンと重なってしまった場合、そのコマーシャルシーンを除く部分 シーンを抽出することができる。従って、確実に本編外シーンを含まないダイジェスト を作成することができる。
[0029] 上記のダイジェスト作成装置において、大音閾値を設定する閾値設定手段をさらに 備えていることが好ましい。
[0030] この構成によれば、視聴者の好みやニーズに応じて、大音圧区間の検索基準とな る大音閾値を設定することができる。
[0031] 上記のダイジェスト作成装置において、部分シーン抽出手段により抽出された複数 の部分シーンのうち、少なくとも 2つの部分シーンの一部または全体が重なる場合、 ダイジェスト作成手段は、重なった 2つ以上の部分シーンを、連続する 1つの部分シ ーンとして、ダイジェストに組み込むことが好まし!/、。
[0032] この構成によれば、抽出した部分シーンが重なってしまった場合でも、ダイジェスト 中に同じシーンが含まれることがない。すなわち、一般にダイジェストは、短時間で効 率的に内容を把握することを課題としているため、そういった点において、より適切な ダイジェストを作成することができる。
[0033] 上記のダイジェスト作成装置にぉ 、て、ダイジェスト作成手段は、複数の部分シー ンを用いてダイジェストを作成する場合、当該複数の部分シーンを、時系列に従って 並び替えることが好ましい。
[0034] この構成によれば、抽出した複数の部分シーンを時系列に従って並び替えるため、 ダイジェストを再生する際に、連続して再生される部分シーンが時間的に前後すると いった違和感を無くすことができる。また、番組予告編に近いダイジェストを作成する ことができる。
[0035] 上記のダイジェスト作成装置において、部分シーン抽出手段は、全コンテンツ区間 内の任意の区間である対象区間の中から、部分シーンを抽出することが好ましい。
[0036] また、上記のダイジェスト作成装置にぉ 、て、対象区間は、コンテンツの開始点から 、全コンテンツ区間と定数 j8 (0< j8 < 1)とを乗算して得られる時間だけ経過した時 点までの区間であることが好ま U、。 [0037] これらの構成によれば、全コンテンツ区間の中から、部分シーンの抽出対象区間を 絞ることができる。これにより、例えばスポーツ番組の試合結果をダイジェストに含め たくないような場合、対象区間を全コンテンツ区間の前半 (全コンテンツ区間と定数 |8 (0< /3ぐ 1)とを乗算して得られる時間）に絞ることで、より確実にダイジェスト内に試 合結果が含まれることを避けることができる。
[0038] 上記のダイジェスト作成装置において、部分シーン抽出手段は、全コンテンツ区間 または対象区間を複数の小区間に分割し、各小区間から少なくとも 1つの部分シーン を抽出することが好ましい。
[0039] この構成によれば、複数の小区間から少なくとも 1つの部分シーンを抽出するため、 全コンテンツ区間または対象区間からバランス良ぐ部分シーンを抽出することができ る。すなわち、コンテンツの中の一部に長いハイライトシーンがあるような場合であつ ても、その長いハイライトシーンに基づいて抽出された部分シーンだけを含むようなダ イジ ストが作成されることがな 、。
[0040] 本発明のプログラムは、上記のダイジェスト作成装置における各手段として機能さ せるためのものであることを特徴とする。
[0041] このプログラムを用いることにより、視聴者の視聴意欲を損ねることがな 、ダイジエス トを作成可能なダイジェスト作成装置を実現することができる。
図面の簡単な説明
[0042] [図 1]本発明の一実施形態に係る録音再生装置のブロック構成図である。
[図 2]部分シーンの抽出方法を説明する音圧レベル波形図である。
[図 3]部分シーンをダイジェストに組み込む際の優先度の決定方法を説明する図であ る。
[図 4]大音圧区間の検索処理を示すフローチャートである。
[図 5]第 1実施形態に係るダイジェスト作成処理を示すフローチャートである。
[図 6]部分シーンを抽出する他の方法を説明する音圧レベル波形図である。
[図 7]重複する部分シーンの抽出方法を説明する音圧レベル波形図である。
[図 8]部分シーンの優先度を決定する他の方法を説明する音圧レベル波形図である [図 9]第 2実施形態に係る対象区間力 の部分シーンの抽出方法を説明する音圧レ ベル波形図である。
[図 10]第 2実施形態に係るダイジェスト作成処理を示すフローチャートである。
[図 11]第 3実施形態に係る各小区間力もの部分シーンの抽出方法を説明する音圧レ ベル波形図である。
[図 12]第 3実施形態に係るダイジェスト作成処理を示すフローチャートである。
[図 13]第 4実施形態に係る録音再生装置のブロック構成図である。
[図 14]第 4実施形態に係る本編外シーン直後の重要部分シーンの抽出方法を説明 する音圧レベル波形図である。
[図 15]第 4実施形態に係るダイジェスト作成処理を示すフローチャートである。
符号の説明
[0043] 10:録音再生装置， 20:コンテンツ取得部， 30:制御部， 40:音声解析部， 50:記 憶部， 60:再生部， 61:コンテンツ再生部， 62:ダイジェスト再生部， 81:受信アンテ ナ， 82:外部機器， 91:表示装置， 92:UI入力装置， DCs:本編外シーンの開始点 , DCe:本編外シーンの終了点， Ds:全コンテンツの区間の開始点， De:全コンテン ッの区間の終了点， DHs:大音圧区間の開始点， DHe:大音圧区間の終了点， DPs ：部分シーンの開始点， DPe:部分シーンの終了点， DPis:重要部分シーンの開始 点， DPie:重要部分シーンの終了点， hi:大音圧区間の区間長， tp:部分シーンの 区間長， T:全コンテンツの区間長， THb:大音閾値， THs:小音閾値
発明を実施するための最良の形態
[0044] 以下、添付の図面を参照して、本発明の一実施形態に係るダイジェスト作成装置 およびそのプログラムについて説明する。本発明は、映像情報（映像信号)および/ または音声情報 (音声信号)を含むコンテンツの全コンテンツ区間から、 1以上のハイ ライトシーンを抽出し、当該ハイライトシーンを除く残区間の中からダイジェストを作成 するための要素となる部分シーンを抽出することを特徴とするものである。そこで、本 発明のダイジェスト作成装置を、映像情報および音声情報を含むコンテンツの記録 および再生を行う記録再生装置に適用した場合を例に挙げて説明する。
[0045] 図 1は、本発明の一実施形態に係る記録再生装置 10のブロック構成図である。同 図に示すように、記録再生装置 10は、外部からコンテンツを取得するコンテンツ取得 部 20と、各種制御を行う制御部 30と、音声情報に基づく解析を行う音声解析部 40と 、各種情報を記憶する記憶部 50と、コンテンツやダイジェストの再生を行う再生部 60 と、力も成る。なお、「ダイジェスト」とは、コンテンツの内容を要約した要約情報を指す
[0046] コンテンツ取得部 20は、受信アンテナ 81から、地上波、 BS、 CS等のテレビジョン 放送を受信する場合、いわゆるチューナが主要構成要素となる。また、外部機器 82 ( 外部出力端子を有するテレビ、ビデオ再生機、 DVD再生機、パーソナルコンビユー タ、各種チューナ等)からコンテンツを取得する場合は、外部入力端子が主要構成要 素となる。なお、特に図示しないが、コンテンツ取得部 20は、インターネットなど通信 網を介して配信される映像 Z音楽データをコンテンツとして取得することも可能であり 、その場合にはインターネット接続部分が主要構成要素となる。また、コンテンツ取得 部 20として各種半導体メモリや各種光ディスクの読み取り装置を搭載している場合は 、それらに記録されているコンテンツを取得することも可能である。
[0047] 制御部 30は、記録再生装置 10の各部を統括して各種制御を行うものであり、具体 的には、取得したコンテンツを記録するコンテンツ記録部 31と、取得したコンテンツか らダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出部 32と、抽出した部分シーンに基づいてダイジェストを再生するための情報（以下、「ダ イジエスト再生情報」と称する）を作成するダイジェスト作成部 33と、コンテンツの中か らハイライトシーンを検索するための基準レベルとなる閾値を設定する閾値設定部 3 4と、を備えている。
[0048] なお、上記の「ノヽイライトシーン」とは、スポーツ番組の試合結果やドラマの結末など 、視聴者が最も興味をそそられるシーンや盛り上がるシーンなど、そのコンテンツの 特徴的なシーンを指す。本実施形態では、このハイライトシーンを音声情報に基づい て検索する。すなわち、音声によって盛り上がりを判断する。
[0049] 音声解析部 40は、コンテンツの中からハイライトシーン（=ハイライト区間 =大音圧 区間）を検索する大音圧区間検索部 41を備えている。音声解析部 40は、コンテンツ に含まれる音声情報 (音声波形情報)を解析して、単位時間あたりの平均音圧レベル (以下、単に「音圧レベル」と称する）を算出し、図 2等に示すような音圧レベル波形を 生成する。そして、大音圧区間検索部 41は、この生成された音圧レベル波形に基づ いて、上記の閾値設定部 34により設定された (後述の閾値記憶部 54に記憶されてい る)所定の閾値 (以下、「大音閾値」と称する)以上となる区間 (以下、「大音圧区間」と 称する)を検索する。
[0050] 記憶部 50は、上記のコンテンツ記録部 31によって記録されたコンテンツの記録デ ータ（以下、「コンテンツ記録データ」と称する）を記憶するコンテンツ記録データ記憶 部 51と、大音圧区間検索部 41の検索結果を記憶する大音圧区間記憶部 52と、ダイ ジェスト作成部 33によって作成されたダイジェスト再生情報を記憶するダイジェスト再 生情報記憶部 53と、閾値設定部 34によって設定された大音閾値を記憶する閾値記 憶部 54と、を備えている。なお、記憶部 50は、ハードディスク、各種半導体メモリ、各 種光ディスク等により構成可能であり、その種類は問わない。
[0051] 再生部 60は、記録したコンテンツを再生するコンテンツ再生部 61と、ダイジェストを 再生するダイジェスト再生部 62と、を備えている。コンテンツ再生部 61は、上記のコ ンテンッ記録データ記憶部 51から読み出したコンテンッ記録データに基づ!/、てコン テンッを再生し、表示装置 91に表示させる。また、ダイジェスト再生部 62は、上記の ダイジェスト再生情報記憶部 53から読み出したダイジェスト再生情報と、上記のコン テンッ記録データとに基づいてダイジェストを再生し、同じく表示装置 91に表示させ る。
[0052] ここで、上記のとおり構成された記録再生装置 10の一連の処理について、図 2およ び図 3に示す音圧レベル波形の一例を参照して説明する。例えば、リモコン等の UI ( ユーザインターフェース)入力装置 92を用いて、ユーザ (視聴者)からコンテンツの記 録が指示された場合、記録再生装置 10は、コンテンツ取得部 20を介してコンテンツ を取得し、コンテンツ記録咅 31によってこの取得したコンテンツを記録する。また、コ ンテンッの記録に同期して、大音圧区間検索部 41により大音圧区間を検索する。具 体的には、音圧レベルが大音閾値 (THb)以上となる大音圧区間を検索し、その開 始点 (DHs)のアドレスとその区間長 (hi)とを示すデータを大音圧区間記憶部 52に 記憶する（図 2参照)。 [0053] コンテンツの記録を終了すると、そのコンテンツ記録データはコンテンツ記録データ 記憶部 51に格納しておく。また、大音圧区間記憶部 52に記憶されているデータに基 づいて、部分シーン抽出部 32によりダイジェストに含めるための部分シーンを抽出す る。図 2に示すように、部分シーンとしては、大音圧区間の開始点（DHs)力も所定時 間 ta遡った時点を開始点 (DPs)とすると共に、大音圧区間の開始点 (DHs)力も所 定時間 tb (但し、 ta>tb≥0)遡った時点を終了点 (DPe)とする区間（図示斜線部） を抽出する。従って、抽出される部分シーンの区間長は、 tp = ta— tbである。
[0054] 続いて、ダイジェスト作成部 33により、部分シーン抽出部 32の抽出結果に基づい て、ダイジェスト再生情報を作成する。ダイジェスト作成部 33では、部分シーンを抽出 する基準となる大音圧区間の区間長 (hi)に応じて、優先順位を付け、優先順位の高 いものからダイジェストに組み込んでいく。例えば、図 3に示すように、録画時間に相 当する全コンテンツ区間（区間長: T,開始点: Ds,終了点: De)の中に、大音圧区間 (区間長: hll, hl2, hl3)が 3つ存在する場合、各大音圧区間に基づいて部分シー ン（区間長: tpl, tp2, tp3)が抽出されることとなる力 その部分シーンに対応する大 音圧区間の区間長の長い順 (hl2→hl3→hll)にダイジェストに組み込んでいく。従 つて、部分シーンの優先順位は、第 2部分シーン→第 3部分シーン→第 1部分シーン となり、各部分シーンの開始点（DPs2, DPs3, DPsl)のアドレスと区間長（tp2, tp 3, tpl)とを示す区間データを、ダイジェスト再生情報として、ダイジェスト再生情報記 憶部 53に記憶する。
[0055] 一方、ユーザが見たい番組を検索するために、 UI入力装置 92を用いて、ダイジェ ストの再生を指示した場合、ダイジェスト再生部 62は、コンテンツ記録データ記憶部 5 1力 読み出したコンテンツ記録データの中から、ダイジェスト再生情報に含まれる区 間データに該当する区間を読み出して、ダイジェストを再生する。なお、ダイジェスト 再生情報とコンテンツ記録データとに基づ 、てダイジェストを作成するのではなく、ダ イジエストを作成するためのデータを別途作成し、そのデータに基づ 、てダイジェスト を再生することも可能である。
[0056] また、ユーザにより、ダイジェストの再生中においてコンテンツの再生指示が為され た場合は、そのダイジェストを作成する基となったコンテンツを、コンテンツ再生部 61 により再生する。なお、必ずしもダイジェストを再生させる必要はなぐ表示装置 91に コンテンツリストを表示しておき、その中力もユーザが選択したコンテンツを再生する ことも可能である。
[0057] また、ユーザは、 UI入力装置 92を用いて、大音閾値 (THb)の値を設定することが 可能である（閾値設定部 34)。設定された大音閾値の値は、閾値記憶部 53に記憶さ れ、大音圧区間検索部 41の検索時において参照される。なお、大音閾値以外にも、 ユーザは UI入力装置 92を用いて、作成するダイジェストの全体長さや、抽出する部 分シーンの開始点や終了点を決定するための値 (ta, tb)を設定可能となっている。 但し、これら大音閾値、ダイジェストの全体長さ、 ta, tbの値は、ユーザによって特に 設定されない場合、デフォルトの設定値を利用する。
[0058] 次に、図 4のフローチャートを参照し、大音圧区間検索部 41による大音圧区間の検 索処理について説明する。当該処理は、コンテンツの記録に同期して、単位時間毎（ 例えば 1Z60秒毎）に実行される。同図に示すように、まず単位時間における音圧レ ベルが、設定されている大音閾値以上であるか否かを判別する（S01)。大音閾値以 上でない場合（SOI :No)、 1つ前の単位時間は大音閾値以上であつたか否かを判 別し (S02)、大音閾値以上であった場合は (S02 :Yes)、大音圧区間の終了点を設 定する（S03)。
[0059] 一方、 S01において、今回検索対象となっている単位時間の音圧レベルが大音閾 値以上であると判別した場合は（S01： Yes)、 1つ前の単位時間も大音閾値以上で あった力否かを判別し (S04)、大音閾値以上でな力つた場合は（S04 : No)、大音圧 区間の開始点を設定する (S05)。
[0060] 大音圧区間の開始点または終了点の設定後、若しくは S04において、 1つ前の単 位時間が大音閾値以上であつたと判別した場合や（S04 : Yes)、 S02において、 1つ 前の単位時間が大音閾値以上でな力つたと判別した場合は（S02 :No)、コンテンツ の記録を終了した力否かを判別し（S06)、終了していない場合は（S06 : No)、上記 の処理を繰り返す。
[0061] また、記録を終了した場合は（S06： Yes)、 S05で大音圧区間の開始点を設定して V、れば大音圧区間の終了点が設定されて 、る力否かを判別し (S07)、設定されて!、 ない場合は（S07 :No)、大音圧区間の終了点を設定して (S08)、処理を終了する。 すなわち、大音圧区間の終了点が設定されないまま記録を終えた場合は終了点を 設定して、処理を終了する。
[0062] 次に、図 5のフローチャートを参照し、ダイジェスト作成部 33による本実施形態のダ イジェスト作成処理について説明する。上記のとおり、ダイジェスト作成処理はコンテ ンッの記録開始 (ユーザによる記録指示、若しくは予約記録の場合はその指定時間 の計時）に伴って、処理を開始する（Sl l)。そして、周期的に記録終了か否かを判 別し (S12)、記録終了でない場合は（S12 :No)、コンテンツの音圧レベル力 大音 閾値 (THb)以上となる大音圧区間を検索する（S13)。なお、これら S12および S13 の処理は、図 4に示した大音圧区間の検索処理に相当するものである。
[0063] この検索を記録終了まで繰り返すと（S12 : Yes)、続いて大音圧区間の区間長 hiに 比例した優先度を付け、抽出する部分シーンの開始点（DPs)を決定する（S14)。す なわち、図 3の例の場合、 [DPs2, DPs3, DPsl]を決定する。さらに、優先度の高 いものから、部分シーンの終了点（DPe)を決定し、ダイジェストに組み込む (ダイジェ スト再生情報に組み込む， S15) 0すなわち、図 3の例の場合、まず [DPe2]を決定し 、第 2部分シーンをダイジェストに組み込む。
[0064] さらに、ダイジェストに組み込む度に、抽出した部分シーンの合計（区間長の合計） 力 ダイジェストの全体長さ (ダイジェストの全再生時間）を超えているか否かを判別し (S16)、超えていない場合は（S16 :No)、次に優先度の高い部分シーンの終了点 を決定し、その部分シーンをダイジェストに組み込んでいく（S15)。
[0065] また、抽出した部分シーンの合計力 ダイジェストの全体長さを超えた場合は（S16 ： Yes)、最後にダイジェストにカ卩えた部分シーンを削除する（S17)。これは、ダイジェ ストの全体長さが予め所定時間内に定められているためであり、時間に制限が無い 場合は (ユーザの設定により、ダイジェストの再生時間の制限を無くすことも可能であ る）、 S16および S17に代えて、抽出した全ての部分シーンをダイジェストに組み込む 。また、ダイジェストの全体長さが予め所定時間内に定められている場合でも、全て の部分シーンの組み込みを終了した場合は、ダイジェストの全体長さとして定められ ている所定時間に達しなくとも、次の工程 (S 18)に移行する。 [0066] そして、最後に抽出した部分シーンを時系列に従って並び替えを行い（S18)、処 理を終了する。すなわち、図 3の例の場合、第 2部分シーン→第 3部分シーン→第 1 部分シーンの順にダイジェストに組み込まれたこととなる力 これを第 1部分シーン→ 第 2部分シーン→第 3部分シーンの順に並び替える。
[0067] 以上のとおり、本実施形態によれば、大音圧区間の開始点 (DHs)力も所定時間 ta 遡った時点を開始点 (DPs)とすると共に、大音圧区間の開始点 (DHs)から所定時 間 tb (但し、 ta>tb≥0)遡った時点を終了点 (DPe)とする区間（区間長: tp)を、ダイ ジェストに組み込むための部分シーンとして抽出するため、ハイライトシーン前のシー ン、すなわちユーザが最も興味をそそられるシーンや盛り上がるシーンをダイジェスト に組み込むことができる。また、ノ、イライトシーンそのもの（例えば、スポーツの試合結 果ゃドラマの結末な）をダイジェストに含めないため、作成されたダイジェストの視聴 によって、ユーザの視聴意欲が損なわれることがな 、。
[0068] また、ダイジェスト作成処理にぉ 、ては、コンテンツの記録に伴って大音圧区間を 検索するため、記録終了時には、大音圧区間の検索を終えた状態となる。従って、コ ンテンッの記録後に、再度コンテンツを読み出して大音圧区間を検索する必要が無 ぐその分ダイジェストの作成に要する時間を短縮することができる。
[0069] また、ダイジェストの再生は、コンテンツ記録データの中力 ダイジェスト再生情報（ 1以上の区間データ (部分シーンの開始点を示すアドレスとその区間長とを示すデー タ）から成る）に該当する部分シーンを読み出すことによって行うため、コンテンツ記 録データの一部を抽出したダイジェスト用のデータを作成して、コンテンツ記録デー タとは別に保存しておくといった必要が無い。このため、ダイジェスト保存用のメモリ（ ダイジェスト再生情報記憶部 53)としては、ダイジェスト再生情報を保存するだけの容 量で済む。
[0070] また、ダイジェストに組み込む部分シーンは、これを抽出した基準となる大音圧区間 の区間長に応じた優先順位に従って決定するため、ハイライトシーンの長いもの、す なわち盛り上がりのより大きいシーンを優先的にダイジェストに組み込むことができ、 ひいてはユーザの視聴意欲をより高めることができる。
[0071] また、抽出した複数の部分シーンは、時系列に従って並び替えるため、ダイジェスト を再生する際に、連続して再生される部分シーンが時間的に前後するといつた違和 感を無くし、より番組予告編に近いダイジェストを作成することができる。
[0072] なお、上記の例では、音圧区間の開始点（DHs)から所定時間 ta遡った時点を部 分シーンの開始点 (DPs)としたが（図 2参照）、抽出する部分シーンの開始点 (DPs) を、抽出する基準となる大音圧区間の区間長 hiに比例して、決定しても良い。これは 、ノ、イライトシーンが長い場合は、一般にその前段となるシーンも長いと考えられるた めである。この場合、部分シーンの開始点（DPs)を決定するための所定時間 ta'は、 図 6に示すように、大音圧区間の開始点 (DHs)から、大音圧区間の区間長 hl (hl>0 )と、定数 α (0< α≤1)とを乗算した値により決定することができる。
[0073] 一方、上記の例では、大音圧区間の開始点 (DHs)から所定時間 tb遡った時点を 部分シーンの終了点（DPe)とするものとした力 図 6に示すように、部分シーンの終 了点は、部分シーンの開始点（DPs)から、当該部分シーンの区間長に相当する所 定時間 tp' (tp，≤hl* α )だけ経過した時点として、決定するようにしても良い。この 構成によれば (図 2の例の場合も同様であるが）、大音圧区間の長さに関わらず、一 定の長さ（区間長: tp' )の部分シーンを抽出することになるため、ダイジェストに複数 の部分シーンが含まれる場合、シーン長が一定のバランスの良いダイジェストを作成 することができる。
[0074] 一方、部分シーンの区間長を一定とするのではなぐ大音圧区間の区間長 hiに応 じて部分シーンの区間長を可変しても良い。この場合、例えば部分シーンの開始点（ DPs)を、大音圧区間の区間長 hiに応じて決定し (大音圧区間の開始点 (DHs)から (hi * α )だけ遡った時点）、部分シーンの終了点 (DPe)を、大音圧区間の開始点（ DHs)から一定時間 tbだけ遡った時点として決定しても良い（図示省略)。また、この 場合、所定時間 tbの値を 0とすれば、大音圧区間の区間長 hiに比例して部分シーン の区間長を決定することができる。これらの構成によれば、ハイライトシーンの長さに 応じて、興味深いと考えられる部分シーンをより長ぐダイジェストの 1シーンとして再 生させることができる。
[0075] また、上記の例では、大音圧区間の開始点 (DHs)を基準にして、部分シーンを抽 出しているため、所定時間 ta, tbの値や音圧レベル波形によっては、抽出した部分 シーンが重なってしまう場合がある。図 7は、その一例を示したものであるが、第 1大 音圧区間（区間長: hll)に基づいて抽出した第 1部分シーン（区間長: tpl,図示左 下がり斜線部)の後半と、第 2大音圧区間（区間長: hl2,図示右下がり斜線部）に基 づ 、て抽出した第 2部分シーン（区間長： tp2)の前半が重なって 、る。このような場 合、第 1部分シーンの開始点（DPsl)力も第 2部分シーンの終了点（DPe2)までを、 1つの部分シーンとして抽出することが好ましい（図示（1)参照)。
[0076] 但し、同図の例の場合、第 2部分シーン（開始点: DPs2,終了点: DPe2)が第 1大 音圧区間（開始点： DHsl,終了点： DHel)と重なっているため、その重複した区間（ DHsl〜DHel)は、部分シーンから削除することが好ま 、（図示（2)参照)。
[0077] さらに、この削除によって、抽出される部分シーンは、 DPsl〜DHsl, DHel〜DP e2までとなる力 DHel〜DPe2のように、抽出した部分シーンの区間長がごく僅かと なる場合 (人間が視聴してその内容を把握できない程度、例えば 2秒以下など）は、 部分シーンとして抽出しないことが好ましい。従って、図 7に示す例の場合、最終的に 区間 DPsl〜DHslを部分シーン（区間長： tp,開始点： DPs,終了点： DPe)として 抽出することが好ま U、（図示 (3)参照)。
[0078] これらの構成によれば、抽出した部分シーンが重なってしまった場合でも、ダイジェ スト中に同じシーンが含まれることがない。また、抽出した部分シーンに大音圧区間 が含まれるような場合は、その大音圧区間と重なるシーンを削除するため、コンテンツ の結果が判ってしまうようなことが無ぐユーザの視聴意欲を損ねることがない。また、 ごく僅かなシーンの抽出を無くすことができるため、ユーザに違和感を与えないダイ ジェストを作成することができる。
[0079] また、上記の例では、大音圧区間や部分シーン (ダイジェスト再生情報)など、各区 間の開始点のアドレスとその区間長とを示すデータ（区間データ)を記憶するものとし た力 これに代えて各区間の開始点と終了点のアドレスを記憶しても良い。
[0080] また、上記の例では、図 3に示すように、大音圧区間の区間長の長いものから、部 分シーンの優先度を決定するものとしたが、逆に大音圧区間の区間長の短いものを 優先しても良い。この構成によれば、ハイライトシーンの長さの短いものを優先的にダ イジェストに組み込むことで、コンテンツの結末がより想定しづら 、ダイジェストを作成 することができる。
[0081] 一方、図 8に示すように、区間長 hiの長いものを優先とするだけでなぐ大音閾値（ THb)を超えた音圧レベルの値も考慮して、優先度を決定するようにしても良い。す なわち、大音圧区間における単位時間あたりの音圧レベルの累計（図示網掛部 HI, H2, H3の面積に相当）によって、優先度を決定しても良い。従って、図 8に示す例 では、優先順位が、第 3部分シーン→第 2部分シーン→第 1部分シーンとなる。この 構成によれば、盛り上がりの長さだけでなぐ盛り上がりの程度に応じて、抽出する部 分シーンを決定することができる。
[0082] また、上記の例では、音圧レベルに基づいて、大音圧区間を検索するものとしたが 、コンテンツにメタデータのような付帯情報が付帯されている場合、そのメタデータも 考慮して、ノ、イライトシーンを検索するようにしても良い。すなわち、「メタデータ」には 、一般に、コンテンツ全体の内容に関する記述、制作者、著作権などに関する情報な どの他、コンテンツに含まれる各シーンの詳細な情報 (例えば、コンテンツが、サッカ 一の試合映像の場合、シュート 'コーナーキックなどの試合の動きを示す情報）を含 むため、この各シーンの詳細情報を利用して、ハイライトシーンを検索し、そのハイラ イトシーンに基づいて部分シーンを抽出するようにしても良い。この構成によれば、よ り的確にハイライトシーンを検索することができる。
[0083] また、メタデータ以外にも、映像情報も考慮して、ハイライトシーンを検索するように しても良い。この場合、例えば映像に顔領域が含まれているシーン、シーンチェンジ が早 、シーン、テロップなど文字情報が表示されて 、るシーンなどを画像解析によつ て調査し、それらのシーンを優先的に部分シーンに含めることが好ましい。
[0084] また、上記の例では、大音圧区間の前のシーンをダイジェストの部分シーンとして 抽出するものとしたが、大音圧区間の後のシーンを部分シーンとして抽出しても良い 。すなわち、全コンテンツ区間から大音圧区間を除いた残区間内の任意のシーンを、 部分シーンとして抽出しても良い。
[0085] 次に、図 9および図 10を参照し、本発明の第 2実施形態について説明する。上記 の実施形態では、全コンテンツ区間を対象としてダイジェストを作成するための要素 となる部分シーンを抽出したが、本実施形態では、部分シーンを抽出する対象区間 を制限することを特徴とする。そこで、第 1実施形態と異なる点を中心に説明する。
[0086] 図 9は、本実施形態を説明するための一例となる音圧レベル波形を示したものであ る。本実施形態では、全コンテンツ区間（区間長: T)の開始点 Dsから、全コンテンツ 区間 Tと定数 |8 (0< j8 < 1)とを乗算して得られる時間だけ経過した時点までの区間 (区間長： P1 =T* ）を対象区間として決定する。なお、 j8の値は、 0. 5〜0. 7程 度であることが好ましい。
[0087] 従って、同図の例の場合、全コンテンツ区間に含まれる 3つの大音圧区間（第 1大 音圧区間〜第 3大音圧区間）に基づいて抽出される 3つの部分シーン (第 1部分シー ン〜第 3部分シーン)のうち、対象区間内に存在する 2つの部分シーン (第 1部分シ ーンおよび第 2部分シーン，図示斜線部）のみを、抽出することとなる。なお、対象区 間の決定力も部分シーンの抽出までの処理は、図 1に示したブロック構成図中の部 分シーン抽出部 32において実行されるものである。
[0088] ここで、図 10のフローチャートを参照し、ダイジェスト作成部 33による本実施形態の ダイジェスト作成処理について説明する。なお、各工程に括弧書きで示した参照番 号は、図 5のフローチャートに示した参照番号と同様の処理であることを意味するもの である。従って、それらの詳細な説明は適宜省略する。
[0089] 本実施形態にぉ 、ても、コンテンツの記録開始に伴って、ダイジェスト作成処理を 開始し (S21)、記録終了まで、コンテンツの音圧レベルが、大音閾値 (THb)以上と なる大音圧区間を検索する（S22, 23)。
[0090] 記録終了となると（S22 : Yes)、対象区間の区間長 P1を、 Pl =全コンテンツ区間 T
*定数 j8の計算式力も求め、コンテンツの開始点 Dsから区間長 P1の時点までを対 象区間として決定する（S24)。そして、対象区間に存在する部分シーン（図 9の例の 場合、第 1部分シーン，第 2部分シーン）に対し、それを抽出する基準となった大音圧 区間 (第 1大音圧区間，第 2大音圧区間)の区間長 (hll, hl2)に比例した優先度を つけ、抽出する部分シーンの開始点を決定する（S25)。すなわち、図 9の例の場合、 hl2>hllであるため、 [DPs2, DPsl]を決定する。さらに、優先度の高いものから、 部分シーンの終了点（DPe)を決定し、ダイジェストに組み込む（S 26)。すなわち、図 9の例の場合、まず [DPe2]を決定し、第 2部分シーンをダイジェストに組み込む。 [0091] さらに、ダイジェストに組み込む度に、抽出した部分シーンの合計（区間長の合計） 力 ダイジェストの全体長さを超えるまで、 S26, S27を繰り返し、抽出した部分シー ンの合計が、ダイジェストの全体長さを超えた場合は（S27 : Yes)、最後にダイジエス トに加えた部分シーンを削除する（S28)。さらに、抽出した部分シーンを時系列に従 つて並び替えを行い（S29)、処理を終了する。
[0092] 以上のとおり、本実施形態によれば、全コンテンツ区間の中から、部分シーンの抽 出対象区間を絞ることができるため、例えばスポーツ番組の試合結果をダイジェスト に含めたくないような場合、対象区間を全コンテンツ区間の前半 (全コンテンツ区間 の区間長 Tと定数 |8 (0< j8 < 1)とを乗算して得られる時間 =区間長 P1)に絞ること で、より確実にダイジェスト内に試合結果が含まれることを避けることができる。
[0093] なお、上記の例では、対象区間は、コンテンツの開始点から区間長 P1経過した時 点までであるものとした力 コンテンツの中盤、さらには後半など、任意の区間を対象 区間とすることも可能である。また、対象区間は 1区間に限らず、複数の区間を対象 区間とすることも可能である。
[0094] また、上記の例では、部分シーンが対象区間に含まれるものを、抽出対象とするも のとしたが、仮に部分シーンの一部だけが対象区間に含まれる場合は（言い換えれ ば部分シーンの一部が対象区間に含まれない場合でも）、その部分シーンの開始点 から終了点までを、抽出するようにしても良い。また、逆に部分シーンの全体が対象 区間に含まれない場合は、その部分シーンの抽出を行わないようにしても良い。さら に、部分シーンの一部が対象区間に含まれる割合によつて抽出する力否かを決定し ても良い。
[0095] さらに、部分シーンではなぐ大音圧区間が対象区間に含まれる否かによって抽出 するカゝ否かを決定しても良い。例えば、大音圧区間の全体が対象区間に含まれるも のを抽出対象とする場合、図 9に示した例では、第 2大音圧区間（開始点 DHs2,終 了点 DHe2)の全体が対象区間に含まれないため、対象区間内に存在する第 1大音 圧区間（開始点 DHsl,終了点 DHel)に基づく第 1部分シーン（区間長: tpl,開始 点 DPsl,終了点 DPel)のみを抽出することとなる。
[0096] その他、第 1実施形態において記載した種々の変形例を、本実施形態にも適用可 能である。
[0097] 次に、図 11および図 12を参照し、本発明の第 3実施形態について説明する。本実 施形態は、全コンテンツ区間を複数の小区間に分割し、各小区間から少なくとも 1つ の部分シーンを抽出するようにすることを特徴とする。そこで、上記実施形態と異なる 点を中心に説明する。
[0098] 図 11は、本実施形態を説明するための一例となる音圧レベル波形を示したもので ある。本実施形態では、全コンテンツ区間（区間長: T,開始点: Ds,終了点: De)を、 3つの小区間に分割している。この区間数は、任意に設定しても良いが、多すぎると 意味が無い。例えばダイジェストの全体長さが 18秒で、且つ部分シーンの長さを 6秒 に設定した場合、 10個の区間数に設定してしまうと、結局偏った位置力も部分シーン を抽出してしまうことになるためである。従って、本実施形態では、ダイジェストの全体 長さと、部分シーンの長さとに基づいて、適当な区間数を決定するものとする。
[0099] 図 11の例は、例えばダイジェストの全体長さが 18秒で、且つ部分シーンの長さを 6 秒に設定した場合において、 18÷6≥γ (但し、 γ : 1以上の整数）に該当する γの 最大値から求めた区間数 3に基づいて分割された場合を示している。なお、同図の 例は、大音圧区間の直前のシーンを部分シーンとして抽出する場合 (部分シーンの 区間長： tp = ta— tbで求められるとき、 tbの値を 0とした場合，図 2参照）を示している
[0100] 全コンテンツ区間を 3つの小区間に分割した後の部分シーンの抽出は、上記の実 施形態と同様に、大音圧区間の区間長の長いものを優先する。すなわち、小区間 1 の場合、 2つの大音圧区間（区間長: hll,区間長: hl2)が含まれているが、区間長の 長い大音圧区間（区間長: hl2)に基づく第 2部分シーン (区間長: tp2)を優先して抽 出する。また、小区間 2の場合は、 3つの大音圧区間（区間長: hl3,区間長: hl4,区 間長: hl5)が含まれているが、区間長の長い大音圧区間（区間長: hl5)に基づく第 5 部分シーン (区間長: tp5)を優先して抽出する。また、小区間 3の場合は、大音圧区 間（区間長: hl6)力 つしか存在しないため、その区間長に拘わらず、当該大音圧区 間（区間長: hl6)に基づく部分シーン (区間長: tp6)を抽出する。
[0101] このように、本実施形態では、小区間を設定しない場合、優先度が低いと考えられ る部分シーン（区間長: tp6)であっても、小区間 3の中では、その他の部分シーンは 存在しないため、最大優先度となる。つまり、小区間 1の最大優先度の大音圧区間（ 区間長: hl2)に基づく第 2部分シーン (区間長: tp2)、小区間 2の最大優先度の大音 圧区間（区間長: hl5)に基づく第 5部分シーン (区間長: tp5)、小区間 3の最大優先 度の大音圧区間（区間長: hl6)に基づく第 6部分シーン (区間長: tp6)の順に、各部 分シーンがダイジェストに組み込まれていくこととなる。なお、この小区間の分割（各 小区間の決定)から部分シーンの抽出までの処理は、図 1に示したブロック構成図中 の部分シーン抽出部 32において実行されるものである。
[0102] ここで、図 12のフローチャートを参照し、ダイジェスト作成部 33による本実施形態の ダイジェスト作成処理について説明する。なお、各工程に括弧書きで示した参照番 号は、図 5のフローチャートに示した参照番号と同様の処理であることを意味するもの であり、それらの詳細な説明は適宜省略する。
[0103] 本実施形態にぉ 、ても、コンテンツの記録開始に伴って、ダイジェスト作成処理を 開始し (S31)、記録終了まで、コンテンツの音圧レベルが、大音閾値 (THb)以上と なる大音圧区間を検索する（S32, 33)。
[0104] コンテンツの記録を終了すると（S32 :Yes)、全コンテンツ区間を一定数（図 11の例 では「3」）で除算した時間を小区間として記憶部 50 (図 1参照）に記憶する（S35)。 そして、各小区間に存在する部分シーンに対し、それらを抽出する基準となった大音 圧区間の区間長に比例した優先度をつけ、抽出する部分シーンの開始点を決定す る（S36)。すなわち、図 11の例の場合、小区間 1,小区間 2,小区間 3から 3つの部 分シーンの開始点 [DPs2, DPs5, DPs6]を決定する。さらに、各小区間に存在す る部分シーンの終了点（DPe)を決定し、ダイジェストに組み込む（S37)。すなわち、 図 11の例の場合、 3つの部分シーンの終了点 [DPe2, DPe5, DPe6]を決定し、各 部分シーンをダイジェストに組み込む。
[0105] 以上のとおり、本実施形態によれば、全コンテンツ区間を複数の小区間に分割し、 各小区間から少なくとも 1つの部分シーンを抽出するため、全コンテンツ区間からバラ ンス良ぐ部分シーンを抽出することができる。すなわち、コンテンツの中の一部に長 いハイライトシーンがあるような場合であっても、そのハイライトシーンに基づいて抽出 された部分シーンだけを含むようなダイジェストが作成されることがない。
[0106] なお、上記の例では、全コンテンツ区間を複数の小区間に分割するものとしたが、 第 2実施形態で示した対象区間 (例えば、コンテンツの開始点力も区間長 P1 (P1 = T* ）経過した時点まで)を、複数の小区間に分割するようにしても良い。この構成 によれば、コンテンツの結果がダイジェストに含まれることがなぐしかもコンテンツの 結果を含まない対象区間からバランス良ぐ部分シーンを抽出することができる。
[0107] また、全コンテンツ区間を均等に分割して小区間を決定するものとしたが、各小区 間の区間長を変えても良い。
[0108] また、複数の小区間の中から、時系列に従って最大優先度の部分シーンを抽出す る（図 11の例の場合、小区間 1→小区間 2→小区間 3の順に部分シーンを抽出する） ものとしたが、各小区間の中で最大優先度の大音圧区間の区間長を比較し、その区 間長の長いものを優先的にダイジェストに組み込んでも良い。すなわち、図 11の例 の場合、 hl2>hl5 >hl6であるから、第 2部分シーン→第 5部分シーン→第 6部分シ ーンの順に組み込むこととなる。また、このとき抽出した部分シーンが時系列順に組 み込まれて ヽな 、場合は、時系列に従って並び替えても良 、。
[0109] また、上記の例では、ダイジェストの全体長さを、部分シーンの長さで除算した値以 下となる整数を、区間数としたが、この計算式に限らず、種々の条件を加味した計算 式を用いても良い。
[0110] また、上記の例では、部分シーンおよび大音圧区間が対象区間に含まれるものを、 各小区間において抽出対象としたが、部分シーンまたは大音圧区間のどちらかが含 まれるものを対象としても良いし、区間を跨ぐように部分シーンまたは大音圧区間が 存在する場合は、それらを対象外としても良い。
[0111] その他、上記の実施形態において記載した種々の変形例を、本実施形態にも適用 可能である。
[0112] 次に、図 13ないし図 15を参照し、本発明の第 4実施形態について説明する。本実 施形態は、全コンテンツ区間から、コマーシャルシーンを含む本編外シーンを抽出し 、その抽出した本編外シーンの直後の所定区間を、部分シーンとして優先的に抽出 することを特徴とする。そこで、上記実施形態と異なる点を中心に説明する。 [0113] 図 13は、本実施形態に係るブロック構成図であり、図 14は、本実施形態を説明す るための一例となる音圧レベル波形を示したものである。図 13に示すように、本実施 形態に係る録音再生装置 10は、第 1実施形態のブロック構成図と比較すると、制御 部 30に本編外シーン抽出部 35を備え、音声解析部 40に小音圧区間検索部 42を備 え、さらに記憶部 50に小音圧区間記憶部 55と、本編外シーン記憶部 56とを備えた 点で異なる。
[0114] 小音圧区間検索部 42は、コンテンツの中から、音声情報に基づいて算出した音圧 レベルが、所定の小音閾値 (THs)以下となる小音圧区間を検索する（図 14参照)。 当該所定の小音閾値 (THs)は、閾値設定部 34による設定値に基づくものであり、特 に設定が為されていない場合はデフォルト値を用いる。なお、小音圧区間検索部 42 における処理は、図 4に示した大音圧区間の検索処理において、「大音圧区間」を「 小音圧区間」に、また「大音閾値以上」を「小音閾値以下」に読み替えた処理に相当 する。すなわち、実質的な処理内容は同様であるため、詳細な説明は省略する。
[0115] また、小音圧区間記憶部 55は、小音圧区間検索部 42の検索結果、すなわち各小 音圧区間の開始点のアドレスとその区間長とを示すデータを記憶する。
[0116] 本編外シーン抽出部 35は、大音圧区間検索部 41と、小音区間検索部 42との検索 結果に基づいて、全コンテンツ区間から、本編外シーンを抽出する。具体的には、小 音圧区間記憶部 55に記憶されているデータに基づいて、小音圧区間が所定間隔（ 例えば 15秒間隔など)で存在する区間を、コマーシャルシーンと判断し、最初の小音 圧区間の開始点 (DCs)から最後の小音圧区間の終了点 (DCe)までを本編外シー ンとして抽出する（図 14参照)。
[0117] 本編外シーン記憶部 56は、本編外シーン抽出部 35の抽出結果、すなわち各本編 外シーンの開始点のアドレスとその区間長とを示すデータを記憶する。なお、本編外 シーンとは、コマーシャルシーンの他、天気予報や番糸且コーナーなど、コンテンツの 本編ではないと考えられる区間を指す。
[0118] そして、本実施形態に係る部分シーン抽出部 32は、図 14に示すように、本編外シ ーン抽出部 35により抽出された本編外シーンの直後の所定区間を、重要部分シー ン（区間長: tpi,開始点： DPis,終了点： DPie)として抽出する。 [0119] さらに、本実施形態に係るダイジェスト作成部 33は、上記の本編外シーン直後の重 要部分シーンの優先度を最大値に設定して、ダイジェスト再生情報を作成する (ダイ ジェストに組み込む）。これは、例えばコンテンツがアニメの場合など、コマーシャル直 後にアニメの題目やテロップが表示されることが多いため、これをダイジェストに含め ることで、ユーザがより的確に内容を把握できるようにするためである。なお、 1つのコ ンテンッ中から、複数の重要部分シーンを抽出した場合は、時系列順に優先度が決 定される。すなわち、 0時から 1時までの番組を記録した場合であって、 15分おきにコ マーシャルが放送されるような場合は、 0時 15分付近で放送されたコマーシャルの直 後のシーンを、最も優先度が高い重要部分シーンとして抽出し、 0時 30分付近で放 送されたコマーシャル
の直後のシーンを、次に優先度が高い重要部分シーンとして抽出することとなる。
[0120] ここで、図 15のフローチャートを参照し、ダイジェスト作成部 33による本実施形態の ダイジェスト作成処理について説明する。なお、各工程に括弧書きで示した参照番 号は、図 5のフローチャートに示した参照番号と同様の処理であることを意味するもの であり、それらの詳細な説明は適宜省略する。
[0121] 本実施形態にぉ 、ても、コンテンツの記録開始に伴って、ダイジェスト作成処理を 開始する（S41)。そして、記録終了となるまで、コンテンツの音圧レベルが大音閾値（ THb)以上となる大音圧区間と、音圧レベルが小音閾値 (THs)以上となる小音圧区 間とを検索する（S42, 43)。
[0122] 記録終了となると（S42 : Yes)、小音圧区間の検索結果に基づいて、本編外シーン を抽出する（S44)。また、大音圧区間の検索結果に基づいて、部分シーンを抽出す ると共に当該部分シーンに優先度を付け、さらに本編外シーンの検出結果からも重 要部分シーンを抽出して、その優先度を最大に設定し、各部分シーンの開始点（DP s, DPis)を優先度に従って決定する（S45)。続いて、優先度の高いものから、部分 シーンの終了点（DPe, DPie)を決定し、ダイジェストに組み込む（S46)。すなわち、 図 14の例のように重要部分シーンが存在する場合、まず重要部分シーンの開始点 [ DPis]と重要部分シーンの終了点 [DPie]を決定し、重要部分シーンをダイジェスト に組み込む。 [0123] さらに、ダイジェストに組み込む度に、抽出した部分シーンの合計（区間長の合計） 力 ダイジェストの全体長さを超えるまで、 S46, S47を繰り返し、抽出した部分シー ン (重要部分シーンも含む）の合計が、ダイジェストの全体長さを超えた場合は（S47 ： Yes)、最後にダイジェストに加えた部分シーンを削除する（S48)。さらに、抽出した 部分シーンを時系列に従って並び替えを行い（S49)、処理を終了する。
[0124] 以上のとおり、本実施形態によれば、小音圧区間の検索結果に基づいて、コマ一 シャルシーンを含む本編外シーンを抽出し、その直後のシーンを重要部分シーンと して優先的にダイジェストに含めることができる。これにより、ユーザは、ダイジェストの 視聴によってコンテンツのあらすじを表すようなナレーションや重要なシーンを確認 することができるため、より内容を把握することができる。
[0125] なお、第 1実施形態〜第 3実施形態で示したように、大音圧区間を基準にして抽出 した各部分シーンの一部または全体力 上記の本編外シーンと重なる場合、その重 複したシーンは、各部分シーンから削除することが好ましい。この構成によれば、コマ 一シャルシーンなど本編外シーンがダイジェストに含まれることがなぐより適切なダイ ジェストを作成することができる。
[0126] また、上記の例では、小音圧区間が所定間隔で存在する区間を、本編外シーンと して抽出するものとしたが、過去に提案されている各種コマーシャル検出方法を併用 して、本編外シーンを抽出するようにしても良い。すなわち、映像情報に基づくシーン チェンジや、放送モード（2力国語放送である力否力、ステレオ放送である力否かなど )に基づいて検出したコマーシャルシーンを、本編外シーンとして抽出しても良い。
[0127] その他、上記の実施形態にお!、て記載した種々の変形例を、本実施形態にも適用 可能である。
[0128] 以上、第 1実施形態〜第 4実施形態において説明したとおり、本発明によれば、ダ イジェストに含めるための部分シーンとして、ハイライトシーン（大音圧区間）の前のシ ーンを抽出することにより、ユーザのコンテンツに対する視聴意欲を損ねないようなダ イジエストを作成することができる。さらに、コンテンツの後半部分などを除いた対象区 間から部分シーンを抽出することにより、ダイジェストからコンテンツの結果が判ってし まうような事態を避けることができる。さらに、全コンテンツ区間を小区間に分割して、 各小区間から部分シーンを抽出することにより、コンテンツ全体からバランス良く抽出 された部分シーンを含むダイジェストを作成することができる。さら〖こ、コマーシャルシ ーン (本編外シーン)直後のシーンを重要部分シーンとして抽出することで、コンテン ッの結末は判らな ヽが、内容を把握する上では重要と考えられるシーンを含むダイジ ヱストを作成することができる。
[0129] なお、上記の各実施形態では、映像情報および音声情報の両方を含むコンテンツ のダイジェストを作成する場合を例示したが、音声情報し力含まな 、コンテンツ (例え ば音楽やラジオ番組など）にも本発明は適用可能である。また、逆に音声情報を含ま ず、映像情報し力含まないコンテンツ (例えば無声映画など）にも本発明は適用可能 である。但し、映像情報しか含まないコンテンツの場合は、第 1実施形態の後半部分 にて説明した映像情報の画像解析結果、および/またはメタデータに基づいて、ハ イライトシーンを検出し、その検出結果に基づいて部分シーンを抽出することとなる。
[0130] また、上記の各実施形態に示した録音再生装置 10における各部、並びに各機能 をプログラムとして提供することも可能である。また、そのプログラムを記録媒体（図示 省略）に格納して提供することも可能である。記録媒体としては、 CD— ROM、フラッ シュ ROM、メモリカード (コンパクトフラッシュ（登録商標）、スマートメディア、メモリー スティック等）、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスク、フ レキシブルディスクおよびノヽードディスク等を利用することができる。
[0131] また、上述した実施例によらず、装置構成や処理工程等について、本発明の要旨 を逸脱しない範囲で、適宜変更も可能である。また、録音再生装置 10以外にも、ビ デォレコーダ、 DVDレコーダ、パーソナルコンピュータ等に本発明のダイジェスト作 成機能を搭載可能である。

Claims

請求の範囲
[1] 映像情報と音声情報の少なくともいずれか一方を含むコンテンツを取得するコンテ ンッ取得手段と、
取得した前記コンテンツの時間軸上における全コンテンツ区間から、前記映像情報 と前記音声情報の少なくともいずれか一方に基づいて、ハイライトシーンを含むハイ ライト区間を検索するハイライト区間検索手段と、
前記全コンテンツ区間力も前記ノ、イライト区間を除いた残区間の中から、前記コン テンッのダイジェストを作成するための要素となる部分シーンを抽出する部分シーン 抽出手段と、
抽出した前記部分シーンを用いて、前記ダイジェストを作成するダイジェスト作成手 段と、を備えていることを特徴とするダイジェスト作成装置。
[2] 取得した前記コンテンツを記録する記録手段をさらに備え、
前記ハイライト区間検索手段は、前記記録手段による記録と同期して、前記ハイラ イト区間の検索を行うことを特徴とする請求項 1に記載のダイジェスト作成装置。
[3] 前記ダイジェストを再生するダイジェスト再生手段をさらに備え、
前記ダイジェスト作成手段は、抽出した前記部分シーンの開始点を示すアドレスと 当該部分シーンの区間長とを示す区間データ力 成るダイジェスト再生情報を作成 し、
前記ダイジェスト再生手段は、前記ダイジェスト再生情報と、前記記録手段による前 記コンテンツの記録データとに基づ 、て、前記ダイジェストを再生することを特徴とす る請求項 2に記載のダイジェスト作成装置。
[4] 前記コンテンツには、シーン毎に記録されたメタデータが付帯されており、
前記ハイライト区間検索手段は、前記映像情報と前記音声情報の少なくともいずれ か一方と共に前記メタデータに基づいて、前記ハイライト区間を検索することを特徴と する請求項 1に記載のダイジェスト作成装置。
[5] 前記コンテンツは、前記音声情報を含むものであり、
前記ノ、イライト区間検索手段は、前記ハイライト区間として、前記音声情報に基づ いて算出した音圧レベルが、所定の大音閾値以上となる大音圧区間を検索し、 前記部分シーン抽出手段は、前記ハイライト区間の開始点から所定時間 taだけ (ta > 0)遡った時点を開始点とする前記部分シーンを抽出することを特徴とする請求項 1に記載のダイジェスト作成装置。
[6] 前記所定時間 taは、前記ハイライト区間の区間長 hi (hl> 0)と、定数 α (0< α≤ 1 )とを乗算して得られる時間であることを特徴とする請求項 5に記載のダイジェスト作 成装置。
[7] 前記部分シーンの終了点は、前記ハイライト区間の開始点力 所定時間 tb (0≤tb < ta)だけ遡った時点であることを特徴とする請求項 5に記載のダイジェスト作成装置
[8] 前記部分シーンの終了点は、前記部分シーンの開始点から、当該部分シーンの区 間長に相当する所定時間 tp (tp≤hl * a )だけ経過した時点であることを特徴とする 請求項 5に記載のダイジェスト作成装置。
[9] 前記ハイライト区間検索手段により、複数の前記ハイライト区間が検索された場合、 前記ダイジェスト作成手段は、各部分シーンを抽出する基準となる各ハイライト区間 の区間長に応じて、抽出された部分シーンに優先度を設定し、当該優先度の高い部 分シーンから、前記ダイジェストの要素として組み込んで ヽくことを特徴とする請求項
5に記載のダイジェスト作成装置。
[10] 前記大音閾値を設定する閾値設定手段をさらに備えていることを特徴とする請求 項 5に記載のダイジェスト作成装置。
[11] 前記部分シーン抽出手段により抽出された複数の部分シーンのうち、少なくとも 2つ の部分シーンの一部または全体が重なる場合、
前記ダイジェスト作成手段は、重なった 2つ以上の部分シーンを、連続する 1つの 部分シーンとして、前記ダイジェストに組み込むことを特徴とする請求項 9に記載のダ イジェスト作成装置。
[12] 前記ダイジェスト作成手段は、複数の部分シーンを用いて前記ダイジェストを作成 する場合、当該複数の部分シーンを、時系列に従って並び替えることを特徴とする請 求項 1に記載のダイジェスト作成装置。
[13] 前記部分シーン抽出手段は、前記全コンテンツ区間内の任意の区間である対象区 間の中から、前記部分シーンを抽出することを特徴とする請求項 1に記載のダイジェ スト作成装置。
[14] 前記対象区間は、前記コンテンツの開始点から、前記全コンテンツ区間と定数 β ( 0< j8 < 1)とを乗算して得られる時間だけ経過した時点までの区間であることを特徴 とする請求項 13に記載のダイジェスト作成装置。
[15] 前記部分シーン抽出手段は、前記全コンテンツ区間または前記対象区間を複数の 小区間に分割し、
各小区間から少なくとも 1つの前記部分シーンを抽出することを特徴とする請求項 1 3に記載のダイジェスト作成装置。
[16] コンピュータを、請求項 1ないし 15のいずれ力 1項に記載のダイジェスト作成装置に おける各手段として機能させるためのプログラム。
PCT/JP2006/316511 2005-09-30 2006-08-23 ダイジェスト作成装置およびそのプログラム WO2007039994A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007538660A JP4757876B2 (ja) 2005-09-30 2006-08-23 ダイジェスト作成装置およびそのプログラム
EP06796675A EP1954041A4 (en) 2005-09-30 2006-08-23 SUMMARY PRODUCTION EQUIPMENT AND PROGRAM THEREFOR

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005287324 2005-09-30
JP2005-287324 2005-09-30

Publications (1)

Publication Number Publication Date
WO2007039994A1 true WO2007039994A1 (ja) 2007-04-12

Family

ID=37906038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316511 WO2007039994A1 (ja) 2005-09-30 2006-08-23 ダイジェスト作成装置およびそのプログラム

Country Status (3)

Country Link
EP (1) EP1954041A4 (ja)
JP (1) JP4757876B2 (ja)
WO (1) WO2007039994A1 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150567A3 (en) * 2008-06-09 2010-02-04 Koninklijke Philips Electronics N.V. Method and apparatus for generating a summary of an audio/visual data stream
WO2012086616A1 (ja) * 2010-12-22 2012-06-28 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法及び映像処理プログラム
JP2014192629A (ja) * 2013-03-26 2014-10-06 Panasonic Corp 映像受信装置及び受信映像の画像認識方法
US9055196B2 (en) 2009-01-21 2015-06-09 Samsung Electronics Co., Ltd. Method and apparatus for forming highlight content
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
WO2018016434A1 (ja) * 2016-07-19 2018-01-25 Ｓｅｖｅｎ Ｄｅｗ株式会社 ダイジェスト映像取得装置、ダイジェスト映像取得方法、および記録媒体
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
JP2019128967A (ja) * 2018-01-19 2019-08-01 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、および情報処理プログラム
JP2019216364A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US10616613B2 (en) 2014-07-17 2020-04-07 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
JP2020170980A (ja) * 2019-04-05 2020-10-15 富士通株式会社 映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11457140B2 (en) 2019-03-27 2022-09-27 On Time Staffing Inc. Automatic camera angle switching in response to low noise audio to create combined audiovisual file
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation
US11966429B2 (en) 2021-10-13 2024-04-23 On Time Staffing Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074823A (ja) * 2008-08-22 2010-04-02 Panasonic Corp 録画編集装置
US9928878B2 (en) * 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
EP3125245A1 (en) * 2015-07-27 2017-02-01 Thomson Licensing Method for selecting at least one sequence of frames and corresponding method for creating an audio and/or video digest, electronic devices, computer readable program product and computer readable storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312827A (ja) 1996-05-22 1997-12-02 Sony Corp 記録再生装置
JPH1032776A (ja) 1996-07-18 1998-02-03 Matsushita Electric Ind Co Ltd 映像表示方法及び記録再生装置
JP2001352506A (ja) * 2000-06-07 2001-12-21 Canon Inc 録画装置及び方法及び記録装置
JP2003101939A (ja) * 2001-07-17 2003-04-04 Pioneer Electronic Corp 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
JP2003283993A (ja) 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 映像情報記録再生装置及び映像情報記録再生方法
JP2005293212A (ja) * 2004-03-31 2005-10-20 Toshiba Corp 要約映像生成装置、要約映像生成方法及びプログラム
JP2006135808A (ja) * 2004-11-08 2006-05-25 Toshiba Corp 再生装置及びその方法
JP2006211311A (ja) * 2005-01-28 2006-08-10 Victor Co Of Japan Ltd ダイジェスト映像生成装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1708101B1 (en) * 2004-01-14 2014-06-25 Mitsubishi Denki Kabushiki Kaisha Summarizing reproduction device and summarizing reproduction method
US8081863B2 (en) * 2004-01-30 2011-12-20 Panasonic Corporation Content playback apparatus
JP2006287319A (ja) * 2005-03-31 2006-10-19 Nippon Hoso Kyokai <Nhk> 番組ダイジェスト作成装置および番組ダイジェスト作成プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312827A (ja) 1996-05-22 1997-12-02 Sony Corp 記録再生装置
JPH1032776A (ja) 1996-07-18 1998-02-03 Matsushita Electric Ind Co Ltd 映像表示方法及び記録再生装置
JP2001352506A (ja) * 2000-06-07 2001-12-21 Canon Inc 録画装置及び方法及び記録装置
JP2003101939A (ja) * 2001-07-17 2003-04-04 Pioneer Electronic Corp 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
JP2003283993A (ja) 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 映像情報記録再生装置及び映像情報記録再生方法
JP2005293212A (ja) * 2004-03-31 2005-10-20 Toshiba Corp 要約映像生成装置、要約映像生成方法及びプログラム
JP2006135808A (ja) * 2004-11-08 2006-05-25 Toshiba Corp 再生装置及びその方法
JP2006211311A (ja) * 2005-01-28 2006-08-10 Victor Co Of Japan Ltd ダイジェスト映像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1954041A4

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150567A3 (en) * 2008-06-09 2010-02-04 Koninklijke Philips Electronics N.V. Method and apparatus for generating a summary of an audio/visual data stream
US8542983B2 (en) 2008-06-09 2013-09-24 Koninklijke Philips N.V. Method and apparatus for generating a summary of an audio/visual data stream
US9055196B2 (en) 2009-01-21 2015-06-09 Samsung Electronics Co., Ltd. Method and apparatus for forming highlight content
WO2012086616A1 (ja) * 2010-12-22 2012-06-28 株式会社Ｊｖｃケンウッド 映像処理装置、映像処理方法及び映像処理プログラム
JP2014192629A (ja) * 2013-03-26 2014-10-06 Panasonic Corp 映像受信装置及び受信映像の画像認識方法
US9148610B2 (en) 2013-03-26 2015-09-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device and image recognition method for received video
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US9906844B2 (en) 2014-03-26 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US10616613B2 (en) 2014-07-17 2020-04-07 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
WO2018016434A1 (ja) * 2016-07-19 2018-01-25 Ｓｅｖｅｎ Ｄｅｗ株式会社 ダイジェスト映像取得装置、ダイジェスト映像取得方法、および記録媒体
JP7114908B2 (ja) 2018-01-19 2022-08-09 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、および情報処理プログラム
JP2019128967A (ja) * 2018-01-19 2019-08-01 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、および情報処理プログラム
JP7166796B2 (ja) 2018-06-13 2022-11-08 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019216364A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11961044B2 (en) 2019-03-27 2024-04-16 On Time Staffing, Inc. Behavioral data analysis and scoring system
US11863858B2 (en) 2019-03-27 2024-01-02 On Time Staffing Inc. Automatic camera angle switching in response to low noise audio to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11457140B2 (en) 2019-03-27 2022-09-27 On Time Staffing Inc. Automatic camera angle switching in response to low noise audio to create combined audiovisual file
JP7191760B2 (ja) 2019-04-05 2022-12-19 富士通株式会社 映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法
JP2020170980A (ja) * 2019-04-05 2020-10-15 富士通株式会社 映像情報出力装置、映像情報出力システム、映像情報出力プログラム及び映像情報出力方法
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11783645B2 (en) 2019-11-26 2023-10-10 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11184578B2 (en) 2020-04-02 2021-11-23 On Time Staffing, Inc. Audio and video recording and streaming in a three-computer booth
US11636678B2 (en) 2020-04-02 2023-04-25 On Time Staffing Inc. Audio and video recording and streaming in a three-computer booth
US11861904B2 (en) 2020-04-02 2024-01-02 On Time Staffing, Inc. Automatic versioning of video presentations
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11720859B2 (en) 2020-09-18 2023-08-08 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11966429B2 (en) 2021-10-13 2024-04-23 On Time Staffing Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Also Published As

Publication number Publication date
JP4757876B2 (ja) 2011-08-24
JPWO2007039994A1 (ja) 2009-04-16
EP1954041A1 (en) 2008-08-06
EP1954041A4 (en) 2010-01-27

Similar Documents

Publication Publication Date Title
JP4757876B2 (ja) ダイジェスト作成装置およびそのプログラム
JP4000171B2 (ja) 再生装置
JP4615166B2 (ja) 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
EP2107477B1 (en) Summarizing reproduction device and summarizing reproduction method
JP4546682B2 (ja) 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
US7058278B2 (en) Information signal processing apparatus, information signal processing method, and information signal recording apparatus
JP4387408B2 (ja) Ａｖコンテンツ処理装置、ａｖコンテンツ処理方法、ａｖコンテンツ処理プログラムおよびａｖコンテンツ処理装置に用いる集積回路
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2007281856A (ja) 記録再生装置および記録再生方法
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP4650288B2 (ja) 再生制御装置、再生制御方法、およびプログラム
WO2007039995A1 (ja) ダイジェスト作成装置およびそのプログラム
JP2007066409A (ja) 記録再生装置および記録再生方法
JP2007288300A (ja) 映像音声再生装置
EP1335379A1 (en) Recording medium player
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
JP4268925B2 (ja) 要約再生装置、要約再生方法、要約再生プログラムおよびそのプログラムが記録された情報記録媒体
JP4030328B2 (ja) ダイジェスト映像ファイル作成方法及び映像記録再生装置
JP4765884B2 (ja) 放送受信記録再生装置
WO2007039998A1 (ja) 本編外シーン抽出装置およびそのプログラム
JP2003123395A (ja) 情報記録媒体、情報記録装置及び情報再生装置
JP2007095135A (ja) 映像記録再生装置
JP2009267825A (ja) 番組録画再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007538660

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006796675

Country of ref document: EP