WO2006008923A2 - 映像編集装置及び方法 - Google Patents

映像編集装置及び方法 Download PDF

Info

Publication number
WO2006008923A2
WO2006008923A2 PCT/JP2005/011853 JP2005011853W WO2006008923A2 WO 2006008923 A2 WO2006008923 A2 WO 2006008923A2 JP 2005011853 W JP2005011853 W JP 2005011853W WO 2006008923 A2 WO2006008923 A2 WO 2006008923A2
Authority
WO
WIPO (PCT)
Prior art keywords
video
information
recording
specifying
effect
Prior art date
Application number
PCT/JP2005/011853
Other languages
English (en)
French (fr)
Other versions
WO2006008923A1 (ja
WO2006008923B1 (ja
WO2006008923A3 (ja
Inventor
Kentaro Nakai
Katsuyuki Morita
Hidekazu Shimizu
Original Assignee
Matsushita Electric Ind Co Ltd
Kentaro Nakai
Katsuyuki Morita
Hidekazu Shimizu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd, Kentaro Nakai, Katsuyuki Morita, Hidekazu Shimizu filed Critical Matsushita Electric Ind Co Ltd
Priority to JP2006528716A priority Critical patent/JP4714149B2/ja
Priority to EP05755771A priority patent/EP1765011A2/en
Priority to US11/630,037 priority patent/US8121462B2/en
Publication of WO2006008923A1 publication Critical patent/WO2006008923A1/ja
Publication of WO2006008923A2 publication Critical patent/WO2006008923A2/ja
Publication of WO2006008923A3 publication Critical patent/WO2006008923A3/ja
Publication of WO2006008923B1 publication Critical patent/WO2006008923B1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Definitions

  • the present invention relates to a technique for editing a recorded video, and more particularly to a technique for creating a digest video that summarizes the video by extracting a specific part from the video stream cover of the recorded video. .
  • Patent Document 1 discloses a scene included in a digest video according to a criterion of importance determined by a user, among scenes included in the video stream.
  • a technique is disclosed in which a digest video is created by extracting from a video stream card in which a specified range of video streams including the specified scene is specified.
  • Patent Document 2 a template for specifying an extraction location from a recorded video stream is set in advance for each scene included in the video stream, and the user selects a desired template.
  • a technique for creating a digest video using a video stream specified by the template is disclosed.
  • Patent Document 1 JP 2000-261754 A
  • Patent Document 2 Japanese Patent Laid-Open No. 2002-142188
  • an object of the present invention is to provide a video editing apparatus and method for creating a digest video having different effects depending on the situation in which a scene appears.
  • the present invention is a video editing apparatus for extracting and playing back a specific video from an entire video indicated by a video stream recorded on a recording medium
  • the video stream includes a first video showing a main scene and a plurality of types of second video for staging effects of the main scene, and the recording medium specifies a first video specifying the first video.
  • time information indicating the recording position of the first video in terms of recording time and status information indicating the situation of the scene related to the main scene of the first video are recorded, and the second video that identifies the second video of each type is recorded.
  • video identification information time information indicating the recording position of the second video in terms of recording time and information for identifying the type of the second video are recorded, and status information regarding the first video and identification information regarding the type of the second video are recorded.
  • a selection table indicating the correspondence relationship is recorded, and the video editing apparatus associates the acquisition method with which the first video specifying information is acquired from the recording medium and the status information of the acquired first video specifying information.
  • a video editing method for extracting and playing back a specific video from an entire video indicated by a video stream recorded on a recording medium wherein the video stream includes a first video showing a main scene and a main video It includes multiple types of second video images to enhance the production effect, and the recording medium records the recording position of the first video as the first video specifying information for specifying the first video.
  • the time information indicated by the time and the situation information indicating the situation of the scene related to the main scene of the first video are recorded, and the recording position of the second video is used as the second video specifying information for identifying the second video of each type.
  • the time information indicating the recording time and the information for identifying the type of the second video are recorded, and the selection table indicating the correspondence between the status information for the first video and the identification information for the type of the second video is recorded.
  • the video editing method includes an acquisition step of acquiring the first video specifying information from the recording medium, and identification information relating to the type of the second video associated with the status information of the acquired first video specifying information A selection step of selecting the selection table power and second video specifying information corresponding to the type indicated by the identification information selected from the recording medium, wherein the recording time indicated by the time information is the first video specifying Show information And / or an extraction step for extracting the second video specific information corresponding to the recording time in the vicinity of the recording time! /.
  • the video stream includes a first video showing a main scene and a plurality of types of second video for staging effects of the main scene, and the recording medium specifies a first video specifying the first video.
  • time information indicating the recording position of the first video in terms of recording time and status information indicating the situation of the scene related to the main scene of the first video are recorded, and the second video that identifies the second video of each type is recorded.
  • video identification information time information indicating the recording position of the second video in terms of recording time and information for identifying the type of the second video are recorded, and status information regarding the first video and identification information regarding the type of the second video are recorded.
  • a selection table indicating the correspondence relationship is recorded, and the video editing process is associated with the acquisition step of acquiring the first video specifying information from the recording medium and the status information of the acquired first video specifying information.
  • the type of second video The selection step of selecting the identification information to be selected, and the second video specifying information corresponding to the type indicated by the selected identification information from the recording medium, and the recording time indicated by the time information is An extraction step of extracting the second video specifying information corresponding to the recording time in the vicinity of the recording time indicated by the one video specifying information may be included.
  • a specific video is extracted from the entire video indicated by the video stream recorded on the recording medium.
  • a computer-readable recording medium that records a program that causes a video editing apparatus to play back the video editing process.
  • the video stream is a first video showing a main scene and a staging effect of the main scene.
  • a plurality of types of second video for recording, and the recording medium includes time information indicating a recording position of the first video as a first video specifying information for specifying the first video and a recording time of the first video.
  • the situation information indicating the situation of the scene related to the main scene is recorded, and as the second video specifying information for specifying the second video of each type, the time information indicating the recording position of the second video by the recording time and the second video Information for identifying the type of video is recorded, and further, a selection table indicating a correspondence relationship between the status information regarding the first video and the identification information regarding the type of the second video is recorded, and the video editing process is performed on the recording medium.
  • the second video specifying information corresponding to the type indicated by the selected identification information, wherein the recording time indicated by the time information corresponds to a recording time in the vicinity of the recording time indicated by the first video specifying information. It may also include an extraction step to extract specific information! /.
  • the second video specific information for specifying the video of the related effect effect scene to be reproduced together with the video of the main screen is selected based on the status information of the first video specific information. Therefore, the user extracts the video of the main scene and the video of the production effect scene based on the first video specifying information and the selected second video specifying information, and the situation of the scene related to the main scene. You can enjoy a digest video according to your needs.
  • template information indicating a reproduction order of the first video and a plurality of types of the second video is recorded in association with the first video specifying information
  • the video editing device further extracts a first video and a second video from the video stream based on the first video specifying information and the extracted second video specifying information, and extracts the extracted first video and the extracted video Reproduction means for performing reproduction processing for reproducing the second video according to the reproduction order indicated by the template information corresponding to the first video identification information
  • the playback order of the production effect scenes related to the video of the main scene can be set, so the video of the main scene and the video of the production effect field that effectively excites the main scene, It is possible to play in an effective playback order that maximizes the production effect.
  • the video stream includes a plurality of first videos, and a plurality of first video specifying information and template information corresponding to each first specifying information are recorded on the recording medium.
  • Each of the first video specifying information is acquired from the recording medium, and each time the first video specifying information is acquired, the selection unit is associated with the status information of the acquired first video specifying information.
  • Identification information relating to the type of the second video being selected is selected from the selection table, and the extracting means is second video specifying information corresponding to the type indicated by the selected identification information from the recording medium, The second video specific information corresponding to the recording time indicated by the recording time indicated by the acquired first video specific information is extracted, and the reproducing means acquires the first video specific information acquired.
  • each partial index information is read from the storage means, and based on each read partial index information, a first video and a second video are extracted from the video stream power and the playback process is performed. And means.
  • the user can digest a plurality of videos of the same type of main scene. Even when video playback is specified, the type of effect effect scene video that is played along with the main scene video changes for each main scene, so you can enjoy watching the digest video without feeling monotonous. Can do.
  • the situation indicated by the situation information may be the situation of the scene immediately before the main scene.
  • the situation indicated by the situation information may be a situation of a scene showing a result based on a main scene.
  • the production effect can be enhanced according to the situation of the result based on the main scene. For example, if the main scene in a baseball broadcast is a full home run and a solo home run with no runners, even if it is a digest video about the same home run scene, in the case of a full home run, more than in the case of a solo home run Reproduction effect video (for example, a scene showing a player's blessing on the bench or a scene showing the audience's delight) can be played to enhance the production effect. .
  • each video stream is provided with stream identification information for identifying the video stream
  • the first video specifying information Includes stream identification information of the video stream in which the first video is recorded
  • each type of the second video identification information includes stream identification information of the video stream in which the second video is recorded
  • the reproduction means extracts the first video from the video stream having the stream identification information included in the first video identification information, and the video stream having the stream identification information included in the extracted second video identification information Force The second video may be extracted.
  • the scene effect video to be played back together with the main scene video is selected from the plurality of video streams, so that the user can perform the main scene rendering effect captured in multiple dimensions with multiple cameras. You can enjoy the video of the scene.
  • the video editing apparatus extracts a specific video from the entire video indicated by the video stream recorded on the recording medium and reproduces the video, and the video stream indicates a main scene. Includes the first video and multiple types of second video to increase the effects of the main scene.
  • the recording medium contains the first video recording location as the first video identification information for identifying the first video.
  • the time information indicating the recording time and the importance information indicating the importance of the first video are recorded, and the recording position of the second video is recorded as the second video specifying information for specifying the second video of each type.
  • Information for identifying the type of the second video and the time information indicated in FIG. 5 is recorded, and a selection table indicating the correspondence between the importance information for the first video and the identification information for the type of the second video is recorded.
  • the editing apparatus selects the selection information for acquiring the first video specifying information from the recording medium and the identification information regarding the type of the second video associated with the importance information of the acquired first video specifying information.
  • Table force Selection method to select and previous
  • the second video specifying information corresponding to the type indicated by the selected identification information from the recording medium, and the recording time indicated by the time information is a recording time in the vicinity of the recording time indicated by the first video specifying information. It can be configured to omit the extraction means for extracting the corresponding second video specific information.
  • FIG. 1 is a functional block diagram showing a configuration of a video editing system 10 according to Embodiment 1 of the present invention.
  • FIG. 2 A specific example of a video stream, event metadata, and status information stored in the video storage unit 105 is shown.
  • FIG. 4 A specific example of the effect matching table.
  • FIG. 5 shows a specific example of attribute data.
  • FIG. 6 is a functional block diagram showing a configuration of overall digest generation unit 104.
  • FIG. 7 shows a specific example of partial digest metadata extracted from attribute data.
  • FIG. 11 is a functional block diagram showing a configuration of a partial digest generation unit 102.
  • FIG. 12 is a part of a flowchart showing an operation of an effect effect index first selection process performed by the first effect effect selecting unit 202.
  • FIG. 13 is a part of a flowchart showing the operation of the effect effect index first selection process performed by the first effect effect selection unit 202.
  • FIG. 14 is a part of a flowchart showing an operation of an effect effect index second selection process performed by the second effect effect selection unit 203.
  • FIG. 15 is a part of a flowchart showing the operation of the effect effect index second selection process performed by the second effect effect selection unit 203.
  • FIG. 16 is a flowchart showing an operation of partial digest metadata generation processing performed by the partial digest generation unit 102.
  • FIG. 17 is a flowchart showing the operation of the overall digest generation process performed by the overall digest generation unit 104.
  • FIG. 18 is a diagram conceptually showing a part of a process in which the digest generation unit 303 reproduces the digest video based on the entire digest metadata shown in FIG.
  • FIG. 19 is a functional block diagram showing a configuration of a partial digest generation unit 102 in a modified example.
  • FIG. 21 shows a specific example of a matching table and a hit template stored in the template storage unit 106.
  • FIG. 23 A specific example of the partial digest metadata generated for the “hit” main metadata indicated by 1711 in FIG. 2 (b) is shown.
  • FIG. 24 A specific example of the partial digest metadata generated for the main metadata of “hit” indicated by 1712 in FIG. 2 (b) is shown.
  • FIG. 1 is a functional block diagram showing the configuration of the video editing system 10 according to Embodiment 1 of the present invention.
  • the video editing system 10 includes a video editing device 100, a video storage unit 105, a template storage unit 106, and a digest generation condition input unit 107.
  • the video editing device 100, the video storage unit 105, the template storage unit 106, and the digest generation condition input 107 are respectively connected by an electric communication line (for example, the Internet, an intranet, a LAN, etc.).
  • an electric communication line for example, the Internet, an intranet, a LAN, etc.
  • the video editing apparatus 100 may include a video storage unit 105, a template storage unit 106, and a digest generation condition input 107 in its own device! ,.
  • a video stream which is a chronological stream of frame images taken for a broadcast program at a broadcasting station, a plurality of event metadata, and status information are stored. Each video data constituting the video stream is recorded in association with the recording time.
  • the stored video streams may be a plurality of types of video streams taken by a plurality of cameras.
  • each video stream is identified with the video stream.
  • the camera number is given as an identifier.
  • “event metadata” represents the video indicated by each divided stream when the captured video stream is divided into a plurality of streams having a specific number of frame image powers that are continuous in time series. Identifies the “index” for classifying the scene, the “IN point” indicating the recording start time of the scene, the “OUT point indicating the recording end time of the scene, and the camera that shot the scene Camera number and a collection of scenes ⁇ Importance '' which is a value indicating the degree of importance of the scene in coalescence, ⁇ keyword '' describing the details of the scene (for example, characters, subject names, etc.) and a template (template) corresponding to the scene Is the information indicating the correspondence relationship with “template information” indicating whether or not there exists.
  • actor refers to an attacking batter in a baseball game
  • actee refers to a defensive pitcher
  • actor team refers to an attacking team.
  • the “actee” represents the defensive team.
  • the event metadata is stored in the video storage unit 105 every time shooting of the scene indicated by the index is completed.
  • “Situation information” refers to information describing the status of the scene immediately before the scene indicated by the event metadata and the result scene status based on the scene indicated by the event metadata for each event metadata. (Hereafter, information describing the former situation is called “chance situation information” and information describing the latter situation is called “result situation information”.)
  • the situation information is created by, for example, the editor of the captured video, the photographer himself or his assistant.
  • the situation information can be created at any time during camera shooting, or it can be created during video editing after shooting.
  • FIG. 2 shows a specific example of the video stream, event metadata, and status information stored in the video storage unit 105.
  • Fig. 2 (a) shows a specific example of a video stream
  • Fig. 2 (b) shows a specific example of event metadata
  • Fig. 2 (c) shows a specific example of status information.
  • 600 represents an image of the video stream.
  • 601 indicates event metadata
  • 6011 indicates a specific example of an index
  • 6 012 and 6013 indicate specific examples of an IN point and an OUT point
  • 6014 indicates a specific example of a camera number
  • 6015 is a specific example of importance
  • 6016 to 6019 are each classified keyword (specific examples of actors, actors, actor teams, actor teams
  • 6020 is template information Each specific example is shown.
  • 602 indicates status information
  • 6021 indicates a specific example of an event metadata identifier
  • 6022 indicates a specific example of chance status information
  • 6023 indicates a result status information. Specific examples are shown.
  • a matching table, a template, and an effect matching table are stored.
  • the “matching table” refers to an index (hereinafter referred to as “main index”) belonging to event metadata having a template (hereinafter referred to as “main metadata”) and a template to which the main index belongs. This is a table nore showing the correspondence with the storage location.
  • the “template” is a group of indexes for classifying a plurality of scenes to be played back continuously in the digest video (hereinafter, indexes other than the main index among the indexes in the group). Is referred to as a “production effect index”), and information including the recording column of the recording time information (IN point, OUT point) of the scene classified by each index and the playback order of the scene. .
  • the IN and OUT points are recorded in the recording column of recording time information included in the template when partial digest metadata described later is generated.
  • the “production effect index” is an index for classifying scenes associated with the main scene classified by the main index among the captured scenes, and the background that is the scene immediately before the main scene.
  • the scene is divided into a result scene that is a scene immediately after the main scene.
  • the background scene may be a scene showing a runner on the foot immediately before the main scene, a scene showing the state of the audience, This includes scenes that show the facial expressions of people related to the main scene, and results include scenes that show the state of the audience immediately after the main scene and scenes that show the facial expressions of people related to the main scene. , Scenes showing the state of the bench and scenes showing the state of the director are included.
  • a single effect effect index includes a plurality of event metadata including the effect effect index and is stored in the video storage unit 105 together with the main metadata.
  • FIG. 2 (b) 1700 shows a specific example of event metadata including a production effect index.
  • the template defines the playback order of scenes that are classified according to all the production effect indexes and the main index that may be selected by the template index selection process described later.
  • the effect effect index is deleted, the deleted effect effect index is skipped, and scenes classified by the effect effect index or the main index of the next playback order are connected.
  • production effect matching table is a table indicating the correspondence between scene attribute information, classification information, determination standard identifier, production effect index, situation information determination identifier, and importance determination identifier. Let's talk about it.
  • scene attribute information means that each effect index in the matching table is the scene related to the main index, the power related to the background scene that is the scene immediately before the scene identified by the main index. This refers to scene attribute information that indicates whether the scene is related.
  • classification information refers to information obtained by classifying scene attribute information based on the attribute of the object to be photographed.
  • the “judgment criterion identifier” indicates whether to determine whether or not to add each production effect index to the template according to the situation information determination identifier, according to the importance determination identifier, or according to the determination result of both.
  • the "situation information determination identifier” refers to an effect effect index to be selected or selected as an effect effect index by selecting the effect effect index from the main index template for each effect effect index. In order to determine whether to use the effect index, the effect effect index to be the effect effect index to be deleted, or the effect effect index to be a deletion candidate in the template according to the relationship with the status information of the main index This means the identifier.
  • the "importance determination identifier" is an effect effect index that has been selected and determined for each effect effect index by using the effect effect index in the template of the main index. Whether the production effect index to be used, the production effect index to be the production effect index to be deleted, or the production effect index to be a deletion candidate in the template is determined by the importance of the scene indicated by the main metadata. An identifier for determining according to the relationship.
  • FIG. 3 shows a specific example of the matching table and the template.
  • 700 in FIG. 3 shows a specific example of the matching table
  • 701 in FIG. 3 shows a specific example of the template.
  • 700 the correspondence between the “main index” (indicated by the index in FIG. 3A) and the “path” indicating the storage location of the template to which the main index belongs is shown.
  • each index indicating a scene related to a home run is arranged in 701 according to the playback order, and each index indicates "IN” indicating the recording start time and recording end time of the scene indicated by the index.
  • a description column of “Point” and “OUT Point” is added respectively.
  • FIG. 4 shows a specific example of the effect effect matching table.
  • 801 indicates scene attribute information
  • 802 indicates classification information
  • 803 indicates a determination criterion
  • 804 indicates a production effect index
  • 805 indicates a situation information determination identifier
  • 806 indicates Indicates the importance judgment identifier.
  • the contents of the effect effect index of a predetermined template can be changed according to the status information and importance of the main index.
  • a digest video generation condition (hereinafter referred to as “generation condition”) is input to the entire digest generation unit 104.
  • the "generation condition” specifies the search condition of the main metadata, which is a constituent element of the digest video, and the playback order of each partial digest searched based on the search condition.
  • partial digest metadata refers to the production effect index selected by the production effect index first and second selection processing described later from the production effect index included in the template corresponding to the main metadata, and its IN Data including the point, OUT point, main index included in the template, its IN point, OUT point, and the scene playback order specified by the main index and the selected effect index.
  • Examples of search conditions include designation of main indexes and keywords belonging to main metadata, importance thresholds, and the like.
  • Examples of the rearrangement condition include, for example, the order of the recording time zone of the partial digest metadata specified by the main metadata, the order of importance, and the order of importance.
  • Event extraction unit 101, partial digest generation unit 102, partial digest storage unit 103, The entire digest generation unit 104 is configured.
  • the presence / absence of the template is determined, the main metadata having the template is extracted, and stored in the video storage unit 105.
  • the situation information associated with each extracted main metadata is extracted with reference to the situation information, and is output to the partial digest generation unit 102.
  • Each partial digest metadata generated by the partial digest generation unit 102 and attribute data are stored.
  • the “attribute data” refers to the partial digest metadata name generated by the part digest generation unit 102 based on the information obtained by extracting the event metadata power related to the index constituting each partial digest metadata, From the part path indicating the storage location of the partial digest metadata, the main index, and the IN point indicating the earliest recording time among the IN points of each scene related to the partial digest metadata, the OUT point of each scene
  • the recording time zone indicating the range of the recording time up to the OUT point indicating the recording time, the playback order of scenes classified by each index included in the partial digest metadata, and the partial digest metadata About each event metadata related to importance and the relevant partial digest metadata It refers to the information that shows the correspondence between the keyword.
  • FIG. 5 shows a specific example of attribute data.
  • 1000 is attribute data
  • 1001 is the partial digest metadata name
  • 1002 is the part path
  • 1003 is the main index
  • 1004 is the recording time zone
  • 1005 is the playback order
  • 1006 represents the importance
  • 1007 represents the keyword.
  • FIG. 6 is a functional block diagram showing the configuration of the overall digest generation unit 104.
  • the overall digest generation unit 104 includes a partial digest metadata extraction unit 301, a partial digest rearrangement unit 302, and a digest generation unit 303. [0048] (Partial digest metadata extraction unit 301)
  • each partial digest metadata that matches the search conditions is selected based on the attribute data stored in the partial digest storage unit 103. Extract and output to the partial digest rearrangement unit 3002.
  • FIG. 7 shows a specific example of partial digest metadata extracted based on attribute data.
  • the main index is designated as “home run” as the search condition
  • An example of metadata is shown.
  • partial digest metadata for example, "Home Run” including the keyword (for example, "Imaoka”) specified by V based on the attribute data shown in FIG. And the “Three strike” partial digest metadata) are extracted, and the importance threshold value (for example, when the importance threshold value is 5) is specified as the search condition, the attribute data shown in FIG. Accordingly, partial digest metadata (for example, partial digest metadata of “home run”, “hit”, and “full home run”) whose degree of importance exceeds the threshold is extracted.
  • partial digest metadata for example, partial digest metadata of “home run”, “hit”, and “full home run
  • the partial digest metadata input from the partial digest metadata extraction unit 301 is rearranged according to the playback order specified by the rearrangement condition included in the generation condition input from the digest generation condition input unit 107, and the digest generation unit 303. Output to.
  • the partial digest metadata (hereinafter “Whole digest metadata”).
  • the main index and the rendering effect index specified by each partial digest metadata included in the entire digest metadata The digest video is reproduced by continuously reproducing each scene specified by the video according to the reproduction order indicated by the partial digest metadata.
  • the IN point and OUT point (or camera number if a camera number is included) for the index included in the partial digest metadata. Based on this, the corresponding video stream is sequentially extracted from the video storage unit 105, and the digest video is played back by playing back the extracted video stream.
  • FIG. 8 to 10 and FIG. 20 show specific examples of the entire digest metadata.
  • Fig. 8 shows a specific example of the entire digest metadata generated when a search using "home run" as the main index is performed from the attribute data shown in Fig. 5 and the sort order is "importance". .
  • FIG. 18 is a diagram conceptually showing a part of the process in which the digest generating unit 303 reproduces the digest video based on the whole digest metadata shown in FIG. Specifically, FIG. 18 conceptually represents a process in which the digest generation unit 303 reproduces the digest video based on the partial digest metadata corresponding to the last “home run” in FIG.
  • [0054] 1601 in FIG. 18 indicates a video stream of a baseball shooting video recorded in the video storage unit 105, and indicates that four types of video streams are shot and recorded by a plurality of cameras. Speak.
  • 1602 is a video stream corresponding to each index extracted by the digest generation unit 303 based on the IN point, OUT point, and camera number of each index included in the partial digest metadata of “home run”. Indicates.
  • Reference numeral 1603 denotes a video stream created by the digest generation unit 303 by rearranging each extracted video stream in accordance with the playback order indicated by the partial digest metadata of “home run”.
  • Reference numeral 1604 denotes an image of a digest video reproduced based on the video stream created by the digest generation unit 303.
  • FIG. 9 shows a search using the keyword “ABC” as a keyword from the attribute data shown in FIG.
  • a specific example of the generated overall digest metadata is shown below, assuming that the recording order is “order of recording time zone”.
  • Fig. 10 shows the entire digest generated when a search using the keyword "Imaoka” is performed from the attribute data shown in Fig. 5 and the sort order is "early order of recording time". Specific examples of metadata are shown below.
  • FIG. 20 is a diagram showing a search in which the threshold value of importance is set to 5 (search for partial digest metadata indicating importance of “5 or higher”) from the attribute data shown in FIG.
  • search for partial digest metadata indicating importance of “5 or higher” search for partial digest metadata indicating importance of “5 or higher”
  • FIG. 20 a specific example of the generated whole digest metadata will be shown when “is in the order of recording time zone, in order”.
  • FIG. 11 is a functional block diagram showing the configuration of the component digest generation unit 102. As shown in FIG.
  • the partial digest generation unit 102 includes a template matching unit 201, a first production effect selection unit 202, a second production effect selection unit 203, a production effect index acquisition unit 204, an event metadata cutout unit 205, and an event metadata list. It comprises a replacement unit 206, an attribute data extraction unit 207, an attribute data addition unit 208, and a component template synthesis unit 209.
  • the matching table stored in the template storage unit 106 is referred to.
  • the storage location of the template corresponding to the main index indicated by the input main metadata is specified, the template is acquired from the storage location, and the effect effect matching table is acquired from the template storage unit 106.
  • Each main metadata, status information, acquired template, and effect effect matching table are output to the first effect effect selection unit 202.
  • each main metadata, each situation information, each template, and an effect matching table are input from the template matching unit 201, for each set of main metadata and template related to each situation information and the situation information, Status information of stage effect matching table With reference to the information determination identifier, for each effect effect index included in the effect effect matching table, the effect effect index (hereinafter referred to as “selection confirmation index”) to be selected as the effect effect index in the template.
  • the effect effect index to be selected as a selection candidate by inputting the effect effect index into the template (hereinafter referred to as “selection candidate index”)
  • the effect effect index to delete the effect effect index in the template (Hereinafter referred to as “deletion index”))
  • a determination process is performed as to whether the production effect index is a production effect index to be a deletion candidate in the template (hereinafter referred to as a “deletion candidate index”).
  • Judgment results for each group Notify second production effect selection section 203, further outputs each pair of main metadata, and a template and performance effects matching table to the second stage effect selection selecting section 203.
  • Each effect effect index determined as a selection confirmation index in the determination process in the production effect index second selection process and each production effect index determined as a selection confirmation index in the determination process in the production effect index first selection process are used as templates. It is determined as a production effect index to be included.
  • effect effect index determined as the selection candidate index in the determination process in the effect effect index second selection process is also determined as the selection candidate index in the determination process in the effect effect index first selection process Is determined as an index to be included in the template.
  • the production effect index is also deleted from the template.
  • the effect effect index determined as the deletion candidate index in the determination process in the effect effect index first selection process is determined as the selection confirmation index in the determination process in the effect effect index second selection process. If the performance effect index is determined to be a deletion candidate index in the determination process in the second effect effect index selection process, the determination is made in the first effect effect index selection process. If it is determined that the selected index is not selected, it is deleted from the template.
  • effect effect index first and second selection processes will be further described by taking a "hit" template as a specific example.
  • FIG. 21 shows a specific example of the matching table and hit template stored in the template storage unit 106.
  • 2001 in Fig. 21 shows a specific example of the matching table.
  • 2002 shows a specific example of a hit template.
  • template matching is performed between the main metadata related to "hit" indicated by 1710 in FIG. 2B and the status information related to the main metadata indicated by 1713 in FIG. 2C.
  • Manpowered, template ⁇ Matching ⁇ [J, Fig. 21 in FIG. 21] Refers to the matching template, and the hit template is obtained for each main metadata.
  • the effect effect index first and second selection processes will be described on the assumption that the situation information related to the data and the hit template are input to the first effect effect selection unit 202.
  • the first effect effect selection unit 202 displays, for each effect effect index included in the effect effect matching table shown in FIG. 4, the situation information related to the “hit” template indicated by 1710 and “runner present” indicated by 1713.
  • the situation information determination identifiers are identified, the situation information determination identifier indicates“ ⁇ ”, and the 801 scene attribute information is“ background ”“ uplifting ”production effect index
  • the effect effect index of “home-in” whose scene attribute information of 801 is “result” is determined as the selection confirmation index, the situation information determination identifier indicates “ ⁇ ”, and the scene attribute information of 801 is “result” “Supervision Up (actor team)”, “Supervision Up (actor team)”, “Bench (event actor team)”, Bench Blessing (event actor team) ”,
  • the production effect indexes of “Stand (event actor team)”, “Another angle replay”, and “Slow replay” are determined as selection candidate indexes
  • the second effect effect selection unit 203 performs effect effect index second selection processing based on the notified specific result.
  • the second effect effect selection unit 203 assigns importance “8” indicated by the main metadata related to the “hit” template indicated by 1710 for each effect effect index included in the effect effect matching table shown in FIG. ))),
  • the importance information determination identifier indicates “ ⁇ ”, the scene attribute information of 801 is “background”, “selection up (event subject)”, “ ⁇ Player up (event actor) ''
  • Each stage effect index of “player up (event actor)” and “player up (event actor)” whose scene attribute information is “result” is determined as a selection confirmation index.
  • the second effect effect selection unit 203 indicates that the importance level information determination identifier indicates "O"
  • the scene attribute information of 801 indicates “results” "supervision up (event subject person team)”
  • Candidates can select the director effect up (event actor team), bench (event actor team), bench blessing (event actor team), and stand (event actor team).
  • Judge as an index.
  • the second effect effect selection unit 203 has the effect effect index of "audience up” with the importance level information determination identifier "XJ", the scene attribute information of 801 "background”, and the scene of 801 It is determined that each effect effect index of “different angle replay” and “slow replay” whose attribute information is “result” is a deletion index.
  • the second effect effect selection unit 203 has an effect effect index of “upward” with 801 scene attribute information “background” indicating that the importance information determination identifier is “one”, and a scene attribute of 801.
  • the effect effect index of “home in” whose information is “result” is determined as a deletion candidate index.
  • the second performance effect selection unit 203 determines that the selection determination index is 801.
  • the scene attribute information of “801” is “player up (event subject) J,“ player up (event actor) ”.
  • Each production effect index is determined as a production effect index to include in each template the production effect indexes of “player up (event actor)” and “player up (event actor)” whose 801 scene attribute information is “Result” To do.
  • the second performance effect selection unit 203 determines that the selection candidate index is 801, and the scene attribute information of 801 is "Result”, "Director up (event subject team)", “Director up (I Bent actor team), Bench (event actor team), Bench $9 (event actor team), Stand (event actor team) Since it is determined as the selection candidate index in the determination process in the first index selection process, these effect effects indexes are also determined as effect effects indexes to be included in the template.
  • the second effect effect selection unit 203 is determined to be a selection candidate index in the determination process in the effect effect index first selection process, "another angle replay" in which the scene attribute of 801 is "result”,
  • Each production effect index of “slow replay” is determined to be a deletion index in the judgment process in the production effect index second selection process, and each production effect index is deleted from the template.
  • the second effect selection unit 203 determines that the index is a deletion candidate index, and "home-in” has 801 scene attribute information of "Back Up” with “background” and 801 scene attribute information of "Result”. Since each production effect index of “” is determined as a selection confirmation index in the judgment process in the production effect index first selection process, each production effect index of “uplifting up” and “home in” is used as a template. It is determined as a production effect index to be included in.
  • the second effect effect selection unit 203 determines that the deletion index is 801. For the effect effect index of "audience up" whose scene attribute information is "background”, the first effect effect index No. 1 is used. Since it is determined as a deletion candidate index in the determination process in the selection process, it is deleted from the template.
  • the effect effect index after the selection process is rearranged in the event metadata rearrangement unit 206 according to the reproduction order indicated by the current template, and is incorporated into the partial digest metadata by the component template synthesis unit 205.
  • FIG. 22 shows a specific example of the partial digest metadata generated for the “hit” main metadata 1710.
  • 23 and 24 show the main metadata related to each “hit” shown by 1711 and 1712 in FIG. 2B and the status information related to the main metadata shown by 1714 and 1715 in FIG.
  • the production effect index first and second selection processes are performed in the same manner as described above, and the “hit” indicated by 1711 and the “hit” indicated by 1712 are generated.
  • Specific examples of partial digest metadata are shown for each main metadata.
  • a production effect index is extracted from each current template input from the second production effect selection unit 203, and each production effect index extracted and input from the second production effect selection unit 203.
  • the main metadata thus output is output to the event metadata cutout unit 205.
  • the effect stored in the video storage unit 105 based on the effect index for each current template input from the effect effect index acquisition unit 204 and the IN and OUT points indicated by the main metadata related to the current template.
  • Data (hereinafter referred to as “production event metadata”) is extracted and output to the event metadata rearrangement unit 206.
  • the “neighboring recording time zone” means the force included in the recording time zone specified by the IN point and OUT point of the main metadata, or a predetermined time (for example, several seconds) from the recording time zone.
  • a recording time zone within a range of several tens of seconds) is set in advance. Thereby, it is possible to extract the production event metadata related to the main metadata from a plurality of event metadata having the same index.
  • the main metadata for each current template input from the second rendering effect selection unit 203 and the rendering event metadata for each current template input from the event metadata clipping unit 205 are in accordance with the playback order indicated by the current template. Sort and output to attribute data extraction unit 207 and component template synthesis unit 209
  • the main metadata and the production event metadata after the rearrangement are input from the event metadata rearrangement unit 206 for each current template, the main index, the main metadata, and so on are input from the main metadata.
  • the recording time zone determined based on the IN point and OUT point and the keyword are acquired, and the key word is acquired from each effect event metadata.
  • the importance for each powerful rent template is calculated based on the importance indicated by the main metadata and each effect event metadata.
  • To calculate the importance simply add each importance It may be calculated or averaged, and calculated by weighting the importance of main metadata (for example, the average value of importance of each event event metadata and the importance of main metadata) It is also possible to calculate the importance by adding together.
  • the playback order is acquired from each current template, attribute data is generated based on the acquired or calculated various data, and is output to the attribute data adding unit 208.
  • the main index, effect effect index, and IN and OUT points are extracted from the sorted main metadata and each production event metadata for each current template input from the event metadata sorting unit 206. Then, the extracted indexes are arranged in the rearranged order, and the IN and OUT points corresponding to each index are added to generate partial digest metadata, which is output to the attribute data adding unit 208.
  • Each partial digest metadata input from the partial template combining unit 209 is recorded in the partial digest storage unit 103 in association with the attribute data input from the attribute data extracting unit 207.
  • a part path indicating the storage location of each partial digest metadata in the partial digest storage unit 103 is added to the attribute data, and the attribute data is recorded in the partial digest storage unit 103.
  • the first presentation effect selection section 202 receives each situation information and the corresponding situation information.
  • a set of main metadata and template related to the situation information is acquired (step S 3002), the situation information determination identifier in the presentation effect matching table is referred to, and each production effect index included in the production effect matching table is Specify the status information judgment identifier corresponding to the description indicated by the status information (step S3003 )
  • the effect effect index is a selection confirmation index (step S3004), a selection candidate index (step S3005), or a deletion index (step S3006).
  • step S3004 If it is determined in step S3004 that it is a selection confirmation index (step S300 4: Y), the determination result of the production effect index is held as a selection confirmation index (step S3007), and production effect matching is performed. It is determined whether or not the selection process has been completed for all effect effects in the table (step S3011), and if completed (step S3011: Y), each retained determination result is used as the second effect.
  • the effect selection unit 203 is notified (step S3012), the main metadata and the template of the set are output to the second effect selection unit 203, and it is further determined whether or not the selection process has been completed for all the sets ( Step S 3013).
  • step S3011 If the determination in step S3011 is negative (step S3011: ⁇ ), the process proceeds to step S3003, and if the determination in step S3013 is negative (step S3013:
  • step S3005 If it is determined in step S3005 that the index is a selection candidate index (step S300
  • step S3008 The determination result of the effect effect index is held as a selection candidate index (step S3008), and the process proceeds to step S3011.
  • Step S3006 If you decide to delete index (Step S3006: ⁇ )
  • step S 3009 The determination of the production effect index is held as a deletion index (step S 3009
  • step S3006 If the determination in step S3006 is negative (step S3006: N), it is determined that the production effect index is a deletion candidate index, and the determination result of the production effect index is held as a deletion candidate index (step S3010), and step S3011 Move on to processing.
  • 14 and 15 are flowcharts showing the above operation.
  • the second effect effect selection unit 203 receives the main metadata and the tenant from the first effect effect selection unit 202.
  • Step S4001 for each production effect index included in the input production effect matching table, specify an importance determination identifier associated with the importance indicated by the input main metadata (Step S4002), and In accordance with the importance determination identifier, it is determined whether the effect effect index is a selection confirmation index (step S4003) or a selection candidate index (step S4004).
  • step S4003 determines that it is a selection confirmation index (step S4003: Y)
  • the second effect effect selection unit 203 determines that the effect effect index is included in the template as an effect effect index ( S4006), for all effect indexes included in the effect matching table, it is determined whether or not the selection process has been completed (step S4010). If not completed (step S4010: N), step Move on to S4002.
  • step S4004 If it is determined in step S4004 that the index is a selection candidate index (step S4004: Y), the second effect effect selection unit 203 is notified of the effect effect index by the first effect effect selection unit 202. The determination result determines whether the selection candidate index is valid (step S4007). If it is a selection candidate index (step S4007: Y), the process proceeds to step S4006. In this case (step S4007: N), the production effect index is determined as the production effect index to be deleted from the template (step S4009), and the process proceeds to step S4010.
  • step S4004 If the determination result in step S4004 is negative (step S4004: N), it is determined that the effect effect index is a deletion index or a deletion candidate index, and the effect effect index is determined. If the determination result notified from the first effect selection unit 202 is a selection confirmation index (step S4008), and if it is a selection confirmation index (step S4008: Y), the process proceeds to step S4006. If it is not the selection confirmation index (step S4008: N), the process proceeds to step S4009.
  • the second effect effect selection unit 203 performs the above selection process from the first effect effect selection unit 202 by inputting the main metadata and template set, the effect effect matching table, and the determination result. Each time the notification of the effect effect index second selection process is repeated, the current template after the effect effect index second selection process is sent to the effect effect index acquisition unit 204 and the event metadata rearrangement unit 206, and the main metadata relating to each current template is also sent to the event. Output to metadata sorting unit 206.
  • FIG. 16 is a flowchart showing the above operation.
  • step S5001 When the current template after the second selection process of the effect effect index and the main metadata relating to the current template are input (step S5001), the effect effect index is extracted from each current template (step S5002). ), The production event metadata including the production effect index extracted from the video storage unit 105 is extracted (step S 5003), and the production event metadata extracted for each current template and the main metadata related to the current template are extracted. Sort according to the playback order indicated by the current template (step S5004), extract the main index, effect index, and IN and OUT points from the rearranged main metadata and each effect event metadata ( Step S5005) The partial digest metadata is generated by arranging the IN and OUT points corresponding to each index (step S5006), and the rearranged main metadata and each production event.
  • the main index, the recording time calculated based on the IN point and OUT point indicated by the main metadata, and the keyword are obtained from the metadata, the importance for the current template is calculated, and the importance is calculated from the current template.
  • Acquires the playback order generates attribute data based on these (step S5007), associates the generated partial digest metadata with attribute data, and records them in the partial digest storage unit 103 (step S5008). . (Overall digest generation process)
  • FIG. 17 is a flowchart showing the above operation.
  • the overall digest generation unit 104 receives the generation conditions from the digest generation condition input unit 107.
  • each partial digest metadata that matches the search conditions included in the generation conditions is extracted from the attribute data stored in the partial digest storage unit 103 (step S6002).
  • Sort the digest metadata according to the playback order specified by the sort conditions included in the generation conditions step S6003, and sort each partial digest metadata based on the sorted partial digest metadata.
  • step S6004 Sort the digest metadata according to the later order to generate the entire digest metadata (step S6004), and further according to the playback order indicated by each partial digest metadata included in the entire digest metadata according to the rearranged order.
  • the corresponding video stream is sequentially extracted from the video storage unit 105 based on the camera number (step S6005), and the extracted video stream is played back.
  • the digest video is played back (step S6006).
  • the video editing system 10 has been described based on the embodiments, but the present invention is of course not limited to these embodiments.
  • the content of the template may be fixed.
  • the configuration of the partial digest generation unit 102 shown in FIG. 11 the configuration of the partial digest generation unit 102 is configured such that the first presentation effect selection unit 202 and the second presentation effect selection unit 203 are deleted, and a template is created.
  • a template associated with each main metadata acquired by the matching unit 201 is output to the effect effect index acquiring unit 204. Thereafter, for each output template, the effect effect index acquiring unit 204, the event metadata extraction, and the like.
  • the unit 205, the event metadata sorting unit 206, the attribute data extraction unit 206, the attribute data adding unit 208, and the component template synthesis unit 209 perform the same processing as in the present embodiment and perform processing for each main metadata. Partial digest data and attribute data are created and recorded in the partial digest storage unit 103. It is also good.
  • FIG. 19 is a functional block diagram showing the configuration of the partial digest generation unit 102 in the above modification.
  • V is based on the importance indicated by the status information and main metadata, and the effect effect matching table power is selected, but the effect effect matching is selected.
  • a field for a judgment identifier based on the user's personal preference is set so that the user can input and set the judgment identifier.
  • the effect of the presentation is based on the judgment identifier based on the personal preference.
  • An index may be selected. For example, in the stage effect matching table of FIG. 4, if the determination identifier for each “player up” is set to “ ⁇ ”, the partial digest metadata after selection includes the stage effect index for “player up”. You can include a player-up scene in the digest video that is played.
  • the video stream, event metadata, and status information are stored separately in the video storage unit 105, and the matching table, template, and effect matching table are stored separately in the template storage unit 106. As a reminder of recording in one storage unit or recording medium.
  • the video editing device 100 includes the partial digest generation unit 102, the partial digest storage unit 103, and the overall digest generation unit 104.
  • a video storage unit 105, an event extraction unit 101, a partial digest generation unit 102, and a partial digest storage unit 103 are included, and the entire digest generation unit 1 is added to the broadcast receiver on the user side that receives the broadcast.
  • a digest generation condition input unit 107 and a video storage unit 205 that stores only a video stream received from a broadcasting station, and a video editing device on the broadcasting station side and a broadcast receiver on the user side are connected to an electric communication line (for example, As a configuration that connects to the Internet).
  • an electric communication line for example, As a configuration that connects to the Internet.
  • the video stream used in this embodiment may be a real-time live broadcast video stream or a pre-recorded video playback video stream.
  • the content of the video stream is not limited to baseball, but may be video of other sports broadcasts or karaoke competitions.
  • the video editing system 10 is specifically a computer system including a microprocessor, ROM, RAM, hard disk unit, display unit, keyboard, mouse, and the like.
  • a computer program is stored in the RAM or the hard disk unit.
  • Microprocessor power Each program selection support apparatus achieves its function by operating in accordance with the combinatorial program.
  • the computer program is configured by combining a plurality of instruction codes indicating commands to the computer in order to achieve a predetermined function.
  • the format of the partial digest metadata and the entire digest metadata generated by the video editing apparatus 100 of this embodiment is XML (Extensible Markup Language). ge), RDF (Resource Description Framework), or EDL (Edit Decision List). Other formats other than the above may be used.
  • the situation information is different from the main metadata, but the main metadata includes the situation information.
  • the present invention can be used as a technique for creating a digest video summarizing the video by extracting a specific part of the video stream power of the recorded video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

  記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出して再生する映像編集装置100であって、前記映像ストリームは、主要場面を示す第1映像と、主要場面の演出効果をたかめるための複数種類の第2映像を含み、前記記録媒体には、第1の映像を特定する第1映像特定情報として、第1映像の記録位置を記録時間で示す時間情報と第1映像の主要場面に関連する場面の状況を示す状況情報が記録され、各種類の第2の映像を特定する第2映像特定情報として、第2映像の記録位置を記録時間で示す時間情報と第2映像の種類を識別する情報が記録され、さらに、第1映像に関する状況情報と第2映像の種類に関する識別情報との対応関係を示す選択テーブルが記録され、前記映像編集装置100は、前記記録媒体から第1映像特定情報を取得し、取得された第1映像特定情報の状況情報に対応付けられている第2映像の種類に関する識別情報を前記選択テーブルから選択し、前記記録媒体から、選択された前記識別情報の示す種類に該当する第2映像特定情報であって、時間情報の示す記録時間が、第1映像特定情報の示す記録時間の近傍の記録時間に該当する第2映像特定情報を抽出する部分ダイジェスト生成部102と、第1映像特定情報と抽出された第2映像特定情報とに基づいて、前記映像ストリームから、第1映像と第2映像を抽出して再生する全体ダイジェスト生成部104を備える。

Description

明 細 書
映像編集装置及び方法
技術分野
[0001] 本発明は、記録した映像を編集する技術に関し、特に記録した映像の映像ストリー ムカゝら特定の一部を抽出することにより、当該映像を要約したダイジェスト映像を作成 するための技術に関する。
背景技術
[0002] 記録した映像ストリームから、ダイジェスト映像を作成する技術としては、特許文献 1 に、当該映像ストリームに含まれるシーンの内、ユーザの定めた重要度の基準に応じ てダイジェスト映像に含めるシーンを特定し、特定したシーンを含む所定範囲の映像 ストリームを記録した映像ストリームカゝら抽出してダイジェスト映像を作成する技術が 開示されている。
[0003] これにより、ユーザは、記録した映像ストリームの全てを再生することなぐ重要部分 だけを短時間で視聴することができる。
又、特許文献 2には、記録した映像ストリームからの抽出箇所を特定するテンプレー トを、当該映像ストリームに含まれるシーン毎に予め設定しておくことにより、ユーザが 所望のテンプレートを選択することにより、当該テンプレートによって特定される映像 ストリームにより、ダイジェスト映像を作成する技術が開示されている。
[0004] これにより、ユーザは、所望のテンプレートを選択することにより、見たい場面を短時 間で視聴することができる。
特許文献 1:特開 2000-261754号公報
特許文献 2:特開 2002-142188号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、上記従来技術においては、シーン毎に再生される映像ストリームの範 囲及び再生順序が固定されて 、るので、記録した映像ストリームの中に同じ種類の シーンが複数回現れるような場合、各シーンの再生は固定された手順で行われるた め、視聴者に再生されるダイジェスト映像が単調で、変化に乏しぐ物足りない印象を 与えてしまうという問題が生じる。
[0006] 例えば、野球の試合におけるホームランシーンのダイジェスト映像の場合、ソロホー ムランのシーンも逆転ホームランのシーンも満塁ホームランのシーンも全て同じように 再生されてしまい、視聴者にとって興味をひくような、変化に富んだダイジェスト映像 を作成することができな 、と 、う問題が生じる。
本発明は、上記問題に鑑み、シーンが現れる状況に応じて、演出効果の異なるダ イジェスト映像を作成させる映像編集装置及び方法を提供することを目的とする。 課題を解決するための手段
[0007] 上記課題を解決するために、本発明は、記録媒体に記録された映像ストリームの示 す全体映像から、特定の映像を抽出して再生する映像編集装置であって、
前記映像ストリームは、主要場面を示す第 1映像と、主要場面の演出効果をたかめ るための複数種類の第 2映像を含み、前記記録媒体には、第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録時間で示す時間情報と第 1映像 の主要場面に関連する場面の状況を示す状況情報が記録され、各種類の第 2の映 像を特定する第 2映像特定情報として、第 2映像の記録位置を記録時間で示す時間 情報と第 2映像の種類を識別する情報が記録され、さらに、第 1映像に関する状況情 報と第 2映像の種類に関する識別情報との対応関係を示す選択テーブルが記録さ れ、前記映像編集装置は、前記記録媒体から第 1映像特定情報を取得する取得手 段と、取得された第 1映像特定情報の状況情報に対応付けられている第 2映像の種 類に関する識別情報を前記選択テーブル力 選択する選択手段と、前記記録媒体 から、選択された前記識別情報の示す種類に該当する第 2映像特定情報であって、 時間情報の示す記録時間が、第 1映像特定情報の示す記録時間の近傍の記録時 間に該当する第 2映像特定情報を抽出する抽出手段とを備える。
[0008] 記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出し て再生する映像編集方法であって、前記映像ストリームは、主要場面を示す第 1映像 と、主要場面の演出効果をたかめるための複数種類の第 2映像を含み、前記記録媒 体には、第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録 時間で示す時間情報と第 1映像の主要場面に関連する場面の状況を示す状況情報 が記録され、各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の記 録位置を記録時間で示す時間情報と第 2映像の種類を識別する情報が記録され、さ らに、第 1映像に関する状況情報と第 2映像の種類に関する識別情報との対応関係 を示す選択テーブルが記録され、前記映像編集方法は、前記記録媒体から第 1映 像特定情報を取得する取得ステップと、取得された第 1映像特定情報の状況情報に 対応付けられている第 2映像の種類に関する識別情報を前記選択テーブル力 選 択する選択ステップと、前記記録媒体から、選択された前記識別情報の示す種類に 該当する第 2映像特定情報であって、時間情報の示す記録時間が、第 1映像特定情 報の示す記録時間の近傍の記録時間に該当する第 2映像特定情報を抽出する抽出 ステップとを含むこととしてもよ!/、。
[0009] 記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出して 再生する映像編集装置に映像編集処理を実行させるプログラムであって、
前記映像ストリームは、主要場面を示す第 1映像と、主要場面の演出効果をたかめ るための複数種類の第 2映像を含み、前記記録媒体には、第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録時間で示す時間情報と第 1映像 の主要場面に関連する場面の状況を示す状況情報が記録され、各種類の第 2の映 像を特定する第 2映像特定情報として、第 2映像の記録位置を記録時間で示す時間 情報と第 2映像の種類を識別する情報が記録され、さらに、第 1映像に関する状況情 報と第 2映像の種類に関する識別情報との対応関係を示す選択テーブルが記録さ れ、前記映像編集処理は、前記記録媒体から第 1映像特定情報を取得する取得ス テツプと、取得された第 1映像特定情報の状況情報に対応付けられている第 2映像 の種類に関する識別情報を前記選択テーブル力 選択する選択ステップと、前記記 録媒体から、選択された前記識別情報の示す種類に該当する第 2映像特定情報で あって、時間情報の示す記録時間が、第 1映像特定情報の示す記録時間の近傍の 記録時間に該当する第 2映像特定情報を抽出する抽出ステップとを含むこととしても よい。
[0010] 記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出し て再生する映像編集装置に映像編集処理を実行させるプログラムを記録したコンビ ユータ読取可能な記録媒体であって、前記映像ストリームは、主要場面を示す第 1映 像と、主要場面の演出効果をたかめるための複数種類の第 2映像を含み、前記記録 媒体には、第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記 録時間で示す時間情報と第 1映像の主要場面に関連する場面の状況を示す状況情 報が記録され、各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の 記録位置を記録時間で示す時間情報と第 2映像の種類を識別する情報が記録され 、さらに、第 1映像に関する状況情報と第 2映像の種類に関する識別情報との対応関 係を示す選択テーブルが記録され、前記映像編集処理は、前記記録媒体から第 1 映像特定情報を取得する取得ステップと、取得された第 1映像特定情報の状況情報 に対応付けられている第 2映像の種類に関する識別情報を前記選択テーブルから 選択する選択ステップと、前記記録媒体から、選択された前記識別情報の示す種類 に該当する第 2映像特定情報であって、時間情報の示す記録時間が、第 1映像特定 情報の示す記録時間の近傍の記録時間に該当する第 2映像特定情報を抽出する抽 出ステップとを含むこととしてもよ!/、。
発明の効果
[0011] 上記構成を備えることにより、第 1映像特定情報の状況情報に基づいて、主要場 面の映像とともに再生される、関連する演出効果場面の映像を特定する第 2映像特 定情報が選択されるので、ユーザは、第 1映像特定情報と選択された第 2映像特定 情報とに基づいて、主要場面の映像と、演出効果場面の映像とを抽出し、主要場面 に関連する場面の状況に応じたダイジェスト映像を楽しむことができる。
[0012] ここで、前記記録媒体には、前記第 1映像と複数種類の前記第 2映像の再生順序 を示すテンプレート情報を前記第 1映像特定情報と対応付けて記録し、
前記映像編集装置はさらに、第 1映像特定情報と抽出された第 2映像特定情報と に基づいて、前記映像ストリームから、第 1映像と第 2映像を抽出し、抽出した前記第 1映像と前記第 2映像を、前記第 1映像特定情報に対応するテンプレート情報の示す 再生順序に従って再生する再生処理を行う再生手段
を備えることとしてもよい。 [0013] これにより、主要場面の映像と関連する演出効果場面の再生順序を設定しておく ことができるので、主要場面の映像と、主要場面を効果的に盛り上げる演出効果場 面の映像を、演出効果を最大限に高めるような効果的な再生順序で再生させること ができる。
ここで、前記映像ストリームは、複数の第 1映像を含み、前記記録媒体には、複数の 第 1映像特定情報と、各第 1特定情報に対応するテンプレート情報とが記録され、前 記取得手段は、前記記録媒体から前記各第 1映像特定情報を取得し、前記第 1映像 特定情報が取得される毎に、前記選択手段は、取得された第 1映像特定情報の状況 情報に対応付けられている第 2映像の種類に関する識別情報を前記選択テーブル 力 選択し、前記抽出手段は、前記記録媒体から、選択された前記識別情報の示す 種類に該当する第 2映像特定情報であって、時間情報の示す記録時間が、取得され た第 1映像特定情報の示す記録時間の近傍の記録時間に該当する第 2映像特定情 報を抽出し、前記再生手段は、取得された第 1映像特定情報の時間情報と、抽出さ れた第 2映像特定情報の時間情報と、取得された第 1映像特定情報に対応するテン プレート情報とを含む部分インデックス情報を生成する生成手段と、生成された各部 分インデックス情報を記憶する記憶手段と、ユーザ指示に応じて各部分インデックス 情報を前記記憶手段から読出し、読出した各部分インデックス情報基づいて、前記 映像ストリーム力ゝら第 1映像と第 2映像を抽出して前記再生処理を行うストリーム再生 手段とを有することの構成とすることができる。
[0014] これにより、第 1映像特定情報毎に、演出効果場面の映像を特定する第 2映像特 定情報の選択が行われるので、ユーザは、複数の同じ種類の主要場面の映像のダ イジェスト映像の再生を指定した場合においても、主要場面毎に、主要場面の映像と ともに再生される演出効果場面の映像の種類が変化するので、単調さを感じることな ぐダイジェスト映像の視聴を楽しむ事ができる。
[0015] ここで、前記状況情報の示す状況は、主要場面の直前の場面の状況であることと してちよい。
これにより、主要場面の直前の場面の状況に応じて、主要場面の映像とともに再 生する演出効果場面の映像の種類を選択することができるので、例えば、野球中継 におけるヒットの場面を主要場面としてダイジェスト映像を再生する場合にぉ 、て、ヒ ットの直前にランナー力 ^、る場合には、ランナーの様子を示す場面の映像をヒットの 場面の映像とともに再生させ、いない場合には、ヒットの場面の映像のみを再生させ るというように、直前のシーンの状況に応じて、視聴者の興味をひくように、ダイジエス ト映像を効果的に編成して再生することができる。
[0016] ここで、前記状況情報の示す状況は、主要場面に基づく結果を示す場面の状況 であることとしてもよい。
これにより、主要場面に基づく結果の場面の状況に応じて演出効果高めることが できる。例えば、野球中継における主要場面が満塁ホームランの場合と、ランナーが いないソロホームランの場合とで、同じホームランの場面に関するダイジェスト映像で あっても、満塁ホームランの場合には、ソロホームランの場合より多くの演出効果場面 の映像 (例えば、ベンチでの選手の祝福の様子を示す場面や、観客の歓喜する様子 を示す場面ゃリプレイ一の場面の映像)を再生させて、演出効果を高めることができ る。
[0017] ここで、前記記録媒体には、複数種類の前記映像ストリームが記録され、前記各映 像ストリームには、当該前記映像ストリームを識別するストリーム識別情報が付与され 、前記第 1映像特定情報は、第 1映像の記録されている前記映像ストリームのストリー ム識別情報を含み、各種類の前記第 2映像特定情報は、第 2映像の記録されている 前記映像ストリームのストリーム識別情報を含み、
前記再生手段は、前記第 1映像特定情報に含まれるストリーム識別情報を有する 前記映像ストリームから第 1映像を抽出し、抽出された前記第 2映像特定情報に含ま れるストリーム識別情報を有する前記映像ストリーム力 第 2映像を抽出することとし てもよい。
[0018] これにより、複数の映像ストリームから主要場面の映像とともに再生する演出効果 の場面の映像が選択されるので、ユーザは、複数のカメラで多面的に撮影された主 要場面の演出効果の場面の映像を楽しむことができる。
ここで、記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を 抽出して再生する映像編集装置であって、前記映像ストリームは、主要場面を示す 第 1映像と、主要場面の演出効果をたかめるための複数種類の第 2映像を含み、前 記記録媒体には、第 1の映像を特定する第 1映像特定情報として、第 1映像の記録 位置を記録時間で示す時間情報と第 1映像の重要度を示す重要度情報が記録され 、各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の記録位置を記 録時間で示す時間情報と第 2映像の種類を識別する情報が記録され、さらに、第 1 映像に関する重要度情報と第 2映像の種類に関する識別情報との対応関係を示す 選択テーブルが記録され、前記映像編集装置は、前記記録媒体から第 1映像特定 情報を取得する取得手段と、取得された第 1映像特定情報の重要度情報に対応付 けられている第 2映像の種類に関する識別情報を前記選択テーブル力 選択する選 択手段と、前記記録媒体から、選択された前記識別情報の示す種類に該当する第 2 映像特定情報であって、時間情報の示す記録時間が、第 1映像特定情報の示す記 録時間の近傍の記録時間に該当する第 2映像特定情報を抽出する抽出手段とを備 免ることの構成とすることができる。
[0019] これにより、第 1映像特定情報の示す主要場面の重要度に応じて、演出効果に変 ィ匕をちたせることがでさる。
例えば、野球中継における主要場面が同じタイムリーヒットの場面であっても、逆 転のタイムリーヒットとそうでないタイムリーヒットとで重要度に差を設けて、逆転のタイ ムリーヒットの場合には、主要場面の映像にベンチでの選手の祝福の様子を示す場 面の映像や、観客の歓喜する様子を示す場面の映像を主要場面の映像とともに再 生させ、その他のタイムリーヒットの場合には、そのような場面の映像の再生を行わな いように設定することにより、演出効果に変化を持たせることができる。
図面の簡単な説明
[0020] [図 1]図 1は、本発明の実施の形態 1における映像編集システム 10の構成を示す機 能ブロック図である。
[図 2]映像記憶部 105に記憶されている、映像ストリームとイベントメタデータと状況情 報の具体例を示す。
[図 3]マッチングテーブルとテンプレートの具体例を示す。
[図 4]演出効果マッチングテーブルの具体例を示す。 [図 5]図 5は、属性データの具体例を示す。
[図 6]図 6は、全体ダイジェスト生成部 104の構成を示す機能ブロック図である。
[図 7]図 7は、属性データから抽出された部分ダイジェストメタデータの具体例を示す
[図 8]全体ダイジェストメタデータの具体例を示す。
[図 9]全体ダイジェストメタデータの具体例を示す。
[図 10]全体ダイジェストメタデータの具体例を示す。
[図 11]部分ダイジェスト生成部 102の構成を示す機能ブロック図である。
[図 12]第 1演出効果選択部 202の行う演出効果インデックス第 1選択処理の動作を 示すフローチャートの一部である。
[図 13]第 1演出効果選択部 202の行う演出効果インデックス第 1選択処理の動作を 示すフローチャートの一部である。
[図 14]第 2演出効果選択部 203の行う演出効果インデックス第 2選択処理の動作を 示すフローチャートの一部である。
[図 15]第 2演出効果選択部 203の行う演出効果インデックス第 2選択処理の動作を 示すフローチャートの一部である。
[図 16]部分ダイジェスト生成部 102の行う部分ダイジェストメタデータ生成処理の動作 を示すフローチャートである。
[図 17]全体ダイジェスト生成部 104の行う全体ダイジェスト生成処理の動作を示すフ ローチャートである。
[図 18]図 8に示す全体ダイジェストメタデータに基づ!/、て、ダイジェスト生成部 303が ダイジェスト映像を再生する過程の一部をイメージ的に表した図である。
[図 19]変形例における、部分ダイジェスト生成部 102の構成を示す機能ブロック図で ある。
[図 20]全体ダイジェストメタデータの具体例を示す。
[図 21]テンプレート記憶部 106に記憶されているマッチングテーブルとヒット用テンプ レートの具体例を示す。
[図 22]図 2 (b)の 1710で示す「ヒット」のメインメタデータについて生成された部分ダイ ジェストメタデータの具体例を示す。
[図 23]図 2 (b)の 1711で示す「ヒット」のメインメタデータについて生成された部分ダイ ジェストメタデータの具体例を示す。
[0021] [図 24]図 2 (b)の 1712で示す「ヒット」のメインメタデータにつ 、て生成された部分ダイ ジェストメタデータの具体例を示す。
発明を実施するための最良の形態
[0022] く構成〉
図 1は、本発明の実施の形態 1における映像編集システム 10の構成を示す機能 ブロック図である。
映像編集システム 10は、映像編集装置 100、映像記憶部 105、テンプレート記憶 部 106、ダイジェスト生成条件入力部 107とから構成される。
[0023] 映像編集装置 100と映像記憶部 105、テンプレート記憶部 106、ダイジェスト生成 条件入力 107は、それぞれ、電気通信回線 (例えば、インターネット、イントラネット、 LANなど)で接続されて!ヽる。
又、映像編集装置 100が映像記憶部 105、テンプレート記憶部 106、ダイジェスト 生成条件入力 107を自装置に含む構成としてもよ!、。
(映像記憶部 105)
放送局で放送番組用に撮影された、フレーム画像の時系列順のストリームである映 像ストリームと、複数のイベントメタデータと状況情報とを記憶している。映像ストリーム を構成する各映像データは、その記録時刻と対応付けて記録されて 、る。
[0024] なお、記憶されている映像ストリームは、複数のカメラによって撮影された複数種類 の映像ストリームであってもよぐこの場合には、各映像ストリームには、当該映像スト リームを識別するための、カメラ番号が識別子として付与されているものとする。
ここで、 「イベントメタデータ」とは、撮影された映像ストリームを、複数の、時系列順 に連続する特定数のフレーム画像力もなるストリームに分割した場合における、分割 した各ストリームの示す映像の表すシーンを分類するための「インデックス」と、当該シ ーンの記録開始時刻を示す「IN点」と、「当該シーンの記録終了時刻を示す「OUT 点」と、当該シーンを撮影したカメラを識別するための「カメラ番号」と、各シーンの集 合体における当該シーンの重要性の程度を示す値である「重要度」と、当該シーンの 詳細 (例えば、登場人物、被写体名など)を記述した「キーワード」と当該シーンに対 応するテンプレート (テンプレートについては、後述する。)が存在するか否かを示す「 テンプレート情報」との対応関係を示す情報のことをいう。
[0025] なお、本実施の形態にお!ヽては、野球の試合を撮影対象として!ヽるので、キーヮ ードを、「行為者」、「被行為者」、「行為者チーム」、「被行為者チーム」に分類してい る。
ここで、「行為者」とは、野球の試合において、攻撃側の打者を表し、「被行為者」 とは、守備側の投手を表し、「行為者チーム」とは、攻撃側のチームを表し、「被行為 者」とは、守備側のチームを表す。
[0026] イベントメタデータは、インデックスの示すシーンの撮影が完了する毎に映像記憶 部 105に記憶される。
又、「状況情報」とは、各イベントメタデータについて、当該イベントメタデータの示 すシーンの直前のシーンの状況と当該イベントメタデータの示すシーンに基づく結果 シーンの状況とを記述した情報のことをいう(以下、前者の状況を記述した情報を「チ ヤンス状況情報」と呼び、後者の状況を記述した情報を「結果状況情報」と呼ぶ。 ) o
[0027] 状況情報は、例えば、撮影した映像の編集者や撮影者自身又はその助手等によ つて作成されるものとする。状況情報の作成は、カメラ撮影中に随時作成することとし てもよ ヽし、撮影後の映像編集時に作成することとしてもょ 、。
図 2は、映像記憶部 105に記憶されている、映像ストリームとイベントメタデータと 状況情報の具体例を示す。
[0028] 図 2 (a)は、映像ストリームの具体例を、図 2 (b)は、イベントメタデータの具体例を 、図 2 (c)は、状況情報の具体例を示す。
図 2 (a)の 600は、映像ストリームをイメージ的に表したものである。
図 2 (b)の 601は、イベントメタデータを示し、 6011は、インデックスの具体例を、 6 012、 6013は、 IN点、 OUT点の具体例を、 6014は、カメラ番号の具体例を、 6015 は、重要度の具体例を、 6016〜6019は、分類分けされた各キーワード (行為者、被 行為者、行為者チーム、被行為者チームの具体例を、 6020は、テンプレート情報の 具体例をそれぞれ表したものである。
[0029] 又、図 2 (c)の 602は、状況情報を示し、 6021は、イベントメタデータの識別子の 具体例を、 6022は、チャンス状況情報の具体例を、 6023は、結果状況情報の具体 例をそれぞれ表す。
(テンプレート記憶部 106)
マッチングテーブルとテンプレートと演出効果マッチングテーブルとを記憶している
[0030] ここで、「マッチングテーブル」とは、テンプレートを有するイベントメタデータ(以下、 「メインメタデータ」という。)に属するインデックス(以下、「メインインデックス」という。 ) と当該メインインデックスの属するテンプレートの格納場所との対応関係を示すテー ブノレのことをいう。
又、「テンプレート」とは、ダイジェスト映像の中で、連続的に再生されるべき複数の シーンを分類するための各インデックスのグループ(以下、グループ内の各インデック スの内、メインインデックス以外のインデックスを「演出効果インデックス」と呼ぶことと する。)と、各インデックスによって分類されるシーンの記録時刻情報 (IN点、 OUT点 )の記録欄と当該シーンの再生順序とを含む情報のことをいう。
[0031] なお、テンプレートに含まれる記録時刻情報の記録欄には、後述する部分ダイジェ ストメタデータの生成時に IN点、 OUT点が記録される。
ここで、「演出効果インデックス」は、撮影された各シーンの内、メインインデックスに よって分類される主要シーンに付随するシーンを分類するインデックスであり、主要シ ーンの直前に係るシーンである背景シーンと、主要シーンの直後に係るシーンである 結果シーンとに区分される。
[0032] 例えば、野球の「ホームラン」や「ヒット」のシーンを主要シーンとすると、背景シーン としては、主要シーンの直前における、塁上のランナーを示すシーンや、観客の様子 を示すシーンや、主要シーンに係った人物の表情を示すシーン等が含まれ、結果シ ーンとしては、主要シーンの直後における、観客の様子を示すシーンや主要シーン に係った人物の表情を示すシーンや、ベンチの様子を示すシーンや監督の様子を 示すシーン等が含まれる。 [0033] なお、 1つの演出効果インデックスについては、当該演出効果インデックスを含む 複数のイベントメタデータが存在し、メインメタデータとともに映像記憶部 105に記憶 されているものとする。図 2 (b)の 1700は、演出効果インデックスを含むイベントメタ データの具体例を示す。
なお、テンプレートには、後述するテンプレートのインデックスの選択処理によって 選択される可能性のある全ての演出効果インデックスとメインインデックスによってそ れぞれ分類されるシーンの再生順序が定義され、上記選択処理によって演出効果ィ ンデッタスが削除された場合には、削除された演出効果インデックスを飛ばして、そ の次の再生順序の演出効果インデックス又はメインインデックスによって分類されるシ ーンがつなぎ合わされる。
[0034] 又、複数のカメラを用いて、各分類に属するシーンの撮影を行うような場合には、テ ンプレートの IN点、 OUT点にカ卩えて当該カメラを識別するカメラ番号についての情 報がテンプレートに含められる。これにより、映像記憶部 105に記憶されている複数 の映像ストリームを、当該映像ストリームを撮影したカメラのカメラ番号と対応付けてお くことにより、複数のカメラで撮影したシーンに関する各映像ストリームを、テンプレー トの情報に基づいて映像記憶部 105から読出し、再生させることができる。
[0035] 又、「演出効果マッチングテーブル」とは、シーン属性情報と、分類情報と、判定基 準識別子と演出効果インデックスと、状況情報判定識別子と、重要度判定識別子と の対応関係を示すテーブルのことを 、う。
ここで、「シーン属性情報」とは、マッチングテーブルの各演出効果インデックスが、 メインインデックスによって識別されるシーンの直前のシーンである背景シーンに関 連する力、メインインデックスに関連するシーンである結果シーンに関連するかを示 すシーン属性情報のことを 、う。
[0036] 又、「分類情報」とは、シーン属性情報を撮影された対象の属性に基づ!、て分類分 けした情報のことをいう。
又、「判定基準識別子」とは、各演出効果インデックスをテンプレートに追加するか 否かの判定を、状況情報判定識別子に従って行うか、重要度判定識別子に従って 行うか、両者の判定結果に従って行うかを示す識別子のことを!ヽぅ。 [0037] 又、「状況情報判定識別子」とは、各演出効果インデックスについて、当該演出効 果インデックスを当該メインインデックスのテンプレートにぉ ヽて、選択する演出効果 インデックスとするか、選択候補とする演出効果インデックスとするか、当該演出効果 インデックスを当該テンプレートにおいて、削除する演出効果インデックスとするか、 削除候補とする演出効果インデックスとするかを、メインインデックスの状況情報との 関係に応じて判定するための識別子のことをいう。
[0038] 又、「重要度判定識別子」とは、各演出効果インデックスについて、当該演出効果ィ ンデッタスを当該メインインデックスのテンプレートにお!、て、選択確定した演出効果 インデックスとするか、選択候補とする演出効果インデックスとするか、当該演出効果 インデックスを当該テンプレートにおいて、削除する演出効果インデックスとするか、 削除候補とする演出効果インデックスとするかを、メインメタデータの示すシーンの重 要度との関係に応じて判定するための識別子のことをいう。
[0039] 図 3は、マッチングテーブルとテンプレートの具体例を示す。図 3の 700は、マッチ ングテーブルの具体例を示し、図 3の 701は、テンプレートの具体例を示す。 700に おいては、「メインインデックス」(図 3 (a)では、インデックスで表す。)と当該メインイン デッタスが属するテンプレートの格納場所を示す「パス」との対応関係が示されて 、る
[0040] 又、 701には、ホームランに関連したシーンを示す各インデックスが再生順序に従 つて配列され、各インデックスには、当該インデックスの示すシーンの記録開始時刻 と記録終了時刻とを示す「IN点」、「OUT点」の記載欄がそれぞれ付加されている。 図 4は、演出効果マッチングテーブルの具体例を示す。図 4の 801は、シーン属性 情報を示し、 802は、分類情報を示し、 803は、判定基準を示し、 804は、演出効果 インデックスを示し、 805は、状況情報判定識別子を示し、 806は、重要度判定識別 子を示す。
[0041] 又、図 4において、状況情報判定識別子又は重要度判定識別子が「一」に該当す る場合には、当該メインインデックスの属するテンプレートにおいて、演出効果インデ ックスを削除候補対象とすることを示し、メインインデックスに対応付けられて ヽる状況 情報判定識別子又は重要度判定識別子が「◎」に該当する場合には、対応付けられ ている演出効果インデックスを当該メインインデックスの属するテンプレートにおいて 、選択確定対象とすることを示し、メインインデックスに対応付けられている状況情報 又は重要度が「X」に該当する場合には、対応付けられている演出効果インデックス を当該メインインデックスの属するテンプレートにおいて、削除対象とすることを示し、 状況情報判定識別子又は重要度判定識別子が「〇」に該当する場合には、対応付 けられている演出効果インデックスを当該メインインデックスの属するテンプレートに おいて、選択候補対象とすることを示す。
[0042] この演出効果マッチングテーブルを用いて、予め定められたテンプレートの演出効 果インデックスの内容を、メインインデックスの状況情報、重要度に応じて変更するこ とがでさる。
(ダイジェスト生成条件入力部 107)
ダイジェスト映像生成の条件(以下、「生成条件」という。)を全体ダイジェスト生成部 104に入力する。
[0043] ここで、「生成条件」とは、ダイジェスト映像の構成要素となる、メインメタデータの検 索条件と、当該検索条件に基づ 、て検索された各部分ダイジェストの再生順序を指 定する並び替え条件とを含む条件のことを!、う。
ここで、「部分ダイジェストメタデータ」とは、メインメタデータに対応するテンプレート に含まれる演出効果インデックスから、後述する演出効果インデックス第 1及び第 2選 択処理によって選択された演出効果インデックスとその IN点、 OUT点と、当該テン プレートに含まれるメインインデックスとその IN点、 OUT点と、メインインデックスと選 択された演出効果インデックスによってそれぞれ特定されるシーンの再生順序とを含 むデータのことをいう。
[0044] 検索条件の例としては、例えば、メインメタデータに属するメインインデックスやキー ワード、重要度の閾値などの指定が挙げられる。
又、並び替え条件の例としては、例えば、メインメタデータによって特定される部分 ダイジェストメタデータの記録時間帯の早 、順、重要度の順が挙げられる。
(映像編集装置 100)
イベント抽出部 101、部分ダイジェスト生成部 102、部分ダイジェスト記憶部 103、 全体ダイジェスト生成部 104から構成される。
[0045] (イベント抽出部 101)
映像記憶部 105に記憶されている各イベントメタデータのテンプレート情報を参照 して、テンプレートの有無を判定し、テンプレートを有するメインメタデータを抽出して 、さら〖こ、映像記憶部 105に記憶されている状況情報を参照して、抽出した各メインメ タデータに対応付けられている状況情報を抽出し、部分ダイジェスト生成部 102に出 力する。
[0046] (部分ダイジェスト記憶部 103)
部分ダイジェスト生成部 102によって生成された各部分ダイジェストメタデータと属 性データとを記憶している。
ここで、「属性データ」とは、各部分ダイジェストメタデータを構成するインデックスに 係るイベントメタデータ力も抽出された情報に基づいて、部品ダイジェスト生成部 102 によって生成された、部分ダイジェストメタデータ名と当該部分ダイジェストメタデータ の格納場所を示す部品パスと、メインインデックスと、当該部分ダイジェストメタデータ に係る各シーンの IN点の内、最も早い記録時刻を示す IN点から、各シーンの OUT 点の内、最も遅 、記録時刻を示す OUT点までの記録時刻の範囲を示す記録時間 帯と、当該部分ダイジェストメタデータに含まれる各インデックスによって分類されるシ ーンの再生順序と、当該部分ダイジェストメタデータの重要度と、当該部分ダイジエス トメタデータに係る各イベントメタデータについてのキーワードとの対応関係を示す情 報のことをいう。
[0047] 図 5は、属性データの具体例を示す。図 5の 1000は、属性データを、 1001は、部 分ダイジェストメタデータ名を、 1002は、部品パスを、 1003は、メインインデックスを、 1004は、記録時間帯を、 1005は、再生順序を、 1006は、重要度を、 1007は、キー ワードをそれぞれ表す。
(全体ダイジェスト生成部 104)
図 6は、全体ダイジェスト生成部 104の構成を示す機能ブロック図である。
全体ダイジェスト生成部 104は、部分ダイジェストメタデータ抽出部 301、部分ダイジ ェスト並び替え部 302、ダイジェスト生成部 303から構成される。 [0048] (部分ダイジェストメタデータ抽出部 301 )
ダイジェスト生成条件入力部 107より入力される生成条件に含まれる検索条件に応 じて、部分ダイジェスト記憶部 103に記憶されている属性データに基づいて、検索条 件に合致する各部分ダイジェストメタデータを抽出して部分ダイジェスト並び替え部 3 02に出力する。
[0049] 図 7は、属性データに基づいて抽出された部分ダイジェストメタデータの具体例を 示す。図 7の例では、検索条件としてメインインデックスを「ホームラン」と指定した場 合において、図 5に示す属性データに基づいて部分ダイジェストメタデータ抽出部 30 1によって抽出された「ホームラン」についての部分ダイジェストメタデータの例を示し ている。
[0050] 又、キーワードを検索条件として指定した場合には、図 5に示す属性データに基づ V、て指定したキーワード (例えば、「今岡」)を含む部分ダイジェストメタデータ(例えば 、 「ホームラン」と「三振」の部分ダイジェストメタデータ)が抽出され、重要度の閾値( 例えば、重要度の閾値を 5とした場合)を検索条件として指定した場合には、図 5に示 す属性データに基づ 、て重要度が当該閾値を超える部分ダイジェストメタデータ (例 えば、「ホームラン」と「ヒット」と「満塁ホームラン」の部分ダイジヱストメタデータ)が抽 出される。
[0051] (部分ダイジェスト並び替え部 302)
部分ダイジェストメタデータ抽出部 301より入力された各部分ダイジェストメタデータ を、ダイジェスト生成条件入力部 107より入力された、生成条件に含まれる並び替え 条件の指定する再生順序に従って並び替えてダイジェスト生成部 303に出力する。
(ダイジェスト生成部 303)
部分ダイジェスト並び替え部 302より入力された並び替え後の各部分ダイジェストメ タデータに基づ 、て、各部分ダイジェストメタデータを並び替え後の順序に従って結 合させた、部分ダイジェストメタデータ(以下、「全体ダイジェストメタデータ」という。)を 生成する。
[0052] さらに、並び替え後の順序に従って、全体ダイジェストメタデータに含まれる各部分 ダイジェストメタデータによって特定されるメインインデックス及び演出効果インデック スの特定する各シーンを、当該部分ダイジェストメタデータの示す再生順序に従って 連続再生することにより、ダイジェスト映像を再生する。
具体的には、部分ダイジェストメタデータの示す再生順序に従って、当該部分ダイ ジェストメタデータに含まれるインデックスについての IN点、 OUT点(カメラ番号が含 まれている場合には、さらに、カメラ番号)に基づいて映像記憶部 105から、対応する 映像ストリームを順次抽出し、抽出した映像ストリームの再生を行うことにより、ダイジ ェスト映像を再生する。
[0053] 図 8〜10及び図 20は、全体ダイジェストメタデータの具体例を示す。図 8は、図 5に 示す属性データから、「ホームラン」をメインインデックスとする検索をして、並び替え 順を「重要度」とした場合において、生成された全体ダイジェストメタデータの具体例 を示す。
又、図 18は、図 8に示す全体ダイジェストメタデータに基づいて、ダイジェスト生成 部 303がダイジェスト映像を再生する過程の一部をイメージ的に表した図である。具 体的には、図 18は、図 8の最後の「ホームラン」に対応する部分ダイジェストメタデー タに基づ 、て、ダイジェスト生成部 303がダイジェスト映像を再生する過程をイメージ 的に表している。
[0054] 図 18の 1601は、映像記憶部 105に記録されている野球の撮影映像の映像ストリ ームを示し、 4種類の映像ストリームが複数のカメラによって撮影され、記録されてい ることを示して ヽる。
1602は、「ホームラン」の部分ダイジェストメタデータに含まれる各インデックスの IN 点、 OUT点、カメラ番号に基づいて、ダイジェスト生成部 303が 1601に示す映像ス トリーム力 抽出した各インデックスに対応する映像ストリームを示す。
[0055] 1603は、ダイジェスト生成部 303が、抽出した各映像ストリームを、「ホームラン」の 部分ダイジェストメタデータの示す再生順序に従って並び替えて作成した映像ストリ ームを示している。
1604は、ダイジェスト生成部 303が作成した映像ストリームに基づいて再生したダ イジェスト映像のイメージを示して 、る。
[0056] 図 9は、図 5に示す属性データから、「ABC」をキーワードとする検索をして、並び替 え順を「記録時間帯の早 ヽ順」とした場合にぉ ヽて、生成された全体ダイジェストメタ データの具体例を示す。
図 10は、図 5に示す属性データから、「今岡」をキーワードとする検索をして、並び 替え順を「記録時間帯の早 ヽ順」とした場合にぉ ヽて、生成された全体ダイジェストメ タデータの具体例を示す。
[0057] 又、図 20は、図 5に示す属性データから、重要度の閾値を 5とする検索 (重要度が「 5以上」を示す部分ダイジェストメタデータの検索)をして、並び替え順を「記録時間帯 の早 、順」とした場合にぉ 、て、生成された全体ダイジェストメタデータの具体例を示 す。
(部分ダイジェスト生成部 102)
図 11は、部品ダイジェスト生成部 102の構成を示す機能ブロック図である。
[0058] 部分ダイジェスト生成部 102は、テンプレートマッチング部 201、第 1演出効果選択 部 202、第 2演出効果選択部 203、演出効果インデックス取得部 204、イベントメタデ ータ切り出し部 205、イベントメタデータ並び替え部 206、属性データ抽出部 207、属 性データ付与部 208、部品テンプレート合成部 209から構成される。
(テンプレートマッチング部 201)
イベント抽出部 101より、各メインメタデータと当該メインメタデータのメインインデッ タスに対応付けられている状況情報が入力されると、テンプレート記憶部 106に記憶 されて ヽるマッチングテーブルを参照して、入力されたメインメタデータの示すメイン インデックスに対応するテンプレートの格納場所を特定し、当該格納場所カゝらテンプ レートを取得し、さらに、テンプレート記憶部 106から演出効果マッチングテーブルを 取得し、入力された各メインメタデータと、状況情報と、取得したテンプレートと、演出 効果マッチングテーブルとを第 1演出効果選択部 202に出力する。
[0059] (第 1演出効果選択部 202)
以下に示す演出効果インデックス第 1選択処理を行う。
テンプレートマッチング部 201より、各メインメタデータ、各状況情報、各テンプレー ト、演出効果マッチングテーブルが入力されると、各状況情報と当該状況情報に係る 、メインメタデータとテンプレートとの組毎に、演出効果マッチングテーブルの状況情 報判定識別子を参照して、演出効果マッチングテーブルに含まれる各演出効果イン デッタスについて、当該演出効果インデックスを当該テンプレートにおいて、選択する 演出効果インデックス(以下、「選択確定インデックス」という。)とする力 当該演出効 果インデックスを当該テンプレートにぉ ヽて、選択候補とする演出効果インデックス ( 以下、「選択候補インデックスという。」とする力 当該演出効果インデックスを当該テ ンプレートにおいて、削除する演出効果インデックス(以下、「削除インデックス」という 。)とする力 当該演出効果インデックスを当該テンプレートにおいて、削除候補とす る演出効果インデックス(以下、「削除候補インデックス」という。)とするかについての 判定処理を行い、各組の判定結果を第 2演出効果選択部 203に通知し、さらに各組 のメインメタデータ、テンプレートと演出効果マッチングテーブルとを第 2演出効果選 択部 203に出力する。
(第 2演出効果選択部 203)
以下に示す演出効果インデックス第 2選択処理を行う。
第 1演出効果選択部 202より、各メインメタデータとテンプレートの組、演出効果マツ チングテーブルの入力及び各組についての演出効果インデックス第 2選択処理の判 定結果の通知があると、メインメタデータの示す重要度と、演出効果マッチングテー ブルの重要度判定識別子とを参照して、演出効果マッチングテーブルに含まれる各 演出効果インデックスにつ 、て、当該演出効果インデックスを選択確定インデックスと するか、当該演出効果インデックスを選択候補インデックスとするか、当該演出効果 インデックスを削除候補インデックスとするカゝ、当該演出効果インデックスを削除イン デッタスとするかにつ 、ての判定処理を行!、、演出効果インデックス第 2選択処理に おける選択確定インデックス、選択候補インデックス、削除候補インデックス、削除確 定インデックスを特定し、各メインメタデータに係るテンプレートに対し、以下の各処 理 (選択決定処理、削除処理)を行い、処理後の各テンプレート(以下、「カレントテン プレート」という。 )と各メインメタデータとを演出効果インデックス取得部 204及びィべ ントメタデータ並び替え部 206に、さらに各カレントテンプレートに係るメインメタデー タをイベントメタデータ並び替え部 206に出力する。
1.選択決定処理 演出効果インデックス第 2選択処理における判定処理で、選択確定インデックスと 判定した各演出効果インデックスと、演出効果インデックス第 1選択処理における判 定処理で選択確定インデックスと判定した各演出効果インデックスとをテンプレートに 含める演出効果インデックスとして決定する。
[0061] 又、演出効果インデックス第 2選択処理における判定処理で、選択候補インデック スと判定した演出効果インデックスが、演出効果インデックス第 1選択処理における 判定処理でも、選択候補インデックスと判定されている場合には、当該演出効果イン デッタスについてもテンプレートに含めるインデックスとして決定する。
2.削除処理
演出効果インデックス第 2選択処理における判定処理で、削除インデックスと判定し た各演出効果インデックスと、演出効果インデックス第 1選択処理における判定処理 で、削除インデックスと判定された各演出効果インデックスとをテンプレートから削除 する。
[0062] 又、演出効果インデックス第 2選択処理における判定処理で、選択候補インデック スと判定した演出効果インデックスが、演出効果インデックス第 1選択処理における 判定処理で、選択候補インデックスと判定されていない場合には、当該演出効果イン デッタスについてもテンプレートから削除する。
又、演出効果インデックス第 1選択処理における判定処理で、削除候補インデック スと判定された演出効果インデックスにつ 、ては、演出効果インデックス第 2選択処 理における判定処理で、選択確定インデックスと判定しな力つた場合に、テンプレー トから削除し、同様に演出効果インデックス第 2選択処理における判定処理で、削除 候補インデックスと判定した演出効果インデックスにつ ヽては、演出効果インデックス 第 1選択処理における判定処理で、選択確定インデックスと判定されな力つた場合に 、テンプレートから削除する。
[0063] 以下、上記演出効果インデックス第 1及び第 2選択処理について、「ヒット」のテンプ レートを具体例としてさらに説明する。
図 21は、テンプレート記憶部 106に記憶されているマッチングテーブルとヒット用テ ンプレートの具体例を示す。図 21の 2001は、マッチングテーブルの具体例を示し、 2002は、ヒット用テンプレートの具体例を示す。
[0064] イベント抽出部 101より、図 2 (b)の 1710で示す「ヒット」に係るメインメタデータと図 2 (c)の 1713で示す当該メインメタデータに係る状況情報とがテンプレートマツチン グ咅 【こ人力され、テンプレー卜マッチング咅 【こ Jり、図 21の 2001【こ示すマツ チングテンプレートが参照されてヒット用テンプレートが各メインメタデータについて取 得され、各メインメタデータと当該メインメタデータに係る状況情報と、ヒット用テンプレ 一トが第 1演出効果選択部 202に入力されたと仮定して、上記演出効果インデックス 第 1及び第 2選択処理について説明する。
[0065] 第 1演出効果選択部 202は、図 4に示す演出効果マッチングテーブルに含まれる 各演出効果インデックスについて、 1710で示す「ヒット」のテンプレートに係る状況情 報である 1713で示す「ランナー有り」、「得点に絡む」にそれぞれ対応する状況情報 判定識別子を特定し、当該状況情報判定識別子が「◎」を示す、 801のシーン属性 情報が「背景」の「塁上アップ」の演出効果インデックスと、 801のシーン属性情報が「 結果」の「ホームイン」の演出効果インデックスを選択確定インデックスと判定し、当該 状況情報判定識別子が「〇」を示す、 801のシーン属性情報が「結果」の「監督アツ プ (被行為者チーム)」、「監督アップ (行為者チーム)」、 「ベンチ (イベント被行為者 チーム)」、ベンチ祝福 (イベント行為者チーム)」、 「スタンド (イベント行為者チーム)」 、「別アングルリプレイ」、 「スローリプレイ」の各演出効果インデックスを選択候補イン デッタスと判定し、他の演出効果インデックスについては、その状況情報判定識別子 は、「一」を示すので、削除候補インデックスと判定し、判定結果を第 2演出効果選択 部 203に通知する。
[0066] 次に、第 2演出効果選択部 203は、通知された特定結果に基づいて演出効果イン デッタス第 2選択処理を行う。
第 2演出効果選択部 203は、図 4に示す演出効果マッチングテーブルに含まれる 各演出効果インデックスについて、 1710で示す「ヒット」のテンプレートに係るメインメ タデータの示す重要度「8」(図 2 (b)参照)に対応する重要度判定識別子を特定し、 当該重要度情報判定識別子が「◎」を示す、 801のシーン属性情報が「背景」の「選 手アップ (イベント被行為者)」、「選手アップ (イベント行為者)」の各演出効果インデ ッタス、 801のシーン属性情報が「結果」の「選手アップ (イベント被行為者)」、「選手 アップ (イベント行為者)」の各演出効果インデックスを選択確定インデックスとそれぞ れ判定する。
[0067] さらに、第 2演出効果選択部 203は、当該重要度情報判定識別子が「〇」を示す、 801のシーン属性情報が「結果」の「監督アップ (イベント被行為者チーム)」、「監督 アップ (イベント行為者チーム)」、 「ベンチ (イベント被行為者チーム)」、 「ベンチ祝福 (イベント行為者チーム)」、 「スタンド (イベント行為者チーム)」の各演出効果インデッ タスを選択候補インデックスと判定する。
[0068] さらに、第 2演出効果選択部 203は、当該重要度情報判定識別子が「 X Jを示す、 801のシーン属性情報が「背景」の「観客アップ」の演出効果インデックス、 801のシ ーン属性情報が「結果」の「別アングルリプレイ」、 「スローリプレイ」の各演出効果イン デッタスをそれぞれ削除インデックスと判定する。
さらに、第 2演出効果選択部 203は、当該重要度情報判定識別子が「一」を示す、 801のシーン属性情報が「背景」の「塁上アップ」の演出効果インデックス、 801のシ ーン属性情報が「結果」の「ホームイン」の演出効果インデックスをそれぞれ削除候補 インデックスと判定する。
[0069] 第 2演出効果選択部 203は、選択確定インデックスと判定した、 801のシーン属性 情報が「背景」の「選手アップ (イベント被行為者) J、「選手アップ (イベント行為者)」 の各演出効果インデックス、 801のシーン属性情報が「結果」の「選手アップ (イベント 被行為者)」、「選手アップ (イベント行為者)」の各演出効果インデックスをテンプレー トに含める演出効果インデックスとして決定する。
[0070] さらに、第 2演出効果選択部 203は、選択候補インデックスと判定した、 801のシ ーン属性情報が「結果」の「監督アップ (イベント被行為者チーム)」、「監督アップ (ィ ベント行為者チーム)」、 「ベンチ (イベント被行為者チーム)」、 「ベンチ祝福 (イベント 行為者チーム)」、 「スタンド (イベント行為者チーム)」の各演出効果インデックスにつ いては、演出効果インデックス第 1選択処理における判定処理で、選択候補インデッ タスと判定されているので、これらの各演出効果インデックスについても、テンプレート に含める演出効果インデックスとして決定する。 [0071] 一方、第 2演出効果選択部 203は、演出効果インデックス第 1選択処理における判 定処理で選択候補インデックスと判定された、 801のシーン属性が「結果」の「別アン グルリプレイ」、 「スローリプレイ」の各演出効果インデックスについては、演出効果イン デッタス第 2選択処理における判定処理で、削除インデックスと判定しているので、こ れら各演出効果インデックスをテンプレートから削除する。
[0072] 又、第 2演出効果選択部 203は、削除候補インデックスと判定した、 801のシーン 属性情報が「背景」の「塁上アップ」と 801のシーン属性情報が「結果」の「ホームイン 」の各演出効果インデックスについては、演出効果インデックス第 1選択処理におけ る判定処理で、選択確定インデックスと判定されているので、「塁上アップ」、「ホーム イン」の各演出効果インデックスをテンプレートに含める演出効果インデックスとして 決定する。
[0073] 又、第 2演出効果選択部 203は、削除インデックスと判定した、 801のシーン属性 情報が「背景」の「観客アップ」の演出効果インデックスにつ 、ては、演出効果インデ ックス第 1選択処理における判定処理で削除候補インデックスと判定されているので 、テンプレートから削除する。
上記選択処理後の演出効果インデックスは、イベントメタデータ並び替え部 206で 、カレントテンプレートの示す再生順序に従って並び替えられ、部品テンプレート合 成部 205で、部分ダイジェストメタデータに組み入れられる。
[0074] 図 22は、 1710で示す「ヒット」のメインメタデータについて生成された部分ダイジェ ストメタデータの具体例を示す。
図 23、図 24は、図 2 (b)の 1711、 1712で示す各「ヒット」に係るメインメタデータと 図 2 (c)の 1714、 1715で示す当該メインメタデータに係る状況情報とがテンプレート マッチング部 201に入力され場合に、上記と同様にして演出効果インデックス第 1及 び第 2選択処理が行われて、生成された、 1711で示す「ヒット」及び 1712で示す「ヒ ット」の各メインメタデータにっ 、ての部分ダイジェストメタデータの具体例を示す。
[0075] (演出効果インデックス取得部 204)
第 2演出効果選択部 203より入力された各カレントテンプレートから演出効果インデ ックスを抽出し、抽出した各演出効果インデックスと第 2演出効果選択部 203より入力 された各メインメタデータとをイベントメタデータ切り出し部 205に出力する。
(イベントメタデータ切り出し部 205)
演出効果インデックス取得部 204より入力された各カレントテンプレートについての 演出効果インデックスと当該カレントテンプレートに係るメインメタデータの示す IN点 、 OUT点とに基づいて、映像記憶部 105に記憶されている当該演出効果インデック スを含むイベントメタデータの中から、メインメタデータの示す、 IN点、 OUT点によつ て特定される記録時間帯の近傍の記録時間帯に IN点、 OUT点をもつイベントメタデ ータ(以下、「演出イベントメタデータ」という。)を抽出してイベントメタデータ並び替え 部 206に出力する。
[0076] ここで、「近傍の記録時間帯」とは、メインメタデータの IN点、 OUT点によって特定 される記録時間帯に含まれる力 又は、当該記録時間帯から所定時間(例えば、数 秒から数十秒)の範囲内の記録時間帯のことを 、 、、予め設定されて 、るものとする 。これにより、インデックスが同一の複数のイベントメタデータの中から、メインメタデー タに係る演出イベントメタデータを抽出することができる。
[0077] (イベントメタデータ並び替え部 206)
第 2演出効果選択部 203より入力された各カレントテンプレートについてのメインメ タデータと、イベントメタデータ切り出し部 205より入力された各カレントテンプレート についての演出イベントメタデータを、当該カレントテンプレートの示す再生順序に従 つて並び替え、属性データ抽出部 207及び部品テンプレート合成部 209に出力する
[0078] (属性データ抽出部 207)
イベントメタデータ並び替え部 206から、各カレントテンプレートにつ 、ての並び替 え後のメインメタデータ及び各演出イベントメタデータとが入力されると、メインメタデ ータから、メインインデックスと、メインメタデータの IN点、 OUT点に基づいて決定し た記録時間帯と、キーワードとを取得し、さらに、各演出イベントメタデータからキーヮ ードを取得する。
又、メインメタデータ及び各演出イベントメタデータの示す重要度に基づいて、力 レントテンプレート毎の重要度を算出する。重要度の算出は、単純に各重要度を合 算してもよいし、その平均値であってもよいし、メインメタデータの重要度に重み付け をして算出(例えば、各演出イベントメタデータの重要度の平均値とメインメタデータ の重要度を合算して重要度を算出)することとしてもよい。
[0079] 又、各カレントテンプレートから再生順序を取得し、取得又は算出した上記各種デ ータに基づ 、て属性データを生成し、属性データ付与部 208に出力する。
(部分テンプレート合成部 209)
イベントメタデータ並び替え部 206から入力された、各カレントテンプレートについ ての並び替え後のメインメタデータ及び各演出イベントメタデータから、メインインデッ タス、演出効果インデックス、及び IN点及び OUT点を抽出し、抽出した各インデック スを並び替え後の順序に並べ、各インデックスに対応する IN点及び OUT点を付カロ して部分ダイジェストメタデータを生成して属性データ付与部 208に出力する。
[0080] (属性データ付与部 208)
部分テンプレート合成部 209より入力された、各部分ダイジェストメタデータを、属性 データ抽出部 207より入力された属性データと対応付けて部分ダイジェスト記憶部 1 03に記録する。
具体的には、各部分ダイジェストメタデータの部分ダイジェスト記憶部 103における 格納場所を示す部品パスを属性データに付加し、当該属性データを部分ダイジエス ト記憶部 103に記録する。
<動作 >
(演出効果インデックス第 1選択処理)
次に、第 1演出効果選択部 202の行う演出効果インデックス第 1選択処理の動作に ついて説明する。図 12及び図 13は、上記動作を示すフローチャートである。
[0081] 第 1演出効果選択部 202は、テンプレートマッチング部 201より、各メインメタデータ 、各状況情報、各テンプレート、演出効果マッチングテーブルの入力があると (ステツ プ S3001)、各状況情報と当該状況情報に係る、メインメタデータとテンプレートとの 組を取得し (ステップ S 3002)、演出効果マッチングテーブルの状況情報判定識別 子を参照し、演出効果マッチングテーブルに含まれる各演出効果インデックスについ て、状況情報の示す記述に対応する状況情報判定識別子を特定し (ステップ S3003 )、当該状況情報判定識別子に従って、当該演出効果インデックスが、選択確定イン デッタスか (ステップ S3004)、選択候補インデックスか (ステップ S3005)、削除イン デッタスか (ステップ S3006)を判定する。
[0082] ステップ S3004にお!/、て、選択確定インデックスと判定した場合に(ステップ S300 4 : Y)、当該演出効果インデックスの判定結果を選択確定インデックスとして保持し( ステップ S3007)、演出効果マッチングテーブルに含まれる全ての演出効果インデッ タスについて選択処理が終了した力否かを判定し (ステップ S3011)、終了した場合 には (ステップ S3011 :Y)、保持している各判定結果を第 2演出効果選択部 203に 通知し (ステップ S3012)、当該組のメインメタデータとテンプレートを第 2演出効果選 択部 203に出力し、さらに全ての組について選択処理が終了した力否かを判定する (ステップ S 3013)。
[0083] ステップ S3011の判定が否定的である場合 (ステップ S3011 :Ν)、ステップ S3003 の処理に移行し、ステップ S3013の判定が否定的である場合には(ステップ S3013:
Ν)、ステップ S3002の処理に移行する。
ステップ S3005において、選択候補インデックスと判定した場合に (ステップ S300
5: Υ)、当該演出効果インデックスの判定結果を選択候補インデックスとして保持し( ステップ S3008)、ステップ S3011の処理に移行する。
[0084] ステップ S3006〖こお!/、て、削除インデックスと判定した場合に(ステップ S3006: Υ)
、当該演出効果インデックスの判定を削除インデックスとして保持し (ステップ S 3009
)、ステップ S3011の処理に移行する。
ステップ S3006の判定が否定的である場合 (ステップ S3006 :N)、当該演出効果 インデックスが削除候補インデックスと判定し、当該演出効果インデックスの判定結果 を削除候補インデックスとして保持し (ステップ S3010)、ステップ S3011の処理に移 行する。
(演出効果インデックス第 2選択処理)
次に、第 2演出効果選択部 203の行う演出効果インデックス第 2選択処理の動作に ついて説明する。図 14及び図 15は、上記動作を示すフローチャートである。
[0085] 第 2演出効果選択部 203は、第 1演出効果選択部 202より、メインメタデータとテン プレートの組と演出効果マッチングテーブルの入力及び判定結果の通知を受取ると
(ステップ S4001)、入力された演出効果マッチングテーブルに含まれる各演出効果 インデックスについて、入力されたメインメタデータの示す重要度に対応付けられて いる重要度判定識別子を特定し (ステップ S4002)、当該重要度判定識別子に従つ て、当該演出効果インデックスが、選択確定インデックスか (ステップ S4003)、選択 候補インデックスか (ステップ S4004)か否かを判定する。
[0086] ステップ S4003にお!/、て、選択確定インデックスと判定した場合 (ステップ S4003: Y)、第 2演出効果選択部 203は、当該演出効果インデックスをテンプレートに含める 演出効果インデックスと決定し (S4006)、演出効果マッチングテーブルに含まれる 全ての演出効果インデックスにつ 、て選択処理が終了した力否かを判定し (ステップ S4010)、終了していない場合には(ステップ S4010 :N)、ステップ S4002の処理に 移行する。
[0087] ステップ S4004にお 、て、選択候補インデックスと判定した場合 (ステップ S4004: Y)、第 2演出効果選択部 203は、当該演出効果インデックスについて、第 1演出効 果選択部 202から通知された判定結果は、選択候補インデックスカゝ否かを判定し (ス テツプ S4007)、選択候補インデックスである場合には (ステップ S4007 :Y)、ステツ プ S4006の処理に移行し、選択候補インデックスでな 、場合には (ステップ S4007: N)、当該演出効果インデックスをテンプレートから削除する演出効果インデックスと 決定し (ステップ S4009)、ステップ S4010の処理に移行する。
[0088] ステップ S4004の判定結果が否定的である場合 (ステップ S4004: N)にお!/ヽて、 当該演出効果インデックスは、削除インデックスか又は削除候補インデックスであると 判定し、当該演出効果インデックスについて、第 1演出効果選択部 202から通知され た判定結果は、選択確定インデックスか否かを判定し (ステップ S4008)、選択確定 インデックスである場合 (ステップ S4008 :Y)、ステップ S4006の処理に移行し、選 択確定インデックスでな 、場合 (ステップ S4008: N)、ステップ S4009の処理に移行 する。
[0089] 第 2演出効果選択部 203は、上記選択処理を、第 1演出効果選択部 202より、メイ ンメタデータとテンプレートの組と演出効果マッチングテーブルの入力及び判定結果 の通知を受取る毎に繰り返し、演出効果インデックス第 2選択処理後の各カレントテ ンプレートを演出効果インデックス取得部 204及びイベントメタデータ並び替え部 20 6に、さらに各カレントテンプレートに係るメインメタデータをイベントメタデータ並び替 え部 206に出力する。
(部分ダイジェストメタデータ生成処理)
次に、部分ダイジェスト生成部 102の行う部分ダイジェストメタデータ生成処理の動 作について説明する。図 16は、上記動作を示すフローチャートである。
[0090] 演出効果インデックス第 2選択処理後の各カレントテンプレートと当該カレントテン プレートに係るメインメタデータが入力されると (ステップ S5001)、各カレントテンプレ ートから演出効果インデックスを抽出し (ステップ S5002)、映像記憶部 105から抽出 した演出効果インデックスを含む演出イベントメタデータを抽出し (ステップ S 5003)、 各カレントテンプレートについて抽出された演出イベントメタデータと当該カレントテン プレートに係るメインメタデータとを当該カレントテンプレートの示す再生順序に従つ て並び替え (ステップ S5004)、並び替え後のメインメタデータ及び各演出イベントメ タデータから、メインインデックス、演出効果インデックス、及び IN点及び OUT点を抽 出し (ステップ S5005)、抽出した各インデックスを並び替え後の順序に並べ、各イン デッタスに対応する IN点及び OUT点を付カ卩して部分ダイジェストメタデータを生成し (ステップ S5006)、さらに、並び替え後のメインメタデータ及び各演出イベントメタデ ータから、メインインデックスと、メインメタデータの示す IN点、 OUT点に基づいて算 出した記録時間と、キーワードとを取得し、当該カレントテンプレートについての重要 度を算出し、当該カレントテンプレートから再生順序を取得して、これらに基づいて属 性データを生成し (ステップ S5007)、生成した部分ダイジェストメタデータと属性デ 一タとを対応付けて部分ダイジェスト記憶部 103に記録する (ステップ S5008)。 (全体ダイジェスト生成処理)
次に、全体ダイジェスト生成部 104の行う全体ダイジェスト生成処理の動作にっ ヽ て説明する。
[0091] 図 17は、上記動作を示すフローチャートである。
全体ダイジェスト生成部 104は、ダイジェスト生成条件入力部 107より生成条件が 入力されると (ステップ S6001)、部分ダイジェスト記憶部 103に記憶されている属性 データから、生成条件に含まれる検索条件に合致する各部分ダイジェストメタデータ を抽出し (ステップ S6002)、抽出した各部分ダイジェストメタデータを、生成条件に 含まれる並び替え条件の指定する再生順序に従って並び替え (ステップ S6003)、 並び替え後の各部分ダイジェストメタデータに基づ 、て、各部分ダイジェストメタデー タを、並び替え後の順序に従って結合させて全体ダイジェストメタデータを生成し (ス テツプ S6004)、さらに、並び替え後の順序に従って、全体ダイジェストメタデータに 含まれる各部分ダイジェストメタデータの示す再生順序に従って、当該部分ダイジェ ストメタデータに含まれるインデックスについての IN点、 OUT点(カメラ番号が含まれ ている場合には、さらに、カメラ番号)に基づいて映像記憶部 105から、対応する映 像ストリームを順次抽出し (ステップ S6005)、抽出した映像ストリームの再生を行うこ とにより、ダイジェスト映像を再生する (ステップ S6006)。
<補足 >
以上、本発明に係る映像編集システム 10について、実施の形態に基づいて説明し たが、本発明はこれら実施の形態に限られないことは勿論である。
(1)本実施の形態では、メインメタデータに対応付けられて ヽる状況情報及び重要 度に応じて、メインメタデータに係るテンプレートのインデックスの内容を変更させるこ ととした力 メインメタデータに係るテンプレートの内容を固定することとしてもよい。 具体的には、図 11に示す部分ダイジェスト生成部 102の構成において、部分ダイ ジェスト生成部 102の構成を、第 1演出効果選択部 202、第 2演出効果選択部 203を 削除した構成とし、テンプレートマッチング部 201により取得された各メインメタデータ に対応付けられているテンプレートを演出効果インデックス取得部 204に出力し、以 後、出力された各テンプレートについて、演出効果インデックス取得部 204、イベント メタデータ切り出し部 205、イベントメタデータ並び替え部 206、属性データ抽出部 2 07、属性データ付与部 208、部品テンプレート合成部 209において、本実施の形態 における場合と同様の処理を行って各メインメタデータについての部分ダイジェストメ タデータ、属性データを作成し、部分ダイジェスト記憶部 103に記録することとしても よい。 図 19は、上記変形例における、部分ダイジェスト生成部 102の構成を示す機能ブ ロック図である。
(2)本実施の形態においては、演出効果マッチングテーブルは、メインインデックス の属するテンプレートの種類に係らず、 1つとしたが、メインインデックスの属するテン プレートの種類毎に異なる演出効果マッチングテーブルを設けることとしてもよいし、 メインインデックスの属する特定の複数種類のテンプレート毎に演出効果マッチング テーブルを設けることとしてもょ ヽ。
(3)本実施の形態にお!、ては、状況情報及びメインメタデータの示す重要度に基づ V、て、演出効果マッチングテーブル力 演出効果インデックスを選択することとしたが 、演出効果マッチングテーブルに、ユーザの個人嗜好に基づく判定識別子の欄を設 けて、ユーザが判定識別子を入力設定できるようにし、状況情報、重要度に加えて、 個人嗜好に基づく判定識別子に基づいて、演出効果インデックスを選択することとし てもよい。例えば、図 4の演出効果マッチングテーブルにおいて、各「選手アップ」の 判定識別子を「◎」に設定すると、選択後の部分ダイジェストメタデータには、「選手ァ ップ」の演出効果インデックスを含めることができ、再生されるダイジェスト映像にぉ ヽ て、選手アップのシーンを含めることができる。
(4)本実施の形態においては、映像ストリームとイベントメタデータと状況情報を映像 記憶部 105に、マッチングテーブルとテンプレートと演出効果マッチングテーブルを テンプレート記憶部 106に、別々に記憶することとした力 1つの記憶部又は記録媒 体に記'隐することとしてちょ 、。
(5)本実施の形態における映像編集システム 10の構成では、映像編集装置 100〖こ 部分ダイジェスト生成部 102、部分ダイジェスト記憶部 103、全体ダイジェスト生成部 104を含める構成としたが、例えば、放送局側の映像編集装置として、映像記憶部 1 05、イベント抽出部 101、部分ダイジェスト生成部 102、部分ダイジェスト記憶部 103 を含む構成とし、放送を受信するユーザ側の放送受信機に全体ダイジェスト生成部 1 04とダイジェスト生成条件入力部 107と放送局から受信した映像ストリームのみ記憶 する映像記憶部 205を含む構成とし、放送局側の映像編集装置とユーザ側の放送 受信機とを電気通信回線 (例えば、インターネット)で接続する構成としてもょ 、。 [0094] 具体的には、ダイジェスト映像の生成条件をダイジェスト生成条件入力部 107から 入力することにより、全体ダイジェスト生成部 104は、電気通信回線を介して放送局 側の映像編集装置に接続し、部分ダイジェスト記憶部 103から生成条件を満たす各 部分ダイジェストメタデータを取得して、取得した各部分ダイジェストメタデータに基づ いて、放送受信機に含まれる映像記憶部 205から対応する各部分映像ストリームを 抽出し、ダイジェスト映像を作成することとしてもよい。
[0095] これにより、家庭で簡単に受信した放送番組のダイジェスト映像を再生することがで きる。
(6)本実施の形態に用いる映像ストリーム、リアルタイムの生放送の映像ストリームで あっても、予め記録されたビデオ再生用の映像ストリームであってもよい。
又、映像ストリームの内容は、野球に限らず、他のスポーツ放送やカラオケ大会の 映像であってもよい。
[0096] 例えば、カラオケ大会の参加者の歌っているシーンのダイジェスト映像を作成する 場合に、カラオケ大会で高得点をあげた人の場合には、歌っている間のシーンにカロ えて、歌って ヽる人のプロファイルなどの補足説明する映像をダイジエス映像として抽 出することとし、得点が低力つた人の歌っているシーンの映像は、歌っている間のシ ーンだけを抽出するというように、野球映像以外の映像ストリームにおいても、本発明 を利用して視聴者の興味を引くようなダイジェスト映像を作成することができる。
(7)本実施の形態の映像編集システム 10は、具体的には、マイクロプロセッサ、 RO M、 RAM,ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから 構成されるコンピュータシステムである。前記 RAM又は前記ハードディスクユニットに は、コンピュータプログラムが記憶されている。前記マイクロプロセッサ力 前記コンビ ユータブログラムに従って動作することにより、各番組選択支援装置は、その機能を 達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンビュ ータに対する指令を示す命令コードが複数個組み合わされて構成されたものである
(8)本実施の形態の映像編集装置 100にお ヽて生成される部分ダイジェストメタデ ータ、全体ダイジェストメタデータのフォーマットは、 XML (Extensible Markup Langua ge)であってもよ ヽし、 RDF (Resource Description Framework)であってもよ ヽし、 ED L (Edit Decision List)であってもよい。又、上記以外の他のフォーマットであってもよ い。
(9)又、本実施の形態においては、状況情報をメインメタデータと別のデータとしたが 、メインメタデータに状況情報が含まれることとしてもょ 、。
産業上の利用可能性
本発明は、記録した映像の映像ストリーム力 特定の一部を抽出することにより、当 該映像を要約したダイジェスト映像を作成するための技術として利用できる。

Claims

請求の範囲
[1] 記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出して 再生する映像編集装置であって、
前記映像ストリームは、主要場面を示す第 1映像と、主要場面の演出効果をたかめ るための複数種類の第 2映像を含み、
前記記録媒体には、
第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録時間で 示す時間情報と第 1映像の主要場面に関連する場面の状況を示す状況情報が記録 され、
各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の記録位置を記 録時間で示す時間情報と第 2映像の種類を識別する情報が記録され、
さらに、第 1映像に関する状況情報と第 2映像の種類に関する識別情報との対応関 係を示す選択テーブルが記録され、
前記映像編集装置は、
前記記録媒体から第 1映像特定情報を取得する取得手段と、
取得された第 1映像特定情報の状況情報に対応付けられている第 2映像の種類に 関する識別情報を前記選択テーブル力 選択する選択手段と、
前記記録媒体から、選択された前記識別情報の示す種類に該当する第 2映像特 定情報であって、時間情報の示す記録時間が、第 1映像特定情報の示す記録時間 の近傍の記録時間に該当する第 2映像特定情報を抽出する抽出手段と
を備えることを特徴とする映像編集装置。
[2] 前記記録媒体には、前記第 1映像と複数種類の前記第 2映像の再生順序を示すテ ンプレート情報を前記第 1映像特定情報と対応付けて記録し、
前記映像編集装置はさらに、第 1映像特定情報と抽出された第 2映像特定情報と に基づいて、前記映像ストリームから、第 1映像と第 2映像を抽出し、
抽出した前記第 1映像と前記第 2映像を、前記第 1映像特定情報に対応するテンプ レート情報の示す再生順序に従って再生する再生処理を行う再生手段
を備えることを特徴とする映像編集装置。
[3] 前記映像ストリームは、複数の第 1映像を含み、
前記記録媒体には、複数の第 1映像特定情報と、各第 1特定情報に対応するテン プレート情報とが記録され、
前記取得手段は、前記記録媒体から前記各第 1映像特定情報を取得し、 前記第 1映像特定情報が取得される毎に、
前記選択手段は、取得された第 1映像特定情報の状況情報に対応付けられてい る第 2映像の種類に関する識別情報を前記選択テーブルカゝら選択し、
前記抽出手段は、前記記録媒体から、選択された前記識別情報の示す種類に該 当する第 2映像特定情報であって、時間情報の示す記録時間が、取得された第 1映 像特定情報の示す記録時間の近傍の記録時間に該当する第 2映像特定情報を抽 出し、
前記再生手段は、
取得された第 1映像特定情報の時間情報と、抽出された第 2映像特定情報の時間 情報と、取得された第 1映像特定情報に対応するテンプレート情報とを含む部分イン デッタス情報を生成する生成手段と、
生成された各部分インデックス情報を記憶する記憶手段と、
ユーザ指示に応じて各部分インデックス情報を前記記憶手段から読出し、読出した 各部分インデックス情報基づいて、前記映像ストリーム力ゝら第 1映像と第 2映像を抽出 して前記再生処理を行うストリーム再生手段と
を有することを特徴とする請求項 2記載の映像編集装置。
[4] 前記状況情報の示す状況は、主要場面の直前の場面の状況である
ことを特徴とする請求項 1に記載の映像編集装置。
[5] 前記状況情報の示す状況は、主要場面に基づく結果を示す場面の状況である ことを特徴とする請求項 1に記載の映像編集装置。
[6] 前記記録媒体には、複数種類の前記映像ストリームが記録され、前記各映像ストリ ームには、当該前記映像ストリームを識別するストリーム識別情報が付与され、 前記第 1映像特定情報は、第 1映像の記録されている前記映像ストリームのストリー ム識別情報を含み、 各種類の前記第 2映像特定情報は、第 2映像の記録されている前記映像ストリーム のストリーム識別情報を含み、
前記再生手段は、前記第 1映像特定情報に含まれるストリーム識別情報を有する 前記映像ストリームから第 1映像を抽出し、抽出された前記第 2映像特定情報に含ま れるストリーム識別情報を有する前記映像ストリーム力 第 2映像を抽出する
ことを特徴とする請求項 2記載の映像編集装置。
[7] 記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出して 再生する映像編集装置であって、
前記映像ストリームは、主要場面を示す第 1映像と、主要場面の演出効果をたかめる ための複数種類の第 2映像を含み、
前記記録媒体には、
第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録時間で 示す時間情報と第 1映像の重要度を示す重要度情報が記録され、
各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の記録位置を記 録時間で示す時間情報と第 2映像の種類を識別する情報が記録され、
さらに、第 1映像に関する重要度情報と第 2映像の種類に関する識別情報との対応 関係を示す選択テーブルが記録され、
前記映像編集装置は、
前記記録媒体から第 1映像特定情報を取得する取得手段と、
取得された第 1映像特定情報の重要度情報に対応付けられている第 2映像の種類 に関する識別情報を前記選択テーブル力 選択する選択手段と、
前記記録媒体から、選択された前記識別情報の示す種類に該当する第 2映像特 定情報であって、時間情報の示す記録時間が、第 1映像特定情報の示す記録時間 の近傍の記録時間に該当する第 2映像特定情報を抽出する抽出手段と
を備えることを特徴とする映像編集装置。
[8] 記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出し て再生する映像編集方法であって、
前記映像ストリームは、主要場面を示す第 1映像と、主要場面の演出効果をたか めるための複数種類の第 2映像を含み、
前記記録媒体には、
第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録時間 で示す時間情報と第 1映像の主要場面に関連する場面の状況を示す状況情報が記 録され、
各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の記録位置を 記録時間で示す時間情報と第 2映像の種類を識別する情報が記録され、
さらに、第 1映像に関する状況情報と第 2映像の種類に関する識別情報との対応 関係を示す選択テーブルが記録され、
前記映像編集方法は、
前記記録媒体から第 1映像特定情報を取得する取得ステップと、
取得された第 1映像特定情報の状況情報に対応付けられている第 2映像の種類に 関する識別情報を前記選択テーブル力 選択する選択ステップと、
前記記録媒体から、選択された前記識別情報の示す種類に該当する第 2映像特 定情報であって、時間情報の示す記録時間が、第 1映像特定情報の示す記録時間 の近傍の記録時間に該当する第 2映像特定情報を抽出する抽出ステップと
を含むことを特徴とする映像編集方法。
記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出して 再生する映像編集装置に映像編集処理を実行させるプログラムであって、
前記映像ストリームは、主要場面を示す第 1映像と、主要場面の演出効果をたかめ るための複数種類の第 2映像を含み、
前記記録媒体には、
第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録時間で 示す時間情報と第 1映像の主要場面に関連する場面の状況を示す状況情報が記録 され、
各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の記録位置を記 録時間で示す時間情報と第 2映像の種類を識別する情報が記録され、
さらに、第 1映像に関する状況情報と第 2映像の種類に関する識別情報との対応関 係を示す選択テーブルが記録され、
前記映像編集処理は、
前記記録媒体から第 1映像特定情報を取得する取得ステップと、
取得された第 1映像特定情報の状況情報に対応付けられている第 2映像の種類に 関する識別情報を前記選択テーブル力 選択する選択ステップと、
前記記録媒体から、選択された前記識別情報の示す種類に該当する第 2映像特 定情報であって、時間情報の示す記録時間が、第 1映像特定情報の示す記録時間 の近傍の記録時間に該当する第 2映像特定情報を抽出する抽出ステップと
を含むことを特徴とするプログラム。
記録媒体に記録された映像ストリームの示す全体映像から、特定の映像を抽出して 再生する映像編集装置に映像編集処理を実行させるプログラムを記録したコンビュ 一タ読取可能な記録媒体であって、
前記映像ストリームは、主要場面を示す第 1映像と、主要場面の演出効果をたかめ るための複数種類の第 2映像を含み、
前記記録媒体には、
第 1の映像を特定する第 1映像特定情報として、第 1映像の記録位置を記録時間で 示す時間情報と第 1映像の主要場面に関連する場面の状況を示す状況情報が記録 され、
各種類の第 2の映像を特定する第 2映像特定情報として、第 2映像の記録位置を記 録時間で示す時間情報と第 2映像の種類を識別する情報が記録され、
さらに、第 1映像に関する状況情報と第 2映像の種類に関する識別情報との対応関 係を示す選択テーブルが記録され、
前記映像編集処理は、
前記記録媒体から第 1映像特定情報を取得する取得ステップと、
取得された第 1映像特定情報の状況情報に対応付けられている第 2映像の種類に 関する識別情報を前記選択テーブル力 選択する選択ステップと、
前記記録媒体から、選択された前記識別情報の示す種類に該当する第 2映像特 定情報であって、時間情報の示す記録時間が、第 1映像特定情報の示す記録時間 の近傍の記録時間に該当する第 2映像特定情報を抽出する抽出ステップと を含むことを特徴とする記録媒体。
PCT/JP2005/011853 2004-06-29 2005-06-28 映像編集装置及び方法 WO2006008923A2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006528716A JP4714149B2 (ja) 2004-06-29 2005-06-28 映像編集装置及び方法
EP05755771A EP1765011A2 (en) 2004-06-29 2005-06-28 Video edition device and method
US11/630,037 US8121462B2 (en) 2004-06-29 2005-06-28 Video edition device and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004-192149 2004-06-29
JP2004192149 2004-06-29
JP2004-251016 2004-08-30
JP2004251016 2004-08-30

Publications (4)

Publication Number Publication Date
WO2006008923A1 WO2006008923A1 (ja) 2006-01-26
WO2006008923A2 true WO2006008923A2 (ja) 2006-01-26
WO2006008923A3 WO2006008923A3 (ja) 2006-03-09
WO2006008923B1 WO2006008923B1 (ja) 2006-05-04

Family

ID=35785616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/011853 WO2006008923A2 (ja) 2004-06-29 2005-06-28 映像編集装置及び方法

Country Status (4)

Country Link
US (1) US8121462B2 (ja)
EP (1) EP1765011A2 (ja)
JP (1) JP4714149B2 (ja)
WO (1) WO2006008923A2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008070687A2 (en) 2006-12-04 2008-06-12 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
JP2008193563A (ja) * 2007-02-07 2008-08-21 Nec Design Ltd 撮像装置、再生装置、撮像方法、再生方法及びプログラム
AU2012201523B2 (en) * 2006-12-04 2015-03-05 Isolynx, Llc Autonomous systems and methods for still and moving picture production
JP2020178226A (ja) * 2019-04-17 2020-10-29 株式会社Jvcケンウッド 映像データ処理装置、映像データ処理システム、チャット表示方法、及び映像データ処理プログラム
JP2021141434A (ja) * 2020-03-05 2021-09-16 Kddi株式会社 シーン抽出方法、装置およびプログラム
JP2021145391A (ja) * 2019-09-26 2021-09-24 みこらった株式会社 競技観戦システム、映像収集配信装置、観戦者端末及び映像収集配信装置用のプログラム並びに観戦者端末用のプログラム
WO2021240678A1 (ja) * 2020-05-27 2021-12-02 日本電気株式会社 映像処理装置、映像処理方法、及び、記録媒体
WO2021240653A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 情報処理装置、制御方法及び記憶媒体

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5245257B2 (ja) * 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
JP2009049550A (ja) * 2007-08-15 2009-03-05 Hitachi Ltd ゲートウェイ装置
JP5552769B2 (ja) * 2009-07-29 2014-07-16 ソニー株式会社 画像編集装置、画像編集方法及びプログラム
JP5593643B2 (ja) * 2009-07-10 2014-09-24 ソニー株式会社 情報処理装置及びプレイリスト表示方法
US8861935B2 (en) * 2009-08-26 2014-10-14 Verizon Patent And Licensing Inc. Systems and methods for enhancing utilization of recorded media content programs
ES2767976T3 (es) * 2010-09-14 2020-06-19 Teravolt Gmbh Procedimiento para la elaboración de secuencias de film
US8515990B2 (en) * 2010-11-19 2013-08-20 Lg Electronics Inc. Mobile terminal and method of managing video using metadata therein
US20130177296A1 (en) * 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
US10525347B2 (en) 2012-03-13 2020-01-07 Sony Interactive Entertainment America Llc System and method for capturing and sharing console gaming data
US10960300B2 (en) 2011-11-23 2021-03-30 Sony Interactive Entertainment LLC Sharing user-initiated recorded gameplay with buffered gameplay
US20130244790A1 (en) * 2012-03-13 2013-09-19 Sony Computer Entertainment America Llc System and method for capturing and sharing console gaming data
US9116555B2 (en) 2011-11-23 2015-08-25 Sony Computer Entertainment America Llc Gaming controller
US8672765B2 (en) 2012-03-13 2014-03-18 Sony Computer Entertainment America Llc System and method for capturing and sharing console gaming data
US10486064B2 (en) 2011-11-23 2019-11-26 Sony Interactive Entertainment America Llc Sharing buffered gameplay in response to an input request
US10913003B2 (en) 2012-03-13 2021-02-09 Sony Interactive Entertainment LLC Mini-games accessed through a sharing interface
US11406906B2 (en) 2012-03-13 2022-08-09 Sony Interactive Entertainment LLC Network connected controller for direct to cloud gaming
US9345966B2 (en) 2012-03-13 2016-05-24 Sony Interactive Entertainment America Llc Sharing recorded gameplay to a social graph
US9413801B2 (en) * 2012-06-28 2016-08-09 Adobe Systems Incorporated Media stream index merging
US9100460B2 (en) 2012-06-28 2015-08-04 Adobe Systems Incorporated Media stream fragment request
JP6049410B2 (ja) * 2012-11-09 2016-12-21 キヤノン株式会社 画像処理装置および画像処理方法
JP6139872B2 (ja) * 2012-12-10 2017-05-31 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体、並びに、映像処理システム
US9364743B2 (en) 2012-12-21 2016-06-14 Sony Interactive Entertainment America Llc Generation of a multi-part mini-game for cloud-gaming based on recorded gameplay
US9352226B2 (en) 2012-12-21 2016-05-31 Sony Interactive Entertainment America Llc Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
US20160006944A1 (en) * 2013-03-08 2016-01-07 Thomson Licensing Method and apparatus for automatic video segmentation
CN106662920B (zh) * 2014-10-22 2020-11-06 华为技术有限公司 交互式视频生成
US9544615B2 (en) * 2014-11-14 2017-01-10 Sony Corporation Method and system for processing video content
RU2677368C1 (ru) * 2018-01-17 2019-01-16 Общество С Ограниченной Ответственностью "Группа Айби" Способ и система для автоматического определения нечетких дубликатов видеоконтента

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251581A (ja) * 2000-03-03 2001-09-14 Jisedai Joho Hoso System Kenkyusho:Kk スポーツ映像ダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002142188A (ja) * 2000-11-02 2002-05-17 Canon Inc 動画像編集方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122379A (en) * 1996-05-30 2000-09-19 Deloitte & Touche Inc. Method and apparatus for performing simultaneous data compression and encryption
JP3176893B2 (ja) 1999-03-05 2001-06-18 株式会社次世代情報放送システム研究所 ダイジェスト作成装置,ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7054508B2 (en) * 2000-08-03 2006-05-30 Canon Kabushiki Kaisha Data editing apparatus and method
US7779267B2 (en) * 2001-09-04 2010-08-17 Hewlett-Packard Development Company, L.P. Method and apparatus for using a secret in a distributed computing system
WO2005025129A1 (ja) * 2003-09-04 2005-03-17 Matsushita Electric Industrial Co., Ltd. デジタル著作物保護システム及びデジタル著作物保護方法
JP4324053B2 (ja) * 2004-08-16 2009-09-02 キヤノン株式会社 データ通信装置、その制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251581A (ja) * 2000-03-03 2001-09-14 Jisedai Joho Hoso System Kenkyusho:Kk スポーツ映像ダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002142188A (ja) * 2000-11-02 2002-05-17 Canon Inc 動画像編集方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UEDA K. ET AL: 'A Design of Summery Composition System with Template Scenario' THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS vol. 99, no. 202, 1999, pages 13 - 18, XP002993794 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701322B2 (en) 2006-12-04 2020-06-30 Isolynx, Llc Cameras for autonomous picture production
WO2008070687A3 (en) * 2006-12-04 2009-12-23 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
EP2479993A3 (en) * 2006-12-04 2013-12-11 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
AU2012201523B2 (en) * 2006-12-04 2015-03-05 Isolynx, Llc Autonomous systems and methods for still and moving picture production
US9848172B2 (en) 2006-12-04 2017-12-19 Isolynx, Llc Autonomous systems and methods for still and moving picture production
WO2008070687A2 (en) 2006-12-04 2008-06-12 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
US11317062B2 (en) 2006-12-04 2022-04-26 Isolynx, Llc Cameras for autonomous picture production
JP2008193563A (ja) * 2007-02-07 2008-08-21 Nec Design Ltd 撮像装置、再生装置、撮像方法、再生方法及びプログラム
JP2020178226A (ja) * 2019-04-17 2020-10-29 株式会社Jvcケンウッド 映像データ処理装置、映像データ処理システム、チャット表示方法、及び映像データ処理プログラム
JP2021145391A (ja) * 2019-09-26 2021-09-24 みこらった株式会社 競技観戦システム、映像収集配信装置、観戦者端末及び映像収集配信装置用のプログラム並びに観戦者端末用のプログラム
JP2021141434A (ja) * 2020-03-05 2021-09-16 Kddi株式会社 シーン抽出方法、装置およびプログラム
WO2021240653A1 (ja) * 2020-05-26 2021-12-02 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
WO2021240678A1 (ja) * 2020-05-27 2021-12-02 日本電気株式会社 映像処理装置、映像処理方法、及び、記録媒体

Also Published As

Publication number Publication date
US20080193099A1 (en) 2008-08-14
WO2006008923B1 (ja) 2006-05-04
EP1765011A2 (en) 2007-03-21
US8121462B2 (en) 2012-02-21
JP4714149B2 (ja) 2011-06-29
WO2006008923A3 (ja) 2006-03-09
JPWO2006008923A1 (ja) 2008-05-01

Similar Documents

Publication Publication Date Title
JP4714149B2 (ja) 映像編集装置及び方法
US11170819B2 (en) Dynamic video highlight
US7988560B1 (en) Providing highlights of players from a fantasy sports team
US8250623B2 (en) Preference extracting apparatus, preference extracting method and preference extracting program
US20070136755A1 (en) Video content viewing support system and method
CN103765910B (zh) 用于视频流和其他内容的基于关键字的非线性导航的方法和设备
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
EP1403786A2 (en) Automated event content processing method and system
JP2002335473A (ja) 動画コンテンツの検索情報抽出システム、検索情報抽出方法、検索情報保存システム、動画コンテンツのストリーミング配信方法
US20050055710A1 (en) Motion picture storage apparatus and motion picture distributing system
KR20070007788A (ko) 콘텐츠 재생장치
Miyamori et al. Generation of views of TV content using TV viewers' perspectives expressed in live chats on the web
KR20110033844A (ko) 텔레비전 시퀀스를 제공하는 장치 및 방법
WO2006059436A1 (ja) 映像コンテンツ再生支援方法、映像コンテンツ再生支援システム、及び情報配信プログラム
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP4925938B2 (ja) ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
JP2004350092A (ja) 映像視聴システム、および当該システムに用いられる映像再生端末、および当該映像再生端末における処理方法、および当該処理方法を実行するプログラム、および当該プログラムを記録した記録媒体
CN112312142B (zh) 视频播放控制方法、装置和计算机可读存储介质
JP6948934B2 (ja) コンテンツ加工システム、端末装置、およびプログラム
JP2011128981A (ja) 検索装置及び検索方法
JP2006115052A (ja) コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体
KR102069897B1 (ko) 사용자 영상 생성 방법 및 이를 위한 장치
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
US20080002064A1 (en) Person Estimation Device and Method, and Computer Program
JP2011193371A (ja) 情報管理装置、情報端末、および情報コンテンツ視聴方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

B Later publication of amended claims

Effective date: 20060208

WWE Wipo information: entry into national phase

Ref document number: 2006528716

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200580021971.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2005755771

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2005755771

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11630037

Country of ref document: US

WWW Wipo information: withdrawn in national office

Ref document number: 2005755771

Country of ref document: EP