WO2012108090A1 - 映像間対応関係表示システム及び映像間対応関係表示方法 - Google Patents

映像間対応関係表示システム及び映像間対応関係表示方法 Download PDF

Info

Publication number
WO2012108090A1
WO2012108090A1 PCT/JP2011/077379 JP2011077379W WO2012108090A1 WO 2012108090 A1 WO2012108090 A1 WO 2012108090A1 JP 2011077379 W JP2011077379 W JP 2011077379W WO 2012108090 A1 WO2012108090 A1 WO 2012108090A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
correspondence
section
inter
derived
Prior art date
Application number
PCT/JP2011/077379
Other languages
English (en)
French (fr)
Inventor
野村　俊之
貴美 佐藤
岩元　浩太
亮太 間瀬
直毅 藤田
宏一 上田
隆人 小澤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/983,957 priority Critical patent/US9473734B2/en
Priority to JP2012556756A priority patent/JP5854232B2/ja
Publication of WO2012108090A1 publication Critical patent/WO2012108090A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to an inter-video correspondence display system and an inter-video correspondence display method.
  • an edited video is created by editing a coverage video generated by the coverage.
  • a plurality of edited videos are used when creating a broadcast video that is actually used when a program is broadcast.
  • the coverage video is not only used for one edited video, but may be variously edited as necessary to create a plurality of edited videos.
  • the edited video is not only used for one broadcast video but also used for a plurality of broadcast videos.
  • Patent Document 1 a method for displaying the correspondence between videos by registering the correspondence between material video, edited video, and on-air video in a database has been proposed. ing. In this method, when a video is created, the correspondence between the video and another video is registered in a database. Therefore, it is assumed that the correspondence relationship is registered in the database for the created video.
  • Patent Literature 2 discloses a technique for searching for content similar to a certain content by using content feature information.
  • Patent Document 3 discloses a method of determining content identity based on content feature amounts and grouping the content.
  • Patent Document 4 discloses a technique that can determine the identity between videos with high discriminating power even when there is such a modification.
  • Patent Document 1 Although a correspondence relationship between videos is displayed, when a derived video is created using a part of the original video, each section of the derived video It is not possible to easily grasp whether there is any alteration from the original video.
  • a broadcast video may be created by modifying the edited video, such as adding a telop, but it is easy to know which section of the broadcast video has been modified from the edited video. Can not do it. Therefore, for example, in order to confirm what kind of alteration has been made from the edited video in the broadcast video, it is necessary to reproduce the entire section of the broadcast video while comparing it with the edited video.
  • Patent Documents 2 to 4 disclose a method for determining the similarity and identity between videos, but a method for easily grasping whether or not there is a modification from the original video. Is not disclosed at all.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to make it possible to easily grasp whether or not there is a modification from the original video in each section of the derived video created using the original video. .
  • An inter-video correspondence display system provides a correspondence between sections between at least one original video and a derived video created using at least a section of at least one original video.
  • a relation information storage unit for storing relation information including information indicating a relation and information indicating the presence or absence of alteration from the original video in a section having a correspondence relation of the derived video; and relation information stored in the relation information storage unit
  • the correspondence display section for displaying the correspondence of the section between the derived video and the at least one original video in a display mode according to the presence or absence of alteration from the original video in the section having the correspondence of the derived video And comprising.
  • the “unit” does not simply mean a physical means, but includes a case where the function of the “unit” is realized by software. Also, even if the functions of one “unit” or device are realized by two or more physical means or devices, the functions of two or more “units” or devices are realized by one physical means or device. May be.
  • FIG. 1 is a diagram showing a configuration of an inter-video correspondence presentation system that is an embodiment of the present invention.
  • the inter-video correspondence presentation system 10 is a system that presents the presence / absence of modification in each section of a derived video together with the correspondence between videos between videos having a correspondence in the creation process.
  • An amount storage unit 22, a correspondence relationship determination unit 24, a relationship information storage unit 26, and a correspondence relationship display unit 28 are included.
  • the feature amount storage unit 22 includes a coverage video feature amount storage unit 30, an edited video feature amount storage unit 32, and a broadcast video feature amount storage unit 34.
  • the inter-video correspondence presentation system 10 refers to the video database 40.
  • the video database 40 includes a coverage video database (DB) 42, an edited video database (DB) 44, and a broadcast video database (DB) 46.
  • DB coverage video database
  • DB broadcast video database
  • Such an inter-video correspondence presentation system 10 is configured using one or a plurality of information processing apparatuses, and the feature amount extraction unit 20, the correspondence judgment unit 24, and the correspondence display 28 are stored in a memory.
  • the program can be realized by the processor executing the program.
  • the feature amount storage unit 22 and the relationship information storage unit 26 can be realized using a storage area such as a memory or a storage device.
  • the video having a corresponding relationship in the creation process includes, for example, a coverage video used in a broadcasting station, an edited video created using at least a part of the coverage video, and at least a part of the edited video. It is a broadcast video created by using it.
  • the broadcast video is a derived video
  • the coverage video and the edited video are original videos.
  • the video having a corresponding relationship in the creation process is not limited to the video used in the broadcasting station.
  • the video on the broadcast video or the recording medium is the original video and the illegal video is a derived video.
  • the description will focus on video used in a broadcasting station, but the correspondence presentation system shown in the present embodiment can be applied to any video as long as it has a correspondence in the creation process. It is.
  • FIG. 2 is a diagram illustrating a configuration example of the coverage video DB 42.
  • video data of the coverage video is stored in association with the video identifier and the attribute information.
  • the video identifier is information for identifying the coverage video, and for example, a file name or the like can be used.
  • the attribute information is information indicating various attributes relating to the coverage video, and includes, for example, a video title, creation date and time, time of the entire video, and the like.
  • FIG. 3 is a diagram illustrating a configuration example of the edited video DB 44.
  • the edited video DB 44 stores the video data of the edited video in association with the video identifier and attribute information.
  • the video identifier and attribute information are the same as those of the coverage video DB 42.
  • FIG. 4 is a diagram illustrating a configuration example of the broadcast video DB 46.
  • the broadcast video DB 46 video data of the broadcast video is stored in association with the video identifier, attribute information, and frequency information.
  • the video identifier and attribute information are the same as those of the coverage video DB 42.
  • information indicating the number of times the broadcast video has been broadcast is set in the frequency information.
  • the value of frequency information can be increased each time rebroadcasting is performed.
  • the rebroadcast broadcast video may be stored in the broadcast video DB 46 as a video different from the original broadcast video.
  • the attribute information can include information regarding the broadcast date and time. If broadcast video is distributed in response to a viewer's request, the frequency of viewing the broadcast video may be set in the frequency information.
  • the coverage video, the edited video, and the broadcast video are stored in separate databases.
  • these videos may be stored together in one database.
  • information indicating the type of video may be given to each video.
  • the feature quantity extraction unit 20 refers to the video database 40, extracts a feature quantity vector from each of a plurality of frame images constituting the video, and stores the feature quantity vector in the feature quantity storage unit 22.
  • the feature vectors of the coverage video, the edited video, and the broadcast video are stored in the coverage video feature amount storage unit 30, the edited video feature amount storage unit 32, and the broadcast video feature amount storage unit 34, respectively.
  • the feature vectors of the coverage video, the edited video, and the broadcast video may be stored together in one storage unit. In this case, information indicating the type of video may be given to each feature vector.
  • the feature amount vector indicates the feature amount for each predetermined section constituting the video.
  • a feature amount vector is generated for each frame image constituting a video by a method described in International Publication No. 2010/0884714.
  • the feature quantity vector generated by this method is a set of N feature quantities corresponding to N (N ⁇ 2) partial areas defined in the frame image.
  • Each partial area corresponding to each dimension of the feature quantity vector includes, for example, a plurality of partial areas in the frame image.
  • the feature-value of each dimension can be produced
  • FIG. 5 is a diagram showing an example of area division of a frame image. As shown in FIG. 5, for example, each frame image can be divided into 32 ⁇ 32 1024 regions (divided regions). The partial area corresponding to each dimension in the feature vector is constituted by a combination of one or more divided areas.
  • FIG. 6 is a diagram showing an image when extracting feature values in the Mth dimension.
  • the partial areas corresponding to the Mth dimension are two partial areas 62 and 64.
  • the feature quantity extraction unit 20 may generate an M-th dimension feature quantity based on the difference between the feature quantity (area feature quantity) of the partial area 62 and the feature quantity (area feature quantity) of the partial area 64. it can.
  • the feature amount of each of the partial areas 62 and 64 can be calculated using an arbitrary method such as an average value or a median value of pixel values in each partial area.
  • the feature quantity extraction unit 20 can generate the Mth dimension feature quantity by quantizing the difference between the area feature quantities of the partial areas 62 and 64 into, for example, three values ( ⁇ 1, 0, 1). .
  • the feature quantity extraction unit 20 can generate an N-dimensional feature quantity vector by generating feature quantities for each dimension (first dimension to Nth dimension). Note that the feature value calculation method for each dimension described here is an example, and a feature value vector can be generated by any method.
  • FIG. 7 is a diagram illustrating an example of a feature amount vector stored in the coverage video feature amount storage unit 30.
  • the feature vector is stored in association with a video identifier and sequence information indicating the temporal order of frame images.
  • the sequence information may be any information that can grasp the order of the feature vector, and for example, a frame number or the like can be used. Note that the sequence information may not be provided as long as the temporal order of the feature vector can be identified by the data storage structure or the like.
  • the edited video feature quantity storage unit 32 and the broadcast video feature quantity storage unit 34 can also be configured in the same manner as the coverage video feature quantity storage unit 30.
  • the correspondence determination unit 24 determines the correspondence between videos based on the feature vector stored in the feature storage 22. Specifically, the correspondence between the coverage video (original video) and the edited video (derived video) and the correspondence between the edited video (original video) and the broadcast video (derived video) are determined. Thereby, the correspondence between the coverage video (original video) and the broadcast video (derived video) is also indirectly determined via the edited video. The correspondence determining unit 24 can also directly determine the correspondence between the coverage video and the broadcast video without using the edited video.
  • FIG. 8 is a diagram illustrating a configuration example of the correspondence determination unit 24.
  • the correspondence determination unit 24 can include a feature amount comparison unit 70, a frame selection unit 72, and a relationship information output unit 74.
  • the feature quantity comparison unit 70 compares the feature quantity vector of the video that is the candidate for the original video and the feature quantity vector of the video that is the candidate for the derived video, for example, for each frame. For example, the feature amount comparison unit 70 compares the feature amount vector of the coverage video with the feature amount vector of the edited video. In addition, the feature amount comparison unit 70 compares the feature amount vector of the edited video with the feature amount vector of the broadcast video.
  • the frame selection unit 72 selects a frame image determined to have a correspondence (identity) between videos based on the comparison result in the feature amount comparison unit 70. For determining the identity between frame images, for example, the number of dimensions in which feature quantities match between two feature quantity vectors, the number of dimensions in which feature quantities do not match, and the size of feature quantity vectors are compared. Can be done.
  • the relationship information output unit 74 outputs relationship information that is information indicating a section having a correspondence relationship between videos. Specifically, the relationship information output unit 74 generates relationship information indicating a section in which the frame selection unit 72 determines that the frame images are identical, and stores the relationship information in the relationship information storage unit 26. Further, the relationship information output unit 74 outputs information indicating the degree of modification in a section having a correspondence relationship between videos based on the comparison result in the feature amount comparison unit 70.
  • the degree of modification indicates the degree of modification made by adding a telop or the like when a derived image is created using the original image, and is the same as, for example, the above-described determination of identity between frame images. It can obtain by the method of.
  • FIG. 9 is a diagram illustrating an example of relationship information stored in the relationship information storage unit 26.
  • the relationship information includes information about the original video, information about the derived video, and information indicating the degree of modification.
  • the information related to the original video or the derived video includes a video type, a video identifier, and section information.
  • the video type is information indicating whether it is a coverage video, an edited video, or a broadcast video.
  • the section information is information indicating a video section. For example, the playback time or frame number of the section in the video can be used.
  • FIG. 9 shows that the broadcast video B1 is created using the edited videos E1 to E3. More specifically, the section “15:00 to 33:00” of the edited video E1 is used as the section “00:00 to 15:00” of the broadcast video B1, and the modification degree is “5”. It has become. That is, it can be seen that the section “00:00 to 15:00” of the broadcast video B1 is a modification of the section “15:00 to 33:00” of the edited video E1. Similarly, the section “15:00 to 20:00” of the broadcast video B1 is a modification of the section “05:00 to 10:00” of the edited video E2, and “20” of the broadcast video B1.
  • the section from 3:00 to 33:00 is a modification of the section from “03:00 to 13:00” of the edited video E3.
  • FIG. 9 only one value is shown as the degree of modification in the section with the corresponding relationship.
  • a plurality of sections (divided sections) included in this section are shown. ) May be set for the degree of modification.
  • the section “00:00 to 40:00” of the edited video E1 is created from the section “10:00 to 50:00” of the coverage video C1, and the modification degree is “0”. It has become. That is, it can be seen that the edited video E1 is an extracted portion of “10:00 to 50:00” of the coverage video C1. Similarly, the edited videos E2 and E3 are obtained by extracting the section “02:00 to 17:00” of the coverage video C2 and the section “25:00 to 55:00” of the coverage video C2, respectively. Recognize.
  • the correspondence relationship display unit 28 converts the correspondence relationship between the derived video and the original video to the degree of modification in each section of the derived video based on the relationship information stored in the relationship information storage unit 26. Display in the corresponding display mode.
  • FIG. 10 is a diagram illustrating an example of a screen output by the correspondence display unit 28.
  • the correspondence display unit 28 can display the correspondence between videos based on the relationship information stored in the relationship information storage unit 26.
  • the screen 80 includes areas 82 to 94.
  • the correspondence display 28 can display information such as the video identifier, title, and creation date / time of the broadcast video in the area 82 by referring to the broadcast video DB 46.
  • the correspondence display unit 28 may display information on all broadcast videos stored in the broadcast video DB 46 in the area 82, or the broadcast video in which the relationship information is stored in the relationship information storage unit 26. Information regarding only the broadcast video that has been modified may be displayed in the area 82. In the area 82, one broadcast video can be selected by a user operation such as clicking.
  • the correspondence display 28 can display information related to the broadcast video selected in the area 82 in another area.
  • a representative thumbnail image of the selected broadcast video is displayed.
  • a plurality of thumbnail images of the broadcast video are displayed.
  • the correspondence display unit 28 can display a thumbnail image of a broadcast video by referring to the broadcast video DB 46, for example.
  • the timeline of the broadcast video is displayed, and in the area 90, the correspondence relationship between the broadcast video and the edited video is displayed in accordance with the time axis of the broadcast video timeline.
  • the timeline (00:00 to 33:00) of the broadcast video B1 is shown in the area 88, and the section “00:00 to 15 of the broadcast video B1 is shown in the area 90.
  • 0:00 ” is created from the edited video E1
  • the section“ 15:00 to 20:00 ”of the broadcast video B1 is created from the edited video E2
  • the section“ 20:00 ”of the broadcast video B1 is created.
  • “-30: 00” is created from the edited video E3.
  • the correspondence display unit 28 displays the correspondence between the broadcast video and the edited video in the area 90
  • the correspondence display unit 28 can also display the section of each edited video based on the relationship information. For example, it can be displayed that the section of the edited video E1 is “15:00 to 33:00”. The same applies to the edited videos E2 and E3.
  • thumbnail images of edited videos in the section corresponding to the broadcast video are displayed.
  • the correspondence display unit 28 can display a thumbnail image of the edited video by referring to the edited video DB 44, for example.
  • the correspondence relationship display unit 28 can grasp the correspondence relationship between the edited video and the coverage video based on the relationship information stored in the relationship information storage unit 26. Therefore, the correspondence display unit 28 can display the thumbnail image of the coverage video corresponding to the edited video in the region 92 by referring to the coverage video DB 42.
  • the degree of modification from the edited video in each section of the broadcast video is displayed in a graph in accordance with the timeline of the broadcast video. From this graph, for example, it can be seen that the degree of modification in the range surrounded by the circle 96 is high. Then, referring to the timeline of the broadcast video, it can be seen that the degree of modification in the vicinity of the broadcast video section “00:00 to 05:00” is high. Furthermore, by referring to the thumbnail image in the area 92, it is possible to grasp what kind of scene is the section with a high degree of modification.
  • the correspondence display unit 28 displays the correspondence in the region 90 and displays the degree of modification in the region 94, so that the correspondence between the sections between the broadcast video and the edited video can be obtained for both regions as a whole.
  • the display mode is displayed in accordance with the degree of modification in the section having the corresponding relationship.
  • the display mode according to the degree of modification is not limited to the display of the degree of modification as shown in FIG. 10 as long as the degree of modification or the presence or absence of modification can be identified.
  • the modified section may be highlighted.
  • the strength or color of the highlight may be changed or the size of the thumbnail image may be changed according to the degree of modification.
  • the correspondence display unit 28 can output a screen that displays the broadcast video and the edited video of the selected section.
  • FIG. 11 shows an example.
  • the screen 120 includes an area 122 where a broadcast video is displayed and an area 123 where an edited video or a coverage video is displayed.
  • the correspondence relationship display unit 28 acquires the section information of the selected section from the relationship information, acquires the video in the section from the video database 40, and displays it in the regions 122 and 123.
  • the correspondence display unit 28 may display an image of a section selected in the region 86 or the region 94 instead of the region 92.
  • FIG. 12 is a flowchart showing an example of processing in the inter-video correspondence presentation system 10.
  • the feature quantity extraction unit 20 extracts a feature quantity vector for each video stored in the video database 40 and stores it in the feature quantity storage unit 22 (S1201).
  • the feature quantity comparison unit 70 refers to the feature quantity storage unit 22 and compares the feature quantity vectors between the videos (S1202).
  • the frame selection unit 72 selects a frame image having a correspondence relationship (identity) based on the comparison result in the feature amount comparison unit 70 (S1203).
  • the relationship information output unit 74 stores the relationship information about the section including the selected frame image in the relationship information storage unit 26 (S1204).
  • the correspondence relationship display unit 28 displays the correspondence relationship of the sections between the derived video (broadcast video) and the original video (edited video or coverage video) based on the relationship information stored in the relationship information storage unit 26. Then, it is displayed in a display mode corresponding to the degree of modification from the original video in each section of the derived video (S1205).
  • the section correspondence between the derived video and the original video is displayed in a display mode according to the modification degree in each section of the derived video.
  • the presence or absence of alteration in each section of the video can be easily grasped.
  • this embodiment is for making an understanding of this invention easy, and is not for limiting and interpreting this invention.
  • the present invention can be changed / improved without departing from the spirit thereof, and the present invention includes equivalents thereof.
  • the correspondence display system (Supplementary note 2) The correspondence display system according to supplementary note 1, wherein the information indicating the presence / absence of modification in the section having the correspondence relation is information indicating the presence / absence of modification in each of the plurality of divided sections included in the section.
  • the correspondence display unit displays the correspondence of the sections in a display mode according to the presence or absence of alteration in each of the plurality of divided sections included in the section based on the relationship information.
  • Correspondence display system. (Supplementary note 3) The inter-video correspondence table system according to supplementary note 1 or 2, wherein the correspondence display unit displays the presence or absence of the modification in accordance with the time axis of the derived video. system.
  • the inter-video correspondence display system according to any one of supplementary notes 1 to 3, wherein the correspondence display unit displays the correspondence for the at least one original video as the derived video.
  • Display system for inter-video correspondences that displays along the time axis.
  • the information indicating presence / absence of modification in the section includes information indicating the degree of modification in the section
  • the correspondence display unit includes: The inter-video correspondence display system for displaying the correspondence of the sections in a display mode corresponding to the degree of modification in each section based on the relation information.
  • (Supplementary note 6) The inter-video correspondence display system according to any one of supplementary notes 1 to 5, wherein the correspondence display unit includes a storage unit that stores thumbnail images for each section of the original video.
  • An inter-video correspondence display system that refers to and displays the correspondence in a display mode corresponding to the presence or absence of the alteration, and displays a thumbnail image of the original video in the section having the correspondence.
  • (Supplementary note 7) The inter-video correspondence display system according to any one of supplementary notes 1 to 6, wherein the relation information storage unit stores the relation information for a plurality of the derived videos, and displays the correspondence relation display.
  • the unit displays information for selecting one of the plurality of derived videos, and the correspondence relationship of the one derived video selected by a user input in accordance with the display depends on whether or not the modification is performed.
  • Display system for displaying correspondence between images. (Supplementary note 8) The inter-video correspondence display system according to any one of supplementary notes 1 to 7, wherein the correspondence relation display unit selects one of the sections in which the correspondence is displayed.
  • the inter-video correspondence display system according to any one of supplementary notes 1 to 8, wherein the feature quantity storage unit stores the feature quantity for each predetermined section constituting the video in association with each video. And a feature amount comparison unit that compares feature amounts for each section of a plurality of videos including the derived image and the original image, and outputs the relation information based on a comparison result of the feature amounts for each section.
  • An inter-video correspondence display system further comprising: a relation information output unit stored in the relation information storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　元映像を利用して作成された派生映像における、元映像からの改変有無を容易に把握可能とする。少なくとも１つの元映像と、少なくとも１つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、派生映像の対応関係のある区間における元映像からの改変の有無を示す情報とを含む関係情報を関係情報記憶部に記憶し、関係情報記憶部に記憶されている関係情報に基づいて、派生映像と少なくとも１つの元映像との間における区間の対応関係を、派生映像の対応関係のある区間における元映像からの改変の有無に応じた表示態様で表示する。

Description

映像間対応関係表示システム及び映像間対応関係表示方法
　本発明は、映像間対応関係表示システム及び映像間対応関係表示方法に関する。
　デジタル映像の普及に伴い、既存の映像を用いて別の映像を作成することが容易になっている。例えば、放送局では、取材により生成された取材映像を編集することにより、編集映像が作成される。そして、実際に番組の放送時に使用される放送映像を作成する際には、複数の編集映像が用いられる。また、取材映像は、１つの編集映像に用いられるだけではなく、必要に応じて様々に編集され、複数の編集映像を作成するために用いられることがある。同様に、編集映像についても、１つの放送映像に用いられるだけではなく、複数の放送映像に用いられることがある。
　このように、映像間に対応関係がある場合、映像の増加に伴って対応関係を把握することが難しくなってくる。そこで、例えば、特許文献１に開示されているように、素材映像、編集映像、及びオンエア映像間の対応関係をデータベースに登録しておくことにより、映像間の対応関係を表示する手法が提案されている。この手法では、映像を作成する際に、その映像と他の映像との対応関係がデータベースに登録されることとなっている。そのため、作成済の映像については対応関係がデータベースに登録されていることが前提となっている。
　ところが、実際には、作成済の映像について対応関係がデータベースに登録されずに、複数の映像が生成されていることが多い。このような場合、まず、映像間の対応関係を検出する必要がある。例えば、特許文献２には、コンテンツの特徴情報を用いることにより、あるコンテンツに類似するコンテンツを検索する手法が開示されている。また、例えば、特許文献３には、コンテンツの特徴量に基づいてコンテンツの同一性を判定し、コンテンツをグルーピングする手法が開示されている。
　また、編集映像から放送映像を作成するには、例えばテロップを追加する等の改変が行われることがある。そのため、作成済の多くの映像の中から、対応関係のある映像を見つけるためには、このような改変を考慮する必要がある。そこで、例えば、特許文献４には、このような改変がある場合であっても、高い識別力で映像間の同一性を判定することが可能な手法が開示されている。
特開２００４－１７２７８８号公報 特開２００５－１４８８０１号公報 特開２００７－１６４６３３号公報 国際公開第２０１０／０８４７１４号
　しかしながら、特許文献１に開示されている手法では、映像間の対応関係が表示されるものの、元映像の一部の区間を利用して派生映像が作成されている場合に、派生映像の各区間における元映像からの改変有無を容易に把握することができない。例えば、放送映像は、編集映像に対してテロップ追加等の改変が行われることにより作成される場合があるが、放送映像のどの区間において、編集映像からの改変が行われたのかを容易に把握することができない。そのため、例えば、放送映像において編集映像からどのような改変が行われているかを確認するためには、放送映像の全区間を、編集映像と比較しながら再生する必要がある。また、特許文献２～４には、映像間の類似性や同一性を判定する手法については開示されているものの、作成元の映像からの改変の有無を容易に把握可能とするための手法については何ら開示されていない。
　本発明はこのような事情に鑑みてなされたものであり、元映像を利用して作成された派生映像の各区間における、元映像からの改変有無を容易に把握可能とすることを目的とする。
　本発明の一側面に係る映像間対応関係表示システムは、少なくとも１つの元映像と、少なくとも１つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、派生映像の対応関係のある区間における元映像からの改変の有無を示す情報とを含む関係情報を記憶する関係情報記憶部と、関係情報記憶部に記憶されている関係情報に基づいて、派生映像と少なくとも１つの元映像との間における区間の対応関係を、派生映像の対応関係のある区間における元映像からの改変の有無に応じた表示態様で表示する対応関係表示部と、を備える。
　なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。
　本発明によれば、元映像を利用して作成された派生映像における、元映像からの改変有無を容易に把握することができる。
本発明の一実施形態である映像間対応関係提示システムの構成を示す図である。 取材映像データベースの構成例を示す図である。 編集映像データベースの構成例を示す図である。 放送映像データベースの構成例を示す図である。 フレーム画像の領域分割の一例を示す図である。 第Ｍ次元における特徴量を抽出する際のイメージを示す図である。 特徴量記憶部に格納される特徴量ベクトルの一例を示す図である。 対応関係判定部の構成例を示す図である。 関係情報記憶部に格納される関係情報の一例を示す図である。 対応関係表示部により出力される画面の一例を示す図である。 派生映像及び元映像を表示する画面の一例を示す図である。 映像間対応関係提示システムにおける処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の一実施形態について説明する。
　図１は、本発明の一実施形態である映像間対応関係提示システムの構成を示す図である。映像間対応関係提示システム１０は、作成過程において対応関係のある映像間において、映像間の対応関係とともに、派生映像の各区間における改変の有無を提示するシステムであり、特徴量抽出部２０、特徴量記憶部２２、対応関係判定部２４、関係情報記憶部２６、及び対応関係表示部２８を含んで構成される。図１に示すように、特徴量記憶部２２は、取材映像特徴量記憶部３０、編集映像特徴量記憶部３２、及び放送映像特徴量記憶部３４を含んでいる。また、映像間対応関係提示システム１０は、映像データベース４０を参照する。映像データベース４０には、取材映像データベース（ＤＢ）４２、編集映像データベース（ＤＢ）４４、及び放送映像データベース（ＤＢ）４６が含まれている。
　このような映像間対応関係提示システム１０は、１台または複数台の情報処理装置を用いて構成され、特徴量抽出部２０、対応関係判定部２４、及び対応関係表示部２８は、メモリに記憶されたプログラムをプロセッサが実行することにより実現することができる。また、特徴量記憶部２２及び関係情報記憶部２６は、メモリや記憶装置等の記憶領域を用いて実現することができる。
　ここで、作成過程において対応関係のある映像とは、例えば、放送局で用いられる取材映像と、取材映像の少なくとも一部を利用して作成される編集映像や、さらに編集映像の少なくとも一部を利用して作成される放送映像である。この場合、放送映像が派生映像であり、取材映像や編集映像が元映像である。なお、作成過程において対応関係のある映像は、放送局で用いられる映像に限られない。例えば、放送映像や記録媒体上の映像を元に作成されて動画サイトに投稿された違法動画が存在する場合、放送映像や記録媒体上の映像が元映像、違法動画が派生映像となる。本実施形態では、放送局で用いられる映像を中心に説明するが、本実施形態で示す対応関係の提示システムは、作成過程において対応関係のある映像であれば任意の映像に適用することが可能である。
　まず、図２～図４を参照して、映像データベース４０の構成について説明する。図２は、取材映像ＤＢ４２の構成例を示す図である。取材映像ＤＢ４２には、取材映像の映像データが、映像識別子、及び属性情報と対応付けられて記憶されている。映像識別子は、取材映像を識別するための情報であり、例えばファイル名等を用いることができる。属性情報は、取材映像に関する様々な属性を示す情報であり、例えば、映像のタイトルや作成日時、映像全体の時間等が含まれている。
　図３は、編集映像ＤＢ４４の構成例を示す図である。編集映像ＤＢ４４には、編集映像の映像データが、映像識別子及び属性情報と対応付けられて記憶されている。映像識別子及び属性情報については、取材映像ＤＢ４２と同様のものである。
　図４は、放送映像ＤＢ４６の構成例を示す図である。放送映像ＤＢ４６には、放送映像の映像データが、映像識別子、属性情報、及び頻度情報と対応付けられて記憶されている。映像識別子及び属性情報については、取材映像ＤＢ４２と同様のものである。頻度情報には、例えば、放送映像が放送された回数を示す情報が設定される。例えば、再放送が行われるたびに頻度情報の値を増加させることができる。なお、再放送の放送映像が、元の放送映像とは別の映像として放送映像ＤＢ４６に格納されることとしてもよい。この場合、属性情報には放送日時に関する情報を含めることが可能である。また、視聴者の要求に応じて放送映像が配信される場合であれば、放送映像の視聴回数を頻度情報に設定することとしてもよい。
　なお、本実施形態では、取材映像、編集映像、及び放送映像を別々のデータベースに格納することとしたが、これらの映像が１つのデータベースにまとめて格納されることとしてもよい。この場合、例えば、映像の種別を示す情報を各映像に付与しておくこととしてもよい。
　図１に戻り、映像間対応関係提示システム１０を構成する各部の詳細について説明する。
　特徴量抽出部２０は、映像データベース４０を参照し、映像を構成する複数のフレーム画像のそれぞれから特徴量ベクトルを抽出し、特徴量記憶部２２に格納する。本実施形態では、取材映像、編集映像、及び放送映像の特徴量ベクトルは、それぞれ、取材映像特徴量記憶部３０、編集映像特徴量記憶部３２、及び放送映像特徴量記憶部３４に格納される。なお、取材映像、編集映像、及び放送映像の特徴量ベクトルが、１つの記憶部にまとめて格納されることとしてもよい。この場合、映像の種別を示す情報を各特徴量ベクトルに付与しておくこととしてもよい。
　特徴量ベクトルは、映像を構成する所定の区間ごとの特徴量を示すものである。本実施形態では、国際公開第２０１０／０８４７１４号に記載されている手法により、映像を構成するフレーム画像ごとに特徴量ベクトルが生成されることとする。この手法で生成される特徴量ベクトルは、フレーム画像内で定義されたＮ個（Ｎ≧２）の部分領域に対応するＮ個の特徴量の集合である。特徴量ベクトルの各次元に対応する各部分領域は、例えば、フレーム画像内における複数の部分領域を含んでいる。そして、各次元の特徴量は、例えば、各次元に対応する複数の部分領域の特徴量の差分に基づいて生成することができる。
　図５は、フレーム画像の領域分割の一例を示す図である。図５に示すように、例えば、各フレーム画像は３２×３２の１０２４の領域（分割領域）に分割することができる。特徴量ベクトルにおける各次元に対応する部分領域は、１つ以上の分割領域の組み合わせにより構成される。
　図６は、第Ｍ次元における特徴量を抽出する際のイメージを示す図である。図６の例では、第Ｍ次元に対応する部分領域は、２つの部分領域６２，６４である。そして、特徴量抽出部２０は、部分領域６２の特徴量（領域特徴量）と部分領域６４の特徴量（領域特徴量）との差分に基づいて、第Ｍ次元の特徴量を生成することができる。ここで、各部分領域６２，６４の特徴量は、例えば、それぞれの部分領域における画素値の平均値やメディアン値等、任意の手法を用いて算出することができる。そして、特徴量抽出部２０は、部分領域６２，６４の領域特徴量の差分を例えば３値（－１，０，１）に量子化することにより、第Ｍ次元特徴量を生成することができる。特徴量抽出部２０は、各次元（第１次元～第Ｎ次元）について特徴量を生成することにより、Ｎ次元の特徴量ベクトルを生成することができる。なお、ここで説明した各次元の特徴量の算出手法は一例であり、任意の手法によって特徴量ベクトルを生成することが可能である。
　図７は、取材映像特徴量記憶部３０に格納される特徴量ベクトルの一例を示す図である。図７に示すように、特徴量ベクトルは、映像識別子と、フレーム画像の時間的順序を示すシーケンス情報とに対応付けられて記憶されている。シーケンス情報は、特徴量ベクトルの順序を把握することができる情報であればよく、例えば、フレーム番号などを用いることができる。なお、データの格納構造等によって特徴量ベクトルの時間的順序を識別可能であれば、シーケンス情報はなくてもよい。編集映像特徴量記憶部３２及び放送映像特徴量記憶部３４についても、取材映像特徴量記憶部３０と同様に構成することができる。
　図１に戻り、対応関係判定部２４は、特徴量記憶部２２に格納されている特徴量ベクトルに基づいて、映像間の対応関係を判定する。具体的には、取材映像（元映像）と編集映像（派生映像）との対応関係、および、編集映像（元映像）と放送映像（派生映像）との対応関係が判定される。これにより、取材映像（元映像）と放送映像（派生映像）との対応関係についても、編集映像を介して間接的に判定される。なお、対応関係判定部２４は、取材映像と放送映像との対応関係を編集映像を介さずに直接的に判定することも可能である。
　図８は、対応関係判定部２４の構成例を示す図である。図８に示すように、対応関係判定部２４は、特徴量比較部７０、フレーム選択部７２、及び関係情報出力部７４を含んで構成することができる。
　特徴量比較部７０は、元映像の候補となる映像の特徴量ベクトルと、派生映像の候補となる映像の特徴量ベクトルとを例えばフレームごとに比較する。例えば、特徴量比較部７０は、取材映像の特徴量ベクトルと編集映像の特徴量ベクトルとを比較する。また、特徴量比較部７０は、編集映像の特徴量ベクトルと放送映像の特徴量ベクトルとを比較する。
　フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、映像間で対応関係（同一性）があると判定されるフレーム画像を選択する。なお、フレーム画像間の同一性の判定については、例えば、２つの特徴量ベクトル間で特徴量が一致する次元の数や、特徴量が一致しない次元の数、特徴量ベクトルの大きさを比較することにより行うことができる。
　関係情報出力部７４は、映像間において対応関係のある区間を示す情報である関係情報を出力する。具体的には、関係情報出力部７４は、フレーム選択部７２によってフレーム画像に同一性があると判定された区間を示す関係情報を生成し、関係情報記憶部２６に格納する。また、関係情報出力部７４は、特徴量比較部７０での比較結果に基づいて、映像間において対応関係のある区間での改変度を示す情報を出力する。ここで、改変度とは、元映像を用いて派生映像を作成する際にテロップ追加等によって改変が行われた度合いを示すものであり、例えば、上述したフレーム画像間の同一性の判定と同様の手法により得ることができる。
　図９は、関係情報記憶部２６に格納される関係情報の一例を示す図である。図９に示すように、関係情報には、元映像に関する情報、派生映像に関する情報、及び改変度を示す情報が含まれている。元映像または派生映像に関する情報には、映像種別、映像識別子、及び区間情報が含まれている。映像種別は、取材映像、編集映像、または放送映像の何れであるかを示す情報である。区間情報は映像区間を示す情報であり、例えば、映像内における該区間の再生時間やフレーム番号等を用いることができる。
　図９には、編集映像Ｅ１～Ｅ３を利用して放送映像Ｂ１が作成されたことが示されている。より具体的には、編集映像Ｅ１の「１５：００～３０：００」の区間が、放送映像Ｂ１の「００：００～１５：００」の区間に利用されており、改変度が「５」となっている。すなわち、放送映像Ｂ１の「００：００～１５：００」の区間は、編集映像Ｅ１の「１５：００～３０：００」の区間に改変を加えたものであることがわかる。同様に、放送映像Ｂ１の「１５：００～２０：００」の区間は、編集映像Ｅ２の「０５：００～１０：００」の区間に改変を加えたものであり、放送映像Ｂ１の「２０：００～３０：００」の区間は、編集映像Ｅ３の「０３：００～１３：００」の区間に改変を加えたものであることがわかる。なお、図９では、対応関係のある区間における改変度として１つの値のみが示されているが、区間内において改変度に変化がある場合には、この区間に含まれる複数の区間（分割区間）のそれぞれについて、改変度が設定されることとしてもよい。
　また、図９には、編集映像Ｅ１の区間「００：００～４０：００」は、取材映像Ｃ１の区間「１０：００～５０：００」から作成されており、改変度が「０」となっている。すなわち、編集映像Ｅ１は、取材映像Ｃ１の「１０：００～５０：００」の区間をそのまま抜き出したものであることがわかる。同様に、編集映像Ｅ２、Ｅ３は、それぞれ、取材映像Ｃ２の区間「０２：００～１７：００」、取材映像Ｃ２の区間「２５：００～５５：００」をそのまま抜き出したものであることがわかる。
　図１に戻り、対応関係表示部２８は、関係情報記憶部２６に格納されている関係情報に基づいて、派生映像と元映像との間における対応関係を、派生映像の各区間における改変度に応じた表示態様で表示する。
　図１０は、対応関係表示部２８により出力される画面の一例を示す図である。対応関係表示部２８は、関係情報記憶部２６に記憶されている関係情報に基づいて、映像間の対応関係を表示することができる。図１０に示すように、画面８０には、領域８２～９４が含まれている。
　領域８２には、派生映像である放送映像を選択するための情報が表示される。対応関係表示部２８は、放送映像ＤＢ４６を参照することにより、放送映像の映像識別子やタイトル、作成日時等の情報を領域８２に表示することができる。なお、対応関係表示部２８は、放送映像ＤＢ４６に格納されている全ての放送映像に関する情報を領域８２に表示してもよいし、関係情報記憶部２６に関係情報が格納されている放送映像や、改変が行われている放送映像のみに関する情報を領域８２に表示してもよい。領域８２は、クリック等のユーザ操作によって一つの放送映像を選択可能となっている。対応関係表示部２８は、領域８２において選択された放送映像に関連する情報を他の領域に表示することができる。
　領域８４には、選択された放送映像の代表的なサムネイル画像が表示される。また、領域８６には、放送映像の複数のサムネイル画像が表示される。なお、対応関係表示部２８は、例えば、放送映像ＤＢ４６を参照することにより、放送映像のサムネイル画像を表示することができる。
　領域８８には、放送映像のタイムラインが表示され、領域９０には、放送映像のタイムラインの時間軸に合わせて、放送映像と編集映像との間における区間の対応関係が表示される。例えば、図１０の例では、領域８８には、放送映像Ｂ１のタイムライン（００：００～３０：００）が示されており、領域９０には、放送映像Ｂ１の区間「００：００～１５：００」は編集映像Ｅ１から作成されたものであり、放送映像Ｂ１の区間「１５：００～２０：００」は編集映像Ｅ２から作成されたものであり、放送映像Ｂ１の区間「２０：００～３０：００」は編集映像Ｅ３から作成されたものであることが示されている。なお、対応関係表示部２８は、領域９０に放送映像と編集映像との対応関係を表示する際に、関係情報に基づいて、各編集映像の区間を表示することも可能である。例えば、編集映像Ｅ１の区間が「１５：００～３０：００」であることを表示することができる。編集映像Ｅ２、Ｅ３についても同様である。
　また、領域９２には、放送映像と対応関係のある区間における編集映像のサムネイル画像が表示されている。なお、対応関係表示部２８は、例えば、編集映像ＤＢ４４を参照することにより、編集映像のサムネイル画像を表示することができる。また、対応関係表示部２８は、関係情報記憶部２６に記憶されている関係情報に基づいて編集映像と取材映像との対応関係を把握することができる。したがって、対応関係表示部２８は、取材映像ＤＢ４２を参照することにより、編集映像に対応する取材映像のサムネイル画像を領域９２に表示することも可能である。
　さらに、領域９４には、放送映像と編集映像との間における区間の対応関係を示す情報の一部として、対応関係のある区間における改変度を示す情報が表示される。図１０の例では、放送映像のタイムラインに合わせて、放送映像の各区間における編集映像からの改変度がグラフで表示されている。このグラフを見ると、例えば、円９６で囲まれた範囲の改変度が高いことがわかる。そして、放送映像のタイムラインを参照すると、放送映像の区間「００：００～０５：００」付近の改変度が高いことがわかる。さらに、領域９２のサムネイル画像を参照すると、改変度が高い区間がどのような場面であるかを把握することができる。
　このように、対応関係表示部２８は、領域９０に対応関係を表示し、領域９４に改変度を表示することにより、両領域全体として、放送映像と編集映像との間における区間の対応関係を、対応関係のある区間における改変度に応じた表示態様で表示している。なお、改変度に応じた表示態様は、図１０に示したように改変度をグラフ表示するものに限られず、改変度もしくは改変の有無を識別可能な表示態様であればよい。例えば、領域９０や領域９２において、改変されている区間をハイライト表示することとしてもよい。また、例えば、領域９０や領域９２において、改変の度合いに応じてハイライトの強弱や色を変更したり、サムネイル画像の大きさを変更したりすることとしてもよい。
　また、対応関係表示部２８は、領域９２において、ある映像の区間が選択されると、選択された区間の放送映像及び編集映像を表示する画面を出力することができる。図１１はその一例である。画面１２０には、放送映像が表示される領域１２２と、編集映像または取材映像が表示される領域１２３とが含まれている。対応関係表示部２８は、選択された区間の区間情報を関係情報から取得し、該区間における映像を映像データベース４０から取得して領域１２２，１２３に表示する。また、対応関係表示部２８は、領域９２ではなく、領域８６や領域９４において選択された区間の映像を表示することとしてもよい。
　図１２は、映像間対応関係提示システム１０における処理の一例を示すフローチャートである。まず、特徴量抽出部２０は、映像データベース４０に格納されている映像ごとに特徴量ベクトルを抽出し、特徴量記憶部２２に格納する（Ｓ１２０１）。
　特徴量比較部７０は、特徴量記憶部２２を参照し、映像間で特徴量ベクトルを比較する（Ｓ１２０２）。フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、対応関係（同一性）のあるフレーム画像を選択する（Ｓ１２０３）。そして、関係情報出力部７４は、選択されたフレーム画像を含む区間についての関係情報を関係情報記憶部２６に格納する（Ｓ１２０４）。
　最後に、対応関係表示部２８は、関係情報記憶部２６に格納されている関係情報に基づいて、派生映像（放送映像）及び元映像（編集映像または取材映像）の間における区間の対応関係を、派生映像の各区間における元映像からの改変度に応じた表示態様で表示する（Ｓ１２０５）。
　以上、本実施形態について説明した。本実施形態の映像間対応関係提示システム１０によれば、派生映像と元映像との間における区間の対応関係が、派生映像の各区間における改変度に応じた表示態様で表示されるため、派生映像の各区間における改変の有無を容易に把握することができる。
　なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。
　この出願は、２０１１年２月１０日に出願された日本出願特願２０１１－０２７１９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）少なくとも１つの元映像と、前記少なくとも１つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無を示す情報とを含む関係情報を記憶する関係情報記憶部と、前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも１つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無に応じた表示態様で表示する対応関係表示部と、を備える映像間対応関係表示システム。
（付記２）付記１に記載の対応関係表示システムであって、前記対応関係のある区間における改変の有無を示す情報は、該区間に含まれる複数の分割区間のそれぞれにおける改変の有無を示す情報を含み、前記対応関係表示部は、前記関係情報に基づいて、前記区間の対応関係を、該区間に含まれる複数の分割区間のそれぞれにおける改変の有無に応じた表示態様で表示する、映像間対応関係表示システム。
（付記３）付記１または２に記載の映像間対応関係表システムであって、前記対応関係表示部は、前記改変の有無を前記派生映像の時間軸に合わせて表示する、映像間対応関係表示システム。
（付記４）付記１～３の何れか一項に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記少なくとも１つの元映像のそれぞれについて、前記対応関係を前記派生映像の時間軸に合わせて表示する、映像間対応関係表示システム。
（付記５）付記１～４に記載の映像間対応関係表示システムであって、前記区間における改変の有無を示す情報は、該区間における改変の度合いを示す情報を含み、前記対応関係表示部は、前記関係情報に基づいて、前記区間の対応関係を、各区間における改変の度合いに応じた表示態様で表示する、映像間対応関係表示システム。
（付記６）付記１～５の何れか一項に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記元映像の区間ごとのサムネイル画像が記憶されている記憶部を参照し、前記対応関係を前記改変の有無に応じた表示態様で表示するともに、前記対応関係のある区間における前記元映像のサムネイル画像を表示する、映像間対応関係表示システム。
（付記７）付記１～６の何れか一項に記載の映像間対応関係表示システムであって、前記関係情報記憶部は、複数の前記派生映像に対する前記関係情報を記憶し、前記対応関係表示部は、前記複数の派生映像のうちの１つを選択するための情報を表示し、該表示に応じてユーザ入力により選択される１つの派生映像について、前記対応関係を前記改変の有無に応じた表示態様で表示する、映像間対応関係表示システム。
（付記８）付記１～７の何れか一項に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記対応関係が表示された区間のうちの１つの区間を選択するユーザ入力に応じて、前記派生映像及び元映像が記憶されている記憶部を参照し、該選択された区間における前記派生映像及び前記元映像を表示する、映像間対応関係表示システム。
（付記９）付記１～８の何れか一項に記載の映像間対応関係表示システムであって、映像を構成する所定の区間ごとの特徴量を映像ごとに対応づけて記憶する特徴量記憶部と、前記派生映像及び前記元映像を含む、複数の映像に対する前記区間ごとの特徴量を比較する特徴量比較部と、前記区間ごとの特徴量の比較結果に基づいて前記関係情報を出力して前記関係情報記憶部に格納する関係情報出力部と、をさらに備える映像間対応関係表示システム。
（付記１０）少なくとも１つの元映像と、前記少なくとも１つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無を示す情報とを含む関係情報を関係情報記憶部に記憶し、前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも１つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無に応じた表示態様で表示する、映像間対応関係表示方法。
　１０　映像間対応関係提示システム
　２０　特徴量抽出部
　２２　特徴量記憶部
　２４　対応関係判定部
　２６　関係情報記憶部
　２８　対応関係表示部
　３０　取材映像特徴量記憶部
　３２　編集映像特徴量記憶部
　３４　放送映像特徴量記憶部
　４０　映像データベース
　４２　取材映像データベース
　４４　編集映像データベース
　４６　放送映像データベース
　７０　特徴量比較部
　７２　フレーム選択部
　７４　関係情報出力部

Claims (10)

  1. 　少なくとも１つの元映像と、前記少なくとも１つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無を示す情報とを含む関係情報を記憶する関係情報記憶部と、
    　前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも１つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無に応じた表示態様で表示する対応関係表示部と、
    　を備える映像間対応関係表示システム。
  2. 　請求項１に記載の対応関係表示システムであって、
    　前記対応関係のある区間における改変の有無を示す情報は、該区間に含まれる複数の分割区間のそれぞれにおける改変の有無を示す情報を含み、
    　前記対応関係表示部は、前記関係情報に基づいて、前記区間の対応関係を、該区間に含まれる複数の分割区間のそれぞれにおける改変の有無に応じた表示態様で表示する、
    　映像間対応関係表示システム。
  3. 　請求項１または２に記載の映像間対応関係表システムであって、
    　前記対応関係表示部は、前記改変の有無を前記派生映像の時間軸に合わせて表示する、
    　映像間対応関係表示システム。
  4. 　請求項１～３の何れか一項に記載の映像間対応関係表示システムであって、
    　前記対応関係表示部は、前記少なくとも１つの元映像のそれぞれについて、前記対応関係を前記派生映像の時間軸に合わせて表示する、
    　映像間対応関係表示システム。
  5. 　請求項１～４に記載の映像間対応関係表示システムであって、
    　前記区間における改変の有無を示す情報は、該区間における改変の度合いを示す情報を含み、
    　前記対応関係表示部は、前記関係情報に基づいて、前記区間の対応関係を、各区間における改変の度合いに応じた表示態様で表示する、
    　映像間対応関係表示システム。
  6. 　請求項１～５の何れか一項に記載の映像間対応関係表示システムであって、
    　前記対応関係表示部は、前記元映像の区間ごとのサムネイル画像が記憶されている記憶部を参照し、前記対応関係を前記改変の有無に応じた表示態様で表示するともに、前記対応関係のある区間における前記元映像のサムネイル画像を表示する、
    　映像間対応関係表示システム。
  7. 　請求項１～６の何れか一項に記載の映像間対応関係表示システムであって、
    　前記関係情報記憶部は、複数の前記派生映像に対する前記関係情報を記憶し、
    　前記対応関係表示部は、
    　前記複数の派生映像のうちの１つを選択するための情報を表示し、
    　該表示に応じてユーザ入力により選択される１つの派生映像について、前記対応関係を前記改変の有無に応じた表示態様で表示する、
    　映像間対応関係表示システム。
  8. 　請求項１～７の何れか一項に記載の映像間対応関係表示システムであって、
    　前記対応関係表示部は、前記対応関係が表示された区間のうちの１つの区間を選択するユーザ入力に応じて、前記派生映像及び元映像が記憶されている記憶部を参照し、該選択された区間における前記派生映像及び前記元映像を表示する、
    　映像間対応関係表示システム。
  9. 　請求項１～８の何れか一項に記載の映像間対応関係表示システムであって、
    　映像を構成する所定の区間ごとの特徴量を映像ごとに対応づけて記憶する特徴量記憶部と、
    　前記派生映像及び前記元映像を含む、複数の映像に対する前記区間ごとの特徴量を比較する特徴量比較部と、
    　前記区間ごとの特徴量の比較結果に基づいて前記関係情報を出力して前記関係情報記憶部に格納する関係情報出力部と、
    　をさらに備える映像間対応関係表示システム。
  10. 　少なくとも１つの元映像と、前記少なくとも１つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無を示す情報とを含む関係情報を関係情報記憶部に記憶し、
    　前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも１つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無に応じた表示態様で表示する、
    　映像間対応関係表示方法。
PCT/JP2011/077379 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法 WO2012108090A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/983,957 US9473734B2 (en) 2011-02-10 2011-11-28 Inter-video corresponding relationship display system and inter-video corresponding relationship display method
JP2012556756A JP5854232B2 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011027192 2011-02-10
JP2011-027192 2011-02-10

Publications (1)

Publication Number Publication Date
WO2012108090A1 true WO2012108090A1 (ja) 2012-08-16

Family

ID=46638319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/077379 WO2012108090A1 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法

Country Status (3)

Country Link
US (1) US9473734B2 (ja)
JP (1) JP5854232B2 (ja)
WO (1) WO2012108090A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156344A (ja) * 2017-03-17 2018-10-04 日本放送協会 映像ストリームの一致判定プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792528B2 (en) * 2012-01-30 2017-10-17 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149673A (ja) * 1996-09-20 1998-06-02 Sony Corp 編集システム、編集方法及び表示装置
JPH10224665A (ja) * 1997-02-04 1998-08-21 Sony Corp 送出システム
JPH11266422A (ja) * 1998-03-18 1999-09-28 Toshiba Corp 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
JP2004172787A (ja) * 2002-11-19 2004-06-17 Nec Corp 映像閲覧システムおよび方法
JP2005203881A (ja) * 2004-01-13 2005-07-28 Sony Corp 情報処理装置および方法、並びにプログラム
WO2010073695A1 (ja) * 2008-12-25 2010-07-01 日本電気株式会社 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体
JP2010282376A (ja) * 2009-06-03 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> メタデータ管理装置、メタデータ管理方法、及び、メタデータ管理プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69222102T2 (de) * 1991-08-02 1998-03-26 Grass Valley Group Bedienerschnittstelle für Videoschnittsystem zur Anzeige und interaktive Steuerung von Videomaterial
DE69322470T2 (de) * 1992-08-12 1999-07-15 Ibm System und Verfahren zur Lokalisierung von Videosegmentübergängen
DE69428180T2 (de) * 1993-12-13 2002-05-02 Sony Corp Schnittsysteme und -verfahren
US5600375A (en) * 1994-09-08 1997-02-04 Intel Corporation Rendering an inter verses intra video encoding decision based upon a vertical gradient measure of target video frames
GB2354104A (en) * 1999-09-08 2001-03-14 Sony Uk Ltd An editing method and system
CN1273989C (zh) * 1999-11-10 2006-09-06 汤姆森特许公司 在dvd录像机中实时产生菜单的方法
JP2001157183A (ja) * 1999-11-25 2001-06-08 Nec Corp テレビ電話システム
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
JP4228662B2 (ja) 2002-11-19 2009-02-25 日本電気株式会社 映像閲覧システムおよび方法
JP2005148801A (ja) 2003-11-11 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体
US7925669B2 (en) * 2004-10-13 2011-04-12 Sony Corporation Method and apparatus for audio/video attribute and relationship storage and retrieval for efficient composition
US8135750B2 (en) * 2005-04-22 2012-03-13 Microsoft Corporation Efficiently describing relationships between resources
JP2007164633A (ja) 2005-12-15 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> コンテンツ検索方法及び装置及びプログラム
JP4270240B2 (ja) * 2006-08-14 2009-05-27 コニカミノルタビジネステクノロジーズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
US8364020B2 (en) * 2007-09-28 2013-01-29 Motorola Mobility Llc Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording
US8797233B2 (en) * 2008-08-20 2014-08-05 The Regents Of The University Of California Systems, methods, and devices for dynamic management of data streams updating displays
US20100162286A1 (en) * 2008-11-24 2010-06-24 Digitalsmiths Corporation Systems and methods for analyzing trends in video consumption based on embedded video metadata
CN102292745B (zh) 2009-01-23 2015-08-12 日本电气株式会社 图像签名提取设备
JP4857453B2 (ja) * 2009-07-01 2012-01-18 テクトロニクス・インターナショナル・セールス・ゲーエムベーハー パケットとシリアル・データの対応関係確認方法
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
RU2534958C2 (ru) * 2010-03-04 2014-12-10 ТиЭйчИкс ЛТД. Электронный адаптер для селективной модификации аудио- или видеоданных для использования с выходным устройством
US8606073B2 (en) * 2010-05-12 2013-12-10 Woodman Labs, Inc. Broadcast management system
US20120002884A1 (en) * 2010-06-30 2012-01-05 Alcatel-Lucent Usa Inc. Method and apparatus for managing video content
KR101110202B1 (ko) * 2010-08-02 2012-02-16 (주)엔써즈 동영상 데이터들의 상호 관계에 기초한 데이터베이스 형성 방법 및 데이터베이스 형성 시스템
US8798400B2 (en) * 2010-10-21 2014-08-05 International Business Machines Corporation Using near-duplicate video frames to analyze, classify, track, and visualize evolution and fitness of videos
US20130031479A1 (en) * 2011-07-25 2013-01-31 Flowers Harriett T Web-based video navigation, editing and augmenting apparatus, system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149673A (ja) * 1996-09-20 1998-06-02 Sony Corp 編集システム、編集方法及び表示装置
JPH10224665A (ja) * 1997-02-04 1998-08-21 Sony Corp 送出システム
JPH11266422A (ja) * 1998-03-18 1999-09-28 Toshiba Corp 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
JP2004172787A (ja) * 2002-11-19 2004-06-17 Nec Corp 映像閲覧システムおよび方法
JP2005203881A (ja) * 2004-01-13 2005-07-28 Sony Corp 情報処理装置および方法、並びにプログラム
WO2010073695A1 (ja) * 2008-12-25 2010-07-01 日本電気株式会社 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体
JP2010282376A (ja) * 2009-06-03 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> メタデータ管理装置、メタデータ管理方法、及び、メタデータ管理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EIJI KASUTANI ET AL.: "Video Material Archive System for Efficient Video Editing based on MPEG-7", IPSJ SIG NOTES 2003-AVM-40, vol. 2003, no. 24, 7 March 2003 (2003-03-07), pages 49 - 54 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156344A (ja) * 2017-03-17 2018-10-04 日本放送協会 映像ストリームの一致判定プログラム

Also Published As

Publication number Publication date
JPWO2012108090A1 (ja) 2014-07-03
JP5854232B2 (ja) 2016-02-09
US20130314601A1 (en) 2013-11-28
US9473734B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
JP5651231B2 (ja) コンテンツを決定し検索するためのメディアフィンガープリント
KR101382499B1 (ko) 영상 태깅 방법 및 이를 사용하는 영상 재생 장치.
CN101150699B (zh) 信息处理装置和信息处理方法
US10014029B2 (en) Video processing apparatus and method
US20160196252A1 (en) Smart multimedia processing
KR20090089878A (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
JP4215681B2 (ja) 動画像処理装置及びその方法
US8467666B2 (en) Recording medium production method, recording medium, and player for recording medium
JP2007141092A (ja) 情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体
JP2007272468A (ja) 情報処理装置および方法、並びにプログラム
US20100053149A1 (en) Display apparatus and display method
JP5854232B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
US20130097491A1 (en) Information processing apparatus, information processing method, and computer readable medium
JP6037443B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
US9224069B2 (en) Program, method and apparatus for accumulating images that have associated text information
JP2008166895A (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
JP2007213574A (ja) コンテンツ検索方法および装置
KR20090126525A (ko) 재생 위치에 따라 디지털 컨텐츠를 관리하는 방법과 장치및 실행하는 방법 및 장치
US20140189769A1 (en) Information management device, server, and control method
KR20050025483A (ko) 내용 기반 검색을 위한 개선된 질의 방법 및 그 방법을구현하기 위한 프로그램을 저장한 기록매체
JP2004342302A (ja) 光記憶媒体の専用位置に格納されるメニューアイテムデータに関連する付加データを格納するための方法及びメニューアイテムデータ及びこのメニューアイテムデータに関連する付加データを有するメニュー関連データを格納又は光記憶媒体から検索するための装置
JP2005148801A (ja) 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体
JP2004348553A (ja) メタデータ編集方法、装置、及びプログラム
JP2011193386A (ja) 電子機器及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11858304

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13983957

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2012556756

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11858304

Country of ref document: EP

Kind code of ref document: A1