JP5854232B2 - 映像間対応関係表示システム及び映像間対応関係表示方法 - Google Patents

映像間対応関係表示システム及び映像間対応関係表示方法 Download PDF

Info

Publication number
JP5854232B2
JP5854232B2 JP2012556756A JP2012556756A JP5854232B2 JP 5854232 B2 JP5854232 B2 JP 5854232B2 JP 2012556756 A JP2012556756 A JP 2012556756A JP 2012556756 A JP2012556756 A JP 2012556756A JP 5854232 B2 JP5854232 B2 JP 5854232B2
Authority
JP
Japan
Prior art keywords
video
correspondence
section
inter
derived
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012556756A
Other languages
English (en)
Other versions
JPWO2012108090A1 (ja
Inventor
野村 俊之
俊之 野村
貴美 佐藤
貴美 佐藤
岩元 浩太
浩太 岩元
亮太 間瀬
亮太 間瀬
直毅 藤田
直毅 藤田
宏一 上田
宏一 上田
隆人 小澤
隆人 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012556756A priority Critical patent/JP5854232B2/ja
Publication of JPWO2012108090A1 publication Critical patent/JPWO2012108090A1/ja
Application granted granted Critical
Publication of JP5854232B2 publication Critical patent/JP5854232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、映像間対応関係表示システム及び映像間対応関係表示方法に関する。
デジタル映像の普及に伴い、既存の映像を用いて別の映像を作成することが容易になっている。例えば、放送局では、取材により生成された取材映像を編集することにより、編集映像が作成される。そして、実際に番組の放送時に使用される放送映像を作成する際には、複数の編集映像が用いられる。また、取材映像は、1つの編集映像に用いられるだけではなく、必要に応じて様々に編集され、複数の編集映像を作成するために用いられることがある。同様に、編集映像についても、1つの放送映像に用いられるだけではなく、複数の放送映像に用いられることがある。
このように、映像間に対応関係がある場合、映像の増加に伴って対応関係を把握することが難しくなってくる。そこで、例えば、特許文献1に開示されているように、素材映像、編集映像、及びオンエア映像間の対応関係をデータベースに登録しておくことにより、映像間の対応関係を表示する手法が提案されている。この手法では、映像を作成する際に、その映像と他の映像との対応関係がデータベースに登録されることとなっている。そのため、作成済の映像については対応関係がデータベースに登録されていることが前提となっている。
ところが、実際には、作成済の映像について対応関係がデータベースに登録されずに、複数の映像が生成されていることが多い。このような場合、まず、映像間の対応関係を検出する必要がある。例えば、特許文献2には、コンテンツの特徴情報を用いることにより、あるコンテンツに類似するコンテンツを検索する手法が開示されている。また、例えば、特許文献3には、コンテンツの特徴量に基づいてコンテンツの同一性を判定し、コンテンツをグルーピングする手法が開示されている。
また、編集映像から放送映像を作成するには、例えばテロップを追加する等の改変が行われることがある。そのため、作成済の多くの映像の中から、対応関係のある映像を見つけるためには、このような改変を考慮する必要がある。そこで、例えば、特許文献4には、このような改変がある場合であっても、高い識別力で映像間の同一性を判定することが可能な手法が開示されている。
特開2004−172788号公報 特開2005−148801号公報 特開2007−164633号公報 国際公開第2010/084714号
しかしながら、特許文献1に開示されている手法では、映像間の対応関係が表示されるものの、元映像の一部の区間を利用して派生映像が作成されている場合に、派生映像の各区間における元映像からの改変有無を容易に把握することができない。例えば、放送映像は、編集映像に対してテロップ追加等の改変が行われることにより作成される場合があるが、放送映像のどの区間において、編集映像からの改変が行われたのかを容易に把握することができない。そのため、例えば、放送映像において編集映像からどのような改変が行われているかを確認するためには、放送映像の全区間を、編集映像と比較しながら再生する必要がある。また、特許文献2〜4には、映像間の類似性や同一性を判定する手法については開示されているものの、作成元の映像からの改変の有無を容易に把握可能とするための手法については何ら開示されていない。
本発明はこのような事情に鑑みてなされたものであり、元映像を利用して作成された派生映像の各区間における、元映像からの改変有無を容易に把握可能とすることを目的とする。
本発明の一側面に係る映像間対応関係表示システムは、少なくとも1つの元映像と、少なくとも1つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、派生映像の対応関係のある区間における元映像からの改変の有無を示す情報とを含む関係情報を記憶する関係情報記憶部と、関係情報記憶部に記憶されている関係情報に基づいて、派生映像と少なくとも1つの元映像との間における区間の対応関係を、派生映像の対応関係のある区間における元映像からの改変の有無に応じた表示態様で表示する対応関係表示部と、を備える。
なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や装置が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や装置の機能が1つの物理的手段や装置により実現されても良い。
本発明によれば、元映像を利用して作成された派生映像における、元映像からの改変有無を容易に把握することができる。
本発明の一実施形態である映像間対応関係提示システムの構成を示す図である。 取材映像データベースの構成例を示す図である。 編集映像データベースの構成例を示す図である。 放送映像データベースの構成例を示す図である。 フレーム画像の領域分割の一例を示す図である。 第M次元における特徴量を抽出する際のイメージを示す図である。 特徴量記憶部に格納される特徴量ベクトルの一例を示す図である。 対応関係判定部の構成例を示す図である。 関係情報記憶部に格納される関係情報の一例を示す図である。 対応関係表示部により出力される画面の一例を示す図である。 派生映像及び元映像を表示する画面の一例を示す図である。 映像間対応関係提示システムにおける処理の一例を示すフローチャートである。
以下、図面を参照して本発明の一実施形態について説明する。
図1は、本発明の一実施形態である映像間対応関係提示システムの構成を示す図である。映像間対応関係提示システム10は、作成過程において対応関係のある映像間において、映像間の対応関係とともに、派生映像の各区間における改変の有無を提示するシステムであり、特徴量抽出部20、特徴量記憶部22、対応関係判定部24、関係情報記憶部26、及び対応関係表示部28を含んで構成される。図1に示すように、特徴量記憶部22は、取材映像特徴量記憶部30、編集映像特徴量記憶部32、及び放送映像特徴量記憶部34を含んでいる。また、映像間対応関係提示システム10は、映像データベース40を参照する。映像データベース40には、取材映像データベース(DB)42、編集映像データベース(DB)44、及び放送映像データベース(DB)46が含まれている。
このような映像間対応関係提示システム10は、1台または複数台の情報処理装置を用いて構成され、特徴量抽出部20、対応関係判定部24、及び対応関係表示部28は、メモリに記憶されたプログラムをプロセッサが実行することにより実現することができる。また、特徴量記憶部22及び関係情報記憶部26は、メモリや記憶装置等の記憶領域を用いて実現することができる。
ここで、作成過程において対応関係のある映像とは、例えば、放送局で用いられる取材映像と、取材映像の少なくとも一部を利用して作成される編集映像や、さらに編集映像の少なくとも一部を利用して作成される放送映像である。この場合、放送映像が派生映像であり、取材映像や編集映像が元映像である。なお、作成過程において対応関係のある映像は、放送局で用いられる映像に限られない。例えば、放送映像や記録媒体上の映像を元に作成されて動画サイトに投稿された違法動画が存在する場合、放送映像や記録媒体上の映像が元映像、違法動画が派生映像となる。本実施形態では、放送局で用いられる映像を中心に説明するが、本実施形態で示す対応関係の提示システムは、作成過程において対応関係のある映像であれば任意の映像に適用することが可能である。
まず、図2〜図4を参照して、映像データベース40の構成について説明する。図2は、取材映像DB42の構成例を示す図である。取材映像DB42には、取材映像の映像データが、映像識別子、及び属性情報と対応付けられて記憶されている。映像識別子は、取材映像を識別するための情報であり、例えばファイル名等を用いることができる。属性情報は、取材映像に関する様々な属性を示す情報であり、例えば、映像のタイトルや作成日時、映像全体の時間等が含まれている。
図3は、編集映像DB44の構成例を示す図である。編集映像DB44には、編集映像の映像データが、映像識別子及び属性情報と対応付けられて記憶されている。映像識別子及び属性情報については、取材映像DB42と同様のものである。
図4は、放送映像DB46の構成例を示す図である。放送映像DB46には、放送映像の映像データが、映像識別子、属性情報、及び頻度情報と対応付けられて記憶されている。映像識別子及び属性情報については、取材映像DB42と同様のものである。頻度情報には、例えば、放送映像が放送された回数を示す情報が設定される。例えば、再放送が行われるたびに頻度情報の値を増加させることができる。なお、再放送の放送映像が、元の放送映像とは別の映像として放送映像DB46に格納されることとしてもよい。この場合、属性情報には放送日時に関する情報を含めることが可能である。また、視聴者の要求に応じて放送映像が配信される場合であれば、放送映像の視聴回数を頻度情報に設定することとしてもよい。
なお、本実施形態では、取材映像、編集映像、及び放送映像を別々のデータベースに格納することとしたが、これらの映像が1つのデータベースにまとめて格納されることとしてもよい。この場合、例えば、映像の種別を示す情報を各映像に付与しておくこととしてもよい。
図1に戻り、映像間対応関係提示システム10を構成する各部の詳細について説明する。
特徴量抽出部20は、映像データベース40を参照し、映像を構成する複数のフレーム画像のそれぞれから特徴量ベクトルを抽出し、特徴量記憶部22に格納する。本実施形態では、取材映像、編集映像、及び放送映像の特徴量ベクトルは、それぞれ、取材映像特徴量記憶部30、編集映像特徴量記憶部32、及び放送映像特徴量記憶部34に格納される。なお、取材映像、編集映像、及び放送映像の特徴量ベクトルが、1つの記憶部にまとめて格納されることとしてもよい。この場合、映像の種別を示す情報を各特徴量ベクトルに付与しておくこととしてもよい。
特徴量ベクトルは、映像を構成する所定の区間ごとの特徴量を示すものである。本実施形態では、国際公開第2010/084714号に記載されている手法により、映像を構成するフレーム画像ごとに特徴量ベクトルが生成されることとする。この手法で生成される特徴量ベクトルは、フレーム画像内で定義されたN個(N≧2)の部分領域に対応するN個の特徴量の集合である。特徴量ベクトルの各次元に対応する各部分領域は、例えば、フレーム画像内における複数の部分領域を含んでいる。そして、各次元の特徴量は、例えば、各次元に対応する複数の部分領域の特徴量の差分に基づいて生成することができる。
図5は、フレーム画像の領域分割の一例を示す図である。図5に示すように、例えば、各フレーム画像は32×32の1024の領域(分割領域)に分割することができる。特徴量ベクトルにおける各次元に対応する部分領域は、1つ以上の分割領域の組み合わせにより構成される。
図6は、第M次元における特徴量を抽出する際のイメージを示す図である。図6の例では、第M次元に対応する部分領域は、2つの部分領域62,64である。そして、特徴量抽出部20は、部分領域62の特徴量(領域特徴量)と部分領域64の特徴量(領域特徴量)との差分に基づいて、第M次元の特徴量を生成することができる。ここで、各部分領域62,64の特徴量は、例えば、それぞれの部分領域における画素値の平均値やメディアン値等、任意の手法を用いて算出することができる。そして、特徴量抽出部20は、部分領域62,64の領域特徴量の差分を例えば3値(−1,0,1)に量子化することにより、第M次元特徴量を生成することができる。特徴量抽出部20は、各次元(第1次元〜第N次元)について特徴量を生成することにより、N次元の特徴量ベクトルを生成することができる。なお、ここで説明した各次元の特徴量の算出手法は一例であり、任意の手法によって特徴量ベクトルを生成することが可能である。
図7は、取材映像特徴量記憶部30に格納される特徴量ベクトルの一例を示す図である。図7に示すように、特徴量ベクトルは、映像識別子と、フレーム画像の時間的順序を示すシーケンス情報とに対応付けられて記憶されている。シーケンス情報は、特徴量ベクトルの順序を把握することができる情報であればよく、例えば、フレーム番号などを用いることができる。なお、データの格納構造等によって特徴量ベクトルの時間的順序を識別可能であれば、シーケンス情報はなくてもよい。編集映像特徴量記憶部32及び放送映像特徴量記憶部34についても、取材映像特徴量記憶部30と同様に構成することができる。
図1に戻り、対応関係判定部24は、特徴量記憶部22に格納されている特徴量ベクトルに基づいて、映像間の対応関係を判定する。具体的には、取材映像(元映像)と編集映像(派生映像)との対応関係、および、編集映像(元映像)と放送映像(派生映像)との対応関係が判定される。これにより、取材映像(元映像)と放送映像(派生映像)との対応関係についても、編集映像を介して間接的に判定される。なお、対応関係判定部24は、取材映像と放送映像との対応関係を編集映像を介さずに直接的に判定することも可能である。
図8は、対応関係判定部24の構成例を示す図である。図8に示すように、対応関係判定部24は、特徴量比較部70、フレーム選択部72、及び関係情報出力部74を含んで構成することができる。
特徴量比較部70は、元映像の候補となる映像の特徴量ベクトルと、派生映像の候補となる映像の特徴量ベクトルとを例えばフレームごとに比較する。例えば、特徴量比較部70は、取材映像の特徴量ベクトルと編集映像の特徴量ベクトルとを比較する。また、特徴量比較部70は、編集映像の特徴量ベクトルと放送映像の特徴量ベクトルとを比較する。
フレーム選択部72は、特徴量比較部70での比較結果に基づいて、映像間で対応関係(同一性)があると判定されるフレーム画像を選択する。なお、フレーム画像間の同一性の判定については、例えば、2つの特徴量ベクトル間で特徴量が一致する次元の数や、特徴量が一致しない次元の数、特徴量ベクトルの大きさを比較することにより行うことができる。
関係情報出力部74は、映像間において対応関係のある区間を示す情報である関係情報を出力する。具体的には、関係情報出力部74は、フレーム選択部72によってフレーム画像に同一性があると判定された区間を示す関係情報を生成し、関係情報記憶部26に格納する。また、関係情報出力部74は、特徴量比較部70での比較結果に基づいて、映像間において対応関係のある区間での改変度を示す情報を出力する。ここで、改変度とは、元映像を用いて派生映像を作成する際にテロップ追加等によって改変が行われた度合いを示すものであり、例えば、上述したフレーム画像間の同一性の判定と同様の手法により得ることができる。
図9は、関係情報記憶部26に格納される関係情報の一例を示す図である。図9に示すように、関係情報には、元映像に関する情報、派生映像に関する情報、及び改変度を示す情報が含まれている。元映像または派生映像に関する情報には、映像種別、映像識別子、及び区間情報が含まれている。映像種別は、取材映像、編集映像、または放送映像の何れであるかを示す情報である。区間情報は映像区間を示す情報であり、例えば、映像内における該区間の再生時間やフレーム番号等を用いることができる。
図9には、編集映像E1〜E3を利用して放送映像B1が作成されたことが示されている。より具体的には、編集映像E1の「15:00〜30:00」の区間が、放送映像B1の「00:00〜15:00」の区間に利用されており、改変度が「5」となっている。すなわち、放送映像B1の「00:00〜15:00」の区間は、編集映像E1の「15:00〜30:00」の区間に改変を加えたものであることがわかる。同様に、放送映像B1の「15:00〜20:00」の区間は、編集映像E2の「05:00〜10:00」の区間に改変を加えたものであり、放送映像B1の「20:00〜30:00」の区間は、編集映像E3の「03:00〜13:00」の区間に改変を加えたものであることがわかる。なお、図9では、対応関係のある区間における改変度として1つの値のみが示されているが、区間内において改変度に変化がある場合には、この区間に含まれる複数の区間(分割区間)のそれぞれについて、改変度が設定されることとしてもよい。
また、図9には、編集映像E1の区間「00:00〜40:00」は、取材映像C1の区間「10:00〜50:00」から作成されており、改変度が「0」となっている。すなわち、編集映像E1は、取材映像C1の「10:00〜50:00」の区間をそのまま抜き出したものであることがわかる。同様に、編集映像E2、E3は、それぞれ、取材映像C2の区間「02:00〜17:00」、取材映像C2の区間「25:00〜55:00」をそのまま抜き出したものであることがわかる。
図1に戻り、対応関係表示部28は、関係情報記憶部26に格納されている関係情報に基づいて、派生映像と元映像との間における対応関係を、派生映像の各区間における改変度に応じた表示態様で表示する。
図10は、対応関係表示部28により出力される画面の一例を示す図である。対応関係表示部28は、関係情報記憶部26に記憶されている関係情報に基づいて、映像間の対応関係を表示することができる。図10に示すように、画面80には、領域82〜94が含まれている。
領域82には、派生映像である放送映像を選択するための情報が表示される。対応関係表示部28は、放送映像DB46を参照することにより、放送映像の映像識別子やタイトル、作成日時等の情報を領域82に表示することができる。なお、対応関係表示部28は、放送映像DB46に格納されている全ての放送映像に関する情報を領域82に表示してもよいし、関係情報記憶部26に関係情報が格納されている放送映像や、改変が行われている放送映像のみに関する情報を領域82に表示してもよい。領域82は、クリック等のユーザ操作によって一つの放送映像を選択可能となっている。対応関係表示部28は、領域82において選択された放送映像に関連する情報を他の領域に表示することができる。
領域84には、選択された放送映像の代表的なサムネイル画像が表示される。また、領域86には、放送映像の複数のサムネイル画像が表示される。なお、対応関係表示部28は、例えば、放送映像DB46を参照することにより、放送映像のサムネイル画像を表示することができる。
領域88には、放送映像のタイムラインが表示され、領域90には、放送映像のタイムラインの時間軸に合わせて、放送映像と編集映像との間における区間の対応関係が表示される。例えば、図10の例では、領域88には、放送映像B1のタイムライン(00:00〜30:00)が示されており、領域90には、放送映像B1の区間「00:00〜15:00」は編集映像E1から作成されたものであり、放送映像B1の区間「15:00〜20:00」は編集映像E2から作成されたものであり、放送映像B1の区間「20:00〜30:00」は編集映像E3から作成されたものであることが示されている。なお、対応関係表示部28は、領域90に放送映像と編集映像との対応関係を表示する際に、関係情報に基づいて、各編集映像の区間を表示することも可能である。例えば、編集映像E1の区間が「15:00〜30:00」であることを表示することができる。編集映像E2、E3についても同様である。
また、領域92には、放送映像と対応関係のある区間における編集映像のサムネイル画像が表示されている。なお、対応関係表示部28は、例えば、編集映像DB44を参照することにより、編集映像のサムネイル画像を表示することができる。また、対応関係表示部28は、関係情報記憶部26に記憶されている関係情報に基づいて編集映像と取材映像との対応関係を把握することができる。したがって、対応関係表示部28は、取材映像DB42を参照することにより、編集映像に対応する取材映像のサムネイル画像を領域92に表示することも可能である。
さらに、領域94には、放送映像と編集映像との間における区間の対応関係を示す情報の一部として、対応関係のある区間における改変度を示す情報が表示される。図10の例では、放送映像のタイムラインに合わせて、放送映像の各区間における編集映像からの改変度がグラフで表示されている。このグラフを見ると、例えば、円96で囲まれた範囲の改変度が高いことがわかる。そして、放送映像のタイムラインを参照すると、放送映像の区間「00:00〜05:00」付近の改変度が高いことがわかる。さらに、領域92のサムネイル画像を参照すると、改変度が高い区間がどのような場面であるかを把握することができる。
このように、対応関係表示部28は、領域90に対応関係を表示し、領域94に改変度を表示することにより、両領域全体として、放送映像と編集映像との間における区間の対応関係を、対応関係のある区間における改変度に応じた表示態様で表示している。なお、改変度に応じた表示態様は、図10に示したように改変度をグラフ表示するものに限られず、改変度もしくは改変の有無を識別可能な表示態様であればよい。例えば、領域90や領域92において、改変されている区間をハイライト表示することとしてもよい。また、例えば、領域90や領域92において、改変の度合いに応じてハイライトの強弱や色を変更したり、サムネイル画像の大きさを変更したりすることとしてもよい。
また、対応関係表示部28は、領域92において、ある映像の区間が選択されると、選択された区間の放送映像及び編集映像を表示する画面を出力することができる。図11はその一例である。画面120には、放送映像が表示される領域122と、編集映像または取材映像が表示される領域123とが含まれている。対応関係表示部28は、選択された区間の区間情報を関係情報から取得し、該区間における映像を映像データベース40から取得して領域122,123に表示する。また、対応関係表示部28は、領域92ではなく、領域86や領域94において選択された区間の映像を表示することとしてもよい。
図12は、映像間対応関係提示システム10における処理の一例を示すフローチャートである。まず、特徴量抽出部20は、映像データベース40に格納されている映像ごとに特徴量ベクトルを抽出し、特徴量記憶部22に格納する(S1201)。
特徴量比較部70は、特徴量記憶部22を参照し、映像間で特徴量ベクトルを比較する(S1202)。フレーム選択部72は、特徴量比較部70での比較結果に基づいて、対応関係(同一性)のあるフレーム画像を選択する(S1203)。そして、関係情報出力部74は、選択されたフレーム画像を含む区間についての関係情報を関係情報記憶部26に格納する(S1204)。
最後に、対応関係表示部28は、関係情報記憶部26に格納されている関係情報に基づいて、派生映像(放送映像)及び元映像(編集映像または取材映像)の間における区間の対応関係を、派生映像の各区間における元映像からの改変度に応じた表示態様で表示する(S1205)。
以上、本実施形態について説明した。本実施形態の映像間対応関係提示システム10によれば、派生映像と元映像との間における区間の対応関係が、派生映像の各区間における改変度に応じた表示態様で表示されるため、派生映像の各区間における改変の有無を容易に把握することができる。
なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更/改良され得るととともに、本発明にはその等価物も含まれる。
この出願は、2011年2月10日に出願された日本出願特願2011−027192を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)少なくとも1つの元映像と、前記少なくとも1つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無を示す情報とを含む関係情報を記憶する関係情報記憶部と、前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも1つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無に応じた表示態様で表示する対応関係表示部と、を備える映像間対応関係表示システム。
(付記2)付記1に記載の対応関係表示システムであって、前記対応関係のある区間における改変の有無を示す情報は、該区間に含まれる複数の分割区間のそれぞれにおける改変の有無を示す情報を含み、前記対応関係表示部は、前記関係情報に基づいて、前記区間の対応関係を、該区間に含まれる複数の分割区間のそれぞれにおける改変の有無に応じた表示態様で表示する、映像間対応関係表示システム。
(付記3)付記1または2に記載の映像間対応関係表システムであって、前記対応関係表示部は、前記改変の有無を前記派生映像の時間軸に合わせて表示する、映像間対応関係表示システム。
(付記4)付記1〜3の何れか一項に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記少なくとも1つの元映像のそれぞれについて、前記対応関係を前記派生映像の時間軸に合わせて表示する、映像間対応関係表示システム。
(付記5)付記1〜4に記載の映像間対応関係表示システムであって、前記区間における改変の有無を示す情報は、該区間における改変の度合いを示す情報を含み、前記対応関係表示部は、前記関係情報に基づいて、前記区間の対応関係を、各区間における改変の度合いに応じた表示態様で表示する、映像間対応関係表示システム。
(付記6)付記1〜5の何れか一項に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記元映像の区間ごとのサムネイル画像が記憶されている記憶部を参照し、前記対応関係を前記改変の有無に応じた表示態様で表示するともに、前記対応関係のある区間における前記元映像のサムネイル画像を表示する、映像間対応関係表示システム。
(付記7)付記1〜6の何れか一項に記載の映像間対応関係表示システムであって、前記関係情報記憶部は、複数の前記派生映像に対する前記関係情報を記憶し、前記対応関係表示部は、前記複数の派生映像のうちの1つを選択するための情報を表示し、該表示に応じてユーザ入力により選択される1つの派生映像について、前記対応関係を前記改変の有無に応じた表示態様で表示する、映像間対応関係表示システム。
(付記8)付記1〜7の何れか一項に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記対応関係が表示された区間のうちの1つの区間を選択するユーザ入力に応じて、前記派生映像及び元映像が記憶されている記憶部を参照し、該選択された区間における前記派生映像及び前記元映像を表示する、映像間対応関係表示システム。
(付記9)付記1〜8の何れか一項に記載の映像間対応関係表示システムであって、映像を構成する所定の区間ごとの特徴量を映像ごとに対応づけて記憶する特徴量記憶部と、前記派生映像及び前記元映像を含む、複数の映像に対する前記区間ごとの特徴量を比較する特徴量比較部と、前記区間ごとの特徴量の比較結果に基づいて前記関係情報を出力して前記関係情報記憶部に格納する関係情報出力部と、をさらに備える映像間対応関係表示システム。
(付記10)少なくとも1つの元映像と、前記少なくとも1つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無を示す情報とを含む関係情報を関係情報記憶部に記憶し、前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも1つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の有無に応じた表示態様で表示する、映像間対応関係表示方法。
10 映像間対応関係提示システム
20 特徴量抽出部
22 特徴量記憶部
24 対応関係判定部
26 関係情報記憶部
28 対応関係表示部
30 取材映像特徴量記憶部
32 編集映像特徴量記憶部
34 放送映像特徴量記憶部
40 映像データベース
42 取材映像データベース
44 編集映像データベース
46 放送映像データベース
70 特徴量比較部
72 フレーム選択部
74 関係情報出力部

Claims (9)

  1. 少なくとも1つの元映像と、前記少なくとも1つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の度合いを示す情報とを含む関係情報を記憶する関係情報記憶部と、
    前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも1つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の度合いに応じた表示態様で表示する対応関係表示部と、
    を備える映像間対応関係表示システム。
  2. 請求項1に記載の対応関係表示システムであって、
    前記対応関係のある区間における改変の度合いを示す情報は、該区間に含まれる複数の分割区間のそれぞれにおける改変の度合いを示す情報を含み、
    前記対応関係表示部は、前記関係情報に基づいて、前記区間の対応関係を、該区間に含まれる複数の分割区間のそれぞれにおける改変の度合いに応じた表示態様で表示する、
    映像間対応関係表示システム。
  3. 請求項1または2に記載の映像間対応関係表システムであって、
    前記対応関係表示部は、前記改変の度合いを前記派生映像の時間軸に合わせて表示する、
    映像間対応関係表示システム。
  4. 請求項1〜3の何れか一項に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、前記少なくとも1つの元映像のそれぞれについて、前記対応関係を前記派生映像の時間軸に合わせて表示する、
    映像間対応関係表示システム。
  5. 請求項1〜の何れか一項に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、前記元映像の区間ごとのサムネイル画像が記憶されている記憶部を参照し、前記対応関係を前記改変の度合いに応じた表示態様で表示するともに、前記対応関係のある区間における前記元映像のサムネイル画像を表示する、
    映像間対応関係表示システム。
  6. 請求項1〜の何れか一項に記載の映像間対応関係表示システムであって、
    前記関係情報記憶部は、複数の前記派生映像に対する前記関係情報を記憶し、
    前記対応関係表示部は、
    前記複数の派生映像のうちの1つを選択するための情報を表示し、
    該表示に応じてユーザ入力により選択される1つの派生映像について、前記対応関係を前記改変の度合いに応じた表示態様で表示する、
    映像間対応関係表示システム。
  7. 請求項1〜の何れか一項に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、前記対応関係が表示された区間のうちの1つの区間を選択するユーザ入力に応じて、前記派生映像及び元映像が記憶されている記憶部を参照し、該選択された区間における前記派生映像及び前記元映像を表示する、
    映像間対応関係表示システム。
  8. 請求項1〜の何れか一項に記載の映像間対応関係表示システムであって、
    映像を構成する所定の区間ごとの特徴量を映像ごとに対応づけて記憶する特徴量記憶部と、
    前記派生映像及び前記元映像を含む、複数の映像に対する前記区間ごとの特徴量を比較する特徴量比較部と、
    前記区間ごとの特徴量の比較結果に基づいて前記関係情報を出力して前記関係情報記憶部に格納する関係情報出力部と、
    をさらに備える映像間対応関係表示システム。
  9. コンピュータが、
    少なくとも1つの元映像と、前記少なくとも1つの元映像の少なくとも一部の区間を利用して作成された派生映像との間における、区間の対応関係を示す情報と、前記派生映像の前記対応関係のある区間における前記元映像からの改変の度合いを示す情報とを含む関係情報を関係情報記憶部に記憶し、
    前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記派生映像と前記少なくとも1つの元映像との間における前記区間の対応関係を、前記派生映像の前記対応関係のある区間における前記元映像からの改変の度合いに応じた表示態様で表示する、
    映像間対応関係表示方法。
JP2012556756A 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法 Active JP5854232B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012556756A JP5854232B2 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011027192 2011-02-10
JP2011027192 2011-02-10
JP2012556756A JP5854232B2 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法
PCT/JP2011/077379 WO2012108090A1 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法

Publications (2)

Publication Number Publication Date
JPWO2012108090A1 JPWO2012108090A1 (ja) 2014-07-03
JP5854232B2 true JP5854232B2 (ja) 2016-02-09

Family

ID=46638319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012556756A Active JP5854232B2 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法

Country Status (3)

Country Link
US (1) US9473734B2 (ja)
JP (1) JP5854232B2 (ja)
WO (1) WO2012108090A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6168303B2 (ja) * 2012-01-30 2017-07-26 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
JP6850166B2 (ja) * 2017-03-17 2021-03-31 日本放送協会 映像ストリームの一致判定プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149673A (ja) * 1996-09-20 1998-06-02 Sony Corp 編集システム、編集方法及び表示装置
JP2004172787A (ja) * 2002-11-19 2004-06-17 Nec Corp 映像閲覧システムおよび方法
WO2010073695A1 (ja) * 2008-12-25 2010-07-01 日本電気株式会社 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0526064B1 (en) * 1991-08-02 1997-09-10 The Grass Valley Group, Inc. Video editing system operator interface for visualization and interactive control of video material
EP0590759B1 (en) * 1992-08-12 1998-12-09 International Business Machines Corporation System and method for locating video segment boundaries
EP0657887B1 (en) * 1993-12-13 2001-09-05 Sony Corporation Editing systems and methods
US5600375A (en) * 1994-09-08 1997-02-04 Intel Corporation Rendering an inter verses intra video encoding decision based upon a vertical gradient measure of target video frames
JPH10224665A (ja) * 1997-02-04 1998-08-21 Sony Corp 送出システム
JP3934780B2 (ja) * 1998-03-18 2007-06-20 株式会社東芝 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
GB2354104A (en) * 1999-09-08 2001-03-14 Sony Uk Ltd An editing method and system
KR100656334B1 (ko) * 1999-11-10 2006-12-12 톰슨 라이센싱 디지털 디스크 레코더의 3단 메뉴 처리
JP2001157183A (ja) * 1999-11-25 2001-06-08 Nec Corp テレビ電話システム
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
JP4228662B2 (ja) 2002-11-19 2009-02-25 日本電気株式会社 映像閲覧システムおよび方法
JP2005148801A (ja) 2003-11-11 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体
JP4165403B2 (ja) * 2004-01-13 2008-10-15 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7925669B2 (en) * 2004-10-13 2011-04-12 Sony Corporation Method and apparatus for audio/video attribute and relationship storage and retrieval for efficient composition
US8135750B2 (en) * 2005-04-22 2012-03-13 Microsoft Corporation Efficiently describing relationships between resources
JP2007164633A (ja) 2005-12-15 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> コンテンツ検索方法及び装置及びプログラム
JP4270240B2 (ja) * 2006-08-14 2009-05-27 コニカミノルタビジネステクノロジーズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
US8364020B2 (en) * 2007-09-28 2013-01-29 Motorola Mobility Llc Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording
US8797233B2 (en) * 2008-08-20 2014-08-05 The Regents Of The University Of California Systems, methods, and devices for dynamic management of data streams updating displays
US20100162286A1 (en) * 2008-11-24 2010-06-24 Digitalsmiths Corporation Systems and methods for analyzing trends in video consumption based on embedded video metadata
KR101319780B1 (ko) 2009-01-23 2013-10-17 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
JP5303747B2 (ja) * 2009-06-03 2013-10-02 日本電信電話株式会社 メタデータ管理装置、メタデータ管理方法、及び、メタデータ管理プログラム
JP4857453B2 (ja) * 2009-07-01 2012-01-18 テクトロニクス・インターナショナル・セールス・ゲーエムベーハー パケットとシリアル・データの対応関係確認方法
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
EP2543194A4 (en) * 2010-03-04 2015-09-30 Thx Ltd ELECTRONIC ADAPTER UNIT FOR THE SELECTIVE MODIFICATION OF AUDIO OR VIDEO DATA FOR USE WITH AN OUTPUT DEVICE
US8606073B2 (en) * 2010-05-12 2013-12-10 Woodman Labs, Inc. Broadcast management system
US20120002884A1 (en) * 2010-06-30 2012-01-05 Alcatel-Lucent Usa Inc. Method and apparatus for managing video content
KR101110202B1 (ko) * 2010-08-02 2012-02-16 (주)엔써즈 동영상 데이터들의 상호 관계에 기초한 데이터베이스 형성 방법 및 데이터베이스 형성 시스템
US8798400B2 (en) * 2010-10-21 2014-08-05 International Business Machines Corporation Using near-duplicate video frames to analyze, classify, track, and visualize evolution and fitness of videos
US20130031479A1 (en) * 2011-07-25 2013-01-31 Flowers Harriett T Web-based video navigation, editing and augmenting apparatus, system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149673A (ja) * 1996-09-20 1998-06-02 Sony Corp 編集システム、編集方法及び表示装置
JP2004172787A (ja) * 2002-11-19 2004-06-17 Nec Corp 映像閲覧システムおよび方法
WO2010073695A1 (ja) * 2008-12-25 2010-07-01 日本電気株式会社 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015026055; 粕谷 英司: 'MPEG-7による映像制作支援素材アーカイブシステム' 情報処理学会研究報告 第2003,巻24号, 20030307, P49-54, 社団法人情報処理学会 *

Also Published As

Publication number Publication date
WO2012108090A1 (ja) 2012-08-16
US9473734B2 (en) 2016-10-18
JPWO2012108090A1 (ja) 2014-07-03
US20130314601A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
RU2443016C1 (ru) Способ отображения списка и отображение списка с большим количеством элементов контента
KR102028198B1 (ko) 동영상 장면과 메타데이터 저작 방법
JP5651231B2 (ja) コンテンツを決定し検索するためのメディアフィンガープリント
JP5236039B2 (ja) 映像処理装置及びその制御方法
US20170242554A1 (en) Method and apparatus for providing summary information of a video
JP5882546B2 (ja) 直接反応広告検出及び分類システム並びに方法
US10153003B2 (en) Method, system, and apparatus for generating video content
US8467666B2 (en) Recording medium production method, recording medium, and player for recording medium
JP2007272468A (ja) 情報処理装置および方法、並びにプログラム
JP5854232B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
JP5552987B2 (ja) 検索結果出力装置、検索結果出力方法及び検索結果出力プログラム
JP6037443B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
US9224069B2 (en) Program, method and apparatus for accumulating images that have associated text information
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
JP2023162251A (ja) 製品ソースリンクを使用したメディア注釈
AU2012202280B2 (en) Information processing apparatus, information processing method, and information processing program
KR20100118896A (ko) 콘텐츠 내 객체 정보 및 객체 기반의 응용 콘텐츠를 제공하는 방법 및 장치
JP2008166895A (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
US9961275B2 (en) Method, system, and apparatus for operating a kinetic typography service
US20180077460A1 (en) Method, System, and Apparatus for Providing Video Content Recommendations
JP2007213574A (ja) コンテンツ検索方法および装置
US20140189769A1 (en) Information management device, server, and control method
JP2005148801A (ja) 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体
JP2004348553A (ja) メタデータ編集方法、装置、及びプログラム
JP5149616B2 (ja) ファイル管理装置、ファイル管理方法およびファイル管理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151124

R150 Certificate of patent or registration of utility model

Ref document number: 5854232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150