JP5569830B2 - 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム - Google Patents

映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム Download PDF

Info

Publication number
JP5569830B2
JP5569830B2 JP2013507221A JP2013507221A JP5569830B2 JP 5569830 B2 JP5569830 B2 JP 5569830B2 JP 2013507221 A JP2013507221 A JP 2013507221A JP 2013507221 A JP2013507221 A JP 2013507221A JP 5569830 B2 JP5569830 B2 JP 5569830B2
Authority
JP
Japan
Prior art keywords
video content
additional information
feature amount
scene
frame feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013507221A
Other languages
English (en)
Other versions
JPWO2012132530A1 (ja
Inventor
大生 原田
直毅 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013507221A priority Critical patent/JP5569830B2/ja
Publication of JPWO2012132530A1 publication Critical patent/JPWO2012132530A1/ja
Application granted granted Critical
Publication of JP5569830B2 publication Critical patent/JP5569830B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、視聴中の映像に対して情報を付加するための技術に関する。
特許文献１には、動画を含むコンテンツの特徴量と、字幕や音声解説の付加情報とを対応付けて予め登録しておき、再生するコンテンツから抽出された特徴量に基づいて字幕や音声解説を検索し、コンテンツと字幕や音声解説とを同期して再生する技術が開示されている。また、特許文献２には、映像コンテンツの各フレームから少ない情報量でフレーム画像を特徴付けるフレーム特徴量を抽出する技術が開示されている。
特開２００８−１６６９１４号公報 国際公開２０１０／０８４７１４号公報
世界中には元の動画コンテンツに対して、シーンのカットや別のシーンの挿入、字幕の挿入、モザイクがけや色調変更などの様々な修正及び編集を加えた派生コンテンツが存在する。従来は、そのような派生コンテンツや元の動画コンテンツのそれぞれに対して個別に付加情報が登録されていたが、元の動画コンテンツと派生コンテンツの間で、あるいは、派生コンテンツ同士の間で、一方のコンテンツにのみ登録されている付加情報を、他の派生コンテンツの同一シーンでも参照可能にするような、トータルな付加情報の管理が求められている。また、付加情報の管理は動画コンテンツ単位ではなく、動画コンテンツ内の一部である１シーンや１フレームについて管理することも求められる。なお、本明細書では、以下、作成されたオリジナルのコンテンツを「元（映像）コンテンツ」と称し、この「元（映像）コンテンツ」に修正あるいは編集などの改変を加えたコンテンツを「派生（映像）コンテンツ」と称す。また、「元（映像）コンテンツ」と「派生（映像）コンテンツ」とを含む複数の映像コンテンツを「映像コンテンツ群」と称す。また、特定のフレームから特定のフレームまでの一連の連続するフレームを、「シーン」と称す。
しかしながら、上記特許文献１では、動画から抽出する特徴量として、物体の面積や周囲長などを表す形態特徴や、画素の濃淡特徴の時間的変化、若しくは画面上の各点の速度ベクトル画像（オプティカルフロー）などが挙げられている。これらの特徴量は特定の動画コンテンツを特徴付けるものであり、特定のコンテンツと特定の付加情報とが対応付けられているに過ぎない。この方式では、世界中に存在する様々な動画コンテンツのどのコンテンツに対して付加されたものか事前に特定されている場合のみ機能する。このため、互いに派生関係にある複数の映像コンテンツのうち、ある特定のコンテンツに紐づけられた付加情報を、他の派生コンテンツに対応付けて参照することはできない。 さらに、動画コンテンツ内の１シーンや１フレームに付加情報を対応付けることもできない。したがって、特許文献１の特徴量として、特許文献２のフレーム特徴量を適用したとしても、派生コンテンツと付加情報との対応付けや、１シーンや１フレームと付加情報との対応付けを教えることはできない。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る映像処理システムは、
任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出手段と、
前記フレーム特徴量抽出手段が抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出手段と、
前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出手段と、
前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合手段と、
前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御手段と、
を備える。
上記目的を達成するため、本発明に係る映像処理方法は、
フレーム特徴量抽出手段が、任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
映像コンテンツ抽出手段が、前記フレーム特徴量抽出ステップにおいて抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出ステップと、
付加情報抽出手段が、前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出ステップと、
問合手段が、前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合ステップと、
付加制御手段が、前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御ステップと、
を含む。
上記目的を達成するため、本発明に係る映像処理装置は、
任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出手段と、
前記フレーム特徴量抽出手段が抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出手段と、
前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出手段と、
前記付加情報抽出手段により抽出された、前記各映像コンテンツの前記シーンにそれぞれ付加されている前記付加情報を通知する付加情報通知手段と、
前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合手段と、
前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御手段と、
を備える。
上記目的を達成するため、本発明に係る映像処理装置の制御方法は、
フレーム特徴量抽出手段が、任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
映像コンテンツ抽出手段が、前記フレーム特徴量抽出ステップにおいて抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出ステップと、
付加情報抽出手段が、前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出ステップと、
付加情報通知手段が、前記付加情報抽出ステップにおいて抽出された、前記映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれに付加されている前記付加情報を通知する付加情報通知ステップと、
問合手段が、前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合ステップと、
付加制御手段が、前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御ステップと、
を含む。
上記目的を達成するため、本発明に係る映像処理装置の制御プログラムは、
任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
前記フレーム特徴量抽出ステップにおいて抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出ステップと、
前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出ステップと、
前記付加情報抽出ステップにおいて抽出された、前記映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれに付加されている前記付加情報を通知する付加情報通知ステップと、
前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合ステップと、
前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御ステップと、
をコンピュータに実行させる。
上記目的を達成するため、本発明に係る映像処理装置は、
任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出手段と、
前記フレーム特徴量抽出手段が抽出したフレーム特徴量を送信するフレーム特徴量送信手段と、
前記フレーム特徴量の送信先から返信された、前記任意の映像コンテンツの一連の複数のフレームからなるシーンのフレーム特徴量に基づいて抽出した前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群に含まれる各映像コンテンツの、前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を受信する付加情報受信手段と、
前記任意の映像コンテンツに前記付加情報を付加して再生する映像コンテンツ再生手段と、
を備える。
上記目的を達成するため、本発明に係る映像処理装置の制御方法は、
フレーム特徴量抽出手段が、任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
フレーム特徴量送信手段が、前記フレーム特徴量抽出ステップにおいて抽出したフレーム特徴量を送信するフレーム特徴量送信ステップと、
付加情報受信手段が、前記フレーム特徴量の送信先から返信された、前記任意の映像コンテンツの一連の複数のフレームからなるシーンのフレーム特徴量に基づいて抽出した前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群に含まれる各映像コンテンツの、前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を受信する付加情報受信ステップと、
映像コンテンツ再生手段が、前記任意の映像コンテンツに前記付加情報を付加して再生する映像コンテンツ再生ステップと、
を含む。
上記目的を達成するため、本発明に係る映像処理装置の制御プログラムは、
任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
前記フレーム特徴量抽出ステップにおいて抽出したフレーム特徴量を送信するフレーム特徴量送信ステップと、
前記フレーム特徴量の送信先から返信された、前記任意の映像コンテンツの一連の複数のフレームからなるシーンのフレーム特徴量に基づいて抽出した前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群に含まれる各映像コンテンツの、前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を受信する付加情報受信ステップと、
前記任意の映像コンテンツに前記付加情報を付加して再生する映像コンテンツ再生ステップと、
をコンピュータに実行させる。
本発明によれば、同じ映像コンテンツを元に作成された複数の派生コンテンツ及び元の映像コンテンツの間で、同じシーンを含む他の映像コンテンツに付加されている付加情報を互いに参照できる。
本発明の第１実施形態に係る映像処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る映像処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る映像処理システムの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る映像処理システムの動作の具体例を示す図である。 本発明の第２実施形態に係るフレーム特徴量抽出部の構成を示すブロック図である。 本発明の第２実施形態に係るフレーム特徴量抽出部における処理を示す図である。 本発明の第２実施形態に係るフレーム特徴量抽出部における抽出領域を示す図である。 本発明の第２実施形態に係るフレーム特徴量ＤＢ、シーンＤＢ及び付加情報ＤＢの構成及びその関連を示す図である。 本発明の第２実施形態に係る付加情報検索テーブルの構成を示す図である。 本発明の第２実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る映像処理装置による各ＤＢの準備手順を示すフローチャートである。 本発明の第２実施形態に係る映像処理装置による映像処理手順を示すフローチャートである。 本発明の第２実施形態に係る映像処理装置による付加情報の検索処理の手順を示すフローチャートである。 本発明の第２実施形態に係る映像視聴用端末のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る映像視聴用端末による付加情報処理手順を示すフローチャートである。 本発明の第３実施形態に係る映像処理システムにおけるフレーム特徴量／付加情報ＤＢの構成を示す図である。 本発明の第４実施形態に係る映像処理システムの動作手順を示すシーケンス図である。 本発明の第５実施形態に係る映像処理システムの構成を示すブロック図である。 本発明の第６実施形態に係る映像処理システムにおける付加情報に関する視聴者の設定情報を表わすテーブルを示す図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての映像処理システム１００について、図１を用いて説明する。映像処理システム１００は、映像コンテンツに付加すべき付加情報を出力するシステムである。
図１に示すように、映像処理システム１００は、フレーム特徴量抽出部１１０と、映像コンテンツ抽出部１２０と、付加情報抽出部１３０と、を備える。フレーム特徴量抽出部１１０は、任意の映像コンテンツに含まれるフレームが有するフレーム特徴量１１０ａを抽出する。映像コンテンツ抽出部１２０は、フレーム特徴量抽出部１１０が抽出した任意の映像コンテンツのフレーム特徴量１１０ａと他の映像コンテンツのフレーム特徴量１４０ａとを比較して、任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群１２０ａから１２０ｃであって、シーンに改変が加えられていない元映像コンテンツ１２０ａとシーンに改変が加えられている派生映像コンテンツ１２０ｂ，１２０ｃとを含む映像コンテンツ群１２０ａ〜１２０ｃを抽出する。付加情報抽出部１３０は、抽出した映像コンテンツ群１２０ａ〜１２０ｃのシーンに付加されている付加情報１３０ａを抽出する。
本実施形態によれば、１つの映像コンテンツから、同一のシーンを含む映像コンテンツ群に付加されている付加情報を参照できる。
［第２実施形態］
第２実施形態においては、フレーム特徴量抽出部を有する各種の映像視聴用端末から送信されたフレーム特徴量を、映像処理装置において蓄積したフレーム特徴量と比較して、同じ元映像コンテンツのシーンを含む派生映像コンテンツを見つける。そして、その元映像コンテンツ及び派生映像コンテンツのシーンに付加されている付加情報を取得して、視聴中の映像コンテンツのシーンに付加する。本実施形態によれば、視聴中の映像コンテンツに、同一のシーンを含む映像コンテンツ群に付加されている付加情報を付加できる。
《映像処理システムの構成》
図２は、本実施形態に係る映像処理システム２００の構成を示すブロック図である。なお、図２には、本実施形態に関連する機能構成部を示しており、他の機能を果たす機能構成部は煩雑さを避けるために省略している。
図２において、２１０は映像処理装置である。映像処理装置２１０は、映像コンテンツの各フレームを特徴付けるフレーム特徴量を、各フレームを識別するフレームＩＤに対応付けて蓄積するフレーム特徴量ＤＢ２１４を有する。また、所定の長さの一連のフレーム列と、このフレーム列からなるシーンを識別するシーンＩＤとを対応付けて蓄積するシーンＤＢ２１６を有する。なお、一連のフレーム列は、対応するフレーム特徴列によって特定される。また、シーンＩＤに対応付けて、かかるシーンから派生した派生シーンに付加された付加情報を蓄積する付加情報ＤＢ２１８を有する。なお、派生シーンは、シーン及び派生シーン間の一連のフレーム特徴量列の比較に基づいて選別される。
映像処理装置２１０は、ネットワーク２５０を介して通信する通信制御部２１１を有する。なお、通信は有線であっても無線であっても構わない。フレーム特徴量受信部２１２は、通信制御部２１１により映像コンテンツの一連のフレーム特徴量列を受信する。フレーム特徴量照合部２１３は、フレーム特徴量受信部２１２が受信した一連のフレーム特徴量列と、フレーム特徴量ＤＢ２１４に蓄積されたフレーム特徴量列とを照合する。そして、所定の閾値内の相違であれば両フレーム特徴量列が一致すると判断する。シーン判別部２１５は、フレーム特徴量照合部２１３からの一致信号を受信して、その一連のフレーム特徴量列に対応するフレーム列からなるシーンをシーンＤＢ２１６中から判別して、判別したシーンを識別するシーンＩＤを出力する。付加情報提供部２１７は、シーン判別部２１５が出力したシーンＩＤに基づいて付加情報ＤＢ２１８から付加情報を検索し、通信制御部２１１により検索結果の付加情報を提供する。
図２の２２０は、映像コンテンツを提供する映像コンテンツ提供サーバである。映像コンテンツ提供サーバ２２０は、提供する映像コンテンツを蓄積するコンテンツＤＢ２２３と、そのコンテンツに付加された付加情報を蓄積する付加情報ＤＢ２２２とを有する。なお、コンテンツＤＢ２２３と付加情報ＤＢ２２２とは一体のＤＢとして設けられても良い。
図２の２３０は、映像コンテンツを製作及び提供するテレビ局である。テレビ局２３０も、提供する映像コンテンツを蓄積するコンテンツＤＢ２３３と、そのコンテンツに付加された付加情報を蓄積する付加情報ＤＢ２３２とを有する。なお、コンテンツＤＢ２３３と付加情報ＤＢ２３２とは一体のＤＢとして設けられても良い。
図２の２６１〜２６７は、ネットワーク２５０を介して映像処理装置２１０に映像コンテンツのフレーム特徴量を送信して、関連する付加情報の提供を受ける映像視聴用端末である。かかる映像視聴用端末２６１〜２６７には、テレビ受信機や、パーソナルコンピュータ（以下、ＰＣ）や、携帯電話などの携帯端末が含まれる。しかし、映像視聴用端末は図２に図示された種類に限定されない。映像視聴が可能なあらゆる通信機器が適用できる。ただし、本実施形態における付加情報の提供を受けるためには、映像視聴用端末２６１〜２６７が、映像コンテンツの各フレームからフレーム特徴量を抽出するフレーム特徴量抽出部２６１ａ〜２６７ａを有する必要がある。あるいは、映像視聴用端末２６１〜２６７が、フレーム特徴量抽出プログラムをダウンロードして実行可能である必要がある。
かかる構成により、映像視聴用端末２６１〜２６７からフレーム特徴量抽出部２６１ａ〜２６７ａを使って抽出された映像コンテンツのフレーム特徴量が映像処理装置２１０に送信される。映像処理装置２１０は、蓄積されたフレーム特徴量との比較から元映像コンテンツや派生映像コンテンツを含む関連映像コンテンツ内のフレーム特徴量の一致するシーンに付加している付加情報を抽出して、映像視聴用端末２６１〜２６７に提供する。付加情報は、映像処理装置２１０内の付加情報ＤＢ２１８のみでなく、映像コンテンツ提供サーバ２２０の付加情報ＤＢ２２２やテレビ局２３０の付加情報ＤＢ２３２からも抽出して提供する。なお、図２においては、映像処理装置２１０を映像コンテンツ提供サーバ２２０やテレビ局２３０と独立に設けたが、映像コンテンツ提供サーバ２２０やテレビ局２３０内に設置されていても構わない。
また、図２では、サービス主体である映像コンテンツ提供サーバ２２０とテレビ局２３０がそれぞれ付加情報ＤＢとコンテンツＤＢとを有するように図示されている。しかしながら、複数のサービス主体の付加情報ＤＢやコンテンツＤＢが連携して統一的に制御されたり、一方にまとめて保持したり、あるいは、別途付加情報ＤＢやコンテンツＤＢを専用に管理するサービス主体を設けても良い。
《映像処理システムの動作手順》
図３は、本実施形態に係る映像処理システムの動作手順３００を示すシーケンス図である。図３は、図２の構成要素間の情報の伝達シーケンスをより詳細に示している。
まず、ステップＳ３００において、本実施形態における動作の準備として映像処理装置２１０で各ＤＢの準備が行なわれる。かかるＤＢの準備のために、映像処理装置２１０は映像コンテンツ提供サーバ２２０やテレビ局２３０から映像コンテンツの配信を受けて、そのフレーム特徴量を抽出して、各ＤＢを準備する（図９参照）。なお、通信トラフィックを低減するために、映像コンテンツ提供サーバ２２０やテレビ局２３０にフレーム特徴量抽出部を設けて、あるいはフレーム特徴量プログラムをダウンロードして、フレーム特徴量を映像処理装置２１０に送信するように構成してもよい。かかるステップＳ３００におけるＤＢの準備処理において、同一のフレーム画像からなるシーンのみでなく、修正や編集が加えられた派生映像コンテンツのシーンや、逆に派生映像コンテンツから元映像コンテンツを見つけてシーンＤＢ２１６や付加情報ＤＢ２１８を準備することができる。映像処理装置２１０において、上記各ＤＢの準備が完了した後に、本実施形態の映像視聴用端末２６１〜２６７への付加情報提供のサービスが開始される。なお、このＤＢの準備処理は、付加情報提供のサービスが開始される前に一度実行されればよい。そして、新たな（あるいは派生の）映像コンテンツの登場時にもDBの準備処理は繰り返されて、各ＤＢは更新される。また、既存の映像コンテンツに対して新たに付加情報が作成された場合にも、各ＤＢの更新処理が実行される。
ステップＳ３０１においては、ＤＶＤ(Digital Versatile Disc.)などからの映像コンテンツが映像視聴用端末に入力される。一方、ステップＳ３０３においては、映像コンテンツ提供サーバ２２０やテレビ局２３０から映像コンテンツがリアルタイムに映像視聴用端末に入力される。各映像視聴用端末においては、ステップＳ３０５において入力される映像コンテンツから映像をデコードする。そして、ステップＳ３０７において、デコードしている映像コンテンツのフレームごとにフレーム特徴量を抽出する。なお、デコードして映像視聴用端末で映像再生中の映像コンテンツからフレーム特徴量を抽出してよい。しかし、フレーム特徴量の抽出のタイミングはこれに限定されることはない。たとえば、録画中など単に映像コンテンツの受信中にフレーム特徴量を抽出してもよい。あるいは、映像視聴用端末内や接続したＤＢに映像コンテンツが蓄積されていれば、その蓄積映像コンテンツを検出したタイミングや、検出後の映像視聴用端末が動作していないアイドル時間中に、その蓄積映像コンテンツに対して、フレーム特徴量を抽出してもよい。抽出したフレーム特徴量は、ステップＳ３０９において、映像コンテンツのフレーム順に映像処理装置２１０に送信される。
映像処理装置２１０は、映像視聴用端末から映像コンテンツのフレーム順に送信されるフレーム特徴量を受信する。そして、各フレーム特徴量に対して一意の識別子としてフレームＩＤを付与しながら記憶する。かかるフレーム特徴量の記憶は、付加情報の提供を受ける際の一時的なものであっても、あるいは映像コンテンツを特定する識別子と共にフレーム特徴量ＤＢ２１４に永続的に蓄積されて、以降の付加情報の提供を受ける際に利用してもよい。
映像処理装置２１０では、ステップＳ３１１において、受信した一連のフレーム特徴量列とフレーム特徴量ＤＢ２１４のフレーム特徴量列との照合を行なう。照合の結果から、ステップＳ３１３において、合致するかを判定する。ステップＳ３１３においては、ステップＳ３１１の照合による差（たとえば距離など）が所定の閾値以内であれば合致していると判断する。かかるステップＳ３１１の照合処理とステップＳ３１３の判定処理とによって、同一のフレーム画像のみでなく、修正や編集の改変が加えられた派生映像コンテンツのシーンや、逆に派生映像コンテンツから元映像コンテンツを見つけることができる。合致するフレーム特徴量列がフレーム特徴量ＤＢ２１４に無ければ、次のフレーム特徴量列を受信して照合を繰り返す。合致していればステップＳ３１５に進んで、合致したフレーム特徴列を有する映像コンテンツのシーンに付加情報が付加されているかを判断する。付加情報がなければ、次のフレーム特徴量列を受信して照合を繰り返す。付加情報があれば、ステップＳ３１７において、見付かった全ての付加情報を示す情報をフレーム特徴量の送信元の映像視聴用端末に送信して付加情報通知をする。そして、付加情報の付加の許諾と付加情報の選択を問い合わせる。
映像視聴用端末は、付加情報受信をし、付加情報の付加が許諾されればステップＳ３１９において、選択された付加情報の付加が映像処理装置２１０に要求する。なお、この映像視聴用端末の問合せは、付加情報の付加サービスの仕方により変更が可能であり、たとえばステップＳ３０９におけるフレーム特徴量の送信を付加情報の付加の許諾として認識して、付加をしてもよい。その場合は、複数ある場合のみに選択を問い合わせることになる。また、付加情報が音声と字幕などであればそのまま付加して、削除を問い合わせることもできる。
映像処理装置２１０は、付加情報の付加の許諾（要求）を受けて、ステップＳ３２１において、その付加情報が自装置内にあるか否かを判断する。自装置にあればステップＳ３２３において、付加情報を映像視聴用端末に送信する。一方、自装置になければステップＳ３２５において、その映像コンテンツと付加情報を保有する映像コンテンツ提供サーバ２２０やテレビ局２３０に付加情報の提供を要求する。ステップＳ３２７において付加情報要求に応答して付加情報の返信があれば、映像処理装置２１０は、ステップＳ３２９において受信した付加情報を映像視聴用端末に送信する。
映像視聴用端末は、ステップＳ３３１において、提供された付加情報をデコードされている映像に合成するように付加制御して提供する。なお、ステップＳ３０５においてデコードされた映像を表示画面から再生する場合には、ステップＳ３３１においては、再生される画面と共に合成された付加情報が再生されることになる。この場合、付加情報の再生している映像への合成の同期については、共通のタイムスタンプにより行なっても良いし、リアルタイムに映像処理装置２１０や映像視聴用端末で行なってもよい。かかる処理は本発明の主要部分ではないので詳細は省く。また、付加情報は映像に合成せず、画面内の付加情報表示用の領域に表示される動作であってもよい。さらに、付加情報は事前にダウンロードされて、一旦映像視聴用端末の記憶部に抽出元の映像コンテンツＩＤに対応付けて保持され、後で抽出元の映像コンテンツを再生する時に付加するように制御されてもよい。
（映像処理システムの動作の具体例）
図４は、本実施形態に係る映像処理システムの動作の具体例４００を示す図である。図４は、録画の再生や提供される映像ライブラリの視聴、あるいはテレビ番組中の映像によって、過去の野球試合の１シーンを視聴中の例である。
４１０は、現在視聴中の映像のシーンである。映像視聴用端末の１つであるテレビ受像機において、このシーンの一連のフレームのフレーム特徴量列が抽出されて、映像処理装置２１０に送信される。映像処理装置２１０において、この送信された一連のフレーム特徴量とフレーム特徴量ＤＢとの照合から、元映像コンテンツのシーンや派生映像コンテンツのシーンを見つける。そして、そのシーンに付加されている付加情報が付加情報ＤＢから検索される。本例では、元映像コンテンツは野球試合の実況コンテンツである。
本例では、検索の結果として、現在視聴しているシーン４１０の元映像コンテンツ（実況コンテンツ）の該当シーンに付加された付加情報（実況音声）が見付かる。また、その試合中の派生映像コンテンツ（他局のニュース）で報道された該当シーンに付加された付加情報（ニュース音声）が見付かる。さらに、派生映像コンテンツ（別のスポーツニュースや番組）中に編集して挿入された付加情報（テロップ：文字）が見付かる。
図４の４２０は、上記３つの付加情報が見付かり、そのいずれを付加するかを視聴者に問い合わせるメッセージ４２１（あるいはボタンを兼ねてもよい）が表示されている。視聴者は、いずれかを選択すればその付加情報が付加されたシーンを視聴できる。選択がなければ付加しないと判断する。
図４の４３０は、「テロップ」が選択された場合の表示である。現在視聴している映像のシーンに本来は付加されていない付加情報であるテロップ４３１が付加される。一方、図４の４４０は、「ニュース音声」が選択された場合の表示である。現在視聴している映像のシーンに本来は付加されていない付加情報であるニュース音声４４２が付加されて、スピーカ４４１から出力される。
《フレーム特徴量抽出部》
図５Ａは、本実施形態に係るフレーム特徴量抽出部２６１ａ〜２６７ａの構成を示すブロック図である。本実施形態で適用されるフレーム特徴量抽出部２６１ａ〜２６７ａは、ＭＰＥＧ７の標準化で採用されているビデオシグネチャを抽出する機能構成部である。
図５Ａにおいて、出力されるフレーム特徴量５５０は、撮影された映像の各フレーム画像中に多数のサイズの大小や形状の異なる領域対を設けて、この領域間の領域特徴量の一種である平均輝度値の差分を量子化（実際には３値に）し、符号化したものである。次元決定部５１０は、領域対の数を決定する。一次元が１領域対に相当する。抽出領域取得部５２０は、次元決定部５１０の決定にしたがって、フレーム特徴量を算出する各次元の領域対を取得する。領域特徴量算出部５３０は第１領域特徴量算出部５３１と第２領域特徴量算出部５３２とを有し、それぞれ各次元の領域対の一方の領域の領域特徴量の一種である平均輝度を算出する。領域特徴量差分符号化部５４０は、領域対のそれぞれの領域特徴量の一種である平均輝度の差分を取って、その差分を第３閾値にしたがって量子符号化してフレーム特徴量５５０を出力する。
なお、本例では、以下、平均輝度により領域特徴量を代表させて説明するが、領域特徴量は領域の平均輝度には限定されない、輝度の他の処理や輝度以外のフレームの特徴量も適用できる。
図５Ｂは、本実施形態に係るフレーム特徴量抽出部２６１ａ〜２６７ａにおける処理を示す図である。
図５Ｂの５２０ａは、図５Ａの抽出領域取得部５２０が取得した領域対の数例を示している。５２０ａにおいて、外枠がフレームを示しており、内部の各矩形が領域を示している。
図５Ｂの５３０ａは、フレーム画像内において、抽出領域取得部５２０からの領域対により抽出された領域とその領域間の差分を取る関係を表現したものである。フレーム画像内に領域対の２つの領域が抽出されて、それぞれの領域に含まれる画素の平均輝度が算出され、その差分が算出さる様子を各領域の中心を結ぶ矢印で示している。
図５Ｂの５４０ａは、算出された差分を量子符号化する様子を示したものである。５４０ａでは、図５Ａにおける第１領域特徴量から第２領域特徴量を差し引いた差分が、差分"０"（平均輝度が等しい場合に相当）を中心とする上記第３閾値である破線で示した差分内であれば、"０"を量子符号化の出力値とする。同じ差分が破線位置よりも大きな正（＋）の値であれば、"＋１"を量子符号化の出力値とする。同じ差分が破線位置よりも大きな負（−）の値であれば、"−１"を量子符号化の出力値とする。このように、“−１”、“０”、“＋１”の３値に符号化するのは、次元ごとのデータ量を少なくして、できるだけ多次元の情報を生成することでフレーム特徴量の分離を容易にし、かつフレーム特徴量の比較の計算量を削減するためである。したがって、上記３値の例に限定する必要はない。なお、破線で示す第３閾値は、使用される全次元の差分値の分布から"０"と量子化する差分値の割合から選定される。一例としては、"０"と量子化する差分値の割合を５０％にするような値を選定する。
図５Ｂの５５０ａは、差分の量子符号化の結果を集めて生成されたフレーム特徴量の例を示している。フレーム特徴量は、簡単な例としては、差分の量子符号化された値を一次元方向に次元順に並べたものである。なお、単純に差分の量子符号化された値を一次元方向に次元順に並べたものではなく、多次元方向に並べたものやさらに追加の演算を加えたものであってもよく、本例には限定されない、
図５Ｃは、本実施形態に係るフレーム特徴量抽出部２６１ａ〜２６７ａにおける抽出領域を示す図である。
図５Ｂの５２０ａには、各次元の領域対は２つの矩形領域で示された。しかしながら、フレームを適切に表現するフレーム特徴量を算出するためには、矩形以外の形状が望ましい場合もある。図５Ｃに示す抽出領域は、２つの矩形領域ではない領域対を例示している。図５Ｂの５４０ａで示したように各次元を３値化することで、実時間のフレーム特徴量の比較や、フレーム特徴量の集合である映像コンテンツのフレーム特徴量群の比較を実現する場合であっても、数百次元を設定することが可能である。
《フレーム特徴量ＤＢ、シーンＤＢ及び付加情報ＤＢの構成及びその関連》
図６は、本実施形態に係るフレーム特徴量ＤＢ２１４、シーンＤＢ２１６及び付加情報ＤＢ２１８の構成及びその関連を示す図である。
（フレーム特徴量ＤＢ）
図６のフレーム特徴量ＤＢ２１４は、フレーム特徴量蓄積部であり、映像コンテンツ中の各フレームを特定するフレームＩＤ６２１にそれぞれ対応付けられて、上記図５Ａ〜図５Ｃにしたがって映像コンテンツから抽出されたフレーム特徴量６２２が順次に蓄積されている。なお、フレーム特徴量ＤＢ２１４に蓄積されるフレーム特徴量は、映像コンテンツやシーン単位に管理されるのが望ましい。
（フレーム特徴量受信部及びフレーム特徴量照合部）
映像視聴用端末から受信したフレーム特徴量は、フレーム特徴量受信部２１２に順次に記憶されてシフトされる。フレーム特徴量受信部２１２から一連の所定数のフレーム特徴量列が、フレーム特徴量照合部２１３を構成するフレーム特徴量バッファにセットされる。図６には、フレーム特徴量バッファに７つのフレーム特徴量が図示されているが、かかるフレーム特徴量バッファの長さは、照合の正確さと照合速度とのトレードオフの関係にあり、適切な長さが選択される。また、照合の正確さを基準に所定の長さのものを準備し、照合の正確さと照合速度との関連から使用する長さを計算して設定することも可能である。
このフレーム特徴量バッファにセットされたフレーム特徴量列をフレーム特徴量ＤＢ２１４の一連のフレーム特徴量列とシフトしながら比較し、類似のフレーム特徴量列を検索する。かかる照合による類似か否かの判断は、比較結果（たとえば、距離計算や二乗平均など）が所定の閾値以内か否かにより成される。そして、類似のフレーム特徴量列が見付かると、そのフレーム特徴量列の開始フレームＩＤと終了フレームＩＤとを出力する。
（シーンＤＢ）
図６のシーンＤＢ２１６は、シーン蓄積部であり、シーンを特定するシーンＩＤ６３１にそれぞれ対応付けられて、開始フレームＩＤ６３２と終了フレームＩＤ６３３とが蓄積されている。なお、開始フレームＩＤ６３２と終了フレームＩＤ６３３とは、シーンＩＤ６３１が示すシーンの開始及び終了と一致していて良いし、シーンＩＤ６３１が示すシーン内の一部であってもよい。上述の図５Ａから図５Ｃで示した本実施形態のフレーム特徴量の抽出方法によれば、少ない数の一連のフレーム特徴量列による照合によってもより多くのフレームを含むシーンを特定可能である。
（付加情報ＤＢ）
図６の付加情報ＤＢ２１８は、付加情報蓄積部であり、シーンＤＢ２１６に基づいて見付けたシーンＩＤを持つ元シーンや派生シーン、それらを含む元映像コンテンツや派生映像コンテンツから、付加情報ＩＤ又は付加情報ＩＤ群を蓄積する。付加情報ＤＢ２１８には、各付加情報ＩＤ６４１に対応付けて付加情報６４２が蓄積される。図６の付加情報ＤＢ２１８には、図４の具体例において再生中の映像に付加されたプロ野球試合の付加情報６４２が蓄積されている。
《映像処理装置のハードウェア構成》
図７は、本実施形態に係る映像処理装置２１０のハードウェア構成を示すブロック図である。
図７で、ＣＰＵ７１０は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ７２０は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部７３０は、映像視聴用端末２６１〜２６７あるいは各サーバ／テレビ局と通信する。なお、テレビ放送用電波と他の通信とはそれぞれの別個の複数の通信制御部で構成してもよい。通信は無線でも有線でもよい。しかしながら、テレビがデジタル地上波になれば共通の通信制御部での処理も可能である。
ＲＡＭ７４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ７４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。７４１は、映像視聴用端末から受信した受信フレーム特徴量である。なお、フレーム特徴量照合部２１３のフレーム特徴量列のバッファを兼ねている。７４２は、フレーム特徴量ＤＢ２１４から順に読出して受信したフレーム特徴量列と比較するための、比較対象フレーム特徴量である。７４３は、受信フレーム特徴量７４１と比較対象フレーム特徴量７４２とが合致しているか否かを判断するための合致判断用閾値である。７４４は、合致判断の結果を示す合致有無フラグである。７４５は、合致したフレーム特徴量列から得られたシーンＩＤである。７４６は、シーンＩＤに基づいて検出された付加情報を特定する付加情報ＩＤである。７４７は、フレーム特徴量の比較から付加情報の検索までの間の処理結果を記憶する付加情報検索テーブルである（図８参照）。７４８は、映像視聴用端末に対して付加情報の付加の許諾あるいは付加情報の選択を問合せメッセージと、映像視聴用端末からの応答メッセージとである。７４９は、付加が許諾決定された送信用付加情報である。
ストレージ７５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータ又はプログラムが記憶されている。２１４は、図６に示したフレーム特徴量ＤＢである。２１６は、図６に示したシーンＤＢである。２１８は、図６に示した付加情報ＤＢである。なお、図７には、映像コンテンツのＤＢは示していないが、コンテンツＤＢを持っていても良い。しかしながら、本実施形態の映像処理装置２１０にコンテンツＤＢは必須の構成要素ではない。ストレージ７５０には、以下のプログラムが格納される。７５４は、全体の処理を実行させる映像処理プログラムである。７５５は、上記各ＤＢを準備するＤＢ準備モジュールである（図９Ａ参照）。７５６は、映像処理プログラム７５４において、フレーム特徴量列を照合する手順を示すフレーム特徴量照合モジュールである。７５７は、映像処理プログラム７５４において、関連する付加情報を検索する付加情報検索モジュールである。７５８は、映像処理プログラム７５４において、付加する付加情報を送信する付加情報送信モジュールである。映像処理装置２１０において映像コンテンツと付加情報との同期を取る処理をする場合は、付加情報送信モジュール７５８で行なうことになる。
なお、図７には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
（付加情報検索テーブルの構成）
図８は、本実施形態に係る付加情報検索テーブル７４７の構成を示す図である。かかる付加情報検索テーブル７４７は、本実施形態の付加情報検索処理を補助するため、フレーム特徴量列の受信から付加情報の検索までの処理履歴を記憶するテーブルである。
図８の付加情報検索テーブル７４７には、受信してフレーム特徴量ＤＢ２１４との照合の結果、合致するシーンが見付かったフレーム特徴量列８０１に対応付けて、以下の各データが記憶される。
８０２は、フレーム特徴量ＤＢ２１４から読出されて、フレーム特徴量列８０１と合致した比較対象フレーム特徴量列である。比較差が所定の閾値内のものは合致したとして、元映像コンテンツあるいは派生映像コンテンツに加えられる。８０３は、合致した比較対象フレーム特徴量列８０２を有するフレームＩＤ列である。８０４は、フレームＩＤ列８０３から検索されるシーンＩＤである。ここで、シーンＩＤは同じ"199801121012"であり、元シーンと派生シーンとがアルファベットで示されている。８０５は、元シーンか派生シーンであるかを示している。８０６は、シーンＩＤ８０４のシーンを含む映像コンテンツのＩＤを示している。８０７は、各映像コンテンツ中でこのシーンに付加されている付加情報である。８０８は、付加情報８０７を特定する付加情報ＩＤである。
《映像処理装置の処理手順》
次に、図７の構成を有する映像処理装置２１０が本実施形態の付加情報検索を実現する処理手順を説明する。
（各ＤＢの準備手順）
図９Ａは、本実施形態に係る映像処理装置による各ＤＢの準備手順（図３のＳ３００）を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行する。
まず、ステップＳ９０１において、映像コンテンツ提供サーバ２２０やテレビ局２３０などから送信された映像コンテンツのフレームごとにフレーム特徴量を抽出する。ステップＳ９０３において、フレーム順に一意のフレームＩＤを付し、フレームＩＤに対応してフレーム特徴量をフレーム特徴量ＤＢ２１４に登録する。次に、ステップＳ９０５において、付加情報が設定されているシーンの開始フレームと終了フレームとの組みにシーンＩＤを付して、シーンＤＢ２１６に登録する。ステップＳ９０７において、シーンＩＤに対応して付加情報ＩＤとその付加情報を設定し、付加情報ＤＢ２１８に登録する。ステップＳ９０９において、全映像コンテンツについての処理が終了したかが判定され、未処理の他の映像コンテンツがあればステップＳ９０１に戻って処理を繰り返す。
（映像処理手順）
図９Ｂは、本実施形態に係る映像処理装置による映像処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行する。
まず、ステップＳ９１１において、映像視聴用端末からフレーム特徴量うぃ受信する。ステップＳ９１３において、受信した所定数の一連のフレーム特徴量列を、フレーム特徴量ＤＢ２１４のフレーム特徴量列と比較する。ステップＳ９１５において、比較結果から一定条件（差異が所定閾値内かを含む）で合致するか否かを判定する。合致すればステップＳ９１７に進んで、合致したフレーム特徴量列を表わす、あるいは合致したフレーム特徴量列を含むシーンＩＤによって、付加情報ＤＢ２１８から付加情報を検索する。かかる付加情報の検索処理については、図９Ｃに基づいて詳細に説明する。
合致しなければステップＳ９１９に進む。ステップＳ９１９においては、フレーム特徴量ＤＢ２１４に蓄積している全てのフレーム特徴量との比較による付加情報の検索が終了したかを判断する。なお、リアルタイムによる付加情報の検索を実現するため、蓄積しているフレーム特徴量のデータ量が多量であれば、映像コンテンツの種別などでグループ分けしてそのグループ単位の付加情報の検索であってもよい。あるいは、各グレープの処理に１つのＣＰＵを割り当てて、並列処理を行なっても良い。あるいは、映像処理装置２１０を複数台設け、各装置を映像コンテンツの種別に特化させて、装置の選別や複数装置の並行処理を行なっても良い。
フレーム特徴量ＤＢ２１４内の目的とする全てのフレーム特徴量列との比較が終了すると、ステップＳ９１９からＳ９２１に進む。ステップＳ９２１において、ステップＳ９１３からＳ９１９のループにより検索された付加情報があれば、フレーム特徴量の送信元の映像視聴用端末に対して、付加情報の付加の許諾と付加情報の選択を問い合わせる。ステップＳ９２３においては、問合せの応答として付加情報の付加が要求されたか否かを判定する。付加情報の付加が要求されればステップＳ９２５に進んで、付加情報を映像視聴用端末に対して送信する。付加情報の付加要求が無ければ付加情報の送信はせずに、処理を終了する。
（付加情報の検索処理の手順）
図９Ｃは、本実施形態に係る映像処理装置による付加情報の検索処理（Ｓ９１７）の手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行する。
ステップＳ９３１において、フレーム特徴量列が合致したシーンの開始フレームＩＤと終了フレームとを用いてシーンＤＢ２１６を検索する。ステップＳ９３３において、対応するシーンＩＤがあるか否かを判定する。シーンＩＤがなければステップＳ９３７に進む。シーンＩＤが見付かればステップＳ９３５に進んで、取得したシーンＩＤを用いて、付加情報ＤＢ２１８から付加情報を読み出して、送信候補として一時保存する。ステップＳ９３７においては、シーンＤＢ２１６を全て検索したかを判定し、まだであればステップＳ９３１に戻って、付加情報の検索を繰り返す。シーンＤＢ２１６を全て検索したならばリターンする。
《映像視聴用端末のハードウェア構成》
図１０は、本実施形態に係る映像視聴用端末２６１〜２６７のハードウェア構成を示すブロック図である。なお、図１０には、本実施形態の処理に関連する部分のみを示すので、各機器の用途にかかる部分は省略している。
図１０で、ＣＰＵ１０１０は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ１０２０は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部１０３０は、ネットワーク２５０を介して映像処理装置２１０や各種サーバと通信する。通信は無線でも有線でもよい。なお、テレビ放送用電波の受信については図示しない制御部で行なわれる。しかし、デジタル地上波となれば、共通の通信制御部１０３０による通信も可能である。
ＲＡＭ１０４０は、ＣＰＵ１０１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。１０４１は、入力される映像を記憶する映像バッファである。１０４２は、各フレームのフレームデータである。１０４３は、フレーム上の第１領域を設定する第１領域座標と、その特徴量である第１特徴量である。１０４４は、フレーム上の第２領域を設定する第２領域座標と、その特徴量である第２特徴量である。１０４５は、第１領域特徴量と第２領域特徴量との差分から量子符号化して出力される、各次元の本例では３値の領域特徴量差分符号値である。１０４６は、領域特徴量差分符号値１０４５を次元の数だけ組み合わせたフレーム特徴量である。１０４７は、映像処理装置２１０で検索されて送信された付加情報である。１０４８は、付加情報１０４７を再生中の映像に付加した表示用のデータである。
ストレージ１０５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータ又はプログラムが記憶されている。１０５１は、本実施形態で使用する全抽出領域対を記憶する抽出領域対ＤＢである。１０５２は、図５Ａ〜図５Ｃに示したフレーム特徴量抽出用アルゴリズムである。１０５３は、映像コンテンツを蓄積する映像蓄積ＤＢである。ストレージ１０５０には、以下のプログラムが格納される。１０５４は、全体の処理を実行させる映像処理プログラムである（図１１参照）。１０５５は、映像処理プログラム１０５４が有する、フレーム特徴量抽出モジュールである。１０５６は映像処理プログラム１０５４が有する、映像コンテンツのシーンに付加情報を合成するための、あるいは映像コンテンツのシーンに付加情報を同期させるための付加情報合成モジュールである。
入力インタフェース１０６０は、入力用の周辺機器とのインタフェースを行なう。入力インタフェース１０６０には、ＤＶＤドライブなどの映像入力部１０６２と、指示入力のためのキーボード１０６１とが接続される。出力インタフェース１０７０は、出力用の周辺機器とのインタフェースを行なう。出力インタフェース１０７０には、表示部１０７１が接続される。
なお、図１０には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
《映像視聴用端末の処理手順》
次に、図１０の構成を有する映像視聴用端末の処理手順を説明する。なお、本実施形態の要旨は付加情報に関する処理であるので、その他の処理については説明を省略する。
（付加情報処理手順）
図１１は、本実施形態に係る映像視聴用端末による付加情報処理手順を示すフローチャートである。このフローチャートは、図１０のＣＰＵ１０１０がＲＡＭ１０４０を使用して実行する。
まず、ステップＳ１１０１において、映像視聴用端末へ映像コンテンツを読み込む。ステップＳ１１０３において、映像コンテンツのフレームからフレーム特徴量を抽出する。ステップＳ１１０５において、ネットワーク２５０を介して抽出したフレーム特徴量を映像処理装置２１０に送信する。
映像処理装置２１０からの返信を待って、返信が付加情報の付加の許諾の問合せであるかを判定する。問合せでなければ付加情報は見付からなかったと判断して、ステップＳ１１１７において、付加情報無しの映像コンテンツ再生を継続する。問合せであればステップＳ１１０９に進んで、視聴者が付加情報の付加を指示したかを判断する。付加情報の付加の指示でなければ、ステップＳ１１１７において、付加情報無しの映像コンテンツ再生を継続する。付加情報の付加の指示があれば、ステップＳ１１１１において、映像処理装置２１０からの付加情報の受信を待つ。付加情報の受信があればステップＳ１１１３に進んで、リアルタイム処理の場合には、映像コンテンツの再生と付加情報の出力とのタイミングを制御する。そして、ステップＳ１１１５において、映像視聴用端末の表示部１０７１に、映像コンテンツと付加情報とを合成して再生する。
［第３実施形態］
第２実施形態においては、図６に示すように、付加情報を検索するように、フレーム特徴量ＤＢ２１４と、シーンＤＢ２１６と、付加情報ＤＢ２１８とを設けていた。しかしながら、シーン単位で付加情報を登録せずに、各フレーム単位で付加情報を登録しても、映像コンテンツに付加情報を付加することが可能である。本実施形態では、フレーム特徴量と付加情報とを関連付ける１つのＤＢを設けることにより第２実施形態と同様の付加情報の検索を行なう。本実施形態によれば、第２実施形態のように一旦シーンＩＤに変換することなしに、フレーム単位に付加情報を付加できるので、付加情報の検索処理の高速化や同期制御を簡単にできるようになる。
なお、本実施形態の第２実施形態との相違は、ＤＢの構造のみであり他の構成及び動作は同様であるので、同様な構成の説明は省略する。
《フレーム特徴量／付加情報ＤＢの構成》
図１２は、本実施形態に係る映像処理システムにおけるフレーム特徴量／付加情報ＤＢ１２００の構成を示す図である。かかるフレーム特徴量／付加情報ＤＢ１２００を、第２実施形態の３つのＤＢに置き換える。
フレーム特徴量／付加情報ＤＢ１２００は、フレーム特徴量／付加情報部であり、フレームＩＤ１２０１に対応付けられて、以下の情報が蓄積されている。１２０２は、フレームＩＤ１２０１で特定されるフレームのフレーム特徴量である。１２０３は、映像コンテンツのＩＤである。１２０４は、各フレームの付加されている付加情報である。図１２では、派生映像コンテンツである映像コンテンツＡ１の各フレームＩＤに対応して、付加情報として音声の１つ１つが登録されている。
かかる構成によるフレーム特徴量／付加情報ＤＢ１２００を使用すれば、各フレームの再生に付加情報を対応付けて付加することが容易である。
［第４実施形態］
第２及び第３実施形態においては、付加情報を付加するか否かの許諾、あるいは付加情報の選択を、フレーム特徴量の送信元の映像視聴用端末に問い合わせていた。しかしながら、映像視聴用端末においては録画などの処理を行ないながら、映像視聴用端末とは離れた場所で付加情報の検索結果や問合せを確認したい場合がある。本実施形態においては、付加情報の検索結果や問合せを、映像視聴用端末ではなく携帯端末などの別の機器に送信する。本実施形態によれば、付加情報の検索結果や問合せを映像視聴用端末から分離したので、視聴者が映像視聴用端末に縛られることなく映像コンテンツへの付加情報の付加処理が可能となる。
なお、本実施形態の第２実施形態との相違は、動作手順を示すシーケンスの一部であり他の構成及び動作は同様の変更により良いので、同様な構成の説明は省略する。
《映像処理システムの動作手順》
図１３は、本実施形態に係る映像処理システムの動作手順１３００を示すシーケンス図である。なお、図１３において、図３と同様のシーケンス処理には、同じ参照番号を付与している。図１３の図３との相違は、ステップＳ１３１７とＳ１３１９の処理である、他は同様であるのでその説明は図３の説明を援用する。
ステップＳ１３１７においては、付加情報の付加の許諾あるいは付加情報の選択の問合せを、携帯端末に送信する。ステップＳ１３１９においては、携帯端末からの付加情報の付加の要求がユーザの指示により、映像処理装置２１０に返信される。
［第５実施形態］
第２乃至第４実施形態では、映像処理装置がフレーム特徴量の照合と付加情報の検索とを実行していた。しかしながら、映像処理装置は視聴者の登録・管理などを行ない、フレーム特徴量の照合と付加情報の検索とを映像コンテンツを保持する映像コンテンツ提供サーバやテレビ局に任せることで負荷を分散できる。本実施形態においては、フレーム特徴量の照合と付加情報の検索とを映像コンテンツを保持する映像コンテンツ提供部分で行なう。本実施形態によれば、映像処理の負荷を分散できる。
なお、本実施形態は、第２実施形態の図２の機能構成部を配置する装置を変えただけで、映像処理システムの構成及び動作は同様なので、新たに追加された機能部分のみ説明し、同様の機能構成部については内部構成及び動作についての説明は省略する。
《映像処理システムの構成》
図１４は、本実施形態に係る映像処理システム１４００の構成を示すブロック図である。
図１４の映像処理装置１４１０は、映像視聴用端末から受信したフレーム特徴量を送信して付加情報を取得する、フレーム特徴量送信部／付加情報取得部１４１１を有する。フレーム特徴量の送信先及び付加情報の送信元は、映像コンテンツ提供サーバ１４２０、又はテレビ局１４３０である。
図１４のテレビ局は、図２では映像処理装置にあったフレーム特徴量受信部１４３１、フレーム特徴量照合部１４３２、シーン判別部１４３５、付加情報提供部１４３６、を有する。また、ＤＢ１４３４として、映像コンテンツを蓄積するコンテンツＤＢ、シーンＤＢ、付加情報ＤＢを有する。さらに、本実施形態では、フレーム特徴量を蓄積するフレーム特徴量ＤＢを持たないので、コンテンツＤＢから読出した映像コンテンツの各フレームからフレーム特徴量を抽出するフレーム特徴量抽出部１４３３も有する。なお、フレーム特徴量抽出部１４３３は、映像視聴用端末が有するフレーム特徴量抽出部と同様である。
図１４の映像コンテンツ提供サーバ１４２０は、基本的にＤＢ１４２４を持ったテレビ局１４３０と同様の構成を有している。ここで、フレーム特徴量／付加情報制御部１４２１は、テレビ局のフレーム特徴量を照合して付加情報を検索する各部をまとめたものである。
なお、第２実施形態と第５実施形態とは異なる、各装置への機能構成部の配置も可能であり、処理速度や記憶容量、あるいは通信の混雑などに悪影響がない限り、その配置に制限はない。
［第６実施形態］
第２乃至第５実施形態においては、付加情報に関するサービスの提供は映像処理装置の主導により実現され、視聴者の意向は付加情報の付加の許諾、あるいは付加情報の選択についても、映像処理装置からの問い合わせに対する受動的な応答であった。本実施形態では、視聴者が積極的に付加情報に関する映像処理装置の動作を設定可能となるユーザインタフェース（ＵＩ）を有する場合を示す。本実施形態によれば、ユーザの設定に従った付加情報に関するサービスの提供を受けることができる。なお、基本的な本実施形態の付加情報の検索は、第２乃至第５実施形態を利用できるので、ここでは説明は省略する。ここでは、本実施形態の追加機能を実現する構成を説明する。
《付加情報に関する視聴者の設定情報を表わすテーブル》
図１５は、本実施形態に係る映像処理システムにおける付加情報に関する視聴者の設定情報を表わすテーブル１５００を示す図である。かかる付加情報に関する視聴者の設定情報を表わすテーブルは、図２及び図１４の映像処理システムのいずれの装置内に配置されてもよい。しかし、付加情報を提供する機能を有する装置内に配置するのが望ましい。
図１５のテーブル１５００には、映像視聴用端末ＩＤ１５０１と視聴者ＩＤ１５０２とに対応付けて、視聴者が設定した問合せに関する情報１５０３が記憶される。１５０３は、問合せの宛先とその形式とを有する。また、映像視聴用端末ＩＤ１５０１と視聴者ＩＤ１５０２とに対応付けて、視聴者が設定した付加要求に関する情報１５０４が記憶される。１５０４は、付加要求の有無と付加情報の通知先とを有する。また、映像視聴用端末ＩＤ１５０１と視聴者ＩＤ１５０２とに対応付けて、視聴者が設定した付加形態に関する情報１５０５が記憶される。１５０５は、付加情報のメディアと付加情報の形式とを有する。また、映像視聴用端末ＩＤ１５０１と視聴者ＩＤ１５０２とに対応付けて、視聴者が設定した付加情報に関する情報に対応する、同じシーンを有する他の映像コンテンツの付加情報の有無１５０６が記憶される。また、映像視聴用端末ＩＤ１５０１と視聴者ＩＤ１５０２とに対応付けて、視聴者が設定した付加情報に関する情報に対応しないが、同じシーンを有する他の映像コンテンツの付加情報１５０７が記憶される。なお、設定内容は図１５に制限されない。
図１５の例では、次の２つの設定例が示されている。１５１０の例は、映像視聴用端末ＩＤが"０００１"、視聴者ＩＤが"ＡＡ"の視聴者による設定が登録されている。付加情報を付加するか、あるいは付加情報の選択は、その宛先が示すように映像視聴用端末に表示Ａの形式で表示される。たとえば、映像視聴用端末がテレビであればテレビ画面に表示Ａの形式で問合せが表示される。問合せに対する視聴者の回答が付加要求に設定されている。付加情報の付加が要求され、その付加先は映像視聴用端末、たとえば上記例ではテレビである。視聴者が求める付加形態は音声の付加情報であり、形式は問わない。その結果、音声による付加情報が他の映像コンテンツが有していたことが示されている。一方、１５２０の例は、映像視聴用端末ＩＤが"０００２"、視聴者ＩＤが"ＢＢ"の視聴者による設定が登録されている。付加情報を付加するか、あるいは付加情報の選択は、その宛先が示すように（ＩＤ１０１１の）他の端末に音声Ｂの形式で表示される。たとえば、映像視聴用端末がテレビであり、他の端末が携帯電話である場合、携帯電話から音声Ｂの形式で問合せが発声される。問合せに対する視聴者の回答が付加要求に設定されている。付加情報の付加が要求され、その付加先は映像視聴用端末、たとえば上記例ではテレビである。視聴者が求める付加形態は表示の付加情報であり、形式はＢ３である。その結果、形式Ｂ３の表示による付加情報を持つ他の映像コンテンツが無いことが示されている。
なお、図１５の例では、視聴者が特定の付加情報を指定して検索する例は示されていないが、かかる対応も図１５への簡単な変更により可能である。この場合には、視聴者が特定した付加情報を検索し、その有無と、無ければ他の付加情報について通知してもよい。また、ニコニコ動画の視聴者投稿コメントの挿入のように、任意のシーンのフレームに対して画面上の指定された位置に文字列を表示するような形態で付加情報を表示するような、特殊な端末制御があってもよい。
［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。なお、以上の実施形態では、一連の複数のフレームからなるシーンの照合について説明したが、フレーム特徴量によっては１フレームの照合から映像コンテンツを特定することも可能であり、かかる技術も本発明に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
この出願は、２０１１年３月２５日に出願された日本国特許出願 特願２０１１−０６７６４２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (18)

  1. 任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出手段と、
    前記フレーム特徴量抽出手段が抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出手段と、
    前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出手段と、
    前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合手段と、
    前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御手段と、
    を備える映像処理システム。
  2. 映像コンテンツから抽出したフレーム特徴量と、前記映像コンテンツのシーンに付加されている前記付加情報とを対応付けて蓄積する蓄積手段をさらに備え、
    前記映像コンテンツ抽出手段は、前記フレーム特徴量抽出手段が抽出した前記任意の映像コンテンツのフレーム特徴量と前記蓄積手段に蓄積された映像コンテンツのフレーム特徴量とを比較して、前記映像コンテンツ群のシーンを抽出し、
    前記付加情報抽出手段は、前記蓄積手段から前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている前記付加情報を抽出する、請求項１に記載の映像処理システム。
  3. 前記蓄積手段は、
    各映像コンテンツの各フレームに対応つけてフレーム特徴量を記憶するフレーム特徴量蓄積手段と、
    一連の複数のフレームを１つのシーンとして記憶するシーン蓄積手段と、
    各シーンに対応付けて前記付加情報を記憶する付加情報蓄積手段と、
    を含む請求項２に記載の映像処理システム。
  4. 前記蓄積手段は、
    映像コンテンツから抽出したフレーム特徴量に対応付けて、前記映像コンテンツに付加されている前記付加情報を識別する識別子を蓄積する付加情報蓄積手段と、
    前記識別子に対応付けて前記映像コンテンツのシーンに付加されている前記付加情報を保持する保持手段と、
    を有する請求項２に記載の映像処理システム。
  5. 前記付加情報抽出手段により抽出された、前記映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている前記付加情報を通知する付加情報通知手段を、さらに備える請求項１乃至４のいずれか１項に記載の映像処理システム。
  6. 前記任意の映像コンテンツを表示する表示手段を有する第１の機器と、
    前記付加情報通知手段または前記問合手段を有する前記第１の機器と異なる第２の機器と、
    をさらに備える請求項５に記載の映像処理システム。
  7. 前記付加情報抽出手段による前記付加情報の抽出及び前記付加情報通知手段による前記付加情報の通知の実行、又は、前記問合手段による問合せの実行と、前記通知の形式又は前記問合せの形式との指示をユーザより受け付けるユーザインタフェース手段をさらに備える請求項５または６に記載の映像処理システム。
  8. 前記フレーム特徴量抽出手段は、各フレーム上に異なるサイズで設定された複数の領域対の各領域対に対して算出された領域特徴量の差分を領域対の数だけ組み合せて、フレーム特徴量とする請求項１乃至７のいずれか１項に記載の映像処理システム。
  9. 前記領域特徴量は、輝度で表わされる請求項８に記載の映像処理システム。
  10. 前記付加情報は、映像、音声及び文字の少なくとも１つからなる情報を含む請求項１乃至９のいずれか１項に記載の映像処理システム。
  11. フレーム特徴量抽出手段が、任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
    映像コンテンツ抽出手段が、前記フレーム特徴量抽出ステップにおいて抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出ステップと、
    付加情報抽出手段が、前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出ステップと、
    問合手段が、前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合ステップと、
    付加制御手段が、前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御ステップと、
    を含む映像処理方法。
  12. 任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出手段と、
    前記フレーム特徴量抽出手段が抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出手段と、
    前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出手段と、
    前記付加情報抽出手段により抽出された、前記各映像コンテンツの前記シーンにそれぞれ付加されている前記付加情報を通知する付加情報通知手段と、
    前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合手段と、
    前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御手段と、
    を備える映像処理装置。
  13. 映像コンテンツから抽出したフレーム特徴量と、前記映像コンテンツのシーンに付加されている前記付加情報とを対応付けて蓄積する蓄積手段をさらに備え、
    前記映像コンテンツ抽出手段は、前記フレーム特徴量抽出手段が抽出した前記任意の映像コンテンツのフレーム特徴量と前記蓄積手段に蓄積された映像コンテンツのフレーム特徴量とを比較して、前記映像コンテンツ群のシーンを抽出し、
    前記付加情報抽出手段は、前記蓄積手段から前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている前記付加情報を抽出する、請求項１２に記載の映像処理装置。
  14. フレーム特徴量抽出手段が、任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
    映像コンテンツ抽出手段が、前記フレーム特徴量抽出ステップにおいて抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出ステップと、
    付加情報抽出手段が、前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出ステップと、
    付加情報通知手段が、前記付加情報抽出ステップにおいて抽出された、前記映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれに付加されている前記付加情報を通知する付加情報通知ステップと、
    問合手段が、前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合ステップと、
    付加制御手段が、前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御ステップと、
    を含む映像処理装置の制御方法。
  15. 任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
    前記フレーム特徴量抽出ステップにおいて抽出した前記任意の映像コンテンツのフレーム特徴量と他の映像コンテンツのフレーム特徴量とを比較して、前記任意の映像コンテンツにある一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群を抽出する映像コンテンツ抽出ステップと、
    前記抽出した映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を抽出する付加情報抽出ステップと、
    前記付加情報抽出ステップにおいて抽出された、前記映像コンテンツ群に含まれる各映像コンテンツの前記シーンにそれぞれに付加されている前記付加情報を通知する付加情報通知ステップと、
    前記付加情報を付加するか否かの指示と、前記付加情報が複数ある場合に付加すべき前記付加情報の選択とを問い合わせる問合ステップと、
    前記指示と前記選択との応答に対応して、前記任意の映像コンテンツに対する前記付加情報の付加を制御する付加制御ステップと、
    をコンピュータに実行させる映像処理装置の制御プログラム。
  16. 任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出手段と、
    前記フレーム特徴量抽出手段が抽出したフレーム特徴量を送信するフレーム特徴量送信手段と、
    前記フレーム特徴量の送信先から返信された、前記任意の映像コンテンツの一連の複数のフレームからなるシーンのフレーム特徴量に基づいて抽出した前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群に含まれる各映像コンテンツの、前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を受信する付加情報受信手段と、
    前記任意の映像コンテンツに前記付加情報を付加して再生する映像コンテンツ再生手段と、
    を備える映像処理装置。
  17. フレーム特徴量抽出手段が、任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
    フレーム特徴量送信手段が、前記フレーム特徴量抽出ステップにおいて抽出したフレーム特徴量を送信するフレーム特徴量送信ステップと、
    付加情報受信手段が、前記フレーム特徴量の送信先から返信された、前記任意の映像コンテンツの一連の複数のフレームからなるシーンのフレーム特徴量に基づいて抽出した前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群に含まれる各映像コンテンツの、前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を受信する付加情報受信ステップと、
    映像コンテンツ再生手段が、前記任意の映像コンテンツに前記付加情報を付加して再生する映像コンテンツ再生ステップと、
    を含む映像処理装置の制御方法。
  18. 任意の映像コンテンツに含まれるフレームが有するフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
    前記フレーム特徴量抽出ステップにおいて抽出したフレーム特徴量を送信するフレーム特徴量送信ステップと、
    前記フレーム特徴量の送信先から返信された、前記任意の映像コンテンツの一連の複数のフレームからなるシーンのフレーム特徴量に基づいて抽出した前記任意の映像コンテンツに有る一連の複数のフレームからなるシーンを持つ映像コンテンツ群であって、前記シーンに改変が加えられていない元映像コンテンツと前記シーンに改変が加えられている派生映像コンテンツとを含む映像コンテンツ群に含まれる各映像コンテンツの、前記シーンにそれぞれ付加されている、音声情報および表示情報の少なくともいずれかを含む付加情報を受信する付加情報受信ステップと、
    前記任意の映像コンテンツに前記付加情報を付加して再生する映像コンテンツ再生ステップと、
    をコンピュータに実行させる映像処理装置の制御プログラム。
JP2013507221A 2011-03-25 2012-01-30 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム Active JP5569830B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013507221A JP5569830B2 (ja) 2011-03-25 2012-01-30 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011067642 2011-03-25
JP2011067642 2011-03-25
PCT/JP2012/051924 WO2012132530A1 (ja) 2011-03-25 2012-01-30 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラムを格納した記憶媒体
JP2013507221A JP5569830B2 (ja) 2011-03-25 2012-01-30 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2012132530A1 JPWO2012132530A1 (ja) 2014-07-24
JP5569830B2 true JP5569830B2 (ja) 2014-08-13

Family

ID=46930297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507221A Active JP5569830B2 (ja) 2011-03-25 2012-01-30 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム

Country Status (4)

Country Link
US (1) US20140010521A1 (ja)
EP (1) EP2696578A4 (ja)
JP (1) JP5569830B2 (ja)
WO (1) WO2012132530A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5633647B2 (ja) * 2011-06-13 2014-12-03 日本電気株式会社 映像処理システム、映像処理方法、映像処理用データベースの作成方法とそのデータベース、映像処理装置およびその制御方法と制御プログラム
KR20170116089A (ko) * 2015-02-09 2017-10-18 노키아 테크놀로지스 오와이 이미지 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060568B (zh) * 2016-06-28 2018-12-18 电子科技大学 一种视频篡改检测及定位方法
CN115883818B (zh) * 2022-11-29 2023-09-19 北京优酷科技有限公司 视频帧数自动统计方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242795A (ja) * 1999-02-25 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体
JP2007279813A (ja) * 2006-04-03 2007-10-25 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2008282316A (ja) * 2007-05-14 2008-11-20 Yahoo Japan Corp 動画像比較装置、動画像比較方法、及び動画像比較プログラム
WO2010084714A1 (ja) * 2009-01-23 2010-07-29 日本電気株式会社 画像識別子抽出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4691001A (en) * 2000-04-14 2001-10-30 Nippon Telegraph & Telephone Method, system, and apparatus for acquiring information concerning broadcast information
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US20070124282A1 (en) * 2004-11-25 2007-05-31 Erland Wittkotter Video data directory
JP5022025B2 (ja) 2006-12-27 2012-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。
JP5127318B2 (ja) * 2007-06-25 2013-01-23 株式会社東芝 再生装置、記録再生装置、記録再生システム、およびタイトル情報管理方法
US8364020B2 (en) * 2007-09-28 2013-01-29 Motorola Mobility Llc Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording
KR100993601B1 (ko) * 2008-09-16 2010-11-10 (주)위디랩 디지털 동영상 컨텐츠의 유사도 측정 방법, 이를 이용한 동영상 컨텐츠의 관리 방법 및 상기 관리 방법을 이용한 동영상 컨텐츠의 관리 시스템
US8587808B2 (en) * 2009-12-17 2013-11-19 Ricoh Company, Ltd Methods and apparatus to provide availability for networked scanning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000242795A (ja) * 1999-02-25 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体
JP2007279813A (ja) * 2006-04-03 2007-10-25 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2008282316A (ja) * 2007-05-14 2008-11-20 Yahoo Japan Corp 動画像比較装置、動画像比較方法、及び動画像比較プログラム
WO2010084714A1 (ja) * 2009-01-23 2010-07-29 日本電気株式会社 画像識別子抽出装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CSND201000398014; 勝田有一朗: '「映像識別技術」' Ｉ／Ｏ Ｖｏｌ．３５，　Ｎｏ．７（２０１０年７月号）, 20100701, 第９７〜９９頁, 株式会社工学社 *
CSNG200100329002; 片岡良治（外１名）: '「ＭＰＥＧ符号化情報に基づく類似シーン検出方式」' 情報処理学会論文誌 Ｖｏｌ．４１，　Ｎｏ．ＳＩＧ　３（ＴＯＤ　６）, 20000515, 第３７〜４５頁, 社団法人情報処理学会 *
CSNG200401136032; 戸田浩之（外４名）: '「コンテンツの意味的な内容と低レベルの特徴量を統合管理可能なコンテンツガイドシステムの一方式」' データベースとＷｅｂ情報システムに関するシンポジウム論文集（情報処理学会シンポジウムシリーズ　Ｖｏｌ．２００ , 20021203, 第３５１〜３５８頁, 社団法人情報処理学会 *
JPN6013058189; 片岡良治（外１名）: '「ＭＰＥＧ符号化情報に基づく類似シーン検出方式」' 情報処理学会論文誌 Ｖｏｌ．４１，　Ｎｏ．ＳＩＧ　３（ＴＯＤ　６）, 20000515, 第３７〜４５頁, 社団法人情報処理学会 *
JPN6013058191; 戸田浩之（外４名）: '「コンテンツの意味的な内容と低レベルの特徴量を統合管理可能なコンテンツガイドシステムの一方式」' データベースとＷｅｂ情報システムに関するシンポジウム論文集（情報処理学会シンポジウムシリーズ　Ｖｏｌ．２００ , 20021203, 第３５１〜３５８頁, 社団法人情報処理学会 *
JPN6013058192; 勝田有一朗: '「映像識別技術」' Ｉ／Ｏ Ｖｏｌ．３５，　Ｎｏ．７（２０１０年７月号）, 20100701, 第９７〜９９頁, 株式会社工学社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5633647B2 (ja) * 2011-06-13 2014-12-03 日本電気株式会社 映像処理システム、映像処理方法、映像処理用データベースの作成方法とそのデータベース、映像処理装置およびその制御方法と制御プログラム
KR20170116089A (ko) * 2015-02-09 2017-10-18 노키아 테크놀로지스 오와이 이미지 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
KR101949071B1 (ko) * 2015-02-09 2019-02-15 노키아 테크놀로지스 오와이 이미지 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US10291561B2 (en) 2015-02-09 2019-05-14 Nokia Technologies Oy Apparatus, a method and a computer program for image coding and decoding

Also Published As

Publication number Publication date
JPWO2012132530A1 (ja) 2014-07-24
EP2696578A4 (en) 2014-08-20
US20140010521A1 (en) 2014-01-09
WO2012132530A1 (ja) 2012-10-04
EP2696578A1 (en) 2014-02-12

Similar Documents

Publication Publication Date Title
CN103686344B (zh) 增强视频系统及方法
JP5144838B1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2011126134A1 (ja) リアルタイム動画像収集・認識・分類・処理・配信サーバシステム
CN106713964A (zh) 一种生成视频摘要视点图的方法及装置
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
CN105872717A (zh) 视频处理方法及系统、视频播放器与云服务器
WO2003088665A1 (fr) Dispositif d&#39;edition de metadonnees, dispositif de reproduction de metadonnees, dispositif de distribution de metadonnees, dispositif de recherche de metadonnees, dispositif d&#39;etablissement de conditions de reproduction de metadonnees, et procede de distribution de metadonnees
WO2007029917A1 (en) Method and apparatus for encoding multimedia contents and method and system for applying encoded multimedia contents
CN104881451A (zh) 图片搜索方法及装置
US20170132267A1 (en) Pushing system and method based on natural information recognition, and a client end
JP2012129724A (ja) 映像配信装置及び映像配信方法
CN102413359A (zh) 提供媒体内容相关信息的方法及执行该方法的设备和服务器
KR20180030565A (ko) 공통적인 미디어 세그먼트의 검출
CN105518666A (zh) 信息处理装置和信息处理方法
JP5569830B2 (ja) 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム
CN108958592B (zh) 视频处理方法及相关产品
KR100946694B1 (ko) 영상 정보 기반의 동영상 파일 중복 검사와 관리를 위한시스템 및 방법
CN103200441A (zh) 一种电视频道信息的获取方法、确认方法及装置
CN108718424A (zh) 基于移动终端的二维码信息共享方法
JP5880558B2 (ja) 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
CN106713973A (zh) 搜索节目的方法及装置
KR102069897B1 (ko) 사용자 영상 생성 방법 및 이를 위한 장치
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
CN102073668A (zh) 从数字视频文件搜索和提取数字图像

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140612

R150 Certificate of patent or registration of utility model

Ref document number: 5569830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150