JP5847683B2 - データストリームにおいてビデオデータ及び関連するメタデータを送信する方法、ビデオ符号化装置、及びパーソナルビデオレコーダ - Google Patents

データストリームにおいてビデオデータ及び関連するメタデータを送信する方法、ビデオ符号化装置、及びパーソナルビデオレコーダ Download PDF

Info

Publication number
JP5847683B2
JP5847683B2 JP2012225529A JP2012225529A JP5847683B2 JP 5847683 B2 JP5847683 B2 JP 5847683B2 JP 2012225529 A JP2012225529 A JP 2012225529A JP 2012225529 A JP2012225529 A JP 2012225529A JP 5847683 B2 JP5847683 B2 JP 5847683B2
Authority
JP
Japan
Prior art keywords
video data
video
node
information
chunk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012225529A
Other languages
English (en)
Other versions
JP2013051707A (ja
Inventor
シュヴァリエ ルイ
シュヴァリエ ルイ
オワゼル リオネル
オワゼル リオネル
ル・クレール フランソワ
ル・クレール フランソワ
ルフェヴル フレデリック
ルフェヴル フレデリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38255883&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5847683(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013051707A publication Critical patent/JP2013051707A/ja
Application granted granted Critical
Publication of JP5847683B2 publication Critical patent/JP5847683B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。
本発明はまた、データストリームにおけるビデオデータとビデオデータ構造に係るフィンガープリント情報を表す関連するメタデータとを送信する方法に関する。
ビデオビットストリームに埋め込まれるビデオアノテーション情報は、潜在的にはかなり多くの用途に役立つかもしれない。
・インターネットビデオ検索
・編集マテリアル検索
・記憶媒体のインデックス化及び抽出
・VODにおけるビデオブラウジング、チャネル選択、PVRなど
・ビデオコピー検出
・検索結果クラスタリング
これらの用途は、
・ビデオドキュメントへのテキストアノテーションの要求
・視覚的類似性検索のための視覚的特徴の要求
・ビデオナビゲーションのためのビデオ構造情報の要求
の3つのカテゴリに結論付けることが可能である。
圧縮されたビデオストリームにおいてより多くの機能をサポートする要求が大きくなるに従って、ITU−T H.264規格とも呼ばれるH.264/AVCは、主として復号化に関連する処理に役立ちうるSEI(Supplemental Enhancement Information)メッセージを採用した。現在、上記規格は、各種アプリケーションをサポートするため約20タイプのSEIシンタックスを規定している。
本発明は、ビデオ構造及びフィンガープリントの機能的サポートによるビデオ符号化のフレームワークを提案する。
第1の態様によると、本発明は、ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの少なくとも1つのフレームに係るフィンガープリントを決定するステップと、前記フィンガープリント情報を有するメッセージを前記ビデオストリームに少なくとも挿入するステップとを有する。
好適な実施例によると、前記ビデオデータは、ITU−T H.264規格に準拠し、前記フィンガープリント情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される。
好適な実施例によると、前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、各チャンクは、複数のノードと複数のリーフとを有する。
好適な実施例によると、前記ビデオデータは、符号化され、前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、前記チャンクは、該チャンクにおいて構成されるノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する。
好適な実施例によると、前記ビデオデータは、ITU−T H.264規格に準拠する符号化されたメタデータであり、前記メタデータは、少なくともSEI(Supplemental Enhancement Information)メッセージにおいて送信される。
好適な実施例によると、前記記述に構成される情報は、ノード識別子、前記ノードが前記情報に記述されているか示す表示、並びに、前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を表すタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述から又は前記情報の何れかの組み合わせから選ばれる。
第2の態様によると、本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの構造を決定するステップと、前記構造をインクリメンタルな方法によりチャンクに分割するステップと、関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップとを有する。
第3の態様によると、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。
第4の態様によると、本発明はまた、ビデオデータの少なくとも1つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。
好適な実施例によると、第4の態様によるビデオ符号化装置は、ITU−T H.264規格に準拠し、前記構造情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される。
好適な実施例によると、当該ビデオ符号化装置は、ITU−T H.264規格に準拠し、前記フィンガープリント情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される。
第5の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。
第6の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。
本発明の他の特徴及び効果は、付属の図面を用いて説明される本発明の非限定的な実施例の説明を介して明らかになるであろう。
図1は、本発明の好適な実施例によるビデオの構造情報を表す。 図2は、本発明の好適な実施例によるビデオのインクリメンタルな分解を表す。
ビデオ構造の説明は、任意のオーディオビジュアルドキュメントのセマティックな構成の説明からなる。本説明は、ドキュメントのトップダウンな分解を提供する階層構造である。
この情報は、ドキュメントのショートサマリを表示するため、又はドキュメントを迅速にナビゲートするため、使用されてもよい。
ビデオ構造は、階層的構成を記述する。ドキュメントのタイプに従って、ドキュメントの構造を取得するのに使用される方法は異なるかもしれない。ビデオがテニスゲームを表す場合、その構造はフットボールのゲームとは異なっており、ビデオがフィルムを表している場合もまた異なっている。ビデオの構造を取得する既知の方法が複数存在する。
図1は、ビデオの取得された構造を表す。この構造は、ノードとリーフとを有するツリーにより表されるビデオの階層的分解として表される。ノードとリーフの個数は、ビデオコンテンツとそれの長さに依存する。ツリーの深さは、典型的には、コンテンツに依存する。ツリーの最も低いレベルは、構造分解の最も高い粒度に対応する。例えば、テニスの試合では、最も低いレベルはポイントに対応しうる。
図1に示されるように、ツリーの最低レベルは、クリップ(小さなビデオ)又はキーフレームに直接対応しうる。より低い粒度によると、最低レベルはテニスに関してはゲームに対応しうると仮定できる。
放送の分野では、デコーダはストリームの任意のポイントにおいてストリームの受信を開始するかもしれない。デコーダがこの構造情報を利用するため、ツリー記述全体がストリームにおいて繰り返される必要がある。この手法による問題は、これは冗長さを表し、過大な帯域幅を使用する可能性があるということである。
このため、本発明は、図2に示されるように、構造情報をチャンクに分割することを提案する。
提案されたシンタックスは、ストリームが流れるときにインクリメンタルな方法によりグラフを送信することを可能にする。
そのアイデアは、連続する時点において送信される複数のチャンクを用いてツリー記述を分割するというものである。
すべてのチャンクは、ビデオコンテンツの対応部分の前に送信されることが想定される。
図2では、ツリーは3つのチャンクに分割される。ノード識別子は、デコーダのメモリにおいてツリー全体を再構成することを可能にする。
時点t1において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク1において示される。
時点t2において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク2において示される。
時点t3において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク3において示される。
ITU−T H.264に従ってデータが符号化されるとき、構造情報はSEI(Supplemental Enhancement Information)にカプセル化される。
SEIメッセージの構造は、以下のテーブルに与えられる。
Figure 0005847683
「Reference」フィールドは、所与のノードが現在のメッセージに記述されているか、又は以降のメッセージに記述されているかを示す。
本発明の他の実施例によると、すべてのチャンクはまた、放送されるビデオの始めに送信可能である。これは、全体構造がデコーダにおいて放送されたビデオの始めに利用可能になることを可能にする。
好適な実施例では、各チャンクは、SEIメッセージが適用されるビデオを有するNALの前にSEIメッセージにおいて1度送信される。
各SEIメッセージは、スタート情報及びエンド情報として参照されるビデオ情報の絶対値を示すタイムコードを有する。ドキュメントへのナビゲートの際にユーザにとって意味のあるものとなるように、各セグメントは名前により表され、各セグメントはまた、SHOT、SCENE、EVENT、NEWS_STORYなどの具体的な識別子により識別可能である。これは、セグメントの粒度を与える。各セグメントはまた、ビデオのコンテンツとGOAL、MATCH、GAME、SETなどを表すセマンティック情報を用いて識別できる。この最後のメタデータは、ビデオインデックス化アプリケーションのための情報を与える。
「Key Description」のフィールドはまた、当該セグメントが各年代に知られた重要人物からの極めて重要な宣言などを含むセグメントのキーフレーム、ビデオクリップ又はテキスト記述である場合、セグメントの粒度を示す。
SEIメッセージのシンタックスは、ツリー構造が再帰的であるとき、再帰的なものとなる。
チャンクへの埋め込みコンポーネントの個数Nがまた与えられる。
このため、順次にチャンクを受信すると、各チャンクはその他のチャンクから独立していないが、テーブル1に記載されるシンタックスとノード識別子により完全にリンクされているため、ビデオデータの全体構造を再構成することができる。
ここで、ビデオと共にフィンガープリント情報を送信する方法を提案する本発明の第2の態様について説明する。
ビデオフィンガープリント処理は、2つのビデオドキュメントがおそらく同一のコンテンツ又はコンテンツの一部を含むことを検出可能にする技術である。それは、(意図的に又はそうでなく)変更されたコンテンツを処理することが可能である。これらの変更は、
・クロッピング(cropping)
・圧縮
・回転
・画像変更(blur..)
を含む。
ビデオフィンガープリント処理の周知な応用は、ドキュメントの不正コピーの検出である。しかしながら、ビデオフィンガープリント処理は2つの類似するドキュメントを識別する信頼できる方法を提供するため、それは、ビデオコレクションへの重複の検出又は編集されたドキュメント全体におけるクリップの抽出を含む他の多数のアプリケーションを有する。
これらのアプリケーションは、典型的には、“コンテンツによるクエリ(query by content)”をサポートする純粋に視覚的な類似性に基づくアプリケーションとは異なる。それらは、ほとんど正確に一致した2つのコピーを抽出することを目的としている。
フィンガープリント処理技術は、特定の検索アプリケーションにより効率的に処理可能なコンテンツからの記述情報の抽出に依拠する。この記述情報は、ビデオコンテンツを伸張及び解析する必要なく検索するのに即座に利用可能となるように、メタデータに格納可能である。
好適な実施例によると、ビデオデータは、ITU−T H.264規格に従って符号化される。フィンガープリント情報は、次のテーブルに規定されるようなSEIメッセージにカプセル化される。
Figure 0005847683
フィンガープリントSEIメッセージは、ストリームの任意の位置に出現しうる。このようなメッセージは任意数存在しうるものであり、フレーム毎に高々1つである。典型的には、ショット毎に1つのフィンガープリントメッセージが存在する。
フィンガープリントメッセージは、関連付けされ、テーブル2においてリファレンスフレームと呼ばれる正確なフレームを指定する(そこから抽出された)。これは、時間的な制約を考慮するのに必要なフィンガープリントチェック機構により要求される。
タイムコードは、埋め込みドキュメントについて時、分、秒、フレーム番号により記述される。3バイトと1ニブル、b(8),b(8),b(8),n(4)により表される。
ドキュメントが編集されている場合、このメタデータは再生成される必要があるであろう。
「フィンガープリントアルゴリズムインデックス(Fingerprint Algorithm Index)」は、このフレームを記述するのに用いられるビデオフィンガープリントアルゴリズムのインデックスである。いくつかの異なるビデオフィンガープリントアルゴリズムが、フレーム、ショットを記述するのに利用可能である。
2つのビデオフィンガープリントが異なる2つのアルゴリズムにより抽出された場合、直接的なフィンガープリントの比較は不可能である。
シンタックスの定義の内部では、u(n)はnビットを使用した符号のない整数を表し、b(8)は何れかのビット文字列のパターンを有するバイト(8ビット)を表し、payloadSizeは、video_annotation_SEIペイロード全体のバイトによるサイズである。ここでは、迅速なビットストリームパーシングを促進するため、可変長符号化は使用されない。
フィンガープリントとビデオ構造の双方の情報は、他のビデオアノテーション情報を有するハイレベルなSEIメッセージに組み合わせ可能である。
例えば、次のテーブルは、ビデオアノテーションに関する複数タイプのメタデータを有するSEIメッセージ構造を提案することができる。
Figure 0005847683
本発明の範囲から逸脱することなく、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。
好ましくは、このビデオ符号化装置は、ITU−T H.264規格に準拠し、前記構造情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される。
本発明はまた、ビデオデータの少なくとも1つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。
好ましくは、このビデオ符号化装置は、ITU−T H.264規格に準拠し、前記フィンガープリント情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される。
本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。
本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法であって、
前記ビデオデータの少なくとも1つのフレームに係るフィンガープリントを決定するステップと、
前記フィンガープリント情報を有するメッセージを前記ビデオストリームに少なくとも挿入するステップと、
を有する方法。
(付記2)
前記ビデオデータは、ITU−T H.264規格に準拠し、
前記フィンガープリント情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される、付記1記載の方法。
(付記3)
データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法であって、
前記ビデオデータの構造を決定するステップと、
前記構造をインクリメンタルな方法によりチャンクに分割するステップと、
関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップと、
を有する方法。
(付記4)
前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、
各チャンクは、複数のノードと複数のリーフとを有する、付記3記載の方法。
(付記5)
前記ビデオデータは、符号化され、
前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、
前記チャンクは、該チャンクにおいて構成されるノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する、付記4記載の方法。
(付記6)
前記ビデオデータは、ITU−T H.264規格に準拠する符号化されたメタデータであり、
前記メタデータは、少なくともSEI(Supplemental Enhancement Information)メッセージにおいて送信される、付記3記載の方法。
(付記7)
前記記述に構成される情報は、ノード識別子、前記ノードが前記情報に記述されているか示す表示、並びに、前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を表すタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述から又は前記情報の何れかの組み合わせから選ばれる、付記5記載の方法。
(付記8)
ビデオデータの構造を決定する手段と、
前記構造をインクリメンタルな方法によりチャンクに分割する手段と、
関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段と、
を有するビデオ符号化装置。
(付記9)
ビデオデータの少なくとも1つのフレームに係るフィンガープリントを決定する手段と、
前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段と、
を有するビデオ符号化装置。
(付記10)
当該ビデオ符号化装置は、ITU−T H.264規格に準拠し、
前記構造情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される、付記8記載のビデオ符号化装置。
(付記11)
当該ビデオ符号化装置は、ITU−T H.264規格に準拠し、
前記フィンガープリント情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される、付記9記載のビデオ符号化装置。
(付記12)
符号化されたビデオ情報を復号化する手段と、
前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、
無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段と、
を有するパーソナルビデオレコーダ。
(付記13)
符号化されたビデオ情報を復号化する手段と、
前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、
受信した符号化されたビデオデータを格納する手段と、
複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段と、
を有するパーソナルビデオレコーダ。
SEI Supplemental Enhancement Information

Claims (8)

  1. ビデオデータと関連するビデオデータコンテンツ構造を表す関連するメタデータとを送信する方法であって、
    前記ビデオデータの関連するビデオデータコンテンツ構造を表す前記メタデータを決定するステップと、
    前記メタデータを階層的分解により、各ノードが複数のリーフを有する複数のノードを有するツリーとして表現するステップと、
    前記ノードの識別子に対して再帰的に前記ツリーをたどることによって、前記ツリーをチャンクに分割するステップと、
    前記チャンク及び前記ビデオデータを同じデータストリームにおいて送信するために、前記チャンクの夫々を、当該チャンクに関連する前記ビデオデータの部分より前に挿入するステップと、
    を有する方法。
  2. 各チャンクは、複数のノードと複数のリーフとを有する、請求項1記載の方法。
  3. 前記ビデオデータは、符号化され、
    前記チャンクは、メッセージにカプセル化され、
    前記各チャンクは、該チャンクにおいて構成される前記ノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する、請求項2記載の方法。
  4. 前記ビデオデータは、ITU−T H.264規格に準拠し、
    前記メタデータは、少なくともSEI(Supplemental Enhancement Information)メッセージにおいて送信される、請求項1記載の方法。
  5. 前記記述に構成される情報は、
    ノード識別子、
    前記ノード識別子を有するノードが前記情報に記述されているか示す表示、並びに、
    前記ノード識別子を有するノードが前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオデータを表す名前、前記ノードが関連付けされる前記ビデオデータの時間を与えるタイムコード、いくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ、及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述、
    の1つ又は組み合わせから選ばれる、請求項3記載の方法。
  6. ビデオデータのコンテンツの構造を決定する手段と、
    前記構造を階層的分解によって、各ノードが複数のリーフを有する複数のノードを有するツリーとして表現する手段と、
    前記ノードの識別子に対して再帰的に前記ツリーをたどることによって、前記ツリーをチャンクに分割する手段と、
    前記チャンク及び前記ビデオデータを同じデータストリームにおいて送信するために、前記チャンクの夫々を、当該チャンクに関連する前記ビデオデータの部分よりに挿入する手段と、
    を有するビデオ符号化装置。
  7. 当該ビデオ符号化装置は、ITU−T H.264規格に準拠し、
    前記構造の情報は、SEI(Supplemental Enhancement Information)メッセージにカプセル化される、請求項6記載のビデオ符号化装置。
  8. 符号化されたビデオデータを復号化する手段と、
    関連する前記ビデオデータの前において送信されたチャンクの形式による前記符号化されたビデオデータに挿入された関連するビデオデータコンテンツ構造を、各ノードが複数のリーフを有する複数のノードを有するツリーとして表すメタデータを、前記ノードの識別子に対して再帰的に前記ツリーをたどることによって復号化する手段と、
    無線受信された関連するビデオデータコンテンツ構造を表すメタデータにより前記ビデオデータコンテンツ構造を再構成する手段と、
    を有するパーソナルビデオレコーダ。
JP2012225529A 2007-04-17 2012-10-10 データストリームにおいてビデオデータ及び関連するメタデータを送信する方法、ビデオ符号化装置、及びパーソナルビデオレコーダ Expired - Fee Related JP5847683B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07290475.8 2007-04-17
EP07290475A EP1983755A1 (en) 2007-04-17 2007-04-17 Method to transmit video data in a data stream and associated metadata

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010503467A Division JP2010525642A (ja) 2007-04-17 2008-04-10 データストリームにおけるビデオデータ及び関連するメタデータを送信する方法

Publications (2)

Publication Number Publication Date
JP2013051707A JP2013051707A (ja) 2013-03-14
JP5847683B2 true JP5847683B2 (ja) 2016-01-27

Family

ID=38255883

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010503467A Pending JP2010525642A (ja) 2007-04-17 2008-04-10 データストリームにおけるビデオデータ及び関連するメタデータを送信する方法
JP2012225529A Expired - Fee Related JP5847683B2 (ja) 2007-04-17 2012-10-10 データストリームにおいてビデオデータ及び関連するメタデータを送信する方法、ビデオ符号化装置、及びパーソナルビデオレコーダ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010503467A Pending JP2010525642A (ja) 2007-04-17 2008-04-10 データストリームにおけるビデオデータ及び関連するメタデータを送信する方法

Country Status (6)

Country Link
US (1) US9838757B2 (ja)
EP (3) EP1983755A1 (ja)
JP (2) JP2010525642A (ja)
KR (1) KR101489523B1 (ja)
CN (1) CN101658034B (ja)
WO (1) WO2008125601A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1983755A1 (en) 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata
EP2257067A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
JP2012231291A (ja) * 2011-04-26 2012-11-22 Toshiba Corp 動画編集装置、動画編集方法およびプログラム
CN102750339B (zh) * 2012-06-05 2014-04-16 北京交通大学 一种基于视频重构的重复片段定位方法
US8719884B2 (en) 2012-06-05 2014-05-06 Microsoft Corporation Video identification and search
CN103929653B (zh) * 2014-04-30 2018-01-09 成都理想境界科技有限公司 增强现实视频生成器、播放器及其生成方法、播放方法
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
EP4192018A1 (en) * 2021-12-03 2023-06-07 Axis AB Method and device for signing an encoded video sequence

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US7177520B2 (en) * 2000-09-15 2007-02-13 Ibm Corporation System and method of timecode repair and synchronization in MPEG streams
US20070192863A1 (en) * 2005-07-01 2007-08-16 Harsh Kapoor Systems and methods for processing data flows
US20020165947A1 (en) 2000-09-25 2002-11-07 Crossbeam Systems, Inc. Network application apparatus
US20030056010A1 (en) * 2001-09-20 2003-03-20 Koninklijke Philips Electronics N.V. Downstream metadata altering
US7826709B2 (en) * 2002-04-12 2010-11-02 Mitsubishi Denki Kabushiki Kaisha Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
JP2006505024A (ja) * 2002-04-29 2006-02-09 ソニー エレクトロニクス インク データ処理方法及び装置
JP2004180258A (ja) 2002-10-04 2004-06-24 Victor Co Of Japan Ltd 構造化データの送信装置
KR100568234B1 (ko) 2003-12-13 2006-04-07 삼성전자주식회사 마크업 랭귀지 기반의 데이터 관리 방법과 그 장치 및기록매체
US20050216472A1 (en) * 2004-03-29 2005-09-29 David Leon Efficient multicast/broadcast distribution of formatted data
CN101027862B (zh) 2004-10-29 2011-06-08 美国博通公司 对通信流量分级的多信道通信
KR20070117598A (ko) * 2005-02-18 2007-12-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오/비디오 스트림에서의 보조데이터 다중화방법
CA2601792C (en) * 2005-03-30 2016-02-09 United Video Properties, Inc. Systems and methods for video-rich navigation
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
EP1983755A1 (en) 2007-04-17 2008-10-22 Thomson Licensing Method to transmit video data in a data stream and associated metadata

Also Published As

Publication number Publication date
WO2008125601A1 (en) 2008-10-23
JP2013051707A (ja) 2013-03-14
EP2741498A1 (en) 2014-06-11
EP1983755A1 (en) 2008-10-22
US20100118191A1 (en) 2010-05-13
JP2010525642A (ja) 2010-07-22
KR20100015666A (ko) 2010-02-12
EP2137971A1 (en) 2009-12-30
KR101489523B1 (ko) 2015-02-03
CN101658034A (zh) 2010-02-24
CN101658034B (zh) 2014-01-29
US9838757B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
JP5847683B2 (ja) データストリームにおいてビデオデータ及び関連するメタデータを送信する方法、ビデオ符号化装置、及びパーソナルビデオレコーダ
US9514503B2 (en) Methods and apparatus to generate and use content-aware watermarks
JP4443130B2 (ja) デジタル画像復号システムおよび方法
US8689337B2 (en) Systems and methods of fingerprinting and identifying video objects
CN101647288B (zh) 生成数据流并识别在数据流内的位置
CN101919244B (zh) 用于播放部分可用多媒体内容的系统和方法
TWI385537B (zh) 標示語言文件存取的輔助方法及裝置
Na et al. Frame-based recovery of corrupted video files using video codec specifications
JP2005534051A (ja) 信号エンコーダのタイプ決定
KR20120090101A (ko) 디지털 비디오 고속 정합 시스템
Yang et al. A security carving approach for AVI video based on frame size and index
Casey et al. Design tradeoffs for developing fragmented video carving tools
Alghafli et al. Identification and recovery of video fragments for forensics file carving
US8787613B2 (en) Forensic mark insertion apparatus and method
KR100500196B1 (ko) 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법
Luck et al. An integrated approach to recovering deleted files from NAND flash data
KR101568680B1 (ko) 데이터 파편 분류를 이용한 데이터 복원 방법
van der Meer et al. JPEG File Fragmentation Point Detection using Huffman Code and Quantization Array Validation
KR20120072119A (ko) 대용량 포렌식 이미지의 정보 추출 장치
KR100919291B1 (ko) 멀티미디어 데이터 생성/재생 장치 및 방법과 그 기록매체
JP4360428B2 (ja) 記録装置、記録方法、コンピュータプログラムおよび記録媒体
WO2009126164A1 (en) Methods and apparatus to generate and use content- related watermarks
De Bruyne et al. Enhanced shot-based video adaptation using MPEG-21 generic bitstream syntax schema
Jung et al. Metadata hiding for content adaptation
Munisamy et al. Automatic Transformation of Video with Meta-Data into Web Contents

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151125

R150 Certificate of patent or registration of utility model

Ref document number: 5847683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees