JP4948667B2 - Video content alteration detection device and system - Google Patents

Video content alteration detection device and system Download PDF

Info

Publication number
JP4948667B2
JP4948667B2 JP2011172502A JP2011172502A JP4948667B2 JP 4948667 B2 JP4948667 B2 JP 4948667B2 JP 2011172502 A JP2011172502 A JP 2011172502A JP 2011172502 A JP2011172502 A JP 2011172502A JP 4948667 B2 JP4948667 B2 JP 4948667B2
Authority
JP
Japan
Prior art keywords
information
digital watermark
detection
content
watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011172502A
Other languages
Japanese (ja)
Other versions
JP2012014711A (en
Inventor
功 越前
隆亮 山田
信治 三浦
三千郎 前田
高志 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Social Information Services Ltd
Original Assignee
Hitachi Government and Public Sector System Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Government and Public Sector System Engineering Ltd filed Critical Hitachi Government and Public Sector System Engineering Ltd
Priority to JP2011172502A priority Critical patent/JP4948667B2/en
Publication of JP2012014711A publication Critical patent/JP2012014711A/en
Application granted granted Critical
Publication of JP4948667B2 publication Critical patent/JP4948667B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動画コンテンツの改ざん検出装置及びシステムに係り、特に、デジタル映像コンテンツの削除、追加、挿げ替えなどの改竄を電子透かしにより検知する、電子透かしの検出装置、検出方法、検出プログラム、動画コンテンツの改竄検証システム、及び動画コンテンツの構造体に関する。   The present invention relates to a video content alteration detection device and system, and in particular, a digital watermark detection device, a detection method, and a detection program for detecting alterations such as deletion, addition, and replacement of digital video content using a digital watermark. The present invention relates to a video content falsification verification system and a video content structure.

デジタル映像コンテンツは、裁判における証拠映像として用いられる場合がある。しかし、これらのデジタル映像コンテンツは、加工が容易であるため、長期に渡って保存された場合、オリジナルと相違が無いことを証明する必要がある。コンテンツの真正性を証明するための技術としては、電子署名技術や電子透かし技術が実用化されている。   Digital video content may be used as evidence video in trials. However, since these digital video contents are easy to process, it is necessary to prove that there is no difference from the original when stored for a long period of time. As a technique for proving the authenticity of content, an electronic signature technique and a digital watermark technique have been put into practical use.

電子署名の作成は、高いセキュリティの元で、認証局等とデータのやり取りを行わなければならず、時間と手間がかかることがある。一方、電子透かしでは、コンテンツの真正性が電子透かし技術を用いて証明されれば、透かし情報をコンテンツ全体に分散させて埋め込むことができるため、符号化形式を変換したとしても、埋め込んだ透かし情報は消失し難い。そのため、コンテンツを長期に渡って保存する場合には、電子透かし技術を用いて真正性を証明する方法が好ましい。   The creation of an electronic signature requires exchange of data with a certificate authority or the like under high security, which may take time and effort. On the other hand, in the digital watermark, if the authenticity of the content is proved by using the digital watermark technology, the watermark information can be distributed and embedded throughout the content, so even if the encoding format is converted, the embedded watermark information Is hard to disappear. Therefore, when content is stored for a long time, a method of proving authenticity using a digital watermark technique is preferable.

電子透かし技術の利用に関して、特許文献1および2には、映像データや音声データを含むコンテンツに、電子透かしにより情報を埋め込む技術が開示されている。
特許文献1の技術は、放送中や使用中の映像や音声の時間ずれを自動的に補正するために、送信側で、同期のとれたデジタル映像とデジタル音声にそれぞれ同一の時間情報を電子透かしとして挿入し、受信側で、デジタル映像とデジタル音声から抽出した時間情報をお互いに比較し、その比較結果に応じて映像と音声との時間ずれを検知して補正するものである。
Regarding the use of the digital watermark technology, Patent Documents 1 and 2 disclose a technique for embedding information in content including video data and audio data by digital watermark.
In the technique of Patent Document 1, in order to automatically correct the time lag between video and audio during broadcasting or in use, the same time information is digitally watermarked on the transmitting side on the synchronized digital video and digital audio. The time information extracted from the digital video and the digital audio is compared with each other on the receiving side, and the time lag between the video and the audio is detected and corrected according to the comparison result.

また、特許文献2の技術は、送信側で、映像データまたは音声データに、コンテンツのヘッダ情報から求めた特徴値を電子透かしにより埋め込み、受信側で、コンテンツに埋め込まれた透かし情報を抽出し、抽出した透かし情報とヘッダ情報とが一致しない場合に、コンテンツの改竄を検出する技術が開示されている。   Further, the technique of Patent Document 2 embeds a feature value obtained from content header information in video data or audio data on the transmission side with a digital watermark, and extracts watermark information embedded in the content on the reception side. A technique for detecting falsification of content when the extracted watermark information and header information do not match is disclosed.

特開2003−259314号公報JP 2003-259314 A 特開2003−122726号公報JP 2003-122726 A

I. Echizen, H. Yoshiura, T. Arai, H. Kimura, T. Takeuchi: General Quality Maintenance Module for Motion Picture Watermarking, IEEE Trans. Consumer Electronics, Vol.45, No.4, pp. 1150-1158, (1999).I. Echizen, H. Yoshiura, T. Arai, H. Kimura, T. Takeuchi: General Quality Maintenance Module for Motion Picture Watermarking, IEEE Trans. Consumer Electronics, Vol. 45, No. 4, pp. 1150-1158, ( 1999).

映像コンテンツの改ざんには、映像データの削除、追加、挿げ替え等がある。例えば、工期の遅れている公共工事を撮影した映像の一部を工事完成の映像の挿げ替えたり、手術の様子を撮影した映像の一部を削除することで、医療ミスの発覚を防ぐなどの不正な行為を目的とした映像コンテンツの改ざん等が起こることも懸念される。
然るに、特許文献1の技術は、そもそもコンテンツの改竄を検知する技術ではなく、デジタルコンテンツの内容が削除、追加、挿げ替えされた場合の改竄の検出についての示唆はない。
Examples of alteration of video content include deletion, addition, and replacement of video data. For example, you can prevent the detection of medical mistakes by replacing a part of the image of public construction that was delayed in construction with the video of the completion of construction or deleting a part of the image that shot the state of surgery. There is also concern that the video content may be altered for the purpose of illegal acts.
However, the technique of Patent Document 1 is not a technique for detecting falsification of content in the first place, and there is no suggestion about detection of falsification when the content of digital content is deleted, added, or replaced.

また、特許文献2の技術は、映像データまたは音声データに埋め込まれたヘッダの特徴値と、コンテンツのヘッダ情報とを比較することにより、ヘッダ情報の改竄や映像データまたは音声データの差し替えを検出できるが、特許文献1と同様に、データが部分的に削除、追加、挿げ替えされた場合の改竄を検出することはできない。   The technique of Patent Document 2 can detect alteration of header information and replacement of video data or audio data by comparing the feature value of the header embedded in the video data or audio data with the header information of the content. However, as in Patent Document 1, tampering when data is partially deleted, added, or replaced cannot be detected.

本発明の目的は、電子透かしを用いてデジタル映像コンテンツの削除、追加、挿げ替えなどの改竄を検出することにある。
本発明の目的は、デジタル映像コンテンツに、規則性情報を電子透かしとして埋め込んで管理し、後にその規則性情報を検出することでデジタル映像コンテンツの改竄を検出することにある。
An object of the present invention is to detect tampering such as deletion, addition, and replacement of digital video content using a digital watermark.
An object of the present invention is to detect tampering of digital video content by managing regularity information embedded in digital video content as electronic watermarks and detecting the regularity information later.

本発明は、所定数の連続したフレーム画像集合に繰り返し、コンテンツ識別情報と規則性のある情報、例えばタイムコードを電子透かしとして埋め込み、この規則性情報を検出することで、映像コンテンツの改竄を検知する。
本発明に係る電子透かし検出装置は、好ましい例によれば、複数のフレームデータで構成される動画コンテンツに埋め込まれた電子透かしを検出する電子透かし検出装置であって、予め定められた所定数の連続したフレームデータから、電子透かしにより予め埋め込まれた規則性のある情報(規則性情報という)を電子透かしにより検出する検出手段と、所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算する手段と、検出された規則性情報および未検出回数に基づき所定数のフレームデータへの改ざんを判定する手段と、を有することを特徴とする電子透かし検出装置として構成される。
好ましくは、前記検出手段は、規則性情報として埋め込まれた、順序性のあるシーケンシャル情報又はタイムコードを検出する。
また、好ましくは、予め定められた第1の所定数の連続したフレームデータに規則性情報が電子透かしにより埋め込まれ、更に、予め定められた第2の所定数の連続したフレームデータに付加情報が電子透かしにより埋め込まれており、前記検出手段は、規則性情報及び付加情報を検出する。
また、好ましくは、前記検出手段は、フレームデータに付加情報として予め埋め込まれた、動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを検出する。
The present invention repeatedly detects the alteration of video content by repeatedly embedding content identification information and regular information such as a time code as a digital watermark in a set of consecutive frame images and detecting the regularity information. To do.
According to a preferred example, the digital watermark detection apparatus according to the present invention is a digital watermark detection apparatus that detects a digital watermark embedded in a moving image content composed of a plurality of frame data, and is a predetermined number of digital watermarks. Detection means for detecting regularity information (regularity information) preliminarily embedded by digital watermark from continuous frame data by digital watermark, and when digital watermark is not detected from a predetermined number of continuous frame data A digital watermark detection apparatus comprising: means for calculating the number of undetected times; and means for determining tampering with a predetermined number of frame data based on the detected regularity information and the number of undetected times. The
Preferably, the detection means detects sequential information or time code having order and embedded as regularity information.
Preferably, the regularity information is embedded in a predetermined first predetermined number of continuous frame data with a digital watermark, and the additional information is added to a predetermined second predetermined number of continuous frame data. Embedded with a digital watermark, the detection means detects regularity information and additional information.
Preferably, the detection unit detects at least one of identification information, position information, and right information of moving image content embedded in advance as additional information in the frame data.

本発明に係る電子透かし検出方法は、好ましくは、複数のフレームデータで構成される動画コンテンツに埋め込まれた電子透かしを検出する電子透かし検出方法において、予め定められた所定数の連続したフレームデータから、電子透かしにより予め埋め込まれた規則性情報を電子透かしにより検出するステップと、所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算するステップと、検出した規則性情報および未検出回数に基づき所定数のフレームデータへの改ざんを判定するステップと、を有することを特徴とする電子透かし検出方法として構成される。
好ましくは、規則性情報を含む電子透かしを検出することにより、動画コンテンツの削除、追加、挿げ替えを検出する。
また、一例では、取得された所定数Nのフレームに対して映像コンテンツから連続するN/2フレームからなるサブセグメントに分割した後、サブセグメントに検出ウィンドウを設定して、電子透かしを検出し、検出ウィンドウから電子透かしを検出したか否かを判定し、判定の結果、電子透かしを検出しなかった場合、透かし未検出回数nDを1だけインクリメントした後、映像コンテンツの読み出し位置をそのサブセグメントに隣接したサブセグメントの読み出し箇所に設定して、次の検出ウィンドウの検出処理に移り、判定の結果、電子透かしを検出した場合、透かし未検出回数nDを0にセットして、規則性情報を更新する。
The digital watermark detection method according to the present invention is preferably a digital watermark detection method for detecting a digital watermark embedded in moving image content composed of a plurality of frame data, from a predetermined number of consecutive frame data. A step of detecting regularity information embedded in advance with a digital watermark, a step of calculating the number of undetected times when a digital watermark is not detected from a predetermined number of consecutive frame data, and a detected regularity And a step of determining falsification to a predetermined number of frame data based on the information and the number of undetected times.
Preferably, deletion, addition, or replacement of moving image content is detected by detecting a digital watermark including regularity information.
In one example, after the predetermined number N of acquired frames are divided into sub-segments composed of N / 2 frames that are continuous from the video content, a detection window is set in the sub-segment to detect a digital watermark, It is determined whether or not a digital watermark has been detected from the detection window. If the result of determination is that a digital watermark has not been detected, the watermark non-detection count nD is incremented by 1, and then the video content read position is set to that sub-segment. Set to the reading position of the adjacent sub-segment and proceed to detection processing of the next detection window. If the result of determination is that a digital watermark is detected, the watermark non-detection count nD is set to 0 and the regularity information is updated. To do.

本発明に係る電子透かし検出のためのプログラムは、好ましくは、好ましくは、複数のフレームデータで構成される動画コンテンツに埋め込まれた電子透かしを検出する電子透かし検出するためのプログラムであって、予め定められた所定数の連続したフレームデータから、電子透かしにより予め埋め込まれた規則性情報を電子透かしにより検出するステップと、所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算するステップと、検出した規則性情報および未検出回数に基づき所定数のフレームデータへの改ざんを判定するステップと、を実行するためのコンピュータ上で実行可能な電子透かし検出用のプルグラムとして構成される。   The program for detecting a digital watermark according to the present invention is preferably a program for detecting a digital watermark for detecting a digital watermark embedded in a moving image content composed of a plurality of frame data. The step of detecting regularity information embedded in advance by digital watermark from a predetermined number of predetermined frame data by digital watermark, and if no digital watermark is detected from the predetermined number of continuous frame data, it is not detected As a digital watermark detection program executable on a computer for executing a step of calculating the number of times and a step of determining falsification to a predetermined number of frame data based on the detected regularity information and the number of undetected times Composed.

本発明に係る動画コンテンツの改竄検証システムは、好ましくは、動画コンテンツを加工するコンテンツ加工装置と、コンテンツ加工装置とネットワークを介して接続され、動画コンテンツの改竄を検知するコンテンツ検証装置を含むシステムにおいて、コンテンツ加工装置は、外部または内部から規則性情報を取得する手段と、動画コンテンツの予め定められた所定数の連続したフレームデータに、取得された規則性情報を電子透かしにより埋め込む手段とを有し、
コンテンツ検証装置は、動画コンテンツの予め定められた所定数の連続したフレームデータから規則性情報を電子透かしにより検出する検出手段と、所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算する手段と、検出した規則性情報および未検出回数に基づいて所定数のフレームデータへの改ざんを判定する手段と、を有することを特徴とする動画コンテンツの改竄検証システムとして構成される。
好ましくは、前記埋め込む手段は、予め定められた第1の所定数の連続したフレームデータに規則性情報を電子透かしにより埋め込み、更に、予め定められた第2の所定数の連続したフレームデータに付加情報を電子透かしにより埋め込む。
また、好ましくは、前記埋め込む手段は、規則性情報として、順序性のあるシーケンシャル情報又はタイムコードを埋め込み、前記検出手段は、シーケンシャル情報又はタイムコードを検出する。
また、好ましくは、前記埋め込む手段は、付加情報として、動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを埋め込み、前記検出手段は、付加情報として埋め込まれた動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを検出する。
The video content falsification verification system according to the present invention is preferably a system including a content processing device that processes video content, and a content verification device that is connected to the content processing device via a network and detects falsification of the video content. The content processing apparatus has means for acquiring regularity information from the outside or inside, and means for embedding the obtained regularity information in a predetermined number of continuous frame data of the moving image content with a digital watermark. And
The content verification device includes a detecting unit that detects regularity information from a predetermined number of consecutive frame data of a moving image content by using a digital watermark, and a digital watermark is not detected from the predetermined number of continuous frame data. A video content falsification verification system comprising: means for calculating the number of undetected times; and means for determining tampering with a predetermined number of frame data based on the detected regularity information and the number of undetected times Is done.
Preferably, the means for embedding embeds regularity information in a predetermined first predetermined number of consecutive frame data with a digital watermark, and further adds it to a predetermined second predetermined number of consecutive frame data. Information is embedded with a digital watermark.
Preferably, the embedding unit embeds sequential information or time code having order as regularity information, and the detection unit detects sequential information or time code.
Preferably, the embedding unit embeds at least one of identification information, position information, and right information of moving image content as additional information, and the detection unit includes identification information, position of moving image content embedded as additional information. At least one of information and right information is detected.

本発明に係る電子透かしを用いた動画コンテンツの構造体は、好ましくは、好ましくは、動画コンテンツの検証のために電子透かしが埋め込まれた動画コンテンツの構造体であって、動画コンテンツの予め定められた第1の所定数の連続したフレームデータに、順序性のある規則性情報が電子透かしにより埋め込まれ、更に、予め定められた第2の所定数の連続したフレームデータに、動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを含む付加情報が電子透かしにより埋め込まれる、ことを特徴とする動画コンテンツの構造体として構成される。   The structure of the moving image content using the digital watermark according to the present invention is preferably a moving image content structure in which the digital watermark is embedded for verification of the moving image content, and the moving image content is predetermined. Ordered regularity information is embedded in the first predetermined number of consecutive frame data with a digital watermark, and the moving image content identification information is further included in a predetermined second predetermined number of consecutive frame data. , Additional information including at least one of position information and right information is embedded with a digital watermark.

本発明によれば、より高い精度でデジタル映像コンテンツの改竄を検出することができる。   According to the present invention, tampering of digital video content can be detected with higher accuracy.

一実施形態におけるコンテンツ配信システムの構成を示す図。The figure which shows the structure of the content delivery system in one Embodiment. 電子透かし埋込み装置22による映像コンテンツへの電子透かしの埋込みの一例を示す図。FIG. 5 is a diagram showing an example of embedding a digital watermark in video content by the digital watermark embedding device 22. 電子透かし埋め込み装置22の詳細な機能構成の一例を示すブロック図。FIG. 3 is a block diagram showing an example of a detailed functional configuration of the digital watermark embedding device 22. 電子透かし検出装置34の詳細な機能構成の一例を示すブロック図。FIG. 3 is a block diagram showing an example of a detailed functional configuration of a digital watermark detection apparatus 34. 電子透かし埋込み装置22による埋込み情報の構成例を示す説明図。Explanatory drawing which shows the structural example of the embedding information by the digital watermark embedding apparatus 22. FIG. 電子透かしの埋め込み動作の一例を示すフローチャート。6 is a flowchart illustrating an example of an operation for embedding a digital watermark. コンテンツの不正追加時における電子透かしの検出処理を模式的に示す図。The figure which shows typically the detection processing of the electronic watermark at the time of fraudulent addition of content. コンテンツの不正削除時における電子透かしの検出処理を模式的に示す図。The figure which shows typically the detection processing of the digital watermark at the time of the illegal deletion of a content. コンテンツの不正挿げ替え時における電子透かしの検出処理を模式的に示す図。The figure which shows typically the detection processing of the digital watermark at the time of unauthorized replacement | exchange of content. 電子透かし検出装置34が参照するAttack判定基準の一例を示す図。The figure which shows an example of the Attack determination standard which the digital watermark detection apparatus 34 refers. 電子透かし検出装置34における電子透かしの検出処理動作の一例を示すフローチャート。7 is a flowchart showing an example of a digital watermark detection processing operation in the digital watermark detection apparatus.

以下に、図面を参照して、本発明の実施の形態について説明する。
図1は、一実施形態によるコンテンツ配信システム10の構成を示す図である。コンテンツ配信システム10は、通信ネットワーク11に接続された、コンテンツ蓄積・配信サーバ12、コンテンツ加工装置20及びコンテンツ検証装置30を含んで構成される。例えば、コンテンツ加工装置20はコンテンツ製作会社が有し、コンテンツ検証装置30はコンテンツ上映施設が有する。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of a content distribution system 10 according to an embodiment. The content distribution system 10 includes a content storage / distribution server 12, a content processing device 20, and a content verification device 30 connected to a communication network 11. For example, the content processing device 20 is provided by a content production company, and the content verification device 30 is provided by a content screening facility.

コンテンツ加工装置20は、電子透かし埋込み装置22、エンコーダ23、記憶装置24、送信装置25を有する。ここで、エンコーダ23によるコンテンツのエンコード処理は必ずしも必要ではなく、電子透かし埋込み装置22によって元々エンコードされたコンテンツに直接電子透かしを埋め込んでもよい。
コンテンツ加工装置20において、映像機器やカメラなどのコンテンツ生成源21から取得されるデジタル映像コンテンツは通信ネットワーク11を介して入力され、電子透かし埋込み装置22は、このデジタル映像コンテンツに電子透かしを埋め込む。送信装置25は、電子透かしが埋め込まれたコンテンツを、通信ネットワーク11を介してコンテンツ蓄積・配信サーバ12へ送信する。なお、コンテンツ加工装置20で生成したコンテンツの転送に関して、通信ネットワーク15を経由しないで、DVD等の媒体や無線ネットワークや放送波を用いてサーバ12に蓄積するようにしてもよい。
The content processing device 20 includes a digital watermark embedding device 22, an encoder 23, a storage device 24, and a transmission device 25. Here, the content encoding process by the encoder 23 is not necessarily required, and the digital watermark may be directly embedded in the content originally encoded by the digital watermark embedding device 22.
In the content processing device 20, digital video content acquired from a content generation source 21 such as a video device or a camera is input via the communication network 11, and the digital watermark embedding device 22 embeds a digital watermark in this digital video content. The transmission device 25 transmits the content embedded with the digital watermark to the content storage / distribution server 12 via the communication network 11. Note that transfer of content generated by the content processing apparatus 20 may be stored in the server 12 using a medium such as a DVD, a wireless network, or a broadcast wave without going through the communication network 15.

コンテンツ検証装置30は、受信装置31、記憶装置32、デコーダ33、電子透かし検出装置34を有する。ここで、デコーダ33によるコンテンツのデコード処理は必ずしも必要ではなく、電子透かし検出装置34によりエンコードされたコンテンツから直接電子透かしを検出してもよい。
コンテンツ検証装置30は、コンテンツ蓄積・配信サーバ12、またはコンテンツ加工装置20から通信ネットワーク11を経由して、電子透かしを埋め込んだコンテンツを受信装置31により受信し、記憶装置32に一時蓄積する。ここで、コンテンツの転送に関しては、通信ネットワーク15を経由しないで、DVD等の媒体や無線ネットワークや放送波を用いてコンテンツを受信するようにしてもよい。
デコーダ33は、記憶装置32に蓄積されたコンテンツをデコードし、電子透かし検出装置34は、デコードされたコンテンツから電子透かしを検出して、判定結果を出力する。
The content verification device 30 includes a reception device 31, a storage device 32, a decoder 33, and a digital watermark detection device 34. Here, the decoding process of the content by the decoder 33 is not necessarily required, and the digital watermark may be directly detected from the content encoded by the digital watermark detection device 34.
The content verification device 30 receives content embedded with a digital watermark from the content storage / distribution server 12 or the content processing device 20 via the communication network 11 and temporarily stores it in the storage device 32. Here, regarding the transfer of content, the content may be received using a medium such as a DVD, a wireless network, or a broadcast wave without going through the communication network 15.
The decoder 33 decodes the content stored in the storage device 32, and the digital watermark detection device 34 detects a digital watermark from the decoded content and outputs a determination result.

コンテンツ加工装置20によって作成される映像コンテンツは、例えば図2に示すような構造である。図2は、映像コンテンツへの電子透かし埋込みを模式的に示している。図2(A)に示すように、映像コンテンツは、Nフレーム(例えば1秒間に30個のフレーム)から構成されるセグメントとして時分割される。各セグメントには異なるタイムコードt1〜tkが埋め込まれるが、セグメントを構成する各Nフレームには同一のタイムコードが埋め込まれる。ここで、タイムコードとは、例えば、年月日時分秒からなる時刻情報である。しかし、必ずしも時刻情報である必要はなく、セグメントの順番を表す番号などを用いてもよい。一般的には順序性のあるシーケンシャルな情報であればよい。   The video content created by the content processing device 20 has a structure as shown in FIG. 2, for example. FIG. 2 schematically shows the digital watermark embedding in the video content. As shown in FIG. 2A, the video content is time-divided as segments composed of N frames (for example, 30 frames per second). Different time codes t1 to tk are embedded in each segment, but the same time code is embedded in each N frame constituting the segment. Here, the time code is, for example, time information consisting of year / month / day / hour / minute / second. However, the time information is not necessarily required, and a number indicating the order of the segments may be used. In general, it may be sequential information with order.

また、図2(B)に示す例では、タイムコードt1〜tkに加えて、コンテンツ識別IDやGPS情報などの付加情報が埋め込まれる。ここで、付加情報とは、例えば映像機器やカメラに固有なID(機器ID)であり、GPSは位置情報である。機器IDを埋め込む理由は、他のカメラで撮影された映像コンテンツが当該映像コンテンツに追加されることを検証するためである。またGPSを埋め込む理由は、他の場所で撮影された映像コンテンツが当該映像コンテンツに追加されることを検証するためである。
一例を図5に示すように、Mビットの埋込み情報は、T(<M)ビットの時刻情報と、残りのM−Tビットの付加情報により構成される。
なお、この付加情報は、セグメント単位で埋め込む必要はなく、複数のセグメントにわたって同一の情報を埋め込んだり、付加情報を時分割した情報を複数のセグメントに渡って埋め込んでも良い。
In the example shown in FIG. 2B, in addition to the time codes t1 to tk, additional information such as a content identification ID and GPS information is embedded. Here, the additional information is, for example, an ID (device ID) unique to a video device or a camera, and GPS is position information. The reason why the device ID is embedded is to verify that video content shot by another camera is added to the video content. The reason why the GPS is embedded is to verify that video content shot at another location is added to the video content.
As an example, as shown in FIG. 5, the M-bit embedded information is composed of time information of T (<M) bits and additional information of the remaining MT bits.
The additional information does not need to be embedded on a segment basis, and the same information may be embedded over a plurality of segments, or information obtained by time-sharing the additional information may be embedded over a plurality of segments.

図3は、電子透かし埋め込み装置22の詳細な機能構成の一例を示すブロック図である。電子透かし埋め込み装置22は、タイムコード取得部221、透かし情報生成部222、コンテンツ取得部223、透かし情報埋込み部224およびコンテンツ出力部225を有する。これらの機能部はハードウェア又はソフトウェアによって実現される。   FIG. 3 is a block diagram illustrating an example of a detailed functional configuration of the digital watermark embedding apparatus 22. The digital watermark embedding device 22 includes a time code acquisition unit 221, a watermark information generation unit 222, a content acquisition unit 223, a watermark information embedding unit 224, and a content output unit 225. These functional units are realized by hardware or software.

ここで、タイムコード取得部221は、映像機器やカメラなどのコンテンツ生成源や、装置内外の時刻情報発信機からタイムコードを入手する。
透かし情報生成部222は、タイムコード取得部221から得たタイムコードから埋込み情報を生成する。図5に示すように、Mビットの埋込み情報のうち、時刻情報はT(<M)ビットの情報に割り当てられる。残りのM−Tビットには、必要に応じてカメラや映像機器などのコンテンツ生成源の識別IDや、コンテンツ自体の識別IDやGPS情報などの付加情報が割り当てられる。
Here, the time code acquisition unit 221 acquires a time code from a content generation source such as a video device or a camera, or a time information transmitter inside or outside the apparatus.
The watermark information generation unit 222 generates embedded information from the time code obtained from the time code acquisition unit 221. As shown in FIG. 5, time information is assigned to T (<M) bits of the M-bit embedded information. Additional information such as an identification ID of a content generation source such as a camera or video equipment, an identification ID of content itself, or GPS information is assigned to the remaining MT bits as necessary.

コンテンツ取得部223は、コンテンツ生成源から出力された映像コンテンツを取得する。透かし情報埋込み部224は、コンテンツ取得部223で取得した映像コンテンツに対して、透かし情報生成部222で生成した透かし情報を図2の埋込み構造に従って埋め込む。コンテンツ出力部225は、透かし情報埋込み部224で生成された透かし埋込み映像コンテンツを装置の外部に出力する。
なお、電子透かし技術を用いて映像データに透かし情報を埋め込む方法の例については、非特許文献1に詳細に記載されているので、ここでは詳述しない。
The content acquisition unit 223 acquires video content output from the content generation source. The watermark information embedding unit 224 embeds the watermark information generated by the watermark information generation unit 222 in the video content acquired by the content acquisition unit 223 according to the embedded structure of FIG. The content output unit 225 outputs the watermark embedded video content generated by the watermark information embedding unit 224 to the outside of the apparatus.
Note that an example of a method of embedding watermark information in video data using the digital watermark technique is described in detail in Non-Patent Document 1, and will not be described in detail here.

図4は、電子透かし検出装置34の詳細な機能構成の一例を示すブロック図である。
電子透かし検出装置34は、コンテンツ取得部341、透かし情報検出部342、検出情報格納バッファ343、判定部344、および判定結果出力部345を有する。
コンテンツ取得部341は、コンテンツ蓄積・配信サーバ12、またはコンテンツ加工装置20から通信ネットワーク11を経由して、電子透かしを埋め込んだ映像コンテンツを取得する。
FIG. 4 is a block diagram illustrating an example of a detailed functional configuration of the digital watermark detection apparatus 34.
The digital watermark detection apparatus 34 includes a content acquisition unit 341, a watermark information detection unit 342, a detection information storage buffer 343, a determination unit 344, and a determination result output unit 345.
The content acquisition unit 341 acquires video content embedded with a digital watermark from the content storage / distribution server 12 or the content processing apparatus 20 via the communication network 11.

透かし情報検出部342は、取得した映像コンテンツをNフレームからなるセグメントに分割したのち、セグメント毎に電子透かしを検出する。検出情報格納バッファ343は、透かし情報検出部342で検出した連続した複数セグメント分のタイムコード、およびID等の付加情報を格納し、更新する。
判定部344は、検出情報格納バッファ343に格納された情報を参照し、連続した複数セグメント間で検出した情報の整合性を判定する。具体的には、映像コンテンツの削除、追加、挿げ替えなどの改竄の可否を判定する。判定結果出力部345は、判定部344で判定した判定結果を装置の外部に出力する。
The watermark information detection unit 342 divides the acquired video content into N-frame segments, and then detects a digital watermark for each segment. The detection information storage buffer 343 stores and updates additional information such as time codes and IDs for a plurality of continuous segments detected by the watermark information detection unit 342.
The determination unit 344 refers to the information stored in the detection information storage buffer 343 and determines the consistency of information detected between a plurality of consecutive segments. Specifically, it is determined whether or not tampering such as deletion, addition, or replacement of video content is possible. The determination result output unit 345 outputs the determination result determined by the determination unit 344 to the outside of the apparatus.

図6は、電子透かし埋め込み装置22の動作の一例を示すフローチャートである。
コンテンツ生成源21から入力された映像コンテンツに対して、電子透かし埋め込み装置22は、本フローチャートに示す動作を開始する。
まず、タイムコード取得部221は、映像機器やカメラなどのコンテンツ生成源や、装置内外にある時刻情報の発信機からタイムコードとなる時刻情報を取得し、タイムコード取得部内の記憶領域に一時格納する(S101)。また、コンテンツ取得部223は、コンテンツ生成源から出力された所定フレーム数の映像コンテンツを取得し、同じくタイムコード取得部223内の記憶領域に一時格納する。
FIG. 6 is a flowchart showing an example of the operation of the digital watermark embedding device 22.
For the video content input from the content generation source 21, the digital watermark embedding device 22 starts the operation shown in this flowchart.
First, the time code acquisition unit 221 acquires time information as a time code from a content generation source such as a video device or a camera or a transmitter of time information inside or outside the apparatus, and temporarily stores it in a storage area in the time code acquisition unit. (S101). In addition, the content acquisition unit 223 acquires a predetermined number of frames of video content output from the content generation source, and temporarily stores them in the storage area in the time code acquisition unit 223 as well.

次に、透かし情報生成部222は、タイムコード取得部221内の記憶領域に格納された時刻情報を取得し、埋込み情報を生成する(S102)。そして、透かし情報埋込み部224は、コンテンツ取得部223の記憶領域に一時格納された、映像コンテンツから連続したNフレームからなるセグメントを取得し、Nフレーム分のフレーム画像に対して、透かし情報生成部222で生成した透かし情報を、図2の埋込み構造に従って埋め込む(S103)。   Next, the watermark information generation unit 222 acquires time information stored in a storage area in the time code acquisition unit 221 and generates embedded information (S102). Then, the watermark information embedding unit 224 acquires a segment composed of N frames continuous from the video content temporarily stored in the storage area of the content acquisition unit 223, and applies a watermark information generation unit to a frame image of N frames. The watermark information generated in 222 is embedded according to the embedded structure of FIG. 2 (S103).

そして、コンテンツ出力部225は、映像コンテンツのセグメントのそれぞれ全てに透かし情報の埋め込みを行なったか否かを判定する(S104)。判定の結果、映像コンテンツの全てに透かし情報が埋め込まれていない場合、タイムコード取得部221、およびコンテンツ取得部223は、再びステップS101に示した処理を実行する。
一方、コンテンツデータ内の全てのセグメントに透かし情報が埋め込まれている場合、コンテンツ出力部225は、透かし情報の埋め込みが終了した旨をエンコーダ24に通知する(S105)。この通知により、電子透かし埋め込み装置22は、このフローチャートに示す制御動作を終了する。
なお、ここで、映像がカメラなどのリアルタームで入力される映像コンテンツの場合、上記判定は、電子透かし埋め込み装置22の出力停止処理にて行なってもよい。
なお、上記の各ステップの処理は、それらの処理を行うプログラムを、電子透かし埋め込み装置22を構成するコンピュータで実行することでも実現できる。
Then, the content output unit 225 determines whether or not the watermark information has been embedded in all the segments of the video content (S104). As a result of the determination, when the watermark information is not embedded in the entire video content, the time code acquisition unit 221 and the content acquisition unit 223 execute the process shown in step S101 again.
On the other hand, if the watermark information is embedded in all the segments in the content data, the content output unit 225 notifies the encoder 24 that the watermark information has been embedded (S105). With this notification, the digital watermark embedding apparatus 22 ends the control operation shown in this flowchart.
Here, in the case where the video is video content input in real terms such as a camera, the above determination may be performed by the output stop process of the digital watermark embedding device 22.
Note that the processing of each of the above steps can also be realized by executing a program for performing the processing on a computer constituting the digital watermark embedding device 22.

図7は、透かしの検出処理の例を模式的に示す。
この例は、タイムコード情報t1が埋め込まれたセグメントと、t2が埋め込まれたセグメントの間に、Mフレームからなる他の映像コンテンツが不正に挿入追加された例である。
まず、最初に検出情報格納バッファ343内のパラメータを初期化する。すなわち、ターゲットとなる検出ウィンドウから検出したタイムコード情報(TCcur)、ターゲットとなる検出ウィンドウより1つ前の検出ウィンドウから検出したタイムコード情報(TCprev)、透かし未検出回数(nD)を全て0にセットする。
FIG. 7 schematically illustrates an example of watermark detection processing.
In this example, another video content composed of M frames is illegally inserted and added between the segment in which the time code information t1 is embedded and the segment in which t2 is embedded.
First, the parameters in the detection information storage buffer 343 are initialized. That is, the time code information (TCcur) detected from the target detection window, the time code information (TCprev) detected from the detection window immediately before the target detection window, and the watermark undetected count (nD) are all set to 0. set.

次に、所定数のフレームを読み出した後、N/2フレームからなるサブセグメントに分割した最初のサブセグメントに対して検出ウィンドウをセットする(検出ウィンドウ1)。透かし検出処理では、当該検出ウィンドウ内のN/2フレームからなるフレーム画像に対して、ピクセルーバイーピクセルで加算するフレームアキュムレーション処理を行なった後、生成した1枚の加算透かし画像から透かしを検出する。
図7の例では、検出ウィンドウ1の領域には、タイムコード情報=t1が埋め込まれているため、当該ウィンドウからタイムコード情報として“t1”を検出するため、TCcur=t1にセットして、つぎの検出ウィンドウ(検出ウィンドウ2)の検出処理に移る。
Next, after reading a predetermined number of frames, a detection window is set for the first sub-segment divided into N / 2 frames (detection window 1). In the watermark detection process, a frame accumulation process in which pixel-by-pixel addition is performed on a frame image composed of N / 2 frames in the detection window, and then a watermark is detected from the generated one added watermark image. .
In the example of FIG. 7, since the time code information = t1 is embedded in the area of the detection window 1, in order to detect “t1” as time code information from the window, TCcur = t1 is set. The process proceeds to the detection processing of the detection window (detection window 2).

検出ウィンドウ2においても、タイムコード情報として“t1”を検出するため、検出ウィンドウ1から検出したタイムコード情報をTCprev=t1にセットした後、現在の検出ウィンドウである検出ウィンドウ2から検出した情報“t1”をTCcurにセットし(TCcur=t1)、次の検出ウィンドウの検出処理に移る。
検出ウィンドウ3では、透かしが検出できないため、タイムコードの更新は行なわれず、未検出回数nDを1だけインクリメントした後(nD=1)、つぎの検出ウィンドウの検出処理に移る。
検出ウィンドウ4、5でも透かしが検出されないため、上記と同様に、未検出回数nDがインクリメントされる。
Also in the detection window 2, in order to detect “t1” as the time code information, after setting the time code information detected from the detection window 1 to TCprev = t1, the information “detected from the detection window 2 which is the current detection window” t1 ″ is set in TCcur (TCcur = t1), and the process proceeds to detection processing for the next detection window.
In the detection window 3, since the watermark cannot be detected, the time code is not updated. After the undetected count nD is incremented by 1 (nD = 1), the process proceeds to the detection process for the next detection window.
Since no watermark is detected even in the detection windows 4 and 5, the undetected count nD is incremented in the same manner as described above.

次に、検出ウィンドウ6では、タイムコード情報“t2”が検出されるため、未検出回数nDが0にセットされ、タイムコード情報が更新される(TCprev=t1、TCcur=t2)。各検出ウィンドウの判定時には、検出情報格納バッファ343に格納されている3種類のパラメータ情報から当該検出ウィンドウに対する攻撃(アタックなし:No Attack、不正な追加部分:Addition、不正な削除部分:Deletion、AdditionとDeletionの組み合わせ)を判定することができる。判定に当たっては、図10に示すような、Attack判定基準に従い、検出ウィンドウに対する攻撃を判断する。なお、ある検出ウィンドウでAdditionの判定がでた場合には、次の検出ウィンドウ(図では検出ウィンドウ6)でTCprevとTCcurの差分を算出し、差分が2単位時間以上であれば、前検出ウィンドウの判定をAdditionからReplacementに変更する。   Next, in the detection window 6, since the time code information “t2” is detected, the undetected count nD is set to 0, and the time code information is updated (TCprev = t1, TCcur = t2). At the time of determination of each detection window, an attack (No Attack: No Attack, illegal addition part: Addition, illegal deletion part: Delete, Addition) against the detection window from the three types of parameter information stored in the detection information storage buffer 343 Can be determined. In the determination, an attack on the detection window is determined according to the Attack determination criteria as shown in FIG. If Addition is determined in a certain detection window, the difference between TCprev and TCcur is calculated in the next detection window (detection window 6 in the figure). If the difference is 2 unit time or more, the previous detection window Is changed from Addition to Replacement.

この検出処理では、所定数の連続したフレームデータで構成される各検出ウィンドウからタイムコード情報を検出しているが、この検出処理と同時に各検出ウィンドウからIDやGPS等の付加情報の電子透かしを検出する場合がある。この場合、タイムコード情報の検出対象となる検出ウィンドウを構成するフレーム数と、付加情報の検出対象となる検出ウィンドウのフレーム数は必ずしも同じである必要は無く、異なっていても良い。すなわち、タイムコード情報と付加情報の検出タイミング、および一回の検出に必要なフレーム数は同一である必要はない。   In this detection process, time code information is detected from each detection window composed of a predetermined number of continuous frame data. At the same time as this detection process, an electronic watermark of additional information such as ID and GPS is added from each detection window. May be detected. In this case, the number of frames constituting the detection window that is the detection target of the time code information and the number of frames of the detection window that is the detection target of the additional information are not necessarily the same and may be different. That is, the detection timing of the time code information and the additional information and the number of frames required for one detection do not have to be the same.

次に、図8を参照して、映像コンテンツが不正に削除された場合における透かしの検出処理について説明する。
この例は、タイムコード情報t3が埋め込まれたセグメントと、t2およびt4が埋め込まれたセグメントの一部が不正に削除(Deletion)された例である。
図7と同様の処理により、最初に出情報格納バッファ343内のパラメータを初期化し、当該検出ウィンドウ内のN/2フレームからなるフレーム画像(検出ウィンドウ)に対して、ピクセルーバイーピクセルで加算するフレームアキュムレーション処理を行なった後、生成した1枚の加算透かし画像から透かしを検出する。
Next, with reference to FIG. 8, a description will be given of a watermark detection process when video content is illegally deleted.
In this example, the segment in which the time code information t3 is embedded and a part of the segments in which t2 and t4 are embedded are illegally deleted (Delete).
By the same processing as in FIG. 7, the parameters in the outgoing information storage buffer 343 are first initialized, and are added pixel-by-pixel to the frame image (detection window) composed of N / 2 frames in the detection window. After performing the frame accumulation process, a watermark is detected from the generated one added watermark image.

図8の検出ウィンドウ1、2および3は、図10に示すAttack判定基準に従いNo Attackと判定される。しかし、検出ウィンドウ4では、TCprev=t2、TCcur=t4となるため、Attack判定基準に従い、この検出領域はDeletionと判定される。この例のように、実際に削除された場所とDeletionと判定した検出ウィンドウの箇所に遅延が生じる場合があるが、この判定場所の近傍を調べることにより、不正に削除された箇所を確実に検知することができる。   The detection windows 1, 2, and 3 in FIG. 8 are determined as No Attack in accordance with the Attack determination criteria shown in FIG. However, in the detection window 4, since TCprev = t2 and TCcur = t4, this detection area is determined to be “Deletion” in accordance with the Attack determination criterion. As in this example, there may be a delay in the location of the detection window that is determined to be the deletion location and the deletion location, but by checking the vicinity of this determination location, the location that was deleted illegally can be detected reliably. can do.

次に、図9を参照して、コンテンツが不正に挿げ替えられた場合における電子透かしの検出処理について説明する。
この例は、タイムコード情報t2が埋め込まれたセグメントと、t2が埋め込まれたセグメントの一部が不正に他のコンテンツに挿げ替えられた(Replacement)例である。図7と同様の処理により、最初に出情報格納バッファ343内のパラメータを初期化し、当該検出ウィンドウ内のN/2フレームからなるフレーム画像(検出ウィンドウ)に対して、ピクセルーバイーピクセルで加算するフレームアキュムレーション処理を行なった後、生成した1枚の加算透かし画像から透かしを検出する。
Next, with reference to FIG. 9, a digital watermark detection process when content is illegally replaced will be described.
In this example, the segment in which the time code information t2 is embedded and a part of the segment in which t2 is embedded are illegally replaced with other contents (Replacement). By the same processing as in FIG. 7, the parameters in the outgoing information storage buffer 343 are first initialized, and are added pixel-by-pixel to the frame image (detection window) composed of N / 2 frames in the detection window. After performing the frame accumulation process, a watermark is detected from the generated one added watermark image.

図9の検出ウィンドウ1、2および3は、図10に示すAttack判定基準に従い、No Attackと判定される。しかし、検出ウィンドウ4では、未検出回数nD=2となるため、Attack判定基準に従い、当該検出領域は暫定の判定としてAdditionと判断される。ウィンドウ4の次の検出ウィンドウである検出ウィンドウ5では、前検出ウィンドウ4でAdditionの判定が出たため、TCprevとTCcurの差分を算出し、差分が2単位時間以上であれば、前検出ウィンドウの判定をAdditionからReplacementに変更する。   The detection windows 1, 2 and 3 in FIG. 9 are determined as No Attack in accordance with the Attack determination criteria shown in FIG. However, in the detection window 4, since the number of undetected times nD = 2, the detection area is determined as Addition as a provisional determination according to the Attack determination criterion. In the detection window 5, which is the next detection window after the window 4, since the Addition determination has been made in the previous detection window 4, the difference between TCprev and TCcur is calculated. Is changed from Addition to Replacement.

次に、図11のフローチャートを参照して、電子透かし検出装置34における電子透かしの検出の処理動作について説明する。
電子透かし検出装置34、コンテンツ蓄積・配信サーバ12、またはコンテンツ加工装置20から通信ネットワーク11を経由して、電子透かしを埋め込んだ映像コンテンツを取得した場合に、電子透かし検出装置31は、電子透かしの検出処理動作を開始する。
Next, the digital watermark detection processing operation in the digital watermark detection apparatus 34 will be described with reference to the flowchart of FIG.
When the video watermark embedded with the digital watermark is acquired from the digital watermark detection device 34, the content storage / distribution server 12, or the content processing device 20 via the communication network 11, the digital watermark detection device 31 stores the digital watermark. The detection processing operation is started.

まず、検出情報格納バッファ343は、関連パラメータを初期化する(201)。すなわち、ターゲットとなる検出ウィンドウから検出したタイムコード情報(TCcur)、ターゲットとなる検出ウィンドウより一つ前の検出ウィンドウから検出したタイムコード情報(TCprev)、透かし未検出回数(nD)を全て0にセットする。次に、コンテンツ取得部341は、コンテンツ蓄積・配信サーバ12、またはコンテンツ加工装置20から通信ネットワーク11を経由して、電子透かし検出装置34の記憶領域内に格納された所定数のフレームを読み出す(S202)。   First, the detection information storage buffer 343 initializes related parameters (201). That is, the time code information (TCcur) detected from the target detection window, the time code information (TCprev) detected from the detection window immediately before the target detection window, and the watermark undetected count (nD) are all set to 0. set. Next, the content acquisition unit 341 reads a predetermined number of frames stored in the storage area of the digital watermark detection device 34 from the content storage / distribution server 12 or the content processing device 20 via the communication network 11 ( S202).

次に、透かし情報検出部342は、読み出した映像コンテンツから連続するN/2フレームからなるサブセグメントに分割したのち、図7に示した処理により、そのサブセグメントに検出ウィンドウを設定したのち、電子透かしを検出する(S203)。そして、この検出ウィンドウから電子透かしを検出したか否かを判定する(S204)。
この判定の結果、電子透かしを検出しなかった場合、透かし未検出回数nDを1だけインクリメントした後、コンテンツの読み出し位置をそのサブセグメントに隣接したサブセグメントの読み出し箇所に設定して、ステップS202の処理に移り、次の検出ウィンドウの検出処理に移る。
一方、ステップS204で、電子透かしを検出した場合、検出情報格納バッファ343内のパラメータをセットする(S205)。すなわち、透かし未検出回数nDが0にセットされ、タイムコード情報(TCcur、TCprev)が更新される。
Next, the watermark information detection unit 342 divides the read video content into sub-segments composed of consecutive N / 2 frames, sets a detection window for the sub-segment by the process shown in FIG. A watermark is detected (S203). Then, it is determined whether or not a digital watermark has been detected from this detection window (S204).
If the result of this determination is that a digital watermark has not been detected, the watermark non-detection count nD is incremented by 1, and then the content read position is set to the read location of the sub-segment adjacent to that sub-segment. The process proceeds to the detection process for the next detection window.
On the other hand, if a digital watermark is detected in step S204, parameters in the detection information storage buffer 343 are set (S205). That is, the watermark undetected count nD is set to 0, and the time code information (TCcur, TCprev) is updated.

次に、検出情報格納バッファ343内のパラメータを読み出し、図10に示すようなAttack判定基準に照らし、判定基準に合致した検出ウィンドウにおけるAttackを判定する(S206)。その後、その検出ウィンドウの判定結果を出力する(S207)。
そして、全てのサブセグメントから透かし検出処理を実行したか否かを判定し(S208)、実行していなければ、ステップS202で実行していないサブセグメントの検出処理を開始する。一方、それを実行していれば、電子透かし検出装置34の処理を終了する。
なお、上記の各ステップの処理は、それらの処理を行うプログラムを、電子透かし検出装置34を構成するコンピュータで実行することでも実現できる。
Next, the parameters in the detection information storage buffer 343 are read, and the Attack in the detection window that matches the determination criteria is determined in light of the Attack determination criteria as shown in FIG. 10 (S206). Thereafter, the determination result of the detection window is output (S207).
Then, it is determined whether or not the watermark detection process has been executed from all the sub-segments (S208). If not, the sub-segment detection process not executed in step S202 is started. On the other hand, if it is executed, the processing of the digital watermark detection device 34 is terminated.
Note that the processing in each of the above steps can also be realized by executing a program for performing these processing on a computer constituting the digital watermark detection apparatus 34.

上記した実施例による、タイムコードの電子透かしを用いてデジタル映像コンテンツの削除、追加、挿げ替えなどの改竄を検出する技術の適用例としては、以下のようなものが揚げられる。
一例として、ビルや道路等の建設物の映像を保管するときに、本実施例を適用することができる。ビルの建設が未だ終わっていないのに、建設が終わった他のビルの映像を細工して、目的のビルの映像に追加したり、そのビルの映像をリプレースする等の不正が考えられる。しかし、本実施例のように、電子透かしによって埋め込まれたタイムコードの検出の有無により、このような不正を摘発することができる。
Examples of the application of the technique for detecting tampering such as deletion, addition, and replacement of digital video content using the digital watermark of the time code according to the above-described embodiment include the following.
As an example, this embodiment can be applied when storing images of construction objects such as buildings and roads. Although the construction of the building is not yet finished, it is possible to cheat the video of another building that has been constructed and add it to the video of the target building or replace the video of the building. However, as in the present embodiment, such fraud can be detected depending on whether or not the time code embedded by the digital watermark is detected.

また、他の例として、医療現場への適用が考えられる。例えば、手術の模様を撮影した映像に、タイムコードを電子透かしで埋め込んで保管する。後日、手術ミスが発覚した場合、そのミスの部分の映像を削除しようとしてもタイムコードを検出することで、映像の不正な細工が検出できる。   As another example, application to a medical field can be considered. For example, a time code is embedded in a video image of a surgical pattern and stored. When an operation mistake is detected at a later date, even if an attempt is made to delete the image of the error portion, an illegal manipulation of the image can be detected by detecting the time code.

また、他の例として、警察内部の関係者による映像の改ざん検出のために適用できる。
例えば、警察による違反車の取締りや追跡の現場を撮影した映像にタイムコードを電子透かしで埋め込んで保管する。もし、警察の部内者が、違反車の事故現場を撮影した映像の改ざんした場合、映像に埋め込まれたタイムコードを検出することで、不正な削除や改ざんを検出することができる。
Further, as another example, the present invention can be applied for detecting alteration of a video by a person concerned inside the police.
For example, the time code is embedded in a digital watermark and stored in a video of a police enforcement and tracking site. If an insider of the police falsifies the video shot of the accident site of the violating vehicle, it is possible to detect unauthorized deletion or falsification by detecting the time code embedded in the video.

10:コンテンツ配信システム、11:通信ネットワーク、12:コンテンツ蓄積・配信サーバ、20:コンテンツ加工装置、21:コンテンツ生成源、22:電子透かし埋込み装置、23:エンコーダ、24:記憶装置、25:送信装置、30:コンテンツ検証装置、31:受信装置、32:記憶装置、33:デコーダ、34:電子透かし検出装置。 10: Content distribution system, 11: Communication network, 12: Content storage / distribution server, 20: Content processing device, 21: Content generation source, 22: Digital watermark embedding device, 23: Encoder, 24: Storage device, 25: Transmission Device: 30: content verification device; 31: reception device; 32: storage device; 33: decoder; 34: digital watermark detection device.

Claims (15)

複数のフレームデータで構成される動画コンテンツに埋め込まれた電子透かしを検出する電子透かし検出装置であって、
予め定められた所定数の連続したフレームデータから、電子透かしにより予め埋め込まれた規則性のある情報(規則性情報という)を電子透かしにより検出する検出手段と、該所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算する手段と、該検出された規則性情報および未検出回数に基づき該所定数のフレームデータへの改ざんを判定する手段と、を有することを特徴とする電子透かし検出装置。
An electronic watermark detection apparatus for detecting an electronic watermark embedded in a moving image content composed of a plurality of frame data,
From a predetermined number of consecutive frame data, detection means for detecting regular information embedded in a digital watermark in advance (referred to as regularity information) using a digital watermark, and from the predetermined number of continuous frame data And a means for calculating the number of undetected times when a digital watermark is not detected, and a means for determining alteration to the predetermined number of frame data based on the detected regularity information and the number of undetected times. A digital watermark detection apparatus.
前記検出手段は、該規則性情報として埋め込まれた、順序性のあるシーケンシャル情報又はタイムコードを検出することを特徴とする請求項1の電子透かし検出装置。 The digital watermark detection apparatus according to claim 1, wherein the detection unit detects sequential information or a time code having order and embedded as the regularity information. 予め定められた第1の所定数の連続したフレームデータに該規則性情報が電子透かしにより埋め込まれ、更に、予め定められた第2の所定数の連続したフレームデータに付加情報が電子透かしにより埋め込まれており、
前記検出手段は、該規則性情報及び該付加情報を検出することを特徴とする請求項1又は2の電子透かし検出装置。
The regularity information is embedded in a predetermined first predetermined number of continuous frame data with a digital watermark, and additional information is embedded in a predetermined second predetermined number of continuous frame data with a digital watermark. And
The digital watermark detection apparatus according to claim 1, wherein the detection unit detects the regularity information and the additional information.
前記検出手段は、該フレームデータに該付加情報として予め埋め込まれた、該動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを検出することを特徴とする請求項3の電子透かし検出装置。 4. The digital watermark detection apparatus according to claim 3, wherein the detection unit detects at least one of identification information, position information, and right information of the moving image content embedded in advance as the additional information in the frame data. . 複数のフレームデータで構成される動画コンテンツに埋め込まれた電子透かしをコンテンツ検証装置によって検出する電子透かし検出方法において、
該コンテンツ検証装置が、動画コンテンツを取得するコンテンツ取得部と、電子透かしを検出する透かし情報検出部と、該検出結果の整合性を判断する判定部を有し、
該コンテンツ取得部が電子透かしを埋め込んだ動画コンテンツを取得するステップと、
該透かし情報検出部が、予め定められた所定数の連続したフレームデータから、電子透かしにより予め埋め込まれた規則性情報を検出するステップと、
該透かし情報検出部が、該所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算するステップと、
該判定部が、該検出した規則性情報および未検出回数に基づき該所定数のフレームデータへの改ざんを判定するステップと、
を有することを特徴とする電子透かし検出方法。
In a digital watermark detection method for detecting a digital watermark embedded in a video content composed of a plurality of frame data by a content verification device,
The content verification device includes a content acquisition unit that acquires moving image content, a watermark information detection unit that detects a digital watermark, and a determination unit that determines the consistency of the detection result,
The content acquisition unit acquiring video content embedded with a digital watermark;
The watermark information detecting unit detecting regularity information embedded in advance with a digital watermark from a predetermined number of consecutive frame data;
The watermark information detecting unit calculating the number of undetected times when a digital watermark is not detected from the predetermined number of consecutive frame data;
The determination unit determining whether the predetermined number of frame data has been tampered with based on the detected regularity information and the number of undetected times;
A digital watermark detection method comprising:
該透かし情報検出部が、
該規則性情報として埋め込まれた、順序性のあるシーケンシャル情報又はタイムコードを検出することを特徴とする請求項5の電子透かし検出方法。
The watermark information detection unit
6. The digital watermark detection method according to claim 5, further comprising detecting sequential information or time code embedded in the regularity information.
該透かし情報検出部が、
予め定められた第1の所定数の連続したフレームデータに電子透かしにより埋め込まれた該規則性情報と、予め定められた第2の所定数の連続したフレームデータに電子透かしにより埋め込まれた付加情報とを、電子透かしにより検出することを特徴とする請求項5又は6の電子透かし検出方法。
The watermark information detection unit
The regularity information embedded in a predetermined first predetermined number of continuous frame data with a digital watermark and the additional information embedded in a predetermined second predetermined number of continuous frame data with a digital watermark Are detected by a digital watermark. 7. The digital watermark detection method according to claim 5 or 6, wherein:
該透かし情報検出部が、
該フレームデータに該付加情報として予め埋め込まれた、該動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを検出することを特徴とする請求項7の電子透かし検出方法。
The watermark information detection unit
8. The digital watermark detection method according to claim 7, wherein at least one of identification information, position information, and right information embedded in the frame data in advance as the additional information is detected.
該判定部が、
該規則性情報を含む電子透かしを検出することにより、該動画コンテンツの削除、追加、挿げ替えを検出することを特徴とする請求項5乃至8のいずれかの電子透かし検出方法。
The determination unit
9. The digital watermark detection method according to claim 5, wherein deletion, addition, or replacement of the moving image content is detected by detecting a digital watermark including the regularity information.
該判定部が、
取得された所定数Nのフレームに対して連続するN/2フレームからなるサブセグメントに分割した後、該サブセグメントに検出ウィンドウを設定して、電子透かしを検出し、
該検出ウィンドウから電子透かしを検出したか否かを判定し、
該判定の結果、電子透かしを検出しなかった場合、透かし未検出回数nDを1だけインクリメントした後、映像コンテンツの読み出し位置をそのサブセグメントに隣接したサブセグメントの読み出し箇所に設定して、次の検出ウィンドウの検出処理に移り、
該判定の結果、電子透かしを検出した場合、透かし未検出回数nDを0にセットして、該規則性情報を更新することを特徴とする請求項5の電子透かし検出方法。
The determination unit
After dividing the obtained predetermined number N of frames into sub-segments composed of consecutive N / 2 frames, a detection window is set for the sub-segments to detect a digital watermark,
It is determined whether a digital watermark is detected from the detection window,
If the electronic watermark is not detected as a result of the determination, the watermark non-detection count nD is incremented by 1, and then the reading position of the video content is set to the reading position of the sub-segment adjacent to the sub-segment. Move on to detection process of detection window,
6. The digital watermark detection method according to claim 5, wherein, when a digital watermark is detected as a result of the determination, the regularity information is updated by setting a watermark non-detection count nD to 0.
複数のフレームデータで構成される動画コンテンツに埋め込まれた電子透かしをコンテンツ検証装置によって検出するための電子透かし検出プログラムであって、
該コンテンツ検証装置は、コンテンツ取得部と、透かし情報検出部と、判定部を有し、
該検出プログラムは、
該透かし情報検出部に、予め定められた所定数の連続したフレームデータから、電子透かしにより予め埋め込まれた規則性情報を検出させ、
該透かし情報検出部に、該所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算させ、
該判定部に、該検出した規則性情報および未検出回数に基づき該所定数のフレームデータへの改ざんを判定させること、
を特徴とする電子透かし検出プログラム。
A digital watermark detection program for detecting a digital watermark embedded in a moving image content composed of a plurality of frame data by a content verification device,
The content verification device includes a content acquisition unit, a watermark information detection unit, and a determination unit,
The detection program is:
The watermark information detection unit detects regularity information embedded in advance by a digital watermark from a predetermined number of consecutive frame data,
When the watermark information detection unit does not detect a digital watermark from the predetermined number of consecutive frame data, the number of undetected times is calculated.
Causing the determination unit to determine whether the predetermined number of frame data has been tampered with based on the detected regularity information and the number of undetected times;
A digital watermark detection program.
動画コンテンツを加工するコンテンツ加工装置と、該コンテンツ加工装置とネットワーク
を介して接続され、動画コンテンツの改竄を検知するコンテンツ検証装置を含むシステムにおいて、
該コンテンツ加工装置は、
外部または内部から規則性情報を取得する手段と、該動画コンテンツの予め定められた所定数の連続したフレームデータに、該取得された該規則性情報を電子透かしにより埋め込む手段とを有し、
該コンテンツ検証装置は、
該動画コンテンツの予め定められた所定数の連続したフレームデータから該規則性情報を電子透かしにより検出する検出手段と、
該所定数の連続したフレームデータから、電子透かしが検出されない場合に、未検出回数を計算する手段と、
検出した該規則性情報および該未検出回数に基づいて該所定数のフレームデータへの改ざんを判定する手段と、を有することを特徴とする動画コンテンツの改竄検証システム。
In a system including a content processing device that processes video content, and a content verification device that is connected to the content processing device via a network and detects falsification of the video content,
The content processing apparatus
Means for acquiring regularity information from the outside or the inside, and means for embedding the obtained regularity information in a predetermined number of consecutive frame data of the moving image content with a digital watermark;
The content verification device includes:
Detection means for detecting the regularity information from a predetermined number of consecutive frame data of the moving image content by digital watermark;
Means for calculating the number of undetected times when a digital watermark is not detected from the predetermined number of consecutive frame data;
A tampering verification system for moving image content, comprising: means for determining tampering with the predetermined number of frame data based on the detected regularity information and the undetected number of times.
前記埋め込む手段は、予め定められた第1の所定数の連続したフレームデータに該規則性情報を電子透かしにより埋め込み、更に、予め定められた第2の所定数の連続したフレームデータに付加情報を電子透かしにより埋め込むことを特徴とする請求項12の改竄検証システム。 The embedding means embeds the regularity information in a predetermined first predetermined number of continuous frame data with a digital watermark, and further adds additional information to a predetermined second predetermined number of continuous frame data. 13. The falsification verification system according to claim 12, wherein the falsification verification system is embedded with a digital watermark. 前記埋め込む手段は、該規則性情報として、順序性のあるシーケンシャル情報又はタイムコードを埋め込み、
前記検出手段は、該シーケンシャル情報又はタイムコードを検出することを特徴とする請求項12乃至13のいずれかの改竄検証システム。
The embedding means embeds sequential sequential information or time code as the regularity information,
14. The falsification verification system according to claim 12, wherein the detection unit detects the sequential information or the time code.
前記埋め込む手段は、該付加情報として、該動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを埋め込み、
前記検出手段は、該付加情報として埋め込まれた該動画コンテンツの識別情報、位置情報、権利情報の少なくとも1つを検出することを特徴とする請求項12乃至14のいずれかの改竄検証システム。
The embedding means embeds at least one of identification information, position information, and right information of the video content as the additional information,
15. The falsification verification system according to claim 12, wherein the detection unit detects at least one of identification information, position information, and right information of the moving image content embedded as the additional information.
JP2011172502A 2011-08-08 2011-08-08 Video content alteration detection device and system Active JP4948667B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011172502A JP4948667B2 (en) 2011-08-08 2011-08-08 Video content alteration detection device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011172502A JP4948667B2 (en) 2011-08-08 2011-08-08 Video content alteration detection device and system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006268312A Division JP2008090438A (en) 2006-09-29 2006-09-29 Falsification detection device and system for moving image content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012020432A Division JP5111671B2 (en) 2012-02-02 2012-02-02 Video content alteration detection device and system

Publications (2)

Publication Number Publication Date
JP2012014711A JP2012014711A (en) 2012-01-19
JP4948667B2 true JP4948667B2 (en) 2012-06-06

Family

ID=45600984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011172502A Active JP4948667B2 (en) 2011-08-08 2011-08-08 Video content alteration detection device and system

Country Status (1)

Country Link
JP (1) JP4948667B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102086514B1 (en) 2012-07-16 2020-03-09 엘지전자 주식회사 Method and apparatus for processing digital service signals
CN107995384A (en) * 2017-11-23 2018-05-04 晨星半导体股份有限公司 Video tamper resistant method, video capture equipment and video verification method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004364263A (en) * 2003-05-14 2004-12-24 Matsushita Electric Ind Co Ltd Information embedding apparatus and method, tampering detecting apparatus and method, and recording medium

Also Published As

Publication number Publication date
JP2012014711A (en) 2012-01-19

Similar Documents

Publication Publication Date Title
JP2008090438A (en) Falsification detection device and system for moving image content
EP1652383B1 (en) Content identification for broadcast media
US9396376B1 (en) Enhanced quick response codes
CN102144237B (en) Efficient watermarking approaches of compressed media
US8146157B2 (en) Method and apparatus for secure transport and storage of surveillance video
CN107645511B (en) Electronic evidence curing method, system and equipment
JP5807537B2 (en) Verification method, verification apparatus, and verification program
JP2007027920A (en) Program, system and method for verifying electronic image data
JP2006311548A (en) Method for securing integrity of image set
CN108462692B (en) Block chain-based data tamper-proof system and method thereof
US20120163654A1 (en) Method and system for tracking illegal distributor and preventing illegal content distribution
US20120078864A1 (en) Electronic data integrity protection device and method and data monitoring system
JP5111671B2 (en) Video content alteration detection device and system
CN104063731A (en) Two-dimension code anti-counterfeiting printing and verification method adopting digital watermark technology
CN106982372B (en) Image processing method and apparatus
US20200278948A1 (en) Method, apparatus and system for managing electronic fingerprint of electronic file
JP4948667B2 (en) Video content alteration detection device and system
US10891702B2 (en) Duplicate image evidence management system for verifying authenticity and integrity
JP4750133B2 (en) Digital watermark embedding device, digital watermark detection device, and digital watermark system
CN109246376B (en) Anti-counterfeiting electronic signature method and electronic signature device thereof
US8306268B2 (en) Method and system for image integrity determination
JP4731000B2 (en) Data reproducing apparatus and data reproducing method
WO2017128788A1 (en) Sharing method and sharing system of wifi password
US8745399B2 (en) Method for sharing and updating key using watermark
JP2019205140A (en) Imaging apparatus, information processing apparatus, generation method, and verification method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4948667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250