JP5193124B2 - Digital watermark embedding method and apparatus - Google Patents

Digital watermark embedding method and apparatus Download PDF

Info

Publication number
JP5193124B2
JP5193124B2 JP2009104871A JP2009104871A JP5193124B2 JP 5193124 B2 JP5193124 B2 JP 5193124B2 JP 2009104871 A JP2009104871 A JP 2009104871A JP 2009104871 A JP2009104871 A JP 2009104871A JP 5193124 B2 JP5193124 B2 JP 5193124B2
Authority
JP
Japan
Prior art keywords
input
watermark
information
segment
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009104871A
Other languages
Japanese (ja)
Other versions
JP2010258645A (en
Inventor
隆亮 山田
由泰 高橋
隆冬 丹羽
稔 宇留島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Control Solutions Ltd
Original Assignee
Hitachi Information and Control Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Control Solutions Ltd filed Critical Hitachi Information and Control Solutions Ltd
Priority to JP2009104871A priority Critical patent/JP5193124B2/en
Publication of JP2010258645A publication Critical patent/JP2010258645A/en
Application granted granted Critical
Publication of JP5193124B2 publication Critical patent/JP5193124B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、デジタルコンテンツに情報を埋め込む電子透かし技術に関し、その電子透かし埋め込み方法及び装置に関する。   The present invention relates to a digital watermark technique for embedding information in digital content, and to a digital watermark embedding method and apparatus.

不正に利用されうるコンテンツの著作権保護や身元確認が可能な技術の一つとして、電子透かし技術がある。電子透かし技術は、コンテンツを微少に変更することによって、見た目に分からないように識別情報などの任意の情報をコンテンツの中に埋め込み、検出する技術である。埋め込んだ情報は、フォーマット変換などの処理を経た後でも、検出できるため、コンテンツの著作権主張、流通経路追跡、真正性証明などに応用できる。例えば、電子透かしを用いて映像の再生時刻の異変を検知する方法が、特許文献１、非特許文献１に開示されている。このように、電子透かしを真正性証明に用いるためには、コンテンツにタイムコードなどの真正性情報を埋め込んでおき、これを検出して整合性を確認することによって、改ざんの有無が検知可能となる。   There is a digital watermark technology as one of the technologies capable of protecting the copyright and verifying the identity of content that can be used illegally. The digital watermark technique is a technique for embedding and detecting arbitrary information such as identification information in the content so that the content is not apparent by changing the content slightly. Since the embedded information can be detected even after processing such as format conversion, it can be applied to content copyright claims, distribution channel tracking, authenticity certification, and the like. For example, Patent Document 1 and Non-Patent Document 1 disclose a method for detecting a change in the reproduction time of a video using a digital watermark. In this way, in order to use the digital watermark for authenticity certification, it is possible to detect the presence or absence of tampering by embedding authenticity information such as a time code in the content, and detecting this to confirm consistency. Become.

しかし、電子透かし技術の対象となるコンテンツには、動画、静止画、音などがある。これらのデータはデータサイズが大きいため、電子透かし埋め込み処理には、多くの処理時間が必要であった。   However, there are moving images, still images, sounds, and the like as contents targeted for the digital watermark technology. Since these data have a large data size, the digital watermark embedding process requires a lot of processing time.

電子透かしの埋め込み速度の高速化に係わる技術として、例えば、特許文献２、特許文献３、特許文献４がある。   For example, there are Patent Document 2, Patent Document 3, and Patent Document 4 as techniques related to increasing the watermark embedding speed.

特許文献２は、「コンテンツデータへの電子透かし情報の埋め込み処理を、予備処理と本処理との２つに分ける。予備処理では、コンテンツに対して埋め込み可能性分析処理を行い、許容変化レベルを示す埋め込み強度マップを作成、保持する。本処理では、埋め込み強度マップに示されている当該部位での特徴値の許容変化レベルと当該ビットのビット値とに応じて定まる変化量分、変化させることで、当該電子透かし情報をコンテンツへ埋め込む手段」（段落００１５〜００１８）を提供する。   Patent Document 2 states that “the process of embedding digital watermark information in content data is divided into two processes, a preliminary process and a main process. In the preliminary process, an embedding possibility analysis process is performed on content, and an allowable change level is set. The embedding strength map to be shown is created and retained, and in this process, the amount of change determined according to the allowable change level of the feature value at the relevant part indicated in the embedding strength map and the bit value of the bit is changed. The means for embedding the digital watermark information in the content "(paragraphs 0015 to 0018) is provided.

特許文献３は、「電子透かしの埋め込み情報を生成するステップと、当該コンテンツから一定時間長毎に所定長のコンテンツ要素を抽出し、当該コンテンツ要素１つに対して、ｍ種類（ｍは１以上の整数）の電子透かしを埋め込み、ｍ種類のコンテンツ要素を生成するステップと、前記電子透かしの埋め込み情報に基づいて、当該コンテンツと電子透かしを埋め込んだコンテンツ要素を組み合わせて、１つのコンテンツを生成するステップを有する」（段落００２３）手段を提供する。さらに、特許文献２は、「コンテンツに依存しないｍ種類の電子透かしパターンを電子透かし埋め込みに先立って予め生成」（段落００５１）する手段を提供する。   Patent Document 3 states that “a step of generating digital watermark embedding information, a content element having a predetermined length is extracted from the content every predetermined time length, and m types (m is 1 or more) for each content element. (N) is embedded to generate m types of content elements, and based on the embedded information of the digital watermark, the content and the content element embedded with the digital watermark are combined to generate one content. Steps "(paragraph 0023) are provided. Furthermore, Patent Document 2 provides means for “generating in advance m types of digital watermark patterns that do not depend on content prior to digital watermark embedding” (paragraph 0051).

特許文献４は、「透かし情報の埋め込み対象となるコンテンツ情報が備える動画とし
ての性質を考慮して変更個所と変更強度を最適化するために必要な動きベクトルと変動量を検出する処理をMPEG等の圧縮処理と共用することで、一連の処理の負荷を減らす技術」（段落００１０）を提供する。 Patent Document 4 states, “MPEG is a process for detecting a motion vector and a fluctuation amount necessary for optimizing a change portion and a change intensity in consideration of a property as a moving image included in content information to be embedded with watermark information. The technology for reducing the load of a series of processing by sharing with the compression processing (paragraph 0010) is provided.

特開２００３−２５９３１４号公報JP 2003-259314 A 特開２００２−０２７２２５号公報JP 2002-027225 A 特開２００７−２０７０５１号公報JP 2007-207051 A 特開２００４−０４８２１９号公報JP 2004-048219 A

Ｔａｋａａｋｉ Ｙａｍａｄａ， Ｙｏｓｈｉｙａｓｕ Ｔａｋａｈａｓｈｉ， Ｙａｓｕｈｉｒｏ Ｆｕｊｉｉ， Ｒｙｕ Ｅｂｉｓａｗａ， Ｈｉｒｏｓｈｉ Ｙｏｓｈｉｕｒａ ａｎｄ Ｉｓａｏ Ｅｃｈｉｚｅｎ： “Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｉｎｔｅｇｒｉｔｙ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ｕｓｉｎｇ Ｄｉｇｉｔａｌ Ｗａｔｅｒｍａｒｋｉｎｇ”， ｉｎ ｂｏｏｋ ｃｈａｐｔｅｒ ｏｆ Ｇｅｏｒｇｅ Ａ．Ｔｓｉｈｒｉｎｔｚｉｓ， Ｍａｒｉａ Ｖｉｒｖｏｕ， Ｒｏｂｅｒｔ Ｊ．Ｈｏｗｌｅｔｔ， Ｌａｋｈｍｉ Ｃ．Ｊａｉｎ（Ｅｄｓ．） Ｎｅｗ Ｄｉｒｅｃｔｉｏｎｓ ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｔｅｒａｃｔｉｖｅ Ｍｕｌｔｉｍｅｄｉａ， Ｓｔｕｄｉｅｓ ｉｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｖｏｌ．１４２， Ｓｐｒｉｎｇｅｒ， ｐｐ．３６３−３７２（２００８）Takaaki Yamada, Yoshiyasu Takahashi, Yasuhiro Fujii, Ryu Ebisawa, Hiroshi Yoshiura and Isao Echizen: "Evaluation of Integrity Verification System for Video Content Using Digital Watermarking", in book chapter of George A. Tsihrintzis, Maria Virvou, Robert J. et al. Howlett, Lakhmi C. et al. Jain (Eds.) New Directions in Intelligent Interactive Multimedia, Studies in Computational Intelligence Vol. 142, Springer, pp. 363-372 (2008)

特許文献２、特許文献３は、１個のコンテンツに繰り返してｎ種類の識別情報を埋め込むことにより、ｎ個の異なる透かし埋め込みコンテンツを得る場合に有効な方式である。特許文献４は、１個のコンテンツに、１種類の識別情報を埋め込んで、１個の透かし埋め込みコンテンツを得る場合に有効な方式である。しかし、１個のコンテンツに、ｎ種類の識別情報を埋め込んで、１個の透かし埋め込みコンテンツを得る場合の対応方法については触れられていない。   Patent Documents 2 and 3 are effective methods for obtaining n different watermark embedded contents by repeatedly embedding n types of identification information in one content. Patent Document 4 is an effective method for obtaining one watermark embedded content by embedding one type of identification information in one content. However, there is no mention of a corresponding method in the case of obtaining one watermark embedded content by embedding n types of identification information in one content.

従来の電子透かし埋め込み高速化方法は、埋め込む情報が固定的であることを前提として、電子透かし埋め込み処理の一部を前処理としてあらかじめ実行しておき、以後の処理で前処理の演算結果だけを利用することにより、システム全体としての高速化を実現している。その前処理の例としては、特許文献２では埋め込み可能性分析処理、特許文献３では透かしパターン生成処理、特許文献４では動きベクトルと変動量の検出処理、である。しかし、映像ストリームに埋め込む情報を一定であると、電子透かしの強度が弱いので、埋め込む情報を変化させることが望ましい。電子透かしとして埋め込む情報を変化させると、これらの従来技術の前提が成立しなくなるため、従来技術では電子透かしの埋め込み処理を高速化できない。   In the conventional digital watermark embedding speed-up method, assuming that the information to be embedded is fixed, a part of the digital watermark embedding process is executed in advance as a preprocess, and only the calculation result of the preprocess is obtained in the subsequent processes. By using it, the speed of the entire system is increased. Examples of the pre-processing include embeddability analysis processing in Patent Literature 2, watermark pattern generation processing in Patent Literature 3, and motion vector and variation detection processing in Patent Literature 4. However, if the information to be embedded in the video stream is constant, the strength of the digital watermark is weak, so it is desirable to change the information to be embedded. If the information to be embedded as a digital watermark is changed, the premise of these prior arts is not satisfied, so that the digital watermark embedding process cannot be accelerated.

本発明は、逐次的にかつ規則的に変化する変化情報を電子透かしとして映像、音などのコンテンツに埋め込む、電子透かし埋め込み方法及び装置を提供する。   The present invention provides a digital watermark embedding method and apparatus that embeds change information that changes sequentially and regularly in content such as video and sound as a digital watermark.

本発明の態様は、映像をキャプチャーし、画像フレームとして入力し、入力画像フレームに電子透かしを埋め込んだ画像フレームを出力するビデオ入出力ボードと、電子透かしのパターンを透かしパターンとして格納するメモリとを備えた電子透かし埋め込み装置及びその電子透かし埋め込み方法であって、逐次的にかつ規則的に変化する変化情報に対応して、透かしパターンを生成し、生成した透かしパターンをメモリに格納し、ビデオ入出力ボードからの入力画像フレームに対応する変化情報をキーとして、透かしパターンを検索し、検索した透かしパターンを入力画像フレームに電子透かしとして埋め込んだ画像フレームを前記ビデオ入出力ボードに出力する。   An aspect of the present invention includes a video input / output board that captures a video, inputs it as an image frame, outputs an image frame in which a digital watermark is embedded in the input image frame, and a memory that stores the digital watermark pattern as a watermark pattern. A digital watermark embedding apparatus and a digital watermark embedding method provided for generating a watermark pattern corresponding to change information that changes sequentially and regularly, storing the generated watermark pattern in a memory, Using the change information corresponding to the input image frame from the output board as a key, a watermark pattern is searched, and an image frame in which the searched watermark pattern is embedded as an electronic watermark in the input image frame is output to the video input / output board.

本発明の他の態様は、逐次的にかつ規則的に変化する変化情報は時刻情報であり、透かしパターンを検索するキーは、ビデオ入出力ボードから入力した入力画像フレームを処理する現在時刻情報を含む。   In another aspect of the present invention, change information that changes sequentially and regularly is time information, and a key for searching for a watermark pattern includes current time information for processing an input image frame input from a video input / output board. Including.

本発明のさらに他の態様は、変化情報が位置情報である。   In still another aspect of the present invention, the change information is position information.

本発明のさらに他の態様は、透かしパターンを格納するメモリはオンメモリＤＢである。   In another aspect of the present invention, the memory for storing the watermark pattern is an on-memory DB.

本発明のさらに他の態様は、映像をキャプチャーし、画像フレームとして入力し、入力画像フレームに電子透かしを埋め込んだ画像フレームを出力するビデオ入出力ボードと、電子透かしのパターンを透かしパターンとして格納するバッファメモリと、第１および第２のＣＰＵを備え、第１のＣＰＵは、逐次的にかつ規則的に変化する変化情報に対応して、透かしパターンをに生成し、生成した透かしパターンをバッファメモリに格納し、第２のＣＰＵは、ビデオ入出力ボードからの入力画像フレームの入力に対応して、バッファメモリから透かしパターンを入力し、入力した透かしパターンを入力画像フレームに電子透かしとして埋め込んだ画像フレームをビデオ入出力ボードに出力する。   According to still another aspect of the present invention, a video input / output board that captures a video, inputs it as an image frame, and outputs an image frame in which a digital watermark is embedded in the input image frame, and stores the digital watermark pattern as a watermark pattern The first CPU includes a buffer memory and first and second CPUs. The first CPU generates a watermark pattern corresponding to change information that changes sequentially and regularly, and the generated watermark pattern is stored in the buffer memory. The second CPU inputs the watermark pattern from the buffer memory in response to the input image frame input from the video input / output board, and embeds the input watermark pattern in the input image frame as a digital watermark. Output the frame to the video input / output board.

本発明のさらに、コンテンツの例は映像コンテンツであり、その具体的な態様は次のとおりである。   A further example of the content of the present invention is video content, and its specific mode is as follows.

［システム準備］
埋め込む情報が変化する場合においても、タイムコードのように変化の仕方が規則的であり予測可能な場合には、事前に算出可能である。そこで、すべてのタイムコード（例えば１００年分など）を事前に予測し、これに対応する透かしパターンを事前に計算しておくことにより、計算した透かしパターンをデータベース（ＤＢ）に安全に格納しておく。これを透かしパターンＤＢと呼ぶ。透かしパターンＤＢは、システムインストール時など事前に生成あるいは安全に配布する。 [System preparation]
Even when the information to be embedded changes, if the manner of change is regular and predictable, such as a time code, it can be calculated in advance. Therefore, by predicting all time codes (for example, for 100 years) in advance and calculating the corresponding watermark pattern in advance, the calculated watermark pattern can be safely stored in the database (DB). deep. This is called a watermark pattern DB. The watermark pattern DB is generated in advance or securely distributed at the time of system installation.

［電子透かし埋め込みの前処理］
電子透かし埋め込みシステム起動時に、透かしパターンＤＢを安全にメモリに読み込む。 [Pre-processing of digital watermark embedding]
When the digital watermark embedding system is activated, the watermark pattern DB is safely read into the memory.

［電子透かし埋め込みの後処理］
ユーザ指示によって、映像が入力され始めると、タイムコードの埋め込み処理を、映像フレームごとの逐次処理として行う。ここで、埋め込み時には、現在時刻に対応するタイムコードの値をキーとしてＤＢ検索し、これに対応する透かしパターンを得る。タイムコードの埋め込み処理は、入力画像と透かしパターンの重畳処理として行う。 [Post-processing of digital watermark embedding]
When a video starts to be input according to a user instruction, the time code embedding process is performed as a sequential process for each video frame. Here, at the time of embedding, a DB search is performed using a time code value corresponding to the current time as a key, and a watermark pattern corresponding to this is obtained. The time code embedding process is performed as a process for superimposing the input image and the watermark pattern.

［システム運用］
透かしが埋め込まれた映像を録画機や配信設備などに出力する。録画された映像、あるいは、別の媒体上にフォーマット変換された映像の中から、埋め込まれた情報を検出することにより、連続するタイムコードの整合性を検証する。すなわち、映像に改ざんがあったかどうかを判定する。 [System operation]
Video with embedded watermark is output to a recorder or distribution facility. The integrity of continuous time codes is verified by detecting embedded information from recorded video or video that has been format-converted on another medium. That is, it is determined whether or not the video has been tampered with.

この態様によれば、タイムコードの埋め込み処理は、高速に実行可能となる。   According to this aspect, the time code embedding process can be executed at high speed.

さらに、映像入力に対して、リアルタイム処理でタイムコード埋め込みができるため、映像出力を録画機などに接続することにより、映像記録システムや映像配信システムを容易に構成できる。   Furthermore, since the time code can be embedded in the video input by real-time processing, the video recording system and the video distribution system can be easily configured by connecting the video output to a recorder or the like.

さらに、タイムコード以外にも、車載カメラにおけるＧＰＳ情報など、変化情報を逐次映像に埋め込むことができる。   Further, in addition to the time code, change information such as GPS information in the in-vehicle camera can be sequentially embedded in the video.

さらに、映像以外にも、会議録音における音声データを対象としても、変化情報を逐次映像に埋め込むことができる。   In addition to video, change information can be sequentially embedded in video even for audio data in conference recording.

本発明によれば、タイムコードなどの逐次的にかつ規則的に変化する変化情報を映像、音などのコンテンツに電子透かしとして埋め込むので、電子透かしの埋め込み処理が高速化する。   According to the present invention, change information that changes sequentially and regularly, such as a time code, is embedded as a digital watermark in content such as video and sound, so that the digital watermark embedding process is accelerated.

第１の実施例における、電子透かし埋め込み装置の構成図である。It is a block diagram of the digital watermark embedding apparatus in the first embodiment. 電子透かし埋め込み、検出処理の概要と透かしパターンの概念を説明する図である。It is a figure explaining the outline | summary of a digital watermark embedding and a detection process, and the concept of a watermark pattern. 電子透かし埋め込み装置を含めたシステムの運用例である。It is an operation example of a system including a digital watermark embedding device. 改ざん検知の概要を示す説明図である。It is explanatory drawing which shows the outline | summary of tampering detection. 電子透かしとしてのタイムコードの埋め込みの概要を示す説明図である。It is explanatory drawing which shows the outline | summary of embedding of the time code as a digital watermark. 埋め込み情報と録画機の同期についての説明図である。It is explanatory drawing about the synchronization of embedding information and a video recorder. 電子透かしとしてタイムコード情報を埋め込む重畳処理部のＰＡＤである。It is a PAD of a superimposition processing unit that embeds time code information as a digital watermark. Ｎフレーム埋め込み処理のＰＡＤである。This is a PAD of N frame embedding processing. 映像コンテンツの改ざん検知処理のＰＡＤである。This is a PAD for alteration detection processing of video content. 改ざん行為の種類を特定する検出結果診断処理のＰＡＤである。It is a PAD of a detection result diagnosis process that identifies the type of tampering action. 透かしパターンＤＢのフィールド構造の説明図である。It is explanatory drawing of the field structure of watermark pattern DB. 透かしパターンＤＢを生成する処理のＰＡＤである。It is PAD of the process which produces | generates watermark pattern DB. 第２の実施例における電子透かし埋め込み装置の構成図である。It is a block diagram of the electronic watermark embedding apparatus in a 2nd Example. 第３の実施例における電子透かし埋め込み装置の構成図である。It is a block diagram of the digital watermark embedding apparatus in a 3rd Example. 第３の実施例における電子透かし埋め込みにおけるタイミングチャートである。It is a timing chart in the digital watermark embedding in the third embodiment.

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted.

本実施形態に係わる装置は、図示していない、インターネットなどのネットワークで接続されていて、互いにデータを送受信できる。また、各装置は、可搬媒体を用いて、データをやり取りしてもよい。以下に説明する各装置における処理は、メモリ、ＣＰＵ、ディスク、入出力装置を備えた、パソコンなど一般的な情報処理装置上で、入出力や画像処理などを制御するプログラムを実行することにより具現化される各処理部が実行する。プログラムは予め、各装置の記憶装置に格納されていても良いし、必要なときに、入出力装置と各装置が利用可能な媒体を介して、他の装置から上記記憶装置に導入されてもよい。媒体とは、たとえば、入出力装置に着脱可能な記憶媒体、または通信媒体（すなわち、インターネットなどのネットワークまたはネットワークを伝搬する搬送波やディジタル信号）を指す。また、以下に説明する電子透かし埋め込み装置と録画機、再生機、電子透かし検出装置が同一の情報処理装置上に構成されてもよい。   The apparatuses according to the present embodiment are connected via a network such as the Internet (not shown) and can transmit and receive data to and from each other. Each device may exchange data using a portable medium. The processing in each device described below is realized by executing a program for controlling input / output and image processing on a general information processing device such as a personal computer having a memory, a CPU, a disk, and an input / output device. Each processing unit to be executed executes. The program may be stored in advance in the storage device of each device, or may be introduced into the storage device from another device via an input / output device and a medium that can be used by each device when necessary. Good. The medium refers to, for example, a storage medium that can be attached to and detached from the input / output device, or a communication medium (that is, a network such as the Internet or a carrier wave or a digital signal that propagates through the network). In addition, the digital watermark embedding device, the recorder, the playback device, and the digital watermark detection device described below may be configured on the same information processing device.

実施例１〜３は、動画像(映像)をコンテンツとし、タイムコードを埋め込み、検出する電子透かし埋め込み検出システムについて説明する。   Embodiments 1 to 3 will describe a digital watermark embedding detection system that uses a moving image (video) as content and embeds and detects a time code.

なお、これらの実施形態で対象とするコンテンツも動画に限らず、音など別種のデータを対象としてもよい。   Note that the content targeted in these embodiments is not limited to moving images, but may be other types of data such as sound.

図１に、第１の実施例における電子透かし埋め込みを実現する電子透かし埋め込み装置の構成図を示す。   FIG. 1 shows a configuration diagram of a digital watermark embedding apparatus for realizing digital watermark embedding in the first embodiment.

カメラ１０１、ＰＣ１０２、録画機１０３を映像信号線によって接続し、時刻情報源１０４とネットワーク接続する。カメラ１０１の代わりに、映像信号を送り出す再生機、録画再生機、放送受信機、映像配信設備などを用いてもよい。録画機１０３の代わりに、映像再生機、映像モニタ、放送送信機、映像配信設備などを用いてもよい。時刻情報源１０４は更に上位の認証機関などと接続して、信頼性の高い時刻情報を送受信してもよい。送信された時刻情報と同送されたタイムスタンプ証明書を用いて、時刻の正当性、真正性の検証をしてもよい。時刻情報源１０４にＧＰＳ機能、ＧＰＳアンテナを備え、ＧＰＳ受信波に含まれる時刻情報を用いてもよい。時刻情報源１０４の代わりにＰＣ１０２内のタイマ１０８を用いてもよいし、時刻情報源１０４を参照して、ＰＣ１０２内のタイマ１０３の調整を行っても良い。   The camera 101, the PC 102, and the recorder 103 are connected by a video signal line and connected to the time information source 104 via a network. Instead of the camera 101, a playback device, a recording / playback device, a broadcast receiver, a video distribution facility, or the like that sends out a video signal may be used. Instead of the recorder 103, a video player, video monitor, broadcast transmitter, video distribution facility, or the like may be used. The time information source 104 may be connected to a higher-level certificate authority or the like to transmit and receive highly reliable time information. The validity and authenticity of the time may be verified using the time stamp certificate sent together with the transmitted time information. The time information source 104 may include a GPS function and a GPS antenna, and time information included in the GPS reception wave may be used. The timer 108 in the PC 102 may be used instead of the time information source 104, or the timer 103 in the PC 102 may be adjusted with reference to the time information source 104.

ＰＣ１０２には、ビデオ入出力ボード１１１、タイマ１０８を備え、さらに、メモリ上に搭載した、（１）透かしパターン構築処理部１１４、（２）電子透かし埋め込み処理部１１２、（３）ディスク管理処理部１１３の３つの処理部を備える。ディスク管理処理部１１３は全体または一部をディスク装置上に搭載してもよい。さらに、鍵１０６と証明書１０７を耐タンパ領域に安全に格納した、着脱可能な可搬媒体１０５を備える。   The PC 102 includes a video input / output board 111 and a timer 108, and further includes (1) a watermark pattern construction processing unit 114, (2) a digital watermark embedding processing unit 112, and (3) a disk management processing unit mounted on a memory. Three processing units 113 are provided. The disk management processing unit 113 may be entirely or partially mounted on the disk device. Furthermore, a removable portable medium 105 that securely stores the key 106 and the certificate 107 in the tamper-resistant area is provided.

ビデオ入出力ボード１１１は、カメラ１０１から入力された映像信号を入力映像１０９として、連続的にキャプチャし、電子透かし埋め込み処理部１１２にキャプチャーした映像フレーム１２３を送出する。さらに、ビデオ入出力ボード１１１は、電子透かし埋め込み処理部１１２で処理した映像フレーム１２４を受け取り、出力映像１１０として録画機１０３に出力する。入力映像１０９と出力映像１１０は同期し、カメラ１０１から入力された入力映像１０９に電子透かしが埋め込まれた後に、録画機１０３に出力される。画像に伴い音も同様に処理される。   The video input / output board 111 continuously captures the video signal input from the camera 101 as the input video 109, and sends the captured video frame 123 to the digital watermark embedding processing unit 112. Further, the video input / output board 111 receives the video frame 124 processed by the digital watermark embedding processing unit 112 and outputs it to the recorder 103 as the output video 110. The input video 109 and the output video 110 are synchronized, and an electronic watermark is embedded in the input video 109 input from the camera 101, and then output to the recorder 103. Sound is processed in the same way with the image.

（１）透かしパターン構築処理部１１４は、さらに鍵設定処理１１５、時刻設定処理１１６、透かしパターン生成処理１１６の３つの処理部を備える。鍵設定処理部１１５は、可搬媒体１０５に格納された鍵１０６と証明書１０７を読み込み、可搬媒体１０５が正規の媒体であり、利用者が正規の利用者であり、電子透かし埋め込み装置のコアとなるＰＣ１０２が正規の装置であることの相互認証、すなわち、プロダクト認証（媒体の認証）、ユーザ認証(利用者の認証)、機器認証（ＰＣ１０２の認証）を実行する。それぞれの証明書を用意してもよいし、単一の証明書で一括認証してもよい。証明書の検証のために、ネットワークを介して外部の検証装置に照会してもよい。時刻設定処理部１１６は、時刻情報源１０４あるいはタイマ１０８からの時刻情報を用いて時刻を設定する。透かしパターン生成処理部１１６は、現在の時刻情報、あるいはユーザによって指定された時刻情報に応じたタイムコード情報に対応する透かしパターンを生成する。時刻情報（タイムコード）を含むタイムコード情報については後述する。鍵設定処理部１１５が読み込んだ鍵１０６を用いて、生成した透かしパターンを暗号化してもよい。透かしパターンの暗号化鍵を、可搬媒体上の鍵１０６を用いて暗号化してＤＢ格納してもよいし、鍵１０６を直接用いてもよい。暗号化方式は、共通鍵暗号、置換、ＩＤベース暗号などによる。透かしパターン生成処理部１１６が生成した透かしパターン、あるいは暗号化された透かしパターンは、ディスク管理処理部１１３に出力する。   (1) The watermark pattern construction processing unit 114 further includes three processing units: a key setting process 115, a time setting process 116, and a watermark pattern generation process 116. The key setting processing unit 115 reads the key 106 and the certificate 107 stored in the portable medium 105, the portable medium 105 is a regular medium, the user is a regular user, and the digital watermark embedding device Mutual authentication that the core PC 102 is a legitimate device, that is, product authentication (medium authentication), user authentication (user authentication), and device authentication (PC 102 authentication) is executed. Each certificate may be prepared, or a single certificate may be used for batch authentication. For verification of the certificate, an external verification device may be inquired via the network. The time setting processing unit 116 sets the time using the time information from the time information source 104 or the timer 108. The watermark pattern generation processing unit 116 generates a watermark pattern corresponding to time code information corresponding to current time information or time information designated by the user. Time code information including time information (time code) will be described later. The generated watermark pattern may be encrypted using the key 106 read by the key setting processing unit 115. The watermark pattern encryption key may be encrypted using the key 106 on the portable medium and stored in the DB, or the key 106 may be used directly. The encryption method is based on common key encryption, replacement, ID-based encryption, or the like. The watermark pattern generated by the watermark pattern generation processing unit 116 or the encrypted watermark pattern is output to the disk management processing unit 113.

（２）ディスク管理処理部１１３は、現在時刻あるいはユーザによって指定された未来の時刻に応じて生成された透かしパターン、あるいは、暗号化された透かしパターンを受け取り、透かしパターンＤＢ１１７に登録する。透かしパターンＤＢ１１７は、タイムコード情報に対応して透かしパターンを格納する。アクセス制御部１１８は、鍵設定処理部１１５が読み込んだ証明書１０７を検証処理１１９を経て、透かしパターンＤＢ１１７へアクセスする。   (2) The disk management processing unit 113 receives a watermark pattern generated according to the current time or a future time designated by the user, or an encrypted watermark pattern, and registers it in the watermark pattern DB 117. The watermark pattern DB 117 stores a watermark pattern corresponding to the time code information. The access control unit 118 accesses the watermark pattern DB 117 through the verification process 119 for the certificate 107 read by the key setting processing unit 115.

（３）電子透かし埋め込み処理部１１２は、入力された映像フレーム１２３に電子透かしを埋め込み、埋め込み後の画像を映像フレーム１２４として出力する。電子透かし埋め込み処理部１１２は、初期化処理部１２０と映像フレーム毎の後処理部１２６とを含む。初期化処理部１２０は、鍵設定処理部１１５が読み込んだ可搬媒体１０５上の鍵１０６と証明書１０７を用いて、機器認証、プロダクト認証、ユーザ認証を行い、透かしパターンＤＢ１１７がディスク装置上にある場合には、アクセス制御部１１８を用いて、高速アクセスが可能なメモリ上の透かしパターンＤＢ１２１（オンメモリＤＢ）として読み込む。透かしパターンＤＢ１２１へのアクセスにおいては、証明書１０７を検証し、アクセス制御を行う。映像フレーム毎の後処理部１２７は、さらに透かしパターン呼び出し処理部１２５と重畳処理部１２６とを含む。映像フレーム毎の後処理１２７では、まずビデオ入出力ボード１１１から映像フレーム１２３を読み込む。次に、透かしパターン呼び出し処理部１２５が、現在の時刻に対応するタイムコード情報を生成して、タイムコード情報をキーとして透かしパターンＤＢ１２１を検索し、対応する透かしパターンを得る。重畳処理１２６は、映像フレーム１２３に検索した透かしパターンを重畳し、電子透かしが埋め込まれた映像フレーム１２４として、ビデオ入出力ボード１１１に出力する。映像フレーム毎の後処理部１２７では、これらの一連の処理をリアルタイムに映像フレームごとに実行する。   (3) The digital watermark embedding processing unit 112 embeds a digital watermark in the input video frame 123 and outputs the embedded image as a video frame 124. The digital watermark embedding processing unit 112 includes an initialization processing unit 120 and a post-processing unit 126 for each video frame. The initialization processing unit 120 performs device authentication, product authentication, and user authentication using the key 106 and the certificate 107 on the portable medium 105 read by the key setting processing unit 115, and the watermark pattern DB 117 is stored on the disk device. In some cases, the access control unit 118 is used to read the watermark pattern DB 121 (on-memory DB) on the memory that can be accessed at high speed. In accessing the watermark pattern DB 121, the certificate 107 is verified and access control is performed. The post-processing unit 127 for each video frame further includes a watermark pattern call processing unit 125 and a superimposition processing unit 126. In post-processing 127 for each video frame, first, the video frame 123 is read from the video input / output board 111. Next, the watermark pattern call processing unit 125 generates time code information corresponding to the current time, searches the watermark pattern DB 121 using the time code information as a key, and obtains a corresponding watermark pattern. The superimposing process 126 superimposes the searched watermark pattern on the video frame 123 and outputs it to the video input / output board 111 as a video frame 124 in which a digital watermark is embedded. The post-processing unit 127 for each video frame executes these series of processes for each video frame in real time.

なお、ディスク管理処理部１１３を設けて、生成した透かしパターンを透かしパターンＤＢ１１７に格納した後に、メモリ上の透かしパターンＤＢ１２１に読み込むように説明したが、生成した透かしパターンを透かしパターンＤＢ１２１に直接(ディスクを介さずに)格納しても良い。   It has been described that the disk management processing unit 113 is provided and the generated watermark pattern is stored in the watermark pattern DB 117 and then read into the watermark pattern DB 121 on the memory. May be stored).

図２は、電子透かし埋め込み、検出処理の概要と透かしパターンの概念を説明する図である。動画コンテンツは複数の映像フレーム（以下、フレームと呼ぶ）から構成される。１枚あるいは複数のフレーム集合に、タイムコード情報２００を含む電子透かしを埋め込むには、タイムコード情報２００に対応する透かしパターン２０１を生成し、入力画像のフレームに生成した透かしパターン２０１を重畳することによって、透かしパターンをフレームへ埋め込む。電子透かし埋め込みコンテンツ２０２は、連続的に全てのフレームに電子透かし埋め込みを施したものである。電子透かし埋め込みコンテンツ２０２に対して、フォーマット変換や圧縮符号化などの画像処理２０３が加わったものが検査対象コンテンツ２０４である。検査対象コンテンツ２０４から透かしパターン２０５を検出し、検出した透かしパターン２０５に対応するタイムコード情報２０６を得る。   FIG. 2 is a diagram for explaining the outline of digital watermark embedding and detection processing and the concept of a watermark pattern. The moving image content is composed of a plurality of video frames (hereinafter referred to as frames). In order to embed a digital watermark including time code information 200 in one or a plurality of frame sets, a watermark pattern 201 corresponding to the time code information 200 is generated, and the generated watermark pattern 201 is superimposed on the frame of the input image. To embed the watermark pattern in the frame. The digital watermark embedded content 202 is obtained by continuously embedding digital watermarks in all frames. The inspection target content 204 is obtained by adding image processing 203 such as format conversion and compression encoding to the digital watermark embedded content 202. A watermark pattern 205 is detected from the inspection target content 204, and time code information 206 corresponding to the detected watermark pattern 205 is obtained.

タイムコードは、例えば、２０００年１月１日午前０時０分０秒などの絶対時刻からの経過時間としての相対値を用いる。タイムコード情報には、セグメント位置、セグメント番号、タイムコード、コンテンツＩＤ、ユーザＩＤ、カメラ番号、装置番号、録画機番号などを含める。映像を所定の時間（例えば１分）単位で、複数のセグメントに分割する。タイムコード情報に含まれるセグメント位置は、映像の真正性証明を行う開始位置、終了位置などのマークを示す。セグメント番号は、映像の真正性証明対象となるセグメント内の通し番号であり、時刻順にインクリメントする。映像が３０ｆｐｓのフレームレートの場合、タイムコードの分解能は１／３０秒でよい。。例えば、分解能が１／３０秒で１０００年分のタイムコードを表現するためには、４０ｂｉｔあれば十分である（３０フレーム×６０秒×６０分×２４時間×３６５日×１０００年 ＝ ９４６、０８０、０００、０００ ＜ ２40）。さらに効率よく少ないビット数で表現するためには可逆圧縮符号化する。タイムコードのデータ量に他のＩＤを含めたタイムコード情報としては、さらに２０〜３０ビットを加えたデータ量を用いる。 As the time code, for example, a relative value as an elapsed time from an absolute time such as midnight on January 1, 2000 is used. The time code information includes a segment position, segment number, time code, content ID, user ID, camera number, device number, recorder number, and the like. The video is divided into a plurality of segments in units of a predetermined time (for example, 1 minute). The segment position included in the time code information indicates marks such as a start position and an end position for authenticating the video. The segment number is a serial number in the segment that is the subject of video authenticity, and is incremented in order of time. If the video has a frame rate of 30 fps, the resolution of the time code may be 1/30 second. . For example, in order to represent a time code for 1000 years with a resolution of 1/30 seconds, 40 bits are sufficient (30 frames × 60 seconds × 60 minutes × 24 hours × 365 days × 1000 years = 946,080). , 000,000 <2 40). Furthermore, lossless compression coding is performed to efficiently represent with a small number of bits. As the time code information including other IDs in the time code data amount, a data amount obtained by adding 20 to 30 bits is used.

図３は、電子透かし埋め込み装置３０１を含めたシステムの運用例である。カメラ１０１から入力された映像は、電子透かし埋め込み装置３０１によって、電子透かしが埋め込まれる。電子透かし埋め込み装置３０１は、図１のＰＣ１０２に可搬媒体１０５を装着し、時刻情報源１０４と接続したものと技術的に等価である。さらに、録画機１０３によって、電子透かし入りの映像が録画され、映像記録媒体３０４に記録される。映像記録媒体３０４に何らかの改ざんの疑惑が生じた場合には、再生機３０２によって、映像記録媒体３０４を再生し、電子透かし検出装置３０３によって、改ざんの有無を検証し、検証結果を出力する。電子透かし検出装置３０３は、図９、図１０を用いて後に説明するように、改ざんを検知する。   FIG. 3 shows an operation example of the system including the digital watermark embedding apparatus 301. A digital watermark is embedded in the video input from the camera 101 by the digital watermark embedding device 301. The digital watermark embedding device 301 is technically equivalent to a device in which the portable medium 105 is mounted on the PC 102 in FIG. 1 and connected to the time information source 104. Further, a video with a digital watermark is recorded by the recorder 103 and recorded on the video recording medium 304. When any alteration of the video recording medium 304 is suspected, the video recording medium 304 is reproduced by the playback device 302, the presence / absence of the alteration is verified by the digital watermark detection device 303, and the verification result is output. The digital watermark detection apparatus 303 detects tampering as will be described later with reference to FIGS. 9 and 10.

図４は、改ざん検知の概要を示す説明図である。映像の改ざんには、削除、挿入、差し替え、複写などがある。挿入や差し替えは、映像に埋め込まれたタイムコードを含む電子透かしの未検出状態により検知する。また、タイムコードを検出しても、再生時刻と照合することにより、タイムコードの整合性を検証できるため、削除や複写を検知する。このようにして、映像に加えられた改ざんを検知する。   FIG. 4 is an explanatory diagram showing an outline of tampering detection. Video alteration includes deletion, insertion, replacement, and copying. Insertion or replacement is detected based on the undetected state of the digital watermark including the time code embedded in the video. Further, even if the time code is detected, the consistency of the time code can be verified by collating with the reproduction time, so deletion or copying is detected. In this way, tampering added to the video is detected.

図５は、電子透かしとしてのタイムコードの埋め込みの概要を示す説明図である。電子透かしはｄ秒間（Ｎ枚）のフレーム集合に対して、同一のタイムコードｔを埋め込む。１フレームごとでもよい。図５において、時刻０のタイムコードｔ1は、時刻０からのＮフレームに対して埋め込み、時刻ｄのタイムコードｔ2は、時刻ｄからのＮフレームに対して埋め込む。 FIG. 5 is an explanatory diagram showing an outline of embedding a time code as a digital watermark. In the digital watermark, the same time code t is embedded in a frame set of d seconds (N frames). It may be every frame. In FIG. 5, the time code t 1 at time 0 is embedded in N frames from time 0, and the time code t 2 at time d is embedded in N frames from time d.

図６は、埋め込み情報と録画機の同期についての説明図である。すでに説明したように、映像を構成する複数のフレームには、時間経過に従って、適切なタイムコード情報が電子透かしとして埋め込まれる。カメラ１０１、電子透かし埋め込み装置３０１、録画機１０３が接続されているとき、これらの機器に同時に電源を投入しても、機器ごとの起動時間の相違によって、適切に同期が取れない。   FIG. 6 is an explanatory diagram regarding the synchronization of the embedded information and the recorder. As described above, appropriate time code information is embedded as a digital watermark in a plurality of frames constituting a video as time elapses. When the camera 101, the digital watermark embedding device 301, and the recorder 103 are connected, even if the power is turned on to these devices at the same time, proper synchronization cannot be achieved due to the difference in the startup time for each device.

図６は、分かり易くするために、１フレームに１つのタイムコードに対応するタイムコード情報を電子透かしとして埋め込む場合を例に、電子透かし埋め込み装置３０１の出力映像のフレームの流れを示している。複数フレームに１つのタイムコードを埋め込む場合もある。電子透かし埋め込み装置３０１において、出力映像の先頭の埋め込み情報（タイムコード情報）は、セグメント位置としてのＯｐｅｎと日時時刻である。その後、所定時間ごとの映像セグメントが並ぶ。各映像セグメントには、セグメント位置はＳｔａｒｔで開始し、セグメント内の通し番号となるセグメント番号ＴＣ１、ＴＣ２、・・・、ＴＣｍ（ここでは、タイムコードを用いている）をセグメント位置として付与し、最後のセグメント位置ではＥｎｄで、一つのセグメントの終了を示す。続けて次の映像セグメントが開始される。電子透かし埋め込み装置３０１の停止時には、出力映像の最後の埋め込み情報が、セグメント位置Ｃｌｏｓｅと日時時刻である。   FIG. 6 shows a frame flow of an output video of the digital watermark embedding apparatus 301 by taking as an example a case where time code information corresponding to one time code is embedded as a digital watermark in one frame for easy understanding. One time code may be embedded in a plurality of frames. In the digital watermark embedding apparatus 301, the embedded information (time code information) at the head of the output video is Open as the segment position and the date and time. Thereafter, video segments are arranged every predetermined time. For each video segment, the segment position starts with Start, and segment numbers TC1, TC2,..., TCm (here, time code is used) as serial numbers in the segment are assigned as segment positions, and the last The end of one segment is indicated by End at the segment position. Subsequently, the next video segment is started. When the digital watermark embedding device 301 is stopped, the last embedding information of the output video is the segment position Close and the date and time.

図６では、録画機１０３の起動が電子透かし埋め込み装置３０１より遅れた場合を図示している。録画開始時の先頭のフレームに埋め込まれたセグメント番号としてのタイムコードはＴＣ３である。このとき、録画された映像として、時刻ＴＣ３以前の映像が存在しないことが正常なのか、削除されたのかを区別できない。後述するように、セグメント位置ＳｔａｒｔとＥｎｄとの両方が含まれているセグメント単位で改ざんを検知する。ＳｔａｒｔとＥｎｄの一方が含まれていない、リードアウト、リードイン領域及びそれらの外側のフレームの改ざんは検知できない。そこで、電子透かし埋め込み装置３０１と録画機１０３との相互通信により、この問題を解消する。録画機１０３は、録画開始可能となる時刻を電子透かし埋め込み装置３０１に連絡する。電子透かし埋め込み装置３０１は、録画開始可能なＴＣ３時点のセグメント番号をセグメント位置Ｏｐｅｎに変更して、出力する。具体的には、セグメント位置がＯｐｅｎであり、日時時刻がタイムコードＴＣ３のタイムコード情報に対応する電子透かしパターンを選択して、ＴＣ３時点の映像に埋め込む。これにより、リードイン領域が生じない。録画終了時のリードアウト領域についても同様に処理する。   FIG. 6 illustrates a case where the start of the recorder 103 is delayed from the digital watermark embedding device 301. The time code as the segment number embedded in the first frame at the start of recording is TC3. At this time, it is impossible to distinguish whether the video recorded before time TC3 is normal or deleted as a recorded video. As will be described later, tampering is detected in units of segments that include both the segment positions Start and End. Tampering of the lead-out and lead-in areas and the frames outside them that do not include one of Start and End cannot be detected. Therefore, this problem is solved by mutual communication between the digital watermark embedding apparatus 301 and the recorder 103. The recorder 103 informs the digital watermark embedding device 301 of the time when recording can be started. The digital watermark embedding apparatus 301 changes the segment number at the time of TC3 at which recording can be started to the segment position Open, and outputs it. Specifically, an electronic watermark pattern corresponding to time code information whose segment position is Open and date / time is time code TC3 is selected and embedded in the video at the time point TC3. Thereby, a lead-in area does not occur. The same processing is performed for the lead-out area at the end of recording.

リードイン領域、リードアウト領域は、カメラ１０１と電子透かし埋め込み装置３０１との間にも存在する。リードイン領域、リードアウト領域に適切に対応するように、カメラ１０１と電子透かし埋め込み装置３０１が相互通信してもよい。   A lead-in area and a lead-out area also exist between the camera 101 and the digital watermark embedding apparatus 301. The camera 101 and the digital watermark embedding apparatus 301 may communicate with each other so as to appropriately correspond to the lead-in area and the lead-out area.

図７は、電子透かしとしてタイムコード情報を埋め込む重畳処理部１２６のＰＡＤ（Problem Analysis Diagram）である。なお、電子透かしとしてタイムコード情報を埋め込むとは、タイムコード情報に対応した透かしパターンを透かしパターンＤＢ１２１から検索し、検索した透かしパターンを電子透かしとして対応する映像フレームに重畳することである。ステップ７０１において、システムを初期化する。ステップ７０２において、キャプチャした映像フレームをバッファに格納する。カメラ電源を切る際に、映像信号の終わりが事前連絡無しに突然来る場合があり、映像信号終了後にも、バッファ内の画像を処理することによって、適切に真正性証明を可能とすることができる。   FIG. 7 is a PAD (Problem Analysis Diagram) of the superimposition processing unit 126 that embeds time code information as a digital watermark. The embedding of time code information as a digital watermark means that a watermark pattern corresponding to the time code information is searched from the watermark pattern DB 121 and the searched watermark pattern is superimposed on a corresponding video frame as a digital watermark. In step 701, the system is initialized. In step 702, the captured video frame is stored in a buffer. When the camera power is turned off, the end of the video signal may suddenly come without prior notice, and even after the video signal ends, it is possible to properly verify the authenticity by processing the image in the buffer. .

ステップ７０３において、映像開始時刻情報をタイムコード情報に設定する。映像開始時刻情報として現在時刻を取得し、セグメント位置としてＯｐｅｎを設定する。具体的には、現在時刻をタイムコードとし、Ｏｐｅｎをセグメント位置としたタイムコード情報とする。   In step 703, the video start time information is set as time code information. The current time is acquired as the video start time information, and Open is set as the segment position. Specifically, the current time is the time code, and Open is the time code information with the segment position.

ステップ７０４において、新たな映像フレームをバッファに取り込むと共に、ステップ７０３で設定したタイムコード情報をキーとして透かしパターンＤＢ１２１を検索し、検索した透かしパターンを電子透かしとしてバッファに格納されている映像フレームに重畳し、出力する。この処理をＮ回繰り返す。ステップ７０４のＮフレーム埋め込み処理の詳細は、図８を用いて後述する。なお、Ｎフレーム埋め込み処理を実行する際に、Ｎの値とステップ７０３で設定したタイムコード情報とをパラメータとして渡す。   In step 704, a new video frame is taken into the buffer, the watermark pattern DB 121 is searched using the time code information set in step 703 as a key, and the searched watermark pattern is superimposed on the video frame stored in the buffer as a digital watermark. And output. This process is repeated N times. Details of the N frame embedding process in step 704 will be described later with reference to FIG. When executing the N frame embedding process, the value of N and the time code information set in step 703 are passed as parameters.

ステップ７０５において、入力映像がとぎれ、キャプチャーした映像フレームが無くなるまで、ステップ７０６〜ステップ７１２の処理を繰り返す。   In step 705, the processing from step 706 to step 712 is repeated until the input video is interrupted and there are no captured video frames.

ステップ７０６において、入力映像は所定の時間ごとにセグメントとして分割し、セグメント単位でステップ７０７〜ステップ７１２の処理を繰り返す。   In step 706, the input video is divided into segments at predetermined time intervals, and the processing in steps 707 to 712 is repeated for each segment.

ステップ７０７において、あるセグメントを示すｉ（ｉ＝０、・・・、ｍ＋１）番目の埋め込み窓を設定する。ここで、一つのセグメントは、Ｎ枚の映像フレームを持つとする。   In step 707, an i (i = 0,..., M + 1) -th embedded window indicating a certain segment is set. Here, it is assumed that one segment has N video frames.

埋め込み窓とは、１または複数の連続したフレームに対して電子透かしを用いて繰り返し同じ情報を埋め込むときに、そのフレームに対して設定される埋め込み操作の単位をいう。埋め込み窓ごとに、電子透かし埋め込み情報を１つ設定する。   An embedding window is a unit of embedding operation set for a frame when the same information is repeatedly embedded in one or a plurality of continuous frames using a digital watermark. One digital watermark embedding information is set for each embedding window.

本実施例では、１セグメントと埋め込み窓１つは技術的に等価である。埋め込み窓を構成するＮ枚の連続したフレーム群の単位に対して埋め込み窓を設定する。このときの埋め込み窓の大きさはＮである。１セグメント内でフレームごとの埋め込み操作は、Ｎ回行われる。   In this embodiment, one segment and one embedded window are technically equivalent. An embedding window is set for a unit of N consecutive frames constituting the embedding window. The size of the embedded window at this time is N. The embedding operation for each frame within one segment is performed N times.

ステップ７０８において、ｉ＝０（最初の埋め込み窓）のとき、ステップ７０９において、その埋め込み窓のセグメント位置としてＳｔａｒｔを設定する。ステップ７０８において、ｉ＝ｍ＋１（最後の埋め込み窓）のとき、ステップ７１０において、その埋め込み窓のセグメント位置としてＥｎｄを設定する。ステップ７０９及びステップ７１０のいずれの場合も現在時刻ｔｉｍｅを取得する。ステップ７０９及びステップ７１０は、具体的には、現在時刻をタイムコードとし、Ｓｔａｒｔ又はＥｎｄをセグメント位置としたタイムコード情報とする。ステップ７０８において、その他の場合には、ステップ７１１において、その埋め込み窓のセグメント番号として、ｉ×Ｎを設定する。具体的には、ｉ×Ｎをセグメント番号としたタイムコード情報とする。   In step 708, when i = 0 (first embedded window), in step 709, Start is set as the segment position of the embedded window. In step 708, when i = m + 1 (last embedded window), in step 710, End is set as the segment position of the embedded window. In both cases of Step 709 and Step 710, the current time time is acquired. Specifically, Step 709 and Step 710 use time code information with the current time as the time code and Start or End as the segment position. In step 708, otherwise, in step 711, i × N is set as the segment number of the embedded window. Specifically, it is time code information with i × N as a segment number.

ステップ７１２において、Ｎフレーム分、映像フレーム１２３を逐次取り込みながら、バッファに格納された映像フレームにタイムコード情報を埋め込み、タイムコード情報を埋め込んだ映像フレーム１２４として出力する。ステップ７１２は、具体的には、ステップ７０９〜ステップ７１１のいずれかで設定したタイムコード情報をキーとして透かしパターンＤＢ１２１を検索し、検索した透かしパターンを電子透かしとしてバッファに格納されている映像フレームに重畳し、出力する。このＮフレーム埋め込み処理をＮ回繰り返す。Ｎフレーム埋め込み処理へのパラメータに関しては前述の通りである。ただし、ユーザ指示、あるいは、入力映像１０９の終了に伴って、割り込み処理が発生すると、処理を中断して、ステップ７１３に進む。   In step 712, while sequentially capturing N frames of video frames 123, time code information is embedded in the video frames stored in the buffer and output as video frames 124 embedded with time code information. Specifically, in step 712, the watermark pattern DB 121 is searched using the time code information set in any of steps 709 to 711 as a key, and the searched watermark pattern is converted into a video frame stored in the buffer as a digital watermark. Superimpose and output. This N frame embedding process is repeated N times. The parameters for the N frame embedding process are as described above. However, if an interrupt process occurs in response to a user instruction or the end of the input video 109, the process is interrupted and the process proceeds to step 713.

ステップ７１３において、映像終了時刻情報をタイムコード情報に設定する。映像終了時刻情報として現在時刻を取得し、セグメント位置としてＣｌｏｓｅを設定する。具体的には、現在時刻をタイムコードとし、Ｃｌｏｓｅをセグメント位置としたタイムコード情報とする。   In step 713, video end time information is set as time code information. The current time is acquired as the video end time information, and Close is set as the segment position. Specifically, the current time is the time code, and the close is the time code information with the segment position.

ステップ７１４において、Ｎフレーム分、バッファに蓄積された映像フレームにタイムコード情報を埋め込み、出力映像フレームに書き出す処理を行う。具体的には、設定したタイムコード情報をキーとして透かしパターンＤＢ１２１を検索し、検索した透かしパターンを電子透かしとしてバッファに格納されている映像フレームに重畳し、出力する。このＮフレーム埋め込み処理をＮ回繰り返す。ただし、入力映像フレームの取り込みは止める。必要に応じて、カメラ、録画機と同期のための通信を行っても良い。   In step 714, the time code information is embedded in the video frames stored in the buffer for N frames, and the output video frame is written. Specifically, the watermark pattern DB 121 is searched using the set time code information as a key, and the searched watermark pattern is superimposed on a video frame stored in a buffer as a digital watermark and output. This N frame embedding process is repeated N times. However, capturing of the input video frame is stopped. If necessary, communication for synchronization with the camera and the recorder may be performed.

図８は、タイムコード埋め込み方法の中心的な処理部分であるＮフレーム埋め込み処理のＰＡＤである。ステップ８０１において、鍵設定処理部１１５が読み込んだ鍵１０６、証明書１０７に基づいてＤＢアクセスに対する認証処理を行う。   FIG. 8 is a PAD of N frame embedding processing which is a central processing portion of the time code embedding method. In step 801, authentication processing for DB access is performed based on the key 106 and certificate 107 read by the key setting processing unit 115.

ステップ８０２において、設定され、パラメータとして渡されたタイムコード情報をキーにして、透かしパターンＤＢ１２１を検索し、透かしパターンあるいは暗号化透かしパターンを得る。ステップ８０３において、透かしパターンが暗号化されていれば、鍵１０６を用いて復号化する。   In step 802, the watermark pattern DB 121 is searched using the time code information set and passed as a parameter as a key to obtain a watermark pattern or an encrypted watermark pattern. In step 803, if the watermark pattern is encrypted, it is decrypted using the key 106.

ステップ８０４において、パラメータとして渡されたＮの値に応じて、Ｎフレーム分の繰り返し処理を行う。繰り返し数確認のための変数ｋを設定し、処理が一巡するたびに、ｋを１からＮに順次インクリメントする。   In step 804, N frames are repeatedly processed according to the value of N passed as a parameter. A variable k for confirming the number of repetitions is set, and k is sequentially incremented from 1 to N every time the process is completed.

ステップ８０５において、入力映像の有無をチェックを行い、入力映像が終了していれば、ステップ８０６において、終了フラグを設定し、現在の処理を抜け出す。ステップ８０５において、映像信号が継続していれば、ステップ８０７において、キャプチャーした映像フレームをバッファに格納する。   In step 805, the presence / absence of an input video is checked. If the input video has ended, an end flag is set in step 806, and the current process is exited. In step 805, if the video signal continues, in step 807, the captured video frame is stored in the buffer.

ステップ８０８において、バッファから（ｉ×Ｎ＋ｋ）番目の画像フレームを読み出す。ステップ８０９において、透かしパターンＤＢ１２１の検索で得た透かしパターンと、画像フレームとの整合性を確認する。例えば、両者のサイズが異なる場合には、透かしパターンを繰り返して書き込む処理を行う。ステップ８１０において、バッファから読み込んだ画像フレームの分析を行い、埋め込み強度を決定する。この分析には、例えば、特許文献２の埋め込み可能性分析処理を用いてもよい。   In step 808, the (i × N + k) th image frame is read from the buffer. In step 809, the consistency between the watermark pattern obtained by searching the watermark pattern DB 121 and the image frame is confirmed. For example, when both sizes are different, a process of repeatedly writing a watermark pattern is performed. In step 810, the image frame read from the buffer is analyzed to determine the embedding strength. For this analysis, for example, the embeddability analysis process of Patent Document 2 may be used.

ステップ８１１において、透かしパターンの画像フレームへの重畳を行うことにより、透かし埋め込み画像を生成する。   In step 811, a watermark embedded image is generated by superimposing the watermark pattern on the image frame.

ステップ８１２において、透かし埋め込み画像を出力の映像フレームのバッファに格納する。ステップ８０４に従って、Ｎフレームを処理していれば、終了する。   In step 812, the watermark embedded image is stored in the output video frame buffer. If N frames are processed according to step 804, the process ends.

本実施例では、ステップ７０２において、映像フレームを十分にバッファリングする。ステップ８０７及びステップ８０８では、バッファに対してキュー操作、すなわちファーストインファーストアウトの操作を行い、得られたフレームデータに対して以降の処理を行う。このため、入力映像がとぎれた後にも、いくつかのフレームがバッファに残っている状態を保つ。バッファサイズを大きく設定（最小値２Ｎ）すれば、ステップ７１４の実行時点で、映像がとぎれた時点からさかのぼったＮフレーム以上のフレームがバッファに存在する。   In this embodiment, in step 702, the video frame is sufficiently buffered. In steps 807 and 808, a queue operation, that is, a first-in first-out operation is performed on the buffer, and the subsequent processing is performed on the obtained frame data. For this reason, even after the input video is interrupted, a state in which some frames remain in the buffer is maintained. If the buffer size is set to a large value (minimum value 2N), at the time of execution of step 714, there are N or more frames in the buffer that date back from the time when the video was interrupted.

なお、ステップ７０７の処理をＮフレーム単位で完結させるために、ステップ８０６で設定された終了フラグが立っているときに、ステップ７０７の繰り返し処理を抜け出し、ステップ７１３の処理に進む。   In order to complete the process in step 707 in units of N frames, when the end flag set in step 806 is set, the process repeats the process in step 707 and proceeds to the process in step 713.

図９は、電子透かしとして埋め込まれたタイムコード情報を用いて、映像コンテンツの改ざん検知処理のＰＡＤである。   FIG. 9 is a PAD for video content alteration detection processing using time code information embedded as a digital watermark.

ステップ９０１において、本処理で用いるメモリ上の変数を初期化する。
ＴＣｃｕｒ ＝ ＴＣｐｒｅ ＝ ｎＤ ＝ ０
ＡｔｔａｃｋＴｙｐｅ［０］ ＝ “Ｎｏ Ａｔｔａｃｋ”、ｉ ＝ ０
ステップ９０２において、冒頭の映像フレームの電子透かしの検出を行い、タイムコード情報のセグメント位置がＯｐｅｎであることを確認する。 In step 901, variables on the memory used in this processing are initialized.
TCcur = TCpre = nD = 0
AttackType [0] = “No Attack”, i = 0
In step 902, the digital watermark of the beginning video frame is detected, and it is confirmed that the segment position of the time code information is Open.

ステップ９０３において、映像フレームの入力が続く間、繰り返し処理の制御を行う。ただし、映像は、所定の長さで区切られた複数のセグメントから構成する。   In step 903, while the input of the video frame continues, the repetitive processing is controlled. However, the video is composed of a plurality of segments separated by a predetermined length.

ステップ９０４において、セグメントの開始条件の検証を行う。すなわち、電子透かしの検出を行い、タイムコード情報のセグメント位置がＳｔａｒｔであることを確認する。   In step 904, the segment start condition is verified. That is, digital watermark detection is performed, and it is confirmed that the segment position of the time code information is Start.

ステップ９０５において、セグメント内部の検証の繰り返し処理の制御を行う。ただし、１つのセグメントと検出窓は１対１対応しない。   In step 905, the verification process inside the segment is controlled repeatedly. However, one segment does not have a one-to-one correspondence with the detection window.

検出窓とは、１または複数の連続したフレームを用いて電子透かし検出を行う操作の単位をいう。検出に成功すれば、検出窓ごとに、電子透かし埋め込み情報が１つ検出される。   A detection window is a unit of operation for performing digital watermark detection using one or a plurality of continuous frames. If the detection is successful, one piece of digital watermark embedding information is detected for each detection window.

本実施例では、埋め込み窓の大きさがＮのとき，検出窓の大きさはＮ／２とする。   In the present embodiment, when the size of the embedded window is N, the size of the detection window is N / 2.

圧縮符号化などの画像処理を経ると、埋め込み窓と検出窓の同期がずれることがある。このため、検出時に用いる映像データの中で、あるセグメント（あるいは埋め込み窓）の先頭フレームがどこにあるかは、検出者に明示的に伝えられない場合がある。検査者がその情報を入手し、埋め込み窓と検出窓の同期が完全に取れれば、１つのセグメントに対して、検出窓が２つ含まれる。同期が取れない場合においても、１つのセグメントに対して、少なくとも１つの検出窓が含まれる。   After image processing such as compression encoding, the embedded window and the detection window may be out of synchronization. For this reason, in the video data used at the time of detection, where the head frame of a certain segment (or embedded window) is located may not be explicitly communicated to the detector. If the inspector obtains the information and the embedded window and the detection window are completely synchronized, two detection windows are included for one segment. Even when synchronization cannot be achieved, at least one detection window is included for one segment.

ステップ９０６において、ｉ番目の検出窓を設定し、検出窓の範囲にある（Ｎ／２）枚の映像フレームに対する繰り返し処理の制御を行う。   In step 906, the i-th detection window is set, and the iterative process is controlled for (N / 2) video frames within the detection window range.

ステップ９０７において、映像フレームの入力がなくなれば、ステップ９０８において、終了フラグを設定して、処理を抜け出す。ステップ９０７において、映像フレームの入力があれば、ステップ９０９において、続きの画像をキャプチャする。 ステップ９１０において、キャプチャされた画像の重畳処理を行う。   If there is no video frame input in step 907, an end flag is set in step 908 to exit the process. If there is an input of a video frame in step 907, a subsequent image is captured in step 909. In step 910, the captured image is superimposed.

ステップ９１１において、ｉ番目の検出窓にある、（Ｎ／２）枚の映像フレームの重畳データから電子透かしの検出を行う。   In step 911, a digital watermark is detected from the superimposed data of (N / 2) video frames in the i-th detection window.

ステップ９１２において、検出結果を用いて、映像改ざんの有無について、診断を行う。この診断については、図１０を用いて後述する。   In step 912, the presence or absence of video alteration is diagnosed using the detection result. This diagnosis will be described later with reference to FIG.

ステップ９１３において、セグメントの終了条件の検証を行う。すなわち、電子透かしの検出を行い、タイムコード情報のセグメント位置がＥｎｄであることを確認する。   In step 913, the end condition of the segment is verified. That is, a digital watermark is detected, and it is confirmed that the segment position of the time code information is End.

ステップ９１４において、映像終了箇所の映像フレームの電子透かしの検出を行い、タイムコード情報のセグメント位置がＣｌｏｓｅであることを確認する。電子透かし埋め込み装置３０１よりも先に録画機１０３を停止していた場合には、ＥｎｄやＣｌｏｓｅの判定ができない場合がある。この場合、前述したリードアウトタイムについての考え方を適用すればよい。   In step 914, the digital watermark of the video frame at the video end point is detected, and it is confirmed that the segment position of the time code information is Close. If the recorder 103 is stopped before the digital watermark embedding device 301, there is a case where the end or the close cannot be determined. In this case, the above-described way of thinking about the lead-out time may be applied.

図１０は、映像の改ざん検知を行う処理の中で、改ざん行為の種類を特定する検出結果診断処理のＰＡＤである。図９におけるｉ番目の検出窓に対する処理である。   FIG. 10 is a PAD of a detection result diagnosis process that identifies the type of tampering action in the process of detecting tampering of video. This is processing for the i-th detection window in FIG.

ステップ１００１において、電子透かしの検出ができるかどうかの判定を行い、検出できなければ、ステップ１００２に進む。ステップ１００１において、検出できれば、ステップ１００６に進む。   In step 1001, it is determined whether digital watermark can be detected. If not detected, the process proceeds to step 1002. If it is detected in step 1001, the process proceeds to step 1006.

ステップ１００２において、電子透かし連続未検出回数の値ｎＤをインクリメントする。   In step 1002, the value nD of the digital watermark continuous undetected number is incremented.

ステップ１００３において、ΔＴＣ＝ＴＣｃｕｒ−ＴＣｐｒｅを計算し、ΔＴＣがゼロあるいは１の場合であって、かつ、ｎＤが１の場合には、ステップ１００４に進む。ステップ１００４において、現在の検出窓に対する攻撃内容ＡｔｔａｃｋＴｙｐｅ［ｉ］を”Ｎｏ Ａｔｔａｃｋ”に設定する。ステップ１００３において、上記条件が未成立の場合には、ステップ１００５に進む。ステップ１００５において、現在の検出窓に対する攻撃内容ＡｔｔａｃｋＴｙｐｅ［ｉ］を”Ｕｎｃｏｎｆｉｒｍｅｄ”に設定する。すなわち、判断保留とする。   In step 1003, ΔTC = TCcur−TCpre is calculated. If ΔTC is zero or 1, and nD is 1, the process proceeds to step 1004. In step 1004, the attack content AttackType [i] for the current detection window is set to “No Attack”. If it is determined in step 1003 that the above condition is not satisfied, the process proceeds to step 1005. In step 1005, the attack content AttackType [i] for the current detection window is set to “Unconfirmed”. That is, the decision is put on hold.

ステップ１００６において、ＴＣｐｒｅにＴＣｃｕｒを格納し、ＴＣｃｕｒには、電子透かしとして検出したタイムコードのセグメント番号を格納する。なお、ステップ１００６は、ステップ１００１における電子透かしの検出ができたという判定に続く処理である。   In step 1006, TCcur is stored in TCpre, and the segment number of the time code detected as a digital watermark is stored in TCcur. Step 1006 is processing subsequent to the determination in step 1001 that the digital watermark has been detected.

ステップ１００７において、一つ前の検出窓の判定結果ＡｔｔａｃｋＴｙｐｅ［ｉ−１］が”Ｕｎｃｏｎｆｉｒｍｅｄ”であった場合には、ステップ１００８に進む。その他の場合には、ステップ１００９に進む。   If it is determined in step 1007 that the previous detection window determination result AttackType [i−1] is “Unconfirmed”, the process proceeds to step 1008. Otherwise, go to step 1009.

ステップ１００８において、ｉ番目の検出窓の検出結果に基づき、以前の検出窓での診断結果ＡｔｔａｃｋＴｙｐｅ［１］〜ＡｔｔａｃｋＴｙｐｅ［ｉ−１］のうち、”Ｕｎｃｏｎｆｉｒｍｅｄ”と暫定判定されていた箇所は、削除、挿入などの改ざんであったと判断して、”Ａｔｔａｃｋｅｄ”に置き換える。   In step 1008, based on the detection result of the i-th detection window, the part of the diagnosis results AttackType [1] to AttackType [i-1] in the previous detection window that has been tentatively determined as “Unconfirmed” is deleted. Therefore, it is determined that the insertion has been tampered with and replaced with “Attached”.

ステップ１００９において、ΔＴＣ＝ＴＣｃｕｒ−ＴＣｐｒｅを計算する。さらに、ΔＴＣがゼロあるいは１の場合であって、かつ、ｎＤが０または１の場合には、現在の検出窓に対する攻撃内容ＡｔｔａｃｋＴｙｐｅ［ｉ］を”Ｎｏ Ａｔｔａｃｋ”に設定する。あるいは、この条件を満たさない場合には、ＡｔｔａｃｋＴｙｐｅ［ｉ］を”Ａｔｔａｃｋｅｄ”に設置する。   In step 1009, ΔTC = TCcur−TCpre is calculated. Further, when ΔTC is zero or 1, and nD is 0 or 1, the attack content AttackType [i] for the current detection window is set to “No Attack”. Alternatively, when this condition is not satisfied, AttackType [i] is set to “Attached”.

ステップ１０１０において、電子透かし連続未検出回数の値ｎＤをゼロに戻す。   In step 1010, the value nD of the digital watermark continuous undetected number is returned to zero.

図１１は、透かしパターンＤＢ１１７のフィールド構造の説明図である。   FIG. 11 is an explanatory diagram of the field structure of the watermark pattern DB 117.

透かしパターンＤＢ１１７は３つのテーブルから構成し、セグメント番号テーブル１１０１、セグメント位置テーブル１１０２、日付時刻情報テーブル１１０３を備える。セグメント番号テーブル１１０１は、セグメント番号１１０４をキーとして、透かしパターンデータ１１０５を登録検索する。セグメント位置テーブル１１０２は、セグメント位置１１０６をキーとして、透かしパターンデータ１１０７を登録検索する。日付時刻情報テーブル１１０３は、日付時刻情報（日付１１０８、時刻１１０９、フレーム１１１０）をキーとして、透かしパターンデータ１１１１を登録検索する。タイムコード情報は、これら３つのキーを備えたものである。さらに、カメラＩＤ、ユーザＩＤや機器ＩＤなどを組み合わせて、ＤＢ管理してもよい。テーブルを分割するのではなく、統合されたタイムコード情報をキーとして、統合された透かしパターンデータを保持してもよい。   The watermark pattern DB 117 includes three tables, and includes a segment number table 1101, a segment position table 1102, and a date / time information table 1103. The segment number table 1101 registers and searches the watermark pattern data 1105 using the segment number 1104 as a key. The segment position table 1102 registers and searches the watermark pattern data 1107 using the segment position 1106 as a key. The date / time information table 1103 registers and searches the watermark pattern data 1111 using the date / time information (date 1108, time 1109, frame 1110) as a key. The time code information is provided with these three keys. Furthermore, DB management may be performed by combining camera IDs, user IDs, device IDs, and the like. Instead of dividing the table, the integrated watermark pattern data may be held using the integrated time code information as a key.

透かしパターンは、キーとなっている情報を一意に可逆符号化したものであり、例えば、特許文献２に記述のある「電子透かしパターン」を用いてもよい。   The watermark pattern is obtained by uniquely losslessly encoding key information. For example, a “digital watermark pattern” described in Patent Document 2 may be used.

図１２は、透かしパターンＤＢ１１７を生成する処理のＰＡＤである。   FIG. 12 is a PAD of processing for generating the watermark pattern DB 117.

ステップ１２０１において、鍵１０６、証明書１０７を用いた認証を行う。この認証は、機器認証、プロダクト認証、ユーザ認証を含む。   In step 1201, authentication using the key 106 and the certificate 107 is performed. This authentication includes device authentication, product authentication, and user authentication.

ステップ１２０２において、ユーザによって予め設定される、映像フレームが入力が完了すると想定される時刻までのタイムコード情報について繰り返し制御を行う。   In step 1202, control is repeatedly performed on time code information set up in advance by the user until the time when the input of the video frame is assumed to be completed.

ステップ１２０３において、タイムコード情報を符号化する。ステップ１２０４において、符号化情報を２次元形状として、透かしパターンの基本形に変換する。透かしパターンの基本形は、映像フレームの幅×高さの大きさに比べて普通は小さい。大きい場合は、複数フレームに分けて分割格納すればよい。   In step 1203, the time code information is encoded. In step 1204, the encoded information is converted into a watermark pattern basic form as a two-dimensional shape. The basic form of a watermark pattern is usually smaller than the width x height of a video frame. If it is large, it may be divided and stored in a plurality of frames.

ステップ１２０５において、入力映像の映像フレーム全体での繰り返し処理の制御を行う。   In step 1205, the repetition processing is controlled for the entire video frame of the input video.

ステップ１２０６において、透かしパターンの基本形を繰り返し配置して、画像の幅×高さの大きさに変換する。ここで変換しなくても、後で重畳するときに変換してもよい。   In step 1206, the basic shape of the watermark pattern is repeatedly arranged and converted to the size of the width × height of the image. Even if it does not convert here, you may convert when superimposing later.

ステップ１２０７において、透かしパターンを暗号化する。暗号化しなくてもよい。電子透かしはアルゴリズムを秘匿することによってセキュリティを担保する技術なので、暗号化によって、透かしパターン情報が攻撃者の目にさらされるリスクを除くことができる。   In step 1207, the watermark pattern is encrypted. It does not have to be encrypted. Since digital watermarking is a technology that ensures security by concealing algorithms, encryption can eliminate the risk of exposing watermark pattern information to the eyes of an attacker.

ステップ１２０８において、タイムコード情報をキーとして、透かしパターン、あるいは、暗号化透かしパターンを透かしパターンＤＢ１１７に登録する。ステップ１２０２に戻って、所定のタイムコード情報に対応して透かしパターンを生成し終えていえれば、処理を終了する。そうでなければ、以上の処理を繰り返し実行する。   In step 1208, the watermark pattern or the encrypted watermark pattern is registered in the watermark pattern DB 117 using the time code information as a key. Returning to step 1202, if the generation of the watermark pattern corresponding to the predetermined time code information has been completed, the processing is terminated. Otherwise, the above process is repeated.

なお、ステップ１２０２において、タイムコード情報は、ユーザによって予め設定されなくても、未来の時刻として容易に予測可能である。埋め込む情報として、ＧＰＳ情報の場合、位置の情報となる。現在のＧＰＳによる測位制度は１０ｍ程度であり、地球上のすべての位置を事前に網羅的に算出しておくことも可能である。１０ｍ精度での緯経度表現であっても、５４ビット程度で表現可能である。この程度の情報量は、電子透かしとして埋め込む情報量として問題とならない。   In step 1202, the time code information can be easily predicted as a future time without being preset by the user. In the case of GPS information as information to be embedded, it is position information. The current GPS positioning system is about 10 m, and it is possible to comprehensively calculate all positions on the earth in advance. Even latitude and longitude representations with 10 m accuracy can be represented with about 54 bits. This amount of information is not a problem as the amount of information embedded as a digital watermark.

第２の実施例について説明する。図１３は、第２の実施例における電子透かし埋め込みを実現する電子透かし埋め込み装置の構成図である。   A second embodiment will be described. FIG. 13 is a configuration diagram of a digital watermark embedding device that realizes digital watermark embedding in the second embodiment.

図１に示した第１の実施例同様に、カメラ１０１、ＰＣ１０２、録画機１０３を映像信号線によって接続し、時刻情報源１０４とネットワーク接続する。第１の実施例との主要な相違点は、鍵１３０７、証明書１３０９に加えて、透かしパターン構築処理１１４とディスク管理処理１１３に相当する処理（時刻設定処理１３０２、透かしパターン生成処理１３０３、タイマ１３０４、透かしパターンＤＢ１３０５、アクセス制御１３０６、検証１３０８）を、ＩＣカードのような演算装置を含む可搬媒体１３０１上に搭載し、ＰＣ１０２に対して、透かしパターンデータに対するアクセス制御をより安全に実装していることである。タイマ１３０４はＰＣ１０２のタイマ１０８と異なり、可搬媒体１３０１上に搭載しているため、時刻改ざんなどの攻撃を受けにくい。さらに、ＰＣ１０２側にも鍵１３１１、証明書１３１０を搭載し、認証手段１３１２によって、不正な可搬媒体によるシステム制御を拒絶することができる。可搬媒体１３０１は、ＰＣ１０２に着脱可能としているが、ＰＣ１０２内メモリやディスクに固着させてもよい。   As in the first embodiment shown in FIG. 1, the camera 101, the PC 102, and the recorder 103 are connected by a video signal line and connected to the time information source 104 via a network. The main difference from the first embodiment is that in addition to the key 1307 and the certificate 1309, processing equivalent to the watermark pattern construction processing 114 and the disk management processing 113 (time setting processing 1302, watermark pattern generation processing 1303, timer 1304, watermark pattern DB 1305, access control 1306, verification 1308) are mounted on a portable medium 1301 including an arithmetic device such as an IC card, and access control for watermark pattern data is more safely implemented on the PC 102. It is that. Unlike the timer 108 of the PC 102, the timer 1304 is mounted on the portable medium 1301, and thus is not easily attacked by time tampering or the like. Furthermore, a key 1311 and a certificate 1310 are also mounted on the PC 102 side, and system control by an unauthorized portable medium can be rejected by the authentication unit 1312. The portable medium 1301 is detachable from the PC 102, but may be fixed to a memory or a disk in the PC 102.

第３の実施例について説明する。図１４は、第３の実施例における電子透かし埋め込みを実現する電子透かし埋め込み装置の構成図である。   A third embodiment will be described. FIG. 14 is a configuration diagram of a digital watermark embedding apparatus that realizes digital watermark embedding in the third embodiment.

第１の実施例との主たる相違点は、パターンバッファ（Ｉ）１４０７、パターンバッファ（ＩＩ）１４０８を介して、並列処理技術を導入していることである。並列処理として、プロセスＡをＣＰＵ＿Ａ１４０１上で実行し、プロセスＢをＣＰＵ＿Ｂ１４０２上で実行している。   The main difference from the first embodiment is that a parallel processing technique is introduced via the pattern buffer (I) 1407 and the pattern buffer (II) 1408. As parallel processing, process A is executed on CPU_A 1401 and process B is executed on CPU_B 1402.

プロセスＡでは、次の３つの処理（１）（２）（３）を行い、全体を統括制御Ａ１４０６が管理する。（１）埋め込み情報設定処理１４０３により、タイムコードなどの変化情報を設定する。（２）この埋め込み情報に対応する透かしパターンを、透かしパターン生成処理１４０４により作成する。（３）生成した透かしパターンは、パターンバッファ選択格納処理１４０５によって、パターンバッファ（Ｉ）１４０７、パターンバッファ（ＩＩ）１４０８のいずれかに格納される。   In the process A, the following three processes (1), (2) and (3) are performed, and the overall control A 1406 manages the whole. (1) By the embedded information setting process 1403, change information such as a time code is set. (2) A watermark pattern corresponding to the embedded information is created by a watermark pattern generation process 1404. (3) The generated watermark pattern is stored in either the pattern buffer (I) 1407 or the pattern buffer (II) 1408 by the pattern buffer selection storage process 1405.

プロセスＢでは、次の３つの処理（１）（２）（３）を行い、全体を統括制御Ｂ１４０９が管理する。（１）フレーム読み込み処理１４０９により、入力映像フレーム１２３を入力バッファに格納する。（２）埋め込み処理１４１０により、パターンバッファ（Ｉ）１４０７、パターンバッファ（ＩＩ）１４０８のいずれかと、入力映像フレーム１２３の画像データを重畳し、出力映像フレーム１２４を生成する。（３）フレーム書き出し処理１４１１により、出力映像フレーム１２４を出力バッファに格納する。   In the process B, the following three processes (1), (2), and (3) are performed, and the overall control B 1409 manages the whole. (1) By the frame reading process 1409, the input video frame 123 is stored in the input buffer. (2) The embedding process 1410 superimposes either the pattern buffer (I) 1407 or the pattern buffer (II) 1408 and the image data of the input video frame 123 to generate an output video frame 124. (3) The output video frame 124 is stored in the output buffer by the frame writing process 1411.

図１５は、第３の実施例における電子透かし埋め込みにおけるタイミングチャートである。   FIG. 15 is a timing chart for digital watermark embedding in the third embodiment.

ＣＰＵ＿Ａ１４０１上のプロセスＡは、透かしパターンを作成し、パターンバッファ（Ｉ）１４０７、パターンバッファ（ＩＩ）１４０８のいずれかに格納する。ＣＰＵ＿Ｂ１４０２上のプロセスＢは、映像入出力と同期を取りながら、パターンバッファのデータと入力映像フレームの重畳処理を行う。   Process A on CPU_A 1401 creates a watermark pattern and stores it in one of pattern buffer (I) 1407 and pattern buffer (II) 1408. The process B on the CPU_B 1402 superimposes the pattern buffer data and the input video frame while synchronizing with the video input / output.

図１５では、パターンバッファ（Ｉ）１４０７上の透かしパターンは、第１フレーム、および、第２フレームの２枚に適用され、その間に生成された別の透かしパターンは、パターンバッファ（ＩＩ）１４０８に格納される。次の埋め込み処理では、パターンバッファ（ＩＩ）１４０８が読み出され、第３フレームに重畳される。   In FIG. 15, the watermark pattern on the pattern buffer (I) 1407 is applied to the first frame and the second frame, and another watermark pattern generated between them is stored in the pattern buffer (II) 1408. Stored. In the next embedding process, the pattern buffer (II) 1408 is read and superimposed on the third frame.

透かしパターン生成処理１４０４の処理時間が長くて、プロセスＡ、プロセスＢを単一のプロセスとして実行すると映像と同期が取れない場合に、このような並列処理が適する。
それぞれの処理時間を下記のように変数として書き表す。
透かしパターン生成処理１４０４の処理時間 Ｐ（ｍｓ）、
埋め込み処理１４１０（重畳処理）の処理時間 Ｑ（ｍｓ）
フレーム読み込み処理１４０９の処理時間 Ｒ（ｍｓ）
フレーム書き出し処理１４１１の処理時間 Ｓ（ｍｓ）
映像フレームレートを３０ｆｐｓとすると、Ｒ＋Ｑ＋Ｓ≦３０（ｍｓ）であることがリアルタイム処理の必要条件である。また、図１５では、パターンバッファが２枚の場合の例を挙げたが、透かしパターン生成処理１４０４の処理時間が更に長い場合には、パターンバッファ枚数（Ｔ枚）が増えて、より多くのメモリ領域が必要となる。必要なパターンバッファの枚数には、Ｔ≧１＋Ｑｕｏｔｉｅｎｔ（Ｐ、（Ｑ＋Ｓ＋Ｒ））の関係がある。Ｑｕｏｔｉｅｎｔ（ａ、ｂ）は、ａをｂで割った時の商を示す。 Such parallel processing is suitable when the processing time of the watermark pattern generation processing 1404 is long and the process A and process B cannot be synchronized with the video when executed as a single process.
Each processing time is expressed as a variable as follows.
Processing time P (ms) of watermark pattern generation processing 1404,
Processing time of embedding process 1410 (superimposition process) Q (ms)
Processing time R (ms) of frame reading processing 1409
Processing time of frame writing process 1411 S (ms)
If the video frame rate is 30 fps, then R + Q + S ≦ 30 (ms) is a necessary condition for real-time processing. FIG. 15 shows an example in which there are two pattern buffers. However, if the processing time of the watermark pattern generation processing 1404 is longer, the number of pattern buffers (T) increases and more memory is stored. An area is required. The required number of pattern buffers has a relationship of T ≧ 1 + Quotent (P, (Q + S + R)). Quotient (a, b) indicates a quotient when a is divided by b.

映像フレーム１枚分を計算してみると、リアルタイム処理に必要となるパターンバッファの枚数が計算できる。統括制御Ｂ１４０９において、映像入出力との同期が取れなくなると、画像入出力ボードからの同期エラーシグナルが返る。統括制御Ｂ１４０９および、統括制御Ａ１４０６は、上記処理時間ＰＱＲＳを計測しており、必要パターンバッファ枚数Ｔを求めることにより、パターンバッファを増設する。この作用によって、映像入出力のリアルタイム処理と同期を取ることができる。パターンバッファは、透かしパターンを格納するバッファメモリであり、それが２枚(２面)のとき、交替バッファとして動作する。３枚以上のときはリングバッファとして動作する。   If one video frame is calculated, the number of pattern buffers required for real-time processing can be calculated. In the overall control B 1409, when synchronization with the video input / output cannot be achieved, a synchronization error signal is returned from the image input / output board. The overall control B 1409 and the overall control A 1406 measure the processing time PQRS, and increase the number of pattern buffers by obtaining the required pattern buffer number T. By this action, it is possible to synchronize with real-time processing of video input / output. The pattern buffer is a buffer memory for storing a watermark pattern. When there are two (two sides), the pattern buffer operates as a replacement buffer. When there are three or more, it operates as a ring buffer.

以上の実施形態では、電子透かしの中に埋め込む、逐次的に変化する変化情報として、時刻情報(タイムコード)を用いて説明した。逐次的に変化する変化情報は、それを埋め込んだ透かしパターンを変化させるとともに、変化の規則性を利用することにより事前に透かしパターンを用意しておくことができる。したがって、逐次的にかつ規則的に変化する変化情報は時刻情報に限らず、変化に規則性がある情報であれば良い。その例として簡単に触れた位置情報であっても、変化に規則性を持たせればよい。極端には、上昇順または下降順の数値情報であっても、数値情報の差分が一定であるなどの規則性があればよい。変化情報として時刻情報を用いる場合は、入力映像フレームと現在時刻を対応させるように説明したが、入力映像フレームに対応させる変化情報は、ある時点で対応付けられていればよい。たとえば、映像入力開始時の先頭映像フレームに変化情報として０を対応付け、入力される映像フレームに順次上昇順の数値を対応付けても良い。   In the above embodiment, the time information (time code) is used as the change information that is sequentially changed and embedded in the digital watermark. For the change information that changes sequentially, the watermark pattern in which the change information is embedded can be changed, and a watermark pattern can be prepared in advance by using the regularity of the change. Therefore, the change information that changes sequentially and regularly is not limited to time information, but may be information that has regularity in change. For example, even if the position information is touched easily, the change may be given regularity. In the extreme, even if the numerical information is in ascending order or descending order, there should be regularity such that the difference between the numerical information is constant. In the case of using time information as the change information, it has been described that the input video frame and the current time are associated with each other. However, the change information associated with the input video frame only needs to be associated at a certain time. For example, 0 may be associated as change information with the first video frame at the start of video input, and numerical values in ascending order may be sequentially associated with the input video frames.

以上、本発明の実施の形態を具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。   Although the embodiments of the present invention have been specifically described above, the present invention is not limited to the above-described embodiments, and it goes without saying that various modifications can be made without departing from the scope of the invention.

１０１：カメラ、１０２：ＰＣ、１０３：録画機、１０４：時刻情報源、１０５：可搬媒体、１０６：鍵、１０７：証明書、１０８：タイマ、１１１：ビデオ入出力ボード、１１２：電子透かし埋め込み処理部、１１３：ディスク管理処理部、１１４：透かしパターン構築処理部、１１７：透かしパターンＤＢ、１２１：透かしパターンＤＢ、３０１：電子透かし埋め込み装置、３０３：電子透かし検出装置。 101: Camera, 102: PC, 103: Recorder, 104: Time information source, 105: Portable medium, 106: Key, 107: Certificate, 108: Timer, 111: Video input / output board, 112: Digital watermark embedding Processing unit 113: Disk management processing unit 114: Watermark pattern construction processing unit 117: Watermark pattern DB 121: Watermark pattern DB 301: Digital watermark embedding device 303: Digital watermark detection device

Claims (4)

映像をキャプチャーし、画像フレームとして入力し、前記入力画像フレームに電子透かしを埋め込んだ画像フレームを出力するビデオ入出力ボードと、前記電子透かしのパターンを透かしパターンとして格納するメモリと、入力手段と、を備えた電子透かし埋め込み装置における電子透かし埋め込み方法であって、
逐次的にかつ規則的に変化する変化情報に含まれる時刻情報に対応して、第１の透かしパターンを生成し、前記生成した前記第１の透かしパターンを前記メモリに格納し、
前記入力手段に入力があった時刻を起点として所定の時間単位で前記画像フレームを分割し、前記入力画像フレームのＮフレーム分が１セグメントであって、前記セグメントの属性を示すセグメント情報に対応して、第２の透かしパターンを生成し、前記第２の透かしパターンを前記メモリに格納し、
前記ビデオ入出力ボードからの前記入力画像フレームに対応する前記変化情報をキーとして、前記第１の透かしパターンを検索し、
前記入力手段への前記入力に対応する前記セグメント情報をキーとして、前記第２の透かしパターンを検索し、
前記検索した前記第１の透かしパターンおよび前記第２の透かしパターンを前記入力画像フレームに電子透かしとして埋め込んだ画像フレームを前記ビデオ入出力ボードに出力し、
前記変化情報は時刻情報および位置情報の少なくとも一つを含み、
前記セグメント情報はセグメント番号、前記セグメント単位で改ざんを検知する真正性証明開始、真正性証明終了、記録開始、記録終了のいずれかの属性を示すコードであって、
前記入力手段に前記埋め込み処理を開始するよう入力があった時刻に対応する１セグメントでは、前記セグメント情報は前記記録開始を示すコードであり、
前記入力手段に前記埋め込み処理を終了するよう入力があった時刻に対応する１セグメントでは、前記セグメント情報は前記記録終了を示すコードであり、
前記真正性証明開始を示すコードと、前記真正性証明終了を示すコードとの間にあるｍ個のセグメントが真正性証明の対象の映像であることを特徴とする電子透かし埋め込み方法。 A video input / output board that captures video, inputs as an image frame, outputs an image frame in which a digital watermark is embedded in the input image frame, a memory that stores the digital watermark pattern as a watermark pattern, input means, An electronic watermark embedding method in an electronic watermark embedding device comprising:
In response to time information included in change information that changes sequentially and regularly, a first watermark pattern is generated, and the generated first watermark pattern is stored in the memory,
The image frame is divided into predetermined time units starting from the time when the input is input to the input means, and N frames of the input image frame are one segment, corresponding to segment information indicating the attribute of the segment. Generating a second watermark pattern, storing the second watermark pattern in the memory,
The first watermark pattern is searched using the change information corresponding to the input image frame from the video input / output board as a key,
The second watermark pattern is searched using the segment information corresponding to the input to the input means as a key,
Outputting the image frame in which the searched first watermark pattern and the second watermark pattern are embedded in the input image frame as a digital watermark to the video input / output board ;
The change information includes at least one of time information and position information,
The segment information is a code indicating an attribute of any one of a segment number, authenticity start to detect falsification in the segment unit, authenticity end, recording start, recording end,
In one segment corresponding to the time when the input unit was input to start the embedding process, the segment information is a code indicating the recording start,
In one segment corresponding to the time when the input means has been input to end the embedding process, the segment information is a code indicating the end of recording,
An electronic watermark embedding method characterized in that m segments between a code indicating the start of authenticity proof and a code indicating the end of authenticity proof are images to be authenticated . 請求項１に記載の電子透かし埋め込み方法を用いた電子透かしが埋め込まれた映像から電子透かしを検出する方法であって、A method for detecting a digital watermark from an image embedded with a digital watermark using the digital watermark embedding method according to claim 1,
検出したセグメント情報を検証し、検出した変化情報の整合性を確認することを特徴とする電子透かし検出方法。  An electronic watermark detection method comprising: verifying detected segment information and confirming consistency of detected change information. 映像をキャプチャーし、入力した画像フレームに電子透かしを埋め込む電子透かし埋め込み装置は、
入力手段、
前記入力画像フレームに前記電子透かしを埋め込んだ画像フレームを出力するビデオ入出力ボード、
逐次的にかつ規則的に変化する変化情報に含まれる時刻情報に対応して、第１の透かしパターンを生成し、前記生成した前記第１の透かしパターンと、前記入力手段に入力があった時刻を起点として所定の時間単位で前記画像フレームを分割し、前記入力画像フレームのＮフレーム分が１セグメントであって、前記セグメントの属性を示すセグメント情報に対応した第２の透かしパターンを生成する透かしパターン生成手段、
前記第１の透かしパターン及び前記第２の透かしパターンを格納するメモリ、
前記ビデオ入出力ボードからの前記入力画像フレームに対応する前記変化情報をキーとして、前記メモリに格納されている前記第１の透かしパターンを検索する第１の検索手段、及び
前記入力手段への前記入力に対応する前記セグメント情報をキーとして、前記メモリに格納されている前記第２の透かしパターンを検索する第２の検索手段、
を有し、
前記ビデオ入出力ボードは、前記検索した前記第１の透かしパターンおよび前記第２の透かしパターンを前記入力画像フレームに電子透かしとして埋め込んだ画像フレームを出力し、
前記変化情報は時刻情報および位置情報の少なくとも一つを含み、
前記セグメント情報はセグメント番号、前記セグメント単位で改ざんを検知する真正性証明開始、真正性証明終了、記録開始、記録終了のいずれかの属性を示すコードであって、
前記入力手段に前記埋め込み処理を開始するよう入力があった時刻に対応する１セグメントでは、前記セグメント情報は前記記録開始を示すコードであり、
前記入力手段に前記埋め込み処理を終了するよう入力があった時刻に対応する１セグメントでは、前記セグメント情報は前記記録終了を示すコードであり、
前記真正性証明開始を示すコードと、前記真正性証明終了を示すコードとの間にあるｍ個のセグメントが真正性証明の対象の映像であることを特徴とする電子透かし埋め込み装置。 A digital watermark embedding device that captures video and embeds a digital watermark in the input image frame.
Input means,
A video input / output board for outputting an image frame in which the digital watermark is embedded in the input image frame;
Corresponding to time information included in change information that changes sequentially and regularly, a first watermark pattern is generated, and the generated first watermark pattern and the time when the input means is input Is a watermark that divides the image frame in a predetermined time unit starting from, and generates a second watermark pattern corresponding to segment information indicating an attribute of the segment, where N frames of the input image frame are one segment Pattern generation means,
A memory for storing the first watermark pattern and the second watermark pattern;
First search means for searching for the first watermark pattern stored in the memory using the change information corresponding to the input image frame from the video input / output board as a key; and
Second search means for searching for the second watermark pattern stored in the memory using the segment information corresponding to the input to the input means as a key;
Have
The video input / output board outputs an image frame in which the searched first watermark pattern and the second watermark pattern are embedded as a digital watermark in the input image frame,
The change information includes at least one of time information and position information,
The segment information is a code indicating an attribute of any one of a segment number, authenticity start to detect falsification in the segment unit, authenticity end, recording start, recording end,
In one segment corresponding to the time when the input unit was input to start the embedding process, the segment information is a code indicating the recording start,
In one segment corresponding to the time when the input means has been input to end the embedding process, the segment information is a code indicating the end of recording,
An electronic watermark embedding apparatus characterized in that m segments between a code indicating the start of authenticity proof and a code indicating the end of authenticity proof are images to be authenticated . 請求項３に記載の電子透かし埋め込み装置で埋め込まれた映像から電子透かしを検出する電子透かし検出装置であって、A digital watermark detection apparatus for detecting a digital watermark from video embedded by the digital watermark embedding apparatus according to claim 3,
検出したセグメント情報を検証し、検出した変化情報の整合性を確認する手段を有することを特徴とする電子透かし検出装置。  An electronic watermark detection apparatus comprising: means for verifying detected segment information and confirming consistency of detected change information.
JP2009104871A 2009-04-23 2009-04-23 Digital watermark embedding method and apparatus Active JP5193124B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009104871A JP5193124B2 (en) 2009-04-23 2009-04-23 Digital watermark embedding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009104871A JP5193124B2 (en) 2009-04-23 2009-04-23 Digital watermark embedding method and apparatus

Publications (2)

Publication Number Publication Date
JP2010258645A JP2010258645A (en) 2010-11-11
JP5193124B2 true JP5193124B2 (en) 2013-05-08

Family

ID=43319085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009104871A Active JP5193124B2 (en) 2009-04-23 2009-04-23 Digital watermark embedding method and apparatus

Country Status (1)

Country Link
JP (1) JP5193124B2 (en)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035015A1 (en) 2011-09-07 2013-03-14 Koninklijke Philips Electronics N.V. Device and method to support the operating of the display of image data
SI2858269T1 (en) 2012-05-24 2018-06-29 Panasonic Intellectual Property Corporation Of America Information communication method
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
SG11201400251XA (en) 2012-12-27 2014-08-28 Panasonic Corp Video display method
WO2014103333A1 (en) 2012-12-27 2014-07-03 パナソニック株式会社 Display method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
CN107635100B (en) 2012-12-27 2020-05-19 松下电器（美国）知识产权公司 Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9341014B2 (en) 2012-12-27 2016-05-17 Panasonic Intellectual Property Corporation Of America Information communication method using change in luminance
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
WO2014103329A1 (en) 2012-12-27 2014-07-03 パナソニック株式会社 Visible-light-communication-signal display method and display device
JP2015046739A (en) * 2013-08-28 2015-03-12 学校法人日本大学 Content distribution method
CN103826168B (en) * 2014-02-25 2017-11-24 深圳市掌网科技股份有限公司 A kind of method and system to video addition watermark
JP2020188422A (en) * 2019-05-17 2020-11-19 株式会社Ｎｔｔドコモ Information processing device and information processing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4045393B2 (en) * 1999-06-01 2008-02-13 ソニー株式会社 Information signal duplication management method and information signal recording apparatus
CN100448260C (en) * 2003-05-28 2008-12-31 冲电气工业株式会社 Watermark information embedding device, image processing device, watermark information embedding method, and image processing method
JP2008090438A (en) * 2006-09-29 2008-04-17 Hitachi Koukiyou Syst Eng Kk Falsification detection device and system for moving image content

Also Published As

Publication number Publication date
JP2010258645A (en) 2010-11-11

Similar Documents

Publication Publication Date Title
JP5193124B2 (en) Digital watermark embedding method and apparatus
US11922532B2 (en) System for mitigating the problem of deepfake media content using watermarking
US10176309B2 (en) Systems and methods for authenticating video using watermarks
US11979399B2 (en) Robust encoding of machine readable information in host objects and biometrics, and associated decoding and authentication
US20230360165A1 (en) Method and apparatus for protecting digital photos from alteration
JP6601624B2 (en) Content distribution system, content distribution method, content generation apparatus, and content generation program
Zhu et al. When seeing isn't believing [multimedia authentication technologies]
Bartolini et al. Image authentication techniques for surveillance applications
IL249739A (en) System and method for secured capturing and authenticating of video clips
WO2017168901A1 (en) Image sensor, image capture device, image sensor identification method, image counterfeiting prevention method, and image alteration restriction method
JP2009038810A (en) Network system, information terminal, server, detector, and digital content distributing method
US11303845B2 (en) Video content authentication
EP3234904B1 (en) Method and apparatus for publishing locational copyrighted watermarking video
JP2005236442A (en) Watermark padding device and method, and watermark extracting device and method
JP2001186326A (en) Method for embedding picture forgery verifying data, method and device for verifying forgery of picture and recording medium
Alattar et al. A system for mitigating the problem of deepfake news videos using watermarking
JP2003309554A5 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM
JP2007043321A (en) Authenticity verification method and system of electronic document
KR20080045347A (en) Apparatus and method for generating, monitoring certification and managing image using watermark
JP2004364263A (en) Information embedding apparatus and method, tampering detecting apparatus and method, and recording medium
JP2013126189A (en) Image processor, alteration prevention method, and alteration detection method
JP2004222129A (en) Electronic watermark multiplexing device and electronic watermark detecting device
JP2019205140A (en) Imaging apparatus, information processing apparatus, generation method, and verification method
JP2005286823A (en) Image input device, communication system, control method, computer program, and storage medium
Gehani et al. Veil: A system for certifying video provenance

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130201

R150 Certificate of patent or registration of utility model

Ref document number: 5193124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350