JP6251651B2 - Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program - Google Patents
Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program Download PDFInfo
- Publication number
- JP6251651B2 JP6251651B2 JP2014162941A JP2014162941A JP6251651B2 JP 6251651 B2 JP6251651 B2 JP 6251651B2 JP 2014162941 A JP2014162941 A JP 2014162941A JP 2014162941 A JP2014162941 A JP 2014162941A JP 6251651 B2 JP6251651 B2 JP 6251651B2
- Authority
- JP
- Japan
- Prior art keywords
- watermark information
- image frame
- digital watermark
- amount
- superimposing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、透かし情報を埋め込み、検出する技術に関する。 The present invention relates to a technique for embedding and detecting watermark information.
現在、原コンテンツの識別やそれに付随する権利の保護、原コンテンツに関する関連情報の提供等を目的とするため、電子透かし技術が存在する。基本的には、所定の付随情報を透かし情報として原コンテンツに算術演算等により重畳して送信し、その透かし情報を受信側で検出する(非特許文献1)。 Currently, there is a digital watermark technology for the purpose of identifying original content, protecting rights associated therewith, providing related information regarding the original content, and the like. Basically, predetermined accompanying information is transmitted as watermark information superimposed on the original content by arithmetic operation or the like, and the watermark information is detected on the receiving side (Non-Patent Document 1).
しかしながら、原画像等の画質や絵柄によっては、それらとの干渉等により透かし情報の検出が妨害されるため、透かし情報の検出精度が変動する欠点があった。また、これまで多くの電子透かし方式が提案されているが、原画像に対する透かし情報の重畳量(画素値の変更量)は固定的であった。つまり、予め定められた一定率の透かし情報が原画像に重畳されるため、様々な絵柄を持つ原画像に対して透かし情報を適量に重畳できない欠点もあった。 However, depending on the image quality and design of the original image or the like, the detection of the watermark information is hindered due to the interference with the image and the like. Many digital watermarking methods have been proposed so far, but the amount of watermark information superimposed on the original image (the amount of change in pixel values) has been fixed. In other words, since a predetermined fixed amount of watermark information is superimposed on the original image, there is a disadvantage that the watermark information cannot be superimposed in an appropriate amount on the original image having various patterns.
本発明は、上記事情を鑑みてなされたものであり、透かし情報を適切に重畳することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to appropriately superimpose watermark information.
上記課題を解決するため、請求項1に記載の電子透かし情報埋め込みシステムは、受信した画像フレームに透かし情報を重畳する重畳手段と、前記画像フレームに重畳された透かし情報を検出する検出手段と、前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価手段と、を有することを要旨とする。
In order to solve the above-described problem, the digital watermark information embedding system according to
請求項2に記載の電子透かし情報埋め込みシステムは、請求項1に記載の電子透かし情報埋め込みシステムにおいて、前記評価手段は、透かし情報の検出の可否に応じて透かし情報の重畳量を変更することを要旨とする。
The electronic watermark information embedding system according to claim 2 is the electronic watermark information embedding system according to
請求項3に記載の電子透かし情報埋め込みシステムは、請求項1又は2に記載の電子透かし情報埋め込みシステムにおいて、前記評価手段は、透かし情報の検出の可否に応じて重畳度合の異なる重畳方法を選択することを要旨とする。
The digital watermark information embedding system according to claim 3 is the digital watermark information embedding system according to
請求項4に記載の電子透かし情報埋め込みシステムは、請求項1乃至3のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記重畳手段は、前記通知された重畳量又は重畳方法で同一の画像フレームに透かし情報を再重畳することを要旨とする。
The digital watermark information embedding system according to claim 4 is the digital watermark information embedding system according to any one of
請求項5に記載の電子透かし情報埋め込みシステムは、請求項1乃至4のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記画像フレームは、動画像を構成する画像フレームであって、前記重畳手段は、前記通知された重畳量又は重畳方法で次以降の画像フレームに透かし情報を重畳することを要旨とする。
The digital watermark information embedding system according to claim 5 is the digital watermark information embedding system according to any one of
請求項6に記載の電子透かし情報埋め込みシステムは、請求項1乃至5のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記検出手段は、透かし情報の検出率に基づき透かし情報の検出の可否を判定することを要旨とする。
The electronic watermark information embedding system according to claim 6 is the electronic watermark information embedding system according to any one of
請求項7に記載の電子透かし情報埋め込みシステムは、請求項1乃至6のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記検出手段は、2つの画像フレーム間における対応画素同士の画素値の変化量に基づき透かし情報の検出の可否を判定することを要旨とする。
The electronic watermark information embedding system according to claim 7 is the electronic watermark information embedding system according to any one of
請求項8に記載の電子透かし情報埋め込みシステムは、請求項1乃至7のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記検出手段は、画像フレーム又は画像フレームが表示される画面の大きさに応じて透かし情報の検出の可否判定に用いる判定基準値を変更することを要旨とする。
The electronic watermark information embedding system according to claim 8 is the electronic watermark information embedding system according to any one of
請求項9に記載の電子透かし情報埋め込みシステムは、請求項1乃至8のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記評価手段は、画像フレームの表示装置に加えられる外乱要因を排除するための環境値を用いて透かし情報の重畳量を決定することを要旨とする。
The electronic watermark information embedding system according to claim 9 is the electronic watermark information embedding system according to any one of
請求項10に記載の電子透かし情報埋め込み方法は、コンピュータが、重畳手段により、受信した画像フレームに透かし情報を重畳する重畳ステップと、検出手段により、前記画像フレームに重畳された透かし情報を検出する検出ステップと、評価手段により、前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価ステップと、を実行することを要旨とする。 The digital watermark information embedding method according to claim 10, wherein the computer detects the watermark information superimposed on the image frame by the superimposing step of superimposing the watermark information on the received image frame by the superimposing unit, and the detecting unit. The gist of the present invention is to execute a detection step and an evaluation step of determining a superimposition amount or a superimposition method of watermark information based on a detection result of the watermark information and notifying the superimposition unit by an evaluation unit.
請求項11に記載の電子透かし情報埋め込みプログラムは、コンピュータを請求項1乃至9のいずれかに記載の電子透かし情報埋め込みシステムとして機能させることを要旨とする。 A gist of a digital watermark information embedding program according to an eleventh aspect is to cause a computer to function as the digital watermark information embedding system according to any one of the first to ninth aspects.
本発明によれば、透かし情報を適切に重畳できる。 According to the present invention, watermark information can be appropriately superimposed.
本発明は、原コンテンツに重畳された透かし情報の検出結果に基づき重畳量や重畳方法の適当性を評価し、適正な重畳量等をフィードバックする。所定の画像フレームでの検出結果を同一又は他の画像フレームへフィードバックするため、動画像のように逐次その内容が変化し、従来の方法では事前に画質や絵柄を推定できないようなリアルタイム映像についても、適切な透かし情報を短時間で動的に埋め込むことが可能となる。それゆえ、多様な種類の映像に対して常に安定した透かし情報の検出を行うことが十分期待できる。以下、本発明を実施する一実施の形態について図面を用いて説明する。 The present invention evaluates the amount of superimposition and the appropriateness of the superposition method based on the detection result of the watermark information superimposed on the original content, and feeds back an appropriate amount of superimposition. Since the detection result in a predetermined image frame is fed back to the same or another image frame, the content changes sequentially like a moving image, and even for real-time video where the image quality and design cannot be estimated in advance by the conventional method It is possible to embed appropriate watermark information dynamically in a short time. Therefore, it can be sufficiently expected that the watermark information is always stably detected for various types of images. Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings.
図1は、本実施の形態に係る電子透かし情報埋め込みシステム1の機能ブロック構成を示す図である。この電子透かし情報埋め込みシステム1は、任意の動画像を配信する原画像送信装置100と、配信された動画像に所定の透かし情報を重畳する電子透かし情報重畳装置200と、透かし情報の重畳量や重畳方法の適当性を評価する電子透かし情報評価装置300と、透かし情報が重畳された動画像を表示する映像表示装置400と、表示された動画像から透かし情報を検出する透かし情報検出端末500と、を備えて構成される。
FIG. 1 is a diagram showing a functional block configuration of a digital watermark
従来、電子透かし情報重畳装置200は、透かし情報が重畳された動画像を映像表示装置400へ直接送信していた。例えば、映像配信業者の映像配信サーバから送信された動画像に対して、その動画像の詳細が説明されたウェブサーバのURL等の透かし情報を画像化して埋め込み、市中に設置されている任意のデジタルサイネージへ直接送信していた。そのデジタルサイネージの視聴者がスマート端末で動画像を撮影すると、その動画像に重畳されたURL等が端末画面上に表示されることになる。
Conventionally, the digital watermark
一方、本実施の形態では、電子透かし情報重畳装置200と映像表示装置400との間に電子透かし情報評価装置300を介在させ、画像フレームに重畳された透かし情報の重畳量や重畳方法の適当性を評価し、その評価結果に基づき透かし情報の重畳量等を決定して電子透かし情報重畳装置200へ通知する。電子透かし情報重畳装置200では、通知された重畳量等に基づき透かし情報を重畳する。つまり、画像フレームに埋め込まれた透かし情報の重畳量等が適正であるかを評価し、その評価結果をフィードバックすることにより、透かし情報の重畳量等を適正化するようにしている。以下、各装置の機能について詳述する。
On the other hand, in the present embodiment, the digital watermark
原画像送信装置100は、時系列な複数の画像フレームからなる動画像を配信するように構成されている。例えば、映像配信業者等が有する映像配信サーバである。なお、本実施の形態では動画像を例に説明するが、単一の画像フレームである静止画像であってもよい。また、動画像の伝送形態は、アナログ/デジタル、圧縮/非圧縮のいずれでもよく、どのような伝送プロトコルを用いてもよい。
The original
電子透かし情報重畳装置200は、原画像送信装置100からの動画像に対して所定の透かし情報を重畳するように構成されている。本実施の形態では、電子透かし情報記憶部21と、電子透かし生成部22と、電子透かし重畳部23と、を備えて構成される。
The digital watermark information
電子透かし情報記憶部21は、透かし情報を生成するための原透かし情報を記憶しておくように構成されている。例えば、動画像の詳細が説明された文書、その文書が格納されたウェブサーバのURL、動画像や静止画像の正当性を識別するための識別子等である。原透かし情報の内容に制約はなく、任意のものを利用できる。
The digital watermark
電子透かし生成部22は、電子透かし情報記憶部21から原透かし情報を取得し、原透かし情報の種別に応じたパターン模様で画像化された透かし情報を生成するように構成されている。透かし情報を画像フレームの画像上に重畳するため、文字情報である原透かし情報を画像に変換して暗号化する。
The digital
電子透かし重畳部23は、電子透かし情報評価装置300から通知された重畳量及び重畳方法に基づき、原画像送信装置100から送信された動画像の各画像フレームに対して、電子透かし生成部22で生成された透かし情報を算術演算等により重畳するように構成されている。重畳するとは、透かし情報の画素値を用いて画像フレームの画素値を変更することをいう。
The digital watermark
電子透かし情報評価装置300は、電子透かし情報重畳装置200で重畳された透かし情報の重畳量及び重畳方法の適当性を評価するように構成されている。本実施の形態では、電子透かし検出部31と、電子透かし評価部32と、評価用情報記憶部33と、を備えて構成される。
The digital watermark
電子透かし検出部31は、画像フレームに重畳された透かし情報を検出するように構成されている。具体的には、透かし情報の検出の可否、つまり、透かし情報から原透かし情報を再構築して復号化できたか否かを検出する。
The digital
電子透かし評価部32は、透かし情報の検出結果に基づき透かし情報の重畳量及び重畳方法を決定し、決定された重畳量等を電子透かし情報重畳装置200に通知(フィードバック)するように構成されている。
The digital
評価用情報記憶部33は、電子透かし評価部32で透かし情報の重畳量及び重畳方法を決定するための決定ルール情報や環境情報を記憶しておくように構成されている。決定ルール情報には、透かし情報の検出結果に基づき重畳量等を決定するためのルールが規定されている。また、環境情報とは、透かし情報の重畳量を算出するための算出式の一パラメータである。映像表示装置400や透かし情報検出端末500の各画面に生じる外乱要因(例えば、蛍光灯や太陽光等の影響により画面に生じた反射や映像の白飛び等)を排除するための環境値がオフラインで予め設定されている。
The evaluation
映像表示装置400は、電子透かし情報評価装置300を介して電子透かし情報重畳装置200から送信された動画像を表示するように構成されている。例えば、市中に設置されたデジタルサイネージである。
The
透かし情報検出端末500は、映像表示装置400に表示された動画像から透かし情報を検出するように構成されている。例えば、画像読み取り機能を備えたスマート端末や携帯電話端末、タブレット端末である。
The watermark
なお、各装置100〜400は、画像データを記憶するための記憶部、画像データや決定後の重畳量等を装置間で送受信するための送受信部を備えている。図1の図面上ではその記載を省略している。
Each of the
次に、透かし情報の検出結果/評価結果のフィードバック方法を説明する。最初に、電子透かし情報埋め込みシステム1で行われる全体処理動作を説明する。図2は、1つ目の全体処理シーケンスを示す図である。
Next, a feedback method of the watermark information detection result / evaluation result will be described. First, the overall processing operation performed in the digital watermark
まず、原画像送信装置100から、動画像を構成する複数の画像フレームのうち1つ目の画像フレームF1が送信されると、電子透かし情報重畳装置200は、ステップS101において、電子透かし情報記憶部21から原透かし情報を読み出し、その原透かし情報の種別に応じたパターン模様で画像化された透かし情報を生成する。
First, when the first image frame F1 among the plurality of image frames constituting the moving image is transmitted from the original
次に、ステップS102において、生成した透かし情報を画像フレームF1に重畳する。透かし情報とは動画像に対する付随的な情報であり、画像化された透かし情報の面積は画像フレームF1の面積よりも小さいため、透かし情報を複製して同一内容の透かし情報を2次元的に配列し、その冗長化された透かし情報を画像フレームF1の全体に重畳する。これにより、画像フレームF1の全ての画素値が総じて変化するため、動画像に対する視覚上の違和感を抑制できる。 Next, in step S102, the generated watermark information is superimposed on the image frame F1. The watermark information is incidental information to the moving image, and since the area of the imaged watermark information is smaller than the area of the image frame F1, the watermark information is duplicated and the watermark information having the same contents is arranged two-dimensionally. Then, the redundant watermark information is superimposed on the entire image frame F1. Thereby, since all the pixel values of the image frame F1 change as a whole, it is possible to suppress visual discomfort with respect to the moving image.
その後、ステップS103において、重畳後の画像フレームF1を電子透かし情報評価装置300を介して映像表示装置400へ送信する。これにより、透かし画像が重畳された画像フレームF1が映像表示装置400の画面に表示される。
Thereafter, in step S103, the superimposed image frame F1 is transmitted to the
その際、電子透かし情報評価装置300は、ステップS104において、電子透かし情報重畳装置200からの画像フレームF1を取り込み、ステップS105において、その画像フレームF1に重畳されている透かし情報を検出する。具体的には、画像フレームF1から透かし情報を取り出し、取り出した透かし情報を用いて原透かし情報が再構築できるかを判定する。
At that time, the digital watermark
ここで、透かし情報は冗長化されているため、原透かし情報の一部が再構築できれば他の情報やエラー訂正技術を用いて原透かし情報の全体を再構築できる。ゆえに、透かし情報の検出率に基づき透かし情報の検出の可否を判定してもよい。例えば、70%程度の原透かし情報が再構築されたタイミングで透かし情報を検出できたと判定してもよい。これにより、変更後の重畳量等を電子透かし情報重畳装置200へ通知するまでの時間を短縮できる。なお、透かし情報はデジタルデータであるため、原画像送信装置100から電子透かし情報評価装置300までの間のネットワーク上でパケットロス等があれば画像が乱れることはあっても、透かし情報のデータ内容が劣化することはない。
Here, since the watermark information is made redundant, if a part of the original watermark information can be reconstructed, the entire original watermark information can be reconstructed using other information and error correction techniques. Therefore, whether or not the watermark information can be detected may be determined based on the detection rate of the watermark information. For example, it may be determined that the watermark information can be detected at a timing when about 70% of the original watermark information is reconstructed. Thereby, it is possible to shorten the time until the digital watermark
次に、ステップS106において、電子透かし情報重畳装置200で重畳される透かし情報の重畳量及び重畳方法を調整するため、透かし情報の検出結果に基づき重畳量及び重畳方法を決定する。その決定方法については後述する。その後、ステップS107において、決定された重畳量及び重畳方法を電子透かし情報重畳装置200へ通知する。
Next, in step S106, in order to adjust the amount and method of superimposing the watermark information superimposed by the digital watermark
続いて、電子透かし情報重畳装置200は、2つ目の画像フレームF2が送信されると、ステップS108において、電子透かし情報評価装置300から通知された重畳量及び重畳方法に基づき、ステップS101で生成した透かし情報を画像フレームF2に重畳する。以降、ステップS103〜ステップS107と同様の処理を繰り返し実行する。その後、3つ目の画像フレームF3が送信された場合には、再通知された重畳量及び重畳方法に基づき透かし情報を重畳する。以降、動画像を構成する全ての画像フレームについて、透かし情報を重畳→透かし情報を検出→検出結果に基づき重畳量及び重畳方法を決定→決定後の重畳量及び重畳方法に基づき透かし情報を重畳、の各処理を繰り返し実行する。これにより、最初の画像フレームで透かし情報に強弱があったとしても、以降の画像フレームでその重畳量が修正されるので、全体としては透かし情報を適切に埋め込むことができる。また、遅延等することなく動画等の映像を表示でき、映像表示中に適切な透かし情報を埋め込むことができる。
Subsequently, when the second image frame F2 is transmitted, the digital watermark
ここで、ステップS105で行う透かし情報の他の検出方法を説明する。例えば、表示中の動画像を人の目で見た際の影響を考慮するようにしてもよい。具体的には、1つ前の画像フレーム(0つ目の画像フレーム)を保持しておき、取り込んだ画像フレームF1との間で対応する画素同士の画素値の変化量を求め、その変化量が閾値以上であれば透かし情報を検出できたと判定してもよい。この閾値には、例えば透かし情報の全画素の平均値や最大値を用いる。 Here, another method for detecting watermark information performed in step S105 will be described. For example, you may make it consider the influence at the time of seeing the moving image in display with a human eye. Specifically, the previous image frame (the 0th image frame) is held, the amount of change in the pixel value between corresponding pixels with the captured image frame F1, and the amount of change is obtained. If is equal to or greater than the threshold value, it may be determined that the watermark information has been detected. As this threshold value, for example, an average value or a maximum value of all pixels of the watermark information is used.
また、画像フレームや映像表示装置400の画面の大きさに基づき、上記透かし情報の検出率、上記画素値の変化量を変更してもよい。例えば、スマート端末のような小サイズの場合は、それら検出率・変化量(判定基準値)を小さくし、映画スクリーンのような大サイズの場合には、大きくする。
Further, the detection rate of the watermark information and the change amount of the pixel value may be changed based on the size of the image frame or the screen of the
さらに、それら検出率・変化量の検出精度を用いてもよい。検出精度を求めるために演算式を利用し、その演算式の各パラメータに対してパラメータの種別に応じた重みをそれぞれ付与してもよいし、各パラメータ値を動的又は静的に変更してもよい。 Furthermore, the detection accuracy of these detection rates and change amounts may be used. An arithmetic expression is used to obtain detection accuracy, and each parameter of the arithmetic expression may be given a weight according to the parameter type, or each parameter value may be changed dynamically or statically. Also good.
ここまで、1つ目の全体処理動作を説明した。この1つ目では、透かし情報を全ての画像フレームに重畳する例を説明したが、動画像の場合は画像フレームが連続して繰り返し表示されるため、必ずしも全ての画像フレームに透かし情報を重畳する必要はない。そこで、電子透かし情報重畳装置200は、ステップS108をスキップし、1つ目の画像フレームF1の次は3つ目の画像フレームに透かし情報を重畳することにより、重畳対象の画像フレーム数を少なくしてもよい。これにより、透かし情報の重畳処理による表示までの遅延を解消できる。
So far, the first overall processing operation has been described. In the first example, the example in which the watermark information is superimposed on all the image frames has been described. However, in the case of a moving image, since the image frames are continuously displayed repeatedly, the watermark information is not necessarily superimposed on all the image frames. There is no need. Therefore, the digital watermark
次に、2つ目の全体処理動作を説明する。図3は、2つ目の全体処理シーケンスを示す図である。 Next, the second overall processing operation will be described. FIG. 3 is a diagram showing a second overall processing sequence.
まず、原画像送信装置100から1つ目の画像フレームF1が送信されると、電子透かし情報重畳装置200は、ステップS201〜ステップS204において、透かし情報を生成して画像フレームF1に重畳し、その画像フレームF1を一旦保持すると共に電子透かし情報評価装置300へ送信する。
First, when the first image frame F1 is transmitted from the original
次に、電子透かし情報評価装置300は、ステップS205において、画像フレームF1に重畳されている透かし情報から原透かし情報が再構築できるかを判定する。再構築できた場合は、ステップS206において画像フレームF1を映像表示装置400へ転送する。再構築できない場合は、ステップS207〜ステップS209において、重畳量及び重畳方法を決定して電子透かし情報重畳装置200へ通知した後に、画像フレームF1を破棄する。
Next, in step S205, the digital watermark
その後、電子透かし情報重畳装置200は、ステップS210において、電子透かし情報評価装置300から通知された重畳量及び重畳方法に基づき、ステップS203で保持していた画像フレームF1に透かし情報を重畳する(重畳のし直し)。その後、透かし情報が重畳し直された画像フレームF1を電子透かし情報評価装置300へ送信する。以降、画像フレームF1の透かし情報から原透かし情報が再構築されるまで、その画像フレームF1に対する透かし情報の重畳処理を繰り返し実行する。これにより、映像表示装置400で表示されるいずれの画像フレームからも透かし情報を検出できるため、透かし情報検出端末500での透かし情報の検出精度を向上できる。
Thereafter, in step S210, the digital watermark
ここまで、2つ目の全体処理動作を説明した。なお、1つ目、2つ目の各全体処理動作では、透かし情報を画像フレームの全体に重畳する例を説明したが、画像フレームの一部にのみ重畳してもよい。また、透かし情報を重畳することにより原画像の画質が劣化する場合、画質劣化が生ずる画像フレームについては透かし情報を重畳しないようにしてもよい。例えば、透かし情報の重畳を試みる画素領域内に閾値以上離れている画素値を持つ隣接画素がある場合には、透かし情報の重畳処理をスキップする。例えば、画素値の範囲が0〜255の256階調であれば当該閾値に250を用いる。隣接画素の画素値が250も離れている場合、前景と背景を含む可能性が高く、そのようなエッジ部分に透かし情報を重畳すると映像上ボケが発生する可能性があるためである。 So far, the second overall processing operation has been described. In each of the first and second overall processing operations, the watermark information is superimposed on the entire image frame. However, the watermark information may be superimposed only on a part of the image frame. Further, when the image quality of the original image is deteriorated by superimposing the watermark information, the watermark information may not be superimposed on an image frame in which the image quality is deteriorated. For example, when there is an adjacent pixel having a pixel value that is more than a threshold within a pixel region where watermark information is to be superimposed, the watermark information superimposing process is skipped. For example, if the pixel value range is 256 gradations from 0 to 255, 250 is used as the threshold value. This is because if the pixel values of adjacent pixels are as far as 250, there is a high possibility of including the foreground and the background, and if watermark information is superimposed on such an edge portion, there is a possibility of blurring on the video.
続いて、電子透かし情報評価装置300で行われる透かし情報の重畳量及び重畳方法の決定方法を詳述する。図4は、透かし情報の重畳量及び重畳方法の決定処理フローを示す図である。この決定処理フローは、決定ルール情報に予め定義されている。
Next, the watermark information superimposition amount and superposition method determination method performed by the digital watermark
まず、ステップS301において、画像フレームを受信すると、電子透かし検出部31は、ステップS302において、画像フレームに重畳された透かし情報を検出できたかを判定する。上記例の場合、透かし情報から約70%の原透かし情報を再構築できたか否かを判定する。再構築できた場合はステップS303へ進み、再構築できない場合はステップS304へ進む。
First, when an image frame is received in step S301, the digital
次に、ステップS303において、画像フレームから透かし情報を検出できたため、電子透かし評価部32は、現在の重畳方法及び重畳量よりも重畳度合の低い重畳方法及び重畳量を用いてもよいとみなし、予め用意されている複数の重畳方法から次に重畳度合の低い重畳方法を選択し、現在の重畳量よりも小さい重畳量を新たな重畳量として決定する。
Next, in step S303, since the watermark information can be detected from the image frame, the digital
重畳方法については任意の方法を用いることが可能である。例えば、(1)透かし情報を画素の輝度や色度に演算処理して重畳する単純な重畳方法、(2)映像の高周波成分(細かい模様等)や黄色成分等、視覚的に認識されにくい部分に重点的に重畳する視覚特性を考慮した重畳方法、(3)動画像を構成する1枚の画像フレームに纏めて重畳すると目立ちやすいおそれがあるので、複数の画像フレームに分散して重畳する時間特性を考慮した重畳方法等がある。1つの画像フレームに対する重畳度合は(3)の方法が最も低く(1)の方法が最も高いため、現在の重畳方法が(1)の方法であれば(2)の方法へ変更する。 Any method can be used for the superposition method. For example, (1) a simple superimposition method in which watermark information is calculated and superimposed on the luminance and chromaticity of a pixel, and (2) a portion that is difficult to be visually recognized, such as a high-frequency component (such as a fine pattern) or a yellow component of an image. (3) Time to disperse and superimpose in a plurality of image frames because there is a risk of being conspicuous when superimposed on a single image frame constituting a moving image. There are superposition methods that take into account the characteristics. Since the degree of superimposition for one image frame is the lowest in the method (3) and the highest in the method (1), if the current superposition method is the method (1), the method is changed to the method (2).
また、重畳量についても任意の算出式を用いて算出可能である。例えば、算出式が「重畳量=(パラメータ値A+パラメータ値B)×環境値C」の場合、パラメータ値A,Bを現在の値よりも小さく変更して重畳量を小さくする。このとき、パラメータの種類に応じた重み値を各パラメータ値A,Bにそれぞれ付与してもよい。なお、環境値Cとは、オフライン設定された環境情報の値である。上記算出式のパラメータに環境値Cが含まれているため、映像表示装置400や透かし情報検出端末500の各画面で生じる外乱要因を排除できる。
Also, the superposition amount can be calculated using an arbitrary calculation formula. For example, when the calculation formula is “superimposition amount = (parameter value A + parameter value B) × environment value C”, the parameter values A and B are changed to be smaller than the current value to reduce the superposition amount. At this time, a weight value corresponding to the type of parameter may be assigned to each of the parameter values A and B. The environment value C is a value of environment information set offline. Since the environmental value C is included in the parameters of the calculation formula, a disturbance factor generated on each screen of the
その他、「重畳量’=重畳量×補正値D」の算出式を用いてもよい。補正値Dとは、透かし情報が埋め込まれた映像を人が見た際に違和感がないように調整するための値である。算出された重畳量が一定値よりも大きい場合には視覚的に違和感が生じる可能性があるため、その違和感を解消するために重畳量を微調整する。 In addition, a calculation formula of “superimposition amount ′ = superimposition amount × correction value D” may be used. The correction value D is a value for adjusting so that there is no sense of incongruity when a person views a video in which watermark information is embedded. When the calculated amount of superimposition is larger than a certain value, there is a possibility that a visually uncomfortable feeling may occur. Therefore, the amount of superimposition is finely adjusted in order to eliminate the discomfort.
一方、ステップS304では、画像フレームから透かし情報を検出できなかったため、電子透かし評価部32は、現在の重畳方法及び重畳量よりも重畳度合の高い重畳方法及び重畳量を用いるべきとみなし、予め用意されている複数の重畳方法から次に重畳度合の高い重畳方法を選択し、現在の重畳量よりも高い重畳量を新たな重畳度として決定する。
On the other hand, in step S304, since the watermark information could not be detected from the image frame, the digital
その後、ステップS305において、電子透かし評価部32は、ステップS303又はステップS304で決定・選択された重畳量及び重畳方法を電子透かし情報重畳装置200の電子透かし重畳部23へ通知する。
Thereafter, in step S305, the digital
以降、ステップS301へ戻り、画像フレームを受信する毎にステップS302〜ステップS305を繰り返し実行する。特にステップS303やステップS304では、変更後の重畳量(重畳量を求めるためのパラメータ値等を含む)及び重畳方法を保持しておき、処理が繰り返される都度、保持していた重畳量及び重畳方法を基準にして新たな重畳量及び重畳方法を算出する。これにより、透かし情報が検出されない状態が継続する場合には、重畳量及び重畳方法の重畳度合が2段階、3段階、…、と、透かし情報が検出される状態になるまで随時引き上げられる。一方、透かし情報が検出される状態が継続する場合には反対に引き下げられる。それゆえ、動画像に対する透かし情報の重畳量及び重畳方法が一定に定まるまで調整され、映像シーンが変化する場合であってもその都度再調整されるため、透かし情報の重畳量や重畳方法を最適化できる。 Thereafter, the process returns to step S301, and steps S302 to S305 are repeatedly executed every time an image frame is received. In particular, in step S303 and step S304, the superposition amount (including parameter values for obtaining the superposition amount) and the superposition method after the change and the superposition method are retained, and the superposition amount and the superposition method retained each time the process is repeated. A new superposition amount and superposition method are calculated with reference to. As a result, when the state in which the watermark information is not detected continues, the superposition amount and the superposition degree of the superposition method are increased as needed until the watermark information is detected in two stages, three stages,. On the other hand, when the state where the watermark information is detected continues, it is pulled down. Therefore, since the amount and method of superimposing watermark information on moving images are adjusted until they are fixed, and even when the video scene changes, the amount of watermark information is superimposed and the method of superimposition is optimal. Can be
ここまで、重畳量及び重畳方法の決定方法を説明した。なお、重畳量と重畳方法の両方を変更する例を説明したが、いずれか一方のみを変更してもよい。また、電子透かし情報重畳装置200において、変更された重畳量と重畳方法を適用する順番についての優劣はなく、どちらを先に適用してもよい。
So far, the determination method of the superposition amount and the superposition method has been described. In addition, although the example which changes both a superposition amount and a superposition method was demonstrated, you may change only any one. Also, in the digital watermark
さらに、これまでに説明した決定ルール(図4の決定処理フロー)や重畳量算出式のパラメータ以外に、原画像の特徴に応じた、リアルタイムに動的かつ追加変更が可能な他のルールや新たなパラメータを更に用いてもよい。これにより、事前に原画像の品質を推定することが困難なライブ映像等についても、その品質をより損なうことなく、透かし情報の重畳量をより適切に決定できる。 Furthermore, in addition to the determination rules described above (determination processing flow in FIG. 4) and the parameters of the superposition amount calculation formula, other rules that can be dynamically added and changed according to the characteristics of the original image and new Further parameters may be used. As a result, it is possible to more appropriately determine the amount of watermark information to be superimposed on a live video or the like for which it is difficult to estimate the quality of the original image in advance without further degrading the quality.
以上より、本実施の形態によれば、電子透かし重畳部23が、原画像送信装置100から送信された画像フレームに透かし情報を重畳し、電子透かし検出部31が、その画像フレームに重畳された透かし情報を検出し、電子透かし評価部32が、透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定して電子透かし重畳部23へ通知するので、透かし情報を適切に重畳できる。この効果について以下詳述する。
As described above, according to the present embodiment, the digital
原画像の内容を予め確認した上で透かし情報の重畳量等を決定するプロセスは、経験等をもとにしたルールにより判断されるため、透かし情報の重畳処理を実施する者の技能に依存する。しかし、本発明を用いれば、実施者の技能によらず、一定品質の透かし情報を重畳できる。 The process of determining the amount of watermark information superimposition after confirming the contents of the original image in advance is determined by rules based on experience, etc., and therefore depends on the skill of the person performing the watermark information superimposition processing. . However, by using the present invention, it is possible to superimpose watermark information of a certain quality regardless of the skill of the practitioner.
また、原画像の内容を予め確認するためには、少なくともその原画像を再生する実時間が必要となり、その上で透かし情報の重畳処理を行うことになるため、処理完了までには実時間の2倍以上の時間が必要となる。一方、本発明によれば、原画像を再生しながら透かし情報の重畳量や重畳方法を決定しつつ重畳処理を行うので、全体の処理時間を大幅に短縮できる。例えば、ライブ映像等のように、その内容を事前に把握できない原画像に対しても、本発明を用いることにより、重畳処理を実施する者の技量によらず、短時間で一定品質の透かし情報を重畳できる。 In addition, in order to confirm the contents of the original image in advance, at least the actual time for reproducing the original image is required, and then the watermark information is superimposed, so that the real time is not completed until the processing is completed. Twice or more time is required. On the other hand, according to the present invention, since the superimposition process is performed while determining the superimposition amount and the superimposition method of the watermark information while reproducing the original image, the entire processing time can be greatly shortened. For example, even for an original image whose contents cannot be grasped in advance, such as live video, by using the present invention, watermark information with a constant quality can be obtained in a short time regardless of the skill of the person who performs the superimposition processing. Can be superimposed.
最後に、本実施の形態で説明した電子透かし情報重畳装置200や電子透かし情報評価装置300をプログラムとして構築し、コンピュータにインストールして実行させることや、通信ネットワークを介して流通させることも可能である。
Finally, the digital watermark
1…電子透かし情報埋め込みシステム
100…原画像送信装置
200…電子透かし情報重畳装置
21…電子透かし情報記憶部
22…電子透かし生成部
23…電子透かし重畳部
300…電子透かし情報評価装置
31…電子透かし検出部
32…電子透かし評価部
33…評価用情報記憶部
400…映像表示装置
500…透かし情報検出端末
S101〜S108、S201〜S210、S301〜S305…ステップ
DESCRIPTION OF
Claims (10)
前記画像フレームに重畳された透かし情報を検出する検出手段と、
前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価手段と、を有し、
前記検出手段は、
画像フレーム又は画像フレームが表示される画面の大きさに応じて透かし情報の検出の可否判定に用いる判定基準値を変更することを特徴とする電子透かし情報埋め込みシステム。 Superimposing means for superimposing watermark information on the received image frame;
Detecting means for detecting watermark information superimposed on the image frame;
An evaluation unit that determines a superimposition amount or a superimposition method of watermark information based on the detection result of the watermark information, and notifies the superimposition unit ;
The detection means includes
An electronic watermark information embedding system, wherein a determination reference value used for determining whether or not to detect watermark information is changed according to an image frame or a screen size on which an image frame is displayed .
透かし情報の検出の可否に応じて透かし情報の重畳量を変更することを特徴とする請求項1に記載の電子透かし情報埋め込みシステム。 The evaluation means includes
2. The digital watermark information embedding system according to claim 1, wherein the amount of watermark information superimposed is changed according to whether or not the watermark information can be detected.
透かし情報の検出の可否に応じて重畳度合の異なる重畳方法を選択することを特徴とする請求項1又は2に記載の電子透かし情報埋め込みシステム。 The evaluation means includes
3. The digital watermark information embedding system according to claim 1, wherein a superposition method having a different superposition degree is selected depending on whether or not the watermark information can be detected.
前記通知された重畳量又は重畳方法で同一の画像フレームに透かし情報を再重畳することを特徴とする請求項1乃至3のいずれかに記載の電子透かし情報埋め込みシステム。 The superimposing means includes
4. The digital watermark information embedding system according to claim 1, wherein watermark information is re-superimposed on the same image frame by the notified superposition amount or superposition method.
前記重畳手段は、
前記通知された重畳量又は重畳方法で次以降の画像フレームに透かし情報を重畳することを特徴とする請求項1乃至4のいずれかに記載の電子透かし情報埋め込みシステム。 The image frame is an image frame constituting a moving image,
The superimposing means includes
5. The digital watermark information embedding system according to claim 1, wherein watermark information is superimposed on the next and subsequent image frames by the notified superposition amount or superposition method.
透かし情報の検出率に基づき透かし情報の検出の可否を判定することを特徴とする請求項1乃至5のいずれかに記載の電子透かし情報埋め込みシステム。 The detection means includes
6. The digital watermark information embedding system according to claim 1, wherein whether or not the watermark information can be detected is determined based on a watermark information detection rate.
2つの画像フレーム間における対応画素同士の画素値の変化量に基づき透かし情報の検出の可否を判定することを特徴とする請求項1乃至6のいずれかに記載の電子透かし情報埋め込みシステム。 The detection means includes
7. The digital watermark information embedding system according to claim 1, wherein whether or not to detect watermark information is determined based on a change amount of a pixel value between corresponding pixels between two image frames.
画像フレームの表示装置に加えられる外乱要因を排除するための環境値を用いて透かし情報の重畳量を決定することを特徴とする請求項1乃至7のいずれかに記載の電子透かし情報埋め込みシステム。8. The digital watermark information embedding system according to claim 1, wherein an amount of watermark information to be superimposed is determined using an environmental value for eliminating a disturbance factor applied to an image frame display device.
重畳手段により、受信した画像フレームに透かし情報を重畳する重畳ステップと、A superimposing step of superimposing watermark information on the received image frame by the superimposing means;
検出手段により、前記画像フレームに重畳された透かし情報を検出する検出ステップと、A detection step of detecting watermark information superimposed on the image frame by detection means;
評価手段により、前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価ステップと、を実行し、An evaluation unit that determines an amount or method of superimposing watermark information based on the detection result of the watermark information, and performs an evaluation step of notifying the superimposing unit;
前記検出ステップでは、In the detection step,
画像フレーム又は画像フレームが表示される画面の大きさに応じて透かし情報の検出の可否判定に用いる判定基準値を変更することを特徴とする電子透かし情報埋め込み方法。An electronic watermark information embedding method, wherein a determination reference value used for determining whether or not to detect watermark information is changed according to an image frame or a screen size on which an image frame is displayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014162941A JP6251651B2 (en) | 2014-08-08 | 2014-08-08 | Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014162941A JP6251651B2 (en) | 2014-08-08 | 2014-08-08 | Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016039561A JP2016039561A (en) | 2016-03-22 |
JP6251651B2 true JP6251651B2 (en) | 2017-12-20 |
Family
ID=55530299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014162941A Active JP6251651B2 (en) | 2014-08-08 | 2014-08-08 | Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6251651B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210129696A (en) | 2019-02-26 | 2021-10-28 | 아마노 엔자임 유에스에이 씨오., 엘티디. | Stable Protein Formulations |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344720A (en) * | 2001-05-17 | 2002-11-29 | Sony Corp | Digital watermark embedding processing device, and digital watermark embedding processing method, and program |
JP2005142836A (en) * | 2003-11-06 | 2005-06-02 | Hitachi Ltd | Digital watermark embedding program and information processor |
JP4360363B2 (en) * | 2005-08-19 | 2009-11-11 | 日本電信電話株式会社 | Digital watermark embedding method, apparatus and program |
JP4945541B2 (en) * | 2008-10-31 | 2012-06-06 | 株式会社日立製作所 | Digital watermark embedding detection method using degraded host signal |
-
2014
- 2014-08-08 JP JP2014162941A patent/JP6251651B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210129696A (en) | 2019-02-26 | 2021-10-28 | 아마노 엔자임 유에스에이 씨오., 엘티디. | Stable Protein Formulations |
Also Published As
Publication number | Publication date |
---|---|
JP2016039561A (en) | 2016-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101655349B1 (en) | Method and a system for reducing artifacts | |
JP2012205168A (en) | Device, method and program for video processing | |
US8565516B2 (en) | Image processing apparatus, image processing method, and program | |
KR102245470B1 (en) | A multi-sensor video camera, and a method and processing pipeline for the same | |
KR20120074925A (en) | Method for filling common hole and 3d video system thereof | |
GB201203171D0 (en) | Image processing for projection on a projection screen | |
TW200943936A (en) | Fusing of images captured by a multi-aperture imaging system | |
WO2012003483A3 (en) | A method and apparatus for video processing for improved video compression | |
KR101860106B1 (en) | Image transmission device, image transmission method, and image transmission program | |
KR20110041753A (en) | Apparatus and method for inter view crosstalk reduction | |
JP7218786B2 (en) | Image processing device, image processing method and program | |
JP2013030974A (en) | Digital watermark embedding apparatus, digital watermark embedding method and program | |
JP6222703B2 (en) | Heat map image generation apparatus, heat map image generation method, and heat map image generation program | |
JP6251651B2 (en) | Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program | |
CN102186035A (en) | Method for displaying screen display information | |
KR20120070125A (en) | Image processing apparatus and method for human computer interaction | |
JP2012138724A (en) | Latent image superposition method, latent image superposition device, and latent image superposition system | |
JP2011076224A (en) | Device, system, method, and program for information processing | |
US20120170841A1 (en) | Image processing apparatus and method | |
JP6090305B2 (en) | Determination apparatus, determination program, and determination method | |
WO2018154827A1 (en) | Image processing device, image processing system and program | |
JP6614771B2 (en) | Digital watermark embedding device and program thereof, and digital watermark detection device and program thereof | |
GB2526148A (en) | Seamless display of a video sequence with increased frame rate | |
CN103139524A (en) | Video optimization method and information processing equipment | |
CN112004065A (en) | Video display method, display device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6251651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |