JP6251651B2 - Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program - Google Patents

Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program Download PDF

Info

Publication number
JP6251651B2
JP6251651B2 JP2014162941A JP2014162941A JP6251651B2 JP 6251651 B2 JP6251651 B2 JP 6251651B2 JP 2014162941 A JP2014162941 A JP 2014162941A JP 2014162941 A JP2014162941 A JP 2014162941A JP 6251651 B2 JP6251651 B2 JP 6251651B2
Authority
JP
Japan
Prior art keywords
watermark information
image frame
digital watermark
amount
superimposing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014162941A
Other languages
Japanese (ja)
Other versions
JP2016039561A (en
Inventor
慎一 篠原
慎一 篠原
裕子 森川
裕子 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP2014162941A priority Critical patent/JP6251651B2/en
Publication of JP2016039561A publication Critical patent/JP2016039561A/en
Application granted granted Critical
Publication of JP6251651B2 publication Critical patent/JP6251651B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、透かし情報を埋め込み、検出する技術に関する。   The present invention relates to a technique for embedding and detecting watermark information.

現在、原コンテンツの識別やそれに付随する権利の保護、原コンテンツに関する関連情報の提供等を目的とするため、電子透かし技術が存在する。基本的には、所定の付随情報を透かし情報として原コンテンツに算術演算等により重畳して送信し、その透かし情報を受信側で検出する(非特許文献1)。   Currently, there is a digital watermark technology for the purpose of identifying original content, protecting rights associated therewith, providing related information regarding the original content, and the like. Basically, predetermined accompanying information is transmitted as watermark information superimposed on the original content by arithmetic operation or the like, and the watermark information is detected on the receiving side (Non-Patent Document 1).

片山、外4名、“動画用電子透かしリアルタイム埋め込みFPGAの設計”、電子情報通信学会技術研究報告ICSS、情報通信セキュリティ、Vol.112、No.128、2012年7月12日、p.35-42Katayama, 4 others, “Design of real-time embedded digital watermark for video”, IEICE Technical Report ICSS, Information Communication Security, Vol.112, No.128, July 12, 2012, p.35- 42

しかしながら、原画像等の画質や絵柄によっては、それらとの干渉等により透かし情報の検出が妨害されるため、透かし情報の検出精度が変動する欠点があった。また、これまで多くの電子透かし方式が提案されているが、原画像に対する透かし情報の重畳量(画素値の変更量)は固定的であった。つまり、予め定められた一定率の透かし情報が原画像に重畳されるため、様々な絵柄を持つ原画像に対して透かし情報を適量に重畳できない欠点もあった。   However, depending on the image quality and design of the original image or the like, the detection of the watermark information is hindered due to the interference with the image and the like. Many digital watermarking methods have been proposed so far, but the amount of watermark information superimposed on the original image (the amount of change in pixel values) has been fixed. In other words, since a predetermined fixed amount of watermark information is superimposed on the original image, there is a disadvantage that the watermark information cannot be superimposed in an appropriate amount on the original image having various patterns.

本発明は、上記事情を鑑みてなされたものであり、透かし情報を適切に重畳することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to appropriately superimpose watermark information.

上記課題を解決するため、請求項1に記載の電子透かし情報埋め込みシステムは、受信した画像フレームに透かし情報を重畳する重畳手段と、前記画像フレームに重畳された透かし情報を検出する検出手段と、前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価手段と、を有することを要旨とする。   In order to solve the above-described problem, the digital watermark information embedding system according to claim 1 includes a superimposing unit that superimposes watermark information on a received image frame, a detection unit that detects watermark information superimposed on the image frame, The gist of the invention is to include an evaluation unit that determines a superimposition amount or a superimposition method of the watermark information based on the detection result of the watermark information and notifies the superimposition unit.

請求項2に記載の電子透かし情報埋め込みシステムは、請求項1に記載の電子透かし情報埋め込みシステムにおいて、前記評価手段は、透かし情報の検出の可否に応じて透かし情報の重畳量を変更することを要旨とする。   The electronic watermark information embedding system according to claim 2 is the electronic watermark information embedding system according to claim 1, wherein the evaluation unit changes the amount of superimposition of the watermark information according to whether or not the watermark information can be detected. The gist.

請求項3に記載の電子透かし情報埋め込みシステムは、請求項1又は2に記載の電子透かし情報埋め込みシステムにおいて、前記評価手段は、透かし情報の検出の可否に応じて重畳度合の異なる重畳方法を選択することを要旨とする。   The digital watermark information embedding system according to claim 3 is the digital watermark information embedding system according to claim 1 or 2, wherein the evaluation unit selects a superimposition method having a different superimposition degree depending on whether or not the watermark information is detected. The gist is to do.

請求項4に記載の電子透かし情報埋め込みシステムは、請求項1乃至3のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記重畳手段は、前記通知された重畳量又は重畳方法で同一の画像フレームに透かし情報を再重畳することを要旨とする。   The digital watermark information embedding system according to claim 4 is the digital watermark information embedding system according to any one of claims 1 to 3, wherein the superimposing means uses the notified superimposition amount or superimposing method to generate the same image frame. The gist of this is to re-superimpose watermark information.

請求項5に記載の電子透かし情報埋め込みシステムは、請求項1乃至4のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記画像フレームは、動画像を構成する画像フレームであって、前記重畳手段は、前記通知された重畳量又は重畳方法で次以降の画像フレームに透かし情報を重畳することを要旨とする。   The digital watermark information embedding system according to claim 5 is the digital watermark information embedding system according to any one of claims 1 to 4, wherein the image frame is an image frame constituting a moving image, and the superimposing means. The gist is to superimpose watermark information on the next and subsequent image frames with the notified superposition amount or superposition method.

請求項6に記載の電子透かし情報埋め込みシステムは、請求項1乃至5のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記検出手段は、透かし情報の検出率に基づき透かし情報の検出の可否を判定することを要旨とする。   The electronic watermark information embedding system according to claim 6 is the electronic watermark information embedding system according to any one of claims 1 to 5, wherein the detection means determines whether or not the watermark information can be detected based on a detection rate of the watermark information. The gist is to determine.

請求項7に記載の電子透かし情報埋め込みシステムは、請求項1乃至6のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記検出手段は、2つの画像フレーム間における対応画素同士の画素値の変化量に基づき透かし情報の検出の可否を判定することを要旨とする。   The electronic watermark information embedding system according to claim 7 is the electronic watermark information embedding system according to any one of claims 1 to 6, wherein the detecting means changes a pixel value of corresponding pixels between two image frames. The gist is to determine whether or not to detect watermark information based on the amount.

請求項8に記載の電子透かし情報埋め込みシステムは、請求項1乃至7のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記検出手段は、画像フレーム又は画像フレームが表示される画面の大きさに応じて透かし情報の検出の可否判定に用いる判定基準値を変更することを要旨とする。   The electronic watermark information embedding system according to claim 8 is the electronic watermark information embedding system according to any one of claims 1 to 7, wherein the detection means has an image frame or a size of a screen on which the image frame is displayed. Accordingly, the gist is to change the determination reference value used for determining whether or not to detect watermark information.

請求項9に記載の電子透かし情報埋め込みシステムは、請求項1乃至8のいずれかに記載の電子透かし情報埋め込みシステムにおいて、前記評価手段は、画像フレームの表示装置に加えられる外乱要因を排除するための環境値を用いて透かし情報の重畳量を決定することを要旨とする。   The electronic watermark information embedding system according to claim 9 is the electronic watermark information embedding system according to any one of claims 1 to 8, wherein the evaluation unit eliminates a disturbance factor applied to the image frame display device. The gist of the present invention is to determine the amount of watermark information to be superimposed using the environmental value.

請求項10に記載の電子透かし情報埋め込み方法は、コンピュータが、重畳手段により、受信した画像フレームに透かし情報を重畳する重畳ステップと、検出手段により、前記画像フレームに重畳された透かし情報を検出する検出ステップと、評価手段により、前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価ステップと、を実行することを要旨とする。   The digital watermark information embedding method according to claim 10, wherein the computer detects the watermark information superimposed on the image frame by the superimposing step of superimposing the watermark information on the received image frame by the superimposing unit, and the detecting unit. The gist of the present invention is to execute a detection step and an evaluation step of determining a superimposition amount or a superimposition method of watermark information based on a detection result of the watermark information and notifying the superimposition unit by an evaluation unit.

請求項11に記載の電子透かし情報埋め込みプログラムは、コンピュータを請求項1乃至9のいずれかに記載の電子透かし情報埋め込みシステムとして機能させることを要旨とする。   A gist of a digital watermark information embedding program according to an eleventh aspect is to cause a computer to function as the digital watermark information embedding system according to any one of the first to ninth aspects.

本発明によれば、透かし情報を適切に重畳できる。   According to the present invention, watermark information can be appropriately superimposed.

電子透かし情報埋め込みシステムの全体構成を示す図である。It is a figure which shows the whole structure of a digital watermark information embedding system. 1つ目の全体処理シーケンスを示す図である。It is a figure which shows the 1st whole process sequence. 2つ目の全体処理シーケンスを示す図である。It is a figure which shows the 2nd whole process sequence. 重畳量及び重畳方法の決定処理フローを示す図である。It is a figure which shows the determination processing flow of a superimposition amount and a superimposition method.

本発明は、原コンテンツに重畳された透かし情報の検出結果に基づき重畳量や重畳方法の適当性を評価し、適正な重畳量等をフィードバックする。所定の画像フレームでの検出結果を同一又は他の画像フレームへフィードバックするため、動画像のように逐次その内容が変化し、従来の方法では事前に画質や絵柄を推定できないようなリアルタイム映像についても、適切な透かし情報を短時間で動的に埋め込むことが可能となる。それゆえ、多様な種類の映像に対して常に安定した透かし情報の検出を行うことが十分期待できる。以下、本発明を実施する一実施の形態について図面を用いて説明する。   The present invention evaluates the amount of superimposition and the appropriateness of the superposition method based on the detection result of the watermark information superimposed on the original content, and feeds back an appropriate amount of superimposition. Since the detection result in a predetermined image frame is fed back to the same or another image frame, the content changes sequentially like a moving image, and even for real-time video where the image quality and design cannot be estimated in advance by the conventional method It is possible to embed appropriate watermark information dynamically in a short time. Therefore, it can be sufficiently expected that the watermark information is always stably detected for various types of images. Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings.

図1は、本実施の形態に係る電子透かし情報埋め込みシステム1の機能ブロック構成を示す図である。この電子透かし情報埋め込みシステム1は、任意の動画像を配信する原画像送信装置100と、配信された動画像に所定の透かし情報を重畳する電子透かし情報重畳装置200と、透かし情報の重畳量や重畳方法の適当性を評価する電子透かし情報評価装置300と、透かし情報が重畳された動画像を表示する映像表示装置400と、表示された動画像から透かし情報を検出する透かし情報検出端末500と、を備えて構成される。   FIG. 1 is a diagram showing a functional block configuration of a digital watermark information embedding system 1 according to the present embodiment. This digital watermark information embedding system 1 includes an original image transmitting apparatus 100 that distributes an arbitrary moving image, an electronic watermark information superimposing apparatus 200 that superimposes predetermined watermark information on the distributed moving image, an amount of watermark information superimposed, A digital watermark information evaluation apparatus 300 that evaluates the appropriateness of the superimposition method, a video display apparatus 400 that displays a moving image on which watermark information is superimposed, and a watermark information detection terminal 500 that detects watermark information from the displayed moving image. , And is configured.

従来、電子透かし情報重畳装置200は、透かし情報が重畳された動画像を映像表示装置400へ直接送信していた。例えば、映像配信業者の映像配信サーバから送信された動画像に対して、その動画像の詳細が説明されたウェブサーバのURL等の透かし情報を画像化して埋め込み、市中に設置されている任意のデジタルサイネージへ直接送信していた。そのデジタルサイネージの視聴者がスマート端末で動画像を撮影すると、その動画像に重畳されたURL等が端末画面上に表示されることになる。   Conventionally, the digital watermark information superimposing apparatus 200 directly transmits a moving image on which the watermark information is superimposed to the video display apparatus 400. For example, for a moving image transmitted from a video distribution server of a video distribution company, watermark information such as a URL of a web server describing details of the moving image is imaged and embedded, and an arbitrary one installed in the city Was sent directly to digital signage. When a viewer of the digital signage captures a moving image with a smart terminal, a URL or the like superimposed on the moving image is displayed on the terminal screen.

一方、本実施の形態では、電子透かし情報重畳装置200と映像表示装置400との間に電子透かし情報評価装置300を介在させ、画像フレームに重畳された透かし情報の重畳量や重畳方法の適当性を評価し、その評価結果に基づき透かし情報の重畳量等を決定して電子透かし情報重畳装置200へ通知する。電子透かし情報重畳装置200では、通知された重畳量等に基づき透かし情報を重畳する。つまり、画像フレームに埋め込まれた透かし情報の重畳量等が適正であるかを評価し、その評価結果をフィードバックすることにより、透かし情報の重畳量等を適正化するようにしている。以下、各装置の機能について詳述する。   On the other hand, in the present embodiment, the digital watermark information evaluation apparatus 300 is interposed between the digital watermark information superimposing apparatus 200 and the video display apparatus 400, and the amount of watermark information superimposed on the image frame and the appropriateness of the superimposing method are included. Are evaluated, and the amount of watermark information to be superimposed is determined based on the evaluation result and notified to the digital watermark information superimposing apparatus 200. The digital watermark information superimposing apparatus 200 superimposes watermark information based on the notified superposition amount or the like. In other words, whether or not the amount of watermark information embedded in an image frame is appropriate is evaluated, and the evaluation result is fed back to optimize the amount of watermark information superimposed. Hereinafter, functions of each device will be described in detail.

原画像送信装置100は、時系列な複数の画像フレームからなる動画像を配信するように構成されている。例えば、映像配信業者等が有する映像配信サーバである。なお、本実施の形態では動画像を例に説明するが、単一の画像フレームである静止画像であってもよい。また、動画像の伝送形態は、アナログ/デジタル、圧縮/非圧縮のいずれでもよく、どのような伝送プロトコルを用いてもよい。   The original image transmitting apparatus 100 is configured to distribute a moving image composed of a plurality of time-series image frames. For example, a video distribution server possessed by a video distributor or the like. In the present embodiment, a moving image is described as an example, but a still image that is a single image frame may be used. The moving image transmission form may be either analog / digital or compressed / uncompressed, and any transmission protocol may be used.

電子透かし情報重畳装置200は、原画像送信装置100からの動画像に対して所定の透かし情報を重畳するように構成されている。本実施の形態では、電子透かし情報記憶部21と、電子透かし生成部22と、電子透かし重畳部23と、を備えて構成される。   The digital watermark information superimposing apparatus 200 is configured to superimpose predetermined watermark information on the moving image from the original image transmitting apparatus 100. In the present embodiment, a digital watermark information storage unit 21, a digital watermark generation unit 22, and a digital watermark superimposition unit 23 are provided.

電子透かし情報記憶部21は、透かし情報を生成するための原透かし情報を記憶しておくように構成されている。例えば、動画像の詳細が説明された文書、その文書が格納されたウェブサーバのURL、動画像や静止画像の正当性を識別するための識別子等である。原透かし情報の内容に制約はなく、任意のものを利用できる。   The digital watermark information storage unit 21 is configured to store original watermark information for generating watermark information. For example, a document describing details of a moving image, a URL of a web server storing the document, an identifier for identifying the validity of a moving image or a still image, and the like. There are no restrictions on the content of the original watermark information, and any information can be used.

電子透かし生成部22は、電子透かし情報記憶部21から原透かし情報を取得し、原透かし情報の種別に応じたパターン模様で画像化された透かし情報を生成するように構成されている。透かし情報を画像フレームの画像上に重畳するため、文字情報である原透かし情報を画像に変換して暗号化する。   The digital watermark generation unit 22 is configured to acquire original watermark information from the digital watermark information storage unit 21 and generate watermark information imaged with a pattern according to the type of the original watermark information. In order to superimpose the watermark information on the image of the image frame, the original watermark information, which is character information, is converted into an image and encrypted.

電子透かし重畳部23は、電子透かし情報評価装置300から通知された重畳量及び重畳方法に基づき、原画像送信装置100から送信された動画像の各画像フレームに対して、電子透かし生成部22で生成された透かし情報を算術演算等により重畳するように構成されている。重畳するとは、透かし情報の画素値を用いて画像フレームの画素値を変更することをいう。   The digital watermark superimposing unit 23 performs the digital watermark generating unit 22 on each image frame of the moving image transmitted from the original image transmitting device 100 based on the superimposition amount and the superimposing method notified from the digital watermark information evaluation device 300. The generated watermark information is superposed by an arithmetic operation or the like. To superimpose means to change the pixel value of the image frame using the pixel value of the watermark information.

電子透かし情報評価装置300は、電子透かし情報重畳装置200で重畳された透かし情報の重畳量及び重畳方法の適当性を評価するように構成されている。本実施の形態では、電子透かし検出部31と、電子透かし評価部32と、評価用情報記憶部33と、を備えて構成される。   The digital watermark information evaluation apparatus 300 is configured to evaluate the amount of watermark information superimposed by the digital watermark information superimposition apparatus 200 and the appropriateness of the superposition method. In the present embodiment, a digital watermark detection unit 31, a digital watermark evaluation unit 32, and an evaluation information storage unit 33 are provided.

電子透かし検出部31は、画像フレームに重畳された透かし情報を検出するように構成されている。具体的には、透かし情報の検出の可否、つまり、透かし情報から原透かし情報を再構築して復号化できたか否かを検出する。   The digital watermark detection unit 31 is configured to detect watermark information superimposed on an image frame. Specifically, it is detected whether or not the watermark information can be detected, that is, whether or not the original watermark information can be reconstructed from the watermark information and decoded.

電子透かし評価部32は、透かし情報の検出結果に基づき透かし情報の重畳量及び重畳方法を決定し、決定された重畳量等を電子透かし情報重畳装置200に通知(フィードバック)するように構成されている。   The digital watermark evaluation unit 32 is configured to determine a superimposition amount and superimposition method of watermark information based on the detection result of the watermark information, and notify (feedback) the determined superposition amount and the like to the digital watermark information superimposing apparatus 200. Yes.

評価用情報記憶部33は、電子透かし評価部32で透かし情報の重畳量及び重畳方法を決定するための決定ルール情報や環境情報を記憶しておくように構成されている。決定ルール情報には、透かし情報の検出結果に基づき重畳量等を決定するためのルールが規定されている。また、環境情報とは、透かし情報の重畳量を算出するための算出式の一パラメータである。映像表示装置400や透かし情報検出端末500の各画面に生じる外乱要因(例えば、蛍光灯や太陽光等の影響により画面に生じた反射や映像の白飛び等)を排除するための環境値がオフラインで予め設定されている。   The evaluation information storage unit 33 is configured to store determination rule information and environment information for the digital watermark evaluation unit 32 to determine the amount and method of superimposing watermark information. The decision rule information defines a rule for determining the amount of superimposition based on the detection result of watermark information. The environment information is one parameter of a calculation formula for calculating the amount of watermark information to be superimposed. Environment values for eliminating disturbance factors (for example, reflections generated on the screen due to the influence of fluorescent light, sunlight, etc., whiteout of the video, etc.) occurring on each screen of the video display device 400 and the watermark information detection terminal 500 are offline. Is set in advance.

映像表示装置400は、電子透かし情報評価装置300を介して電子透かし情報重畳装置200から送信された動画像を表示するように構成されている。例えば、市中に設置されたデジタルサイネージである。   The video display device 400 is configured to display a moving image transmitted from the digital watermark information superimposing device 200 via the digital watermark information evaluation device 300. For example, digital signage installed in the city.

透かし情報検出端末500は、映像表示装置400に表示された動画像から透かし情報を検出するように構成されている。例えば、画像読み取り機能を備えたスマート端末や携帯電話端末、タブレット端末である。   The watermark information detection terminal 500 is configured to detect watermark information from a moving image displayed on the video display device 400. For example, a smart terminal, a mobile phone terminal, or a tablet terminal having an image reading function.

なお、各装置100〜400は、画像データを記憶するための記憶部、画像データや決定後の重畳量等を装置間で送受信するための送受信部を備えている。図1の図面上ではその記載を省略している。   Each of the devices 100 to 400 includes a storage unit for storing image data, and a transmission / reception unit for transmitting and receiving image data, the determined superposition amount, and the like between the devices. The description is omitted in the drawing of FIG.

次に、透かし情報の検出結果/評価結果のフィードバック方法を説明する。最初に、電子透かし情報埋め込みシステム1で行われる全体処理動作を説明する。図2は、1つ目の全体処理シーケンスを示す図である。   Next, a feedback method of the watermark information detection result / evaluation result will be described. First, the overall processing operation performed in the digital watermark information embedding system 1 will be described. FIG. 2 is a diagram showing a first overall processing sequence.

まず、原画像送信装置100から、動画像を構成する複数の画像フレームのうち1つ目の画像フレームF1が送信されると、電子透かし情報重畳装置200は、ステップS101において、電子透かし情報記憶部21から原透かし情報を読み出し、その原透かし情報の種別に応じたパターン模様で画像化された透かし情報を生成する。   First, when the first image frame F1 among the plurality of image frames constituting the moving image is transmitted from the original image transmission device 100, the digital watermark information superimposing device 200 in step S101, the digital watermark information storage unit The original watermark information is read out from 21, and the watermark information imaged with the pattern according to the type of the original watermark information is generated.

次に、ステップS102において、生成した透かし情報を画像フレームF1に重畳する。透かし情報とは動画像に対する付随的な情報であり、画像化された透かし情報の面積は画像フレームF1の面積よりも小さいため、透かし情報を複製して同一内容の透かし情報を2次元的に配列し、その冗長化された透かし情報を画像フレームF1の全体に重畳する。これにより、画像フレームF1の全ての画素値が総じて変化するため、動画像に対する視覚上の違和感を抑制できる。   Next, in step S102, the generated watermark information is superimposed on the image frame F1. The watermark information is incidental information to the moving image, and since the area of the imaged watermark information is smaller than the area of the image frame F1, the watermark information is duplicated and the watermark information having the same contents is arranged two-dimensionally. Then, the redundant watermark information is superimposed on the entire image frame F1. Thereby, since all the pixel values of the image frame F1 change as a whole, it is possible to suppress visual discomfort with respect to the moving image.

その後、ステップS103において、重畳後の画像フレームF1を電子透かし情報評価装置300を介して映像表示装置400へ送信する。これにより、透かし画像が重畳された画像フレームF1が映像表示装置400の画面に表示される。   Thereafter, in step S103, the superimposed image frame F1 is transmitted to the video display device 400 via the digital watermark information evaluation device 300. Accordingly, the image frame F1 on which the watermark image is superimposed is displayed on the screen of the video display device 400.

その際、電子透かし情報評価装置300は、ステップS104において、電子透かし情報重畳装置200からの画像フレームF1を取り込み、ステップS105において、その画像フレームF1に重畳されている透かし情報を検出する。具体的には、画像フレームF1から透かし情報を取り出し、取り出した透かし情報を用いて原透かし情報が再構築できるかを判定する。   At that time, the digital watermark information evaluation apparatus 300 takes in the image frame F1 from the digital watermark information superimposing apparatus 200 in step S104, and detects the watermark information superimposed on the image frame F1 in step S105. Specifically, the watermark information is extracted from the image frame F1, and it is determined whether the original watermark information can be reconstructed using the extracted watermark information.

ここで、透かし情報は冗長化されているため、原透かし情報の一部が再構築できれば他の情報やエラー訂正技術を用いて原透かし情報の全体を再構築できる。ゆえに、透かし情報の検出率に基づき透かし情報の検出の可否を判定してもよい。例えば、70%程度の原透かし情報が再構築されたタイミングで透かし情報を検出できたと判定してもよい。これにより、変更後の重畳量等を電子透かし情報重畳装置200へ通知するまでの時間を短縮できる。なお、透かし情報はデジタルデータであるため、原画像送信装置100から電子透かし情報評価装置300までの間のネットワーク上でパケットロス等があれば画像が乱れることはあっても、透かし情報のデータ内容が劣化することはない。   Here, since the watermark information is made redundant, if a part of the original watermark information can be reconstructed, the entire original watermark information can be reconstructed using other information and error correction techniques. Therefore, whether or not the watermark information can be detected may be determined based on the detection rate of the watermark information. For example, it may be determined that the watermark information can be detected at a timing when about 70% of the original watermark information is reconstructed. Thereby, it is possible to shorten the time until the digital watermark information superimposing apparatus 200 is notified of the changed superposition amount and the like. Since the watermark information is digital data, the data contents of the watermark information may be disturbed if there is a packet loss or the like on the network between the original image transmission apparatus 100 and the digital watermark information evaluation apparatus 300. Will not deteriorate.

次に、ステップS106において、電子透かし情報重畳装置200で重畳される透かし情報の重畳量及び重畳方法を調整するため、透かし情報の検出結果に基づき重畳量及び重畳方法を決定する。その決定方法については後述する。その後、ステップS107において、決定された重畳量及び重畳方法を電子透かし情報重畳装置200へ通知する。   Next, in step S106, in order to adjust the amount and method of superimposing the watermark information superimposed by the digital watermark information superimposing device 200, the amount and method of superimposing are determined based on the detection result of the watermark information. The determination method will be described later. Thereafter, in step S107, the determined superposition amount and superposition method are notified to the digital watermark information superimposing apparatus 200.

続いて、電子透かし情報重畳装置200は、2つ目の画像フレームF2が送信されると、ステップS108において、電子透かし情報評価装置300から通知された重畳量及び重畳方法に基づき、ステップS101で生成した透かし情報を画像フレームF2に重畳する。以降、ステップS103〜ステップS107と同様の処理を繰り返し実行する。その後、3つ目の画像フレームF3が送信された場合には、再通知された重畳量及び重畳方法に基づき透かし情報を重畳する。以降、動画像を構成する全ての画像フレームについて、透かし情報を重畳→透かし情報を検出→検出結果に基づき重畳量及び重畳方法を決定→決定後の重畳量及び重畳方法に基づき透かし情報を重畳、の各処理を繰り返し実行する。これにより、最初の画像フレームで透かし情報に強弱があったとしても、以降の画像フレームでその重畳量が修正されるので、全体としては透かし情報を適切に埋め込むことができる。また、遅延等することなく動画等の映像を表示でき、映像表示中に適切な透かし情報を埋め込むことができる。   Subsequently, when the second image frame F2 is transmitted, the digital watermark information superimposing apparatus 200 is generated in step S101 based on the superimposition amount and superimposing method notified from the digital watermark information evaluating apparatus 300 in step S108. The watermark information thus made is superimposed on the image frame F2. Thereafter, the same processing as in steps S103 to S107 is repeatedly executed. Thereafter, when the third image frame F3 is transmitted, the watermark information is superimposed based on the re-notified superposition amount and superposition method. Thereafter, for all the image frames constituting the moving image, the watermark information is superimposed → the watermark information is detected → the amount of superimposition and the superposition method are determined based on the detection result → the watermark information is superimposed based on the determined superposition amount and the superposition method, Each process is repeatedly executed. Thereby, even if the watermark information is strong or weak in the first image frame, the amount of superimposition is corrected in the subsequent image frames, so that the watermark information can be appropriately embedded as a whole. In addition, video such as moving images can be displayed without delay, and appropriate watermark information can be embedded during video display.

ここで、ステップS105で行う透かし情報の他の検出方法を説明する。例えば、表示中の動画像を人の目で見た際の影響を考慮するようにしてもよい。具体的には、1つ前の画像フレーム(0つ目の画像フレーム)を保持しておき、取り込んだ画像フレームF1との間で対応する画素同士の画素値の変化量を求め、その変化量が閾値以上であれば透かし情報を検出できたと判定してもよい。この閾値には、例えば透かし情報の全画素の平均値や最大値を用いる。   Here, another method for detecting watermark information performed in step S105 will be described. For example, you may make it consider the influence at the time of seeing the moving image in display with a human eye. Specifically, the previous image frame (the 0th image frame) is held, the amount of change in the pixel value between corresponding pixels with the captured image frame F1, and the amount of change is obtained. If is equal to or greater than the threshold value, it may be determined that the watermark information has been detected. As this threshold value, for example, an average value or a maximum value of all pixels of the watermark information is used.

また、画像フレームや映像表示装置400の画面の大きさに基づき、上記透かし情報の検出率、上記画素値の変化量を変更してもよい。例えば、スマート端末のような小サイズの場合は、それら検出率・変化量(判定基準値)を小さくし、映画スクリーンのような大サイズの場合には、大きくする。   Further, the detection rate of the watermark information and the change amount of the pixel value may be changed based on the size of the image frame or the screen of the video display device 400. For example, in the case of a small size such as a smart terminal, the detection rate / change amount (determination reference value) is reduced, and in the case of a large size such as a movie screen, it is increased.

さらに、それら検出率・変化量の検出精度を用いてもよい。検出精度を求めるために演算式を利用し、その演算式の各パラメータに対してパラメータの種別に応じた重みをそれぞれ付与してもよいし、各パラメータ値を動的又は静的に変更してもよい。   Furthermore, the detection accuracy of these detection rates and change amounts may be used. An arithmetic expression is used to obtain detection accuracy, and each parameter of the arithmetic expression may be given a weight according to the parameter type, or each parameter value may be changed dynamically or statically. Also good.

ここまで、1つ目の全体処理動作を説明した。この1つ目では、透かし情報を全ての画像フレームに重畳する例を説明したが、動画像の場合は画像フレームが連続して繰り返し表示されるため、必ずしも全ての画像フレームに透かし情報を重畳する必要はない。そこで、電子透かし情報重畳装置200は、ステップS108をスキップし、1つ目の画像フレームF1の次は3つ目の画像フレームに透かし情報を重畳することにより、重畳対象の画像フレーム数を少なくしてもよい。これにより、透かし情報の重畳処理による表示までの遅延を解消できる。   So far, the first overall processing operation has been described. In the first example, the example in which the watermark information is superimposed on all the image frames has been described. However, in the case of a moving image, since the image frames are continuously displayed repeatedly, the watermark information is not necessarily superimposed on all the image frames. There is no need. Therefore, the digital watermark information superimposing apparatus 200 skips step S108 and superimposes the watermark information on the third image frame after the first image frame F1, thereby reducing the number of image frames to be superimposed. May be. Thereby, the delay until the display by the watermark information superimposing process can be eliminated.

次に、2つ目の全体処理動作を説明する。図3は、2つ目の全体処理シーケンスを示す図である。   Next, the second overall processing operation will be described. FIG. 3 is a diagram showing a second overall processing sequence.

まず、原画像送信装置100から1つ目の画像フレームF1が送信されると、電子透かし情報重畳装置200は、ステップS201〜ステップS204において、透かし情報を生成して画像フレームF1に重畳し、その画像フレームF1を一旦保持すると共に電子透かし情報評価装置300へ送信する。   First, when the first image frame F1 is transmitted from the original image transmission apparatus 100, the digital watermark information superimposing apparatus 200 generates watermark information and superimposes it on the image frame F1 in steps S201 to S204. The image frame F1 is temporarily held and transmitted to the digital watermark information evaluation apparatus 300.

次に、電子透かし情報評価装置300は、ステップS205において、画像フレームF1に重畳されている透かし情報から原透かし情報が再構築できるかを判定する。再構築できた場合は、ステップS206において画像フレームF1を映像表示装置400へ転送する。再構築できない場合は、ステップS207〜ステップS209において、重畳量及び重畳方法を決定して電子透かし情報重畳装置200へ通知した後に、画像フレームF1を破棄する。   Next, in step S205, the digital watermark information evaluation apparatus 300 determines whether the original watermark information can be reconstructed from the watermark information superimposed on the image frame F1. If reconstructed, the image frame F1 is transferred to the video display device 400 in step S206. If reconstruction is not possible, in step S207 to step S209, the superimposition amount and superposition method are determined and notified to the digital watermark information superimposing apparatus 200, and then the image frame F1 is discarded.

その後、電子透かし情報重畳装置200は、ステップS210において、電子透かし情報評価装置300から通知された重畳量及び重畳方法に基づき、ステップS203で保持していた画像フレームF1に透かし情報を重畳する(重畳のし直し)。その後、透かし情報が重畳し直された画像フレームF1を電子透かし情報評価装置300へ送信する。以降、画像フレームF1の透かし情報から原透かし情報が再構築されるまで、その画像フレームF1に対する透かし情報の重畳処理を繰り返し実行する。これにより、映像表示装置400で表示されるいずれの画像フレームからも透かし情報を検出できるため、透かし情報検出端末500での透かし情報の検出精度を向上できる。   Thereafter, in step S210, the digital watermark information superimposing apparatus 200 superimposes the watermark information on the image frame F1 held in step S203 based on the superimposition amount and superimposition method notified from the digital watermark information evaluation apparatus 300 (superimposition). Rework). Thereafter, the image frame F1 on which the watermark information is superimposed is transmitted to the digital watermark information evaluation apparatus 300. Thereafter, until the original watermark information is reconstructed from the watermark information of the image frame F1, the process of superimposing the watermark information on the image frame F1 is repeatedly executed. Thereby, since the watermark information can be detected from any image frame displayed on the video display device 400, the detection accuracy of the watermark information at the watermark information detection terminal 500 can be improved.

ここまで、2つ目の全体処理動作を説明した。なお、1つ目、2つ目の各全体処理動作では、透かし情報を画像フレームの全体に重畳する例を説明したが、画像フレームの一部にのみ重畳してもよい。また、透かし情報を重畳することにより原画像の画質が劣化する場合、画質劣化が生ずる画像フレームについては透かし情報を重畳しないようにしてもよい。例えば、透かし情報の重畳を試みる画素領域内に閾値以上離れている画素値を持つ隣接画素がある場合には、透かし情報の重畳処理をスキップする。例えば、画素値の範囲が0〜255の256階調であれば当該閾値に250を用いる。隣接画素の画素値が250も離れている場合、前景と背景を含む可能性が高く、そのようなエッジ部分に透かし情報を重畳すると映像上ボケが発生する可能性があるためである。   So far, the second overall processing operation has been described. In each of the first and second overall processing operations, the watermark information is superimposed on the entire image frame. However, the watermark information may be superimposed only on a part of the image frame. Further, when the image quality of the original image is deteriorated by superimposing the watermark information, the watermark information may not be superimposed on an image frame in which the image quality is deteriorated. For example, when there is an adjacent pixel having a pixel value that is more than a threshold within a pixel region where watermark information is to be superimposed, the watermark information superimposing process is skipped. For example, if the pixel value range is 256 gradations from 0 to 255, 250 is used as the threshold value. This is because if the pixel values of adjacent pixels are as far as 250, there is a high possibility of including the foreground and the background, and if watermark information is superimposed on such an edge portion, there is a possibility of blurring on the video.

続いて、電子透かし情報評価装置300で行われる透かし情報の重畳量及び重畳方法の決定方法を詳述する。図4は、透かし情報の重畳量及び重畳方法の決定処理フローを示す図である。この決定処理フローは、決定ルール情報に予め定義されている。   Next, the watermark information superimposition amount and superposition method determination method performed by the digital watermark information evaluation apparatus 300 will be described in detail. FIG. 4 is a diagram showing a determination processing flow of the amount and method of superimposing watermark information. This decision processing flow is defined in advance in decision rule information.

まず、ステップS301において、画像フレームを受信すると、電子透かし検出部31は、ステップS302において、画像フレームに重畳された透かし情報を検出できたかを判定する。上記例の場合、透かし情報から約70%の原透かし情報を再構築できたか否かを判定する。再構築できた場合はステップS303へ進み、再構築できない場合はステップS304へ進む。   First, when an image frame is received in step S301, the digital watermark detection unit 31 determines whether the watermark information superimposed on the image frame has been detected in step S302. In the case of the above example, it is determined whether or not about 70% of the original watermark information has been reconstructed from the watermark information. If reconstruction is possible, the process proceeds to step S303, and if reconstruction is not possible, the process proceeds to step S304.

次に、ステップS303において、画像フレームから透かし情報を検出できたため、電子透かし評価部32は、現在の重畳方法及び重畳量よりも重畳度合の低い重畳方法及び重畳量を用いてもよいとみなし、予め用意されている複数の重畳方法から次に重畳度合の低い重畳方法を選択し、現在の重畳量よりも小さい重畳量を新たな重畳量として決定する。   Next, in step S303, since the watermark information can be detected from the image frame, the digital watermark evaluation unit 32 considers that the superimposition method and the superposition amount having a lower superposition degree than the current superposition method and the superposition amount may be used. A superimposition method having the next lowest superimposition degree is selected from a plurality of superposition methods prepared in advance, and a superposition amount smaller than the current superposition amount is determined as a new superposition amount.

重畳方法については任意の方法を用いることが可能である。例えば、(1)透かし情報を画素の輝度や色度に演算処理して重畳する単純な重畳方法、(2)映像の高周波成分(細かい模様等)や黄色成分等、視覚的に認識されにくい部分に重点的に重畳する視覚特性を考慮した重畳方法、(3)動画像を構成する1枚の画像フレームに纏めて重畳すると目立ちやすいおそれがあるので、複数の画像フレームに分散して重畳する時間特性を考慮した重畳方法等がある。1つの画像フレームに対する重畳度合は(3)の方法が最も低く(1)の方法が最も高いため、現在の重畳方法が(1)の方法であれば(2)の方法へ変更する。   Any method can be used for the superposition method. For example, (1) a simple superimposition method in which watermark information is calculated and superimposed on the luminance and chromaticity of a pixel, and (2) a portion that is difficult to be visually recognized, such as a high-frequency component (such as a fine pattern) or a yellow component of an image. (3) Time to disperse and superimpose in a plurality of image frames because there is a risk of being conspicuous when superimposed on a single image frame constituting a moving image. There are superposition methods that take into account the characteristics. Since the degree of superimposition for one image frame is the lowest in the method (3) and the highest in the method (1), if the current superposition method is the method (1), the method is changed to the method (2).

また、重畳量についても任意の算出式を用いて算出可能である。例えば、算出式が「重畳量=(パラメータ値A+パラメータ値B)×環境値C」の場合、パラメータ値A,Bを現在の値よりも小さく変更して重畳量を小さくする。このとき、パラメータの種類に応じた重み値を各パラメータ値A,Bにそれぞれ付与してもよい。なお、環境値Cとは、オフライン設定された環境情報の値である。上記算出式のパラメータに環境値Cが含まれているため、映像表示装置400や透かし情報検出端末500の各画面で生じる外乱要因を排除できる。   Also, the superposition amount can be calculated using an arbitrary calculation formula. For example, when the calculation formula is “superimposition amount = (parameter value A + parameter value B) × environment value C”, the parameter values A and B are changed to be smaller than the current value to reduce the superposition amount. At this time, a weight value corresponding to the type of parameter may be assigned to each of the parameter values A and B. The environment value C is a value of environment information set offline. Since the environmental value C is included in the parameters of the calculation formula, a disturbance factor generated on each screen of the video display device 400 and the watermark information detection terminal 500 can be eliminated.

その他、「重畳量’=重畳量×補正値D」の算出式を用いてもよい。補正値Dとは、透かし情報が埋め込まれた映像を人が見た際に違和感がないように調整するための値である。算出された重畳量が一定値よりも大きい場合には視覚的に違和感が生じる可能性があるため、その違和感を解消するために重畳量を微調整する。   In addition, a calculation formula of “superimposition amount ′ = superimposition amount × correction value D” may be used. The correction value D is a value for adjusting so that there is no sense of incongruity when a person views a video in which watermark information is embedded. When the calculated amount of superimposition is larger than a certain value, there is a possibility that a visually uncomfortable feeling may occur. Therefore, the amount of superimposition is finely adjusted in order to eliminate the discomfort.

一方、ステップS304では、画像フレームから透かし情報を検出できなかったため、電子透かし評価部32は、現在の重畳方法及び重畳量よりも重畳度合の高い重畳方法及び重畳量を用いるべきとみなし、予め用意されている複数の重畳方法から次に重畳度合の高い重畳方法を選択し、現在の重畳量よりも高い重畳量を新たな重畳度として決定する。   On the other hand, in step S304, since the watermark information could not be detected from the image frame, the digital watermark evaluation unit 32 considers that the superimposition method and superposition amount having a higher superposition degree than the current superposition method and superposition amount should be used, and is prepared in advance. The superposition method having the next highest superposition degree is selected from the plurality of superposition methods, and the superposition amount higher than the current superposition amount is determined as the new superposition degree.

その後、ステップS305において、電子透かし評価部32は、ステップS303又はステップS304で決定・選択された重畳量及び重畳方法を電子透かし情報重畳装置200の電子透かし重畳部23へ通知する。   Thereafter, in step S305, the digital watermark evaluation unit 32 notifies the digital watermark superimposing unit 23 of the digital watermark information superimposing apparatus 200 of the superposition amount and superposition method determined and selected in step S303 or step S304.

以降、ステップS301へ戻り、画像フレームを受信する毎にステップS302〜ステップS305を繰り返し実行する。特にステップS303やステップS304では、変更後の重畳量(重畳量を求めるためのパラメータ値等を含む)及び重畳方法を保持しておき、処理が繰り返される都度、保持していた重畳量及び重畳方法を基準にして新たな重畳量及び重畳方法を算出する。これにより、透かし情報が検出されない状態が継続する場合には、重畳量及び重畳方法の重畳度合が2段階、3段階、…、と、透かし情報が検出される状態になるまで随時引き上げられる。一方、透かし情報が検出される状態が継続する場合には反対に引き下げられる。それゆえ、動画像に対する透かし情報の重畳量及び重畳方法が一定に定まるまで調整され、映像シーンが変化する場合であってもその都度再調整されるため、透かし情報の重畳量や重畳方法を最適化できる。   Thereafter, the process returns to step S301, and steps S302 to S305 are repeatedly executed every time an image frame is received. In particular, in step S303 and step S304, the superposition amount (including parameter values for obtaining the superposition amount) and the superposition method after the change and the superposition method are retained, and the superposition amount and the superposition method retained each time the process is repeated. A new superposition amount and superposition method are calculated with reference to. As a result, when the state in which the watermark information is not detected continues, the superposition amount and the superposition degree of the superposition method are increased as needed until the watermark information is detected in two stages, three stages,. On the other hand, when the state where the watermark information is detected continues, it is pulled down. Therefore, since the amount and method of superimposing watermark information on moving images are adjusted until they are fixed, and even when the video scene changes, the amount of watermark information is superimposed and the method of superimposition is optimal. Can be

ここまで、重畳量及び重畳方法の決定方法を説明した。なお、重畳量と重畳方法の両方を変更する例を説明したが、いずれか一方のみを変更してもよい。また、電子透かし情報重畳装置200において、変更された重畳量と重畳方法を適用する順番についての優劣はなく、どちらを先に適用してもよい。   So far, the determination method of the superposition amount and the superposition method has been described. In addition, although the example which changes both a superposition amount and a superposition method was demonstrated, you may change only any one. Also, in the digital watermark information superimposing apparatus 200, there is no superiority or inferiority in the order of applying the changed superposition amount and superposition method, and either one may be applied first.

さらに、これまでに説明した決定ルール(図4の決定処理フロー)や重畳量算出式のパラメータ以外に、原画像の特徴に応じた、リアルタイムに動的かつ追加変更が可能な他のルールや新たなパラメータを更に用いてもよい。これにより、事前に原画像の品質を推定することが困難なライブ映像等についても、その品質をより損なうことなく、透かし情報の重畳量をより適切に決定できる。   Furthermore, in addition to the determination rules described above (determination processing flow in FIG. 4) and the parameters of the superposition amount calculation formula, other rules that can be dynamically added and changed according to the characteristics of the original image and new Further parameters may be used. As a result, it is possible to more appropriately determine the amount of watermark information to be superimposed on a live video or the like for which it is difficult to estimate the quality of the original image in advance without further degrading the quality.

以上より、本実施の形態によれば、電子透かし重畳部23が、原画像送信装置100から送信された画像フレームに透かし情報を重畳し、電子透かし検出部31が、その画像フレームに重畳された透かし情報を検出し、電子透かし評価部32が、透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定して電子透かし重畳部23へ通知するので、透かし情報を適切に重畳できる。この効果について以下詳述する。   As described above, according to the present embodiment, the digital watermark superimposing unit 23 superimposes the watermark information on the image frame transmitted from the original image transmitting apparatus 100, and the digital watermark detecting unit 31 is superimposed on the image frame. Since the watermark information is detected and the digital watermark evaluation unit 32 determines the amount or method of superimposing the watermark information based on the detection result of the watermark information and notifies the digital watermark superimposing unit 23 of the watermark information, the watermark information can be appropriately superimposed. This effect will be described in detail below.

原画像の内容を予め確認した上で透かし情報の重畳量等を決定するプロセスは、経験等をもとにしたルールにより判断されるため、透かし情報の重畳処理を実施する者の技能に依存する。しかし、本発明を用いれば、実施者の技能によらず、一定品質の透かし情報を重畳できる。   The process of determining the amount of watermark information superimposition after confirming the contents of the original image in advance is determined by rules based on experience, etc., and therefore depends on the skill of the person performing the watermark information superimposition processing. . However, by using the present invention, it is possible to superimpose watermark information of a certain quality regardless of the skill of the practitioner.

また、原画像の内容を予め確認するためには、少なくともその原画像を再生する実時間が必要となり、その上で透かし情報の重畳処理を行うことになるため、処理完了までには実時間の2倍以上の時間が必要となる。一方、本発明によれば、原画像を再生しながら透かし情報の重畳量や重畳方法を決定しつつ重畳処理を行うので、全体の処理時間を大幅に短縮できる。例えば、ライブ映像等のように、その内容を事前に把握できない原画像に対しても、本発明を用いることにより、重畳処理を実施する者の技量によらず、短時間で一定品質の透かし情報を重畳できる。   In addition, in order to confirm the contents of the original image in advance, at least the actual time for reproducing the original image is required, and then the watermark information is superimposed, so that the real time is not completed until the processing is completed. Twice or more time is required. On the other hand, according to the present invention, since the superimposition process is performed while determining the superimposition amount and the superimposition method of the watermark information while reproducing the original image, the entire processing time can be greatly shortened. For example, even for an original image whose contents cannot be grasped in advance, such as live video, by using the present invention, watermark information with a constant quality can be obtained in a short time regardless of the skill of the person who performs the superimposition processing. Can be superimposed.

最後に、本実施の形態で説明した電子透かし情報重畳装置200や電子透かし情報評価装置300をプログラムとして構築し、コンピュータにインストールして実行させることや、通信ネットワークを介して流通させることも可能である。   Finally, the digital watermark information superimposing apparatus 200 and the digital watermark information evaluation apparatus 300 described in the present embodiment can be constructed as a program, installed in a computer and executed, or distributed via a communication network. is there.

1…電子透かし情報埋め込みシステム
100…原画像送信装置
200…電子透かし情報重畳装置
21…電子透かし情報記憶部
22…電子透かし生成部
23…電子透かし重畳部
300…電子透かし情報評価装置
31…電子透かし検出部
32…電子透かし評価部
33…評価用情報記憶部
400…映像表示装置
500…透かし情報検出端末
S101〜S108、S201〜S210、S301〜S305…ステップ
DESCRIPTION OF SYMBOLS 1 ... Digital watermark information embedding system 100 ... Original image transmission apparatus 200 ... Digital watermark information superimposition apparatus 21 ... Digital watermark information storage part 22 ... Digital watermark generation part 23 ... Digital watermark superimposition part 300 ... Digital watermark information evaluation apparatus 31 ... Digital watermark Detection unit 32 ... digital watermark evaluation unit 33 ... evaluation information storage unit 400 ... video display device 500 ... watermark information detection terminal S101 to S108, S201 to S210, S301 to S305 ... step

Claims (10)

受信した画像フレームに透かし情報を重畳する重畳手段と、
前記画像フレームに重畳された透かし情報を検出する検出手段と、
前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価手段と、を有し、
前記検出手段は、
画像フレーム又は画像フレームが表示される画面の大きさに応じて透かし情報の検出の可否判定に用いる判定基準値を変更することを特徴とする電子透かし情報埋め込みシステム。
Superimposing means for superimposing watermark information on the received image frame;
Detecting means for detecting watermark information superimposed on the image frame;
An evaluation unit that determines a superimposition amount or a superimposition method of watermark information based on the detection result of the watermark information, and notifies the superimposition unit ;
The detection means includes
An electronic watermark information embedding system, wherein a determination reference value used for determining whether or not to detect watermark information is changed according to an image frame or a screen size on which an image frame is displayed .
前記評価手段は、
透かし情報の検出の可否に応じて透かし情報の重畳量を変更することを特徴とする請求項1に記載の電子透かし情報埋め込みシステム。
The evaluation means includes
2. The digital watermark information embedding system according to claim 1, wherein the amount of watermark information superimposed is changed according to whether or not the watermark information can be detected.
前記評価手段は、
透かし情報の検出の可否に応じて重畳度合の異なる重畳方法を選択することを特徴とする請求項1又は2に記載の電子透かし情報埋め込みシステム。
The evaluation means includes
3. The digital watermark information embedding system according to claim 1, wherein a superposition method having a different superposition degree is selected depending on whether or not the watermark information can be detected.
前記重畳手段は、
前記通知された重畳量又は重畳方法で同一の画像フレームに透かし情報を再重畳することを特徴とする請求項1乃至3のいずれかに記載の電子透かし情報埋め込みシステム。
The superimposing means includes
4. The digital watermark information embedding system according to claim 1, wherein watermark information is re-superimposed on the same image frame by the notified superposition amount or superposition method.
前記画像フレームは、動画像を構成する画像フレームであって、
前記重畳手段は、
前記通知された重畳量又は重畳方法で次以降の画像フレームに透かし情報を重畳することを特徴とする請求項1乃至4のいずれかに記載の電子透かし情報埋め込みシステム。
The image frame is an image frame constituting a moving image,
The superimposing means includes
5. The digital watermark information embedding system according to claim 1, wherein watermark information is superimposed on the next and subsequent image frames by the notified superposition amount or superposition method.
前記検出手段は、
透かし情報の検出率に基づき透かし情報の検出の可否を判定することを特徴とする請求項1乃至5のいずれかに記載の電子透かし情報埋め込みシステム。
The detection means includes
6. The digital watermark information embedding system according to claim 1, wherein whether or not the watermark information can be detected is determined based on a watermark information detection rate.
前記検出手段は、
2つの画像フレーム間における対応画素同士の画素値の変化量に基づき透かし情報の検出の可否を判定することを特徴とする請求項1乃至6のいずれかに記載の電子透かし情報埋め込みシステム。
The detection means includes
7. The digital watermark information embedding system according to claim 1, wherein whether or not to detect watermark information is determined based on a change amount of a pixel value between corresponding pixels between two image frames.
前記評価手段は、The evaluation means includes
画像フレームの表示装置に加えられる外乱要因を排除するための環境値を用いて透かし情報の重畳量を決定することを特徴とする請求項1乃至7のいずれかに記載の電子透かし情報埋め込みシステム。8. The digital watermark information embedding system according to claim 1, wherein an amount of watermark information to be superimposed is determined using an environmental value for eliminating a disturbance factor applied to an image frame display device.
コンピュータが、Computer
重畳手段により、受信した画像フレームに透かし情報を重畳する重畳ステップと、A superimposing step of superimposing watermark information on the received image frame by the superimposing means;
検出手段により、前記画像フレームに重畳された透かし情報を検出する検出ステップと、A detection step of detecting watermark information superimposed on the image frame by detection means;
評価手段により、前記透かし情報の検出結果に基づき透かし情報の重畳量又は重畳方法を決定し、前記重畳手段へ通知する評価ステップと、を実行し、An evaluation unit that determines an amount or method of superimposing watermark information based on the detection result of the watermark information, and performs an evaluation step of notifying the superimposing unit;
前記検出ステップでは、In the detection step,
画像フレーム又は画像フレームが表示される画面の大きさに応じて透かし情報の検出の可否判定に用いる判定基準値を変更することを特徴とする電子透かし情報埋め込み方法。An electronic watermark information embedding method, wherein a determination reference value used for determining whether or not to detect watermark information is changed according to an image frame or a screen size on which an image frame is displayed.
コンピュータを請求項1乃至8のいずれかに記載の電子透かし情報埋め込みシステムとして機能させるための電子透かし情報埋め込みプログラム。A digital watermark information embedding program for causing a computer to function as the digital watermark information embedding system according to any one of claims 1 to 8.
JP2014162941A 2014-08-08 2014-08-08 Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program Active JP6251651B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014162941A JP6251651B2 (en) 2014-08-08 2014-08-08 Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014162941A JP6251651B2 (en) 2014-08-08 2014-08-08 Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program

Publications (2)

Publication Number Publication Date
JP2016039561A JP2016039561A (en) 2016-03-22
JP6251651B2 true JP6251651B2 (en) 2017-12-20

Family

ID=55530299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014162941A Active JP6251651B2 (en) 2014-08-08 2014-08-08 Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program

Country Status (1)

Country Link
JP (1) JP6251651B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210129696A (en) 2019-02-26 2021-10-28 아마노 엔자임 유에스에이 씨오., 엘티디. Stable Protein Formulations

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344720A (en) * 2001-05-17 2002-11-29 Sony Corp Digital watermark embedding processing device, and digital watermark embedding processing method, and program
JP2005142836A (en) * 2003-11-06 2005-06-02 Hitachi Ltd Digital watermark embedding program and information processor
JP4360363B2 (en) * 2005-08-19 2009-11-11 日本電信電話株式会社 Digital watermark embedding method, apparatus and program
JP4945541B2 (en) * 2008-10-31 2012-06-06 株式会社日立製作所 Digital watermark embedding detection method using degraded host signal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210129696A (en) 2019-02-26 2021-10-28 아마노 엔자임 유에스에이 씨오., 엘티디. Stable Protein Formulations

Also Published As

Publication number Publication date
JP2016039561A (en) 2016-03-22

Similar Documents

Publication Publication Date Title
KR101655349B1 (en) Method and a system for reducing artifacts
JP2012205168A (en) Device, method and program for video processing
US8565516B2 (en) Image processing apparatus, image processing method, and program
KR102245470B1 (en) A multi-sensor video camera, and a method and processing pipeline for the same
KR20120074925A (en) Method for filling common hole and 3d video system thereof
GB201203171D0 (en) Image processing for projection on a projection screen
TW200943936A (en) Fusing of images captured by a multi-aperture imaging system
WO2012003483A3 (en) A method and apparatus for video processing for improved video compression
KR101860106B1 (en) Image transmission device, image transmission method, and image transmission program
KR20110041753A (en) Apparatus and method for inter view crosstalk reduction
JP7218786B2 (en) Image processing device, image processing method and program
JP2013030974A (en) Digital watermark embedding apparatus, digital watermark embedding method and program
JP6222703B2 (en) Heat map image generation apparatus, heat map image generation method, and heat map image generation program
JP6251651B2 (en) Digital watermark information embedding system, digital watermark information embedding method, and digital watermark information embedding program
CN102186035A (en) Method for displaying screen display information
KR20120070125A (en) Image processing apparatus and method for human computer interaction
JP2012138724A (en) Latent image superposition method, latent image superposition device, and latent image superposition system
JP2011076224A (en) Device, system, method, and program for information processing
US20120170841A1 (en) Image processing apparatus and method
JP6090305B2 (en) Determination apparatus, determination program, and determination method
WO2018154827A1 (en) Image processing device, image processing system and program
JP6614771B2 (en) Digital watermark embedding device and program thereof, and digital watermark detection device and program thereof
GB2526148A (en) Seamless display of a video sequence with increased frame rate
CN103139524A (en) Video optimization method and information processing equipment
CN112004065A (en) Video display method, display device and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R150 Certificate of patent or registration of utility model

Ref document number: 6251651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250