JP6443982B2 - Imaging device, digital watermark extraction method, digital watermark and open / close pattern optimization method - Google Patents
Imaging device, digital watermark extraction method, digital watermark and open / close pattern optimization method Download PDFInfo
- Publication number
- JP6443982B2 JP6443982B2 JP2015037159A JP2015037159A JP6443982B2 JP 6443982 B2 JP6443982 B2 JP 6443982B2 JP 2015037159 A JP2015037159 A JP 2015037159A JP 2015037159 A JP2015037159 A JP 2015037159A JP 6443982 B2 JP6443982 B2 JP 6443982B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital watermark
- image data
- aperture
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
この発明は、撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法に関する。 The present invention relates to an imaging apparatus, a digital watermark extraction method, a digital watermark, and an open / close pattern optimization method.
航空機又は列車の搭乗券、イベントなどの入場券、電子マネー、クーポンなど、2次元コードが認証の役割を担うことが期待されている。紙に印刷された2次元コードに電子透かしを埋め込むことで、不正に複製された2次元コードを識別可能な技術が開示されている(例えば、特許文献1、2参照)。
Two-dimensional codes such as boarding passes for airplanes or trains, admission tickets for events, electronic money, coupons, etc. are expected to play a role of authentication. A technique that can identify an illegally copied two-dimensional code by embedding a digital watermark in a two-dimensional code printed on paper has been disclosed (for example, see
一方で、携帯電話の画面に表示された2次元コードの複製もより正確に検知する技術の実現が望まれている。 On the other hand, realization of a technique for more accurately detecting a copy of a two-dimensional code displayed on a mobile phone screen is desired.
しかしながら、2次元コードに埋め込まれた電子透かしを抽出する際、手ぶれなどにより撮像される画像データがぼけると、高周波成分である電子透かしを正確に抽出できなくなるおそれがある。また、動画像の電子透かしをぼけることなく撮像して、電子透かしを抽出するのは容易なことではない。 However, when the digital watermark embedded in the two-dimensional code is extracted, if the image data captured by camera shake is blurred, the digital watermark that is a high-frequency component may not be extracted accurately. Also, it is not easy to extract a digital watermark by capturing a digital watermark of a moving image without blurring it.
本発明は、上記実情に鑑みてなされたものであり、手ぶれしたり、電子透かしが動画像データであったりしても、電子透かしを正確に抽出することができる撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and is an imaging apparatus and a digital watermark extraction method that can accurately extract a digital watermark even if camera shake occurs or the digital watermark is moving image data. Another object of the present invention is to provide a method for optimizing a digital watermark and an open / close pattern.
上記目的を達成するため、本発明の第1の観点に係る撮像装置は、
受光面上に結像する2次元画像を撮像し、前記2次元画像の画像データを取得する撮像素子と、
電子透かしが埋め込まれた2次元画像を前記撮像素子の受光面に結像させる結像光学系と、
露光時間中、前記結像光学系から前記撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行う露光部と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理部と、
を備える。
In order to achieve the above object, an imaging apparatus according to the first aspect of the present invention provides:
An image sensor that captures a two-dimensional image formed on a light receiving surface and acquires image data of the two-dimensional image;
An imaging optical system that forms an image on a light receiving surface of the image sensor with a two-dimensional image embedded with a digital watermark;
An exposure unit that performs coded exposure that repeats opening and closing of an aperture through which light reaching the imaging element from the imaging optical system passes during an exposure time, using an encoded opening and closing pattern;
An image processing unit that performs image processing including deconvolution using a function corresponding to the open / close pattern on the image data acquired by the imaging device, and extracts the digital watermark;
Is provided.
前記電子透かしは、
情報端末の画像に表示されている動画像である、
こととしてもよい。
The watermark is
It is a moving image displayed on the image of the information terminal.
It is good as well.
前記2次元画像は、
情報端末の画像に表示されている2次元コードである、
こととしてもよい。
The two-dimensional image is
It is a two-dimensional code displayed on the image of the information terminal.
It is good as well.
前記画像処理部は、
前記開閉パターンに対応する関数を用いたデコンボリューションを実行して、前記2次元画像の画像データを復元し、
復元された前記2次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
こととしてもよい。
The image processing unit
Performing deconvolution using a function corresponding to the open / close pattern to restore the image data of the two-dimensional image;
Extracting the digital watermark by performing frequency conversion processing on the restored image data of the two-dimensional image;
It is good as well.
液晶駆動部を備え、
前記露光部は、
前記液晶駆動部によって駆動されることにより、開口を形成する透過型の液晶開口である、
こととしてもよい。
With a liquid crystal drive
The exposure unit is
It is a transmissive liquid crystal opening that forms an opening by being driven by the liquid crystal driving unit.
It is good as well.
前記露光部は、
開口が開いている間、前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りとして動作する、
こととしてもよい。
The exposure unit is
While the aperture is open, it operates as an aperture stop having an encoded aperture through which light incident on the image sensor through the imaging optical system passes.
It is good as well.
前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りを備え、
前記露光部は、
前記撮像素子への光の入射を遮断するシャッタである、
こととしてもよい。
An aperture stop having a coded aperture through which light incident on the imaging device passes through the imaging optical system;
The exposure unit is
A shutter that blocks light from entering the image sensor;
It is good as well.
本発明の第2の観点に係る電子透かしの抽出方法は、
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
を含む。
A digital watermark extraction method according to a second aspect of the present invention includes:
An electronic watermark is embedded through the imaging
An image processing step of performing image processing including deconvolution using a function corresponding to the open / close pattern on the image data acquired by the imaging device, and extracting the digital watermark;
including.
本発明の第3の観点に係る電子透かし及び開閉パターンの最適化方法は、
結像光学系から撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行いながら、前記結像光学系を介して電子透かしが埋め込まれた2次元画像の画像データを撮像素子で撮像して、前記画像データを取得する撮像工程と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記開閉パターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記開閉パターンを決定する。
A digital watermark and an open / close pattern optimization method according to a third aspect of the present invention include:
An electronic watermark is embedded through the imaging
An image processing step of performing image processing including deconvolution using a function corresponding to the open / close pattern on the image data acquired by the imaging device, and extracting the digital watermark;
A calculation step of calculating an extraction rate of the digital watermark extracted in the image processing step;
Including
The digital watermark that maximizes the extraction rate using an optimization method by repeatedly performing the imaging step, the image processing step, and the calculation step while changing the digital watermark pattern and the open / close pattern. And determining the opening / closing pattern.
この発明によれば、露光時間中、結像光学系から撮像素子へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行うことにより、電子透かしが埋め込まれた2次元画像の画像データが得られる。符号化露光によって得られる画像データは、開閉パターンに対応する関数と2次元画像とがコンボリューションした画像となる。この画像データは、開閉パターンに対応する関数を用いてデコンボリューションされる。手ぶれにより2次元コードの画像データの像がぼけたり、電子透かしが動画像データであったりしても、その画像データを開閉パターンに対応する関数でデコンボリューションすれば、電子透かしの高周波成分を失うことなく、2次元画像の画像データを得ることができる。この結果、手ぶれしたり、電子透かしが動画像データであったりしても、電子透かしを正確に抽出することができる。また、所定のパターンで符号化露光を行える装置でなければ復号が不可能な動画像の電子透かしを実現することができる。 According to the present invention, digital watermarking is performed by performing coded exposure that opens and closes an opening through which light reaching the image sensor from the imaging optical system passes during an exposure time, using an open / close pattern in which time changes are encoded. Image data of a two-dimensional image in which is embedded is obtained. The image data obtained by the coded exposure is an image obtained by convolving a function corresponding to the open / close pattern and a two-dimensional image. This image data is deconvolved using a function corresponding to the open / close pattern. Even if the image data of the two-dimensional code is blurred due to camera shake or the digital watermark is moving image data, if the image data is deconvolved with a function corresponding to the open / close pattern, the high-frequency component of the digital watermark is lost. Without this, image data of a two-dimensional image can be obtained. As a result, it is possible to accurately extract the digital watermark even if it is shaken or the digital watermark is moving image data. Further, it is possible to realize a digital watermark of a moving image that cannot be decoded unless it is an apparatus that can perform coded exposure with a predetermined pattern.
以下、この発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
実施の形態1.
まず、この発明の実施の形態1について説明する。
First, a first embodiment of the present invention will be described.
撮像装置100は、レンズ1A、開口絞り2と、レンズ1Bと、駆動部3、撮像素子4及び画像処理部5を備える。情報端末200は、画面10を有する。撮像装置100は、情報端末200の画面10に表示された2次元画像を撮像対象とする。撮像装置100は、例えば、デジタルカメラ、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ等である。情報端末200は、携帯電話、スマートフォン、タブレットコンピュータ、モバイルコンピュータ、バーコードリーダ(設置型,ハンドヘルド型)等である。
The
情報端末200の画面10に表示される2次元画像は、例えば図2(A)に示すような2次元コード(QR(Quick Response)コード(登録商標))11を原画像(カバー画像)とする。QRコード(登録商標)は、マトリックス型の2次元コードである。2次元コード(QRコード(登録商標))11は縦横に情報を持つ。3隅の四角い切り出しシンボル(位置検出パターン、ファインダパターン)が特徴的である。加えて、小さい四角のアラインメントパターンが固定となっており、それ以外の部分に符号が記録される。
The two-dimensional image displayed on the
この2次元コード11には、図2(B)に示す電子透かし12が埋め込まれている。電子透かし12は、パターンが時間変化する動画像である。電子透かし技術は、画像や音楽等のデジタルコンテンツに情報を埋め込む情報ハイディング(データハイディング)技術の一種である。図2(A)に示す2次元コード11に図2(B)に示す電子透かし12が埋め込まれることによって、図2(C)に示す全体の2次元画像13が形成される。電子透かし12が動画像であるので、形成される2次元画像13も動画像となる。
A
電子透かし12の埋め込みは以下のようにして行われる。例えば、図2(A)に示す2次元コード11は、例えばRGBの各色成分に分離される。各色成分の画像データに対して、それぞれ離散ウェーブレット変換が行われ、各画像データは、LL成分(低周波成分)、LH成分(垂直方向が低周波成分、水平方向が高周波成分)、HL成分(垂直方向が低周波成分、水平方向が高周波成分)及びHH成分(対角方向に高周波数成分)といった周波数成分に分解される。そして、ウェーブレット係数の値(係数値)がLH成分に比べて小さいLH成分、HL成分、HH成分の少なくとも1つに透かし情報を埋め込んで、各成分を逆離散ウェーブレット変換して画像を再構築することにより、図2(C)に示す2次元画像13が生成される。
The
このように、図2(A)の2次元コード11を周波数変換し、高い空間周波成分に図2(B)に示す電子透かし12の成分を埋め込んだ後、逆変換を行って画像を再構築し、図2(C)に示す電子透かし12が埋め込まれた2次元画像13が生成される。周波数変換には、上述の離散ウェーブレット変換のほか、離散コサイン変換又はフーリエ変換などの様々な変換方法を適用することが可能である。
As described above, the two-
図1に戻り、レンズ1A、1Bは凸レンズである。レンズ1A、1Bで結像光学系1が構成される。結像光学系1は、電子透かし12が埋め込まれた2次元画像13を、撮像素子4の受光面に結像させる。結像光学系1の構成は、図1に示すものには限られない。3枚以上のレンズを光軸AXに沿って配置することにより構成される結像光学系であってもよい。
Returning to FIG. 1, the
開口絞り2は、結像光学系1(レンズ1A、1B)の瞳位置に配置されている。開口絞り2には、円形の開口が形成されている。開口絞り2は、例えば、OHPシートや金属板で作成することができるが、透過型の液晶開口を用いることができる。この実施の形態では、駆動部3が、液晶開口中の所望の画素の透光率を制御する(光を通さない部分の透光率を下げ、光を通す部分の透光率を上げる)ことにより、液晶開口上に所望の形状の開口を形成することができるようになっている。
The
開口絞り2は、露光時間中、結像光学系1から撮像素子4へ到達する光が通過する開口を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行う。すなわち、この実施の形態では、開口絞り2が露光部として動作する。図3には、この開口絞り2における露光時間中の開閉の時間変化が示されている。図3に示すように、露光時間中の開口絞り2の開閉状態の時間変化は、符号化された開閉パターンとなっている。
The
撮像素子4は、受光面上に結像する2次元の画像データを撮像する。撮像素子4は例えば、CCD(Charge Coupled Device)である。撮像素子4は、複数の画素が受光面上に敷き詰められている。各画素には、撮影中の露光時間に入射した光に対応する電荷が蓄積され、各画素に蓄積された電荷によって2次元のデジタル画像データが生成される。
The
画面10に表示された2次元画像13の像は、結像光学系1(レンズ1A、1B)によって撮像素子4の受光面上に結像する。その際、撮像素子4に入射する光は、開口絞り2の円形開口を通過する。
The image of the two-
画像処理部5は、撮像素子4で取得された画像データに対する画像処理を行う。画像処理部5はコンピュータである。図1の画像処理部5のハードウエア構成を示す図4に示すように、画像処理部5は、制御部21、主記憶部22、外部記憶部23及び入出力部25を備える。主記憶部22、外部記憶部23及び入出力部25はいずれも内部バス28を介して制御部21に接続されている。
The
制御部21は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部23に記憶され主記憶部22に格納されるプログラム29を実行することにより、図1に示す画像処理部5の各構成要素が実現される。
The
主記憶部22は、RAM(Random-Access Memory)等から構成されている。主記憶部22には、外部記憶部23に記憶されているプログラム29がロードされる。この他、主記憶部22は、制御部21の作業領域(データの一時記憶領域)として用いられる。
The
外部記憶部23は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部23には、制御部21に実行させるためのプログラム29があらかじめ記憶されている。また、外部記憶部23は、制御部21の指示に従って、このプログラム29の実行の際に用いられるデータを制御部21に供給し、制御部21から供給されたデータを記憶する。
The
入出力部25は、撮像素子4から画像データを入力する。一方で、入出力部25は、演算結果を出力する。
The input /
図1に示す画像処理部5の各種構成要素は、図4に示すプログラム29が、制御部21、主記憶部22、外部記憶部23及び入出力部25などをハードウエア資源として用いて実行されることによってその機能を発揮する。
The various components of the
図1の画像処理部5のソフトウエア構成を示す図5に示すように、画像処理部5は、デコンボリューション部30と、抽出部31とを備える。
As shown in FIG. 5 showing the software configuration of the
デコンボリューション部30は、撮像素子4で取得された画像データに対して開閉パターンに対応する関数を用いたデコンボリューション(逆疊込み演算)を実行して、2次元画像の画像データを得る。
The
抽出部31は、デコンボリューション部30で得られた2次元画像の画像データから電子透かしを抽出する。具体的には、画像データに対してRGBの各色成分に分離された後、R、G、Bの色別に離散ウェーブレット変換が施され、電子透かしが埋め込まれたHH成分等が抽出され、そのHH成分等に対して逆変換が施されることにより電子透かしが抽出される。
The
次に、この実施の形態に係る撮像装置100の動作について説明する。
Next, the operation of the
図6に示すように、撮像装置100は、開口絞り2を符号化された開閉パターンで開閉しつつレンズを介して電子透かし12が埋め込まれた2次元画像13の画像データを撮像素子4で撮像する(ステップS1)。例えば、電子透かしが、電子透かし12でなく、物体が右から左へ移動するような動画像であった場合には、図7(A)に示すように、画像データは、左右にぶれた画像となる。
As shown in FIG. 6, the
続いて、デコンボリューション部30は、撮像素子4で撮像された画像データに対して開閉パターンに対応する関数を用いてデコンボリューションを実行して、2次元画像13の画像データを得る(ステップS2)。この場合、図7(B)に示すように、デコンボリューション後の画像データは、左右のぶれが著しく低減している。
Subsequently, the
続いて、抽出部31は、デコンボリューション部30で得られた2次元画像13の画像データから電子透かし12を抽出する(ステップS3)。具体的には、画像データを周波数変換し、電子透かし12が埋め込まれている高周波数成分を抽出して、逆変換することにより電子透かし12を抽出する。
Subsequently, the
このように、電子透かし12を正確に抽出するのに、撮像(露光時間)中に開口絞り2を符号化された開閉パターンで開閉すれば、電子透かし12が埋め込まれた2次元画像の高い空間周波数成分が損なわれないようにすることができるので、得られた画像データに対して開閉パターンに対応する関数でデコンボリューションを行えば、電子透かし12を正確に抽出することができる。
Thus, if the
以上詳細に説明したように、この実施の形態によれば、露光時間中、結像光学系1から撮像素子4へ到達する光が通過する開口絞り2を、時間変化が符号化されている開閉パターンで開閉する符号化露光を行うことにより、電子透かし12が埋め込まれた2次元画像13の画像データが得られる。符号化露光によって得られる画像データは、開閉パターンに対応する関数と2次元画像とがコンボリューションした画像となる。この画像データは、開閉パターンに対応する関数を用いてデコンボリューションされる。手ぶれにより2次元画像13の画像データの像がぼけたり、電子透かし12が動画像データであったりしても、その画像データを開閉パターンに対応する関数でデコンボリューションすれば、電子透かし12の高い空間周波成分を失うことなく、2次元画像の画像データを得ることができる。この結果、手ぶれしたり、電子透かし12が動画像データであったりしても、電子透かし12を正確に抽出することができる。また、所定のパターンで符号化露光を行える装置でなければ復号が不可能な動画像の電子透かし12を実現することができる。
As described above in detail, according to this embodiment, the
情報端末200に表示された2次元画像を他の情報端末で撮像し、表示させることによって2次元画像を複製した場合、得られた画像データに対してデコンボリューションを行わずにその画像データを画面に表示しても、その画像は、高い空間周波数成分が失われたままの画像となっているので、電子透かし12を正確に抽出するのが困難になる。すなわち、この実施の形態によれば、符号化された開閉パターンによるコンボリューション及びデコンボリューションを取り入れることによって、電子透かし12が埋め込まれた2次元画像の複製を検知することができるようにもなっている。
When a two-dimensional image is duplicated by capturing and displaying a two-dimensional image displayed on the
なお、露光時間中に開閉パターンにしたがって開閉するのは開口絞り2には限られない。図8に示すように、シャッタ15を、露光時間中、開閉パターンに従って駆動部3で開閉するようにしてもよい。
The opening / closing according to the opening / closing pattern during the exposure time is not limited to the
実施の形態2.
次に、この発明の実施の形態2について説明する。上記実施の形態では、時間軸方向に変化する符号化された開閉パターンを用いて、電子透かし12が埋め込まれた2次元画像13の撮像を行ったが、この実施の形態では、符号化露光に加え、開口絞り2に符号化開口を形成し、符号化開口を用いて撮像を行う。
Next, a second embodiment of the present invention will be described. In the above-described embodiment, the two-
この実施の形態では、開口絞り2には、図9に示すような、符号化開口20が形成されている。図9に示すように、この開口絞り2の符号化開口20では、正方形の開口部分がモザイク状に配置されている。ここで、符号化開口20とは、符号化された開口パターンを含んでいる。符号化された開口パターンは、複数の方向に、広い周波数帯域の空間周波数成分を含んでいる。
In this embodiment, the
ここで、開口絞り2の符号化開口20の空間上の位置(光線が通過する位置)を(X、Y;X、Yは光軸AXに直交)と置く。仮に、開口絞り2の開口の形状が円形だった場合には、撮像素子4の各画素に入射する光は、入射した光の開口内の位置情報(X、Y)に関する情報が失われた光となる。これに対して、開口絞り2の開口パターンが符号化された符号化開口であれば、撮像素子4の各画素に入射する光には、その光が通過した開口内の位置情報(X、Y)に関する情報が残ることになる。
Here, the position in the space of the coded
開口絞り2は、透過型の液晶開口を用いることができる。この実施の形態では、駆動部3が、液晶開口中の所望の画素の透光率を制御することにより、液晶開口上に所望の形状の符号化開口20を形成することができるようになっている。
The
符号化開口20を用いれば、例えば、図10(A)に示すような2次元画像の画像データに対して、図10(B)に示すような電子透かし12が抽出される。抽出された電子透かし12は、本来の電子透かし12に極めて近いパターンとなっている。
If the coded
開口絞り2として符号化開口20を用いることにより、図11(A)に示すように、2次元コードが傾斜した状態であっても、図11(B)に示すように電子透かし12をほぼ正確に抽出することができる。
By using the coded
また、符号化開口20の開口パターン、カバー画像等は、上述のものには限られない。例えば、図12(A)に示すようにパターンを採用することができる。また、カバー画像として図12(B)に示すような画像を採用することもできる。このような符号化開口20の開口パターン及び画像を採用しても、図12(C)に示すような電子透かし12を埋め込んで、抽出することができる。
Moreover, the opening pattern of the
この実施の形態では、撮像素子4で取得された画像データは、開口絞り2の開閉パターンで時間方向にコンボリューションされ、開口絞り2の符号化開口20により、空間方向にコンボリューションした画像データとなる。そこで、デコンボリューション部30は、
開閉パターンに対応する関数を用いたデコンボリューションと、符号化開口20に対応するぼけ関数を用いたデコンボリューションを両方行う必要がある。この場合、どちらを先におこなってもよい。
In this embodiment, the image data acquired by the
It is necessary to perform both deconvolution using a function corresponding to the open / close pattern and deconvolution using a blur function corresponding to the encoded
符号化開口20を介して得られる画像データは、符号化開口20に対応するぼけ関数と2次元画像の像とがコンボリューションした画像となる。この画像データは、符号化開口20に対応するぼけ関数を用いてデコンボリューションされる。焦点ずれにより2次元画像の画像データの像がぼけたとしても、その画像データを焦点ずれに応じたぼけ関数でデコンボリューションすれば、電子透かし12の高周波成分を失うことなく、2次元画像の画像データを得ることができる。この結果、焦点ずれしても、電子透かし12を正確に抽出することができる。
The image data obtained through the encoded
実施の形態3.
次に、この発明の実施の形態3について説明する。上記実施の形態では、電子透かし12が埋め込まれた2次元画像の撮像に、開口絞り2の開閉パターン及び符号化開口20が用いられた。この実施の形態においても、電子透かし12が埋め込まれた2次元画像の撮像に、開口絞り2の開閉パターン及び符号化開口20を用いる。そして、電子透かし12の抽出率が最適になるような電子透かし12のパターン及び符号化開口20の設計方法について説明する。
Next, a third embodiment of the present invention will be described. In the above embodiment, the opening / closing pattern of the
図13には、電子透かし12及び開閉パターンの設計システム500が示されている。図13に示すように、設計システム500は、撮像装置100及び情報端末200の他、コンピュータ300を備えている。コンピュータ300は、CPU及びメモリその他のハードウエアを備えており、CPUがメモリに格納されたプログラムを実行することにより、その機能を実現する。
FIG. 13 shows a
撮像装置100及び情報端末200の構成及び動作は、上記実施の形態1と同じである。コンピュータ300は、無線通信又は有線通信により、撮像装置100及び情報端末200とデータ送受信が可能である。情報端末200は、電動ステージ201の上に搭載されており、情報端末200に手ぶれを模した移動を生じさせることが可能となっている。
The configurations and operations of the
図14に示すように、コンピュータ300は、抽出率算出部32と、最適化部33と、開閉パターン生成部34と、画像生成部35とを備える。
As illustrated in FIG. 14, the
抽出率算出部32は、撮像装置100の画像処理部5から、抽出された電子透かし12の画像データを入力する。抽出率算出部32は、入力された電子透かし12の画像データと、電子透かし12の参照画像データとのマッチングを行い、一致する画素の数の全画素数に対する比率を電子透かし12の抽出率として算出する。
The extraction
最適化部33は、抽出率算出部32で算出される抽出率に基づいて、開口絞り2の開閉パターン及び電子透かし12のパターンの最適化を、最適化手法を用いて行う。この実施の形態では、最適化手法として遺伝的アルゴリズムが採用される。
Based on the extraction rate calculated by the extraction
最適化部33は、開口絞り2の開閉パターン及び情報端末200の画面10における電子透かし12のパターンを変更しながら、情報端末200の画面10への電子透かし12が埋め込まれた2次元画像の表示と、撮像装置100における開口絞り2を用いた撮像とを行わせる。最適化部33は、電子透かし12のパターン及び開口絞り2の開閉パターンを変更しながら、最適化手法を用いて、抽出率が最大となる電子透かし12のパターン及び開口絞り2の開閉パターンを探索する。
The
開閉パターン生成部34は、最適化部33からの指示に従って、開口絞り2の開閉パターンを生成する。開閉パターン生成部34は、生成した開口絞り2の開閉パターンを駆動部3に出力する。駆動部3は入力した開閉パターンに基づいて、開口絞り2の液晶開口を駆動し、その開閉パターンにしたがって、露光時間中、開口絞り2を開閉する。
The open / close pattern generation unit 34 generates an open / close pattern of the
画像生成部35は、最適化部33からの指示に従って、電子透かし12が埋め込まれた2次元画像データを生成する。画像生成部35は、情報端末200に、生成した画像データを送信する。情報端末200は、受信した2次元画像を画面10に表示する。
The
図15には、最適化部33を中心にして行われる最適化工程の処理の流れが示されている。図15に示すように、まず、最適化部33は、親世代の候補を複数選択する(ステップS11)。この候補は、電子透かし12のパターンと、開口絞り2の開閉パターンとの組み合わせの候補である。
FIG. 15 shows the flow of the optimization process performed around the
続いて、最適化部33は、選択された電子透かし12のパターンと開口絞り2の開閉パターンとの組み合わせを、開閉パターン生成部34と画像生成部35に指示し、撮像装置100及び情報端末200に上記組み合わせのそれぞれで撮像及び電子透かし12の抽出を実行させる(ステップS12)。ここでは、選択された電子透かし12のパターンと開口絞り2の開閉パターンとの組み合わせそれぞれでの電子透かし12の抽出率が、抽出率算出部32により算出され、最適化部33に出力される。
Subsequently, the
ステップS12では、具体的には、図16に示すように、まず、最適化部33は、開閉パターン生成部34を介して開口絞り2の開閉パターンを駆動部3に設定し、画像生成部35を介して、電子透かし12が埋め込まれた2次元画像を情報端末200に設定し、その2次元画像を情報端末200の画面10に表示させる(ステップS1)。
In step S12, specifically, as shown in FIG. 16, first, the
続いて、開閉パターンに従って開口絞り2を開閉して、結像光学系1を介して、電子透かし12が埋め込まれた2次元画像の画像データを撮像素子4で撮像する(ステップS2)。
Subsequently, the
続いて、撮像装置100(画像処理部5のデコンボリューション部30)は、撮像素子4で撮像された画像データに対して開口絞り2の開閉パターンに対応する関数を用いてデコンボリューションを実行して、2次元画像の画像データを得る(ステップS3)。前述のとおり、電子透かし12の動画像の動きに関わらず、クリアな画像データが取得される。
Subsequently, the imaging apparatus 100 (the
続いて、画像処理部5(抽出部31)は、デコンボリューション部30で得られた2次元画像の画像データから電子透かし12を抽出する(ステップS4)。前述のとおり、ここで、周波数変換、高い周波数帯域の抽出、逆変換により、電子透かし12の画像データが得られる。
Subsequently, the image processing unit 5 (extraction unit 31) extracts the
続いて、コンピュータ300(抽出率算出部32)は、抽出された電子透かし12の抽出率を算出する(ステップS5)。前述のとおり、得られた電子透かし12の画像データと参照用の電子透かし12の画像データとの一致度に基づいて、電子透かし12の抽出率が算出される。
Subsequently, the computer 300 (extraction rate calculation unit 32) calculates the extraction rate of the extracted digital watermark 12 (step S5). As described above, the extraction rate of the
続いて、最適化部33は、全ての移動パターン(手ぶれを模した情報端末200の微小な移動)での抽出が完了しているか否かを判定する(ステップS6)。まだ完了していなければ(ステップS6;No)、最適化部33は、電動ステージ201を駆動して、撮像装置100と、情報端末200に手ぶれなどを模した動きを生じさせる(ステップS7)。その後、最適化部33は、再び撮像(ステップS2)、デコンボリューション(ステップS3)、電子透かし12の抽出(ステップS4)、抽出率算出(ステップS5)、抽出完了判定(ステップS6)が繰り返される。
Subsequently, the
全ての移動パターンでの電子透かし12の抽出が完了したと判定されると(ステップS6;Yes)、最適化部33は、開口絞り2の開閉パターンと電子透かし12のパターンの全ての組み合わせで、電子透かし12の抽出が完了したか否かが判定される(ステップS8)。完了していなければ(ステップS8;No)、最適化部33は、次の候補である電子透かし12のパターン及び開口絞り2の開閉パターンを設定する(ステップS1)。以降、ステップS2〜S8が繰り返され、次の候補での処理が行われる。全てのパターンの組み合わせが完了すると(ステップS8;Yes)、最適化部33は、ステップS12の処理を終了する。
When it is determined that the extraction of the
最適化部33は、このようにして、電子透かし12のパターン及び開口絞り2の開閉パターンを変更し、情報端末200の移動パターンを変更ながら、撮像(ステップS2)と、デコンボリューション(ステップS3)と、電子透かし12の検出(ステップS4)と、抽出率の算出(ステップS5)とを繰り返し行う。
In this way, the
図15に戻り、続いて、最適化部33は、遺伝的アルゴリズム(GA)により子世代の候補を複数生成する(ステップS13)。GAでは、候補を個体として、交叉(組み替え)、突然変異を行って子世代の候補を生成する処理である。なお、子世代の個体には、親世代で最良であった個体をそのまま残すようにする。
Returning to FIG. 15, subsequently, the
続いて、最適化部33は、電子透かし12の抽出率の値が一定範囲内に収束したか否かを判定する(ステップS14)。いわゆる探索の終了判定である。終了判定の判定条件には、世代数が所定数となることであってもよいし、抽出率が閾値を上回ることであってもよい。
Subsequently, the
抽出率の値が収束していないと判定された場合(ステップS14;No)、最適化部33は、ステップS12に戻り、子世代における電子透かし12の抽出の実行(ステップS12)、子世代の候補の生成(ステップS13)、抽出率の収束判定(ステップS14)を繰り返し行う。
When it is determined that the value of the extraction rate has not converged (step S14; No), the
抽出率が収束したと判定された場合(ステップS14;Yes)、最適化部33は、最も抽出率が高い候補を最終的なパターンとして決定する(ステップS15)。続いて、最適化部33は、決定された候補を出力し(ステップS16)、処理を終了する。
When it is determined that the extraction rate has converged (step S14; Yes), the
なお、最適化手法は、遺伝的アルゴリズムには限られない。山登り法、焼き鈍し法、粒子群最適化、差分進化法などを用いるようにしてもよい。また、電子透かし12及び開口絞り2の開閉パターンに加えて、符号化開口20の開口パターンを最適化するようにしてもよい。また、目的関数が複数である多目的最適化アルゴリズムを用いるようにしてもよい。例えば、第一目的関数を透かしの抽出率とし、第二目的関数を、透かしを抽出可能な手ぶれの範囲として、多目的最適化アルゴリズムを実行することで、透かしの抽出の容易さと頑健さの双方を考慮した最適化も可能となる。
Note that the optimization method is not limited to the genetic algorithm. A hill climbing method, annealing method, particle swarm optimization, differential evolution method, or the like may be used. In addition to the open / close pattern of the
電子透かし12はより高周波のパターンとして2次元画像に埋め込まれているため、ナンバープレート又はバーコードのぼけを除去する符号化開口と比較して、符号化開口20のパターンは、より高い空間周波数成分を含むものとするのが望ましい。
Since the
図17(A)には、符号化露光により撮像されデコンボリューションされた画像の一部(飛行機のコクピットの部分)が示され、図17(B)には、通常の露光により撮像されデコンボリューションされた画像の一部(飛行機のコクピットの部分)が示されている。図17(A)と図17(B)とを比較するとわかるように、符号化露光で得られた画像はよく復元できているのに対し、通常の露光で得られた画像は、縦方向の縞が表れている。これは、通常露光では、シャッタが開いた間のすべての光の積分値により各画素が構成されるので、撮像対象が横方向に動いていると、HL成分が失われるためである。 FIG. 17A shows a part of an image captured by coded exposure and deconvolved (the cockpit portion of an airplane), and FIG. 17B shows an image captured by normal exposure and deconvoluted. A part of the image (the cockpit part of the airplane) is shown. As can be seen from a comparison between FIG. 17A and FIG. 17B, the image obtained by the coded exposure is well restored, whereas the image obtained by the normal exposure is in the vertical direction. Stripes appear. This is because, in normal exposure, each pixel is configured by the integrated value of all the light while the shutter is open, so that the HL component is lost when the imaging target moves in the horizontal direction.
図18(A)には、符号化露光により撮像されデコンボリューションされた画像の一部(電子透かし12が埋め込まれた部分)が示され、図18(B)には、通常の露光により撮像されデコンボリューションされた画像の一部(電子透かし12が埋め込まれた部分)が示されている。図18(A)と図18(B)とを比較するとわかるように、符号化露光で得られた画像は、HL成分(垂直方向の高周波数成分)、LH成分(水平方向の高周波数成分)、HH成分(対角方向の高周波数成分)ともによく復元できているのに対し、通常の露光で得られた画像は、撮像対象が横方向に動いているため、HL成分が失われている。
FIG. 18A shows a part of an image captured by coded exposure and deconvoluted (portion in which
上記実施の形態では、情報端末200の画面10に表示された2次元画像13から電子透かし12を抽出する場合について説明したが、本発明はこれには限られない。紙媒体に印刷された2次元画像から電子透かし12を抽出する場合にも本発明を適用することができる。
In the above embodiment, the case where the
なお、上記の実施の形態において、実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disc Read−Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto−Optical Disc)等のコンピュータが読み取り可能な記録媒体に格納して配布し、そのプログラムを、コンピュータ等にインストールすることにより、図6、図15、図16に示す処理を実行するコンピュータ300を構成することとしてもよい。
In the above embodiment, the program to be executed is readable by a computer such as a flexible disk, a CD-ROM (Compact Disc Read-Only Memory), a DVD (Digital Versatile Disc), or an MO (Magneto-Optical Disc). The
また、上述のプログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。 Further, the above-described program may be stored in a disk device or the like of a predetermined server device on a communication network such as the Internet, and may be downloaded, for example, superimposed on a carrier wave.
また、上述の図6、図15、図16に示す処理を、各OS(Operating System)が分担して実現する場合、または、OSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。 In addition, when the processing shown in FIGS. 6, 15, and 16 is realized by sharing each OS (Operating System), or when the processing shown in FIG. Only the part may be stored and distributed in a medium, or may be downloaded.
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。 Various embodiments and modifications can be made to the present invention without departing from the broad spirit and scope of the present invention. The above-described embodiments are for explaining the present invention and do not limit the scope of the present invention. In other words, the scope of the present invention is shown not by the embodiments but by the claims. Various modifications within the scope of the claims and within the scope of the equivalent invention are considered to be within the scope of the present invention.
この発明は、2次元コードに埋め込まれる電子透かしを抽出するシステムに適用することができる。特に動画像の電子透かしを抽出するシステムに適用することができる。 The present invention can be applied to a system for extracting a digital watermark embedded in a two-dimensional code. In particular, the present invention can be applied to a system for extracting a digital watermark of a moving image.
1 結像光学系、1A、1B レンズ、2 開口絞り、3 駆動部、4 撮像素子、5 画像処理部、10 画面、11 2次元コード、12 電子透かし、13 2次元画像、15 シャッタ、20 符号化開口、21 制御部、22 主記憶部、23 外部記憶部、25 入出力部、28 内部バス、29 プログラム、30 デコンボリューション部、31 抽出部、32 抽出率算出部、33 最適化部、34 開閉パターン生成部、35 画像生成部、100 撮像装置、200 情報端末、201 電動ステージ、300 コンピュータ、500 設計システム
DESCRIPTION OF
Claims (9)
電子透かしが埋め込まれた2次元画像を前記撮像素子の受光面に結像させる結像光学系と、
露光時間中、前記結像光学系から前記撮像素子へ到達する光が通過する開口の開閉を、符号化されている開閉パターンで繰り返す符号化露光を行う露光部と、
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理部と、
を備える撮像装置。 An image sensor that captures a two-dimensional image formed on a light receiving surface and acquires image data of the two-dimensional image;
An imaging optical system that forms an image on a light receiving surface of the image sensor with a two-dimensional image embedded with a digital watermark;
An exposure unit that performs coded exposure that repeats opening and closing of an aperture through which light reaching the imaging element from the imaging optical system passes during an exposure time, using an encoded opening and closing pattern;
An image processing unit that performs image processing including deconvolution using a function corresponding to the open / close pattern on the image data acquired by the imaging device, and extracts the digital watermark;
An imaging apparatus comprising:
情報端末の画像に表示されている動画像である、
請求項1に記載の撮像装置。 The watermark is
It is a moving image displayed on the image of the information terminal.
The imaging device according to claim 1.
情報端末の画像に表示されている2次元コードである、
請求項1に記載の撮像装置。 The two-dimensional image is
It is a two-dimensional code displayed on the image of the information terminal.
The imaging device according to claim 1.
前記開閉パターンに対応する関数を用いたデコンボリューションを実行して、前記2次元画像の画像データを復元し、
復元された前記2次元画像の画像データに対して周波数変換処理を実行することにより、前記電子透かしを抽出する、
請求項1から3のいずれか一項に記載の撮像装置。 The image processing unit
Performing deconvolution using a function corresponding to the open / close pattern to restore the image data of the two-dimensional image;
Extracting the digital watermark by performing frequency conversion processing on the restored image data of the two-dimensional image;
The imaging device according to any one of claims 1 to 3.
前記露光部は、
前記液晶駆動部によって駆動されることにより、開口を形成する透過型の液晶開口である、
請求項1から4のいずれか一項に記載の撮像装置。 With a liquid crystal drive
The exposure unit is
It is a transmissive liquid crystal opening that forms an opening by being driven by the liquid crystal driving unit.
The imaging device according to any one of claims 1 to 4.
開口が開いている間、前記結像光学系を介して前記撮像素子に入射する光が通過する符号化開口を有する開口絞りとして動作する、
請求項5に記載の撮像装置。 The exposure unit is
While the aperture is open, it operates as an aperture stop having an encoded aperture through which light incident on the image sensor through the imaging optical system passes.
The imaging device according to claim 5.
前記露光部は、
前記撮像素子への光の入射を遮断するシャッタである、
請求項1から4のいずれか一項に記載の撮像装置。 An aperture stop having a coded aperture through which light incident on the imaging device passes through the imaging optical system;
The exposure unit is
A shutter that blocks light from entering the image sensor;
The imaging device according to any one of claims 1 to 4.
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
を含む電子透かしの抽出方法。 An electronic watermark is embedded through the imaging optical system 2 while performing coded exposure that repeats opening and closing of an aperture through which light reaching the image sensor from the imaging optical system passes. An image capturing step of capturing image data of a dimensional image with an image sensor and acquiring the image data;
An image processing step of performing image processing including deconvolution using a function corresponding to the open / close pattern on the image data acquired by the imaging device, and extracting the digital watermark;
A method for extracting a digital watermark including:
前記撮像素子で取得された画像データに対して前記開閉パターンに対応する関数を用いたデコンボリューションを含む画像処理を実行して、前記電子透かしを抽出する画像処理工程と、
前記画像処理工程で抽出された前記電子透かしの抽出率を算出する算出工程と、
を含み、
前記電子透かしのパターン及び前記開閉パターンを変更しながら、前記撮像工程と、前記画像処理工程と、前記算出工程とを繰り返し行い、最適化手法を用いて、前記抽出率が最大となる前記電子透かし及び前記開閉パターンを決定する
電子透かし及び開閉パターンの最適化方法。 An electronic watermark is embedded through the imaging optical system 2 while performing coded exposure that repeats opening and closing of an aperture through which light reaching the image sensor from the imaging optical system passes. An image capturing step of capturing image data of a dimensional image with an image sensor and acquiring the image data;
An image processing step of performing image processing including deconvolution using a function corresponding to the open / close pattern on the image data acquired by the imaging device, and extracting the digital watermark;
A calculation step of calculating an extraction rate of the digital watermark extracted in the image processing step;
Including
The digital watermark that maximizes the extraction rate using an optimization method by repeatedly performing the imaging step, the image processing step, and the calculation step while changing the digital watermark pattern and the open / close pattern. And a method for optimizing the digital watermark and the open / close pattern.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015037159A JP6443982B2 (en) | 2015-02-26 | 2015-02-26 | Imaging device, digital watermark extraction method, digital watermark and open / close pattern optimization method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015037159A JP6443982B2 (en) | 2015-02-26 | 2015-02-26 | Imaging device, digital watermark extraction method, digital watermark and open / close pattern optimization method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016163064A JP2016163064A (en) | 2016-09-05 |
JP6443982B2 true JP6443982B2 (en) | 2018-12-26 |
Family
ID=56845471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015037159A Active JP6443982B2 (en) | 2015-02-26 | 2015-02-26 | Imaging device, digital watermark extraction method, digital watermark and open / close pattern optimization method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6443982B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263504A (en) * | 2019-05-08 | 2019-09-20 | 桂林理工大学 | The insertion of reciprocal relation database water mark and extracting method based on differential evolution algorithm |
CN110991457B (en) * | 2019-11-26 | 2023-12-08 | 北京达佳互联信息技术有限公司 | Two-dimensional code processing method and device, electronic equipment and storage medium |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4447799B2 (en) * | 2000-04-26 | 2010-04-07 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP4577709B2 (en) * | 2004-08-02 | 2010-11-10 | 日本電信電話株式会社 | Digital watermark detection method and apparatus, and program |
JP4008912B2 (en) * | 2004-10-05 | 2007-11-14 | 日本電信電話株式会社 | Digital watermark embedding application method, system, and program |
KR100901142B1 (en) * | 2005-08-04 | 2009-06-04 | 니폰 덴신 덴와 가부시끼가이샤 | Digital watermark detecting method, digital watermark detection device, and program |
US7756407B2 (en) * | 2006-05-08 | 2010-07-13 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for deblurring images |
JP5377073B2 (en) * | 2009-05-20 | 2013-12-25 | キヤノン株式会社 | Imaging apparatus, blur repair method, and program |
EP2439921B1 (en) * | 2009-06-04 | 2015-08-05 | Kagoshima University | Watermark information embedding apparatus, watermark information processing system, watermark information embedding method, and program |
JP2011109619A (en) * | 2009-11-20 | 2011-06-02 | Canon Inc | Image processing method and apparatus, and program |
JP5424835B2 (en) * | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | Image processing apparatus and image processing method |
WO2012026039A1 (en) * | 2010-08-27 | 2012-03-01 | 富士通株式会社 | Digital watermark embedding device, digital watermark embedding method, computer program for digital watermark embedding, and digital watermark detection device |
JP5760438B2 (en) * | 2010-12-28 | 2015-08-12 | 富士通株式会社 | Digital watermark embedding apparatus, digital watermark embedding method, digital watermark embedding computer program, and digital watermark detection apparatus |
JP5830348B2 (en) * | 2011-10-26 | 2015-12-09 | オリンパス株式会社 | Imaging device |
JP5832353B2 (en) * | 2012-03-29 | 2015-12-16 | 富士フイルム株式会社 | Imaging device |
-
2015
- 2015-02-26 JP JP2015037159A patent/JP6443982B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016163064A (en) | 2016-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476737B (en) | Image processing method, intelligent device and computer readable storage medium | |
Korus | Digital image integrity–a survey of protection and verification techniques | |
JP6406758B2 (en) | Imaging apparatus, digital watermark extraction method, digital watermark and coding aperture optimization method | |
VidalMata et al. | Bridging the gap between computational photography and visual recognition | |
Liu et al. | Fast burst images denoising | |
US20140152886A1 (en) | Bokeh amplification | |
Cho et al. | Registration Based Non‐uniform Motion Deblurring | |
JP6711396B2 (en) | Image processing device, imaging device, image processing method, and program | |
CN110674800B (en) | Face living body detection method and device, electronic equipment and storage medium | |
Sharma et al. | Comprehensive analyses of image forgery detection methods from traditional to deep learning approaches: an evaluation | |
CN110210498B (en) | Digital image equipment evidence obtaining system based on residual learning convolution fusion network | |
US8929607B2 (en) | System and method for performing depth estimation utilizing defocused pillbox images | |
Hardie et al. | Fast super-resolution using an adaptive Wiener filter with robustness to local motion | |
CN102693528A (en) | Noise suppression in low light images | |
CN103369233A (en) | System and method for performing depth estimation by utilizing adaptive kernel | |
Anwar et al. | Deblur and deep depth from single defocus image | |
Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
JP6443982B2 (en) | Imaging device, digital watermark extraction method, digital watermark and open / close pattern optimization method | |
Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
Swaminathan et al. | Component forensics | |
CN115937794A (en) | Small target object detection method and device, electronic equipment and storage medium | |
CN111985537A (en) | Target image identification method, terminal, system and storage medium | |
CN113628134B (en) | Image noise reduction method and device, electronic equipment and storage medium | |
Li et al. | A robust approach to detect digital forgeries by exploring correlation patterns | |
JP2017103756A (en) | Image data processing apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6443982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |