KR101206275B1 - System and method for image retrieval based image watermarking and computer readable recording medium comprising instruction word for processing method thereof - Google Patents
System and method for image retrieval based image watermarking and computer readable recording medium comprising instruction word for processing method thereof Download PDFInfo
- Publication number
- KR101206275B1 KR101206275B1 KR1020100135414A KR20100135414A KR101206275B1 KR 101206275 B1 KR101206275 B1 KR 101206275B1 KR 1020100135414 A KR1020100135414 A KR 1020100135414A KR 20100135414 A KR20100135414 A KR 20100135414A KR 101206275 B1 KR101206275 B1 KR 101206275B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- similarity
- watermark pattern
- database
- watermark
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000003672 processing method Methods 0.000 title 1
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
- G06F3/1237—Print job management
- G06F3/1242—Image or content composition onto a page
- G06F3/1243—Variable data printing, e.g. document forms, templates, labels, coupons, advertisements, logos, watermarks, transactional printing, fixed content versioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 이미지 검색 기반의 이미지 워터마킹 시스템은, 제1 데이터베이스에 저장된 다수의 이미지와 입력된 이미지 사이의 이미지 유사도를 계산하여, 상기 이미지 유사도가 제1 설정기준보다 높은 이미지를 제2 데이터베이스에 저장하는 이미지 유사도 계산부; 상기 이미지 유사도 계산부의 제2 데이터베이스에 저장된 이미지에서 워터마크 패턴을 추출하는 워터마크 패턴 추출부; 및 상기 이미지 유사도 계산부에 입력된 이미지의 워터마크 패턴과 상기 워터마크 패턴 추출부에서 추출된 워터마크 패턴 사이의 워터마크 패턴 유사도를 계산하여, 상기 워터마크 패턴 유사도가 제2 설정기준보다 높은 이미지를 추출하는 이미지 추출부;를 포함한다.The image search-based image watermarking system of the present invention calculates an image similarity between a plurality of images stored in a first database and an input image, and stores the image having a higher image similarity than a first setting criterion in a second database. An image similarity calculator; A watermark pattern extracting unit extracting a watermark pattern from an image stored in a second database of the image similarity calculating unit; And calculating a watermark pattern similarity between the watermark pattern of the image inputted to the image similarity calculator and the watermark pattern extracted by the watermark pattern extractor, wherein the watermark pattern similarity is higher than a second setting criterion. It includes; Image extraction unit for extracting.
Description
본 발명은 이미지 검색 기반의 이미지 워터마킹 시스템 및 방법과 그 방법을 수행하는 명령어를 포함하는 컴퓨터 판독가능 기록매체에 관한 것이다.
The present invention relates to an image retrieval based image watermarking system and method and a computer readable recording medium including instructions for performing the method.
워터마킹이란 눈에 띄지 않을 정도의 세기로 기존의 데이터를 특정하게 변조시킴으로써 데이터 자체의 질은 떨어뜨리지 않으면서 저작자만이 알아볼 수 있는 데이터를 숨기는 것을 말한다. 이렇게 숨겨진 데이터를 통해 이후에 발생할 저작권 문제에 있어 해당하는 데이터가 자신의 것임을 증명할 수 있도록 한다. 이런 점에서 기존의 워터마킹에 관련된 기술들은 워터마크가 다양한 변조 및 공격에 대해서 얼마나 유지될 수 있는가라는 강인성(robustness)을 기준으로 연구되어 왔다.Watermarking refers to hiding data that only the author can recognize without compromising the quality of the data itself by specifically modulating the existing data with an inconspicuous intensity. This hidden data allows you to prove that the data is yours for future copyright issues. In this regard, the existing techniques related to watermarking have been studied based on the robustness of how much a watermark can be maintained against various modulations and attacks.
종래의 워터마킹 기술은 이미지 공간 그대로의 신호에 워터마크를 삽입하는 방법과 이미지를 주파수 영역의 공간으로 치환한 후 그 영역에서 워터마크를 삽입하는 방식으로 발전되어 왔는데, 일반적으로 주파수 영역에서의 워터마크 삽입이 보다 강력한 것으로 연구되어 왔다.Conventional watermarking techniques have been developed by inserting a watermark into a signal in an image space and replacing a image with a space in a frequency domain and then inserting a watermark in that region. Mark insertion has been studied as more powerful.
최근에는 이미지가 갖는 특징을 이용하여 워터마크를 삽입하는 방법이 연구되고 있는데, 이미지의 코너 부분이나 모서리 부분의 특징을 이용하여 워터마크를 삽입하거나 SIFT(Scale Invariant Feature Transform) 특성을 이용한 워터마킹 알고리즘이 제안된 바 있다.Recently, a method of inserting a watermark using a feature of an image has been studied. A watermarking algorithm using a feature of a corner portion or an edge portion of an image, or a watermarking algorithm using a scale invariant feature transform (SIFT) feature This has been proposed.
워터마킹 알고리즘이 복잡해짐에 따라 워터마크를 대용량의 데이터베이스에 속한 모든 이미지와 비교하기 위해서는 많은 시간이 걸린다. 그러나, 대용량의 데이터에서 해당하는 워터마크의 신속한 검색을 위한 연구는 거의 수행되지 않았다.As watermarking algorithms become more complex, it takes a lot of time to compare a watermark with every image in a large database. However, little research has been carried out for the rapid retrieval of corresponding watermarks in large amounts of data.
기존에 연구된 효율적인 워터마크 검출기술에서는 사전 필터링의 과정에서 어떤 방식으로 워터마크를 삽입할 것인지에 대한 정보와 같이 사전에 정의되어 있는 워터마크 삽입 도메인의 패턴을 통해 디 스크립터를 추출하여 워터마크의 대조 여부를 결정하였다. 그래서, 콘텐츠 자체의 내용과는 관계없이 판정된 데이터가 포함될 수 있으며, 거짓 음성/양성의 오류율이 높아질 수 있다. 또한, 패턴에 어긋나게 워터마크가 삽입된 경우 이를 판단하지 못하는 문제점이 있다.In the existing efficient watermark detection technology, the watermark insertion domain is extracted through the pattern of the predefined watermark embedding domain, such as information on how to insert the watermark in the pre-filtering process, and the watermark contrast is performed. Determined. Thus, the determined data can be included regardless of the content of the content itself, and the false audio / positive error rate can be high. In addition, there is a problem in that it is not possible to determine if the watermark is inserted contrary to the pattern.
또 다른 연구인“Efficient watermark detection and collusion security” 에서는 특정한 워터마크 알고리즘을 수정한 특별한 환경 아래에서 워터마크의 속도 비교를 보다 신속하게 하는 방법을 제시하였다. 그러나, 이와 같은 기술들은 미리 약속된 하나의 워터마크 알고리즘에서만 워터마크를 신속히 검색할 수 있다는 문제점이 있기 때문에 일반적이지 않다. 또한, 2가지 알고리즘 모두 워터마크의 원래의 목적에 따라 데이터의 콘텐츠 자체를 기준으로 필터링하지 않고 워터마크의 삽입 도메인을 기준으로 필터링 했다는 측면에서 거짓 음성/양성의 오류율이 높아질 수 있다는 문제점이 있다.
Another study, “Efficient watermark detection and collusion security,” presented a way to make watermark speed comparisons faster under special circumstances that modify specific watermark algorithms. However, these techniques are not common because there is a problem that the watermark can be quickly retrieved only by one watermark algorithm that is promised in advance. In addition, both algorithms have a problem in that an error rate of false voice / positiveness can be increased in that they are filtered based on the watermark's insertion domain instead of the data content itself according to the original purpose of the watermark.
본 발명은 대용량의 이미지 데이터베이스에서도 워터마크 패턴의 검색을 신속히 수행할 수 있는 이미지 검색 기반의 이미지 워터마킹 시스템 및 방법과 그 방법을 수행하는 명령어를 포함하는 컴퓨터 판독가능 기록매체를 제공하는 것을 목적으로 한다.
An object of the present invention is to provide an image retrieval-based image watermarking system and method capable of quickly retrieving a watermark pattern even in a large image database and a computer-readable recording medium including instructions for performing the method. do.
본 발명의 일 측면은, 제1 데이터베이스에 저장된 다수의 이미지와 입력된 이미지 사이의 이미지 유사도를 계산하여, 상기 이미지 유사도가 제1 설정기준보다 높은 이미지를 제2 데이터베이스에 저장하는 이미지 유사도 계산부; 상기 이미지 유사도 계산부의 제2 데이터베이스에 저장된 이미지에서 워터마크 패턴을 추출하는 워터마크 패턴 추출부; 및 상기 이미지 유사도 계산부에 입력된 이미지의 워터마크 패턴과 상기 워터마크 패턴 추출부에서 추출된 워터마크 패턴 사이의 워터마크 패턴 유사도를 계산하여, 상기 워터마크 패턴 유사도가 제2 설정기준보다 높은 이미지를 추출하는 이미지 추출부;를 포함하는 이미지 검색 기반의 이미지 워터마킹 시스템을 제공한다.According to an aspect of the present invention, an image similarity calculator may calculate an image similarity between a plurality of images stored in a first database and an input image, and store an image having a higher image similarity than a first setting criterion in a second database; A watermark pattern extracting unit extracting a watermark pattern from an image stored in a second database of the image similarity calculating unit; And calculating a watermark pattern similarity between the watermark pattern of the image inputted to the image similarity calculator and the watermark pattern extracted by the watermark pattern extractor, wherein the watermark pattern similarity is higher than a second setting criterion. It provides an image search-based image watermarking system comprising a; image extraction unit for extracting.
본 발명의 일 실시예에서, 상기 이미지 유사도는 이미지들의 SIFT(Scale Invariant feature Transform) 특징점들을 비교하여 결정되며, 상기 이미지 유사도 계산부는 상기 제1 데이터베이스에 저장된 다수의 이미지의 SIFT 특징점을 계층적 데이터로 저장하는 이미지 검색 기반의 이미지 워터마킹 시스템을 제공한다.In one embodiment of the present invention, the image similarity is determined by comparing Scale Invariant feature Transform (SIFT) feature points of the images, the image similarity calculator is a hierarchical data of the SIFT feature points of the plurality of images stored in the first database An image watermarking system based on image retrieval is provided.
본 발명의 다른 실시예에서, 상기 이미지 유사도와 상기 워터마크 패턴 유사도를 이용하여, 상기 이미지 추출부에서 추출된 이미지를 재 정렬하는 이미지 재 정렬부를 더 포함하는 이미지 검색 기반의 이미지 워터마킹 시스템을 제공한다.
In another embodiment of the present invention, using the image similarity and the watermark pattern similarity, the image search-based image watermarking system further comprises an image realignment unit for rearranging the image extracted by the image extraction unit; do.
본 발명의 다른 측면은, 제1 데이터베이스에 저장된 다수의 이미지와 입력된 이미지 사이의 이미지 유사도를 계산하는 단계; 상기 이미지 유사도가 제1 설정기준보다 높은 이미지를 제2 데이터베이스에 저장하는 단계; 제2 데이터베이스에 저장된 이미지에서 워터마크 패턴을 추출하는 단계; 상기 입력된 이미지의 워터마크 패턴과 상기 추출된 워터마크 패턴 사이의 워터마크 패턴 유사도를 계산하는 단계; 및 상기 워터마크 패턴 유사도가 제2 설정기준보다 높은 이미지를 추출하는 단계;를 포함하는 이미지 검색 기반의 이미지 워터마킹 방법을 제공한다.Another aspect of the invention includes the steps of calculating an image similarity between a plurality of images stored in a first database and an input image; Storing an image of which the image similarity is higher than a first preset criterion in a second database; Extracting the watermark pattern from the image stored in the second database; Calculating a watermark pattern similarity between the watermark pattern of the input image and the extracted watermark pattern; And extracting an image of which the watermark pattern similarity is higher than a second setting criterion.
본 발명의 일 실시예에서, 상기 이미지 유사도는 이미지들의 SIFT 특징점들을 비교하여 계산되며, 상기 제1 데이터베이스에 저장된 다수의 이미지의 SIFT 특징점들을 계층적 데이터로 저장하는 전처리 단계를 더 포함하는 이미지 검색 기반의 이미지 워터마킹 방법을 제공한다.In one embodiment of the present invention, the image similarity is calculated by comparing SIFT feature points of the images, and further comprising a preprocessing step of storing the SIFT feature points of the plurality of images stored in the first database as hierarchical data. Provides an image watermarking method.
본 발명의 다른 실시예에서, 상기 이미지 유사도와 상기 워터마크 패턴 유사도를 이용하여 상기 추출된 이미지를 재 정렬하는 단계를 더 포함하는 이미지 검색 기반의 이미지 워터마킹 방법을 제공한다.
In another embodiment of the present invention, there is provided an image search-based image watermarking method further comprising rearranging the extracted image using the image similarity and the watermark pattern similarity.
본 발명의 또 다른 측면은, 제4항 내지 제6항 중 어느 하나의 항의 방법을 수행하는 명령어를 포함하는 컴퓨터 판독가능 기록매체를 제공한다.
Another aspect of the invention provides a computer readable recording medium comprising instructions for performing the method of any one of claims 4 to 6.
본 발명에 따르면, 이미지 검색을 통해 사전에 데이터를 필터링하여 워터마크 패턴을 검출해야 할 이미지의 수를 줄일 수 있다.According to the present invention, the number of images to detect the watermark pattern can be reduced by filtering the data in advance through the image search.
또한, 본 발명에 따르면, 이미지 검색을 통하여 비슷한 이미지를 필터링함으로써 기존의 모든 데이터베이스를 비교하는 방법에 비해 낮은 거짓 음성/양성 오류율을 갖게 한다.In addition, according to the present invention, by filtering similar images through image search, it has a low false voice / positive error rate compared to the method of comparing all existing databases.
또한, 본 발명에 따르면, 워터마크가 공격되어 변조되었을 경우에도 이미지 자체의 유사도를 이용하여 상위에 랭크 시킴으로써 거짓 음성 오류율을 낮출 수 있다.In addition, according to the present invention, even when the watermark is attacked and modulated, the false speech error rate can be lowered by using the similarity of the image itself to rank higher.
또한, 본 발명에 따르면, SIFT 특성을 고려한 워터마킹 방법을 사용함으로써SIFT 기반 이미지 검색에 사용되는 SIFT 특징점에 영향을 적게 미친다.In addition, according to the present invention, by using the watermarking method considering the SIFT characteristics, it has less influence on the SIFT feature point used for SIFT-based image retrieval.
또한, 본 발명에 따르면, 다양한 워터마크 알고리즘에 적용될 수 있는 이미지 검색 시스템을 구축할 수 있다.In addition, according to the present invention, an image retrieval system that can be applied to various watermark algorithms can be constructed.
도 1은 본 발명에 따른 이미지 검색 기반의 이미지 워터마킹 시스템의 블록도이다.
도 2는 본 발명에 따른 이미지 검색 기반의 이미지 워터마킹 방법의 흐름도이다.1 is a block diagram of an image search-based image watermarking system according to the present invention.
2 is a flowchart of an image search-based image watermarking method according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나, 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, the embodiments of the present invention may be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. The shape and the size of the elements in the drawings may be exaggerated for clarity and the same elements are denoted by the same reference numerals in the drawings.
도 1은 본 발명에 따른 이미지 검색 기반의 이미지 워터마킹 시스템의 블록도이다. 도 1을 참조하면, 이미지 검색 기반의 이미지 워터마킹 시스템은, 이미지 유사도 계산부(100), 워터마크 추출부(200), 이미지 추출부(300), 이미지 재 정렬부(400)를 포함한다.1 is a block diagram of an image search-based image watermarking system according to the present invention. Referring to FIG. 1, an image search-based image watermarking system includes an
이미지 유사도 계산부(100)는 제1 데이터베이스에 저장된 다수의 이미지와 입력된 이미지 사이의 이미지 유사도를 계산하여, 이미지 유사도가 제1 설정기준보다 높은 이미지를 제2 데이터베이스에 저장한다. 이미지 유사도는 이미지들의 SIFT(Scale Invariant feature Transform) 특징점들을 비교하여 결정되며, 이미지 유사도 계산부(100)는 제1 데이터베이스에 저장된 다수의 이미지의 SIFT 특징점을 계층적 데이터로 저장한다. 계층적으로 구분된 이미지는 1, 2, … 와 같이 구분되어 제2 데이터베이스에 저장된다. 이미지 유사도 계산부(100)는 이미지 유사도 계산모듈로 구현될 수 있으며, 제1 데이터베이스(미도시) 및 제2 데이터베이스(미도시)를 구비한다.The
워터마크 패턴 추출부(200)는 이미지 유사도 계산부(100)의 제2 데이터베이스에 저장된 이미지에서 워터마크 패턴을 추출한다. 워터마크 패턴 추출부(200)는 워터마크 패턴 추출모듈로 구현될 수 있다.The
이미지 추출부(300)는 이미지 유사도 계산부(100)에 입력된 이미지의 워터마크 패턴과 워터마크 패턴 추출부(200)에서 추출된 워터마크 패턴 사이의 워터마크 패턴 유사도를 계산하여, 워터마크 패턴 유사도가 제2 설정기준보다 높은 이미지를 추출한다. 이미지 추출부(300)는 이미지 추출모듈로 구현될 수 있다.The
이미지 재 정렬부(400)는 이미지 유사도와 워터마크 패턴 유사도를 이용하여, 이미지 추출부(300)에서 추출된 이미지를 재 정렬한다. 즉, 이미지 재 정렬부(400)는 추출된 이미지가 포함된 리스트 내의 랭킹정보를 이용하여 리스트 내의 이미지를 이미지 유사도 및 워터마크 패턴 유사도가 높은 순서로 재 정렬한다. 도 1에서 1, 2, … 의 순서로 이미지 유사도 및 워터마크 패턴 유사도가 높은 이미지이다. 이미지 재 정렬부(400)는 이미지 재 정렬모듈로 구현될 수 있다.
The
이하, 상술한 바와 같은 이미지 검색 기반의 이미지 워터마킹 시스템에 대하여 구체적으로 살펴보기로 한다.
Hereinafter, an image watermarking system based on the image search as described above will be described in detail.
(1) 이미지 유사도 계산모듈(1) Image Similarity Calculation Module
이미지 유사도 계산모듈과 관련한 기본적인 가정은, 어떤 이미지에 대하여 위조 및 변조된 이미지를 찾고자 할 경우 해당되는 데이터들은 원본 이미지(50)와 비슷한 내용물을 가진다는 점이다. 저작권자가 어떤 이미지에 대하여 불법적으로 사용되고 있는 데이터를 찾는 경우, 결과 리스트에는 원본 이미지(50)과 비슷한 이미지들이 출력되어야 하며 관련성이 없는 이미지들이 찾아져서는 안 될 것이다. 이런 가정하에서 이미지 유사도 계산모듈은 데이터베이스에서 워터마크의 비교가 필요없는 데이터들을 빠르게 필터링할 수 있다.The basic assumption with regard to the image similarity calculation module is that if you want to find a forged and modulated image for a certain image, the corresponding data has the same contents as the
이렇게 데이터의 크기를 줄임으로써, 워터마크 추출시의 성능 향상뿐만 아니라 관련없는 이미지에서 비슷한 워터마크 패턴이 추출되는 거짓 양성 오류율을 줄일 수 있다. 또한, 워터마크 패턴이 심하게 훼손되어 이미지 내용에는 큰 차이가 없으나 워터마크 패턴이 추출되지 못하는 거짓 음성 오류율을 줄일 수 있다. By reducing the size of the data, not only can the performance of watermark extraction be improved, but also the false positive error rate at which similar watermark patterns are extracted from irrelevant images can be reduced. In addition, since the watermark pattern is severely damaged, there is no significant difference in image content, but the false speech error rate at which the watermark pattern is not extracted can be reduced.
이와 같은 방법을 통해 기존의 순차적인 1:1 검색 방법과 비교하여, 관련없는 데이터에서 높은 워터마크 패턴 매칭율을 얻을 수 있으므로 높은 거짓 양성 오류율이 발생할 수 있으며, 워터마크가 삽입되었더라도 이미지가 훼손될 경우 워터마크 패턴을 추출하지 못하는 거짓 음성 오류에 대처하지 못했던 문제점을 극복할 수 있다.Compared with the conventional sequential 1: 1 retrieval method, a high watermark pattern matching rate can be obtained from irrelevant data, resulting in a high false positive error rate, and even if a watermark is inserted, the image may be damaged. In this case, it is possible to overcome the problem of failing to cope with a false voice error that fails to extract the watermark pattern.
이미지 유사도 계산모듈은 빠른 런 타임(runtime) 성능을 위해 오프라인 전처리 과정을 포함한다. 전처리 과정에서는 각각의 이미지들의 SIFT 특징점을 추출하여 이들을 계층적으로 구분하여 저장한다. 이미지의 유사도는 데이터베이스의 이미지와 입력 이미지들의 SIFT 특징점들이 얼만큼 비슷한가를 이용하여 측정된다.
The image similarity calculation module includes offline preprocessing for fast run time performance. In the preprocessing process, the SIFT feature points of each image are extracted and stored in a hierarchical manner. The similarity of the images is measured using how similar the SIFT feature points of the images in the database and the input images are.
(2) 워터마크 추출모듈(2) Watermark Extraction Module
워터마크 추출모듈은 이미지 유사도 계산모듈에서 필터링된 이미지 리스트에서 워터마크 패턴을 추출한다. 이미지 유사도 계산모듈에서의 이미지 유사도와 추출된 워터마크 패턴의 유사도를 이용하여 초기 결과 리스트를 만들어낸다.The watermark extraction module extracts a watermark pattern from the filtered image list in the image similarity calculation module. An initial result list is generated by using the image similarity in the image similarity calculation module and the similarity between the extracted watermark patterns.
이 과정에서 워터마크 패턴 추출의 품질과 이미지 유사도 계산모듈에서의 검색효율의 품질간의 상관관계를 저하시키기 위해 사용되는 워터마크 알고리즘을 SIFT 특성을 고려한 방법을 사용할 것을 제안하였다. 이미지의 특징점으로 추출되는 SIFT 특징점은 주위 해당 점 주위 16×16 픽셀(pixel)에 영향을 받기 때문에 해당 위치에 워터마크가 삽입되는 경우 SIFT 특징점의 값이 변화될 수 있고 워터마크 패턴 추출품질이나 이미지 검색품질이 떨어질 수 있기 때문에 이 위치를 변화시키지 않는 방법을 사용할 것을 제안하였다.
In this process, it is proposed to use the method considering the SIFT characteristics for the watermark algorithm used to reduce the correlation between the quality of watermark pattern extraction and the quality of search efficiency in the image similarity calculation module. The SIFT feature point extracted as the feature point of the image is affected by 16 × 16 pixels around the corresponding point. If the watermark is inserted at the corresponding position, the value of the SIFT feature point may change, and the watermark pattern extraction quality or image Since the search quality may be degraded, we suggest using a method that does not change this position.
(3) 이미지 추출모듈(3) Image Extraction Module
결과 리스트의 최상위 근처의 이미지들은 원본 이미지(50)에 대해 높은 이미지 유사도와 높은 워터마크 패턴 유사도를 가지며, 이와 유사한 이미지들은 위조 및 변조의 가능성이 있는 이미지일 수 있다. 따라서, 이러한 이미지를 추출하는 과정이 필요하다.
Images near the top of the result list have a high image similarity and a high watermark pattern similarity with respect to the
(4) 이미지 재 정렬모듈(4) Image Reordering Module
이미지 재 정렬모듈은 결과 리스트를 재조정하여 보다 높은 품질의 결과 리스트를 만들어낸다. 그래서, 워터마크가 공격에 의해 심하게 훼손된 이미지의 경우 워터마크 패턴의 유사도가 낮기 때문에 결과 리스트에서 낮은 랭크에 위치하게 되고, 반대로 이미지 내용이 입력 이미지와 관련 없는 데이터가 우연히 높은 워터마크 패턴의 유사도를 갖는 경우에 높은 랭크에 위치하게 되는 문제점을 해결할 수 있다.The image reordering module rearranges the result list to produce a higher quality result list. Therefore, in case of an image whose watermark has been severely damaged by an attack, the watermark pattern has a low similarity, so it is placed in a lower rank in the result list. In the case of having it, the problem of being located in a high rank can be solved.
이미지 재 정렬모듈이 만들어낸 결과 리스트를 도 1을 통하여 살펴보면, 1이 2보다는 이미지 유사도 및 워터마크 패턴의 유사도가 높은 이미지임을 확인할 수 있다.
Looking at the result list generated by the image rearrangement module through FIG. 1, it can be seen that 1 is an image having a higher similarity between the image similarity and the watermark pattern than the two.
도 2는 본 발명에 따른 이미지 검색 기반의 이미지 워터마킹 방법의 흐름도이다. 도 1 및 도 2를 참조하기로 한다.2 is a flowchart of an image search-based image watermarking method according to the present invention. Reference is made to FIGS. 1 and 2.
먼저, 이미지 유사도 계산부(100)가 제1 데이터베이스에 저장된 다수의 이미지의 SIFT(Scale Invariant Feature Transform) 특징점들을 계층적 데이터로 저장한다(S100). First, the
S100 단계 이후, 이미지 유사도 계산부(100)가 제1 데이터베이스에 저장된 다수의 이미지와 입력된 이미지 사이의 이미지 유사도를 계산한다(S200). 이미지 유사도는 이미지들의 SIFT 특징점들을 비교하여 계산되며, 이미지 유사도 계산부(100)는 이미지 유사도 계산모듈로 구현될 수 있다.After operation S100, the
S200 단계 이후, 이미지 유사도 계산부(100)가 이미지 유사도가 제1 설정기준보다 높은 이미지를 제2 데이터베이스에 저장한다(S300).After operation S200, the
S300 단계 이후, 워터마크 패턴 추출부(200)가 제2 데이터베이스에 저장된 이미지에서 워터마크 패턴을 추출한다(S400). 워터마크 추출부(200)는 워터마크 추출모듈로 구현될 수 있다.After the step S300, the watermark
S400 단계 이후, 이미지 추출부(300)가 입력된 이미지의 워터마크 패턴과 추출된 워터마크 패턴 사이의 워터마크 패턴 유사도를 계산한다(S500).After operation S400, the
S500 단계 이후, 이미지 추출부(300)가 워터마크 패턴 유사도가 제2 설정기준보다 높은 이미지를 추출한다(S600). 이미지 추출부(300)는 이미지 추출모듈로 구현될 수 있다.After operation S500, the
S600 단계 이후, 이미지 재 정렬부(400)가 이미지 유사도와 워터마크 패턴 유사도를 이용하여 추출된 이미지를 재 정렬한다(S700). 이때, 이미지 재 정렬부(400)는 유사도가 높은 순서로 리스트 내의 이미지를 재 정렬한다. 이미지 재 정렬부(400)는 이미지 재 정렬모듈로 구현될 수 있다.
After operation S600, the
상술한 바와 같은 이미지 검색 기반의 이미지 워터마킹 방법은, 이와 같은 방법을 수행하는 명령어를 포함하는 컴퓨터 판독가능 기록매체에도 기록되어 사용자에 의해 컴퓨터에서 판독될 수 있다.
An image retrieval-based image watermarking method as described above may also be recorded on a computer readable recording medium including instructions for performing such a method and read by a user by a computer.
본 발명에서 제안된 기술은 어떤 워터마크 알고리즘을 사용하더라도 적용할 수 있는 일반성을 갖는다. 또한, 이미지의 내용 자체를 기준으로 사전에 필터링하기 때문에 사용된 워터마크 알고리즘과 독립적으로 변조의 가능성이 있는 이미지들을 구분할 수 있다. 따라서, 여러 개의 워터마크 알고리즘이 동시에 사용되고 있는 실제의 이미지 데이터베이스에도 쉽게 확장이 가능하며, 줄어든 도메인상에서 워터마크 비교를 할 수 있기 때문에 보다 빠른 성능 향상을 꾀할 수 있다. The technique proposed in the present invention has generality applicable to any watermark algorithm. In addition, since the image is filtered in advance based on the content of the image itself, it is possible to distinguish images that may be modulated independently from the watermark algorithm used. Therefore, it is easy to expand to an actual image database in which several watermark algorithms are used at the same time, and watermark comparison can be performed on a reduced domain, thereby achieving faster performance.
또한, 이미지 검색을 통한 사전 필터링의 기능을 확장하여, 비디오 검색이나 오디오 검색을 통한 사전 필터링으로 확장하면 오디오나 비디오 등의 저작물에서도 효과적이고 효율적인 이미지 워터마킹 시스템을 구축할 수 있다.
In addition, by extending the function of pre-filtering through image search and extending to pre-filtering through video search or audio search, an effective and efficient image watermarking system can be constructed even in an audio or video asset.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
The present invention is not limited by the above-described embodiment and the accompanying drawings. It is intended that the scope of the invention be defined by the appended claims, and that various forms of substitution, modification, and alteration are possible without departing from the spirit of the invention as set forth in the claims. Will be self-explanatory.
50 : 원본 이미지
100 : 이미지 유사도 계산부
200 : 워터마크 추출부
300 : 이미지 추출부
400 : 이미지 재 정렬부50: original image
100: image similarity calculation unit
200: watermark extraction unit
300: image extraction unit
400: image rearrangement
Claims (7)
상기 이미지 유사도 계산부의 제2 데이터베이스에 저장된 이미지에서 워터마크 패턴을 추출하는 워터마크 패턴 추출부; 및
상기 이미지 유사도 계산부에 입력된 이미지의 워터마크 패턴과 상기 워터마크 패턴 추출부에서 추출된 워터마크 패턴 사이의 워터마크 패턴 유사도를 계산하여, 상기 워터마크 패턴 유사도가 제2 설정기준보다 높은 이미지를 추출하는 이미지 추출부를 포함하며,
상기 이미지 유사도는 이미지들의 SIFT(Scale Invariant feature Transform) 특징점들을 비교하여 결정되며, 상기 이미지 유사도 계산부는 상기 제1 데이터베이스에 저장된 다수의 이미지의 SIFT 특징점을 계층적 데이터로 저장하는 이미지 검색 기반의 이미지 워터마킹 시스템.An image similarity calculator configured to calculate an image similarity between a plurality of images stored in a first database and an input image, and store an image having a higher image similarity than a first setting criterion in a second database;
A watermark pattern extracting unit extracting a watermark pattern from an image stored in a second database of the image similarity calculating unit; And
The watermark pattern similarity between the watermark pattern of the image input to the image similarity calculating unit and the watermark pattern extracted by the watermark pattern extracting unit is calculated, and the watermark pattern similarity is higher than a second setting criterion. It includes an image extraction unit to extract,
The image similarity is determined by comparing Scale Invariant feature Transform (SIFT) feature points of the images, and the image similarity calculation unit stores image SIFT feature points of a plurality of images stored in the first database as hierarchical data. Marking system.
상기 이미지 유사도와 상기 워터마크 패턴 유사도를 이용하여, 상기 이미지 추출부에서 추출된 이미지를 재 정렬하는 이미지 재 정렬부를 더 포함하는 이미지 검색 기반의 이미지 워터마킹 시스템.The method of claim 1,
And an image reordering unit for realigning the image extracted by the image extracting unit using the image similarity and the watermark pattern similarity.
상기 이미지 유사도가 제1 설정기준보다 높은 이미지를 제2 데이터베이스에 저장하는 단계;
제2 데이터베이스에 저장된 이미지에서 워터마크 패턴을 추출하는 단계;
상기 입력된 이미지의 워터마크 패턴과 상기 추출된 워터마크 패턴 사이의 워터마크 패턴 유사도를 계산하는 단계; 및
상기 워터마크 패턴 유사도가 제2 설정기준보다 높은 이미지를 추출하는 단계를 포함하며,
상기 이미지 유사도는 이미지들의 SIFT 특징점들을 비교하여 계산되며, 상기 제1 데이터베이스에 저장된 다수의 이미지의 SIFT 특징점들을 계층적 데이터로 저장하는 전처리 단계를 더 포함하는 이미지 검색 기반의 이미지 워터마킹 방법.Calculating an image similarity between the plurality of images stored in the first database and the input image;
Storing an image of which the image similarity is higher than a first preset criterion in a second database;
Extracting the watermark pattern from the image stored in the second database;
Calculating a watermark pattern similarity between the watermark pattern of the input image and the extracted watermark pattern; And
Extracting an image of which the watermark pattern similarity is higher than a second setting criterion;
The image similarity is calculated by comparing SIFT feature points of the images, and further comprises a pre-processing step of storing the SIFT feature points of the plurality of images stored in the first database as hierarchical data.
상기 이미지 유사도와 상기 워터마크 패턴 유사도를 이용하여 상기 추출된 이미지를 재 정렬하는 단계를 더 포함하는 이미지 검색 기반의 이미지 워터마킹 방법.5. The method of claim 4,
And realigning the extracted image using the image similarity and the watermark pattern similarity.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100135414A KR101206275B1 (en) | 2010-12-27 | 2010-12-27 | System and method for image retrieval based image watermarking and computer readable recording medium comprising instruction word for processing method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100135414A KR101206275B1 (en) | 2010-12-27 | 2010-12-27 | System and method for image retrieval based image watermarking and computer readable recording medium comprising instruction word for processing method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120073605A KR20120073605A (en) | 2012-07-05 |
| KR101206275B1 true KR101206275B1 (en) | 2012-11-29 |
Family
ID=46707932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100135414A KR101206275B1 (en) | 2010-12-27 | 2010-12-27 | System and method for image retrieval based image watermarking and computer readable recording medium comprising instruction word for processing method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101206275B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102347288B1 (en) * | 2020-03-23 | 2022-01-05 | 스냅태그 주식회사 | Method for embedding and extraction of watermarking data |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100834095B1 (en) * | 2006-12-02 | 2008-06-10 | 한국전자통신연구원 | Apparatus and method for inserting/extracting nonblind watermarkusing feathers of digital media data |
-
2010
- 2010-12-27 KR KR1020100135414A patent/KR101206275B1/en not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100834095B1 (en) * | 2006-12-02 | 2008-06-10 | 한국전자통신연구원 | Apparatus and method for inserting/extracting nonblind watermarkusing feathers of digital media data |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120073605A (en) | 2012-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461577B2 (en) | Method for protecting the intellectual property rights of a trained machine learning network model using digital watermarking by adding, on purpose, an anomaly to the training data | |
| Amerini et al. | Copy-move forgery detection and localization by means of robust clustering with J-Linkage | |
| Roy et al. | Robust hash for detecting and localizing image tampering | |
| Lee | Copy-move image forgery detection based on Gabor magnitude | |
| Pandey et al. | Fast and robust passive copy-move forgery detection using SURF and SIFT image features | |
| Amerini et al. | Counter-forensics of SIFT-based copy-move detection by means of keypoint classification | |
| CN110136125B (en) | Image copying and moving counterfeiting detection method based on hierarchical feature point matching | |
| Hamid et al. | A Comparison between using SIFT and SURF for characteristic region based image steganography | |
| Deep Kaur et al. | An analysis of image forgery detection techniques | |
| Kim et al. | Adaptive weighted fusion with new spatial and temporal fingerprints for improved video copy detection | |
| Sadeghi et al. | Keypoint based authentication and localization of copy-move forgery in digital image | |
| Pandey et al. | Passive copy move forgery detection using SURF, HOG and SIFT features | |
| Warbhe et al. | Computationally efficient digital image forensic method for image authentication | |
| Trung et al. | Blind inpainting forgery detection | |
| Li et al. | SIFT keypoint removal via directed graph construction for color images | |
| CN109461110B (en) | Method and device for determining traceability information of picture | |
| Sarma et al. | A study on digital image forgery detection | |
| KR101206275B1 (en) | System and method for image retrieval based image watermarking and computer readable recording medium comprising instruction word for processing method thereof | |
| Vaishnavi et al. | A passive technique for image forgery detection using contrast context histogram features | |
| Hossein-Nejad et al. | Copy-move image forgery detection using redundant keypoint elimination method | |
| Agarwal et al. | The advent of deep learning-based image forgery detection techniques | |
| Dhanaraj et al. | A study on detection of copy-move forgery in digital images | |
| Bhole et al. | An image forgery detection using SIFT-PCA | |
| Amerini et al. | A feature‐based forensic procedure for splicing forgeries detection | |
| Akhtar et al. | Two Fold Image Forgery Detection System Using Combined Key point based method and Block based method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161026 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20171027 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |