KR101220420B1 - Hybrid video forensic watermarking system - Google Patents
Hybrid video forensic watermarking system Download PDFInfo
- Publication number
- KR101220420B1 KR101220420B1 KR1020110030302A KR20110030302A KR101220420B1 KR 101220420 B1 KR101220420 B1 KR 101220420B1 KR 1020110030302 A KR1020110030302 A KR 1020110030302A KR 20110030302 A KR20110030302 A KR 20110030302A KR 101220420 B1 KR101220420 B1 KR 101220420B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- forensic
- forensic mark
- mark
- value
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
본 발명은 복합적 포렌식 워터마킹 시스템에 관한 것으로서, 내성(robust) 워터마크와 연성(fragile) 워터마크를 동시에 삽입하고, 삽입하였던 정보를 변형 후에도 안정적으로 추출함과 동시에, 해당 콘텐츠의 변형 여부를 판단할 수 있는 시스템을 제공함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, robust 포렌식 마크 패턴, fragile 포렌식 마크 패턴 및 비가시성을 고려한 가중치 값을 이용하여, 원본영상에 삽입할 삽입패턴을 생성하고, 생성된 삽입패턴을 원본영상에 삽입하는 포렌식 마크 삽입기; 및 추출 및 축적된 최종 포렌식 마크 패턴( , )을 구하고, 최종 추정 패턴과 참조패턴 사이의 상관 연산을 수행하여 robust 마크 패턴 및 fragile 마크 패턴을 추출하는 포렌식 마크 추출기; 를 포함한다.The present invention relates to a complex forensic watermarking system, which simultaneously inserts a robust watermark and a fragile watermark, stably extracts the inserted information even after deformation, and determines whether the corresponding content is deformed. Its purpose is to provide a system that can.
In order to achieve the above object, the present invention generates an insertion pattern to be inserted into an original image by using a robust forensic mark pattern, a fragile forensic mark pattern, and a weight value considering invisibility, and inserts the generated insertion pattern into the original image. A forensic mark inserter; And extracted and accumulated final forensic mark patterns ( , A forensic mark extractor for extracting the robust mark pattern and the fragile mark pattern by performing a correlation operation between the final estimated pattern and the reference pattern; .
Description
본 발명은 복합적 포렌식 워터마킹 시스템에 관한 것으로서, 내성(robust) 워터마크와 연성(fragile) 워터마크를 동시에 삽입하고, 삽입하였던 정보를 변형 후에도 안정적으로 추출함과 동시에, 해당 콘텐츠의 변형 여부를 판단할 수 있는 시스템에 관한 것이다. The present invention relates to a complex forensic watermarking system, which simultaneously inserts a robust watermark and a fragile watermark, stably extracts the inserted information even after deformation, and determines whether the corresponding content is deformed. It's about a system that can do that.
포렌식 마킹 기법은 크게 포렌식 마크 삽입 과정과 추출 과정으로 나눌 수 있다. 삽입 과정은 원본 데이터에 저작권 정보나 구매자 고유의 정보인 포렌식 마크를 보이지 않게 삽입하는 과정이고, 추출 과정은 유통 과정을 통해 얻게 된 데이터 안에 저작권 정보나, 구매자 고유의 정보인 포렌식 마크가 존재 하는가 또는 삽입된 정보가 무엇인가를 추출하는 과정이다. 이때, 포렌식 마크는 포렌식 마크가 삽입된 데이터의 유통 과정에서 받을 수 있는 다양한 공격에 견딜 수 있어야 한다.Forensic marking technique can be divided into forensic mark insertion process and extraction process. Insertion process is the process of inserting the forensic mark, which is copyright information or buyer's own information, invisible to the original data. Extraction process is whether copyright information or forensic mark, which is buyer's own information, exists in the data obtained through distribution process or It is the process of extracting the inserted information. At this time, the forensic mark must be able to withstand various attacks that can be received in the distribution process of the data in which the forensic mark is inserted.
일반적인 포렌식 마크 삽입은 원본 데이터와 삽입할 정보(포렌식 마크)와 키의 입력을 통해 이루어진다. 키는 저작권이 없는 사용자의 포렌식 마크 복구 및 추출을 방지하기 위하여 사용된다.In general, forensic mark insertion is performed by inputting original data, information to be inserted (forensic mark), and keys. The key is used to prevent forensic mark recovery and extraction by unauthorized users.
일반적인 포렌식 마킹 기법을 기반으로 하여 도 1a 와 같이, Robust 포렌식 마크와 Semi-fragile 포렌식 마크를 동시에 하나의 매체에 삽입하는 기법을 복합적 포렌식 마킹 기법이라고 한다. Robust 포렌식 마크를 통해 CCL 및 저작권 정보를 콘텐츠에 삽입하여 변형 후에도 검출이 되게 하고, Semi-fragile 포렌식 마크를 통해 해당 콘텐츠가 삽입 후에 변형이 되었는지 판별하는데 사용한다.Based on a general forensic marking technique, as shown in FIG. 1A, a technique of inserting a robust forensic mark and a semi-fragile forensic mark into a single medium at the same time is called a complex forensic marking technique. Robust forensic mark inserts CCL and copyright information into the content so that it can be detected even after modification, and semi-fragile forensic mark is used to determine whether the content has been modified after insertion.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 내성(robust) 워터마크와 연성(fragile) 워터마크를 동시에 삽입하고, 삽입하였던 정보를 변형 후에도 안정적으로 추출함과 동시에, 해당 콘텐츠의 변형 여부를 판단할 수 있는 시스템을 제공함에 그 목적이 있다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and inserts a robust watermark and a fragile watermark at the same time, stably extracts the inserted information even after deformation, and whether the corresponding content is deformed. The purpose is to provide a system that can determine the.
이러한 기술적 과제를 달성하기 위한 본 발명은 복합적 워터마킹 시스템에 관한 것으로서, 비밀키와 메시지를 이용하여 기본패턴을 생성하고, 상기 기본패턴을 가로, 세로로 확장 및 반복시켜 최종패턴()을 생성하는 robust 포렌식 마크 패턴 생성부와, 입력 영상의 바탕으로 기본패턴 블록을 생성하고, 각 기본패턴 블록에 대한 비밀키를 생성하며, 상기 비밀키를 이용하여 최종패턴()을 생성하는 fragile 포렌식 마크 패턴 생성부와, 포렌식 마크 패턴 삽입 위치에 대한 패턴의 세기를 결정하는 복합적 마스킹 값을 구하는 마스킹부, 및 상기 robust 포렌식 마크 패턴 생성부를 통해 생성된 최종패턴(), fragile 포렌식 마크 패턴 생성부를 통해 생성된 최종패턴() 및 상기 마스킹부를 통해 계산된 각각의 가중치()를 이용하여, 최종적으로 원본영상에 삽입할 삽입패턴을 생성하고, 생성된 삽입패턴을 원본영상에 삽입하는 포렌식 마크 패턴 삽입부를 포함하는 포렌식 마크 삽입기; 및 검사 대상 영상으로부터 프레임 단위로 입력을 받아 포렌식 마크 패턴을 추정하는 포렌식 마크 패턴 추정부와, 상기 포렌식 마크 패턴 추정부를 통해 각 프레임에서 추정된 포렌식 마크 패턴을 이용하여, robust 포렌식 마크 삽입, semi-fragile 포렌식 마크 삽입에 사용했던 프레임 그룹 구간동안 누적하여 최종 포렌식 마크 패턴(,) 을 구하는 포렌식 마크 패턴 축적부와, 비밀키 정보를 이용하여 참조 기본패턴()을 생성하고, 최종 추정 패턴()과, 참조 기본패턴() 사이의 상호 상관 연산을 수행하여 마크 추출 여부를 결정하는 robust 포렌식 마크 패턴 추출부, 및 시간적/공간적 인덱스 및 프레임당 할당 시간을 바탕으로 키 및 참조패턴을 생성하고, 영상의 마지막 프레임의 존재여부를 검사함으로써, 변형 여부를 판단하는 fragile 포렌식 마크 패턴 추출부를 포함하는 포렌식 마크 추출기; 를 포함한다. The present invention for achieving the above technical problem is related to a complex watermarking system, generating a basic pattern using a secret key and a message, and extends and repeats the basic pattern vertically and horizontally to the final pattern ( A robust forensic mark pattern generation unit for generating a basic pattern block based on an input image, a secret key for each basic pattern block, and a final pattern Fragile forensic mark pattern generation unit for generating a), a masking unit for obtaining a complex masking value for determining the intensity of the pattern with respect to the forensic mark pattern insertion position, and the final pattern generated by the robust forensic mark pattern generation unit ( ), the final pattern generated by the fragile forensic mark pattern generator ( ) And the respective weights calculated by the masking unit ( A forensic mark inserter including a forensic mark pattern inserter which finally generates an insertion pattern to be inserted into the original image and inserts the generated insertion pattern into the original image; And a forensic mark pattern estimator for estimating a forensic mark pattern by receiving an input from the inspection target image in units of frames and a forensic mark pattern estimated in each frame through the forensic mark pattern estimator. The final forensic mark pattern (accumulated over the frame group period used to insert the fragile forensic mark) , ), And a reference basic pattern ( ) And the final estimated pattern ( ), And the reference base pattern ( Robust forensic mark pattern extraction unit that determines whether to extract the mark by performing cross-correlation between the two), and generates the key and reference pattern based on the temporal / spatial index and the allocation time per frame, and whether the last frame of the image exists Forensic mark extractor comprising a fragile forensic mark pattern extraction unit for determining whether the deformation by checking; .
상기와 같은 본 발명에 따르면, 영상의 픽셀 영역에 워터마크를 삽입함으로써 모든 비디오 형식에 적용이 가능한 효과가 있으며, 내성(Robust) 워터마크의 경우, 모든 프레임에 정보를 나누어 삽입함으로써, 재압축 및 시간축 절삭에도 강인한 효과도 있다. According to the present invention as described above, there is an effect that can be applied to all video formats by inserting a watermark in the pixel region of the image, in the case of a robust watermark, by inserting the information divided into all frames, recompression and It also has a robust effect on time-base cutting.
그리고 본 발명에 따르면, 비디오 캡쳐 장비의 보급, 고속 인터넷 환경, 비디오 조작 툴의 보편화 등으로 수많은 동영상이 인터넷에 유포되고 있는 상황에서 저작자의 권리를 보호하려는 움직임이 시작되려는 상황에서, CCL을 기술적으로 보호하고 효율적으로 만들 수 있는 복합적 비디오 워터마킹 기술을 제안함으로써, 콘텐츠 보호 및 올바른 공유환경의 기반을 마련할 수 있는 효과도 있다.According to the present invention, CCL is technically used in a situation where a movement to protect the rights of authors is started in the situation where a large number of videos are being distributed on the Internet due to the spread of video capture equipment, high-speed Internet environment, and generalization of video manipulation tools. By proposing complex video watermarking technology that can be protected and made efficient, it also has the effect of laying the foundation for content protection and proper sharing environment.
도 1a 는 종래의 일반적인 복합적 포렌식 마킹을 보이는 일예시도.
도 2 는 본 발명에 따른 복합적 포렌식 워터마킹 시스템을 개념적으로 도시한 전체 구성도.
도 3 은 본 발명에 따른 robust 포렌식 마크 패턴 생성부에 관한 세부 구성도.
도 4 는 본 발명에 따른 하나의 패턴에 2bit 정보를 표현한 일예시도.
도 5 는 본 발명에 따른 robust 포렌식 마크가 삽입 위치를 보이는 일예시도.
도 6 은 본 발명에 따른 fragile 포렌식 마크 패턴 생성부에 관한 세부 구성도.
도 7 은 본 발명에 따른 fragile 포렌식 마크 패턴 블록을 위한 비밀키 생성 과정을 보이는 일예시도.
도 8 은 본 발명에 따른 마스킹부에 관한 세부 구성도.
도 9 는 본 발명에 따른 밝기 값에 따른 허용 가능 변화량을 보이는 그래프.
도 10 은 본 발명에 따른 최종 포렌식 마크 패턴을 폴딩하여 최종 추정 패턴을 생성하는 과정을 보이는 일예시도.
도 11 은 본 발명에 따른 robust 포렌식 마크 패턴 추출부에 관한 세부 구성도.
도 12 는 본 발명에 따른 fragile 포렌식 마크 패턴 추출부에 관한 세부 구성도.
도 13 은 본 발명에 따른 포렌식 마크가 삽입된 원본 영상과 축소된 영상을 보이는 일예시도.
도 14 는 본 발명에 따른 변형 여부를 판단하는 절차에 관한 일예시도. Figure 1a is an exemplary view showing a conventional general composite forensic marking.
2 is an overall configuration diagram conceptually showing a complex forensic watermarking system according to the present invention.
3 is a detailed block diagram of a robust forensic mark pattern generation unit according to the present invention;
Figure 4 is an example representation of 2bit information in one pattern according to the present invention.
5 is an exemplary view showing the insertion position of the robust forensic mark according to the present invention.
Figure 6 is a detailed configuration of the fragile forensic mark pattern generation unit according to the present invention.
7 is an exemplary view showing a secret key generation process for a fragile forensic mark pattern block according to the present invention.
8 is a detailed configuration of the masking unit according to the present invention.
9 is a graph showing the allowable amount of change according to the brightness value according to the present invention.
10 is an exemplary view illustrating a process of generating a final estimation pattern by folding a final forensic mark pattern according to the present invention.
11 is a detailed block diagram of a robust forensic mark pattern extraction unit according to the present invention.
12 is a detailed block diagram of a fragile forensic mark pattern extraction unit according to the present invention;
13 is an exemplary view showing a forensic mark inserted original image and a reduced image according to the present invention.
14 is an exemplary view illustrating a procedure for determining whether to deform in accordance with the present invention.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.
본 발명에 따른 복합적 포렌식 워터마킹 시스템에 관하여 도 2 내지 도 14 를 참조하여 설명하면 다음과 같다. The complex forensic watermarking system according to the present invention will be described with reference to FIGS. 2 to 14.
도 2 는 본 발명에 따른 복합적 포렌식 워터마킹 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 포렌식 마크 삽입기(100) 및 포렌식 마크 추출기(200)를 포함하여 이루어진다.FIG. 2 is an overall configuration diagram conceptually illustrating the complex forensic watermarking system S according to the present invention, and includes a
포렌식 마크 삽입기(100)는 내성(robust) 포렌식 마크 패턴, 연성(fragile) 포렌식 마크 패턴 및 비가시성을 고려한 가중치 값을 이용하여, 원본영상에 삽입할 삽입패턴을 생성하고, 생성된 삽입패턴을 원본영상에 삽입하는 기능을 수행하는 바, 도 2 에 도시된 바와 같이 robust 포렌식 마크 패턴 생성부(110), fragile 포렌식 마크 패턴 생성부(120), 마스킹부(130) 및 포렌식 마크 패턴 삽입부(140)를 포함한다.The
구체적으로, robust 포렌식 마크 패턴 생성부(110)는 스펙트럼 확산(spread spectrum watermarking) 기법으로 robust 포렌식 마크 패턴을 생성하는 것으로서, 비밀키와 메시지를 이용하여 기본패턴을 생성하고, 상기 기본패턴을 가로, 세로로 확장 및 반복시켜 최종패턴()을 생성하는 기능을 수행하는 바, 도 3 에 도시된 바와 같이 robust 기본패턴 생성모듈(111), 페이로드 패턴 생성모듈(112), 패턴 확장모듈(113), 최종패턴 생성모듈(114), 패턴위치 설정모듈(115) 및 최종패턴 삽입모듈(116)을 포함한다. Specifically, the robust forensic mark pattern generator 110 generates a robust forensic mark pattern by spread spectrum watermarking, generates a basic pattern using a secret key and a message, and transverses the basic pattern. Expand and repeat vertically to final pattern ( 3) the robust basic
robust 기본패턴 생성모듈(111)은 한 프레임에 삽입할 포렌식 마크 패턴을 생성하기 위하여, 비밀키와 메시지를 이용하여 평균이 0이고 분산이 1인 가우시안 분포(Gaussian distribution)를 따르는 80*60 크기의 기본패턴을 생성한다. Robust basic
여기서, 상기 제 1 기본패턴 생성모듈(111)을 통해 생성된 기본패턴은 패턴의 존재 유무에 따라 1bit의 정보를 담고 있다. Here, the basic pattern generated by the first basic
페이로드 패턴 생성모듈(112)은 비트 정보를 담도록 하되, 상기 기본패턴과, 상기 기본패턴을 세로축 반전, 가로축 반전 및 가로, 세로축 반전의 모양으로 생성한다. 즉, 패턴의 모양을 네 가지 종류로 나누어, 각 패턴에 2bit의 정보를 담는다. The payload
본 실시예에서는, 생성된 기본패턴을 가로축, 세로축, 가로/세로축으로 각각 미러링(mirroring)하여 도 4 에 도시된 바와 같이 2bit의 정보를 표현한다.In this embodiment, the generated basic pattern is mirrored on the horizontal axis, the vertical axis, and the horizontal / vertical axis, respectively, to represent 2 bits of information as shown in FIG. 4.
패턴 확장모듈(113)은 80*60 크기의 기본패턴을 가로, 세로를 각각(입력영상의 높이/180) 확장한다. The
블록을 확장하는 이유는, 패턴에 저주파 특성을 강화하여 여러 가지 공격, 특히 축소변환에 대한 강인성을 높이기 위함이다. 또한, 영상의 높이를 일정한 상수로 나눈 값을 확장 계수로 사용함으로써 영상이 확대, 또는 축소되었을 경우에도 포렌식 마크의 크기 추정을 용이하게 한다. The reason for extending the block is to enhance the low frequency characteristics of the pattern to increase the robustness against various attacks, especially the reduction transformation. In addition, by using a value obtained by dividing the height of the image by a constant constant as an expansion coefficient, it is easy to estimate the size of the forensic mark even when the image is enlarged or reduced.
최종패턴 생성모듈(114)은 상기 패턴 확장모듈(113)을 통해 확장된 기본패턴을 가로, 세로로 각각 2번 반복시켜, 최종패턴()을 생성한다.The final
반복된 패턴은 검출 시 동일한 시간에 추출되는 포렌식 마크 추정 패턴의 양을 4배로 늘려주게 되어, 높은 신뢰도의 상관도 값을 계산하게 한다. 따라서, 하나의 포렌식 마크를 삽입하는 방법보다 상대적으로 세기를 약하게 함으로써 비가시성을 향상 시키는 효과도 나타낼 수 있다.The repeated pattern increases the amount of the forensic mark estimation pattern extracted at the same time upon detection by four times, thereby calculating a high reliability correlation value. Therefore, the effect of improving the invisibility can also be exhibited by making the intensity relatively weaker than the method of inserting one forensic mark.
패턴위치 설정모듈(115)은 상기 최종패턴의 삽입위치를 설정한다. The pattern position setting
공격 받지 않은 상황 또는 공격을 받은 상황에서도 robust 포렌식 마크의 위치를 파악하는 일은 검출에서 중요한 역할을 차지한다. Locating robust forensic marks plays an important role in detection, even in unattacked or under attack situations.
본 발명에서는 흔히 쓰이는 16:9영상과 4:3영상을 고려하고 있기 때문에 포렌식 마크를 약속된 위치에 삽입함으로써 삽입된 포렌식 마크의 위치를 알 수 있다. In the present invention, since the commonly used 16: 9 and 4: 3 images are considered, the position of the inserted forensic mark can be known by inserting the forensic mark at a predetermined position.
특히, 16:9영상이 4:3영상으로 절삭되는 경우, 두 영상의 가로 길이에 착안하여 안정적으로 포렌식 마크가 검출 될 수 있도록 삽입 위치를 조절하여야 한다. 영상 비율별로 삽입되는 위치는 도 5 와 같다. In particular, when a 16: 9 image is cut into a 4: 3 image, the insertion position should be adjusted so that the forensic mark can be stably detected based on the horizontal length of the two images. The insertion position for each image ratio is shown in FIG. 5.
16:9영상은 가로, 세로 각각 1/4지점에, 4:3 영상은 가로 1/6, 세로 1/4 지점에 삽입하여 들어오는 영상의 종횡비에 따라 robust 포렌식 마크의 위치파악이 가능 하도록 하였다. The 16: 9 image was inserted into 1/4 of the width and length, and the 4: 3 image was inserted into 1/6 and 1/4 of the width, so that the position of the robust forensic mark could be determined according to the aspect ratio of the incoming image.
최종패턴 삽입모듈(116)은 상기 최종패턴()을 전체 프레임을 일정 시간 구간을 가지는 프레임으로 분할하고, 분할된 각각의 프레임에 삽입한다.The final
즉, 한 프레임 그룹에 삽입하는 정보는 2bit로 하여 총 페이로드 40bit를 삽입하기 위해 전체 프레임을 일정 시간 구간을 갖는 프레임 그룹으로 분할한다. That is, the information to be inserted into one frame group is 2 bits, and the entire frame is divided into frame groups having a predetermined time interval in order to insert a total payload of 40 bits.
그 다음으로 40bit 메시지 삽입을 위해 20개의 서로 다른 패턴과 그 패턴들을 생성하기 위한 20개의 비밀키를 사용한다. Next, we use 20 different patterns to insert 40-bit messages and 20 secret keys to generate them.
이는 여러 명의 평균화 공격에 대한 견고성을 높이기 위함이다. 20개의 다른 비밀키는 포렌식 마크 추출 시에 추가 정보 없이도 알아낼 수 있도록 하기 위해 삽입할 포렌식 마크 자체의 정보와 20개로 나누어진 포렌식 마크 비트 정보의 합성으로 생성된다. 다른 포렌식 마크에 대해 같은 비밀키로 생성한 포렌식 마크 패턴이 존재하지 않게 하기 위하여, 8bit 단위로 포렌식 마크 정보를 이용하여 키를 바꾸고 8bit 내에서는 2bit 단위로 나누어진 포렌식 마크 패턴을 뜻하는 2의 지수 승의 상수를 누적하여 더하는 방식을 사용하여 최대한 겹치지 않도록 비밀키를 생성하였다. This is to increase the robustness against multiple averaging attacks. Twenty different secret keys are generated by combining the information of the forensic mark itself to be inserted and the forensic mark bit information divided into twenty for the purpose of extracting the forensic mark without additional information. In order to prevent the forensic mark pattern generated by the same secret key for different forensic marks, the key is changed by using forensic mark information in 8-bit units, and the exponent power of 2, which represents the forensic mark pattern divided by 2 bits in 8 bits, is used. By accumulating and adding constants, a secret key was created to avoid overlapping as much as possible.
현재 문자(8bit)에 대한 패턴을 생성할 때 바로 앞에 삽입된 문자에 따라 다른 비밀키 값으로 생성한다. 한 문자(8bit)내에서 2 bit씩 4개의 그룹으로 나누어 비밀키 값을 생성한다. 한 문자 내에서 고유한 키 값을 생성하기 위해 각 두 bit의 순서와 가지는 값에 따라 고유한 상수를 더해주어 고유한 키 값을 생성한다. 예를 들면, ASCII 값 114, 45, 54, 52, 49를 갖는 40bit 메시지를 삽입할 때, 114에 대한 처음 2bit의 키 값은 모든 ASCII값을 더한 후 16으로 나눈 나머지에 약속된 초기 값 100을 더해 생성된 110이 된다.When generating a pattern for the current character (8bit), it generates a different secret key value depending on the character inserted immediately before. A secret key value is generated by dividing 2 groups into 4 groups by 2 bits within one character (8 bits). To generate unique key values within a character, unique key values are generated by adding unique constants according to the order and value of each two bits. For example, when inserting a 40-bit message with the ASCII values 114, 45, 54, 52, and 49, the first 2 bits of the key value for 114 will add up all ASCII values and divide by 16, the remainder of the promised initial value of 100. In addition, it is 110 generated.
[표 1] 은 비밀키 생성에 사용되는 상수 테이블이다. 110을 기준으로 [표 1] 을 참고하여 다음 세 쌍의 2bit에 대해서 알맞은 값을 더함으로써 키 값을 생성한다. [Table 1] is a table of constants used for secret key generation. Based on 110, refer to [Table 1] to generate key value by adding appropriate values for the next three pairs of 2 bits.
다음 8bit에 대해서는 약속된 키 값 100에 포렌식 마크 추출 시 첫 번째 키 값을 구하기 위해 사용한 숫자 16, 바로 앞 8bit의 10진수 값(여기서는 114)을 더하여 첫 2bit에 대한 키를 생성한 후 마찬가지로 표 2-1을 참고해 다음 6bit에 대한 키 값을 생성한다. 마찬가지로 다음 3개의 8bit정보에 대해서도 키 값을 생성한다.For the next 8 bits, generate the key for the first 2 bits by adding the promised
value2 bit
value
또한, fragile 포렌식 마크 패턴 생성부(120)는 입력 영상의 바탕으로 기본패턴 블록을 생성하고, 각 기본패턴 블록에 대한 비밀키를 생성하며, 상기 비밀키를 이용하여 최종패턴을 생성하는 기능을 수행하는 바, 도 6 에 도시된 바와 같이, fragile 기본패턴 블록 생성모듈(121), 비밀키 생성모듈(122) 및 최종패턴 생성모듈(123)을 포함한다. In addition, the fragile forensic mark pattern generator 120 generates a basic pattern block based on an input image, generates a secret key for each basic pattern block, and generates a final pattern using the secret key. As shown in FIG. 6, the frame includes a fragile basic pattern
기본적으로 Semi-fragile 포렌식 마크 기본패턴의 크기는 입력 영상의 크기와 같다. Basically, the size of the semi-fragile forensic mark basic pattern is the same as the size of the input image.
따라서, fragile 기본패턴 블록 생성모듈(121)은 입력 영상을 블록으로 나눈다. 즉, 입력 영상의 크기인 기본패턴에 대하여, 1280*720 이상의 영상에 대해서는 80*60의 크기를 가지는 블록으로 나누고, 그 미만의 영상에 대해서는 80*45의 크기를 갖는 블록으로 나눈다. Therefore, the fragile basic pattern
예를 들어, 1920*1080영상에 대해 각 프레임에 삽입되는 semi-fragile 포렌식 마크 패턴 블록의 개수는 (1920/80)*(1080/60)개, 즉 432개가 된다. For example, the number of semi-fragile forensic mark pattern blocks inserted into each frame for a 1920 * 1080 image is (1920/80) * (1080/60), that is, 432.
비밀키 생성모듈(122)은 상기 기본패턴 블록 생성모듈(121)을 통해 생성된 각 블록에 대한 비밀키를 생성한다.The secret
비밀키는 [수식 1] 과 같이 해당 블록의 시간적 위치 인덱스(index) 값 , 공간적 위치 인덱스 값 , 프레임당 평균 할당 시간 의 조합으로 이루어진다.The secret key is a temporal position index value of the block as shown in [Equation 1]. Spatial position index value Average allocation time per frame Is made up of a combination.
[수식 1][Equation 1]
상기 [수식 1] 과 같이, 값에 일정한 숫자를 곱하고 나누어 줌으로써 비밀키값이 가질 수 있는 숫자의 범위 이내에서 최대한 비밀 키가 겹치지 않도록 설계하였다. 일반적으로 비밀키는 최소 0부터 최대 232-1의 범위를 가진다. As shown in [Formula 1], By multiplying and dividing a value by a certain number, it is designed so that the secret key does not overlap as much as possible within the range of numbers that a secret key value can have. In general, secret keys range from a minimum of zero to a maximum of 2 32 -1.
시간적 위치 인덱스 는 일정 수의 프레임을 하나로 묶어 순차적으로 프레임 그룹에 부여된 인덱스를 의미한다. 본 발명에서는 프레임들을 8초 단위로 묶어 인덱싱(indexing)한다. 또한, 영상의 끝부분을 알리기 위해 마지막 프레임 그룹에 대해서는 를 상수 로 고정한다. Temporal position index Denotes an index assigned to a frame group sequentially by grouping a certain number of frames into one. In the present invention, the frames are indexed by grouping them in units of 8 seconds. Also, to inform the end of the image, the last frame group is Constant .
공간적 위치 인덱스 는 패턴 블록의 두 개의 열(column)을 기준으로 부여한다. 통상적인 개념으로는 1, 2번째 열은 0, 다음 3, 4번째 열은 1과 같은 식으로 인덱싱을 하지만, 공간축 절삭공격 등에 민감성을 높이기 위해 인덱싱을 쉬프트(shift)하여 진행한다. 즉 3, 4번째 열의 값을 0으로, 다음 5, 6번째 열의 값을 1로, 1, 2번째 열의 값을 마지막 인덱스로 정한다.Spatial location index Is given based on two columns of the pattern block. Conventionally, the first and second columns are indexed as 0, the next 3 and 4 columns are 1, but the indexing is shifted in order to increase sensitivity to a space cutting attack. That is, the third and fourth columns The value to 0, then in the fifth and sixth columns The value to 1, the first and second columns Set the value to the last index.
마지막으로 프레임당 평균 할당 시간 값을 사용함으로써 프레임률 변환 공격에 대한 민감성을 높인다.Finally, average allocation time per frame Using the value increases the susceptibility to frame rate conversion attacks.
위의 모든 과정을 도식화 하면 도 7 과 같다. 7 is a schematic diagram of all the above processes.
최종패턴 생성모듈(123)은 상기 비밀키 생성모듈(122)을 통해 생성된 각 블록에 대한 비밀키를 이용하여, robust 포렌식 마크 패턴 생성과 마찬가지로, 가우시안 분포를 따르는 80*60 혹은 80*45 크기의 패턴블록을 생성한다. The final
또한, 이렇게 한 프레임사이즈에 해당하는 모든 패턴블록들에 대해 패턴을 생성한 후 최종패턴() 을 생성한다.
In addition, after the pattern is generated for all the pattern blocks corresponding to one frame size, the final pattern ( )
비가시성을 만족하면서 포렌식 마크를 강하게 삽입하기 위해서는, 사람의 인지 시스템에 대한 이해가 필요하다. 따라서, 포렌식 마크를 입력 영상에 삽입할 때 HVS(Human Visual System)에 기초를 두고 패턴의 세기를 결정해야 한다.In order to strongly insert forensic marks while satisfying invisibility, an understanding of the human cognitive system is required. Therefore, when the forensic mark is inserted into the input image, the intensity of the pattern should be determined based on the Human Visual System (HVS).
이에, 마스킹부(130)는 포렌식 마크 패턴 삽입 위치에 대한 패턴의 세기를 결정하는 복합적 마스킹 값을 구하는 기능을 수행하는 바, 도 8 에 도시된 바와 같이 NVF(Noise Visibility Fuction) 마스킹 모듈(131), 밝기 마스킹 모듈(132) 및 움직임 마스킹 모듈(133)을 포함한다. Accordingly, the masking unit 130 performs a function of obtaining a complex masking value that determines the strength of the pattern with respect to the forensic mark pattern insertion position. As shown in FIG. 8, the
NVF(Noise Visibility Fuction) 마스킹 모듈(131)은 영상에 잡음을 넣을 때 잡음이 보이는 정도(NVF)를 나타내는 함수로서 계산한다. The Noise Visibility Fuction (NVF) masking
즉, NVF 마스킹 모듈(131)은 다음의 [수식 2] 를 통해 NVF 값을 계산한다. 여기서, 는 지역별 분산(local variance)을, 는 영상에서의 최대 지역별 분산(maximum local variance)을, D∈[50, 150] 는 실험적 조정 값을 나타내고 있다.That is, the
[수식 2][Equation 2]
영상에서 변화가 없는 지역에서는 잡음의 삽입이 상대적으로 영상의 변화가 많은 지역에 비해 눈에 잘 띄기 때문에 NVF 값은 커지게 된다. 따라서, NVF 값은 주어진 이미지에 대하여 가장 높은 값을 1, 가장 작은 값을 0으로 하여 0과 1사이의 값으로 잡음이 보이는 정도를 표현하게 된다.In the region where there is no change in the image, the NVF value increases because noise insertion is more noticeable than in the region where the change in image is relatively large. Thus, the NVF value represents the degree of noise visible between 0 and 1 with the
이 방법으로 삽입된 노이즈는 NVF 값과 비슷한 역할을 하는 라플라시안(Laplacian) 필터로 삽입된 노이즈에 비해 노이즈 제거 공격에도 잘 살아남고, 비가시성 또한 우수하기 때문에 본 발명에서 제안한 포렌식 마크 삽입 기법에 적합하다.The noise inserted by this method is suitable for the forensic mark insertion scheme proposed in the present invention because the noise inserted by the Laplacian filter, which plays a role similar to the NVF value, survives the noise removal attack and is also excellent in visibility.
또한, NVF 마스킹 모듈(131)은 상기 [수식 2] 를 통해 계산된 NVF 값을 기반으로 실제 포렌식 마크에 삽입되는 지역 가중치 값() 을 [수식 3] 을 통해 계산한다.In addition, the
[수식 3] [Equation 3]
여기서, 은 영상에서 상대적으로 변화가 적은 영역에서의 삽입 세기 하한치를 의미하고, 은 상대적으로 변화가 많은 영역에서의 삽입 세기 상한치를 의미한다.here, Means the lower limit of the insertion intensity in the relatively small area of the image, Is the upper limit of insertion strength in a relatively variable area.
상기 [수식 3] 으로부터 유도된 가중치는 아래에 설명될 다른 두 마스킹 가중치와 곱해져 최종 포렌식 마크 삽입의 가중치가 된다. The weight derived from
특히, NVF 값은 전체 가중치에 주는 영향이 크기 때문에 을 다양한 고려 사항을 염두에 두어 선택해야 한다. In particular, the NVF value has a large effect on the overall weight. Should be chosen with various considerations in mind.
값은 PSNR(Peak Signal to Noise Ratio), 포렌식 마크 가시성에 대한 주관적 고려, 포렌식 마크의 용도에 따른 세기를 바탕으로 결정할 수 있다. The value may be determined based on the peak signal to noise ratio (PSNR), subjective consideration of forensic mark visibility, and intensity depending on the use of the forensic mark.
하지만, NVF 연산을 통해 가중치를 구하는 과정은 시간복잡도가 높은 편이다. 따라서, 영상을 가로, 세로 각각 1/2로 축소시켜 NVF 가중치를 구한 후, 다시 원래 크기로 확대하여 사용함으로써 연산 시간을 줄여 실시간에 준하는 시스템 구성에 활용하였다. However, the process of obtaining the weight through NVF operation is a high time complexity. Therefore, the NVF weight was obtained by reducing the image to 1/2 each of the width and length, and then again using the original size to reduce the computation time to utilize the system configuration corresponding to real time.
사람의 시각 인지 시스템은 일반적으로 어둡거나 밝은 영역에서의 밝기 변화에 둔감한 특징을 가지고 있다. Human visual perception systems are generally insensitive to changes in brightness in dark or bright areas.
도 9 는 밝기 값에 따른 허용 가능 변화량을 나타내고 있다. 도 9 에 도시된 바와 같이, 밝기 값은 75근처에서 변화량에 민감하게 반응하고, 밝거나 어두운 영역에서는 밝기 값에 둔감한 경향을 보인다. 따라서, 상대적으로 밝은 영역과 어두운 영역에 포렌식 마크 세기를 강하게 함으로써 비가시성과 강인성을 동시에 만족시킬 수 있다. 9 shows the allowable change amount according to the brightness value. As shown in FIG. 9, the brightness value is sensitive to the amount of change in the vicinity of 75 and tends to be insensitive to the brightness value in the light or dark areas. Thus, by increasing the forensic mark intensity in relatively bright and dark areas, both invisibility and toughness can be satisfied at the same time.
이에, 밝기(Luminance) 마스킹 모듈(132)은 이러한 원리에 입각해 구간별로 가중치를 갖는 밝기 가중치 값() 을 실험적 결과를 통해 다음의 [수식 4] 와 같이 계산할 수 있다. Accordingly, the
[수식 4][Equation 4]
여기서, 는 영상의 좌표의 픽셀 값을 의미한다.here, Of the footage The pixel value of the coordinate.
동영상에 대한 사람의 시각 인지 시스템에 의하면, 인간의 눈은 움직임이 적은 영역에서보다 움직임이 많은 영역에서 노이즈에 대한 민감성이 떨어진다. According to the human visual recognition system for moving pictures, the human eye is less sensitive to noise in areas of high motion than in areas of low motion.
따라서, 전후 프레임의 픽셀 값을 비교하여 차이가 큰 부분에 대해서는 포렌식 마크의 세기를 높임으로써 비가시성을 만족시키면서 포렌식 마크를 강하게 넣을 수 있게 된다. Therefore, the forensic mark can be strongly inserted while satisfying the invisibility by increasing the intensity of the forensic mark for a portion having a large difference by comparing pixel values of the front and rear frames.
이에, 움직임(Motion) 마스킹 모듈(133)은 이러한 원리를 바탕으로, 연속하는 두 픽셀의 차이 값을 구간으로 나누어 움직임 가중치 값() 을 실험적 결과를 통해 [수식 5] 와 같이 계산할 수 있다. Accordingly, based on this principle, the
[수식 5][Equation 5]
여기서, 는 전 프레임의 위치 에서의 픽셀 값을 나타낸다.
here, Is the position of the previous frame Represents a pixel value in.
그리고, 포렌식 마크 패턴 삽입부(140)는 상기 robust 포렌식 마크 패턴 생성부(110)를 통해 생성된 최종패턴(), fragile 포렌식 마크 패턴 생성부(120)를 통해 생성된 최종패턴() 및 상기 마스킹부(130)를 통해 계산된 각각의 가중치()를 이용하여, 최종적으로 원본영상에 삽입할 삽입패턴을 생성하고, 생성된 삽입패턴을 원본영상에 삽입한다. The forensic mark pattern insertion unit 140 may include a final pattern (generated through the robust forensic mark pattern generation unit 110). ), the final pattern generated through the fragile forensic mark pattern generation unit 120 ( ) And the respective weights calculated by the masking unit 130 ( Finally, an insertion pattern to be finally inserted into the original image is generated, and the generated insertion pattern is inserted into the original image.
여기서, 를 서로 곱한 값이 최종적 가중치가 되며, 이 가중치는 포렌식 마크가 삽입된 영상의 품질을 좌우하기 때문에 이러한 값들을 실험적 결과로 조절하여 PSNR기준 및 주관적 비가시성을 충분히 만족시켜야 한다. here, Are multiplied by the final weight, and this weight affects the quality of the image in which the forensic mark is inserted. Therefore, these values should be adjusted experimentally to satisfy the PSNR criterion and subjective invisibility.
따라서, 원본영상(X)에 상기와 같은 최종 삽입패턴이 삽입된 영상() 는 다음의 [수식 6] 과 같이 나타낼 수 있다.Therefore, the image in which the final insertion pattern as described above is inserted in the original image (X) ) Can be expressed as Equation 6 below.
[수식 6][Equation 6]
포렌식 마크 추출은, 크게 원본이 필요한 추출 방식과 원본이 필요 없는 추출 방식으로 나눌 수 있다. 원본이 필요한 추출 방식은 포렌식 마크가 삽입된 영상과 원본영상의 차이를 이용하여 포렌식 마크를 추출하는 방식으로 높은 추출 성능을 보이지만, 원본이 필요하다는 점에서 실용적 가치가 떨어진다. 반면 원본이 필요 없는 방식은, 포렌식 마크 추출 방식에 대한 고려가 필요하고, 추출 성능도 비교적 낮지만, 실용적 측면에서 매우 유용한 방법이다. 따라서 본 발명에서 제안하는 포렌식 마크 추출 시스템은 원본 영상이 필요 없는 추출 방식을 사용한다.
Forensic mark extraction can be largely divided into an extraction method that requires an original and an extraction method that does not require an original. The extraction method that requires the original shows a high extraction performance by extracting the forensic mark by using the difference between the forensic mark inserted image and the original image, but the practical value is low in that the original is required. On the other hand, the method that does not require the original requires a consideration of the forensic mark extraction method, and the extraction performance is relatively low, but it is a very useful method in practical terms. Therefore, the forensic mark extraction system proposed by the present invention uses an extraction method that does not require an original image.
한편, 포렌식 마크 추출기(200)는 추출 및 축적된 최종 포렌식 마크 패턴( , )을 구하고, 최종 추정 패턴과 참조패턴 사이의 상관 연산을 수행하여 robust 포렌식 마크 패턴 및 fragile 포렌식 마크 패턴을 추출하는 기능을 수행하는 바, 상기 도 2 에 도시된 바와 같이 포렌식 마크 패턴 추정부(210), 포렌식 마크 패턴 축적부(220), robust 포렌식 마크 패턴 추출부(230) 및 fragile 포렌식 마크 패턴 추출부(240)를 포함한다. Meanwhile, the
포렌식 마크 패턴 추정부(210)는 검사 대상 영상으로부터 프레임 단위로 입력을 받아 포렌식 마크 패턴을 추정한다. The forensic mark pattern estimator 210 estimates the forensic mark pattern by receiving an input in units of frames from the inspection target image.
이때, 포렌식 마크는 원본 영상에 대해서는 잡음(noise)이기 때문에 잡음을 제거하거나 잡음만을 추출하는 영상 처리 필터를 통해 추출될 수 있다. 제안하는 시스템에서는 적응적 위너필터(adaptive wiener filter)를 이용하여 영상에서 잡음을 제거한다. 적응적 위너필터의 계산식은 다음의 [수식 7] 과 같다.In this case, since the forensic mark is noise for the original image, the forensic mark may be extracted through an image processing filter that removes noise or extracts only noise. In the proposed system, the noise is removed from the image using an adaptive wiener filter. The equation for the adaptive Wiener filter is shown in Equation 7 below.
[수식 7][Equation 7]
여기서, Y 는 검출 대상 영상, 는 잡음이 제거된 영상, 와 는 각각 Y 의 지역 평균, 지역 분산을 의미한다. 는 잡음의 분산을 의미하지만 현실적으로 구하기 힘든 점이 있어 본 발명에서는 검출 대상 영상 Y 의 지역 분산들의 평균값으로 근사하였다.Where Y is a detection target image, Is the noise-free image, Wow Are the local mean and regional variance of Y, respectively. Denotes a variance of noise, but it is difficult to obtain in reality, and thus, the present invention approximates an average value of local variances of the detection target image Y.
즉, 포렌식 마크 패턴 추정부(210)는 포렌식 마크를 추정하기 위해 검출 대상 영상 원본(Y)와, [수식 7] 에서 구해진 잡음이 제거된 영상() 의 차이를 계산하고, n번째 프레임 포렌식 마크 추정영상() 을 [수식 8] 을 통해 계산한다.That is, the forensic mark pattern estimator 210 detects the forensic mark original image Y and an image from which the noise obtained in [Equation 7] is removed ( ) And calculate the nth frame forensic mark estimation image ( ) Is calculated using Equation 8.
[수식 8][Equation 8]
포렌식 마크 패턴 축적부(220)는 상기 포렌식 마크 패턴 추정부(210)를 통해 각 프레임에서 추정된 포렌식 마크를 이용하여, robust 포렌식 마크 삽입, semi-fragile 포렌식 마크 삽입에 사용했던 프레임 그룹 구간동안 누적하여 최종 포렌식 마크 패턴( , ) 를 구한다.The forensic mark pattern accumulator 220 accumulates during the frame group period used for robust forensic mark insertion and semi-fragile forensic mark insertion by using the forensic mark estimated in each frame through the forensic mark pattern estimator 210. Final forensic mark pattern ( , )
이때, 을 구하기 위해 삽입 시와 마찬가지로, 검사대상 영상이 16:9영상의 경우 가로 방향 1/4지점, 세로 방향 1/4지점을 좌상단 지점으로 하여 세로 길이(입력영상의 높이/180)*60*2, 가로 길이(입력영상의 높이)*80*2 크기의 사각형으로 얻어진다. At this time, As in the case of the insertion, the vertical length (the height of the input image / 180) * 60 * 2 is used for the 16: 9 image. , Rectangles are obtained with the width (the height of the input image) * 80 * 2.
마찬가지로 검사대상 영상이 4:3 영상인 경우, 가로 방향 1/6지점, 세로 방향 1/4지점이 좌상단이 된다. 이러한 방법을 통해 영상이 일정 비율로 축소 또는 확대 되었을 경우에도 robust 포렌식 마크를 정확히 추정할 수 있게 된다. Similarly, when the inspection target image is a 4: 3 image, the horizontal 1/6 point and the vertical 1/4 point become the upper left end. In this way, robust forensic marks can be accurately estimated even when the image is scaled down or enlarged by a certain ratio.
포렌식 마크 패턴 축적부(220)는 이렇게 얻어진 최종 포렌식 마크 패턴() 을 입력영상의 높이/180배 만큼 축소한 후, 삽입 시와 반대로 도 10 과 같이 폴딩(folding)하여 80*60크기의 최종 추정 패턴() 을 구한다. The forensic mark pattern accumulating unit 220 obtains the final forensic mark pattern ( ) Is reduced by the height / 180 times of the input image, and then folded as shown in FIG. )
이와 같이 프레임 그룹 안에서 반복 삽입된 포렌식 마크의 축적으로 인해 정지영상에 비해 검출률을 높일 수 있다.As such, the detection rate can be increased compared to the still image due to the accumulation of forensic marks repeatedly inserted in the frame group.
추출 및 축적된 추정 포렌식 마크로부터의 포렌식 마크 추출은 참조 포렌식 마크와 포렌식 마크 추정 영상과의 상관관계(correlation)를 구함으로써 이루어진다.Forensic mark extraction from the extracted and accumulated estimated forensic marks is performed by obtaining a correlation between the reference forensic mark and the forensic mark estimated image.
상관관계를 구하기 전에 비밀키 정보를 알아내어 그 정보를 이용하여 순서에 맞는 포렌식 마크 패턴을 생성해야 한다. Before we can correlate it, we need to find out the secret key information and use that information to generate a forensic mark pattern in order.
robust 포렌식 마크 패턴 추출부(230)는 비밀키 정보를 이용하여 참조 기본패턴()을 생성하고, 최종 추정 패턴()과, 참조 기본패턴() 사이의 상호 상관 연산을 수행하여 마크 추출 여부를 결정하는 기능을 수행하는 바, 도 11 에 도시된 바와 같이 마크 패턴 생성모듈(231) 및 마크 삽입 판단모듈(232)을 포함한다. The robust forensic mark pattern extracting unit 230 uses the reference basic pattern (see FIG. ) And the final estimated pattern ( ), And the reference base pattern ( And a mark
마크 패턴 생성모듈(231)은 첫 번째 2 bit를 추출하기 위해 사용자로부터 입력받은 초기 비밀키 값으로부터 순차적으로 16개의 패턴을 생성한다. 그리고, 각각의 16개의 패턴으로부터 2bit의 값 00, 01, 10, 11을 나타내는 기본 패턴, 세로축 반전 패턴, 가로축 반전 패턴, 양 축 반전 패턴을 추가적으로 생성한다. The mark
예를 들어, 초기 키 값이 100이었다면 100~115의 키 값을 가지는 패턴을 생성하고, 각각에 따른 4개의 반전 패턴을 생성하여 총 64개의 패턴을 생성한다. For example, if the initial key value is 100, a pattern having a key value of 100 to 115 is generated, and four inverted patterns are generated to generate a total of 64 patterns.
첫 번째 2 bit를 구하기 위해 추정된 포렌식 마크 패턴과, 이 64개의 패턴의 상관관계를 계산하고, 가장 높은 극대치 값을 지니는 패턴의 키 값과 그때의 반전축이 각각 첫 번째 문자(8bit)에 대한 키 값이 되고, 첫 번째 2bit를 회전 패턴의 인덱스로부터 알아낼 수 있다. Compute the forensic mark pattern estimated to find the first 2 bits, and the correlation between these 64 patterns, and the key value of the pattern with the highest maximum value and the inversion axis for each of the first character (8 bits). Key value, and the first 2 bits can be found from the index of the rotation pattern.
다음 포렌식 마크 2bit를 검출하기 위해 생성해야 할 포렌식 마크 패턴을 위한 비밀키 값은 포렌식 마크 삽입의 상수 테이블에서 값을 찾아 더해진 값으로 정해진다. The secret key value for the forensic mark pattern to be generated to detect the next
즉, 상수 테이블에서 첫 번째 문자 키 값과, 방금 검출한 포렌식 마크 2bit의 순서와 값에 따른 인덱스가 가리키는 값이 더해지는 것이다. 이렇게 구해진 키 값으로 생성된 패턴은 또 다시 4개의 회전 패턴을 부가적으로 생성하여 다음 포렌식 마크 추출 때에 사용된다. In other words, the first character key value in the constant table and the value indicated by the index according to the order and value of the 2 bit forensic mark just detected are added. The pattern generated with the key values thus obtained is additionally generated four rotation patterns and used for the next forensic mark extraction.
문자 단위(8bit)의 포렌식 마크 추출이 완료되면, 다음 문자(8bit)의 비밀키 값을 생성한다. 문자(8bit)에 대한 비밀키 값은 이전 8bit가 완벽하게 검출되어야 알아낼 수 있다. When forensic mark extraction is completed in character units (8 bits), a secret key value of the next character (8 bits) is generated. The secret key value for a character (8 bits) can be found only when the previous 8 bits are fully detected.
첫 번째 문자를 제외한 문자에 대한 비밀키 값은 초기 키 값에 첫 번째 키 값을 알기 위한 16개의 패턴 이후의 숫자인 16이 더해진 데에 추출된 이전 문자들의 8bit를 정수화하여 누적하여 더해진 값으로 정해진다.The secret key value for the characters except the first character is set to the initial key value plus 16, the number after the 16 patterns to know the first key value. All.
마크 삽입 판단모듈(232)은 구해진 최종 추정 패턴()과, 약속된 비밀키를 이용하여 생성한 참조 기본패턴() 사이의 정규화 상호 상관 연산(normalized cross correlation)을 수행한다. The mark
[수식 9] 는 크기가 n*m 패턴에 대한 일반적인 정규화 상호 상관 연산을 나타낸다. Equation 9 represents a normal normalized cross correlation operation for a pattern of size n * m.
[수식 9][Equation 9]
그러나, 위의 식은 매우 큰 계산 복잡도를 가지고 있어 상호 상관 연산을 빈번히 사용하는 시스템에서는 적합하지 않다. 따라서, 다음의 [수식 10] 과 같이 FFT(Fast Fourier Transform)를 사용함으로써 계산 복잡도를 크게 줄인다. However, the above equations have very large computational complexity and are not suitable for systems that frequently use cross-correlation operations. Therefore, the computational complexity is greatly reduced by using FFT (Fast Fourier Transform) as shown in
식에서 * 는 켤레 복소수를 의미한다.In the formula, * means complex conjugate.
[수식 10][Equation 10]
또한, 마크 삽입 판단모듈(232)은 계산되어진 상관도 값() 을 이용하여 가장 큰 값을 갖는 최종 상관도 값()을 다음의 [수식 11] 에서 구해진 임계치 () 와 비교하여 마크 삽입 여부를 판단하고, 추출 여부를 결정한다. Also, the mark
[수식 11][Equation 11]
여기서, 는 의 평균, 는 의 표준편차를 나타내고, 는 긍정적 오류(false positive error)에 따라 결정된다.
here, The Mean, The Represents the standard deviation of Is determined according to a false positive error.
semi-fragile 포렌식 마크 패턴 추출 역시, robust 포렌식 마크의 경우와 마찬가지로 추출 및 축적된 semi-fragile 최종 포렌식 마크 패턴()와, 참조패턴() 와의 상관관계를 구함으로써 이루어진다.
Semi-fragile forensic mark pattern extraction is similar to that of robust forensic marks. ), And the reference pattern ( ) By correlating
fragile 포렌식 마크 패턴 추출부(240)는 시간적/공간적 인덱스 및 프레임당 할당 시간을 바탕으로 키 및 참조패턴을 생성하고, 영상의 마지막 프레임의 존재여부를 검사함으로써, 변형 여부를 판단하는 기능을 수행하는 바, 도 12 에 도시된 바와 같이 참조패턴 생성모듈(241) 및 변형 여부 판단모듈(242)을 포함한다. The fragile forensic mark pattern extractor 240 generates a key and a reference pattern based on a temporal / spatial index and an allocation time per frame, and checks whether or not there is a last frame of the image, thereby determining whether to deform or not. 12, a reference
참조패턴 생성모듈(241)은 일정 구간동안 누적하여 얻은 semi-fragile 최종 포렌식 마크 패턴()을 소정 블록 사이즈로 분할하며, 각 블록에 대해 그 블록의 시/공간적 위치 인덱스 및 전체 영상의 프레임당 할당 시간에 기초하여 키를 생성한 후, 그 키를 이용하여 참조패턴()을 생성한다. Reference
이러한 참조패턴()은 블록단위로 위에 설명된 정규화 상호 상관 연산을 이용하여 검출 여부를 판별하게 된다.
These reference patterns ( ) Is determined on a block-by-block basis using the normalized cross correlation operation described above.
일반적으로, 하나의 프레임 그룹 내에 있는 모든 블록에 대해 semi-fragile 포렌식 마크 추출 결과를 이용하여 변형 여부를 판단한다. In general, for all blocks in one frame group, it is determined whether to deform using semi-fragile forensic mark extraction results.
프레임 그룹 내에 있는 전체 블록 수에 대해 추출되지 않은 블록수의 비율을 불검출률이라고 정의했을 때, 일반적으로 크기 변환, 프레임률 변환, 시/공간축 절삭 공격 등에서 불검출률은 1에 가까운 값을 갖는다. When the ratio of the number of unextracted blocks to the total number of blocks in the frame group is defined as the non-detection rate, the non-detection rate generally has a value close to 1 in size conversion, frame rate conversion, and time / space axis cutting attack.
이렇게 높은 불검출률을 보여주는 이유는 크기 변형의 경우, 도 13 의 (b) 에 도시된 바와 같이, 축소되었을 때 블록간의 동기화가 어긋나 낮은 검출률을 보이고, 16:9에서 4:3으로의 절삭 공격에서는 영상의 좌, 우 측이 잘려나가면서 공간적 인덱스 값의 동기화가 어긋나 낮은 검출률을 보이게 된다. The reason for showing such a high detection rate is that in case of size deformation, as shown in (b) of FIG. 13, the synchronization between blocks is reduced due to the reduction, and thus the detection rate is low, and in the cutting attack from 16: 9 to 4: 3, Spatial index as the left and right sides of the image are cut off The value is out of synchronization, resulting in a low detection rate.
또한, 프레임률 변화는 프레임당 평균 할당 시간을 변화시키기 때문에 값이 달라져 불검출률이 높아진고, 시간축 절삭은 시간적 인덱스 값의 동기화가 어긋나 불검출률이 높아지게 된다. 그러나, 이러한 과정만으로는 영상의 마지막 부분이 잘려져 나갔을 경우 변형 여부를 판단할 수 없다. Also, because frame rate changes change the average allocation time per frame Different values increase the detection rate, and time-base cutting is the temporal index. The value is out of synchronization, resulting in a high detection rate. However, this process alone cannot determine whether the image is deformed when the last part of the image is cut off.
따라서, 변형 여부 판단모듈(242)은 마지막 프레임 구간동안 시간적 인덱스 를 정해진 상수로 고정하여, 영상의 마지막 프레임의 존재여부를 검사함으로써, 변형 여부를 판단한다.Accordingly, the
그러므로, 영상의 마지막 프레임 그룹에서 불검출률이 높다면 영상의 끝 부분이 잘려나갔다는 의미가 되어 변형 여부를 판단할 수 있게 된다. Therefore, if the non-detection rate is high in the last frame group of the image, it means that the end portion of the image is cut out, and thus it is possible to determine whether or not the deformation is performed.
마지막으로, 로고 삽입은 로고가 삽입된 영역의 신호가 약해져 다른 블록에 비해 상대적으로 낮은 검출률을 보이게 되어 변형여부 판단이 가능해 지고, 내용의 변형 없이 비디오의 포맷을 바꾸는 작업은 CCL과 함께 저장된 원본 비디오 포맷 정보와 비교함으로써 변형 여부를 판단할 수 있다. Finally, the logo insertion is weaker in the area where the logo is inserted, resulting in a relatively low detection rate compared to other blocks, and thus it is possible to determine whether or not to change the format of the logo. By comparing with the format information, it is possible to determine whether or not the modification.
실험적으로 변형이 없는 영상의 경우 처음 압축과정에서 생기는 semi-fragile 포렌식 마크 신호의 감쇄로 불검출률이 평균적으로 0이 아닌 0.1근처에서 형성됨을 알 수 있었다. 이러한 사실들을 토대로 본 과제에서의 변형 여부 탐지 절차는 도 14 에 도시된 바와 같다. Experimentally, it was found that the non-deformation image was formed around 0.1 instead of 0 on average due to attenuation of the semi-fragile forensic mark signal generated during the initial compression process. Based on these facts, the deformation detection procedure in the present invention is as shown in FIG. 14.
구체적으로, 변형 여부 판단모듈(242)은 도 14 에 도시된 바와 같이, 먼저, 해상도 변환, 시/공간축 절삭, 프레임률 변환 여부를 판단하고, 문제가 없을 경우, 영상의 끝 부분 절삭 여부를 판단한다. Specifically, as shown in FIG. 14, the
이 과정에서도 문제가 없다면 마지막으로 3의 과정을 통해, 부분 변형여부를 탐지하게 된다. 3의 과정에서는 변형된 블록보다 변형되지 않은 블록이 많다는 가정 하에 모든 블록의 평균에 대해서 상관도가 일정 범위 밖에 있는 블록을 변형된 블록으로 추정하는 과정이다. 각 과정에서 사용되는 임계치는 실험적 통계에 의해 Th1 =0.8, Th2 =0.9를 사용하였다.
If there is no problem in this process, finally, the process of 3 detects whether there is a partial deformation. In the process of 3, assuming that there are more unmodified blocks than the deformed block, the block having a predetermined degree of correlation with respect to the average of all blocks is estimated as the deformed block. Thresholds used in each process used Th1 = 0.8 and Th2 = 0.9 by experimental statistics.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다. While the present invention has been particularly shown and described with reference to preferred embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be appreciated by those skilled in the art that numerous changes and modifications may be made without departing from the invention. Accordingly, all such appropriate modifications and changes, and equivalents thereof, should be regarded as within the scope of the present invention.
S: 복합적 포렌식 워터마킹 시스템
100: 포렌식 마크 삽입기 110: robust 포렌식 마크 패턴 생성부
111: robust 기본패턴 생성모듈 112: 페이로드 패턴 생성모듈
113: 패턴 확장모듈 114: 최종패턴 생성모듈
115: 패턴위치 설정모듈 116: 최종패턴 삽입모듈
120: fragile 포렌식 마크 패턴 생성부121: fragile 기본패턴 블록 생성모듈
122: 비밀키 생성모듈 123: 최종패턴 생성모듈
130: 마스킹부 140: 포렌식 마크 패턴 삽입부
200: 포렌식 마크 추출기 210: 포렌식 마크 패턴 추정부
220: 포렌식 마크 패턴 축적부 230: robust 포렌식 마크 패턴 추출부
231: 마크 패턴 생성모듈 232: 마크 삽입 판단모듈
240: fragile 마크 패턴 추출부 241: 참조패턴 생성모듈
242: 변형 여부 판단모듈S: complex forensic watermarking system
100: forensic mark inserter 110: robust forensic mark pattern generator
111: robust basic pattern generation module 112: payload pattern generation module
113: pattern expansion module 114: final pattern generation module
115: pattern position setting module 116: final pattern insertion module
120: fragile forensic mark pattern generation unit 121: fragile basic pattern block generation module
122: secret key generation module 123: final pattern generation module
130: masking unit 140: forensic mark pattern insertion unit
200: forensic mark extractor 210: forensic mark pattern estimation unit
220: forensic mark pattern accumulating unit 230: robust forensic mark pattern extracting unit
231: mark pattern generation module 232: mark insertion determination module
240: fragile mark pattern extraction unit 241: reference pattern generation module
242: Deformation determination module
Claims (17)
비밀키와 메시지를 이용하여 기본패턴을 생성하고, 상기 기본패턴을 가로, 세로로 확장 및 반복시켜 최종패턴()을 생성하는 robust 포렌식 마크 패턴 생성부(110)와, 입력 영상의 바탕으로 기본패턴 블록을 생성하고, 각 기본패턴 블록에 대한 비밀키를 생성하며, 상기 비밀키를 이용하여 최종패턴()을 생성하는 fragile 포렌식 마크 패턴 생성부(120)와, 포렌식 마크 패턴 삽입 위치에 대한 패턴의 세기를 결정하는 복합적 마스킹 값을 구하는 마스킹부(130), 및 상기 robust 포렌식 마크 패턴 생성부(110)를 통해 생성된 최종패턴(), fragile 포렌식 마크 패턴 생성부(120)를 통해 생성된 최종패턴() 및 상기 마스킹부(130)를 통해 계산된 각각의 가중치()를 이용하여, 최종적으로 원본영상에 삽입할 삽입패턴을 생성하고, 생성된 삽입패턴을 원본영상에 삽입하는 포렌식 마크 패턴 삽입부(140)를 포함하는 포렌식 마크 삽입기(100); 및
검사 대상 영상으로부터 프레임 단위로 입력을 받아 포렌식 마크 패턴을 추정하는 포렌식 마크 패턴 추정부(210)와, 상기 포렌식 마크 패턴 추정부(210)를 통해 각 프레임에서 추정된 포렌식 마크 패턴을 이용하여, robust 포렌식 마크 삽입, semi-fragile 포렌식 마크 삽입에 사용했던 프레임 그룹 구간동안 누적하여 최종 포렌식 마크 패턴(,) 을 구하는 포렌식 마크 패턴 축적부(220)와, 비밀키 정보를 이용하여 참조 기본패턴()을 생성하고, 최종 추정 패턴()과, 참조 기본패턴() 사이의 상호 상관 연산을 수행하여 마크 추출 여부를 결정하는 robust 포렌식 마크 패턴 추출부(230), 및 시간적/공간적 인덱스 및 프레임당 할당 시간을 바탕으로 키 및 참조패턴을 생성하고, 영상의 마지막 프레임의 존재여부를 검사함으로써, 변형 여부를 판단하는 fragile 포렌식 마크 패턴 추출부(240)를 포함하는 포렌식 마크 추출기(200); 를 포함하는 복합적 포렌식 워터마킹 시스템.
In a complex forensic watermarking system,
Create a basic pattern using a secret key and a message, and expand and repeat the basic pattern horizontally and vertically to obtain the final pattern ( Robust forensic mark pattern generation unit 110 for generating a basic pattern block based on an input image, a secret key for each basic pattern block, and a final pattern using the secret key. Fragile forensic mark pattern generation unit 120 for generating a), a masking unit 130 for obtaining a complex masking value for determining the intensity of the pattern with respect to the forensic mark pattern insertion position, and the robust forensic mark pattern generation unit 110 The final pattern generated by ), the final pattern generated through the fragile forensic mark pattern generation unit 120 ( ) And the respective weights calculated by the masking unit 130 ( A forensic mark inserter 100 including a forensic mark pattern inserting unit 140 for finally generating an insertion pattern to be inserted into the original image and inserting the generated insertion pattern into the original image using a); And
By using a forensic mark pattern estimator 210 for receiving a forensic mark pattern from the inspection target image in units of frames and a forensic mark pattern estimated in each frame through the forensic mark pattern estimator 210, The final forensic mark pattern (accumulated during the frame group period used for forensic mark insertion and semi-fragile forensic mark insertion) is accumulated. , Forensic mark pattern accumulator 220 for obtaining the reference pattern and reference base pattern ( ) And the final estimated pattern ( ), And the reference base pattern ( Robust forensic mark pattern extraction unit 230 that determines whether to extract a mark by performing cross-correlation operation between the first and second frames, and generates a key and a reference pattern based on a temporal / spatial index and an allocation time per frame. Forensic mark extractor 200 including a fragile forensic mark pattern extraction unit 240 to determine whether the deformation by checking the presence of; Complex forensic watermarking system comprising a.
상기 robust 포렌식 마크 패턴 생성부(110)는,
비밀키와 메시지를 이용하여 평균이 0이고 분산이 1인 가우시안 분포를 따르는 기본패턴을 생성하는 robust 기본패턴 생성모듈(111);
비트 정보를 담도록 하되, 상기 기본패턴과, 상기 기본패턴을 세로축 반전, 가로축 반전 및 가로/세로축 반전의 모양으로 생성하는 페이로드 패턴 생성모듈(112);
상기 기본패턴을 가로, 세로로 각각 확장하는 패턴 확장모듈(113);
상기 패턴 확장모듈(113)을 통해 확장된 기본패턴을 가로, 세로로 각각 반복시켜, 최종패턴()을 생성하는 최종패턴 생성모듈(114);
상기 최종패턴의 삽입위치를 설정하는 패턴위치 설정모듈(115); 및
상기 최종패턴()을 전체 프레임을 일정 시간 구간을 가지는 프레임으로 분할하고, 분할된 각각의 프레임에 삽입하는 최종패턴 삽입모듈(116); 을 포함하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
The method of claim 1,
The robust forensic mark pattern generation unit 110,
A robust basic pattern generation module 111 for generating a basic pattern according to a Gaussian distribution having a mean of 0 and a variance of 1 using a secret key and a message;
A payload pattern generation module (112) for containing bit information, and generating the basic pattern and the basic pattern in the form of vertical axis inversion, horizontal axis inversion, and horizontal / vertical axis inversion;
A pattern expansion module 113 for extending the basic pattern horizontally and vertically, respectively;
Repeating the basic pattern extended through the pattern expansion module 113 in the horizontal, vertical, respectively, the final pattern ( A final pattern generation module 114 for generating a);
A pattern position setting module 115 for setting an insertion position of the final pattern; And
The final pattern ( ) Is a final pattern insertion module 116 for dividing the entire frame into a frame having a predetermined time interval, and inserting each frame into each divided frame; Complex forensic watermarking system comprising a.
상기 fragile 포렌식 마크 패턴 생성부(120)는,
입력 영상을 블록으로 나누는 fragile 기본패턴 블록 생성모듈(121);
상기 기본패턴 블록 생성모듈(121)을 통해 생성된 각 블록에 대한 비밀키를 생성하는 비밀키 생성모듈(122); 및
상기 비밀키 생성모듈(122)을 통해 생성된 각 블록에 대한 비밀키를 이용하여, 가우시안 분포를 따르는 패턴블록을 생성하며, 한 프레임사이즈에 해당하는 모든 패턴블록들에 대한 패턴을 생성한 후, 최종패턴()을 생성하는 최종패턴 생성모듈(123); 을 포함하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
The method of claim 1,
The fragile forensic mark pattern generation unit 120,
A fragile basic pattern block generation module 121 for dividing an input image into blocks;
A secret key generation module 122 for generating a secret key for each block generated by the basic pattern block generation module 121; And
After generating a pattern block according to a Gaussian distribution using a secret key for each block generated by the secret key generation module 122, and generating a pattern for all pattern blocks corresponding to one frame size, Final pattern ( A final pattern generation module 123 for generating); Complex forensic watermarking system comprising a.
상기 비밀키는,
[수식 1] 을 통해 해당 블록의 시간적 위치 인덱스(index) 값 , 공간적 위치 인덱스 값 , 프레임당 평균 할당 시간 의 조합으로 이루어지는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 1]
The method of claim 4, wherein
The secret key,
Equation 1 shows the temporal position index value of the block. Spatial position index value Average allocation time per frame Complex forensic watermarking system, characterized in that consisting of.
[Equation 1]
상기 마스킹부(130)는,
영상에 잡음을 넣을 때 잡음이 보이는 정도(NVF)를 계산하고, 계산된 NVF 값을 기반으로 실제 포렌식 마크에 삽입되는 지역 가중치 값() 을 계산하는 NVF 마스킹 모듈(131);
구간별로 가중치를 갖는 밝기 가중치 값()을 계산하는 밝기(Luminance) 마스킹 모듈(132); 및
연속하는 두 픽셀의 차이 값을 구간으로 나누어 움직임 가중치 값 을 계산하는 움직임(Motion) 마스킹 모듈(133); 을 포함하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
The method of claim 1,
The masking unit 130,
Calculates how visible noise (NVF) is when adding noise to the image, and based on the calculated NVF value, the local weight value (inserted into the actual forensic mark) NVF masking module 131 that calculates a);
Brightness weight value weighted by interval ( Luminance masking module 132 for calculating (); And
Motion weighting value by dividing the difference value between two consecutive pixels into intervals Motion masking module 133 to calculate a; Complex forensic watermarking system comprising a.
상기 NVF 마스킹 모듈(131)은, 하기의 [수식 2] 를 통해 NVF 값을 계산하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 2]
여기서, 는 지역별 분산(local variance), 는 영상에서의 최대 지역별 분산(maximum local variance), D∈[50, 150] 는 실험적 조정 값.
The method according to claim 6,
The NVF masking module 131 calculates an NVF value through Equation 2 below.
[Equation 2]
here, Is the local variance, Is the maximum local variance in the image, and D∈ [50, 150] is the experimental adjustment value.
상기 NVF 마스킹 모듈(131)은,
계산된 NVF 값을 기반으로 실제 포렌식 마크에 삽입되는 지역 가중치 값 () 을 [수식 3] 을 통해 계산하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 3]
여기서, 은 영상에서 상대적으로 변화가 적은 영역에서의 삽입 세기 하한치, 은 상대적으로 변화가 많은 영역에서의 삽입 세기 상한치.
The method according to claim 6,
The NVF masking module 131,
Local weight value inserted in the actual forensic mark based on the calculated NVF value ( ) Is calculated by [Equation 3] complex forensic watermarking system.
[Equation 3]
here, Is the lower limit of insertion strength in the relatively small region of the image, Is the upper limit of insertion strength in a relatively variable area.
상기 밝기(Luminance) 마스킹 모듈(132)은,
하기의 [수식 4] 를 통해 구간별로 가중치를 갖는 밝기 가중치 값() 을 계산하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 4]
여기서, 는 영상의 좌표의 픽셀 값.
The method according to claim 6,
The luminance masking module 132,
Brightness weighting value having weights for each section through [Equation 4] Complex forensic watermarking system,
[Equation 4]
here, Of the footage Pixel value of the coordinate.
상기 움직임(Motion) 마스킹 모듈(133)은,
하기의 [수식 5] 를 통해 연속하는 두 픽셀의 차이 값을 구간으로 나누어 움직임 가중치 값() 을 계산하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 5]
여기서, 는 전 프레임의 위치 에서의 픽셀 값.
The method according to claim 6,
The motion masking module 133,
Equation 5 below divides the difference value between two consecutive pixels into intervals to determine the motion weight value ( Complex forensic watermarking system,
[Equation 5]
here, Is the position of the previous frame The pixel value at.
상기 포렌식 마크 패턴 삽입부(140)는,
원본영상(X)에 최종 삽입패턴이 삽입된 영상() 는 다음의 [수식 6] 을 통해 계산하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 6]
The method of claim 1,
The forensic mark pattern insertion unit 140,
The image where the final insertion pattern is inserted in the original image (X) ) Is a complex forensic watermarking system characterized in that the following formula [6].
[Equation 6]
상기 포렌식 마크 패턴 추정부(210)는,
포렌식 마크를 추정하기 위해 검출 대상 영상 원본(Y)과, 잡음이 제거된 영상()의 차이를 계산하고, n번째 프레임 포렌식 마크 추정영상() 을 다음의 [수식 8] 을 통해 계산하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 8]
여기서, Y 는 검출 대상 영상, 는 잡음이 제거된 영상, 와 는 각각 Y 의 지역 평균, 지역 분산, 는 잡음의 분산(영상 Y 의 지역 분산들의 평균값).
The method of claim 1,
The forensic mark pattern estimation unit 210,
In order to estimate the forensic mark, the original image to be detected (Y) and the image from which the noise is removed ( ) And calculate the nth frame forensic mark estimation image ( ) Is calculated by the following [Equation 8].
Equation 8
Where Y is a detection target image, Is the noise-free image, Wow Are the local mean, regional variance, Is the variance of the noise (average of regional variances in image Y).
상기 포렌식 마크 패턴 축적부(220)는,
최종 포렌식 마크 패턴()을 축소한 후, 폴딩(folding)하여 소정 크기의 최종 추정 패턴()을 구하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
The method of claim 1,
The forensic mark pattern accumulator 220,
Final forensic mark pattern ( ), And then fold and collapse the final estimated pattern ( Complex forensic watermarking system, characterized in that
상기 robust 포렌식 마크 패턴 추출부(230)는,
사용자로부터 입력받은 초기 비밀키 값으로부터 순차적으로 소정개수의 패턴을 생성하고, 각각의 패턴으로부터 2bit의 값 00, 01, 10, 11을 나타내는 기본 패턴, 세로축 반전 패턴, 가로축 반전 패턴, 양 축 반전 패턴을 추가적으로 생성하는 마크 패턴 생성모듈(231); 및
구해진 최종 추정 패턴()과, 약속된 비밀키를 이용하여 생성한 참조 기본패턴() 사이의 정규화 상호 상관 연산(normalized cross correlation)을 수행하는 마크 삽입 판단모듈(232); 을 포함하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
The method of claim 1,
The robust forensic mark pattern extraction unit 230,
A predetermined number of patterns are generated sequentially from the initial secret key value input from the user, and the basic pattern representing the 2-bit values 00, 01, 10, and 11 from each pattern, the vertical axis inversion pattern, the horizontal axis inversion pattern, and the two axis inversion pattern A mark pattern generation module 231 for additionally generating; And
The final estimate pattern ) And a reference base pattern created using the promised secret key ( A mark insertion determining module 232 for performing a normalized cross correlation between the < RTI ID = 0.0 > Complex forensic watermarking system comprising a.
상기 마크 삽입 판단모듈(232)은,
계산되어진 상관도 값() 을 이용하여 가장 큰 값을 갖는 최종 상관도 값()을 하기의 [수식 11] 에서 구해진 임계치 () 와 비교하여 마크 삽입 여부를 판단하고, 추출 여부를 결정하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.
[수식 11]
여기서, 는 의 평균, 는 의 표준편차, 는 긍정적 오류(false positive error)에 따라 결정되는 값.
The method of claim 15,
The mark insertion determination module 232,
Calculated correlation value ( ) With the highest correlation value () ) Is the threshold value obtained from Equation 11 below. Comprehensive forensic watermarking system characterized in that it determines whether the mark is inserted, and whether to extract it compared to).
[Equation 11]
here, The Mean, The Standard deviation of, Is a value determined by a false positive error.
상기 fragile 포렌식 마크 패턴 추출부(240)는,
일정 구간동안 누적하여 얻은 semi-fragile 최종 포렌식 마크 패턴()을 소정 블록 사이즈로 분할하며, 각 블록에 대해 그 블록의 시/공간적 위치 인덱스 및 전체 영상의 프레임당 할당 시간에 기초하여 키를 생성한 후, 그 키를 이용하여 참조패턴()을 생성하는 참조패턴 생성모듈(241); 및
마지막 프레임 구간동안 시간적 인덱스 를 정해진 상수로 고정하여, 영상의 마지막 프레임의 존재여부를 검사함으로써, 변형 여부를 판단하는 변형 여부 판단모듈(242); 을 포함하는 것을 특징으로 하는 복합적 포렌식 워터마킹 시스템.The method of claim 1,
The fragile forensic mark pattern extraction unit 240,
The semi-fragile final forensic mark pattern obtained by accumulating for a certain period ( ) Is divided into predetermined block sizes, and a key is generated for each block based on the spatio-temporal position index of the block and the allocation time per frame of the entire image, and then the reference pattern ( A reference pattern generation module 241 for generating (); And
Temporal index over the last frame interval Deformation determination module 242 to determine whether the deformation by fixing the constant to a predetermined constant, the presence of the last frame of the image; Complex forensic watermarking system comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110030302A KR101220420B1 (en) | 2011-04-01 | 2011-04-01 | Hybrid video forensic watermarking system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110030302A KR101220420B1 (en) | 2011-04-01 | 2011-04-01 | Hybrid video forensic watermarking system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120111669A KR20120111669A (en) | 2012-10-10 |
KR101220420B1 true KR101220420B1 (en) | 2013-01-10 |
Family
ID=47282333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110030302A KR101220420B1 (en) | 2011-04-01 | 2011-04-01 | Hybrid video forensic watermarking system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101220420B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101746167B1 (en) | 2016-01-28 | 2017-06-13 | 경일대학교산학협력단 | Apparatus for processing picture adapted to protect privacy, method thereof and computer recordable medium storing the method |
KR101746168B1 (en) | 2016-01-28 | 2017-06-27 | 경일대학교산학협력단 | Apparatus for processing image of vehicle black box, method thereof and computer recordable medium storing the method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113744227B (en) * | 2021-08-27 | 2023-10-13 | 北京航空航天大学 | Semantic segmentation method based on various confusable small parts |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100576802B1 (en) * | 2003-10-29 | 2006-05-10 | 한국전자통신연구원 | The Method for embedding and extracting blindly watermarks by using wavelet transform and HVS |
KR100660191B1 (en) | 2005-11-11 | 2006-12-21 | 고려대학교 산학협력단 | Apparatus and method for inserting/detecting a dual watermark |
KR20090061260A (en) * | 2007-12-11 | 2009-06-16 | 지엠대우오토앤테크놀로지주식회사 | Assembly structure of radiator for a vehicle |
KR20110003809A (en) * | 2009-07-06 | 2011-01-13 | 한국과학기술원 | System for watermarking in various illumination and method therefor |
-
2011
- 2011-04-01 KR KR1020110030302A patent/KR101220420B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100576802B1 (en) * | 2003-10-29 | 2006-05-10 | 한국전자통신연구원 | The Method for embedding and extracting blindly watermarks by using wavelet transform and HVS |
KR100660191B1 (en) | 2005-11-11 | 2006-12-21 | 고려대학교 산학협력단 | Apparatus and method for inserting/detecting a dual watermark |
KR20090061260A (en) * | 2007-12-11 | 2009-06-16 | 지엠대우오토앤테크놀로지주식회사 | Assembly structure of radiator for a vehicle |
KR20110003809A (en) * | 2009-07-06 | 2011-01-13 | 한국과학기술원 | System for watermarking in various illumination and method therefor |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101746167B1 (en) | 2016-01-28 | 2017-06-13 | 경일대학교산학협력단 | Apparatus for processing picture adapted to protect privacy, method thereof and computer recordable medium storing the method |
KR101746168B1 (en) | 2016-01-28 | 2017-06-27 | 경일대학교산학협력단 | Apparatus for processing image of vehicle black box, method thereof and computer recordable medium storing the method |
Also Published As
Publication number | Publication date |
---|---|
KR20120111669A (en) | 2012-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100841848B1 (en) | Electronic watermark detecting method, apparatus and recording medium for recording program | |
CN102147912B (en) | Adaptive difference expansion-based reversible image watermarking method | |
US8553881B2 (en) | Composite masking system and method for improving invisibility of high-definition video watermarking | |
KR101220420B1 (en) | Hybrid video forensic watermarking system | |
US7581104B2 (en) | Image watermaking method using human visual system | |
KR20150005472A (en) | Method and device for assessing the presence of a watermark in a video | |
JP2009521181A (en) | Blind detection for digital cinema | |
Islam et al. | DWT based digital watermarking technique and its robustness on image rotation, scaling, JPEG compression, cropping and multiple watermarking | |
Hakka et al. | DCT-OFDM based watermarking scheme robust against clipping attack | |
KR101785195B1 (en) | Feature Points Based Watermarking Method for Depth-Image-Based Rendering Based 3D Images and Apparatus Therefor | |
KR101362449B1 (en) | Apparatus and method for digital watermarking | |
KR100768838B1 (en) | Scalable digital fingerprinting for high-definition video streaming service | |
KR101496854B1 (en) | Digital fingerprinting method | |
WO2012142118A2 (en) | Detecting video formats | |
KR101104649B1 (en) | The Video Watermarking System for Inaccessible Contents Using Overlay Channel and the Method Thereof | |
KR100945726B1 (en) | Apparatus for watermarking based on local auto-correlation function and method therefor | |
JP4563857B2 (en) | Time synchronization recovery method and apparatus for digital watermark detection for moving images | |
JP4566803B2 (en) | Spatial synchronization recovery method and apparatus for digital watermark detection for moving images | |
JP2010141591A (en) | Digital watermark embedding method and device, and digital watermark detecting method and device | |
JP2008158946A (en) | Image processing system | |
US20050036174A1 (en) | Method and apparatus for providing a noise estimation for automatic selection of dither patterns in low frequency watermarks | |
JP4691147B2 (en) | Digital watermark detection apparatus, method and program | |
KR101271197B1 (en) | Watermarking system using horizontal noise mean shifting | |
KR101054823B1 (en) | Watermarking System and Method in Various Illuminance Environments | |
Bedi et al. | NPT based video watermarking with non-overlapping block matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151229 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161227 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |