KR102289397B1 - Apparatus and method for inserting just in time forensic watermarks - Google Patents

Apparatus and method for inserting just in time forensic watermarks Download PDF

Info

Publication number
KR102289397B1
KR102289397B1 KR1020190143372A KR20190143372A KR102289397B1 KR 102289397 B1 KR102289397 B1 KR 102289397B1 KR 1020190143372 A KR1020190143372 A KR 1020190143372A KR 20190143372 A KR20190143372 A KR 20190143372A KR 102289397 B1 KR102289397 B1 KR 102289397B1
Authority
KR
South Korea
Prior art keywords
information
embedding
watermark
blocks
content
Prior art date
Application number
KR1020190143372A
Other languages
Korean (ko)
Other versions
KR20210056657A (en
Inventor
박병선
박상호
윤성주
Original Assignee
(주)잉카엔트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)잉카엔트웍스 filed Critical (주)잉카엔트웍스
Priority to KR1020190143372A priority Critical patent/KR102289397B1/en
Publication of KR20210056657A publication Critical patent/KR20210056657A/en
Application granted granted Critical
Publication of KR102289397B1 publication Critical patent/KR102289397B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0064—Image watermarking for copy protection or copy management, e.g. CGMS, copy only once, one-time copy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 적시의 포렌식 워터마크 임베딩 장치 및 방법에 관한 것으로, 본 발명에 따른 적시의 포렌식 워터마크 임베딩 장치는, 임베딩 정보, 클라이언트 메타데이터 및 워터마크 정보를 저장하기 위한 데이터베이스 유닛; 원본 콘텐츠의 소정의 콘텐츠 구간마다 블록들을 분석하여 워터마크 정보를 임베딩할 블록들에 대한 임베딩 정보를 데이터베이스 유닛에 저장하고, 원본 콘텐츠를 저장하는 전처리 유닛; 및 클라이언트 메타데이터가 입력되면, 클라이언트 메타데이터로부터 워터마크 정보를 생성하고, 클라이언트 메타데이터 및 워터마크 정보를 연계하여 데이터베이스 유닛에 저장하고, 데이터베이스 유닛에 저장된 임베딩 정보를 이용하여 전처리 유닛으로부터 제공되는 원본 콘텐츠에 워터마크 정보를 임베딩하여 출력하는 배포 유닛을 포함함으로써, 적시의 응답성을 보장하면서도 공모 공격에 강인한 포렌식 워터마크를 제공할 수 있다.The present invention relates to a timely forensic watermark embedding apparatus and method, wherein a timely forensic watermark embedding apparatus according to the present invention comprises: a database unit for storing embedding information, client metadata and watermark information; a pre-processing unit that analyzes blocks for each predetermined content section of the original content, stores embedding information for blocks in which watermark information is to be embedded, in a database unit, and stores the original content; and when the client metadata is input, watermark information is generated from the client metadata, the client metadata and the watermark information are linked and stored in the database unit, and the original provided from the pre-processing unit using the embedding information stored in the database unit By including a distribution unit that embeds and outputs watermark information in content, it is possible to provide a forensic watermark that is robust against collusion attacks while ensuring timely responsiveness.

Figure R1020190143372
Figure R1020190143372

Description

적시의 포렌식 워터마크 임베딩 장치 및 방법{APPARATUS AND METHOD FOR INSERTING JUST IN TIME FORENSIC WATERMARKS}Apparatus and method for timely forensic watermark embedding

본 발명은 적시의 포렌식 워터마크 임베딩 장치 및 방법에 관한 것으로, 특히 실시간에 가까운 응답성을 보장하면서도 공모 공격에 강인한 적시의 포렌식 워터마크 임베딩 장치 및 방법에 관한 것이다. The present invention relates to a timely forensic watermark embedding apparatus and method, and more particularly, to a timely forensic watermark embedding apparatus and method that is robust against collusion attacks while ensuring responsiveness close to real time.

서버 사이드에서 포렌식 워터마크를 임베딩하기 위해서는 실시간으로 사용자 정보를 임베딩해야 하는 어려움을 극복해야 한다. 이러한 어려움을 극복하기 위해, 전처리 과정을 통해 원본 콘텐츠에 워터마크 0을 임베딩한 0 콘텐츠 파일과 원본 콘텐츠에 워터마크 1을 임베딩한 1 콘텐츠 파일을 생성한 후에, 사용자 정보에 근거하여 실시간으로 전처리 과정에서 생성된 0 콘텐츠 파일과 1 콘텐츠 파일을 조합하여 포렌식 워터마크를 임베딩하는 방식이 사용되고 있다.In order to embed a forensic watermark on the server side, it is necessary to overcome the difficulty of embedding user information in real time. In order to overcome this difficulty, after creating a 0 content file with watermark 0 embedded in the original content and a 1 content file embedding watermark 1 in the original content through preprocessing, a preprocessing process in real time based on user information A method of embedding a forensic watermark by combining 0 content files and 1 content files created in .

하지만, 이 방식은 복수의 사용자가 각자가 자신이 가진 콘텐츠의 일부 구간을 섞어 쉽게 포렌식 워터마크를 무력화할 수 있는 치명적인 단점이 있다. 예를 들면, 두 명의 사용자가 각자 내려받은 콘텐츠 섹션들을 섞여서 완전히 다른 콘텐츠 파일을 만들어 서비스 제공자가 임베딩한 정보를 무력화할 수 있다. However, this method has a fatal disadvantage that a plurality of users can easily neutralize the forensic watermark by mixing some sections of their own content. For example, two users can shuffle their downloaded content sections to create a completely different content file, overriding information embedded by a service provider.

상술한 문제점을 해결하기 위해, 본 발명은 실시간에 가까운 응답성을 보장하면서도 공모 공격에 강인한 적시의 포렌식 워터마크 임베딩 장치 및 방법을 제공하는 것을 목적으로 한다. In order to solve the above problems, an object of the present invention is to provide a timely forensic watermark embedding apparatus and method that is robust against collusion attacks while ensuring responsiveness close to real time.

상술한 목적을 달성하기 위해, 본 발명의 일실시예에 따른 적시의 포렌식 워터마크 임베딩 장치는, 임베딩 정보, 클라이언트 메타데이터 및 워터마크 정보를 저장하기 위한 데이터베이스 유닛; 원본 콘텐츠의 소정의 콘텐츠 구간마다 블록들을 분석하여 워터마크 정보를 임베딩할 블록들에 대한 상기 임베딩 정보를 상기 데이터베이스 유닛에 저장하고, 상기 원본 콘텐츠를 저장하는 전처리 유닛; 및 클라이언트 메타데이터가 입력되면 상기 클라이언트 메타데이터로부터 상기 워터마크 정보를 생성하고, 상기 클라이언트 메타데이터 및 상기 워터마크 정보를 연계하여 상기 데이터베이스 유닛에 저장하고, 상기 데이터베이스 유닛에 저장된 상기 임베딩 정보를 이용하여 상기 전처리 유닛으로부터 제공되는 상기 원본 콘텐츠에 상기 워터마크 정보를 임베딩하여 출력하는 배포 유닛을 제공한다.In order to achieve the above object, a timely forensic watermark embedding apparatus according to an embodiment of the present invention includes: a database unit for storing embedding information, client metadata and watermark information; a pre-processing unit that analyzes blocks for each predetermined content section of the original content, stores the embedding information for blocks to which watermark information is to be embedded in the database unit, and stores the original content; and when client metadata is input, the watermark information is generated from the client metadata, the client metadata and the watermark information are linked and stored in the database unit, and the embedding information stored in the database unit is used to generate the watermark information. and a distribution unit for embedding and outputting the watermark information in the original content provided from the pre-processing unit.

상기 원본 콘텐츠는 동영상 콘텐츠이고, 상기 소정의 콘텐츠 구간은 GOP(Group Of Picture) 콘텐츠와 관련이 있고, 상기 전처리 유닛은 상기 GOP 콘텐츠 중 소정의 프레임의 블록들을 분석하여 워터마크 정보를 임베딩할 블록들에 대한 위치 정보를 상기 임베딩 정보로 저장할 수 있다.The original content is moving picture content, the predetermined content section is related to GOP (Group Of Picture) content, and the pre-processing unit analyzes blocks of a predetermined frame among the GOP contents to obtain blocks for embedding watermark information. It is possible to store the location information about the embedding information as the embedding information.

상기 전처리 유닛은 상기 소정의 프레임에 상기 워터마크 정보를 페이로딩할 수 있는 개수를 만족하는 블록들이 있는지를 확인할 수 있다.The pre-processing unit may check whether there are blocks satisfying the number of payloads of the watermark information in the predetermined frame.

상기 소정의 프레임은 인트라 프레임이고, 상기 전처리 유닛은 상기 인트라 프레임에서 부호화된 영상의 블록들을 이용하여 소정 크기 이하의 서브블록을 선택하고, 상기 소정 크기 이하의 서브블록만으로 이루어진 매크로블록을 임베딩 가능 블록으로 선택할 수 있다.The predetermined frame is an intra frame, and the pre-processing unit selects a subblock of a predetermined size or less using blocks of an image encoded in the intra frame, and embeds a macroblock consisting of only subblocks of the predetermined size or less into an embeddable block can be selected as

상기 전처리 유닛은 상기 임베딩 가능 블록의 양자화 계수들 중에서 영이 아닌 양자화 계수들(nonzero quantized coefficients: NNZ)의 수가 소정의 개수(Nt)보다 더 큰 지를 확인하고, 상기 NNZ가 가장 큰 매크로블록으로부터 상기 워터마크 정보를 페이로딩할 수 있는 개수만큼을 최종 임베딩 블록으로 결정할 수 있다.The pre-processing unit determines whether a number of nonzero quantized coefficients (NNZ) among quantization coefficients of the embeddable block is greater than a predetermined number Nt, and selects the water from the macroblock having the largest NNZ. The number of mark information that can be payloaded may be determined as the final embedding block.

상기 전처리 유닛은 시간적 플리커를 방지하거나 감소시키기 위해 의사 움직임 벡터(pseudo motion vector)를 계산하여 상기 최종 임베딩 블록을 결정할 수 있다. The pre-processing unit may determine the final embedding block by calculating a pseudo motion vector to prevent or reduce temporal flicker.

상기 전처리 유닛은 상기 GOP 콘텐츠 중 상기 소정의 프레임의 블록들을 분석하여 특정의 워터마크 정보를 임베딩할 프레임과 블록들에 대한 특정 임베딩 정보 및 임의의 워터마크 정보를 임베당할 프레임과 블록들에 대한 임의 임베딩 정보를 상기 데이터베이스 유닛에 저장하고, 상기 전처리 유닛은 상기 임의 임베딩 정보를 이용하여 상기 원본 콘텐츠에 상기 임의의 워터마크 정보를 임베딩하여 임의 정보 콘텐츠를 생성하여 저장하고, 상기 배포 유닛은 상기 클라이언트 메타데이터로부터 상기 특정의 워터마크 정보를 생성하고, 상기 데이터베이스 유닛에 저장된 상기 특정 임베딩 정보를 이용하여 상기 전처리 유닛으로부터 제공되는 상기 원본 콘텐츠에 상기 특정의 워터마크 정보를 임베딩하여 출력하고, 임의 임베딩 정보와 관련된 프레임이 있을 때에는 상기 원본 콘텐츠 대신 임의 정보 콘텐츠를 선택하여 출력할 수 있다.The pre-processing unit analyzes blocks of the predetermined frame among the GOP contents, and includes specific embedding information for frames and blocks in which specific watermark information is to be embedded, and arbitrary frames and blocks to which watermark information is to be embedded. storing embedding information in the database unit, the pre-processing unit embedding the arbitrary watermark information in the original content using the arbitrary embedding information to generate and store arbitrary information content, and the distribution unit includes the client meta generating the specific watermark information from data, embedding and outputting the specific watermark information in the original content provided from the pre-processing unit using the specific embedding information stored in the database unit, and outputting the specific embedding information and When there is a related frame, it is possible to select and output arbitrary information content instead of the original content.

본 발명의 또 하나의 실시예에 따른 데이터베이스 유닛을 포함하는 장치에 의해 수행되는 적시의 포렌식 워터마크 임베딩 방법은, 원본 콘텐츠의 소정의 콘텐츠 구간마다 블록들을 분석하여 워터마크 정보를 임베딩할 블록들에 대한 임베딩 정보를 상기 데이터베이스 유닛에 저장하고, 상기 원본 콘텐츠를 저장하는 단계; 클라이언트 메타데이터가 입력되면, 상기 클라이언트 메타데이터로부터 워터마크 정보를 생성하고, 상기 클라이언트 메타데이터 및 상기 워터마크 정보를 연계하여 상기 데이터베이스 유닛에 저장하는 단계; 및 상기 데이터베이스 유닛에 저장된 상기 임베딩 정보를 이용하여 상기 원본 콘텐츠를 저장하는 단계에서 저장된 상기 원본 콘텐츠에 상기 워터마크 정보를 임베딩하여 출력하는 단계를 제공함으로써, 상술한 목적을 달성할 수 있다.A timely forensic watermark embedding method performed by an apparatus including a database unit according to another embodiment of the present invention analyzes blocks for each predetermined content section of original content to embed watermark information into blocks to be embedded. storing the embedding information for the information in the database unit, and storing the original content; when client metadata is input, generating watermark information from the client metadata, and storing the client metadata and the watermark information in association with the database unit; and embedding and outputting the watermark information in the stored original content in the storing of the original content using the embedding information stored in the database unit, thereby achieving the above object.

상술한 구성에 의해, 본 발명은 미리 워터마크 정보가 임베딩될 프레임 정보와 프레임의 블록 정보를 분석하여 저장해 둠으로써, 적시의 응답성을 보장하면서도 공모 공격에 강인한 포렌식 워터마크를 제공할 수 있다.With the above configuration, the present invention can provide a forensic watermark that is robust against collusion attacks while ensuring timely responsiveness by analyzing and storing frame information and block information of the frame in which watermark information is to be embedded in advance.

본 발명은 또한, 특정의 사용자 정보와 임의의 사용자 정보 둘 다를 포렌식 정보로 이용함으로써, 적시의 응답성을 보장하면서도 공모 공격에 강인한 포렌식 마크를 제공할 수 있다. The present invention can also provide a forensic mark robust against collusion attacks while ensuring timely responsiveness by using both specific user information and arbitrary user information as forensic information.

도 1은 본 발명의 일 실시예에 따른 포렌식 워터마크 임베딩 장치를 도시하는 블록도이다.
도 2는 도 1의 블록 분석부에서 선택된 블록들의 일 예를 도시하는 도면이다.
도 3은 도 1의 프레임 결합부에서 프레임들이 결합된 배포 콘텐츠의 일 예를 도시하는 도면이다.
도 4는 도 1의 데이터베이스 유닛에 저장된 정보들의 일 예를 도시하는 도면이다.
도 5는 본 발명의 또 하나의 실시예에 따른 포렌식 워터마크 임베딩 장치를 도시하는 블록도이다.
도 6은 도 5의 임의 정보 임베딩부에서 임베딩한 결과의 일 예를 도시하는 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 포렌식 워터마크 임베딩 방법을 도시하는 흐름도이다.1 is a block diagram illustrating a forensic watermark embedding apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of blocks selected by the block analyzer of FIG. 1 .
FIG. 3 is a diagram illustrating an example of distributed content in which frames are combined in the frame combining unit of FIG. 1 .
FIG. 4 is a diagram illustrating an example of information stored in the database unit of FIG. 1 .
5 is a block diagram illustrating a forensic watermark embedding apparatus according to another embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a result of embedding in the arbitrary information embedding unit of FIG. 5 .
7 is a flowchart illustrating a forensic watermark embedding method according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 적시의 포렌식 워터마크 임베딩 장치 및 방법의 바람직한 실시예를 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어서, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다. Hereinafter, preferred embodiments of a timely forensic watermark embedding apparatus and method according to the present invention will be described with reference to the accompanying drawings. For reference, in describing the present invention below, terms referring to the components of the present invention are named in consideration of the function of each component, so it should not be construed as limiting the technical components of the present invention. will be

도 1은 본 발명의 일 실시예에 따른 포렌식 워터마크 임베딩 장치를 도시하는 블록도이고, 도 2는 도 1의 블록 분석부에서 선택된 블록들의 일 예를 도시하는 도면이고, 도 3은 도 1의 프레임 결합부에서 프레임들이 결합된 배포 콘텐츠의 일 예를 도시하는 도면이고, 도 4는 도 1의 데이터베이스 유닛에 저장된 정보들의 일 예를 도시하는 도면이다.1 is a block diagram illustrating an apparatus for embedding a forensic watermark according to an embodiment of the present invention, FIG. 2 is a diagram illustrating an example of blocks selected by the block analyzer of FIG. 1, and FIG. 3 is a diagram of FIG. It is a diagram illustrating an example of distribution content in which frames are combined in a frame combining unit, and FIG. 4 is a diagram illustrating an example of information stored in the database unit of FIG. 1 .

도 1에 도시된 바와 같이, 포렌식 워터마크 임베딩 장치는 전처리 유닛(110), 배포 유닛(120) 및 데이터베이스 유닛(130)을 포함한다. As shown in FIG. 1 , the forensic watermark embedding apparatus includes a pre-processing unit 110 , a distribution unit 120 , and a database unit 130 .

전처리 유닛(110)은 콘텐츠 ID 부여부(112), 프레임 추출부(114), 블록 분석부(116) 및 콘텐츠 저장부(118)를 포함할 수 있다.The pre-processing unit 110 may include a content ID granting unit 112 , a frame extracting unit 114 , a block analyzing unit 116 , and a content storage unit 118 .

콘텐츠 ID 부여부(112)는 원본 콘텐츠가 입력되면 관리를 위한 콘텐츠 ID를 부여한다. 콘텐츠 ID 부여부(112)는 원본 콘텐츠가 동일하면, 항상 동일한 콘텐츠 ID를 부여하는 것이 바람직하지만, 원본 콘텐츠가 전처리 유닛(110)에 입력될 때마다 시리즈 형태의 콘텐츠 ID를 부여할 수도 있다. 콘텐츠 ID 부여부(112)는 원본 콘텐츠와 관련된 콘텐츠 ID를 데이터베이스 유닛(130)에 저장한다. The content ID granting unit 112 grants a content ID for management when original content is input. It is preferable that the content ID granting unit 112 always assign the same content ID when the original content is the same, but may also grant a series-type content ID whenever the original content is input to the pre-processing unit 110 . The content ID granting unit 112 stores the content ID associated with the original content in the database unit 130 .

프레임 추출부(114)는 원본 콘텐츠로부터 인트라 프레임을 추출한다. 원본 콘텐츠가 동영상 콘텐츠이면, 원본 콘텐츠는 복수의 GOP(Group Of Pictures)를 포함할 수 있다. 여기서 GOP는 프레임 내 부호화 영상인 인트라 프레임(I frame), 프레임 간 순방향 예측의 부호화 영상인 예측 프레임(P frame), 및 양방향 예측 부호화 영상인 양방향 예측 프레임(B frame)을 포함하며, 예를 들어 하나의 GOP는 I, B, B, P, B, B, P, B, B, P, B, B, P, B, B으로 구성될 수 있다. 여기서 프레임 추출부(114)가 추출하는 프레임의 예시로 인트라 프레임이 사용되었을 뿐이며, 예측 프레임(P frame)과 양방향 예측 프레임(B frame)을 배제하는 것이 아니다. The frame extraction unit 114 extracts an intra frame from the original content. If the original content is video content, the original content may include a plurality of Group Of Pictures (GOPs). Here, the GOP includes an intra frame (I frame) that is an intra-frame coded image, a prediction frame (P frame) that is an coded image of inter-frame forward prediction, and a bi-directional prediction frame (B frame) that is a bi-prediction coded image, for example. One GOP may be composed of I, B, B, P, B, B, P, B, B, P, B, B, P, B, B. Here, an intra frame is only used as an example of the frame extracted by the frame extraction unit 114, and the prediction frame (P frame) and the bidirectional prediction frame (B frame) are not excluded.

블록 분석부(116)는 프레임 추출부(114)에서 추출되어 출력된 인트라 프레임을 입력으로 받아 온전한 워터마크를 표현할 수 있는 블록들을 분석하여 배포 유닛(120)에서 워터마킹에 이용될 프레임을 선택할 수 있다. 이 경우, 동영상이라면, 하나의 프레임 내에 페이로드 모두를 표현할 수 있는 블록들이 있는지를 분석하여 선택할 수 있다.The block analysis unit 116 receives the intra frame extracted and output from the frame extraction unit 114 as an input, analyzes blocks capable of expressing a complete watermark, and selects a frame to be used for watermarking in the distribution unit 120 . there is. In this case, if it is a moving picture, it can be selected by analyzing whether there are blocks capable of expressing all the payloads in one frame.

블록 분석부(116)는 부호화된 영상의 인트라 프레임에서 소정 크기 이하의 블록, 즉 부호화된 영상의 가장 작은 블록을 선택한다. 블록 분석부(116)는 예를 들어, 인트라 프레임에서 4 X 4의 예측 블록의 휘도(luminance) 신호를 선택할 수 있다. 이에 의해, 인트라 프레임에서 소정 크기보다 큰 블록으로 부호화된 블록은 워터마크 정보를 임베딩할 블록 후보군에서 제외된다. 소정 크기보다 큰 블록으로 부호화된 블록을 후보군에서 제외하는 이유는 이들 블록의 영상이 평탄한(smooth) 영상에 가까우므로 이러한 블록에 워터마크가 임베딩될 경우 눈에 띌 가능성이 크기 때문이다. 그러므로 HEVC 규격에서 32 X 32, 32 X 16, 16 X 32 및 16 X 16의 블록들 중 어느 하나로 부호화되어 있는 경우, 이 블록은 평탄화 영상에 가까운 것으로 고려될 수 있고, AVC 규격에서 16 X 16, 8 X 16 및 16 X 8의 블록들 중 어느 하나로 부호화되어 있는 경우, 이 블록은 평탄화 영상에 가까운 것으로 고려될 수 있다.The block analyzer 116 selects a block of a predetermined size or less from the intra frame of the encoded image, that is, the smallest block of the encoded image. The block analyzer 116 may select, for example, a luminance signal of a 4×4 prediction block in an intra frame. Accordingly, a block encoded as a block larger than a predetermined size in the intra frame is excluded from the block candidate group for embedding watermark information. The reason for excluding blocks encoded as blocks larger than a predetermined size from the candidate group is that images of these blocks are close to smooth images, and thus, when a watermark is embedded in such a block, it is highly likely to stand out. Therefore, if any one of blocks of 32 X 32, 32 X 16, 16 X 32 and 16 X 16 is coded in the HEVC standard, this block may be considered as close to a flattened image, and in the AVC standard, 16 X 16, If any one of 8 X 16 and 16 X 8 blocks is coded, this block may be considered to be close to a flattened image.

블록 분석부(116)는 소정 크기 이하의 블록들만으로 구성된 매크로블록을 선택한다. 블록 분석부(116)는 예를 들어, AVC 규격의 경우 부호화된 영상의 인트라 프레임에서 선택된 4 X 4의 서브블록으로만 구성된 16 X 16의 매크로블록을 선택할 수 있다.The block analyzer 116 selects a macroblock composed of only blocks of a predetermined size or smaller. For example, in the case of the AVC standard, the block analyzer 116 may select a 16×16 macroblock including only 4×4 subblocks selected from an intra frame of an encoded image.

블록 분석부(116)는 선택된 매크로블록의 양자화 계수들 중에서 영이 아닌 양자화 계수들(nonzero quantized coefficients: NNZ)의 수가 소정의 개수(Nt)보다 더 큰 지를 확인한다. NNZ의 수가 소정의 개수(Nt)보다 더 크면, 블록 분석부(116)는 해당 블록들을 워터마크 정보가 임베딩 가능한 블록들로 선택한다. NNZ가 작은 경우에는 영상 복호화 과정에서 해당 매크로블록의 원래의 정보를 많이 잃어버리게 되어 동기화 에러가 커질 수 있는바, 이들을 고려하여 소정의 개수(Nt)를 설정하는 것이 중요하다.The block analyzer 116 determines whether the number of nonzero quantized coefficients (NNZ) among quantization coefficients of the selected macroblock is greater than a predetermined number Nt. If the number of NNZs is greater than the predetermined number Nt, the block analyzer 116 selects the blocks as blocks in which watermark information can be embedded. When the NNZ is small, a lot of original information of the corresponding macroblock is lost in the video decoding process, and a synchronization error may increase.

블록 분석부(116)는 워터마크 정보를 임베딩할 수 있는 매크로블록들의 수가 워터마크 정보를 페이로드할 수의 소정 개수, 예를 들어 64개 이상이면, 배포 유닛(120)에서 워터마크 정보가 임베딩될 프레임으로 선택한다. 블록 분석부(116)에서 분석한 결과에 따른 블록들의 일 예가 도 2에 도시되어 있다. 도 2에서 프레임들이 각각 인트라 프레임에 해당한다면, 제1 GOP의 인트라 프레임(Frame-1) 및 제1 GOP의 인트라 프레임(Frame-3)이 배포 유닛(120)에서 워터마크 정보를 임베딩할 프레임으로 선택된 것이다. If the number of macroblocks capable of embedding watermark information is a predetermined number, for example, 64 or more, the block analyzing unit 116 embeds the watermark information in the distribution unit 120 . Select the frame to be An example of blocks according to the analysis result by the block analyzer 116 is shown in FIG. 2 . If the frames in FIG. 2 correspond to intra frames, respectively, the intra frame (Frame-1) of the first GOP and the intra frame (Frame-3) of the first GOP are the frames to embed the watermark information in the distribution unit 120 . it will be chosen

한편, 워터마크 정보의 워터마크가 삽입된 영상은 시간적 플리커(temporal flicker)가 발생할 수 있다. 블록 분석부(116)는 이러한 시간적 플리커를 방지하거나 감소시키기 위해 의사 움직임 벡터(pseudo motion vector)를 계산하여 워터마크 정보가 임베딩될 최종 매크로블록들을 결정할 수 있다.Meanwhile, temporal flicker may occur in an image in which a watermark of watermark information is embedded. The block analyzer 116 may determine final macroblocks in which watermark information is to be embedded by calculating a pseudo motion vector in order to prevent or reduce such temporal flicker.

블록 분석부(116)는 워터마크가 임베딩될 최종 매크로블록이 결정되면, 프레임 정보와 프레임 내의 블록들의 위치 정보를 데이터베이스 유닛(130)에 저장한다.When the final macroblock in which the watermark is to be embedded is determined, the block analyzer 116 stores frame information and location information of blocks within the frame in the database unit 130 .

콘텐츠 저장부(118)는 원본 콘텐츠와 완전히 동일한 콘텐츠가 저장될 수 있으며, 장치에 따라서는 시퀀스 헤더에 나중에 워터마크가 임베딩될 프레임인지에 대한 정보가 포함된 콘텐츠가 저장될 수 있지만 동영상 프레임 자체에 변형이 발생된 것이 아니므로 본 발명에서는 이러한 모든 콘텐츠를 원본 콘텐츠로 통일하여 사용한다.The content storage unit 118 may store content exactly the same as the original content, and depending on the device, content including information on whether a frame in which a watermark will be embedded later may be stored in the sequence header, but in the video frame itself Since no deformation has occurred, in the present invention, all these contents are unified and used as original contents.

배포 유닛(120)은 클라이언트 메타데이터에 따라 워터마크 정보를 임베딩한 배포 콘텐츠를 출력하기 위해, 정보 생성부(122), 워터마크 임베딩부(124) 및 프레임 결합부(126)를 포함한다. The distribution unit 120 includes an information generating unit 122 , a watermark embedding unit 124 , and a frame combining unit 126 to output distribution content in which watermark information is embedded according to client metadata.

정보 생성부(122)는 사용자 디바이스 등으로부터 송신된 클라이언트 메타데이터(metadata)를 수신하고, 이 클라이언트 메타데이터를 이용하여 콘텐츠의 사용자 등을 특정할 수 있는 정보를 생성한다. 여기서 클라이언트 메타데이터는 사용자 정보 또는 일시(일자/시간) 정보 등일 수 있다. 여기서 사용자 정보는 사용자가 사용하는 ID 정보 또는 사용자 디바이스 정보를 포함하며, 사용자 디바이스 정보는 사용자 디바이스의 고유 ID(예를 들면, IP 어드레스, MAC 어드레스 정보) 등의 정보일 수 있고, 일시 정보는 예를 들면 네트워크상의 시각 서버에서 시각 정보 프로토콜(NTP,Network Time Protocol,RFC-1305) 등을 이용하여 송신되는 것일 수 있다. The information generating unit 122 receives client metadata transmitted from a user device or the like, and uses the client metadata to generate information that can specify a user or the like of the content. Here, the client metadata may be user information or date/time (date/time) information. Here, the user information includes ID information or user device information used by the user, and the user device information may be information such as a unique ID (eg, IP address, MAC address information) of the user device, and the date and time information is, for example, For example, it may be transmitted using a time information protocol (NTP, Network Time Protocol, RFC-1305) from a time server on the network.

정보 생성부(122)는 콘텐츠의 사용자 등을 특정할 수 있는 워터마크 정보(Client-Request-ID)를 생성하여, 워터마크 임베딩부(124)에 제공하고, 데이터베이스 유닛(130)에 클라이언트 메타데이터와 연계하여 워터마크 정보를 저장한다.The information generating unit 122 generates watermark information (Client-Request-ID) capable of specifying a user of the content, and provides it to the watermark embedding unit 124 , and provides client metadata to the database unit 130 . Watermark information is stored in association with .

워터마크 임베딩부(124)는 정보 생성부(122)로부터 워터마크 정보를 수신하면, 데이터베이스 유닛(130)에 저장된 프레임 정보와 프레임 내의 블록들의 위치 정보를 불러온다. 워터마크 임베딩부(124)는 프레임 정보를 이용하여 콘텐츠 저장부(118)로부터 출력되는 GOP들 중에서 워터마크 정보를 임베딩할 인트라 프레임을 선택하고, 이 인트라 프레임의 블록들의 위치 정보를 이용하여 워터마크 정보를 임베딩하여 출력한다. 워터마크 임베딩부(124)는 워터마크 정보에 의해 사용자 등이 특정될 수 있도록, 블록 분석부(116)에서 선택된 모든 프레임에 대해서는 동일한 워터마크 정보를 임베딩한다. Upon receiving the watermark information from the information generating unit 122 , the watermark embedding unit 124 fetches frame information stored in the database unit 130 and location information of blocks within the frame. The watermark embedding unit 124 selects an intra frame in which the watermark information is to be embedded from among the GOPs output from the content storage unit 118 using the frame information, and uses the location information of the blocks of the intra frame to mark the watermark. It embeds information and outputs it. The watermark embedding unit 124 embeds the same watermark information for all frames selected by the block analysis unit 116 so that a user or the like can be specified by the watermark information.

프레임 결합부(126)는 콘텐츠 저장부(118)로부터 출력되는 원본 콘텐츠들과 워터마크 임베딩부(124)로부터 출력되는 워터마크 콘텐츠들을 결합하여 배포 콘텐츠 파일을 출력한다. 프레임 결합부(126)에서 프레임들이 결합된 배포 콘텐츠의 일 예가 도 3에 도시되어 있다. 도 3에도 도 2와 같이, 블록의 수가 4개만 도시되어 있지만, 블록의 수는 워터마크 정보의 페이로드를 모두 표시할 수 있는 수, 예를 들어 64개일 수 있다. The frame combining unit 126 combines the original contents output from the content storage unit 118 and the watermark contents output from the watermark embedding unit 124 to output a distribution content file. An example of distribution content in which frames are combined in the frame combining unit 126 is shown in FIG. 3 . Although only 4 blocks are shown in FIG. 3 as well as in FIG. 2 , the number of blocks may be a number capable of displaying all payloads of watermark information, for example, 64 blocks.

데이터베이스 유닛(130)은 콘텐츠 ID 부여부(112)에서 부여된 콘텐츠 ID를 저장하며, 블록 분석부(116)에서 선택된 프레임 정보와 프레임 내의 블록들의 위치 정보를 저장한다. 이에 의해, 이들 정보는 배포 유닛(120)에서 포렌식 워터마크를 임베딩할 때에 실시간에 가깝게, 즉 적시에 워터마크를 임베딩하여 송신할 수 있다. The database unit 130 stores the content ID assigned by the content ID assigning unit 112 , and stores information on the frame selected by the block analyzing unit 116 and location information of blocks within the frame. Thereby, when embedding the forensic watermark in the distribution unit 120, these information can be transmitted close to real-time, that is, embedding the watermark in a timely manner.

데이터베이스 유닛(130)은 또한, 정보 생성부(122)에 입력된 클라이언트 메타데이터와 정보 생성부(122)에서 생성된 워터마크 정보를 저장한다. 워터마크 정보는 배포 유닛(120)에서 입력된 클라이언트 메타데이터와 함께 연계되어 저장되므로, 나중에 워터마크 정보의 사용자를 특정할 수 있다. 데이터베이스 유닛(130)에 저장된 정보들의 일 예가 도 4에 도시되어 있다.The database unit 130 also stores the client metadata input to the information generating unit 122 and the watermark information generated by the information generating unit 122 . Since the watermark information is stored in association with the client metadata input in the distribution unit 120, the user of the watermark information can be specified later. An example of information stored in the database unit 130 is shown in FIG. 4 .

도 5는 본 발명의 또 하나의 실시예에 따른 포렌식 워터마크 임베딩 장치를 도시하는 블록도이고, 도 6은 도 5의 임의 정보 임베딩부에서 임베딩한 결과의 일 예를 도시하는 도면이다. 5 is a block diagram illustrating an apparatus for embedding a forensic watermark according to another embodiment of the present invention, and FIG. 6 is a diagram illustrating an example of a result of embedding in the arbitrary information embedding unit of FIG. 5 .

도 5에 도시된 바와 같이, 포렌식 워터마크 임베딩 장치는 전처리 유닛(110), 배포 유닛(120) 및 데이터베이스 유닛(130)을 포함한다. As shown in FIG. 5 , the forensic watermark embedding apparatus includes a pre-processing unit 110 , a distribution unit 120 , and a database unit 130 .

전처리 유닛(110)은 콘텐츠 ID 부여부(112), 프레임 추출부(114), 블록 분석부(116) 및 콘텐츠 저장부(118), 임의 정보 생성부(512), 임의 정보 임베딩부(514) 및 임의 정보 콘텐츠 저장부(516)를 포함할 수 있다.The pre-processing unit 110 includes a content ID granting unit 112 , a frame extracting unit 114 , a block analyzing unit 116 and a content storage unit 118 , an arbitrary information generating unit 512 , and an arbitrary information embedding unit 514 . and an arbitrary information content storage unit 516 .

콘텐츠 ID 부여부(112)는 원본 콘텐츠가 입력되면 관리를 위한 콘텐츠 ID를 부여한다. 프레임 추출부(114)는 원본 콘텐츠로부터 인트라 프레임을 추출한다. The content ID granting unit 112 grants a content ID for management when original content is input. The frame extraction unit 114 extracts an intra frame from the original content.

블록 분석부(116)는 프레임 추출부(114)에서 추출되어 출력된 소정 개수, 예컨대 20개의 인트라 프레임을 한 세트의 입력으로 받아 온전한 워터마크를 표현할 수 있는 블록들을 분석하여 이후 워터마킹에 이용될 프레임들을 선택할 수 있다. 블록 분석부(116)는 부호화된 영상의 인트라 프레임에서 소정 크기 이하의 블록, 즉 부호화된 영상의 블록들 중 가장 작은 블록을 선택한다. 블록 분석부(116)는 소정 크기 이하의 블록들만으로 구성된 매크로블록을 선택한다. 블록 분석부(116)는 예를 들어, AVC 규격의 경우 부호화된 영상의 인트라 프레임에서 선택된 4 X 4의 서브블록으로만 구성된 16 X 16의 매크로블록을 선택할 수 있다.The block analyzer 116 receives a predetermined number, for example, 20 intra frames extracted and output from the frame extractor 114 as a set of inputs, analyzes blocks capable of expressing a complete watermark, and is subsequently used for watermarking. Frames can be selected. The block analyzer 116 selects a block having a predetermined size or smaller in the intra frame of the encoded image, that is, the smallest block among blocks of the encoded image. The block analyzer 116 selects a macroblock composed of only blocks of a predetermined size or smaller. For example, in the case of the AVC standard, the block analyzer 116 may select a 16×16 macroblock including only 4×4 subblocks selected from an intra frame of an encoded image.

블록 분석부(116)는 선택된 매크로블록의 양자화 계수들 중에서 영이 아닌 양자화 계수들(nonzero quantized coefficients: NNZ)의 수가 소정의 개수(Nt)보다 더 큰 지를 확인한다. NNZ의 수가 소정의 개수(Nt)보다 더 크면, 블록 분석부(116)는 해당 블록을 워터마크 정보를 임베딩할 수 있는 블록으로 선택한다. 블록 분석부(116)는 워터마크 정보를 페이로드할 매크로블록들의 수가 소정 개수 이상이면, NNZ가 큰 매크로블록부터 64개의 매크로블록을 워터마크 정보를 임베딩할 최종 매크로블록들로 결정한다. The block analyzer 116 determines whether the number of nonzero quantized coefficients (NNZ) among quantization coefficients of the selected macroblock is greater than a predetermined number Nt. If the number of NNZs is greater than the predetermined number Nt, the block analyzer 116 selects the corresponding block as a block capable of embedding watermark information. If the number of macroblocks for which the watermark information is to be payloaded is greater than or equal to a predetermined number, the block analyzer 116 determines 64 macroblocks from a macroblock having a large NNZ as the final macroblocks into which the watermark information is to be embedded.

블록 분석부(116)는 워터마크를 정보를 임베딩할 수 있는 프레임들 중에서 특정의 워터마크 정보를 임베딩하기 위해 예를 들어, 플리커에 가장 강인한 프레임을 특정의 워터마크 정보를 임베딩할 프레임으로 선택하고, 나머지 프레임들에 대해서는 임의의 워터마크 정보를 임베딩하기 위해 임의 정보 임베딩부(514)로 출력할 수 있다. The block analyzer 116 selects, for example, the frame most resistant to flicker as a frame to embed specific watermark information, in order to embed specific watermark information among frames in which watermark information can be embedded. , may be output to the arbitrary information embedding unit 514 for embedding arbitrary watermark information for the remaining frames.

임의 정보 생성부(512)는 블록 분석부(116)로부터 출력되어 입력된 프레임들에 임베딩될 임의의 워터마크 정보를 생성한다. 여기서 콘텐츠 ID가 0x10이고 유일한 값들이 각각 50afsd, 22sdss 또는 xxxxxx 라고 한다면, 임의의 워터마크 정보는 0x10-50afsd, 0x10-22sdss 또는 0x10-xxxxxx이다. 임의 정보 생성부(512)에서 생성된 임의의 워터마크 정보는 또한, 영상 분석의 훼손을 방지하기 위한 CRC 등의 정보, 영상의 소유자(배포자)를 표시하기 위한 배포 정보, 또는 영상 검출에 필요한 메타 정보와 관련된 워터마크 정보일 수 있다.The arbitrary information generating unit 512 generates arbitrary watermark information to be embedded in the input frames output from the block analyzing unit 116 . Here, if the content ID is 0x10 and the unique values are 50afsd, 22sdss or xxxxxx, respectively, the arbitrary watermark information is 0x10-50afsd, 0x10-22sdss or 0x10-xxxxxx. The arbitrary watermark information generated by the arbitrary information generating unit 512 also includes information such as CRC for preventing damage to image analysis, distribution information for indicating the owner (distributor) of the image, or meta necessary for image detection. It may be watermark information related to the information.

임의 정보 임베딩부(514)는 블록 분석부(116)에서 선택된 복수의 프레임들 각각에 임의 정보 생성부(512)에서 생성된 임의의 워터마크 정보를 임베딩하여 임의 정보 콘텐츠를 생성할 수 있다. 임의 정보 임베딩부(514)는 임의의 워터마크 정보로 영상 분석의 훼손 등을 방지하도록 블록 분석부(116)에서 선택된 모든 프레임에 대해서는 동일한 임의의 워터마크 정보로 임베딩한다. 예를 들면, 임의 정보 생성부(512)에서 생성된 임의의 워터마크 정보 0x10-50afsd가 블록 분석부(116)에서 선택된 모든 프레임에 대해 동일한 임의의 워터마크 정보로 임베딩되어야 한다. The arbitrary information embedding unit 514 may generate arbitrary information content by embedding the arbitrary watermark information generated by the arbitrary information generating unit 512 in each of the plurality of frames selected by the block analyzing unit 116 . The arbitrary information embedding unit 514 embeds the same arbitrary watermark information for all frames selected by the block analysis unit 116 to prevent damage to image analysis with arbitrary watermark information. For example, the arbitrary watermark information 0x10-50afsd generated by the arbitrary information generating unit 512 should be embedded with the same arbitrary watermark information for all frames selected by the block analyzing unit 116 .

임의 정보 임베딩부(514)에서의 임의의 워터마크 정보의 임베딩 결과, 임의 정보 임베딩부(514)로부터 출력되는 모든 프레임은 그 자체로 온전한 임의의 워터마크 정보(Unique-Content-ID)를 갖는다. 임의 정보 임베딩부(514)에서 임베딩한 결과가 도 6에 도시되어 있다. 도 6에는 블록의 수가 4개만 도시되어 있지만, 블록의 수는 임의의 워터마크 정보 0x10-50afsd의 페이로드를 모두 표시할 수 있는 수, 예를 들어 64개, 필요에 따라서는 특정의 워터마크 정보의 페이로드보다 적은 32개일 수 있다. 임의 정보 임베딩부(514)는 데이터베이스 유닛(130)에 임의의 워터마크 정보들을 저장한다.As a result of embedding arbitrary watermark information in the arbitrary information embedding unit 514, all frames output from the arbitrary information embedding unit 514 have their own complete arbitrary watermark information (Unique-Content-ID). The result of embedding by the arbitrary information embedding unit 514 is shown in FIG. Although only 4 blocks are shown in Fig. 6, the number of blocks is a number that can display all the payloads of arbitrary watermark information 0x10-50afsd, for example 64, if necessary, specific watermark information It may be 32 which is less than the payload of . The arbitrary information embedding unit 514 stores arbitrary watermark information in the database unit 130 .

콘텐츠 저장부(118)는 원본 콘텐츠와 완전히 동일 또는 유사한 콘텐츠가 저장될 수 있다. The content storage unit 118 may store content exactly the same as or similar to the original content.

임의 정보 콘텐츠 저장부(516)는 임의 정보 임베딩부(514)에서 임의의 워터마크 정보가 임베딩된 임의 정보 콘텐츠들을 하나의 임의 정보 콘텐츠 파일로 저장한다. 임의 정보 콘텐츠 저장부(516)에는 청크 풀에서 관리할 수 있는 수만큼 미리 임의의 워터마크 정보가 임베딩된 다수의 임의 정보 콘텐츠 파일이 저장되어 있는 것이 바람직하다.The arbitrary information content storage unit 516 stores arbitrary information contents embedded with arbitrary watermark information in the arbitrary information embedding unit 514 as one arbitrary information content file. Preferably, the arbitrary information content storage unit 516 stores a plurality of arbitrary information content files in which arbitrary watermark information is embedded in advance as many as the chunk pool can manage.

배포 유닛(120)은 클라이언트 메타데이터에 따라 특정의 워터마크 정보를 임베딩한 배포 콘텐츠를 출력하기 위해, 특정 정보 생성부(522), 특정 정보 임베딩부(524) 및 프레임 결합부(126)를 포함한다. The distribution unit 120 includes a specific information generating unit 522 , a specific information embedding unit 524 , and a frame combining unit 126 to output distribution content in which specific watermark information is embedded according to client metadata. do.

특정 정보 생성부(522)는 사용자 디바이스 등으로부터 송신된 클라이언트 메타데이터를 수신하고, 이 클라이언트 메타데이터를 이용하여 콘텐츠의 사용자 등을 특정할 수 있는 특정의 워터마크 정보를 생성한다. 특정 정보 생성부(522)는 이 특정의 워터마크 정보를 특정 정보 임베딩부(524)에 제공하고, 데이터베이스 유닛(130)에 클라이언트 메타데이터와 연계하여 특정의 워터마크 정보를 저장한다.The specific information generating unit 522 receives client metadata transmitted from a user device or the like, and uses the client metadata to generate specific watermark information that can specify a user or the like of the content. The specific information generating unit 522 provides this specific watermark information to the specific information embedding unit 524 , and stores the specific watermark information in the database unit 130 in association with client metadata.

특정 정보 임베딩부(524)는 특정 정보 생성부(522)로부터 특정의 워터마크 정보를 수신하면, 데이터베이스 유닛(130)에 저장된 프레임 정보와 프레임 내의 블록들의 위치 정보를 불러온다. 특정 정보 임베딩부(524)는 프레임 정보를 이용하여 콘텐츠 저장부(118)로부터 출력되는 GOP들 중에서 특정의 워터마크 정보를 임베딩할 인트라 프레임을 선택하고, 이 인트라 프레임의 블록들의 위치 정보를 이용하여 특정의 워터마크 정보를 임베딩하여 출력한다. 특정 정보 임베딩부(524)는 특정의 워터마크 정보에 의해 사용자가 특정될 수 있도록, 블록 분석부(116)에서 제공된 모든 프레임에 대해서는 동일한 워터마크 정보를 임베딩한다.When the specific information embedding unit 524 receives specific watermark information from the specific information generating unit 522 , the frame information stored in the database unit 130 and location information of blocks in the frame are retrieved. The specific information embedding unit 524 selects an intra frame in which specific watermark information is to be embedded from among the GOPs output from the content storage unit 118 using frame information, and uses location information of blocks of the intra frame to Specific watermark information is embedded and output. The specific information embedding unit 524 embeds the same watermark information for all frames provided by the block analysis unit 116 so that the user can be specified by the specific watermark information.

프레임 결합부(126)는 콘텐츠 저장부(118)로부터 출력되는 원본 콘텐츠들과 특정 정보 임베딩부(524)로부터 출력되는 특정 정보 콘텐츠들과 임의 정보 콘텐츠 저장부(516)로부터 출력되는 임의 정보 콘텐츠들을 결합하여 배포 콘텐츠를 출력한다. 이에 의해, 배포 유닛(120)은 사용자를 특정할 수 있는 특정의 워터마크 정보뿐만 아니라 임의의 워터마크 정보도 함께 임베딩된 배포 콘텐츠를 사용자 디바이스 등으로 송신할 수 있다. The frame combining unit 126 combines original contents output from the content storage unit 118, specific information contents output from the specific information embedding unit 524, and arbitrary information contents output from the arbitrary information content storage unit 516. Combine to output distribution content. Thereby, the distribution unit 120 can transmit to the user device or the like the distribution content in which not only specific watermark information capable of specifying a user but also arbitrary watermark information is embedded.

데이터베이스 유닛(130)은 콘텐츠 ID 부여부(112)에서 부여된 콘텐츠 ID를 저장하며, 블록 분석부(116)에서 선택된 프레임 정보와 프레임 내의 블록들의 위치 정보를 저장한다. 이에 의해, 이들 정보는 나중에 포렌식 워터마크를 임베딩할 때에 실시간에 가깝게, 즉 적시에 워터마크를 임베딩하여 송신할 수 있다. The database unit 130 stores the content ID assigned by the content ID assigning unit 112 , and stores information on the frame selected by the block analyzing unit 116 and location information of blocks within the frame. Thereby, these information can be transmitted close to real-time when embedding the forensic watermark later, that is, embedding the watermark in a timely manner.

데이터베이스 유닛(130)은 또한, 콘텐츠 ID와 연계하여 임의의 워터마크 정보가 임베딩된 프레임 정보와 프레임 내의 블록들의 위치 정보를 저장한다. 이에 의해, 이들 정보가 향후 포렌식 마크를 검출할 때에 이용될 뿐만 아니라 임의의 워터마크 정보의 임베딩 시 동일 프레임 및 프레임 내의 동일 블록들에 임의의 워터마크 정보가 임베딩되도록 이용될 수 있다.The database unit 130 also stores frame information in which arbitrary watermark information is embedded in association with the content ID and position information of blocks in the frame. Thereby, these information can be used to not only be used when detecting a forensic mark in the future, but also to embed any watermark information in the same frame and the same blocks within the frame when embedding any watermark information.

도 5의 실시예에서는 임의의 워터마크 정보를 도입하여 전처리 유닛에서 임의의 워터마크 정보를 미리 임베딩하여 둠으로써 특정의 워터마크 정보를 임베딩함으로써 발생할 수 있는 시간 지연을 감소시킬 수 있으며, 또한 특정의 워터마크 정보와 임의의 워터마크 정보 둘 다를 포렌식 정보로 이용함으로써 공모 공격에 강인한 포렌식 마크를 제공할 수 있다. In the embodiment of Fig. 5, by introducing arbitrary watermark information and embedding arbitrary watermark information in advance in the pre-processing unit, it is possible to reduce a time delay that may occur by embedding specific watermark information, and also By using both the watermark information and the arbitrary watermark information as forensic information, it is possible to provide a forensic mark robust to collusion attacks.

도 7은 본 발명의 또 다른 실시예에 따른 포렌식 워터마크 임베딩 방법을 도시하는 흐름도이다.7 is a flowchart illustrating a forensic watermark embedding method according to another embodiment of the present invention.

콘텐츠 ID 부여부(112)는 원본 콘텐츠가 입력되면 관리를 위한 콘텐츠 ID를 부여한다(S702). 프레임 추출부(114)는 원본 콘텐츠로부터 인트라 프레임을 추출한다(S704). 원본 콘텐츠가 동영상 콘텐츠이면, 원본 콘텐츠는 복수의 GOP(Group Of Pictures)를 포함할 수 있다. When the original content is input, the content ID granting unit 112 grants a content ID for management (S702). The frame extraction unit 114 extracts an intra frame from the original content (S704). If the original content is video content, the original content may include a plurality of Group Of Pictures (GOPs).

블록 분석부(116)는 부호화된 영상의 인트라 프레임에서 소정 크기 이하의 블록, 즉 부호화된 영상의 가장 작은 블록을 선택한다(S706). 블록 분석부(116)는 소정 크기 이하의 블록들만으로 구성된 매크로블록들을 선택한다(S708). 블록 분석부(116)는 예를 들어, AVC 규격의 경우 부호화된 영상의 인트라 프레임에서 선택된 4 X 4의 서브블록으로만 구성된 16 X 16의 매크로블록을 선택할 수 있다. 블록 분석부(116)는 워터마크 정보를 임베딩할 수 있는 매크로블록들의 수가 워터마크 정보를 페이로드할 수의 소정 개수, 예를 들어 64개 이상이면, 배포 유닛(120)에서 워터마크 정보가 임베딩될 프레임으로 선택한다. The block analyzer 116 selects a block of a predetermined size or less from the intra frame of the encoded image, that is, the smallest block of the encoded image (S706). The block analyzer 116 selects macroblocks composed of only blocks of a predetermined size or less ( S708 ). For example, in the case of the AVC standard, the block analyzer 116 may select a 16×16 macroblock including only 4×4 subblocks selected from an intra frame of an encoded image. If the number of macroblocks capable of embedding watermark information is a predetermined number, for example, 64 or more, the block analyzing unit 116 embeds the watermark information in the distribution unit 120 . Select the frame to be

한편, 워터마크 정보의 워터마크가 삽입된 영상은 시간적 플리커(temporal flicker)가 발생할 수 있다. 블록 분석부(116)는 이러한 시간적 플리커를 방지하거나 감소시키기 위해 의사 움직임 벡터(pseudo motion vector)를 계산하여 워터마크 정보가 임베딩될 매크로블록들을 결정한다(S710).Meanwhile, temporal flicker may occur in an image in which a watermark of watermark information is embedded. The block analyzer 116 calculates a pseudo motion vector to prevent or reduce such temporal flicker to determine macroblocks in which watermark information is to be embedded (S710).

블록 분석부(116)는 워터마크가 임베딩될 최종 매크로블록이 결정되면, 데이터베이스 유닛(130)에 프레임 정보와 프레임 내의 블록들의 위치 정보를 저장한다(S712).When the final macroblock in which the watermark is to be embedded is determined, the block analyzer 116 stores frame information and location information of blocks within the frame in the database unit 130 (S712).

콘텐츠 저장부(118)는 원본 콘텐츠와 동일 또는 콘텐츠 자체에 변형이 없는 원본 콘텐츠를 저장한다(S714). The content storage unit 118 stores the original content that is the same as the original content or there is no modification in the content itself (S714).

정보 생성부(122)는 사용자 디바이스 등으로부터 송신된 클라이언트 메타데이터(metadata)를 수신하고, 이 클라이언트 메타데이터를 이용하여 콘텐츠의 사용자 등을 특정할 수 있는 워터마크 정보(Client-Request-ID)를 생성한다(S716). 정보 생성부(122)는 워터마크 정보를 워터마크 임베딩부(124)에 제공하고, 데이터베이스 유닛(130)에 클라이언트 메타데이터와 연계하여 워터마크 정보를 저장한다.The information generating unit 122 receives client metadata transmitted from a user device, etc., and uses the client metadata to generate watermark information (Client-Request-ID) that can specify a user of the content, etc. generated (S716). The information generating unit 122 provides the watermark information to the watermark embedding unit 124 , and stores the watermark information in the database unit 130 in association with client metadata.

워터마크 임베딩부(124)는 정보 생성부(122)로부터 워터마크 정보를 수신하면, 데이터베이스 유닛(130)에 저장된 프레임 정보와 프레임 내의 블록들의 위치 정보를 불러온다. 워터마크 임베딩부(124)는 프레임 정보를 이용하여 콘텐츠 저장부(118)로부터 출력되는 GOP들 중에서 워터마크 정보를 임베딩할 인트라 프레임을 선택하고, 이 인트라 프레임의 블록들의 위치 정보를 이용하여 워터마크 정보를 임베딩하여 출력한다(S718). 워터마크 임베딩부(124)는 워터마크 정보에 의해 사용자가 특정될 수 있도록, 블록 분석부(116)에서 선택된 모든 프레임에 대해서는 동일한 워터마크 정보를 임베딩한다. Upon receiving the watermark information from the information generating unit 122 , the watermark embedding unit 124 fetches frame information stored in the database unit 130 and location information of blocks within the frame. The watermark embedding unit 124 selects an intra frame in which the watermark information is to be embedded from among the GOPs output from the content storage unit 118 using the frame information, and uses the location information of the blocks of the intra frame to mark the watermark. The information is embedded and output (S718). The watermark embedding unit 124 embeds the same watermark information for all frames selected by the block analysis unit 116 so that a user can be specified by the watermark information.

프레임 결합부(126)는 콘텐츠 저장부(118)로부터 출력되는 원본 콘텐츠들과 워터마크 임베딩부(124)로부터 출력되는 워터마크 콘텐츠들을 결합하여 배포 콘텐츠 파일을 출력한다(S720).The frame combining unit 126 combines the original contents output from the content storage unit 118 and the watermark contents output from the watermark embedding unit 124 to output a distribution content file (S720).

본 발명의 실시예들에서는 블록들을 분석하여 선택하는 것을 예시로 설명했지만, 경우에 따라서는 고정된 블록들을 선택하여 이용할 수도 있을 것이다.In the embodiments of the present invention, analysis and selection of blocks has been described as an example, but in some cases, fixed blocks may be selected and used.

이상에서 설명된 본 발명의 실시예들은 본 발명의 기술 사상을 예시적으로 보여준 것에 불과하며, 본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형할 수 있을 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments of the present invention described above are merely illustrative of the technical idea of the present invention, and the protection scope of the present invention should be interpreted by the following claims. In addition, a person of ordinary skill in the art to which the present invention belongs will be able to various modifications and variations without departing from the essential characteristics of the present invention, all technical ideas within the scope equivalent to the present invention are should be construed as being included in the scope of the rights of

110: 전처리 유닛 112: 콘텐츠 ID 부여부
114: 프레임 추출부 116: 블록 분석부
118: 콘텐츠 저장부 120: 배포 유닛
122: 정보 생성부 124: 워터마크 임베딩부
126: 프레임 결합부 130: 데이터베이스 유닛
512: 임의 정보 생성부 514: 임의 정보 임베딩부
516: 임의 정보 콘텐츠 저장부 522: 특정 정보 생성부
524: 특정 정보 임베딩부110: preprocessing unit 112: content ID granting unit
114: frame extraction unit 116: block analysis unit
118: content storage unit 120: distribution unit
122: information generating unit 124: watermark embedding unit
126: frame coupling unit 130: database unit
512: arbitrary information generating unit 514: arbitrary information embedding unit
516: arbitrary information content storage unit 522: specific information generation unit
524: specific information embedding unit

Claims (10)

적시의 포렌식 워터마크 임베딩 장치에 있어서,
임베딩 정보, 클라이언트 메타데이터 및 워터마크 정보를 저장하기 위한 데이터베이스 유닛;
원본 콘텐츠의 소정의 콘텐츠 구간마다 블록들을 분석하여 워터마크 정보를 임베딩할 블록들에 대한 상기 임베딩 정보를 상기 데이터베이스 유닛에 저장하고, 상기 원본 콘텐츠를 저장하는 전처리 유닛; 및
클라이언트 메타데이터가 입력되면 상기 클라이언트 메타데이터로부터 상기 워터마크 정보를 생성하고, 상기 클라이언트 메타데이터 및 상기 워터마크 정보를 연계하여 상기 데이터베이스 유닛에 저장하고, 상기 데이터베이스 유닛에 저장된 상기 임베딩 정보를 이용하여 상기 전처리 유닛으로부터 제공되는 상기 원본 콘텐츠에 상기 워터마크 정보를 임베딩하여 출력하는 배포 유닛을 포함하고,
상기 원본 콘텐츠는 동영상 콘텐츠이고,
상기 소정의 콘텐츠 구간은 GOP(Group Of Picture) 콘텐츠와 관련이 있고,
상기 전처리 유닛은, 상기 GOP 콘텐츠 중 소정의 프레임의 블록들을 분석하여 상기 소정의 프레임에 상기 워터마크 정보를 페이로딩할 수 있는 개수를 만족하는 블록들이 있는지를 확인하고, 확인된 블록들 중 상기 워터마크 정보를 임베딩할 블록들에 대한 위치 정보를 상기 임베딩 정보로서 저장하도록 구성되는 것을 특징으로 하는 적시의 포렌식 워터마크 임베딩 장치.A timely forensic watermark embedding apparatus comprising:
a database unit for storing embedding information, client metadata and watermark information;
a pre-processing unit that analyzes blocks for each predetermined content section of the original content, stores the embedding information for blocks to which watermark information is to be embedded in the database unit, and stores the original content; and
When client metadata is input, the watermark information is generated from the client metadata, the client metadata and the watermark information are linked and stored in the database unit, and the embedding information stored in the database unit is used to generate the watermark information. a distribution unit for embedding and outputting the watermark information in the original content provided from the pre-processing unit;
The original content is video content,
The predetermined content section is related to GOP (Group Of Picture) content,
The pre-processing unit analyzes blocks of a predetermined frame among the GOP contents to determine whether there are blocks satisfying the number of possible payloading of the watermark information in the predetermined frame, and among the checked blocks, the watermark Timely forensic watermark embedding apparatus, characterized in that it is configured to store location information on blocks to embed mark information as the embedding information. 삭제delete 삭제delete 제1항에 있어서,
상기 소정의 프레임은 인트라 프레임이고,
상기 전처리 유닛은 상기 인트라 프레임에서 부호화된 영상의 블록들을 이용하여 소정 크기 이하의 서브블록을 선택하고, 상기 소정 크기 이하의 서브블록만으로 이루어진 매크로블록을 임베딩 가능 블록으로 선택하는 것을 특징으로 하는 적시의 포렌식 워터마크 임베딩 장치.According to claim 1,
The predetermined frame is an intra frame,
The pre-processing unit selects a subblock of a predetermined size or smaller using blocks of the image encoded in the intra frame, and selects a macroblock consisting of only subblocks of the predetermined size or smaller as an embeddable block. Forensic watermark embedding device. 제4항에 있어서,
상기 전처리 유닛은 상기 임베딩 가능 블록의 양자화 계수들 중에서 영이 아닌 양자화 계수들(nonzero quantized coefficients: NNZ)의 수가 소정의 개수(Nt)보다 더 큰 지를 확인하고, 상기 NNZ가 가장 큰 매크로블록으로부터 상기 워터마크 정보를 페이로딩할 수 있는 개수만큼을 최종 임베딩 블록으로 결정하는 것을 특징으로 하는 적시의 포렌식 워터마크 임베딩 장치.5. The method of claim 4,
The pre-processing unit determines whether a number of nonzero quantized coefficients (NNZ) among quantization coefficients of the embeddable block is greater than a predetermined number Nt, and selects the water from the macroblock having the largest NNZ. A timely forensic watermark embedding apparatus, characterized in that the number of mark information that can be payloaded is determined as the final embedding block. 제5항에 있어서,
상기 전처리 유닛은 시간적 플리커를 방지하거나 감소시키기 위해 의사 움직임 벡터(pseudo motion vector)를 계산하여 상기 최종 임베딩 블록을 결정하는 것을 특징으로 하는 적시의 포렌식 워터마크 임베딩 장치.6. The method of claim 5,
and the pre-processing unit determines the final embedding block by calculating a pseudo motion vector to prevent or reduce temporal flicker. 제4항 또는 제5항에 있어서,
상기 전처리 유닛은 상기 GOP 콘텐츠 중 상기 소정의 프레임의 블록들을 분석하여 특정의 워터마크 정보를 임베딩할 프레임과 블록들에 대한 특정 임베딩 정보 및 임의의 워터마크 정보를 임베딩할 프레임과 블록들에 대한 임의 임베딩 정보를 상기 데이터베이스 유닛에 저장하고,
상기 전처리 유닛은 상기 임의 임베딩 정보를 이용하여 상기 원본 콘텐츠에 상기 임의의 워터마크 정보를 임베딩하여 임의 정보 콘텐츠를 생성하여 저장하고,
상기 배포 유닛은 상기 클라이언트 메타데이터로부터 상기 특정의 워터마크 정보를 생성하고, 상기 데이터베이스 유닛에 저장된 상기 특정 임베딩 정보를 이용하여 상기 전처리 유닛으로부터 제공되는 상기 원본 콘텐츠에 상기 특정의 워터마크 정보를 임베딩하여 출력하고, 임의 임베딩 정보와 관련된 프레임이 있을 때에는 상기 원본 콘텐츠 대신 임의 정보 콘텐츠를 선택하여 출력하는 것을 특징으로 하는 적시의 포렌식 워터마크 임베딩 장치.6. The method according to claim 4 or 5,
The pre-processing unit analyzes blocks of the predetermined frame among the GOP contents, and includes specific embedding information for frames and blocks in which specific watermark information is to be embedded, and arbitrary frames and blocks for embedding arbitrary watermark information. storing embedding information in the database unit;
the pre-processing unit embeds the arbitrary watermark information in the original content using the arbitrary embedding information to generate and store arbitrary information content;
The distribution unit generates the specific watermark information from the client metadata, and embeds the specific watermark information in the original content provided from the pre-processing unit using the specific embedding information stored in the database unit. The timely forensic watermark embedding apparatus, characterized in that when there is a frame related to arbitrary embedding information, the arbitrary information content is selected and output instead of the original content. 데이터베이스 유닛을 포함하는 장치에 의해 수행되는 적시의 포렌식 워터마크 임베딩 방법에 있어서,
원본 콘텐츠의 소정의 콘텐츠 구간마다 블록들을 분석하여 워터마크 정보를 임베딩할 블록들에 대한 임베딩 정보를 상기 데이터베이스 유닛에 저장하고, 상기 원본 콘텐츠를 저장하는 단계;
클라이언트 메타데이터가 입력되면, 상기 클라이언트 메타데이터로부터 워터마크 정보를 생성하고, 상기 클라이언트 메타데이터 및 상기 워터마크 정보를 연계하여 상기 데이터베이스 유닛에 저장하는 단계; 및
상기 데이터베이스 유닛에 저장된 상기 임베딩 정보를 이용하여 상기 원본 콘텐츠를 저장하는 단계에서 저장된 상기 원본 콘텐츠에 상기 워터마크 정보를 임베딩하여 출력하는 단계를 포함하고,
상기 원본 콘텐츠는 동영상 콘텐츠이고,
상기 소정의 콘텐츠 구간은 GOP(Group Of Picture) 콘텐츠와 관련이 있고,
상기 원본 콘텐츠를 저장하는 단계에서의 상기 블록들의 분석은, 상기 GOP 콘텐츠 중 소정의 프레임의 블록들을 분석하여 상기 소정의 프레임에 상기 워터마크 정보를 페이로딩할 수 있는 개수를 만족하는 블록들이 있는지를 확인하는 것 및 확인된 블록들 중 상기 워터마크 정보를 임베딩할 블록들에 대한 위치 정보를 상기 임베딩 정보로서 얻는 것을 특징으로 하는 적시의 포렌식 워터마크 임베딩 방법. A timely forensic watermark embedding method performed by an apparatus comprising a database unit, the method comprising:
Analyzing blocks for each predetermined content section of the original content, storing embedding information for blocks in which watermark information is to be embedded in the database unit, and storing the original content;
when client metadata is input, generating watermark information from the client metadata, and storing the client metadata and the watermark information in association with the database unit; and
and embedding and outputting the watermark information in the stored original content in the storing of the original content using the embedding information stored in the database unit,
The original content is video content,
The predetermined content section is related to GOP (Group Of Picture) content,
The analysis of the blocks in the step of storing the original content is performed by analyzing the blocks of a predetermined frame among the GOP contents to determine whether there are blocks satisfying the number of payloads of the watermark information in the predetermined frame. A timely forensic watermark embedding method, characterized in that confirming and obtaining, as the embedding information, location information for blocks in which the watermark information is to be embedded among the identified blocks. 삭제delete 삭제delete
KR1020190143372A 2019-11-11 2019-11-11 Apparatus and method for inserting just in time forensic watermarks KR102289397B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190143372A KR102289397B1 (en) 2019-11-11 2019-11-11 Apparatus and method for inserting just in time forensic watermarks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190143372A KR102289397B1 (en) 2019-11-11 2019-11-11 Apparatus and method for inserting just in time forensic watermarks

Publications (2)

Publication Number Publication Date
KR20210056657A KR20210056657A (en) 2021-05-20
KR102289397B1 true KR102289397B1 (en) 2021-08-17

Family

ID=76142886

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190143372A KR102289397B1 (en) 2019-11-11 2019-11-11 Apparatus and method for inserting just in time forensic watermarks

Country Status (1)

Country Link
KR (1) KR102289397B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220303642A1 (en) * 2021-03-19 2022-09-22 Product Development Associates, Inc. Securing video distribution
US20230109439A1 (en) * 2021-10-05 2023-04-06 Synamedia Limited Systems, Devices, and Methods for Watermark Embedding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101039466B1 (en) * 2010-11-03 2011-06-07 주식회사 생각과기술 The method for inserting/detecting a forensic mark using self reference code and peak position modulation and the apparatus thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565472B2 (en) * 2007-10-30 2013-10-22 General Instrument Corporation Method, device and system for dynamically embedding watermark information into multimedia content
KR101193534B1 (en) * 2009-07-17 2012-10-22 주식회사 케이티 Watermarking apparatus and method for inserting watermark in video contents
KR20130043563A (en) * 2011-10-20 2013-04-30 한국전자통신연구원 Method and system for forensic marking of digital contents
US9742783B2 (en) * 2015-05-29 2017-08-22 Markany Inc. Method for sending contents including tracking information and apparatus thereof, and method for receiving content including tracking information and apparatus thereof
KR102017487B1 (en) * 2018-02-01 2019-09-04 광운대학교 산학협력단 A Blind Digital Watermarking Method for Omni-directional Images using Feature Points

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101039466B1 (en) * 2010-11-03 2011-06-07 주식회사 생각과기술 The method for inserting/detecting a forensic mark using self reference code and peak position modulation and the apparatus thereof

Also Published As

Publication number Publication date
KR20210056657A (en) 2021-05-20

Similar Documents

Publication Publication Date Title
KR101244911B1 (en) Apparatus for encoding and decoding muti-view image by using camera parameter, and method thereof, a recording medium having a program to implement thereof
AU2014275405B2 (en) Tuning video compression for high frame rate and variable frame rate capture
KR101426097B1 (en) Information processing apparatus and method, and program
KR20110098858A (en) Image encoding device, image encoding method, program thereof, image decoding device, image decoding method, and program thereof
JP2007533197A (en) Encoding method applied to multimedia data
JP2010515400A (en) Multi-view video encoding and decoding method and apparatus using global difference vector
EP2705667A1 (en) Lossless coding and associated signaling methods for compound video
EP2153655A1 (en) Method and apparatus for encoding and decoding image using modification of residual block
KR102289397B1 (en) Apparatus and method for inserting just in time forensic watermarks
JP2011528874A (en) System and method for high-efficiency video compression using selective maintenance of relevant visual details
US20020122481A1 (en) Transcoding method and transcoding apparatus
CN107707830B (en) Panoramic video playing and photographing system based on one-way communication
Zou et al. H. 264/AVC substitution watermarking: a CAVLC example
KR102265784B1 (en) Apparatus and method for client side forensic watermark
KR102291540B1 (en) Apparatus and method for inserting forensic watermarks
KR102278005B1 (en) Apparatus and method for inserting a plurality of forensic marks
EP4060997A1 (en) Pre-processing immersive video
US20220078464A1 (en) Method for concealing data in an image or a video stream inside a compression chain
US20220207120A1 (en) Apparatus and method for embedding plurality of forensic marks
KR101407719B1 (en) Multi-view image coding method and apparatus using variable GOP prediction structure, multi-view image decoding apparatus and recording medium storing program for performing the method thereof
TW201943279A (en) Method, device and system of encoding a sequence of frames in a video stream
CN104469377A (en) H.264 file authentication playing method based on video steganography
US20240244229A1 (en) Systems and methods for predictive coding
US11197014B2 (en) Encoding apparatus, decoding apparatus, and image processing system
WO2023059689A1 (en) Systems and methods for predictive coding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
Z031 Request for patent cancellation [new post grant opposition system introduced on 1 march 2017]

Free format text: CASE NUMBER: 2022106000015

Z072 Maintenance of patent after cancellation proceedings: certified copy of decision transmitted [new post grant opposition system as of 20170301]
Z131 Decision taken on request for patent cancellation [new post grant opposition system as of 20170301]