KR102417767B1 - 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법 - Google Patents

비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법 Download PDF

Info

Publication number
KR102417767B1
KR102417767B1 KR1020200071228A KR20200071228A KR102417767B1 KR 102417767 B1 KR102417767 B1 KR 102417767B1 KR 1020200071228 A KR1020200071228 A KR 1020200071228A KR 20200071228 A KR20200071228 A KR 20200071228A KR 102417767 B1 KR102417767 B1 KR 102417767B1
Authority
KR
South Korea
Prior art keywords
image
embedding
data
noise base
group
Prior art date
Application number
KR1020200071228A
Other languages
English (en)
Other versions
KR20210154328A (ko
Inventor
이환웅
임재성
Original Assignee
스냅태그 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅태그 주식회사 filed Critical 스냅태그 주식회사
Priority to KR1020200071228A priority Critical patent/KR102417767B1/ko
Publication of KR20210154328A publication Critical patent/KR20210154328A/ko
Application granted granted Critical
Publication of KR102417767B1 publication Critical patent/KR102417767B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0052—Embedding of the watermark in the frequency domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0601—Image watermarking whereby calibration information is embedded in the watermark, e.g. a grid, a scale, a list of transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

일련의 이미지 프레임에 워터마크 데이터를 임베딩하는 방법이 제공된다. 상기 방법은, 상기 일련의 이미지 프레임 중 제1 그룹의 이미지 프레임에 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계, 및 상기 일련의 이미지 프레임 중 제2 그룹의 이미지 프레임에 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계를 포함한다. 이때, 상기 제1 그룹의 이미지 프레임과 상기 제2 그룹의 이미지 프레임은 서로 구별되며, 상기 제1 임베딩 속성과 상기 제2 임베딩 속성은 적어도 부분적으로 상이한 것이다.

Description

비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법{METHOD FOR EMBEDDING WATERMARKING DATA ON VIDEO CONTENT AND EXTRACTING THE SAME THEREFROM}
본 발명은 비디오 컨텐츠에 워터마크 데이터를 임베딩(embedding)하고, 비디오 컨텐츠에 임베딩된 워터마크 데이터를 추출하는 방법에 관한 것이다. 보다 자세하게는 인간의 시각으로는 인식되지 않으나, 이미지 프로세싱을 통하여 추출될 수 있는 방식으로, 비디오 컨텐츠를 구성하는 영상 프레임에 워터마크 데이터를 임베딩 하고, 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법에 관한 것이다.
워터마킹 기술은 진품 인증 또는 진본 인증 등의 용도로 널리 사용되어 왔다. 예를 들어, 원본에는 눈에 잘 보이지 않다가, 무단 복제 시 드러나는 워터마크 데이터 또는 텍스처를 오리지널 이미지에 삽입하는 방식의 워터마킹 기술이 널리 활용되어 왔다. 한편, 인간에 눈에는 보이지 않고, 컴퓨팅 장치를 통한 이미지 프로세싱을 거치면 추출이 가능하지만, 무단 복제된 사본에서는 추출이 불가능해지는 형태의 워터마킹 방식도 진품 인증 또는 진본 인증에 활용되고 있다.
워터마킹 기술은 비디오 컨텐츠의 저작권 관리 및 무단 복제 방지를 위해서도 활용되어 왔다. 예를 들어, 열람 라이선스가 없는 무권리자가 열람할 수 없도록 저작권 관리 솔루션에 의해 보호받는 암호화된 비디오 컨텐츠를, 악의를 가진 권리자가 저작권 관리 솔루션을 무력화한 후 무단 복제하여 불특정 다수에게 배포하는 경우, 저작권 관리 솔루션을 무력화한 상기 권리자가 누구인지 식별할 수 있도록 하는 워터마크(예: 사용자 ID)를 비디오 컨텐츠에 임베딩하는 방식이 사용되고 있다. 이러한 워터마크는 인간에 눈에는 보이지 않고 컴퓨팅 장치를 통한 이미지 프로세싱을 거쳐야만 비로소 추출이 가능하므로, 컨텐츠를 무단으로 복제 및 배포하는 자가 임의로 제거하기 어렵기 때문에, 무단 복제 및 배포의 사후 조치에 효과적으로 사용될 수 있다.
한편, 인공 신경망 기반의 머신러닝 기술의 비약적인 발전으로 인하여, 실제 촬영된 비디오 영상과 극히 유사한 영상을 컴퓨팅 장치를 통해 생성해 낼 수 있게 되었다. 그런데 영상 분야의 머신러닝 기술의 발전은, 악의적인 목적으로 제작된 딥 페이크 영상의 출현이라는 부작용도 유발하였다. 딥러닝 기술을 이용하여, 육안으로는 진위를 판정하기 어려운 페이크 영상을 생성하는 기술이 개발되고 있다. 이렇게 생성된 페이크 영상은, 인터넷 등의 네트워크를 통해 불특정 다수에게 유포되어, 페이크 영상인지 여부를 전혀 모르는 불특정 다수에 의해 소비되고 신뢰된다.
도 1을 참조하여 그 예를 간략히 설명하면, 원본 영상 제작 배포자(11)에 의해 배포된 원본 영상(1)을 페이크 영상 제작 배포자(13)가 획득하고, 페이크 영상 제작 배포자(13)는 원본 영상(1)을 이용하여 페이크 영상(3)을 제작한다. 페이크 영상(3)은, 예컨대 TV 뉴스 앵커나 대통령 등의 인물이 가짜 뉴스를 전하는 것처럼 모사하는 영상이거나, 성인용 비디오 컨텐츠의 배우의 신체에 유명인의 얼굴을 합성한 영상 등일 수 있다. 이와 같이 제작된 페이크 영상(3)은 네트워크를 통해 배포되어 불특정 다수의 영상 열람자들(15a 내지 15c)에 의해 열람될 수 있다. 영상 열람자들(15a 내지 15c)은 페이크 영상(3)이 진실한 영상인 것으로 오인할 수 있다. 이처럼 인공 신경망 기반의 머신러닝 기술이 부정한 목적으로 악용되는 사례가 점점 증가하여 사회적인 문제가 되고 있다.
그런데 어떠한 영상이 딥 페이크 기술로 생성된 거짓 영상인지 여부를 판정하는 것은 극히 어려운 과제이며, 이를 달성하기 위한 다양한 접근들이 이루어지고 있지만 아직까지 효과적인 방법은 제공되지 못하고 있다.
한국등록특허 제10-1877372호 (2018. 7. 5.)
본 발명이 해결하고자 하는 기술적 과제는 인간의 시각으로는 인식되지 않으나 이미지 프로세싱을 통하여 추출될 수 있는 방식으로 비디오 컨텐츠를 구성하는 영상 프레임에 워터마크 데이터를 임베딩 하고, 영상 프레임으로부터 워터마크 데이터를 추출하는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는 워터마크 데이터가 임베딩된 원본 영상이 딥 페이크 기술을 통해 가공되거나 다른 영상과 합성되더라도, 딥 페이크 영상에서 원본 영상의 워터마크 데이터를 추출할 수 있도록 하는 워터마크 데이터 임베딩 및 추출 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 워터마크 데이터의 임베딩에 의하여 원본 영상의 품질이 손상되는 것을 최소화하고, 워터마크 데이터의 임베딩 여부가 드러나지 않는 워터마크 데이터의 임베딩 및 추출 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 워터마크 데이터의 임베딩 및 추출 방법과 관련된 단서가 유출될 가능성을 최소화한 워터마크 데이터의 임베딩 및 추출 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른, 일련의 이미지 프레임에 워터마크 데이터를 임베딩하는 방법은, 상기 일련의 이미지 프레임 중 제1 그룹의 이미지 프레임에 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계, 및 상기 일련의 이미지 프레임 중 제2 그룹의 이미지 프레임에 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계를 포함하되, 상기 제1 그룹의 이미지 프레임과 상기 제2 그룹의 이미지 프레임은 서로 구별되며, 상기 제1 임베딩 속성과 상기 제2 임베딩 속성은 적어도 부분적으로 상이한 것이다.
일 실시예에서, 상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 제1 배율로 스케일링하여 상기 제1 그룹의 이미지 프레임을 조정하는 단계를 포함하고, 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 제2 배율로 스케일링하여 상기 제2 그룹의 이미지 프레임을 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 변환된 제1 노이즈 베이스 이미지를 이용하여, 상기 제1 그룹의 이미지 프레임을 조정하는 단계를 포함하고, 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 변환된 제2 노이즈 베이스 이미지를 이용하여, 상기 제2 그룹의 이미지 프레임을 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 노이즈 베이스 이미지와 상기 제2 노이즈 베이스 이미지는, 주파수 도메인에서 매그니튜드 피크들의 좌표가 서로 상이할 수 있다.
일 실시예에서, 상기 제1 노이즈 베이스 이미지와 상기 제2 노이즈 베이스 이미지는, 상기 주파수 도메인에서 상기 매그니튜드 피크들의 개수가 서로 상이할 수 있다.
일 실시예에서, 상기 제2 노이즈 베이스 이미지를 주파수 도메인으로 변환한 결과 획득되는 매그니튜드 스펙트럼의 피크들은, 상기 제1 노이즈 베이스 이미지를 주파수 도메인으로 변환한 결과 획득되는 매그니튜드 스펙트럼의 피크들을 기정의된 각도만큼 회전한 결과에 대응될 수 있다.
일 실시예에서, 상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 제1 변환 규칙에 의해 노이즈 베이스 이미지의 픽셀 값을 수정함으로써 상기 노이즈 베이스 이미지를 변환하는 단계를 포함하고, 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 제2 변환 규칙에 의해 노이즈 베이스 이미지의 픽셀 값을 수정함으로써 상기 노이즈 베이스 이미지를 변환하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 이용하여 제1 조정 규칙에 의해 상기 제1 그룹의 이미지 프레임을 조정하는 단계를 포함하고, 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 이용하여 제2 조정 규칙에 의해 상기 제2 그룹의 이미지 프레임을 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 조정 규칙에 의해 상기 제1 그룹의 이미지 프레임을 조정하는 단계는, 상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제1 그룹의 이미지 프레임의 픽셀 값을 양의 방향으로 조정하는 단계를 포함하고, 상기 제2 조정 규칙에 의해 상기 제2 그룹의 이미지 프레임을 조정하는 단계는, 상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제2 그룹의 이미지 프레임의 픽셀 값을 음의 방향으로 조정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 조정 규칙에 의해 상기 제1 그룹의 이미지 프레임을 조정하는 단계는, 상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제1 그룹의 이미지 프레임의 제1 채널을 조정하는 단계를 포함하고, 상기 제2 조정 규칙에 의해 상기 제2 그룹의 이미지 프레임을 조정하는 단계는, 상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제2 그룹의 이미지 프레임의 제2 채널을 조정하는 단계를 포함하며, 상기 제1 채널 및 상기 제2 채널은, 각각 RGB 채널, CMYK 채널, 및 YUV 채널로 구성되는 그룹에서 선택되는 어느 하나의 채널일 수 있다.
일 실시예에서, 상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계 및 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 일련의 이미지 프레임의 해상도가 임계치 이상일 경우 제1 배율로 스케일링된 노이즈 베이스 이미지를 이용하여 상기 데이터를 임베딩하는 단계, 및 상기 일련의 이미지 프레임의 해상도가 상기 임계치 미만일 경우 제2 배율로 스케일링된 노이즈 베이스 이미지를 이용하여 데이터를 임베딩하는 단계를 각각 포함할 수 있다.
일 실시예에서, 상기 일련의 이미지 프레임은 비디오 컨텐츠를 구성하는 것이고, 상기 워터마크 데이터는 상기 비디오 컨텐츠의 식별자를 포함할 수 있다.
일 실시예에서, 상기 워터마크 데이터 임베딩 방법은 상기 비디오 컨텐츠가 사용자에게 제공될 때 자동으로 수행되는 것일 수 있다.
일 실시예에서, 상기 제1 그룹의 이미지 프레임에 상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 복수의 워터마크 데이터 중 제1 데이터를 임베딩하는 단계를 포함하고, 상기 제2 그룹의 이미지 프레임에 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는, 상기 복수의 워터마크 데이터 중 제2 데이터를 임베딩하는 단계를 포함하되, 상기 제1 그룹의 이미지 프레임과 상기 제2 그룹의 이미지 프레임은, 상기 일련의 이미지 프레임을 복수의 시구간으로 분할할 때 서로 다른 시구간에 속하는 것일 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 다른 일 실시예에 따른, 이미지 프레임으로부터 워터마크 데이터를 추출하는 방법은, 상기 이미지 프레임으로부터 노이즈 베이스 이미지를 식별하는 단계, 상기 이미지 프레임에 대응되는 데이터 추출 속성을 판정하는 단계, 및 상기 노이즈 베이스 이미지를 이용하여 상기 데이터 추출 속성에 따라 상기 이미지 프레임으로부터 상기 데이터를 추출하는 단계를 포함한다.
일 실시예에서, 상기 이미지 프레임으로부터 노이즈 베이스 이미지를 식별하는 단계는, 주파수 영역에서, 상기 이미지 프레임을 사전 정의된 복수의 노이즈 베이스 이미지들과 각각 비교하는 단계, 및 상기 사전 정의된 복수의 노이즈 베이스 이미지들 중 상기 이미지 프레임에 대응되는 노이즈 베이스 이미지를 식별하는 단계를 포함할 수 있다.
일 실시예에서, 상기 복수의 노이즈 베이스 이미지들은, 주파수 도메인에서 매그니튜드 피크들의 좌표 또는 개수가 서로 상이할 수 있다.
일 실시예에서, 상기 이미지 프레임에 대응되는 데이터 추출 속성을 판정하는 단계는, 상기 이미지 프레임으로부터 식별된 상기 노이즈 베이스 이미지에 기초하여 상기 데이터 추출 속성을 판정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 데이터 추출 속성은, 상기 노이즈 베이스 이미지를 이용하여 상기 이미지 프레임의 픽셀 값을 조정하는 규칙, 상기 노이즈 베이스 이미지를 이용하여 조정하는 상기 이미지 프레임의 채널의 유형, 상기 이미지 프레임에 적용된 상기 노이즈 베이스 이미지의 배율, 및 상기 노이즈 베이스 이미지로부터 상기 데이터를 추출하는 규칙 중 적어도 하나를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한, 본 발명의 또 다른 일 실시예에 따른, 컴퓨터 판독가능한 기록 매체는, 전술한 방법을 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체이다.
도 1은 본 발명의 몇몇 실시예들이 적용될 수 있는 예시적인 분야를 설명하기 위한 참조 도면이다.
도 2는 본 발명의 일 실시예에 따라 원본 영상에 워터마크 데이터를 임베딩하는 방법 및 다른 일 실시예에 따라 페이크 영상으로부터 워터마크를 추출하는 방법을 설명하기 위한 참조 도면이다.
도 3 내지 도 5는 본 발명의 몇몇 실시예에서 이미지에 워터마크를 임베딩하는 방법을 설명하기 위한 참조 도면이다.
도 6은 본 발명의 몇몇 실시예에서 비디오 컨텐츠를 구성하는 복수의 이미지 프레임에 서로 다른 임베딩 속성을 사용하여 서로 다른 워터마크 데이터를 임베딩하는 방법을 설명하기 위한 참조 도면이다.
도 7 내지 도 9는 본 발명의 몇몇 실시예에서 복수의 이미지 프레임의 임베딩에 이용되는 서로 다른 임베딩 속성에 대하여 보다 구체적으로 설명하기 위한 참조 도면이다.
도 10은 본 발명의 일 실시예에 따라 원본 영상에 워터마크 데이터를 임베딩하는 방법을 나타내는 순서도이다.
도 11은 본 발명의 다른 일 실시예에 따라 영상으로부터 워터마크를 추출하는 방법을 나타내는 순서도이다.
도 12는 도 11을 참조하여 설명한 방법의 일부 단계를 보다 구체적으로 설명하기 위한 도면이다.
도 13은 본 발명의 몇몇 실시예에 따른 방법이 구현될 수 있는 컴퓨팅 장치의 블록 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 워터마크 데이터의 임베딩 방법 및 추출 방법이 활용되는 예시적인 상황을 설명하기 위한 개념도이다. 먼저, 앵커가 진행하는 TV 뉴스 방송, 정치인의 연설 영상, 영화, TV 드라마, 뮤직비디오 등의 원본 영상(21)에 워터마크 데이터(27)가 임베딩되고, 그 결과 만들어진 영상(23)이 다양한 채널을 통하여 배포될 수 있다.
워터마크 임베딩된 원본 영상(23)을 육안으로 보면 워터마크 데이터(27)가 원본 영상에 임베딩되었다는 사실을 인식하기 어렵다. 이러한 방식으로 워터마크 데이터(27)를 임베딩하는 구체적인 방법에 대해서는, 도 3 내지 도 10을 참조하여 후술한다.
원본 영상(21)의 제작자 또는 배포자는 반드시 워터마크를 임베딩한 원본 영상(23)만을 배포하고, 워터마크가 없는 원본 영상(21)은 유출되지 않도록 관리하는 것이 바람직하다.
본 실시예에 따른 워터마크 데이터 임베딩 방법은 워터마크 데이터(27)의 임베딩 여부를 육안으로 인식하기 어렵기 때문에, 원본 영상(21)을 실질적으로 훼손하지 않고도 워터마크 데이터(27)를 담을 수 있는 장점이 있다. 또한, 일 실시예에 따른 워터마크 데이터(27)의 사이즈가 144 bit이고, 그 중 실제 활용 가능한 바디 데이터는 54 bit이며, 그 결과 상기 워터마크 데이터를 이용하여 254의 경우의 수를 표현할 수 있다. 따라서, 비디오 컨텐츠의 워터마킹에 본 기술을 적용하면, 육안으로 보기에는 워터마크가 보이지 않지만, 모든 비디오 컨텐츠 마다, 또는 각 비디오 컨텐츠의 특정 섹션이나 장면마다, 또는 특정 프레임 순번마다 고유의 ID를 부여하여 그 ID를 워터마크 데이터로 영상에 임베딩 하는 것도 가능하다. 물론 워터마크 데이터(27)의 사이즈를 144 bit 이상으로 증가시켜서 바디 데이터의 bit 수를 확장시키면, 표현 가능한 데이터의 가짓수는 사실상 제한 없이 증가할 수도 있다.
워터마크 데이터(27)는 예를 들어, 표 1의 포맷(format)을 가질 수 있다.
4 bit 3 bit 8 bit 54 bit 7 bit 92 bit
컨트롤 파라미터 CRC4 컨트롤 파라미터
에러 수정 비트		 바디 데이터 CRC8 바디 데이터 에러 수정 비트
일 실시예에서, 워터마크 데이터(27)는 15 bit의 컨트롤 파라미터(Control Parameter), 54 bit의 바디 데이터(Body Data), 7 bit의 검증 코드(CRC 8) 및 68 bit의 에러 정정 코드(Error Correction Bit)로 구성될 수 있다.
표 1의 컨트롤 파라미터(control parameter)는 바디 데이터의 타입을 가리킬 수 있다. 예를 들어, 워터마크 판독 장치가 영상으로부터 워터마크 데이터(27)를 추출하여 그 중 54 bit의 바디 데이터를 인식하고, 상기 바디 데이터 및 컨트롤 파라미터를 수납한 컨텐츠 요청을 컨텐츠 서버에 송신할 수 있다. 컨텐츠 서버는 상기 바디 데이터 및 컨트롤 파라미터로부터 상기 컨텐츠의 ID를 식별할 수 있다.
일 실시예에서, 컨트롤 파라미터는 4 bit의 버전 코드(Version Code), 3 bit의 해당 영역에 대한 검증코드(CRC4) 및 8 bit의 에러 정정 코드로 구성될 수도 있다. 버전 코드에 의해서 24개의 버전으로 분기가 가능해져 적절한 용도로 버전을 업데이트 하고, 여러 버전을 동시에 운영할 수 있다.
68 bit의 에러 수정 비트(Error Correction Bit)는 워터마크 데이터(27)가 잘못 추출될 수 있는 가능성을 보완하기 위한 에러 수정용 코드를 포함할 수 있다. 예를 들어, 상기 에러 수정용 코드는 BCH(Bose-Chaudhuri-Hocquenghem) 코드 일 수 있다.
다시 도 2를 참조하여 설명한다. 페이크 영상 제작 배포자(13)는 임의의 원본 영상을 입수하여, 페이크 영상의 제작에 이용할 수 있다. 예를 들어 페이크 영상 제작 배포자(13)는, 딥 페이크 기술을 이용하여, 예컨대 TV 뉴스 앵커나 대통령 등의 인물이 등장하는 원본 영상을 딥 페이크 기술로 가공하여, 원본 영상에 등장하는 뉴스 앵커나 대통령이 가짜 뉴스나 가짜 연설을 하는 페이크 영상을 합성해 낼 수 있다. 나아가, 성인용 비디오 컨텐츠의 배우의 신체에 유명인의 얼굴을 합성한 페이크 영상을 만들어 낼 수 있다. 고도화된 딥 페이크 기술을 사용할 경우, 제3자는 진실된 영상과 페이크 영상을 구분할 수 없다.
그런데 만약 원본 영상(21)의 제작자 또는 배포자가 워터마크를 임베딩한 원본 영상(23)만을 배포하고 워터마크가 없는 원본 영상(21)은 유출되지 않도록 관리한다면, 페이크 영상 제작 배포자(13)는 워터마크가 임베딩된 원본 영상(23)을 이용하여 페이크 영상(25)을 제작할 수밖에 없다. 그리고, 페이크 영상 제작 배포자(13)는 자신이 이용하는 원본 영상에 워터마크가 임베딩된 사실을 알 수 없다. 따라서 페이크 영상 제작 배포자(13)가 워터마크 임베딩된 원본 영상(23)을 기초로 만들어낸 페이크 영상(25)에는 상기 원본 영상(23)에 임베딩되어 있던 워터마크(27)가 남아 있을 가능성이 매우 높다. 후술하겠으나, 본 발명의 실시예들에 따른 워터마크 임베딩 방법은, 영상의 합성 가공 후에도 워터마크의 훼손률이 낮은 방식을 사용한다.
전술한 바와 같이 페이크 영상 제작 배포자(13)가 제작한 페이크 영상(25)에는 원본 영상(23)의 워터마크(27)가 남아 있을 가능성이 크다. 따라서 진위 여부가 의심스러운 영상이 인터넷 등을 통해 유포되고 있는 경우, 페이크 영상 판독자(17)는 의심스러운 영상으로부터 워터마크의 추출을 시도해 볼 수 있다. 만약 의심스러운 영상으로부터 워터마크 데이터(29)가 추출된다면, 워터마크 데이터(29)를 기초로 하여 매칭되는 원본 영상이 무엇인지 확인해 볼 수 있다. 만약 워터마크 데이터(29)가 원본 영상에 임베딩된 워터마크(27)와 동일하다면, 의심스러운 영상(25)의 내용을 원본 영상(21)의 내용과 비교해 볼 수 있다. 만약 양자의 내용이 다르다면 의심스러운 영상(25)은 사실 원본 영상(21)을 이용하여 만들어낸 페이크 영상임을 판정할 수 있게 된다.
지금까지 도 2를 참조하여, 본 발명의 일 실시예에 따른 워터마크 데이터의 임베딩 방법 및 추출 방법이 활용되는 예시적인 상황을 설명하였다. 이하에서는 도 3 내지 도 5를 참조하여, 본 발명의 몇몇 실시예들에서 비디오 컨텐츠의 영상 프레임 등 이미지에 워터마크를 임베딩하는 방법을 설명한다.
본 발명의 몇몇 실시예들에 따른 워터마크 임베딩 및 추출 방법에서는, 노이즈 베이스(noise base) 이미지가 생성 및 이용된다. 노이즈 베이스는 워터마크 데이터를 담을 일종의 데이터 그릇으로 이해될 수 있다. 노이즈 베이스는 사전에 생성된 이미지 파일로부터 로드될 수도 있고, 주파수 도메인(frequency domain)의 2차원 매트릭스를 가리키는 데이터의 형태로 로드될 수도 있다. 또한 일 실시예에서, 주파수 도메인의 매그니튜드 스펙트럼 및 위상 스펙트럼의 형태로 로드될 수도 있다. 후술하겠지만, 임베딩 대상 데이터를 이용하여 노이즈 베이스 이미지가 변환되고, 변환된 노이즈 베이스 이미지를 이용하여 영상 프레임 등의 이미지를 조정함으로써, 이미지에 워터마크 데이터가 임베딩된다.
도 3을 참조하면, 노이즈 베이스는 공간 도메인(Spatial Domain)에서 2차원 이미지(31)의 형태로 표현된다. 널리 알려진 바와 같이, 공간 도메인은 푸리에 변환을 통하여 주파수 도메인(Frequency Domain)으로 변환된다. 주파수 도메인에서 노이즈 베이스는 특정 좌표의 매그니튜드 피크(magnitude peak)를 가지는 2차원 매그니튜드 스펙트럼(33) 및 랜덤 위상(random phase) 스펙트럼(35)으로 표현된다. 랜덤 위상 스펙트럼(35)은 특정 키에 의하여 생성된 랜덤 수를 이용하여 구성된 것이다.
본 실시예에서, 상기 노이즈 베이스는 상기 매그니튜드 피크에 해당하는 영역에서만 0이 아닌 매그니튜드 값을 가지고, 상기 매그니튜드 피크 이외의 영역에서는 모두 0의 매그니튜드 값을 가지는 2차원 매그니튜드 스펙트럼(33)을 가진다. 도 3에는 로그 스케일로 2차원 매그니튜드 스펙트럼(33)이 도시되어 있으므로, 스펙트럼 이미지의 가운데가 낮은 주파수를 의미하고, 외곽으로 나갈수록 높은 주파수를 의미한다. 스펙트럼 이미지의 색상이 밝을 수록 그 점의 좌표에 따른 주파수의 매그니튜드 값이 높은 것을 의미한다.
본 실시예에서, 상기 노이즈 베이스는 상기 매그니튜드 피크에 해당하는 영역에서만 최대 매그니튜드 값을 가지고, 상기 매그니튜드 피크 이외의 영역에서는 모두 최소 매그니튜드 값을 가지는 2차원 매그니튜드 스펙트럼(33)을 가진다. 본 실시예에서는 매그니튜드 피크의 매그니튜드 값과 매그니튜드 피크 이외 영역의 매그니튜드 값의 차이를 극대화함으로써, 워터마킹 데이터의 추출 시 본 발명의 임베딩 방법에 따른 워터마킹 데이터의 임베딩 흔적이 존재하는지 여부의 탐지 성공률이 높아지게 된다.
본 실시예에서, 상기 노이즈 베이스는 복수개의 상기 매그니튜드 피크를 가지는 2차원 매그니튜드 스펙트럼(33)을 가진다. 상기 매그니튜드 피크는 주파수의 이산성(discreteness)에 따른 단위 주파수들을 표현하는 수평 주파수 축 및 역시 주파수의 이산성에 따른 단위 주파수들을 표현하는 수직 주파수 축으로 구성된 평면 상에서, 복수의 점들을 포함할 수 있다. 도 3의 2차원 매그니튜드 스펙트럼(33)에는 8개의 매그니튜드 피크가 도시되어 있다. 후술하겠지만, 상기 매그니튜드 피크의 개수와 위치는 다양하게 결정될 수 있으며, 주파수 도메인에서 표현되는 2차원 매그니튜드 스펙트럼(33)의 매그니튜드 피크의 개수 또는 위치가 달라지면 공간 도메인에서의 2차원 노이즈 베이스 이미지(31)도 달라지게 된다.
주파수 영역(주파수 도메인)을 통해 생성된 노이즈 베이스는 주파수의 특징에 따라 이미지가 일부 손상되더라도 동기화 신호(Synchronization Signal)의 특성은 유지된다. 따라서, 주파수 영역을 통해 생성된 노이즈 베이스는, 워터마크가 임베딩된 이미지나 영상이 딥 페이크 기술 등에 의해 합성 또는 가공된 후에도, 이미지나 영상에 워터마크가 존재한다는 사실을 알리는 표시자의 역할을 수행하고, 스케일, 회전각, 위치 등이 원본 영상과는 상이할 수 있는 페이크 영상으로부터 워터마크 데이터를 추출해 낼 수 있도록 하는 기준점으로서의 역할을 한다.
도 4는 주파수 영역을 통해 생성된 노이즈 베이스 이미지(33)을 이용하여 원본 영상(21)에 워터마크가 임베딩되는 과정을 설명하기 위한 도면이다. 먼저 영상 또는 이미지에 임베딩하고자 하는 임베딩 대상 데이터, 즉 워터마크 데이터(27)를 이용하여 노이즈 베이스 이미지(31)가 변환된다. 변환된 노이즈 베이스 이미지(41)에는 워터마크 데이터(27)가 담겨 있는 것으로 이해될 수 있다.
도 5를 참조하여, 워터마크 데이터(27)를 이용한 노이즈 베이스 이미지(33)의 변환에 관하여 보다 상세히 설명한다.
도 5는 0과 1로 표현된 워터마크 데이터(27)를 이용하여 노이즈 베이스 이미지(31)를 변환하여, 결과적으로 워터마크 데이터(27)를 내포하도록 변환된 노이즈 베이스 이미지(41)를 생성하는 과정을 설명하기 위한 도면이다. 도 5에는 예시적인 노이즈 베이스 이미지(31)의 픽셀들이 도시되어 있다.
본 실시예에서는, 예컨대 2 x 2의 픽셀 블록 단위로 노이즈 베이스 이미지(31)를 순회하면서, 복수의 임베딩 규칙들 중 어느 하나를 이용하여, 노이즈 베이스 이미지(31)의 픽셀 값을 변환한다. 복수의 임베딩 규칙들은 예컨대 도 5에 도시된 임베딩 규칙 #1 내지 #6을 포함한다. 하나의 임베딩 규칙이 아닌 복수의 규칙들 중 어느 하나를 선택적으로 적용함으로써 보안성이 강화된다.
이하에서는 상술한 임베딩 규칙들에 대한 이해를 돕기 위하여, 도 5 및 도 9를 참조하여 임베딩 규칙 #1을 이용하여 노이즈 베이스 이미지(31)의 픽셀 값을 변환하는 과정을 예로 들어 설명한다.
도 9에 도시된 변환된 노이즈 베이스 이미지(91)는, 도 5에 도시된 임베딩 규칙 #1에 따라, 노이즈 베이스 이미지(31)에 예시적인 워터마크 데이터 0 1 1 0을 적용하여 변환한 것이다.
도 5를 참조하면, 임베딩 규칙 #1은, 워터마크 데이터의 비트가 0일 경우, 4개의 픽셀로 구성된 노이즈 베이스의 블록에서 우측 2개 픽셀의 값을 반전시키고, 워터마크 데이터의 비트가 1일 경우, 4개의 픽셀로 구성된 노이즈 베이스의 블록에서 좌측 2개 픽셀의 값을 반전시키는 규칙이다. 유사하게, 임베딩 규칙 #3은, 워터마크 데이터의 비트가 0일 경우, 노이즈 베이스의 블록에서 상부 2개 픽셀의 값을 반전시키고, 워터마크 데이터의 비트가 1일 경우, 노이즈 베이스의 블록에서 하부 2개 픽셀의 값을 반전시키는 규칙이다.
도 5에 도시된 노이즈 베이스 이미지(31)와 비교하면, 도 9에 도시된 변환된 노이즈 베이스 이미지(91)의 블록(910)은 임베딩 규칙 #1에 의해 첫번째 비트인 0이 표현되어 우측 픽셀 2개의 값이 반전되었다. 마찬가지로, 블록(911)은 임베딩 규칙 #1에 의해 두번째 비트인 1이 표현되어 좌측 픽셀 2개의 값이 반전되었으며, 블록(912)은 임베딩 규칙 #1에 의해 세번째 비트인 1이 표현되어 좌측 픽셀 2개의 값이 반전되었으며, 블록(913)은 임베딩 규칙 #1에 의해 네번째 비트인 0이 표현되어 우측 픽셀 2개의 값이 반전된 것임을 알 수 있다.
도 9에 도시된 변환된 노이즈 베이스 이미지(92) 및 이미지(93)는 각각 임베딩 규칙 #2 및 #3을 적용하여 동일한 워터마크 데이터 0 1 1 0을 적용한 결과를 보여주는 예이다.
다시 도 4를 참조하여, 워터마크 데이터(27)를 이용하여 노이즈 베이스 이미지(31)가 변환된 이후, 변환된 노이즈 베이스 이미지(41)를 이용하여 원본 영상(21)을 조정하는 과정을 설명한다.
변환된 노이즈 베이스 이미지(41)를 이용하여 상기 원본 영상(21)을 조정하는 것은, 원본 영상의 각 이미지 프레임을 노이즈 베이스 이미지(41)와 동일한 사이즈의 블록들로 구획한 후, 각 구획마다 변환된 노이즈 베이스 이미지(41)의 픽셀 값들을 이용하여, 원본 영상의 픽셀들의 값들을, 복수의 조정 규칙들 중 어느 하나에 의해 조정하는 것일 수 있다.
복수의 조정 규칙들이란, RGB 채널로 표현된 이미지 프레임의 특정 픽셀의 R 채널값, G 채널값, 및 B 채널값 중 적어도 하나를 제1 조정치만큼 증가 또는 감소시키는 규칙, CMYK 채널로 표현된 이미지 프레임의 특정 픽셀의 C 채널값, M 채널값, Y 채널값, 및 K 채널 값 중 적어도 하나를 제2 조정치만큼 증가 또는 감소시키는 규칙, 및 YUV 채널로 표현된 이미지 프레임의 특정 픽셀의 Y 채널값, U 채널값, 및 V 채널값 중 적어도 하나를 제3 조정치만큼 증가 또는 감소시키는 규칙 등을 포함한다.
이와 같이 워터마크 데이터로 변환된 노이즈 베이스 이미지(41)를 이용하여 원본 영상(21)을 조정함으로써, 원본 영상에 워터마크가 임베딩된 영상(23)이 생성된다.
지금까지 도 3 내지 도 5를 참조하여, 본 발명의 몇몇 실시예들에서 비디오 컨텐츠의 영상 프레임 등 이미지에 워터마크를 임베딩하는 방법을 개략적으로 살펴보았다. 이하에서는 본 발명의 몇몇 실시예에서 비디오 컨텐츠를 구성하는 복수의 이미지 프레임에 서로 다른 방식으로 임베딩을 수행하는 방법에 대하여 설명하기로 한다.
도 6은 본 발명의 몇몇 실시예에 따라, 비디오 컨텐츠를 구성하는 복수의 이미지 프레임에 임베딩 속성을 사용하여 서로 다른 워터마크 데이터를 임베딩하는 방법을 설명하기 위한 도면이다. 도 6 내지 도 9를 참조하여 이하에서 설명될 방법에서는, 비디오 컨텐츠를 구성하는 모든 이미지 프레임들을 하나의 속성에 의해 임베딩하지 않고 임베딩 속성을 다변화하거나, 또는 모든 이미지 프레임들에 동일한 워터마크 데이터를 임베딩하지 않고, 서로 다른 이미지 프레임들에 서로 다른 워터마크 데이터를 임베딩한다.
도 6을 참조하면, 도 6의 참조번호(651) 내지 참조번호(655)는 워터마크를 임베딩하고자 하는 원본 비디오 컨텐츠를 구성하는 복수의 이미지 프레임들 중 일부인 FRAME #1, FRAME #2, FRAME #3, FRAME #31,및 FRAME #32를 나타낸다. 도 6의 참조번호(661) 내지 참조번호(665)는 워터마크의 임베딩이 완료된 이미지 프레임들 중 일부인 FRAME #1, FRAME #2, FRAME #3, FRAME #31,및 FRAME #32를 나타낸다.
도 6은, 원본 비디오 컨텐츠를 구성하는 복수의 이미지 프레임들이 총 30개의 그룹으로 분할되어, 서로 다른 임베딩 속성 및/또는 서로 다른 워터마크 데이터가 적용되는 예를 도시한다. 구체적으로, 도 6은 복수의 이미지 프레임들을 30개씩 단위로 구분하여, 매 30 프레임의 첫번째 프레임들을 제1 그룹(61)으로, 매 30 프레임의 두번째 프레임들을 제2 그룹(62)으로, 매 30 프레임의 마지막 프레임들을 제30 그룹(64)으로 구분한 예를 도시한다.
비록 도시되지는 않았지만, 도 6에 도시된 방식과 다르게, 원본 비디오 컨텐츠를 임의의 시구간, 예컨대 5분 단위의 시구간으로 분할하여, 해당 시구간을 구성하는 이미지 프레임들을 각각 하나의 그룹에 속하도록 분할할 수도 있다.
다시 도 6을 참조하면, 몇몇 실시예에서, 제1 그룹(61)에 속하는 이미지 프레임에는 제1 임베딩 속성(611)에 의해 데이터가 임베딩될 수 있고, 제2 그룹(62)에 속하는 이미지 프레임에는 제2 임베딩 속성(621)에 의해 데이터가 임베딩될 수 있으며, 제30 그룹(64)에 속하는 이미지 프레임에는 제30 임베딩 속성(641)에 의해 데이터가 임베딩될 수 있다. 후술하겠지만, 이처럼 임베딩 속성을 다변화함으로써, 워터마크 데이터가 임베딩 완료된 영상에서 워터마크의 시인성이 낮아진다. 즉, 동일한 임베딩 속성에 의해 반복적인 임베딩이 이루어져 영상의 특정 영역이 부자연스럽게 보이거나, 특정 위치의 픽셀의 색상의 변화가 눈에 띄는 문제를 방지할 수 있다.
나아가, 몇몇 실시예에서는, 제1 그룹(61)에 속하는 이미지 프레임에는 제1 워터마크 데이터(612)가 임베딩될 수 있고, 제2 그룹(62)에 속하는 이미지 프레임에는 제2 워터마크 데이터(622)가 임베딩될 수 있으며, 제30 그룹(64)에 속하는 이미지 프레임에는 제30 워터마크 데이터(642)가 임베딩될 수 있다. 이처럼 하나의 비디오 컨텐츠를 구성하는 복수의 이미지 프레임들에 서로 다른 워터마크 데이터를 임베딩함으로써, 예컨대 페이크 영상(25)의 제작에 사용된 원본 영상의 출처를 보다 구체적으로 특정할 수 있게 된다. 또한, 서로 다른 프레임에 서로 다른 데이터를 임베딩함으로써, 워터마크 데이터가 임베딩 완료된 영상에서 워터마크의 시인성이 낮아지는 효과도 제공한다.
이하에서는 도 7 내지 도 9를 참조하여, 도 6을 참조하여 설명한 바와 같이 서로 다른 이미지 프레임 그룹에 서로 다르게 적용될 수 있는 임베딩 속성들에 대하여 설명하기로 한다. 임베딩 속성이란, 노이즈 베이스 이미지의 배율, 노이즈 베이스 이미지를 주파수 도메인으로 변환했을 때 매그니튜드 피크들의 개수 및 좌표, 노이즈 베이스 이미지를 구성하는 픽셀들의 픽셀 값을 워터마크 데이터를 이용해 변환하는 변환 규칙, 변환된 노이즈 베이스 이미지로 원본 영상의 픽셀을 조정하는 조정 규칙 등을 포함한다.
도 7은 워터마크 데이터를 이용하여 변환된 노이즈 베이스 이미지가 원본 영상(21)에 적용되어 원본 영상(21)의 픽셀 값들을 조정할 때, 서로 다른 이미지 프레임 그룹에 서로 다른 크기의 노이즈 베이스 이미지가 사용될 수 있음을 나타내는 도면이다.
여기서 서로 다른 크기의 노이즈 베이스 이미지란, 동일한 내용의 노이즈 베이스 이미지의 스케일만 다르게 조정한 노이즈 베이스 이미지들일 수 있다. 도 7에 도시된 노이즈 베이스 이미지들(71 내지 73)은 모두 동일한 내용의 노이즈 베이스 이미지이지만, 원본 영상(21)을 구성하는 픽셀들을 노이즈 베이스 이미지를 이용해 조정할 때, 원본 영상(21)과의 상대적인 배율이 서로 다르도록 스케일이 조정된 것일 수 있다. 다시 말해, 노이즈 베이스 이미지(71)가 사용될 경우 원본 영상(21) 한 프레임에 중복적으로 임베딩 되는 워터마크의 수가 N개라고 가정한다면, 노이즈 베이스 이미지(72)가 사용될 경우에는 N/2개의 워터마크가 중복적으로 임베딩되고, 노이즈 베이스 이미지(73)가 사용될 경우에는 N/3개의 워터마크가 중복적으로 임베딩되는 차이를 가지는 것이다.
한편, 서로 다른 크기의 노이즈 베이스 이미지란, 픽셀 수가 서로 다른 노이즈 베이스 이미지들일 수도 있다. 예컨대 7에 도시된 노이즈 베이스 이미지(71)는 64 x 64 픽셀을 가지는 이미지이고, 노이즈 베이스 이미지(72)는 128 x 128 픽셀을 가지는 이미지이며, 노이즈 베이스 이미지(72)은 256 x 256 픽셀을 가지는 이미지일 수 있다.
이와 같이 서로 다른 이미지 프레임 그룹들에 서로 다른 크기의 노이즈 베이스 이미지를 사용함으로써, 워터마크 데이터가 임베딩 완료된 영상에서 워터마크의 시인성이 낮아지고 보안성은 향상되는 효과를 제공한다.
한편 몇몇 실시예에서는, 원본 영상(21)의 해상도에 따라 노이즈 베이스 이미지의 크기를 결정할 수 있다. 예를 들어, 원본 영상(21)의 해상도가 HD, FHD, 4K, 8K, 또는 이들 사이의 해상도인지 여부에 따라, 노이즈 베이스 이미지의 크기를 다르게 함으로서, 워터마크의 강인성을 향상시킬 수 있다. 다시 말해, 워터마크가 임베딩된 원본 영상(23)의 일부 영역을 잘라서 페이크 영상(25)을 제작하더라도 페이크 영상(25)으로부터 상기 워터마크가 추출될 가능성을 높일 수 있게 된다.
도 8은 본 발명의 몇몇 실시예에서 서로 다른 이미지 프레임 그룹에 워터마크를 임베딩할 때 사용되는 서로 다른 노이즈 베이스 이미지를 설명하기 위한 도면이다.
도 8의 이미지들(811, 821, 831)는 서로 다른 예시적인 노이즈 베이스 이미지들을 공간 도메인에서 표현한 것이며, 제1 내지 제3 시그널(813, 823, 833)은 상기 이미지들(811, 821, 831)을 주파수 도메인에서 매그니튜드 피크들로 표현되는 시그널로 나타낸 것이다.
제2 시그널(823)은, 제1 노이즈 베이스 이미지에 대응되는 제1 시그널(813)을 시계 방향으로 30도 회전한 것이다. 즉 제1 시그널과 제2 시그널에서 매그니튜드 피크들의 개수는 동일하지만, 이들의 좌표는 서로 다르다. 제2 노이즈 베이스 이미지는 상기 제2 시그널(823)을 공간 도메인으로 변환하여 생성한 것이다.
한편, 제1 시그널(813) 및 제2 시그널(823)은 총 8개의 매그니튜드 피크들을 가지는 시그널이다. 반면에 제3 시그널(833)은 총 12개의 매그니튜드 피크들을 가지는 시그널이며, 그 좌표들 또한 서로 다르다.
이처럼, 주파수 도메인에서 서로 다른 좌표 및/또는 개수의 매그니튜드 피크들을 가지는 노이즈 베이스 이미지들을 서로 다른 이미지 프레임 그룹에 대한 임베딩에 사용할 수 있다. 또한 주파수 도메인에서 매그니튜드 피크들을 소정의 각도만큼 회전시키면서 반복적으로 획득된 결과를 각각 공간 도메인으로 변환하는 방법에 의하여, 서로 다른 이미지 프레임 그룹에 사용될 서로 다른 노이즈 베이스 이미지들을 만들어 낼 수도 있다.
이와 같이 서로 다른 이미지 프레임 그룹들에 서로 다른 노이즈 베이스 이미지를 사용함으로써, 워터마크 데이터가 임베딩 완료된 영상에서 워터마크의 시인성이 낮아지고 보안성은 향상되는 효과를 제공한다.
도 9는 워터마크 데이터를 이용하여 노이즈 베이스 이미지를 변환할 때, 서로 다른 임베딩 규칙들을 사용할 수 있음을 설명하기 위한 도면이다. 이처럼 서로 다른 임베딩 규칙들을 사용하여 변환된 서로 다른 노이즈 베이스 이미지들을 사용하여 서로 다른 이미지 프레임 그룹들의 이미지가 조정될 수 있다.
도 9에 도시된 변환된 노이즈 베이스 이미지(91)는 도 5를 참조하여 설명한 임베딩 규칙 #1 내지 #6 중에 임베딩 규칙 #1을 이용하여 노이즈 베이스 이미지(31)에 워터마크 데이터 0 1 1 0을 적용하여 변환한 것이다. 도 9의 변환된 노이즈 베이스 이미지(92)는 임베딩 규칙 #2을 이용하여 노이즈 베이스 이미지(31)에 워터마크 데이터 0 1 1 0을 적용하여 변환한 것이며, 변환된 노이즈 베이스 이미지(93)는 임베딩 규칙 #3을 이용하여 노이즈 베이스 이미지(31)에 워터마크 데이터 0 1 1 0을 적용하여 변환한 것이다. 변환된 노이즈 베이스 이미지들(91 내지 93)로부터 알 수 있듯이, 동일한 노이즈 베이스 이미지(31)에 동일한 워터마크 데이터 0 1 1 0을 적용하더라도, 상이한 임베딩 규칙(규칙 #1 내지 #3)을 사용함으로써, 그 결과 얻어지는 이미지는 서로 상이하다. 이어서 이처럼 서로 다른 이미지들(91 내지 93)을 사용하여 서로 다른 이미지 프레임 그룹의 이미지를 조정할 수 있다.
이와 같이 서로 다른 이미지 프레임 그룹들에 서로 다른 임베딩 규칙으로 변환된 노이즈 베이스 이미지를 사용함으로써, 워터마크 데이터가 임베딩 완료된 영상에서 워터마크의 시인성이 낮아지고 보안성은 향상되는 효과를 제공한다.
한편, 도시되지는 않았지만, 본 발명의 몇몇 실시예에서는, 서로 다른 이미지 프레임 그룹에 워터마크를 임베딩할 때 동일한 노이즈 베이스 이미지를 사용하되, 복수의 조정 규칙들 중 서로 다른 조정 규칙을 사용하여 원본 이미지의 픽셀 값을 조정할 수 있다.
여기서 복수의 조정 규칙들이란, RGB 채널로 표현된 이미지 프레임의 특정 픽셀의 R 채널값, G 채널값, 및 B 채널값 중 적어도 하나를 제1 조정치만큼 증가 또는 감소시키는 규칙, CMYK 채널로 표현된 이미지 프레임의 특정 픽셀의 C 채널값, M 채널값, Y 채널값, 및 K 채널 값 중 적어도 하나를 제2 조정치만큼 증가 또는 감소시키는 규칙, 및 YUV 채널로 표현된 이미지 프레임의 특정 픽셀의 Y 채널값, U 채널값, 및 V 채널값 중 적어도 하나를 제3 조정치만큼 증가 또는 감소시키는 규칙 등을 포함한다.
서로 다른 조정 규칙을 사용하여 서로 다른 이미지 프레임 그룹을 조정한다는 것은, 예컨대 제1 그룹의 이미지 프레임은 R 채널 값을 제1 조정치만큼 증가시키고, 제2 그룹의 이미지 프레임은 R 채널 값을 제2 조정치만큼 증가시키는 것일 수 있다. 또 다른 예로, 제1 그룹의 이미지 프레임은 R 채널 값을 제1 조정치만큼 증가시키고, 제2 그룹의 이미지 프레임은 R 채널 값을 제1 조정치만큼 감소시키는 것일 수 있다. 또 다른 예로, 제1 그룹의 이미지 프레임은 R 채널 값을 제1 조정치만큼 증가시키고, 제2 그룹의 이미지 프레임은 G 채널 값을 제2 조정치만큼 감소시키는 것일 수 있다. 또 다른 예로, 제1 그룹의 이미지 프레임은 RGB 채널의 값을 조정하고, 제2 그룹의 이미지 프레임은 CMYK 또는 YUV 채널의 값을 조정하는 것일 수 있다.
이와 같이 서로 다른 이미지 프레임 그룹들에 서로 다른 조정 규칙을 이용하여 픽셀 값을 조정함으로써, 워터마크 데이터가 임베딩 완료된 영상에서 워터마크의 시인성이 낮아지고 보안성은 향상되는 효과를 제공한다.
지금까지 도 6 내지 도 9를 참조하여, 비디오 컨텐츠를 구성하는 복수의 이미지 프레임에 임베딩 속성을 사용하여 임베딩하거나 서로 다른 워터마크 데이터를 임베딩하는 몇몇 실시예를 설명하였다. 이하에서는 도 10을 참조하여, 본 발명의 일 실시예에 따라 원본 영상에 워터마크 데이터를 임베딩하는 방법에 관하여 설명한다.
도 10은 본 실시예에 따라 원본 영상에 워터마크 데이터를 임베딩하는 방법을 나타내는 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 10에 도시된 워터마크 데이터 임베딩 방법의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 상기 워터마크 데이터 임베딩 방법의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 상기 워터마크 데이터 임베딩 방법에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 상기 방법의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 상기 방법의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 상기 워터마크 데이터 임베딩 방법의 각 단계가 하나의 컴퓨팅 장치에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 다만, 설명의 편의를 위해, 상기 워터마크 데이터 임베딩 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다.
별도로 언급하지 않더라도, 본 실시예에 따른 워터마크 데이터 임베딩 방법의 각 동작에 있어서, 도 2 내지 도 9를 참조하여 설명된 실시예들의 기술 사상이 반영될 수 있음은 물론이다. 또한, 반대로 본 실시예에 따른 워터마크 데이터 임베딩 방법의 각 동작에 반영된 기술 사상 역시 도 2 내지 도 9를 참조하여 설명된 실시예의 이해에 참고될 수 있을 것이다.
도 10에 도시된 바와 같이, 본 실시예에 따른 워터마크 데이터 임베딩 방법은, 일련의 이미지 프레임으로 구성된 비디오 컨텐츠를 획득하는 단계(S110), 일련의 이미지 프레임 중 제1 그룹의 이미지 프레임에 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계(S120), 일련의 이미지 프레임 중 제2 그룹의 이미지 프레임에 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계(S130), 및 워터마크 데이터가 임베딩된 비디오 컨텐츠를 제공하는 단계(S140)를 포함할 수 있다.
본 실시예에서, 제1 그룹의 이미지 프레임과 제2 그룹의 이미지 프레임은, 상기 일련의 이미지 프레임을 복수의 시구간으로 분할할 때 각각 서로 다른 시구간에 속하는 것이다. 예를 들어, 제1 그룹의 이미지 프레임은 비디오 컨텐츠를 구성하는 이미지 프레임들을 순차적으로 나열할 때, 매 30 프레임의 첫번째 프레임들 중에 어느 하나일 수 있고, 제2 그룹의 이미지 프레임은 매 30 프레임의 두번째 프레임들 중에 어느 하나일 수 있다. 다른 예를 들면, 제1 그룹의 이미지 프레임은 비디오 컨텐츠를 5분 단위의 시구간으로 분할할 때, 첫 5분에 해당하는 시구간을 구성하는 이미지 프레임들 중 어느 하나이고, 제2 그룹의 이미지 프레임은 두번째 5분에 해당하는 시구간을 구성하는 이미지 프레임들 중 어느 하나일 수 있다.
본 실시예에서, 제1 임베딩 속성 및 제2 임베딩 속성은, 임베딩 속성을 결정하는 다양한 요소들 중 적어도 일부가 상이한 임베딩 속성일 수 있다. 전술한 바와 같이 임베딩 속성에는, 노이즈 베이스 이미지의 배율, 노이즈 베이스 이미지를 주파수 도메인으로 변환했을 때 매그니튜드 피크들의 개수 및 좌표, 노이즈 베이스 이미지를 구성하는 픽셀들의 픽셀 값을 워터마크 데이터를 이용해 변환하는 변환 규칙, 변환된 노이즈 베이스 이미지로 원본 영상의 픽셀을 조정하는 조정 규칙 등이 포함되며, 이에 관해서는 도 7 내지 도 9를 참조하여 전술한 설명을 참조한다.
본 실시예에서, 제1 그룹의 이미지 프레임을 임베딩하는 단계(S120) 및 제2 그룹의 이미지 프레임을 임베딩하는 단계(S130)는, 비디오 컨텐츠의 해상도에 기초하여 결정된 배율의 노이즈 베이스 이미지를 사용하여 워터마크 데이터를 임베딩하는 단계일 수 있다. 구체적으로, 비디오 컨텐츠의 해상도가 제1 범위에 속할 경우 제1 배율의 노이즈 베이스 이미지를 사용하여 임베딩하고, 비디오 컨텐츠의 해상도가 제2 범위에 속할 경우 제2 배율의 노이즈 베이스 이미지를 사용하여 임베딩하는 것일 수 있다. 또는, 비디오 컨텐츠의 해상도가 소정의 임계치 이상일 경우 제1 배율의 노이즈 베이스 이미지를 사용하여 임베딩하고, 비디오 컨텐츠의 해상도가 상기 임계치 미만일 경우 제2 배율의 노이즈 베이스 이미지를 사용하여 임베딩하는 것일 수 있다.
본 실시예에서, 임베딩되는 상기 워터마크 데이터는 상기 비디오 컨텐츠의 식별자를 포함할 수 있다. 나아가 상기 워터마크 데이터는 상기 비디오 컨텐츠를 제공받은 사용자의 식별자를 포함할 수 있다. 예를 들어, 페이크 영상을 제작하는 사용자를 식별할 수 있도록, 원본 영상(21)이 특정 사용자에게 다운로드되거나 플레이될 때, 특정 사용자 고유의 식별자가 동적으로 상기 비디오에 워터마킹되도록 할 수 있다.
이하에서는 도 11 및 도 12를 참조하여, 본 발명의 다른 일 실시예에 따라 영상으로부터 워터마크를 추출하는 방법을 설명한다.
도 11을 참조하면, 본 실시예에 따른 워터마크 추출 방법은, 일련의 이미지 프레임으로 구성된 비디오 컨텐츠를 획득하는 단계(S210), 이미지 프레임으로부터 복수의 노이즈 베이스 이미지들 중 어느 하나를 식별하는 단계(S220), 이미지 프레임에 대응되는 데이터 추출 속성을 판정하는 단계(S230), 및 노이즈 베이스 이미지를 이용하여 데이터 추출 속성에 따라 이미지 프레임으로부터 데이터를 추출하는 단계(S240)를 포함한다.
단계(S210)에서는 먼저 비디오 컨텐츠가 획득되고, 컨텐츠를 구성하는 이미지 프레임들이 식별된다.
단계(S220)에서는 이미지 프레임을 분석하여 워터마크가 임베딩되어 있는지 여부가 판정된다.
도 12를 참조하여 단계(S220)를 보다 자세히 설명하면, 단계(S221)에서 이미지 프레임을 주파수 도메인으로 변환하여, 사전 정의된 복수의 노이즈 베이스 이미지들 중 어느 하나의 시그널(예컨대 도 8의 참조번호 813, 823, 833과 같은 매그니튜드 피크들)이 발견되는지 여부를 확인한다. 만약 시그널이 발견되었다면, 단계(S223)에서, 사전 정의된 복수의 노이즈 베이스 이미지들 중 어느 이미지의 시그널인지 판정함으로써, 복수의 노이즈 베이스 이미지들 중 어느 하나가 식별될 수 있다.
다시 도 11을 참조하면, 단계(S230)에서는 상기 이미지 프레임에 대응되는 데이터 추출 속성이 판정된다. 여기서 데이터 추출 속성은 도 10을 참조하여 설명한 임베딩 방법에서의 임베딩 속성(예컨대, 노이즈 베이스 이미지의 배율, 노이즈 베이스 이미지를 주파수 도메인으로 변환했을 때 매그니튜드 피크들의 개수 및 좌표, 노이즈 베이스 이미지를 구성하는 픽셀들의 픽셀 값을 워터마크 데이터를 이용해 변환하는 변환 규칙, 변환된 노이즈 베이스 이미지로 원본 영상의 픽셀을 조정하는 조정 규칙 등)에 대응되는 것이다. 즉, 상기 이미지 프레임에 워터마크 데이터가 어떤 속성에 의해 임베딩 되었고, 따라서 어떤 속성에 의해 워터마크 데이터를 추출되어야 하는지가 판정한다.
이때, 데이터 추출 속성은 단계(S220)에서 식별된 노이즈 베이스 이미지에 의해 판정될 수 있다. 구체적으로, 복수의 노이즈 베이스 이미지들에 따라 각각 데이터 임베딩 속성 및 추출 속성을 사전에 정의해 두고, 데이터 추출 과정에서 식별된 노이즈 베이스 이미지에 기초하여, 이에 대응되는 추출 속성을 결정할 수 있다.
단계(S240)에서는, 단계(S220)에서 식별된 노이즈 베이스 이미지 및 단계(S230)에서 판정된 데이터 추출 속성을 이용하여, 이미지 프레임으로부터 워터마크 데이터를 추출할 수 있다. 이어서 다음 이미지 프레임으로부터 워터마크 데이터를 추출하기 위하여 상기 단계들(S220 내지 S240)을 반복할 수 있다.
지금까지 도 1 내지 도 12를 참조하여, 본 발명의 몇몇 실시예들에 따른 워터마크 임베딩 및 추출 방법과, 그 응용분야에 대해서 설명하였다. 이하에서는, 본 발명의 몇몇 실시예들을 구현하거나 수행할 수 있는 예시적인 컴퓨팅 장치(1500)에 대하여 설명하도록 한다.
도 13은 본 발명의 몇몇 실시예들을 구현하거나 수행할 수 있는 예시적인 컴퓨팅 장치(1500)를 나타내는 하드웨어 구성도이다.
도 13에 도시된 바와 같이, 컴퓨팅 장치(1500)는 하나 이상의 프로세서(1510), 버스(1550), 통신 인터페이스(1570), 상기 프로세서(1510)에 의하여 수행되는 컴퓨터 프로그램(1591)을 로드(load)하는 메모리(1530)와, 컴퓨터 프로그램(1591)을 저장하는 스토리지(1590)를 포함할 수 있다. 다만, 도 13에는 본 발명의 실시예와 관련 있는 구성 요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 13에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(1510)는 컴퓨팅 장치(1500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1510)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(1530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(1530)는 본 발명의 실시예들에 따른 방법을 실행하기 위하여 스토리지(1590)로부터 하나 이상의 프로그램(1591)을 로드할 수 있다. 메모리(1530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.
버스(1550)는 컴퓨팅 장치(1500)의 구성 요소 간 통신 기능을 제공한다. 버스(1550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(1570)는 컴퓨팅 장치(1500)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(1570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
몇몇 실시예들에 따르면, 통신 인터페이스(1570)는 생략될 수도 있다.
스토리지(1590)는 상기 하나 이상의 프로그램(1591)과 각종 데이터를 비임시적으로 저장할 수 있다.
스토리지(1590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(1591)은 메모리(1530)에 로드될 때 프로세서(1510)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(1510)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.
위와 같은 경우, 컴퓨팅 장치(1500)를 통해 본 발명의 몇몇 실시예들에 따른 방법들이 구현되거나 수행될 수 있다.
지금까지 도 1 내지 도 13을 참조하여 본 발명의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
지금까지 도 1 내지 도 13을 참조하여 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 일련의 이미지 프레임에 워터마크 데이터를 임베딩하는 방법으로서,
    상기 일련의 이미지 프레임 중 제1 그룹의 이미지 프레임에 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계; 및
    상기 일련의 이미지 프레임 중 제2 그룹의 이미지 프레임에 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계
    를 포함하되,
    상기 제1 그룹의 이미지 프레임과 상기 제2 그룹의 이미지 프레임은 서로 구별되며,
    상기 제1 임베딩 속성과 상기 제2 임베딩 속성은 임베딩 속성이 적어도 부분적으로 상이한 것이고,
    상기 임베딩 속성은, 임베딩에 이용되는 노이즈 베이스 이미지의 속성 및 상기 노이즈 베이스 이미지의 적용 규칙을 포함하는,
    워터마크 데이터 임베딩 방법.
  2. 제1항에 있어서,
    상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 제1 배율로 스케일링하여 상기 제1 그룹의 이미지 프레임을 조정하는 단계를 포함하고,
    상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 제2 배율로 스케일링하여 상기 제2 그룹의 이미지 프레임을 조정하는 단계를 포함하는,
    워터마크 데이터 임베딩 방법.
  3. 제1항에 있어서,
    상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 변환된 제1 노이즈 베이스 이미지를 이용하여, 상기 제1 그룹의 이미지 프레임을 조정하는 단계를 포함하고,
    상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 변환된 제2 노이즈 베이스 이미지를 이용하여, 상기 제2 그룹의 이미지 프레임을 조정하는 단계를 포함하는,
    워터마크 데이터 임베딩 방법.
  4. 제3항에 있어서,
    상기 제1 노이즈 베이스 이미지와 상기 제2 노이즈 베이스 이미지는, 주파수 도메인에서 매그니튜드 피크들의 좌표가 서로 상이한,
    워터마크 데이터 임베딩 방법.
  5. 제4항에 있어서,
    상기 제1 노이즈 베이스 이미지와 상기 제2 노이즈 베이스 이미지는, 상기 주파수 도메인에서 상기 매그니튜드 피크들의 개수가 서로 상이한,
    워터마크 데이터 임베딩 방법.
  6. 제3항에 있어서,
    상기 제2 노이즈 베이스 이미지를 주파수 도메인으로 변환한 결과 획득되는 매그니튜드 스펙트럼의 피크들은, 상기 제1 노이즈 베이스 이미지를 주파수 도메인으로 변환한 결과 획득되는 매그니튜드 스펙트럼의 피크들을 기정의된 각도만큼 회전한 결과에 대응되는,
    워터마크 데이터 임베딩 방법.
  7. 제1항에 있어서,
    상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 제1 변환 규칙에 의해 노이즈 베이스 이미지의 픽셀 값을 수정함으로써 상기 노이즈 베이스 이미지를 변환하는 단계를 포함하고,
    상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 제2 변환 규칙에 의해 노이즈 베이스 이미지의 픽셀 값을 수정함으로써 상기 노이즈 베이스 이미지를 변환하는 단계를 포함하는,
    워터마크 데이터 임베딩 방법.
  8. 제1항에 있어서,
    상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 이용하여 제1 조정 규칙에 의해 상기 제1 그룹의 이미지 프레임을 조정하는 단계를 포함하고,
    상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 데이터를 이용하여 변환된 노이즈 베이스 이미지를 이용하여 제2 조정 규칙에 의해 상기 제2 그룹의 이미지 프레임을 조정하는 단계를 포함하는,
    워터마크 데이터 임베딩 방법.
  9. 제8항에 있어서,
    상기 제1 조정 규칙에 의해 상기 제1 그룹의 이미지 프레임을 조정하는 단계는,
    상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제1 그룹의 이미지 프레임의 픽셀 값을 양의 방향으로 조정하는 단계를 포함하고,
    상기 제2 조정 규칙에 의해 상기 제2 그룹의 이미지 프레임을 조정하는 단계는,
    상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제2 그룹의 이미지 프레임의 픽셀 값을 음의 방향으로 조정하는 단계를 포함하는,
    워터마크 데이터 임베딩 방법.
  10. 제8항에 있어서,
    상기 제1 조정 규칙에 의해 상기 제1 그룹의 이미지 프레임을 조정하는 단계는,
    상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제1 그룹의 이미지 프레임의 제1 채널을 조정하는 단계를 포함하고,
    상기 제2 조정 규칙에 의해 상기 제2 그룹의 이미지 프레임을 조정하는 단계는,
    상기 변환된 노이즈 베이스 이미지를 이용하여 상기 제2 그룹의 이미지 프레임의 제2 채널을 조정하는 단계를 포함하며,
    상기 제1 채널 및 상기 제2 채널은, 각각 RGB 채널, CMYK 채널, 및 YUV 채널로 구성되는 그룹에서 선택되는 어느 하나의 채널인,
    워터마크 데이터 임베딩 방법.
  11. 제1항에 있어서,
    상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계 및 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 일련의 이미지 프레임의 해상도가 임계치 이상일 경우 제1 배율로 스케일링된 노이즈 베이스 이미지를 이용하여 상기 데이터를 임베딩하는 단계; 및
    상기 일련의 이미지 프레임의 해상도가 상기 임계치 미만일 경우 제2 배율로 스케일링된 노이즈 베이스 이미지를 이용하여 데이터를 임베딩하는 단계를 각각 포함하는,
    워터마크 데이터 임베딩 방법.
  12. 제1항에 있어서,
    상기 일련의 이미지 프레임은 비디오 컨텐츠를 구성하는 것이고,
    상기 워터마크 데이터는 상기 비디오 컨텐츠의 식별자를 포함하는,
    워터마크 데이터 임베딩 방법.
  13. 제12항에 있어서,
    상기 워터마크 데이터 임베딩 방법은 상기 비디오 컨텐츠가 사용자에게 제공될 때 자동으로 수행되는 것인,
    워터마크 데이터 임베딩 방법.
  14. 제1항에 있어서,
    상기 제1 그룹의 이미지 프레임에 상기 제1 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    복수의 워터마크 데이터 중 제1 데이터를 임베딩하는 단계를 포함하고,
    상기 제2 그룹의 이미지 프레임에 상기 제2 임베딩 속성을 이용하여 데이터를 임베딩하는 단계는,
    상기 복수의 워터마크 데이터 중 제2 데이터를 임베딩하는 단계를 포함하되,
    상기 제1 그룹의 이미지 프레임과 상기 제2 그룹의 이미지 프레임은, 상기 일련의 이미지 프레임을 복수의 시구간으로 분할할 때 서로 다른 시구간에 속하는 것인,
    워터마크 데이터 임베딩 방법.
  15. 이미지 프레임으로부터 워터마크 데이터를 추출하는 방법으로서,
    상기 이미지 프레임으로부터 노이즈 베이스 이미지를 식별하는 단계;
    상기 이미지 프레임에 대응되는 데이터 추출 속성을 판정하는 단계; 및
    상기 노이즈 베이스 이미지를 이용하여 상기 데이터 추출 속성에 따라 상기 이미지 프레임으로부터 상기 데이터를 추출하는 단계
    를 포함하되,
    상기 추출 속성은, 상기 이미지 프레임의 소속 그룹마다 부분적으로 상이하게 결정된 임베딩 속성에 대응되는 속성이고,
    상기 임베딩 속성은, 임베딩에 이용되는 노이즈 베이스 이미지의 속성 및 상기 노이즈 베이스 이미지의 적용 규칙을 포함하는,
    워터마크 데이터 추출 방법.
  16. 제15항에 있어서,
    상기 이미지 프레임으로부터 노이즈 베이스 이미지를 식별하는 단계는,
    주파수 영역에서, 상기 이미지 프레임을 사전 정의된 복수의 노이즈 베이스 이미지들과 각각 비교하는 단계; 및
    상기 사전 정의된 복수의 노이즈 베이스 이미지들 중 상기 이미지 프레임에 대응되는 노이즈 베이스 이미지를 식별하는 단계
    를 포함하는,
    워터마크 데이터 추출 방법.
  17. 제16항에 있어서,
    상기 복수의 노이즈 베이스 이미지들은, 주파수 도메인에서 매그니튜드 피크들의 좌표 또는 개수가 서로 상이한,
    워터마크 데이터 추출 방법.
  18. 제15항에 있어서,
    상기 이미지 프레임에 대응되는 데이터 추출 속성을 판정하는 단계는,
    상기 이미지 프레임으로부터 식별된 상기 노이즈 베이스 이미지에 기초하여 상기 데이터 추출 속성을 판정하는 단계
    를 포함하는,
    워터마크 데이터 추출 방법.
  19. 제15항에 있어서,
    상기 데이터 추출 속성은,
    상기 노이즈 베이스 이미지를 이용하여 상기 이미지 프레임의 픽셀 값을 조정하는 규칙,
    상기 노이즈 베이스 이미지를 이용하여 조정하는 상기 이미지 프레임의 채널의 유형,
    상기 이미지 프레임에 적용된 상기 노이즈 베이스 이미지의 배율, 및
    상기 노이즈 베이스 이미지로부터 상기 데이터를 추출하는 규칙
    중 적어도 하나를 포함하는,
    워터마크 데이터 추출 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 따른 방법을 컴퓨팅 디바이스의 프로세서가 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
KR1020200071228A 2020-06-12 2020-06-12 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법 KR102417767B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200071228A KR102417767B1 (ko) 2020-06-12 2020-06-12 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200071228A KR102417767B1 (ko) 2020-06-12 2020-06-12 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법

Publications (2)

Publication Number Publication Date
KR20210154328A KR20210154328A (ko) 2021-12-21
KR102417767B1 true KR102417767B1 (ko) 2022-07-06

Family

ID=79165222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071228A KR102417767B1 (ko) 2020-06-12 2020-06-12 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법

Country Status (1)

Country Link
KR (1) KR102417767B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318068A (ja) * 2004-04-27 2005-11-10 Kddi Corp コンテンツ認証データの電子透かし埋め込み方式および認証方式
KR101877372B1 (ko) * 2017-05-19 2018-07-13 주식회사 하루컴퍼니 워터마크 데이터의 임베딩 및 추출 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503948A (ja) * 2005-07-19 2009-01-29 ベリマトリックス，インコーポレイティド 媒体識別のための隠されたロバストなマーク

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318068A (ja) * 2004-04-27 2005-11-10 Kddi Corp コンテンツ認証データの電子透かし埋め込み方式および認証方式
KR101877372B1 (ko) * 2017-05-19 2018-07-13 주식회사 하루컴퍼니 워터마크 데이터의 임베딩 및 추출 방법

Also Published As

Publication number Publication date
KR20210154328A (ko) 2021-12-21

Similar Documents

Publication Publication Date Title
JP3860042B2 (ja) 画像検証装置
JP4004528B2 (ja) デジタル像符牒の処理方法及びシステム
ES2894328T3 (es) Sistema y procedimiento para el marcado de agua digital
US8379911B2 (en) Method and system for efficient watermarking of video content
US11134167B2 (en) Method of embedding and extracting watermark data using a correction image comparison with a noise-based image in the frequency domain
JP2003209678A (ja) 情報処理装置及びその制御方法
US7171021B2 (en) Data processing apparatus and method, and storage medium therefor
AU2016360852B2 (en) Method for authenticating and/or checking the integrity of a subject
Kumar et al. A novel spatial domain technique for digital image watermarking using block entropy
Cheung et al. A sequential quantization strategy for data embedding and integrity verification
GB2588438A (en) Encoding and decoding apparatus
CN107578362B (zh) 基于纹理合成在图像中嵌入秘密信息的方法
KR20030073369A (ko) 양자화를 이용한 실시간 블라인드 워터마킹 방법
KR102417767B1 (ko) 비디오 컨텐츠에 워터마크 데이터를 임베딩하는 방법 및 비디오 컨텐츠로부터 워터마크 데이터를 추출하는 방법
CN114330621B (zh) 一种基于标识信息的二维码防伪方法、装置、存储介质
KR20150136320A (ko) Qr 코드를 이용한 디지털 워터마크 삽입 및 추출 시스템 및 방법
Itier et al. Cryptanalysis aspects in 3-D watermarking
CN114004725A (zh) 图像加密方法和装置
KR102100108B1 (ko) 히든 워터마크 포함 디지털 이미지 생성 시스템 및 히든 워터마크 추출 시스템
CN113538198A (zh) 水印添加方法、装置、存储介质以及电子设备
CN117939056B (zh) 一种视频处理方法、装置、设备及介质
Ziqian et al. An improved information hiding algorithm based on image
Li et al. Feature-based image watermarking resisting geometric attacks
Sujatha et al. Certain Investigations on Reversible Image Watermarking
Harne et al. Comparative Study on Different Techniques of Digital Image Watermarking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right