KR102384008B1 - 워터마크 삽입 방법 및 장치, 및 시스템 - Google Patents

워터마크 삽입 방법 및 장치, 및 시스템 Download PDF

Info

Publication number
KR102384008B1
KR102384008B1 KR1020170012401A KR20170012401A KR102384008B1 KR 102384008 B1 KR102384008 B1 KR 102384008B1 KR 1020170012401 A KR1020170012401 A KR 1020170012401A KR 20170012401 A KR20170012401 A KR 20170012401A KR 102384008 B1 KR102384008 B1 KR 102384008B1
Authority
KR
South Korea
Prior art keywords
watermark
pixel
value
image
alpha
Prior art date
Application number
KR1020170012401A
Other languages
English (en)
Other versions
KR20180087962A (ko
Inventor
김소원
이태윤
박민수
문지섭
신동환
Original Assignee
주식회사 마크애니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마크애니 filed Critical 주식회사 마크애니
Priority to KR1020170012401A priority Critical patent/KR102384008B1/ko
Priority to US15/434,065 priority patent/US10477284B2/en
Publication of KR20180087962A publication Critical patent/KR20180087962A/ko
Application granted granted Critical
Publication of KR102384008B1 publication Critical patent/KR102384008B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0202—Image watermarking whereby the quality of watermarked images is measured; Measuring quality or performance of watermarking methods; Balancing between quality and robustness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 양태는 워터마크 삽입 방법을 개시하고 있다. 상기 방법은 원본(original) 영상을 입력받는 단계, 상기 원본 영상에 삽입할 워터마크 패턴을 선택하는 단계, 상기 선택된 워터마크 패턴을 기반으로 워터마크 영상을 생성하는 단계, 상기 원본 영상과 상기 워터마크 영상에 대해 알파블렌딩을 수행하여 알파블렌딩된 스테고(stego) 영상을 생성하는 단계 및 상기 알파블렌딩된 스테고 영상을 제공하는 단계를 포함하되, 상기 워터마크 패턴이 적용되는 원본 영상의 제 1 픽셀에 워터마크 패턴을 삽입함에 따른 원본영상 픽셀값과 스테고영상 픽셀값 사이의 픽셀값 차이(d)를 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 고려하여 상기 워터마크 영상을 생성한다.

Description

워터마크 삽입 방법 및 장치, 및 시스템{WATERMARK EMBEDDING METHOD AND APPARATUS, AND SYSTEM}
본 발명은 워터마크 삽입 방법에 관한 것으로, 보다 상세하게는, 비디오 신호에 대해 워터마크를 삽입하여 알파블렌딩을 수행하는 방법, 및 비디오 신호 및 오디오 신호에 대한 워터마크 삽입 방법에 관한 것이다.
디지털 미디어는 저렴하면서도 사용 및 미디어의 품질의 유지가 용이하기 때문에, 디지털 미디어의 디지털 방식의 표시, 저장, 분배 및 복사가 매우 보편화되고 있다. 그러나, 이러한 장점은 인터넷을 통한 디지털 이미지 및 비디오의 허가되지 않은 분배와 같은 저작권 보호된 자료의 광범위한 불법적인 분배 및 사용을 가능하게 하였다.
허가되지 않은 사용에 대하여 디지털 미디어를 보호하기 위해 다수의 상이한 방식이 제안되고 있다. 예컨대, 디지털 암호화 기술은 보안 통신 및 전달을 가능하게 하는 데 효과적이다. 그러나, 암호화된 컨텐츠가 인간에 의해 볼 수 있거나 청취할 수 있는 형태로 암호해독되거나 표현되면, 그 컨텐츠는 재기록될 수 있으며, 보안이 해제된 복사본이 얻어질 수 있다.
미디어 내에 수취인 정보를 삽입(embedding)함으로써 미디어를 마킹(marking)하면, 허가되지 않은 방법으로 미디어를 수신하여 컨텐츠를 사용하는 개인들을 식별하는 데 도움을 줄 수 있다. 또한, 미디어 내에 삽입되어 있는 소유권 정보는 복사 제한을 나타내주고 미디어의 소유권을 명확하게 해줄 수 있다.
이러한 방식 중 하나로 디지털 워터마킹(digital watermarking)이 있다. 다수의 흔히 이용되는 디지털 워터마킹 방식은 시간 또는 공간에 있어서의 특정 위치에 장치에 의해 판독 가능한 조작(machine readable manipulation)을 가함으로써 디지털 미디어에 디지털 비트 시퀀스를 삽입하는 과정을 포함한다. 판독 동안에는, 이러한 조작을 해석하고, 삽입된 메시지의 어셈블(assemble)에 사용되는 디지털 비트 시퀀스를 획득하기 위해, 소프트웨어가 사용된다. 조작을 해석하기 위해서는, 공간 또는 시간에 있어서의 조작의 위치에 대한 지식이 요구된다. 조작이 왜곡될 때(즉, 예컨대 잘못 위치되거나 또는 약화될 때)에는, 간혹 판독(또는 검출로도 지칭됨)이 곤란하거나 불가능하게 된다. 크로핑, 회전, 다른 파일 포맷으로의 변환, 및 프레임 레이트의 수정 등의 간략한 미디어 취급 동안 왜곡이 발생할 수 있다. 또한, 마크를 제거하기 위해 침입자(attacker)에 의해 조작의 의도적 오발생(misplacement)이 가해질 수 있으며, 이러한 조작의 의도적인 오발생은 시프트, 회전 및 재생 속도의 변화와 같은 지각 가능하지 않은 약간의 조합된 왜곡을 통해 이루어질 수 있다. 공공연하게 이용 가능한 툴(publicly available tool)은 어택(attack)으로도 지칭되는 이러한 조작의 일부를 자동화된 방식으로 가한다. 현재의 디지털 워터마킹 알고리즘은 왜곡된 컨텐츠에서의 오발생을 인식(또한 등록으로 지칭되는 처리)하기에 충분할 만큼 강력하지 못할 수도 있다. 그 결과, 의도적인 오발생은 디지털 워터마크를 판독이 불가능하게 만들 수 있다.
특히, 또한, 디지털 워터마킹의 프로세스는 통상적으로 원본 이미지 및 삽입될 이미지의 복잡한 변형을 수반할 수 있는데, 이러한 복잡한 변형의 예로는 알파블렌딩, DCT 변환 등을 포함한다. 이러한 변형을 수행하기 위해 요구되는 계산은 시간이 많이 소용되는 프로세스여서, 디지털 워터마크를 실시간으로(예컨대, 재생 또는 다운로드 동안) 삽입할 때에 상당한 제약이 되며, 더욱이, 워터마킹 방식은 확고하게 정해진 수정 내용으로 이루어져, 상이한 압축 포맷, 보안 또는 성능 조건을 채용하기 위한 변화에 대해서는 유연성을 갖추고 있지 못한다는 문제점이 있다. 따라서, 알파블렌딩을 수행하는 장치에서 워터마크는 그 기능을 상실하거나 미디어 영상의 화질을 현저하게 떨어뜨려 사용자의 불편을 초래하는 문제점이 있다.
또한, 최근 방송국에서 송신되는 방송 신호뿐만 아니라, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화됨에 따라 기존의 아날로그 방송 신호에 따른 서비스보다 더 나은 화질 및 음질을 제공하며, 다양한 부가 서비스를 제공하고 있는데, 이러한 디지털 TV 서비스는 방송국으로부터 송신되는 방송 신호뿐만 아니라, 다양한 컨텐트 사업자들에 의해 제공되는 방송 서비스를 통해 제공되기도 한다.
특히, 케이블 TV, IPTV 등을 이용하는 사용자들은 셋탑 박스를 통해 디지털 TV를 이용하고 있다. 이러한 셋탑 박스를 이용하는 디지털 TV는 셋탑 박스로부터 영상 신호 및 음성 신호를 제공받아, 이를 출력함으로써 디지털 TV 서비스를 제공하게 된다. 특히, 셋탑 박스를 이용하는 경우, 디지털 TV는 모니터 기능만을 수행하므로, 셋탑 박스로부터 영상 신호, 음성 신호 및 부가 서비스 정보를 제공받게 되는데, 방송국에서 제공하는 부가 정보 신호가 셋탑 박스를 거치면서 디지털 TV에 전달되지 않을 수 있어서, 디지털 TV 서비스에 제공되는 다양한 부가 서비스들을 제대로 이용하지 못하는 문제점이 있다.
또한, 디지털 TV와 스마트폰과 같은 휴대 장치 간의 페어링을 이용하기 위해서는, 셋탑 박스에 등록된 스마트 폰만을 이용해야 하므로, 등록되지 않은 스마트 폰으로 다양한 부가 서비스를 이용하기 어려운 문제점이 있다.
한편, 디지털 TV와 관련된 다양한 부가 서비스를 제공하기 위해, 송신되는 방송 신호에 워터마크를 직접 삽입하는 경우, 방송 시스템 오류, 방송 신호의 열화가 발생할 수 있다. 그래서 방송국 또는 컨텐트 제공자들은 방송 신호에 워터마크를 삽입하는 것을 기피하는 문제점도 존재한다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 알파 값 등의 영향에도 불구하고 워터마크 패턴이 적절하게 삽입되도록 하는 워터마크 알파블렌딩 방법을 제공하는 것이다.
더욱이, 본 발명의 다른 양태에 따른 목적은 입력신호에 포함된 다양한 정보를 인식하고 출력되는 컨텐트와 관련된 다양한 부가서비스를 제공하며 워터마크 삽입 장치와 휴대단말이 용이하게 연결되도록 하는 워터마크 삽입 시스템을 제공하는 것이다.
또한, 본 발명의 또 다른 양태에 따른 목적은 방송 신호 열화 또는 방송 시스템 오류 없이 출력되는 영상 또는 오디오에 워터마크를 삽입하는 워터마크 삽입 방법 및 장치를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 워터마크 삽입 방법은 원본(original) 영상을 입력받는 단계, 상기 원본 영상에 삽입할 워터마크 패턴을 선택하는 단계, 상기 선택된 워터마크 패턴을 기반으로 워터마크 영상을 생성하는 단계, 상기 원본 영상과 상기 워터마크 영상에 대해 알파블렌딩을 수행하여 알파블렌딩된 스테고(stego) 영상을 생성하는 단계 및 상기 알파블렌딩된 스테고 영상을 제공하는 단계를 포함하되, 상기 워터마크 패턴이 적용되는 원본 영상의 제 1 픽셀에 워터마크 패턴을 삽입함에 따른 원본영상 픽셀값과 스테고영상 픽셀값 사이의 픽셀값 차이(d)를 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 고려하여 상기 워터마크 영상을 생성할 수 있다.
상기 제 1 픽셀과 시공간적인 연관성을 갖는 연관 픽셀과의 관계에서, 상기 제 1 픽셀에 워터마크 패턴을 삽입함에 따른, 원본 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d1)와 스테고 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d2) 사이의 변화량(d1-d2)을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 고려하여 상기 워터마크 영상을 생성할 수 있다.
상기 제 1 픽셀과 시공간적으로 연관된 제 1 연관 픽셀 및 제 2 연관 픽셀을 고려하는 때, (i) 상기 제 1 픽셀에 워터마크 패턴을 삽입함에 따른 상기 제 1 픽셀과 상기 제 1 연관 픽셀 사이의 픽셀값 차이의 제 1 변화량을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나 및 (ii) 상기 제 1 픽셀에 워터마크 패턴 삽입함에 따라 상기 제 1 픽셀과 상기 제 2 연관 픽셀 사이의 픽셀값 차이의 제 2 변화량을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 동시에 만족하는 워터마크 픽셀값 및 알파값을 기반으로 상기 워터마크 영상을 생성할 수 있다.
상기 워터마크 패턴 삽입에 따른 픽셀 값의 차이(d) 또는 상기 변화량(d1-d2)은 상기 원본영상에서의 픽셀값의 변화에 따라 스테고영상에서의 픽셀값의 변화량이 다수 개 존재하는 경우, 그 중에서 가장 큰 차이값으로 선택될 수 있다.
상기 워터마크 패턴 삽입에 따른 픽셀 값의 차이(d) 또는 상기 변화량(d1-d2)은 임의의 원본영상 픽셀 값에 적용가능한 모든 워터마크 패턴 값의 경우의 수를 고려하여 낸 픽셀 간 차이값을 기반으로 획득될 수 있다.
상기 워터마크 패턴 삽입에 따른 픽셀 값의 차이(d) 또는 상기 변화량(d1-d2)을 기반으로 허용가능한 픽셀 값 범위 및 알파 값 범위는 상기 픽셀 값의 차이 값(d) 또는 상기 변화량(d1-d2)에 대응하여 원본영상의 픽셀값이 변화함에 따라 연관성을 가지고 변화되는 허용가능한 워터마크 픽셀 값의 범위 및 알파 값 범위 중 적어도 하나를 정의하는 알파블렌딩 맵(Alpha blending map)를 기반으로 산출될 수 있다.
상기 알파블렌딩 맵은 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)에 따른 워터마크 픽셀 값의 범위 및 알파 값(α)의 범위를 나타내는 적어도 하나의 그래프 선을 포함하여 구현될 수 있다.
상기 알파블렌딩 맵은 상기 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)을 특정 간격으로 정의하여 표현하는 적어도 하나의 상기 그래프 선을 포함하되, 상기 특정 수치 간격에 포함되지 않는 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)에 따른 워터마크 픽셀 값의 범위는 상기 적어도 하나의 그래프 선으로부터의 거리를 이용하여 산출될 수 있다.
상기 알파블렌딩 맵은 수학식, 테이블 및 그래프 중 적어도 하나로 구현될 수 있다.
상기 알파블렌딩 맵은 미리 저장되어 있을 수 있다.
상기 워터마크 패턴의 패턴 값은 적어도 하나의 숫자로 표현되는 값을 갖고, 각 값은 워터마크 패턴의 평균보다 높은 값 및 상기 평균보다 낮은 값으로 구분될 수 있다.
상기 워터마크 패턴의 패턴 값은 가중치를 갖고, 상기 가중치에 따라 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)이 변화될 수 있다.
상기 현재 입력 영상 내의 픽셀의 픽셀값과 관련없이 상기 워터마크 영상을 생성하여 알파블렌딩을 수행할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 워터마크 삽입 장치는 현재 입력 영상을 입력받는 영상 입력부, 상기 현재 입력 영상에 삽입할 워터마크 패턴을 선택하는 워터마크 패턴 선택부, 상기 선택된 워터마크 패턴을 기반으로 워터마크 영상을 생성하는 워터마크 영상 생성부, 상기 현재 입력 영상과 상기 워터마크 영상에 대해 알파블렌딩을 수행하여 알파블렌딩된 스테고(stego) 영상을 생성하는 알파블렌딩 수행부 및 상기 알파블렌딩된 스테고 영상을 제공하는 영상 제공부를 포함하되, 상기 워터마크 영상 생성부는 상기 워터마크 패턴이 적용되는 원본 영상의 제 1 픽셀에 워터마크 패턴을 삽입함에 따른 원본영상 픽셀값과 스테고영상 픽셀값 사이의 픽셀값 차이(d)를 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 고려하여 상기 워터마크 영상을 생성할 수 있다.
상기 워터마크 영상 생성부는 상기 제 1 픽셀과 시공간적인 연관성을 갖는 연관 픽셀과의 관계에서, 상기 제 1 픽셀에 워터마크 패턴을 삽입함에 따른, 원본 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d1)와 스테고 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d2) 사이의 변화량(d1-d2)을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 고려하여 상기 워터마크 영상을 생성할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 워터마크 삽입 방법은 입력 신호를 입력받는 단계, 상기 입력 신호에 포함된 비디오 신호 및 오디오 신호 중 적어도 하나에 고유 인식 정보를 포함하는 워터마크를 삽입하는 단계 및 상기 워터마크가 삽입된 비디오 신호 및 오디오 신호를 출력하는 단계를 포함하되, 상기 워터마크를 삽입하는 단계는 수신장치의 ID(Identification) 정보 및 상기 수신장치와 통신하기 위한 연결정보, 및 상기 수신장치에서 출력되는 방송 채널에 대한 방송 채널 정보 중 적어도 하나를 포함하는 워터마크를 삽입하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 워터마크 삽입 장치는 입력 신호를 입력받는 수신부, 상기 입력 신호에 포함된 비디오 신호 및 오디오 신호 중 적어도 하나에 고유 인식 정보를 포함하는 워터마크를 삽입하는 제어부 및 상기 워터마크가 삽입된 비디오 신호 및 오디오 신호를 출력하는 출력부를 포함하되, 상기 워터마크 삽입부는 장치의 ID 정보 및 상기 장치와 통신하기 위한 연결정보, 및 상기 장치에서 출력되는 방송 채널에 대한 방송 채널 정보 중 적어도 하나를 포함하는 워터마크를 삽입할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 워터마크 삽입 장치와 연동하는 단말 장치의 동작 방법은 워터마크 삽입 장치에서 수신한 입력 신호에 포함된 비디오 신호 및 오디오 신호 중 적어도 하나에 고유 인식 정보를 포함하는 워터마크를 삽입하여 생성된 비디오 및 오디오 신호를, 워터마크 삽입 장치 또는 다른 장치로부터 획득하는 단계, 상기 획득된 비디오 및 오디오 신호 중 적어도 하나에 포함된 워터마크를 추출하는 단계 및 상기 추출된 워터마크에 대응하는 부가정보를 요청하는 단계를 포함할 수 있다.
상기 워터마크는 상기 워터마크 삽입 장치의 ID 정보, 상기 워터마크 삽입 장치와 연결하기 위한 연결 정보, 상기 입력 신호에 따라 출력될 채널 정보 중 적어도 하나를 포함할 수 있다.
상기 부가정보는 비디오 및 오디오 신호와 관련된 방송 서비스, 컨텐츠와 관련된 정보, 상품 및 광고 정보 중 적어도 하나를 포함할 수 있다.
상기 워터마크에 포함된 고유인식 정보를 기초로, 페어링 관리 서버로 상기 추출된 워터마크를 포함하는 부가 정보 요청신호를 전송할 수 있다.
상기 페이링 관리 서버는 상기 부가정보 요청 신호를 기반으로 상기 워터마크 삽입 장치의 고유인식 정보를 검색하여 상기 고유인식 정보에 대응하는 부가정보를 부가서비스 정보 서버로 요청하고, 상기 부가서비스 정보 서버는 상기 워터마크 삽입 장치의 고유인식 정보에 대응하는 부가 정보를 검색하여 상기 단말 장치로 제공할 수 있다.
상기 단말 장치는 상기 워터마크에 포함된 연결 정보를 기초로, 상기 워터마크 삽입 장치와 통신하기 위한 연결 동작을 수행할 수 있다.
상기 단말 장치는 상기 워터마크에 포함된 채널 정보를 기초로, 상기 채널 정보에 대응하는 부가 정보를 부가서비스 서버로 요청할 수 있다.
상기 단말 장치는 상기 요청에 응답하여 채널 정보 및 EPG(Electronic Program Guide) 정보를 수신할 수 있다.
상기 추출된 워터마크에 대응하는 부가정보를 요청은 상기 워터마크의 추출에 따라 자동으로 수행될 수 있다.
상기 단말 장치는 상기 워터마크가 포함된 비디오 및 오디오 신호를 카메라(camera) 및 마이크(microphone) 중 적어도 하나를 통해 획득할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 워터마크 삽입 및 추출 시스템은 입력 신호를 수신하여, 수신된 입력 신호에 포함된 비디오 신호 및 오디오 신호 중 적어도 하나에 고유 인식 정보를 포함하는 워터마크를 삽입하는 워터마크 삽입 장치, 상기 워터마크가 삽입된 비디오 신호 및 오디오 신호 중 적어도 하나를 수신하여, 비디오 및 오디오를 출력하는 영상 표시 장치 및 상기 출력된 비디오 및 오디오 중 적어도 하나에 포함된 워터마크를 추출하고, 추출된 워터마크에 대응하는 정보를 획득하는 단말 장치를 포함할 수 있다.
본 발명의 일 실시예에 따른 워터마크 삽입 방법 및 장치에 따르면, 입력영상을 수신하여 수신기로 제공하거나 직접 출력하는 장치에서 알파블렌딩을 수행함에도 워터마크 패턴의 강인성을 제고하고 위 과정에서 워터마크 패턴이 변질되는 것을 방지하는 효과가 있다.
또한, 본 발명의 다른 실시예에 따른 워터마크 삽입 방법 및 장치에 따르면, 방송 신호에 따른 다양한 정보를 제공할 수 있고, 출력되는 컨텐트와 관련된 다양한 부가 서비스를 제공할 수 있고, 방송 수신 장치와 휴대 단말이 용이하게 통신하도록 연결할 수 있으며, 방송 신호 열화 또는 방송 시스템 오류 없이 출력되는 영상 또는 오디오에 워터마크를 효율적으로 삽입하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 워터마크 삽입 방법이 적용되는 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 워터마크 삽입 방법을 개략적으로 나타낸 흐름도,
도 3은 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 따라 워터마크 패턴을 기반으로 워터마크 영상을 생성하여 알파블렌딩을 수행함으로써 스테고(stego) 영상을 생성하는 과정을 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 원본 영상 픽셀값에 서로 다른 워터마크 패턴을 삽입하는 경우, 원본 영상 픽셀값과 스테고 영상 픽셀값의 차이를 설명하기 위한 개념도,
도 5는 본 발명의 다른 실시예에 따른 워터마크 패턴에 가중치를 더한 패턴의 구성을 나타낸 개념도,
도 6는 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 원본 픽셀값과 알파블렌딩 수행 후의 픽셀 값의 관계를 설명하기 위한 개념도,
도 7은 원본 픽셀값과 알파블렌딩 수행 후의 스테고 영상과의 픽셀값의 차이에 따라 선택가능한 워터마크 픽셀값 및 알파값의 범위를 나타낸 알파블렌딩 맵을 나타낸 도면,
도 8은 모든 원본 픽셀 값과 알파블렌딩 수행 후의 스테고 영상의 픽셀 값과의 차이값이 공통적으로 겹치는 범위를 나타낸 알파블렌딩 공통 맵을 나타낸 도면,
도 9는 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 시간적인 연관성을 갖는 픽셀간의 픽셀값의 차이를 기반으로 워터마크 픽셀값의 범위 및 알파값의 범위를 산출하는 방법을 설명하기 위한 개념도,
도 10은 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 공간적인 연관성을 갖는 픽셀간의 픽셀값의 차이를 기반으로 워터마크 픽셀값의 범위 및 알파값의 범위를 산출하는 방법을 설명하기 위한 개념도,
도 11은 시공간적으로 연관성을 갖는 픽셀간의 픽셀값의 차이의 변화량에 따라 선택가능한 워터마크 픽셀값 및 알파값의 범위를 나타낸 알파블렌딩 맵을 나타낸 도면,
도 12는 복수 개의 시공간적으로 연관성을 갖는 픽셀들의 복수 개의 픽셀값 차이의 변화량을 이용하여 워터마크 픽셀값 및 알파값을 산출하는 방법을 설명하기 위한 개념도,
도 13은 도 12의 복수 개의 픽셀값 차이의 변화량에 근거하여 워터마크 픽셀값 및 알파값의 범위를 나타내는 그래프,
도 14는 본 발명의 일 실시예에 따른 워터마크 삽입 장치를 개략적으로 나타낸 블록도,
도 15는 본 발명의 다른 실시예에 따른 워터마크 삽입 시스템의 구성을 나타내는 블록도,
도 16은 본 발명의 다른 실시예에 따른 워터마크 삽입 장치의 구성을 나타내는 블록도,
도 17은 본 발명의 다른 실시예에 따른 단말 장치의 구성을 나타내는 블록도,
도 18a 및 18b는 본 발명의 다른 실시예에 따른 워터마크 삽입 시스템의 동작 방법을 나타낸 흐름도,
도 19는 본 발명의 또 다른 실시예에 따른 워터마크 삽입 시스템의 동작 방법에 나타낸 흐름도,
도 20은 본 발명의 일 실시예에 따른 부가 정보 제공 방법을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 명세서의 도면에는 본 발명의 실시예에 따라 워터마크를 삽입하기 위한 시스템 및 방법이 도시되어 있다. 다수의 실시예에서, 워터마크는 미디어 시퀀스 또는 미디어의 모음에 반복적으로 삽입되는 정보의 형태이며, 삽입된 정보는 통상적으로 인간의 육안으로는 지각이 불가능하다. 그러나, 워터마크를 구성하고 있는 정보는 복원 가능하며, 복원 시에 통상적으로 인간에 의해 이해될 수 있도록 설계된다. 다수의 실시예에서, 워터마크는 미디어 시퀀스 또는 미디어의 모음에서 미디어의 선택된 부분으로부터 정보를 강조하여 조합할 수 있다. 워터마크가 미디어에 반복적으로 삽입되는 실시예에서, 미디어의 복수의 부분으로부터의 정보를 조합함으로써, 워터마크가 그 아래의 미디어 정보에 대하여 증폭될 수 있다. 미디어에 워터마크를 반복하여 삽입함으로써, 워터마크는 미디어의 조작에 의해 제거하기가 어렵게 된다. 또한, 미디어 시퀀스에 워터마크를 삽입함으로써, 미디어 시퀀스 또는 미디어의 모음이, 리포맷팅 또는 레코딩에 의해 야기된 바와 같은 품질 저하 후에도 워터마크를 보유할 수 있게 된다.
본 발명의 일 실시예에 따른 워터마크는 비디오 미디어 및/또는 오디오 미디어에 삽입될 수 있다.
워터마크로는 디지털 미디어에 삽입되거나 또는 아날로그 프로세스를 이용하여 삽입되는 디지털 정보가 가능하다. 미디어, 특정 미디어 시퀀스의 트랙 분포, 또는 미디어의 모음의 수취인(recipient)을 확인하기 위해, 본 발명의 실시예에 따른 워터마크가 사용될 수 있다.
또한, 워터마크는, 문서 정보를 미디어 내에 삽입하기 위해, 복제 제어를 수행하기 위해, 방송 모니터링을 수행하기 위해, 및/또는 보안 통신을 배분하기 위해 사용될 수 있다.
알파블렌딩을 이용한 워터마크 삽입 시스템
도 1은 본 발명의 일 실시예에 따른 워터마크 삽입 방법이 적용되는 시스템을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 워터마크 삽입 시스템은 미디어 제공 서버(110), 네트워크(120), 워터마크 삽입 장치(130) 및 엔드 장치(140)를 포함할 수 있다.
도 1을 참조하면, 미디어 제공 서버(110)는 네트워크(120)에 연결된 장치에 제공될 수 있는 미디어를 저장한다. 다수의 실시예에서, 미디어 제공 서버(110)와 장치들간의 미디어의 전달은 암호화를 이용하여 보안이 이루어질 수 있다. 미디어는 통상적으로 전송될 데이터의 양을 감소시키기 위해 압축된다. 서버로부터 수신된 암호화된 미디어는 통상적으로 렌더링을 위해 해독 및 압축해제되며, 해독 및 압축해제 처리의 일부는 해독 및 압축해제된 미디어에 워터마크를 삽입하는 단계를 포함할 수 있다.
워터마크 삽입 장치(130) 등의 소비자 전자 장치에 의해 수신된 미디어의 경우, 해독 및 삽입 처리는 간혹 하드웨어로 수행되기도 한다. 암호화된 미디어 소프트웨어를 수신하는 장치(예컨대, 컴퓨터와 같은 엔드 장치(140))가 구성될 수 있는 경우에는, 워터마크의 해독, 압축해제 및/또는 미디어에의 삽입이, 하드웨어로 수행될 수도 있고 또는 클라이언트 소프트웨어를 이용하여 수행될 수도 있다. 워터마크가 해독 및 압축해제된 미디어에 삽입된 후, 미디어가 복제되거나 전송된다면, 워터마크가 미디어에 존재하게 될 것이다. 다수의 실시예에서, 워터마크는 미디어를 수신하여 해독하는 장치에 대해 유니크(unique)한 것일 수 있다. 다수의 실시예에서, 워터마크는, 컨텐츠가 수신되는 일자와 시각에 관한 정보 및/또는 수신 장치 또는 사용자에 대한 식별에 관한 정보를 포함할 수 있다. 일자, 시각 및 식별 등의 삽입될 정보는 미디어 제공 서버(110)로부터 최초 발생되어 미디어와 함께 전달될 수도 있으며, 또는 워터마크 삽입장치(130)가 일련번호 및 일자와 시각 등의 로컬하게 저장된 정보를 그 내부 클록으로부터 이용할 수도 있다. 암호화된 미디어가 압축되는 실시예에서, 워터마크는 압축해제 이전에 또는 압축해제 다음에 미디어에 삽입될 수 있다. 워터마크를 삽입하기 위한 기술은 추가로 후술될 것이다.
네트워크(120)는 IP 또는 케이블 TV 네트워크이며, 컴퓨터 또는 텔레비전과 같은 엔드 장치(l40)가 워터마크 삽입 장치(130)를 통해 네트워크에 연결될 수 있다. 이때, 워터마크 삽입 장치(130)와 네트워크(120)는 모뎀과 같은 라우터를 통해 연결될 수 있다.
워터마크 삽입 장치(130)는 서버(110)로부터 미디어를 수신하여 워터마크 패턴을 삽입하고 알파블렌딩을 수행하여 알파블렌딩된 스테고 영상을 엔드 장치(140)로 제공한다. 워터마크 삽입 장치(130)는 셋-톱 박스(set-top box), 케이블 박스 등으로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니다. 영상에 워터마크를 삽입하고 알파블렌딩을 수행하는 다양한 소비자 전자 장치 및 컴퓨터 처리 장치가 워터마크 삽입 장치(130)의 기능을 수행할 수 있다.
또한 워터마크 삽입 장치(130)와 연결된 엔드 장치(140)는 반드시 컴퓨터 및 TV로 제한되지 않는다. 접속 및 비접속된 다양한 소비자 전자 장치 및 컴퓨터 처리 장치(예컨대, PC, 랩톱, 스마트 폰, PDA 등)의 어떠한 것도 본 발명의 실시예에 따라 알파블렌딩된 영상을 출력할 수 있다.
본 발명의 다른 실시예에 따르면, 워터마크 삽입 장치(130)는 워터마크 패턴을 삽입하면서 알파블렌딩을 수행함과 동시에 알파블렌딩된 스테고 영상을 직접 출력할 수도 있다.
도 1에 도시된 실시예에 있어서, 네트워크를 통한 미디어의 분배 및 분배에 후속되는 워터마크의 삽입을 수반한다.
본 발명의 다수의 실시예는 워터마크 삽입 장치(130)에서 직접 워터마크 패턴을 선택하여 선택된 워터마크 패턴을 삽입하고 알파블렌딩을 수행할 수 있다. 이때, 선택되는 워터마크 패턴은 워터마크 삽입 장치(130)의 식별 및/또는 상기 장치의 사용자인 수취인의 식별 정보를 포함할 수 있다. 또는 전술한 바와 같이, 수신일자 및/또는 시각 정보(타임 스탬프 정보)가 삽입될 수 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 삽입 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 워터마크 삽입 장치는 네트워크를 통해 수신하거나 자체 보유하고 있던 미디어 입력 영상을 입력받는다(S210).
그리고는, 입력된 영상에 삽입할 워터마크 패턴을 선택한다(S220). 워터마크 패턴과 관련된 정보는 워터마크 삽입장치를 식별하기 위한 장치식별 정보 또는 수취인 식별 정보뿐만 아니라 수신일자 및/또는 시각정보를 포함할 수 있다.
워터마크 삽입장치는 미디어에 삽입할 워터마크 패턴이 선택되고 나면, 선택된 워터마크 패턴을 기반으로 워터마크 영상을 생성한다(S230).
본 발명의 일 실시예에서, 워터마크 패턴은 상술한 바와 같이, 패턴 값을 갖는다. 이때, 워터마크 패턴의 패턴 값의 삽입에 따라 삽입되는 부분의 원본 영상의 픽셀값과 스테고 영상의 픽셀값의 가능한 가장 큰 차이값을 계산하고 계산된 차이값 내에서 허용가능한 워터마크 픽셀값의 범위 및 알파값의 범위 중 적어도 하나를 정의하고 있는 알파블렌딩 맵을 이용하여 허용가능한 워터마크 픽셀값의 범위 및 알파값의 범위를 산출한다. 그리고는 산출된 범위에서 워터마크 픽셀값 및 알파값을 워터마크 패턴 값을 기반으로 랜덤하게 결정함으로써 워터마크 영상을 생성할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 상기한 바와 같이, 하나의 원본 영상 내 픽셀과 스테고 영상 내 픽셀의 1대1 비교를 통한 픽셀값의 차이를 기반으로 계산하는 방법뿐 아니라, 워터마크 삽입 전후 스테고 영상간의 화질적 차이가 크지 않도록 조절하는 방법을 고려할 수 있다. 즉, 워터마크 패턴의 픽셀 값 자체를 고려하지 않고 그 평균 값에 의해 연속하는 스테고 영상의 픽셀 차이값이 제어되도록 할 수 있다. 즉, 원본 입력 영상 내의 모든 픽셀에 대해 시공간적인 연관성을 갖는 연관픽셀값 간의 픽셀 값의 차이(d1)와 스테고 영상에서 동일한 연관성을 갖는 연관픽셀간 픽셀값의 차이(d2)가 존재할 때, 두 차이 값(d1-d2)의 변화량이 소정의 값(d)이 되도록 알파블렌딩을 통한 워터마킹을 수행할 수 있다. 이때, 패턴에서 평균값보다 높은 값에 속하는 값이 삽입될 경우, 실제 워터마크 픽셀값은 +d/2, 즉 허용오차의 상한선이 근접할 수 있다. 반대로, 평균값보다 낮은 값에 속하는 값이 삽입될 경우, 실제 워터마크 픽셀값은 -d/2, 즉 허용오차의 하한선에 근접한 값을 갖도록 할 수 있다.
또한, 이 경우에, 원본 입력 영상의 픽셀값을 직접 고려하지 않고 워터마크 픽셀값 범위 및 알파값 범위 중 적어도 하나를 산출함으로써 적절한 워터마크 픽셀값 및 알파값을 결정할 수 있다.
상기와 같은 방식으로 결정된 워터마크 픽셀값을 갖는 워터마크 영상이 생성되면 생성된 워터마크 영상과 입력 영상을 알파블렌딩함으로써 알파블렌딩된 스테고 영상을 생성한다(S240).
다음으로, 위와 같은 방식으로 알파블렌딩된 스테고 영상을 직접 출력하거나 또는 타 장치로 제공할 수 있다(S250).
도 3은 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 따라 워터마크 패턴을 기반으로 워터마크 영상을 생성하여 알파블렌딩을 수행함으로써 스테고(stego) 영상을 생성하는 과정을 설명하기 위한 개념도이다.
도 3을 참조하면, 원본 입력 영상을 수신하여 해당 영상에 특정 계수(예컨대, (1-α))를 곱하고, 원본 입력 영상에 삽입하도록 선택된 워터마크 패턴을 기반으로 워터마크 영상을 생성하여 해당 영상에 특정 계수(예컨대, α)로 곱하여, 곱하여진 영상을 합성함으로써 워터마크가 중첩된 오버레이 영상, 즉, 알파블렌딩된 스테고 영상을 생성할 수 있다. 이때, α값에 따라 중첩된 영상에서 워터마크의 표시 강도가 결정될 수 있다.
이를, 수학식으로 표현하면 다음과 같다.
s = (1-α) x O + w x α
여기서, s는 알파블렌딩된 스테고 영상, 즉, 중첩(overlay)된 영상의 특정 픽셀, α는 알파블렌딩 계수로써 알파블렌딩의 강도를 의미할 수 있다. 또한, w는 워터마크 값을 의미하고 O는 원본 미디어 영상의 픽셀 값을 나타낼 수 있다.
α 값을 다르게 설정함으로써 워터마크가 선명하게 보이도록 할지 또는 흐릿하게 보이도록 할지를 결정할 수 있으며, 바람직하게는 알파블렌딩된 영상을 보는 사용자가 이를 인식하지 못할 정도로 입력 영상의 노이즈처럼 흐릿하게 표시하는 것이 바람직하다.
이때, 선택되는 워터마크 패턴은 1개 이상의 숫자로 표현될 수 있고, 일정한 형태를 갖는 워터마크 패턴 맵으로 구현될 수 있다. 패턴의 각 값은 입력되는 워터마크 패턴 값들의 평균값을 기준으로 평균보다 높은 값의 집합과 평균값보다 낮은 값의 집합 중 하나로 구분될 수 있다. 즉, +로 표시된 부분은 상기 평균값보다 높은 값을, -로 표시된 부분은 상기 평균값보다 낮은 값을 의미할 수 있다.
또한, 이러한 워터마크 패턴의 각 값에 기반하여 삽입 결과 스테고 영상 내의 하나의 픽셀의 픽셀값 변화 또는 시공간적으로 인접한 픽셀 사이의 픽셀값 차이의 변화를 유발하는 워터마크 픽셀값 및 알파값이 알파블렌딩 맵을 통해 결정될 수 있다. 그리고는 결정된 워터마크 픽셀값을 기반으로 워터마크 영상을 생성할 수 있다. 워터마크 픽셀값은 V와 α로 표현될 수 있다. 여기서, V는 value, 즉, RGB 픽셀 값을 의미한다. 이는, 경우에 따라 하나의 색상에 대한 값 및/또는 복수 개의 색상에 대한 값을 의미할 수 있다. α값은 알파블렌딩의 강도를 나타내는 값으로 각 픽셀마다 다르게 설정될 수 있다. 또는 각 프레임마다 다르게 설정될 수 있다. 이와 같이 워터마크 패턴은 알파블렌딩 맵에 따라 결정된 픽셀값의 범위 및 알파값의 범위에 따라 + 패턴 값인 경우, 해당 범위의 평균값 이상의 값으로 랜덤하게 결정될 수 있고, - 패턴 값이 경우, 해당 범위의 평균값 이하의 값으로 랜덤하게 결정될 수 있다.
도 4는 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 원본 영상 픽셀값에 서로 다른 워터마크 패턴을 삽입하는 경우, 원본 영상 픽셀값과 스테고 영상 픽셀값의 차이를 설명하기 위한 개념도이다.
도 4를 참조하면, 원본 영상이 8bit의 스케일(scale)을 갖는 경우, 0부터 255의 픽셀값을 가질 수 있다. 이때, + 워터마크 패턴값이 삽입되면 스테고 영상의 픽셀값은 0부터 127 픽셀값의 구간(410)에서는 원본 영상 픽셀값과 변화가 없으나, 128부터 254 픽셀값의 구간(420)에서는 1 증가한 값을 갖게 된다.
또한, - 워터마크 패턴값이 삽입되는 경우, 1부터 127구간(430)에서는 원본영상 대비 스테고 영상의 픽셀값은 -1의 차이값을 갖게 되고, 128부터 255 픽셀값의 구간(440)에서는 원본 영상 픽셀값과 동일한 픽셀값을 갖게 된다.
이는 원본 영상 픽셀값 0부터 255 값에 대해 워터마크 패턴이 0부터 255의 값으로 들어오는 경우의 수를 모두 고려하여 통계를 낸 값을 기반으로 생성된 규칙이다.
따라서, 원본 영상과 스테고 영상과의 픽셀을 1대1 직접 비교를 통한 기본 차이값(d)은 어떠한 픽셀값을 갖더라도 최대 1의 차이를 갖는다.
하지만, 원본 영상의 픽셀값의 시간적 또는 공간적인 변화를 고려하면 최대 2의 차이값을 가질 수 있다. 예컨대, 원본 영상이 129 픽셀값에서 2의 픽셀값으로 변화하였고, 129 픽셀값에 대응되는 영상에 + 워터마크 패턴이 삽입되었다가 2의 픽셀값에 대응되는 영상에는 - 워터마크 패턴이 삽입되는 경우, 원본 영상의 129 픽셀값에 대응되는 스테고 영상의 픽셀값은 구간(420)에 포함된 130 픽셀값이 되고, 원본 영상의 2 픽셀값에 대응되는 스테고 영상의 픽셀값은 구간(430)에 포함된 1의 값을 갖게 되므로, 원본 영상의 픽셀값의 차이값(d1)은 129-2=127인데 반해, 스테고 영상에서의 픽셀값의 차이값(d2)는 130-1=129가 되어 양 차이값의 변화량(d1- d2)은 2가 되므로, 상대적 차이(d1-d2)는 2가 된다.
이렇게, 원본 영상에서 스테고 영상으로 알파블렌딩됨에 따라 각 픽셀에 적용되는 여러 차이값 조건이 다르게 존재하여 그에 따른 픽셀값의 차이 및 픽셀값 차이에 따른 변화량이 복수 개 존재하는 경우, 그 차이 및/또는 변화량 값 중 가장 큰 값을 워터마크 픽셀값 범위 및 알파값 범위 산정을 위한 기준값으로 설정하는 것이 바람직하다. 즉, 1과 2의 차이값이 존재하는 경우, 2를 선택하는 것이 바람직할 수 있다. 이렇게 스테고 영상에서 고려해야 할 최대 차이값을 선택하고 나서 알파블렌딩 맵을 참조하여 선택된 차이값에 기반하여 허용가능한 워터마크 픽셀값 범위 및 알파값 범위를 산출할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 워터마크 패턴에 가중치를 더한 패턴의 구성을 나타낸 개념도이다.
도 5를 참조하면, 워터마크 패턴은 반드시 사각형의 테이블 형태를 가져야 하는 것은 아니고, 방사형, 삼각형 등 여러 형태를 가질 수 있다. 또한, 평균값보다 높고 낮음의 두 가지 패턴 값으로 구현되어야만 하는 것은 아니고, 해당 값에 가중치를 두어 +3, +5, -4, -6 등과 같은 값을 가질 수 있다. 이때, 워터마크 패턴의 합은 0에 수렴하도록 하는 것이 바람직하다. 이러한 가중치에 따라 원본영상의 픽셀값 대비 스테고 영상의 픽셀값의 기본 차이(d) 및 상대적 차이(d1- d2)는 변화될 수 있고, 특히, 가중치의 값이 커질수록 그 차이값들도 커질 수 있다.
도 6은 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 원본 픽셀값과 알파블렌딩 수행 후의 픽셀 값의 관계를 설명하기 위한 개념도이다.
도 6을 참조하면, 원본 영상의 특정 픽셀의 픽셀 값(O1)과 알파블렌딩 수행 후의 상기 특정 픽셀에 대응되는 위치의 픽셀의 픽셀 값(S1)에 대해 워터마크 픽셀값(w1) 및 알파값(α1)을 산출하는 상황을 가정한다. 여기서 알파 값(α)은 정규화되지 않은 값이므로, 8 비트인 경우, α/Max(Max = 255를 나타낼 수 있음)로 간주할 수 있다.
도 7은 원본 픽셀값과 알파블렌딩 수행 후의 스테고 영상과의 픽셀값의 차이에 따라 선택가능한 워터마크 픽셀값 및 알파값의 범위를 나타낸 알파블렌딩 맵을 나타낸 도면이다.
도 7의 알파블렌딩 맵을 참조하면, 원본 픽셀 값이 0.5(이는 정규화된 값으로 최대값이 1로 가정하는 경우이고 8bit의 경우 127의 값일 수 있음)일 때, 원본 픽셀 값(O1)과 알파블렌딩의 결과 값인 스테고 영상의 픽셀 값(S1)와의 차이 값(d)에 따라 알파 값(α)과 워터마크 패턴의 픽셀값(w1)의 범위를 그래프 내의 선으로 확인할 수 있다. 이러한 알파블렌딩 맵은 픽셀 값의 차이 값(d)에 따라 연관성을 가지고 변화되는 허용가능한 워터마크 픽셀 값의 범위 및 알파 값 범위 중 적어도 하나를 미리 산출하여 정의하고 있는 맵일 수 있다. 이러한 맵은 도 7과 같이 그래프로 표현될 수도 있고, 테이블, 수학식 등으로도 표현될 수 있다. 이러한 알파블렌딩 맵은 여러 변수(예컨대, 픽셀 간 차이값(difference), 알파값, 원본픽셀값, 워터마크 픽셀값 등)를 고려하여 다양한 형태로 스토리지(미도시)에 저장되어 있을 수 있고, 장치는 차이값 계산에 따라 적절한 알파블렌딩 맵을 불러와 워터마크 픽셀값의 범위 및 알파값 범위를 산출할 수 있다.
워터마크 삽입 장치는 앞선 도 4의 원본영상 픽셀값에 삽입되는 워터마크 패턴 값을 고려한 스테고 영상의 픽셀값을 고려하여 최대의 차이값을 결정하고, 상기 결정된 차이값에 대응되는 알파블렌딩 맵 상에서의 허용가능한 워터마크 픽셀값의 범위 및/또는 알파값의 범위를 기반으로 워터마크 픽셀값과 알파값을 각각 결정할 수 있다. 도 7의 알파블렌딩 맵에서 상기 차이값(d)이 1인 경우, 알파값이 1이 될 때까지는 워터마크 픽셀값의 범위가 증가하여 점점 넓은 범위의 픽셀값을 선택가능하나, 알파값이 1이 넘게 되면, 선택가능한 워터마크 픽셀값의 범위가 급격히 좁아지게 된다. 따라서, 이러한 알파블렌딩 맵을 활용하여 원본픽셀값에 대응하는 워터마크 픽셀값 및 알파값의 범위를 결정할 수 있다. 또한, 도 7의 그래프 개형은 원본 영상 픽셀 값이 증가함에 따라 y축 방향으로 위로 모든 그래프가 이동하는 형상을 띄게 되므로, 원본 영상 픽셀값에 따라 서로 다른 워터마크 픽셀값 및 알파값의 범위가 산출된다.
보다 상세하게 그래프를 설명하면, 도 7의 그래프 내의 직선은 픽셀 값의 최대값 내에서 원본 픽셀값과 1/Max보다 작은 차이를 나타낸 값의 범위를 나타내고, 그 외 점선의 크기에 따라 상기 그래프의 우측 상단에 표시된 바와 같이, 알파블렌딩에 의해 변화된 픽셀값이 원본 픽셀값 2/Max보다 작은 차이를 나타내는 값의 범위, 3/Max보다 작은 차이를 나타내는 값의 범위 및 4/Max보다 작은 차이를 나타내는 값의 범위를 나타낸다.
본 발명의 실시예에 따르면, 위와 같이 원본 영상과 알파블렌딩된 영상의 픽셀값의 차이값에 따른 복수 개의 그래프 선을 포함하는 알파블렌딩 맵을 통해 워터마크 패턴의 픽셀 값 범위 및 알파값이 산출될 수 있다.
도 7의 그래프를 활용하면 원본 입력영상의 특정 픽셀의 픽셀값(O1)이 0.5인 상태에서, 스테고 영상의 대응되는 픽셀의 픽셀값(S1)과 원본 영상의 픽셀값(O1)의 차이가 1인 경우, 실선 그래프를 참조하여 실선그래프 내의 영역에 해당하는 워터마크 픽셀값 및 알파값만이 고려될 수 있고, 워터마크 패턴은 실선그래프 내의 영역의 워터마크 픽셀값과 알파값으로 변환될 수 있다.
더욱이, 도 7의 그래프는 차이값(d)이 정수로 떨어지는 경우만을 그래프 선으로 표시하고 있다. 즉, 1의 간격으로 정의하여 그래프 선을 생성함으로써 알파블렌딩 맵을 구성하고 있다. 이때, 알파블렌딩 맵 구성을 위한 특정 수치 간격은 반드시 1로 설정되는 것은 아니다. 이는 임의로 가변될 수 있다. 본 발명의 실시예에서, 1의 간격 사이의 특정 값, 예컨대, 차이값(d)이 1.5일 때, 특정 알파값에 대응하는 워터마크 삽입픽셀 값의 범위는 차이값(d)이 1인 경우를 나타내는 실선 그래프와 차이값(d)이 2인 경우를 나타내는 점선 그래프의 중간 지점을 잇는 가상의 그래프 선을 고려하여 획득할 수 있다. 이때, 차이값(d)이 2보다 1에 가까운 경우, 예컨대, 1.3일 때는 그 거리를 고려하여 점선 그래프선보다 실선 그래프선에 가까운 가상의 그래프 선을 고려할 수 있다.
도 8은 모든 원본 픽셀 값과 알파블렌딩 수행 후의 스테고 영상의 픽셀 값과의 차이값이 공통적으로 겹치는 범위를 나타낸 알파블렌딩 공통 맵을 나타낸 도면이다.
도 8을 참조하면, 알파블렌딩 공통 맵을 통해 입력영상의 원본 픽셀 값에 따른 알파블렌딩 계산 후의 픽셀 값과의 차이 값의 범위를 확인할 수 있다. 도 8의 그래프는 이 모든 원본 픽셀 값에서 알파블렌딩 계산 후의 픽셀 값과의 차이 값이 공통적인 부분을 나타낸 것이다.
도 8에 도시된 바와 같이, 원본 픽셀 값과 1/Max보다 작은 차이를 가지는 값은 존재하지 않는다. 그리고 그래프 우측 상단에 표시된 바와 같이, 각 점선의 모양에 따라 원본 픽셀 값과 알파블렌딩된 픽셀의 픽셀 값의 최대(max) 값 내에서 2/Max보다 작은 차이를 나타내는 값의 공통범위, 원본 픽셀 값과 3/Max보다 작은 차이를 나타내는 값의 공통범위 및 원본 픽셀 값과 4/Max보다 작은 차이를 나타내는 값의 공통범위를 나타낸다.
본 발명의 실시예에 따르면, 워터마크 삽입 장치는 이러한 알파블렌딩 공통 맵 상의 공통범위를 이용하여 픽셀 값의 차이(d)를 기반으로 알파값의 변화에 따라 워터마크 삽입픽셀값의 범위를 산출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 시간적인 연관성을 갖는 픽셀간의 픽셀값의 차이를 기반으로 워터마크 픽셀값의 범위 및 알파값의 범위를 산출하는 방법을 설명하기 위한 개념도이다.
도 9를 참조하면, 본 발명의 워터마크 삽입 방법은 시간적인 연관성을 갖는 픽셀에 적용할 수 있다. 현재 원본 영상(920)의 픽셀(P2)과 이전 영상(910)의 동일 위치의(co-located) 픽셀(P1)의 픽셀값의 차이를 d1으로 정의하고, 현재 영상(920)의 픽셀(P2)에 대응하는 스테고 영상(922)의 픽셀(P2')과 이전 영상(910)의 픽셀(P1)에 대응하는 스테고 영상(912)의 픽셀(P1')의 픽셀값의 차이를 d2라고 정의하였을 때, 원본 영상 픽셀이 픽셀(P1)에서 픽셀(P2)로 변화함에 따라 스테고 영상도 대응되는 픽셀(P1')에서 픽셀(P2')로 변화하게 되는데, 원본 영상에서의 두 영상 내 픽셀의 변화(d1)과 스테고 영상에서의 두 영상 내 픽셀의 변화(d2)의 차이는 앞선 도 4의 원본 영상과 워터마크가 삽입된 스테고 영상의 픽셀 차이값에 따라 일정한 상대적 차이(d1-d2)를 갖게 된다. 따라서, 현재 영상의 픽셀(P2)의 픽셀값이 변화함에 따라 상기 상대적 차이(d1-d2)도 최대가능한 차이값으로 결정될 수 있고, 결정된 최대 가능한 상대적 차이(d1-d2)에 적절한 알파블렌딩 맵을 가져와서 픽셀(P1) 및/또는 픽셀(P2)에 삽입되는 워터마크 패턴의 픽셀값의 범위 및 알파값의 범위 중 적어도 하나를 결정할 수 있다.
본 발명의 실시예에 있어서, 시간적인 연관성을 갖는 영상은 반드시 이전 프레임으로 한정되는 것은 아니고 일정한 간격을 두고 참조관계에 있는 프레임을 포함할 수 있으며, 이전 프레임뿐만 아니라 이후에 출력되는 프레임도 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 공간적인 연관성을 갖는 픽셀간의 픽셀값의 차이를 기반으로 워터마크 픽셀값의 범위 및 알파값의 범위를 산출하는 방법을 설명하기 위한 개념도이다.
도 10을 참조하면, 원본 영상의 공간적인 연관성을 갖는 두 픽셀(O1, O2) 의 픽셀값(On)이 존재하고, 알파블렌딩 계산 후의 스테고 영상에서의 공간적인 연관성을 갖는 두 픽셀(S1, S2)의 픽셀값(Sn)이 존재하는 경우, 스테고 영상의 픽셀값(Sn)은 픽셀값(On)을 기반으로 알파 값(αn)과 워터마크 값(wn)을 이용하여 나타내어 진다.
도 10의 실시예에서도 역시, 도 9와 마찬가지로, 원본 영상에서의 인접한 두 픽셀(O1, O2)의 픽셀값의 차이를 d1으로 정의하고, 현재 영상에 대응하는 스테고 영상의 인접한 두 픽셀(S1, S2)의 픽셀값의 차이를 d2라고 정의하였을 때, 원본 영상에서의 인접한 픽셀의 픽셀값의 차이(d1)와 스테고 영상에서의 인접한 픽셀의 픽셀값의 차이(d2) 역시 원본 영상과 워터마크가 삽입된 스테고 영상의 픽셀 차이값에 따라 일정한 상대적 차이(d1- d2)를 가질 수 있다.
즉, 현재 영상의 픽셀(O2)의 픽셀값이 변화함에 따라 상기 상대적 차이(d1-d2)도 도 4의 테이블을 기반으로 최대가능한 차이값으로 결정될 수 있다. 그리고, 상기 결정된 최대가능한 상대적 차이(d1-d2)에 적절한 알파블렌딩 맵을 가져와서 픽셀(O1) 및/또는 픽셀(O2)에 삽입되는 워터마크 패턴의 픽셀값의 범위 및 알파값의 범위 중 적어도 하나를 결정할 수 있다.
본 발명의 실시예에 있어서, 공간적인 연관성을 갖는 픽셀은 반드시 인접해야 하는 것은 아니고, 해당 픽셀과 참조관계를 갖는 인접하지 않는 픽셀들을 포함할 수 있다.
본 발명의 실시예에 있어서, 원본 영상의 인접한 두 픽셀 값이 (105, 100) 이고, 해당 위치에 삽입할 패턴의 값이 (+,-)이며, 차이값(d)은 2인 경우, 원본 영상에서의 인접픽셀간 픽셀값의 차이(d1)는 105-100=5가 된다. 그리고, 입력하고자 하는 워터마크 패턴 값에 의해, 각 픽셀에는 알파블렌딩을 통해 (+1, -1)이 워터마크로 삽입되고, 그 결과, 스테고 영상의 픽셀 값은 (106, 99)로 변조된다. 이때, 차이(d2)는 106-99=7이 되는데, d1과 d2간의 차이는 |d1- d2|=2 이므로 d값 범위 내에 있게 된다. 따라서, d값을 만족하는 워터마크 픽셀 값이 결정될 수 있도록, (+,-)의 삽입패턴으로부터, 알파블렌딩 시 (+1, -1)을 삽입시킬 수 있는 워터마크 삽입 픽셀 값의 범위 또는 목록을 알파블렌딩 맵을 통해 도출할 수 있다. 그리고는, 도출된 범위 또는 목록 내의 값을 선택하여 워터마크 영상을 생성할 수 있다.
도 11은 시공간적으로 연관성을 갖는 픽셀간의 픽셀값의 차이의 변화량에 따라 선택가능한 워터마크 픽셀값 및 알파값의 범위를 나타낸 알파블렌딩 맵을 나타낸 도면이다.
도 11을 참조하면, 원본영상의 인접한 두 픽셀(O1, O2)의 픽셀값의 차이(d1)와 알파블렌딩 계산 후의 그 차이(d2)에 대응하여 알파 값의 변화에 따른 워터마크 픽셀값의 범위를 확인할 수 있다. 워터마크 삽입장치는 이러한 인접 픽셀간의 차이값(d1, d2) 간의 상대적인 차이(d)를 워터마크 패턴 값에 근거하여 도 4의 테이블에서 허용가능한 차이값들을 미리 계산하고, 계산된 차이값 중 가장 큰 차이값으로 상기 상대적인 차이(d)를 확정할 수 있다. 그리고는 확정된 차이값(d)에 따라 원본 영상의 픽셀(O1) 및 픽셀(O2) 중 적어도 하나에 대한 픽셀값, 허용가능한 워터마크 픽셀값의 범위, 및 알파값의 범위 등 각 파라미터들의 관계를 계산하여 그래프선으로 표시한다. 본 실시예에 있어서, 그래프선은 차이값(d)에 따라 복수 개 이상 표시되고 이러한 그래프 선을 포함하는 알파블렌딩 맵을 산출하여 미리 저장해 놓고 있을 수 있다.
도 11의 그래프에서 파라미터가 변화함에 따라 알파블렌딩 계산 후의 스테고 영상의 인접픽셀들 간의 차이값(d2)과 원본 픽셀 값들 간의 차이값(d1)의 차이(d2-d1=d)의 범위를 우측 상단에 표시된 바와 같이, 서로 다른 선으로 표시하고 있다. 이 그래프 개형은 원본 영상의 어느 할 픽셀(O2)의 픽셀 값이 증가함에 따라 y축 방향으로 위쪽으로 이동하는 형태를 띄며, w1값이 증가함에 따라 범위 레벨이 증가 변경된다. 또한, α1 값이 증가함에 따라 w1값의 조건에 따라 범위 레벨이 변경된다.
본 실시예에서, 직선은 픽셀값의 최대값 내에서 1/Max보다 작은 차이를 나타내는 값의 범위를 나타낸다. 그리고, 각 점선은 알파블렌딩 맵 우측 상단에 표시된 바와 같이, 각 점선의 모양에 따라 픽셀 값의 최대값 내에서 2/Max보다 작은 차이를 나타내는 값의 범위, 3/Max보다 작은 차이를 나타내는 값의 범위 및 4/Max보다 작은 차이를 나타내는 값의 범위를 나타낸다.
본 발명의 실시예에 따르면, 도 6 내지 도 8에서 설명한 방식과 유사하게 도 11의 그래프를 이용하여 워터마크 패턴의 픽셀값 범위 및 알파값 범위를 알파블렌딩 맵을 통해 산출할 수 있고, 산출된 범위 내에서 워터마크 패턴 값에 대응되는 픽셀값 및 알파값을 적절하게 결정할 수 있다.
도 12는 복수 개의 시공간적으로 연관성을 갖는 픽셀들의 복수 개의 픽셀값 차이의 변화량을 이용하여 워터마크 픽셀값 및 알파값을 산출하는 방법을 설명하기 위한 개념도이다.
도 12를 참조하면, 원본 영상에서의 하나의 픽셀(P1)에 대해 복수 개의 시공간적인 연관 픽셀이 존재할 수 있다. 본 실시예에서는 4개의 공간적인 연관 픽셀(P2, P3, P4, P5)만을 고려하고 있지만, 이외의 위치에 존재하는 픽셀들과의 차이값으로 고려대상 범위를 넓혀나갈 수 있다(점선으로 표시된 픽셀 참조). 또한 공간적인 연관픽셀과 시간적인 연관픽셀을 함께 고려할 수도 있다.
상기 4개의 연관픽셀에 대해 픽셀값의 차이는 d1, d2, d3, d4와 같이 4개의 차이값이 존재하게 되고, 이를 스테고 영상으로 변환했을 때, 대응되는 픽셀값의 차이는 d1', d2', d3', d4'로 정의될 수 있다. 이러한 워터마크 패턴 삽입 및 알파블렌딩에 따른 스테고 영상에서의 인접픽셀간 픽셀값의 차이(d1', d2', d3', d4')과 원본 영사에서의 인접픽셀간 픽셀값의 차이(d1, d2, d3, d4) 사이의 변화량(d1'-d1, d2'-d2, d3'-d3, d4'-d4)를 기반으로 알파블렌딩 맵을 참조하여 복수의 변화량(d1'-d1, d2'-d2, d3'-d3, d4'-d4)을 동시에 만족하는 워터마크 픽셀값 범위 및 알파값 범위를 통해 해당 픽셀(P1)에 삽입되는 워터마크의 픽셀값 및 알파값을 산출할 수 있다. 이를 알파블렌딩 맵 상의 그래프 선으로 설명하면 도 13과 같다.
도 13은 도 12의 복수 개의 픽셀값 차이의 변화량에 근거하여 워터마크 픽셀값 및 알파값의 범위를 나타내는 그래프이다.
도 13을 참조하면, 픽셀(P1)과 인접픽셀(P2) 및 픽셀(P1)과 인접픽셀 픽셀(P3)의 관계에서 원본 영상에서의 상기 픽셀들간의 차이값과 스테고 영상에서의 상기 픽셀들 간의 차이값의 상대적인 변화량(d1'-d1, d2'-d2)을 고려하여 해당 픽셀(P1)에 삽입되는 워터마크 패턴의 픽셀값의 허용범위를 결정하는 경우를 가정한다. 이때, 변화량(d1'-d1)과 관련된 알파블렌딩 맵 상의 그래프 선은 실선으로 표시되고, 변화량(d2'-d2)과 관련된 알파블렌딩 맵 상의 그래프 선은 점선으로 표시될 수 있다. 해당 픽셀(P1)에 삽입되는 워터마크 패턴의 픽셀값은 양 변화량(d1'-d1, d2'-d2)과의 관계를 모두 만족시켜야 하기에 두 그래프 선이 나타내는 허용가능한 워터마크 픽셀값 범위 및 알파값 범위의 교집합 구간(1310) 내에서 워터마크 픽셀값 및 알파값을 결정하여야 한다. 따라서, 구간(1310) 내의 값으로 워터마크 픽셀값 및 알파값이 결정되는 것이 바람직하다. 이와 같은 논리로, 다수의 시공간적인 연관관계에 있는 픽셀과의 관계를 고려할 때, 보다 좁은 워터마크 픽셀값 및 알파값의 범위가 교집합으로 산출되고 고려가능한 다수의 시공간적인 연관관계를 고려해야 보다 정확한 워터마크 픽셀값 및 알파값을 산출할 수 있다.
도 14는 본 발명의 일 실시예에 따른 워터마크 삽입 장치를 개략적으로 나타낸 블록도이다. 도 14에 도시된 바와 같이, 본 발명의 일 실시예에 따른 워터마크 삽입 장치는 통신부(1410), 영상 입력부(1420), 워터마크 패턴 선택부(1430), 워터마크 영상 생성부(1440), 알파블렌딩 수행부(1450), 영상 제공부(1460) 및 영상 출력부(1470)를 포함할 수 있다. 각 구성요소는 수행하는 기능과 연관된 명령어를 포함하는 메모리와 이를 실행하는 하나 또는 그 이상의 하드웨어 프로세서로써 구현될 수 있다.
도 14를 참조하면, 통신부(1410)는 무선 또는 유선 네트워크와 연결되어 미디어를 송수신한다.
영상 입력부(1420)는 통신부(1410)를 통해 수신되는 미디어 영상 정보를 입력받는다. 그리고는 입력받은 영상 정보를 워터마크 영상 생성부(1440)로 제공한다.
워터마크 패턴 선택부(1430)는 삽입되어야 할 워터마크 패턴을 선택한다. 이때, 선택되는 워터마크 패턴은 사용자 설정에 의해 기설정될 수 있다. 이는 사용자 인터페이스(1405)를 통해 임의로 변경될 수 있다. 예컨대, 수취인 정보일 수도 있고 수신일자 등의 정보일 수 있다.
알파값 설정부(1415)는 상기 워터마크 패턴 삽입장치의 알파값을 설정한다. 이는 미리 설정될 수 있다. 이 경우, 알파블렌딩 맵을 통해 산출된 워터마크 패턴의 픽셀값 범위와 알파값 범위에서 알파값은 설정된 값으로 고정해 놓고, 단순히 워터마크 픽셀값만을 해당 그래프 선 내의 범위에 맞게 결정하면 된다. 알파값은 사용자 인터페이스(1405)를 통해 임의로 변경될 수 있고, 알파값을 미리 설정하지 않고 각 픽셀마다 다른 값을 가변적으로 갖도록 설정할 수도 있다.
워터마크 영상 생성부(1440)는 영상 입력부(1420)로부터 입력영상을 수신하고 워터마크 패턴 선택부(1430)에서 선택된 워터마크 패턴 정보를 수신하여 알파값 설정부(1415)에서 설정된 알파값에 기반하여 워터마크 패턴의 픽셀값을 산출한다. 알파값 설정부(1415)에서 미리 설정된 알파값이 없는 경우, 워터마크 영상 생성부(1440)가 각 워터마크 픽셀에 적용되는 알파값을 결정한다.
이때, 원본 입력 영상 내의 픽셀들 중 워터마크 패턴이 삽입되는 픽셀에 대하여, 원본 영상의 픽셀값과 알파블렌딩된 스테고 영상의 대응하는 픽셀의 픽셀 값의 차이(d)를 가능한 모든 경우의 수를 고려하여 최대 값으로 설정하고, 설정된 차이값을 기반으로 알파블렌딩 맵를 이용하여 워터마크 패턴의 픽셀값 범위 및 알파값 범위를 산출할 수 있다. 이때, 알파블렌딩 맵은 알파블렌딩 맵 저장부(1425)로부터 가져올 수 있다. 알파블렌딩 맵 저장부(1425)는 픽셀값의 차이(d), 원본 픽셀값, 워터마크 픽셀 값, 알파값 등 여러 변수를 고려하여 다양한 형태의 알파블렌딩 맵 및 알파블렌딩 공통 맵을 저장하고 있을 수 있다.
그리고는, 알파블렌딩 맵을 통해 산출된 범위 내에서 워터마크의 해당 패턴 값에 대응되는 값으로 픽셀값을 결정할 수 있고 대응하는 알파값 또한 결정할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 입력 영상의 시공간적으로 연관된 두 픽셀의 픽셀 값의 차이(d1)와 알파블렌딩된 스테고 영상의 대응하는 연관된 두 픽셀의 픽셀 값의 차이(d2) 사이의 변화량(d1-d2)을 기반으로 워터마크 맵을 이용하여 워터마크 패턴의 픽셀값 범위 및 알파값 범위를 산출할 수 있다. 그리고는, 상기 산출된 범위 내에서 입력 영상의 특정 픽셀에 삽입된 워터마크 패턴의 패턴 값을 고려하여 그에 대응되는 값으로 워터마크 픽셀값 및/또는 알파값을 결정할 수 있다. 그리고는 결정된 워터마크 픽셀값 및 알파값을 기반으로 워터마크 영상을 생성할 수 있다.
알파블렌딩 수행부(1450)는 영상 입력부(1420)로부터 수신되는 영상 신호와 워터마크 영상 생성부(1440)에서 생성된 워터마크 영상을 기반으로 알파블렌딩을 수행하여 알파블렌딩된 스테고 영상을 생성한다. 여기에는 워터마크 패턴이 입력영상의 대응되는 위치에 적절하게 알파블렌딩되어 있을 수 있다.
영상 제공부(1460)는 알파블렌딩된 스테고 영상을 영상 출력부(1470)로 제공하거나 또는 다른 장치(도 1의 엔드 장치)로 전송하기 위해 통신부(1410)로 제공한다.
영상 출력부(1470)는 알파블렌딩된 영상을 직접 출력할 수 있다.
방송 또는 컨텐트 신호에 대한 워터마크 삽입 시스템
도 15는 본 발명의 다른 실시예에 따른 워터마크 삽입 시스템의 구성을 나타내는 블록도이다. 도 15에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 워터마크 삽입 시스템은 방송 수신 장치(1510), 영상 표시 장치(1520), 단말 장치(1530), 페어링 관리 서버(1540), 부가 서비스 관리 서버(1550), 부가 서비스 서버(1560), 컨텐트 제공 서버(1570) 및 컨텐트 분배 서버(1580)를 포함할 수 있다.
워터마크 삽입 장치(1510)는 적어도 하나의 방송 신호 또는 컨텐트 신호를 네트워크(1500)를 통해 부가 서비스 서버(1560) 또는 컨텐츠 분배 서버(1580)로부터 수신하여, 수신된 방송 신호 또는 컨텐트 신호에 따른 비디오 신호 및 오디오 신호에 워터마크를 삽입한다. 그리고는 워터마크를 삽입한 신호를 직접 출력하거나 또는 영상 표시 장치(1520)로 제공할 수 있다. 워터마크 삽입 장치(1510)는 앞서 설명한 알파블렌딩을 수행할 수 있다.
본 발명의 실시예에 따르면, 워터마크 삽입 장치(1510)는 방송 신호 또는 컨텐트 신호를 수신하는 셋탑 박스(set-top box)일 수 있다. 워터마크 삽입 장치(1510)는 다양한 종류의 방송 신호 또는 컨텐트 신호를 수신하고, 수신된 방송 신호 또는 컨텐트 신호에 포함된 비디오 신호 및 오디오 신호를 복원하여 출력할 수 있다. 이에 따라 워터마크 삽입 장치(1510)는 복원된 비디오 신호 및 오디오 신호를 영상 표시 장치(1520)에 전달하여, 영상 표시 장치(1520)가 비디오 신호 및 오디오 신호를 출력하도록 할 수 있다.
그리고 워터마크 삽입 장치(1510)는 수신된 방송 신호 또는 컨텐트 신호에 포함된 비디오 신호 및 오디오 신호 중 적어도 하나에 삽입된 정보를 식별하기 위한 워터마크(watermark)를 삽입할 수 있다. 이에 대한 보다 상세한 내용은 후술하도록 한다.
한편, 본 발명의 실시 예에 따른 워터마크 삽입 장치(1510)는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 방송 수신 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 가지고 제어될 수 있다. 그리고, 워터마크 삽입 장치(1510)는 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행 가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS(Operation System)가 사용될 수 있다.
따라서, 본 발명에서 기술되는 워터마크 삽입 장치(1510)는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다.
영상 표시 장치(1520)는 워터마크 삽입 장치(1510)로부터 수신된 비디오 신호 및 오디오 신호를 기초로, 비디오 및 오디오를 출력할 수 있다.
구체적으로 예를 들면, 영상 표시 장치(1520)는 네트워크 TV, HBBTV(Hybrid Broadcast Broadband TV), 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 후술할 단말 장치(1530)에도 적용 가능하다.
단말 장치(1530)는 다른 장치와 통신할 수 있다. 그리고 단말 장치(1530)는 통신 기능 이외에도 다양한 기능을 제공할 수 있다. 예컨대, 단말 장치(1530)는 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 제공할 수 있어서, 멀티미디어 기기(Multimedia player) 형태로 구현될 수 있다.
본 발명의 실시예에 따르면, 단말 장치(1530)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등을 포함할 수 있다.
페어링 관리 서버(1540)는 워터마크 삽입 장치(1510)와 단말 장치(1530) 간의 연결(pairing)과 관련된 정보 및 동작을 처리할 수 있다.
페어링 관리 서버(1540)는 워터마크 삽입 장치(1510)에서 출력되는 적어도 하나의 컨텐트, 방송 채널에 관련된 정보를 검색할 수 있다. 또한, 페어링 관리 서버(1540)는 워터마크 삽입 장치(1510)를 식별하기 위한 워터마크 삽입 장치(1510)의 고유 정보를 확인하고, 확인된 고유 정보를 다른 장치에 제공할 수 있다. 이에 대한 자세한 내용은 후술하기로 한다.
부가 서비스 관리 서버(1550)는 다양한 부가 서비스를 제공하는 적어도 하나의 부가 서비스 서버(1560)를 관리할 수 있다. 그리고 부가 서비스 관리 서버(1550)는 적어도 하나의 부가 서비스에 대한 부가 서비스 목록을 제공할 수 있다.
부가 서비스 서버(1560)는 다양한 부가 서비스 또는 부가 정보를 제공할 수 있다. 여기서 부가 서비스 또는 부가 정보는 방송 서비스, 컨텐트와 관련된 정보를 포함할 수 있고, 다양한 상품, 광고 정보를 포함할 수 있다. 예를 들면, 부가 서비스 서버(1560)는 부가 서비스 또는 부가 정보를 워터마크 삽입 장치(1510), 영상 표시 장치(1520), 단말 장치(1530) 중 하나 이상에 제공할 수 있다.
부가 서비스 서버(1560)는 복수의 부가 서비스 서버(1562~1568)을 포함할 수 있다.
한편, 부가 서비스 관리 서버(1550) 및 부가 서비스 서버(1560)는 하나의 서버로 구현될 수 있다. 예를 들면, 부가 서비스 정보 서버(1850 또는 2040)로 구현될 수 있다(도 18a 및 18b, 및 도 20 참조).
컨텐트 제공 서버(1580)는 적어도 하나의 컨텐트를 컨텐트 분배 서버(1590)에 제공할 수 있다. 예를 들면 컨텐트 제공 서버(1580)는 방송 서비스를 제공하는 방송 서비스 제공 서버일 수 있고, VOD(Video On Demand)를 제공하는 VOD 제공 서버일 수 있다. 또한, 컨텐트 제공 서버(1580)는 방송 신호를 송출하는 방송국일 수도 있다.
컨텐트 분배 서버(1590)는 제공된 적어도 하나의 컨텐트에 대한 방송 신호를 수신하고, 수신된 방송 신호를 다중화하여 워터마크 삽입 장치(1510)에 제공할 수 있다.
예를 들면 컨텐트 분배 서버(1590)는 케이블 방송 사업자, IPTV(Internet Protocol Television) 사업자에 대응하는 분배 서버일 수도 있다.
네트워크(1500)는 상술한 하나 이상의 장치 간의 통신을 위한 네트워크일 수 있다. 이에 따라, 상술한 하나 이상의 장치들은 네트워크(1500)에 유선 또는 무선 통신으로 연결될 수 있다.
한편, 상술한 워터마크 삽입 시스템은 사용자 또는 설계자의 선택에 따라 상술한 구성 중 일부만을 포함할 수도 있다.
또한, 워터마크 삽입 시스템에 포함된 일부 구성은 하나의 구성에 포함될 수도 있으며, 복수의 구성으로 구성될 수도 있다. 예를 들면, 상술한 부가 서비스 관리 서버(1550) 및 부가 서비스 서버(1560)는 하나의 서버로 구성될 수도 있고, 페어링 관리 서버(1540) 및 부가 서비스 관리 서버(1550)도 하나의 서버로 구성될 수 있다. 그리고, 컨텐트 제공 서버(1580) 및 컨텐트 분배 서버(1590)도 하나의 서버로 구성될 수 있다.
도 16은 본 발명의 다른 실시예에 따른 워터마크 삽입 장치의 구성을 나타내는 블록도이다.
도 16을 참조하면, 워터마크 삽입 장치는 수신부(1610), 입력부(1620), 제어부(1630), 출력부(1640) 및 저장부(1650)를 포함할 수 있다.
수신부(1610)는 적어도 하나의 방송 신호를 수신하여, 선택된 채널 신호를 튜닝하고, 튜닝한 채널 신호를 수신할 수 있다. 그리고 수신부(1610)는 수신된 채널 신호에 대해 복조와 채널 복호를 수행할 수 있다. 이에 따라 수신부(1610)는 메인 방송 신호를 추출할 수 있다.
통신부(1620)는 적어도 하나의 다른 장치와 통신할 수 있다. 예를 들면, 통신부(1620)는 영상 표시 기기, 단말 장치, 페어링 관리 서버, 부가 서비스 관리 서버 및 부가 서비스 서버 중 하나 이상과 통신할 수 있다. 통신부(1620)는 상술한 네트워크(1500)를 통해 적어도 하나의 다른 장치와 통신할 수도 있다.
제어부(1630)는 워터마크 삽입 장치의 전반적인 동작을 제어할 수 있다. 제어부(1630)는 수신부(1610)에서 추출된 방송 신호에 따른 비디오 신호 및 오디오 신호를 처리할 수 있다. 그리고 제어부(1630)는 출력부(1640)를 통해 처리된 비디오 신호 및 오디오 신호를 영상 표시 장치에 제공할 수 있다.
제어부(1630)는 추출된 방송 신호에 따른 비디오 신호 및 오디오 신호 중 적어도 하나에 삽입된 정보를 식별하기 위한 워터마크를 삽입할 수 있다.
본 발명의 일 실시예로, 제어부(1630)는 워터마크 삽입 장치의 고유 식별 정보를 포함하는 워터마크를 삽입할 수 있다.
다른 실시예로, 제어부(1630)는 워터마크 삽입 장치에서 영상 표시 장치에 제공하는 비디오 신호 및 오디오 신호 중 적어도 하나에 대응하는 컨텐트에 대한 컨텐트 정보를 포함하는 워터마크를 삽입할 수도 있다.
또 다른 실시예로, 제어부(1630)는 워터마크 삽입 장치에서 영상 표시 장치에 제공하는 비디오 신호 및 오디오 신호에 대응하는 채널에 대한 채널 정보를 포함하는 워터마크를 삽입할 수도 있다.
또 다른 실시예로, 제어부(1630)는 워터마크 삽입 장치와 연결(pairing)하기 위한 연결 정보를 포함하는 워터마크를 삽입할 수도 있다.
출력부(1640)는 비디오 신호 및 오디오 신호 중 적어도 하나를 출력할 수 있다.
출력부(1640)는 비디오 신호 및 오디오 신호 중 적어도 하나를 영상 표시 장치에 출력하기 위한 출력 단자를 포함할 수 있고, 출력 단자를 통해 영상 표시 장치에 비디오 신호 및 오디오 신호 중 적어도 하나를 출력할 수 있다.
예를 들면, 출력부(1640)의 출력 단자는 HDMI(High Definition Multimedia Interface), AV 케이블(Audio/Video Cable) 중 적어도 하나를 포함할 수 있다.
저장부(1650)는 제어부(1630) 내의 다양한 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 비디오, 오디오 또는 데이터 신호를 저장할 수 있다.
도 17은 본 발명의 다른 실시예에 따른 단말 장치의 구성을 나타내는 블록도이다.
도 17을 참조하면, 단말 장치는 통신 모듈(1710), 메모리(1720), 프로세서(1730), 디스플레이(1740), 스피커(1750) 및 마이크(1760)을 포함할 수 있다.
통신 모듈(1710)은 다양한 통신 방식을 이용하여, 다른 장치와 통신할 수 있다. 예를 들면, 통신 모듈(1710)은, 이동 통신망 상에서 기지국, 외부의 단말 장치, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있고, 워터마크 삽입 장치, 영상 표시 장치등과 통신할 수 있다.
또한, 통신 모듈(1710)은 네트워크를 통해 다른 장치와 통신할 수 있다.
메모리(1720)는 단말 장치의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(1720)는 단말 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 단말 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
프로세서(1730)는 단말 장치의 전반적인 동작을 제어할 수 있다. 예를 들면, 프로세서(1730)는 단말 장치의 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다.
또한, 프로세서(1730)는 획득된 비디오 또는 오디오에 포함된 워터마크 정보를 획득할 수 있고, 획득된 워터마크 정보에 대응하는 부가 정보, 연결 정보, 식별 정보 등 다양한 정보를 획득할 수 있다.
디스플레이(1740)는 다양한 영상을 출력할 수 있다.
또한, 디스플레이(1740)는 터치 입력을 인식하는 터치 센서를 포함할 수도 있다.
스피커(1750)는 프로세서(1730)에서 처리된 오디오 신호를 기반으로 오디오를 출력할 수 있다.
마이크(1760)는 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리할 수 있다.
도 18a 및 18b는 본 발명의 다른 실시예에 따른 워터마크 삽입 시스템의 동작 방법을 나타낸 흐름도이다.
도 18a 및 18b을 참조하면, 워터마크 삽입 장치(1810)는 신호를 수신할 수 있다(S1810). 이때, 신호는 방송 신호 또는 컨텐트 신호를 포함한다. 예를 들면, 워터마크 삽입 장치(1810)는 컨텐트 분배 서버로부터, 컨텐트 제공 서버에서 제공되는 적어도 하나의 컨텐트 또는 방송 채널에 대한 방송 신호를 수신할 수 있다. 또는 부가 서비스 서버로부터 제공되는 방송 신호를 수신할 수 있다.
워터마크 삽입 장치(1810)는 수신된 컨텐트 또는 방송 신호에 고유 인식 정보를 포함하는 워터마크를 삽입할 수 있다(S1812). 예를 들면, 워터마크 삽입 장치(1810)의 제어부는 수신된 방송 신호를 비디오 신호 및 오디오 신호로 처리하고, 처리된 비디오 신호 및 오디오 신호 중 적어도 하나에 워터마크를 삽입할 수 있다.
구체적으로, 워터마크 삽입 장치(1810)의 제어부는 수신된 방송 또는 컨텐트 신호에 따른 음성 신호에 워터마크 삽입 장치(1810)의 고유 인식 정보를 포함하는 워터마크를 삽입할 수 있다.
워터마크 삽입 장치(1810)는 워터마크가 삽입된 출력 신호를 영상 표시 장치(1820)에 전송할 수 있다(S1814). 여기서 출력 신호는 영상 표시 장치(1820)가 비디오, 오디오 중 적어도 하나를 출력하기 위한 신호를 의미할 수 있다. 예를 들면, 출력 신호는 방송 또는 컨텐트 신호에 따라 처리된 비디오 신호 및 오디오 신호 중 적어도 하나일 수 있다.
일 실시예로, 워터마크 삽입 장치(1810)는 워터마크가 삽입된 오디오 신호를 포함하는 출력 신호를 출력부를 통해 영상 표시 장치(1820)에 전송할 수 있다.
영상 표시 장치(1820)는 전송된 출력 신호에 따른 비디오 및 오디오를 출력할 수 있다(S1816).
영상 표시 장치(1820)는 전송된 출력 신호에 포함된 비디오 신호 및 오디오 신호 중 적어도 하나를 출력할 수 있고, 출력되는 비디오 및 오디오 중 적어도 하나는 워터마크 삽입 장치(1810)가 삽입한 워터마크를 포함할 수 있다.
일 실시예로, 영상 표시 장치(1820)는 전송된 출력 신호에 포함된 오디오 신호를 오디오로 출력할 수 있고, 출력되는 오디오에는 워터마크가 포함될 수 있다.
단말 장치(1830)는 영상 표시 장치(1820)에서 출력되는 오디오를 획득할 수 있다(S1818). 단말 장치(1830)는 획득된 오디오에서, 오디오에 포함된 워터마크에 대한 워터마크정보를 추출할 수 있다(S1820).
예를 들면, 단말 장치(1830)는 마이크를 통해, 영상 표시 장치(1820)에서 출력되는 오디오를 획득할 수 있고, 획득된 오디오에 포함된 워터마크에 대한 워터마크 정보를 추출할 수 있다.
한편, 단말 장치(1830)는 영상 표시 장치(1820)에서 출력되는 영상을 카메라(미도시)를 통해 획득할 수도 있고, 획득된 영상에 포함된 워터마크에 대한 워터마크 정보를 추출할 수도 있다.
단말 장치(1830)는 추출된 워터마크 정보에 대응하는 부가 정보를 페어링 관리 서버(1840)에 요청할 수 있다(S1822).
예를 들면, 단말 장치(1830)는 추출된 워터마크 정보를 포함한 부가 정보 요청 신호를 페어링 관리 서버(1840)에 전송할 수 있다. 여기서 부가 정보는 출력되는 비디오 또는 오디오와 관련된 방송 서비스, 컨텐트와 관련된 정보를 포함할 수 있고, 다양한 상품, 광고 정보를 포함할 수 있다. 그리고 방송 서비스와 관련된 정보는 방송 서비스의 EPG(Electronic Program Guide) 정보를 포함할 수 있다.
페어링 관리 서버(1840)는 부가 정보 요청에 따라, 요청에 대응하는 고유 인식 정보를 검색할 수 있다(S1824).
예를 들면, 페어링 관리 서버(1840)는 부가 정보 요청에 포함된 워터마크 정보를 기초로, 워터마크 삽입 장치(1810)의 고유 인식 정보를 검색할 수 있다. 예를 들면, 페어링 관리 서버(1840)는 워터마크 정보를 기초로, 워터마크 삽입 장치(1810)의 셋탑 박스 ID(Identification)를 검색할 수 있다.
페어링 관리 서버(1840)는 검색된 고유 인식 정보에 대응하는 부가 정보를 부가 서비스 정보 서버(1850)에 요청할 수 있다(S1826). 여기서 부가 서비스 정보 서버(1850)는 상술한 부가 서비스 관리 서버(1550) 및 부가 서비스 서버(1560) 중 적어도 하나를 포함하는 서버일 수 있다(도 15 참조).
부가 서비스 정보 서버(1850)는 요청된 고유 인식 정보에 대응하는 부가 정보를 검색할 수 있다(S1828).
예를 들면, 부가 서비스 정보 서버(1850)는 요청된 워터마크 삽입 장치(1810)의 고유 인식 정보에 대응하는 채널 정보 또는 컨텐트 정보에 따른 부가 정보를 검색할 수 있다. 이에 따라 부가 서비스 정보 서버(1850)는 영상 표시 장치(1820)에서 출력되는 비디오 또는 오디오와 관련된 방송 서비스, 컨텐트와 관련된 정보를 검색할 수 있고, 영상 표시 장치(1820)에서 출력되는 비디오 또는 오디오와 관련된 방송 서비스, 컨텐트와 관련된 다양한 상품, 광고 정보를 검색할 수 있다.
부가 서비스 정보 서버(1850)는 검색된 부가 정보를 단말 장치(1830)에 전송할 수 있다(S1830).
또한, 부가 서비스 정보 서버(1850)는 페어링 관리 서버(1840)를 거쳐서, 검색된 부가 정보를 단말 장치(1830)에 전송할 수도 있다.
단말 장치(1830)는 전송된 부가 정보를 출력할 수 있다(S1832). 예를 들면, 단말 장치(1830)는 전송된 부가 정보를 디스플레이를 통해 영상 출력할 수 있고, 스피커을 통해 오디오 출력할 수 있다.
한편, 부가 서비스 정보 서버(1850)는 검색된 부가 정보를 영상 표시 장치(1820)에 전송할 수도 있다. 이에 따라, 영상 표시 장치(1820)는 전송된 부가 정보를 출력할 수도 있다.
본 발명의 일 실시예에 따르면, 워터마크 삽입 시스템은 삽입된 워터마크에 포함된 연결 정보를 이용하여, 워터마크 삽입 장치와 단말 장치 간에 서로 통신하도록 연결(pairing)할 수 있다.
도 19는 본 발명의 또 다른 실시예에 따른 워터마크 삽입 시스템의 동작 방법에 나타낸 흐름도이다.
도 19를 참조하면, 워터마크 삽입 장치(1910)는 방송 신호 및/또는 컨텐트 신호를 수신할 수 있다(S1910).
예를 들면, 워터마크 삽입 장치(1910)는 컨텐트 분배 서버로부터, 컨텐트 제공 서버에서 제공되는 적어도 하나의 컨텐트 또는 방송 채널에 대한 방송 신호를 수신할 수 있다.
워터마크 삽입 장치(1910)는 수신된 신호에 고유 인식 정보를 인식하기 위한 워터마크를 삽입할 수 있다(S19512). 여기서 고유 인식 정보는 워터마크 삽입 장치(1910), 예를 들면 셋탑 박스ID(Identification)를 포함할 수 있고, 워터마크 삽입 장치(1910)와 연결되지 위한 연결 정보를 포함할 수도 있다.
예를 들면, 워터마크 삽입 장치(1910)의 제어부는 수신된 방송 신호 또는 컨텐트 신호를 비디오 신호 및 오디오 신호로 처리하고, 처리된 영상 신호 및 음성 신호 중 적어도 하나에 워터마크를 삽입할 수 있다.
구체적으로, 워터마크 삽입 장치(1910)의 제어부는 수신된 방송 신호 또는 컨텐트 신호에 포함된 오디오 신호에 워터마크 삽입 장치(1910)의 고유 인식 정보를 포함하는 워터마크를 삽입할 수 있다.
워터마크 삽입 장치(1910)는 워터마크가 삽입된 출력 신호를 영상 표시 장치(1920)에 전송할 수 있다(S1914). 여기서 출력 신호는 영상 표시 장치(1920)가 비디오, 오디오 중 적어도 하나를 출력하기 위한 신호를 의미할 수 있다. 예를 들면, 출력 신호는 방송 신호에 따라 처리된 비디오 신호 및 오디오 신호 중 적어도 하나일 수 있다.
일 실시예로, 워터마크 삽입 장치(1910)는 워터마크가 삽입된 오디오 신호를 포함하는 출력 신호를 출력부를 통해 영상 표시 장치(1920)에 전송할 수 있다.
영상 표시 장치(1920)는 전송된 출력 신호에 따른 비디오 및 오디오를 출력할 수 있다(S1916).
영상 표시 장치(1920)는 전송된 출력 신호에 포함된 비디오 신호 및 오디오 신호 중 적어도 하나를 출력할 수 있고, 출력되는 비디오 및 오디오 중 적어도 하나는 워터마크 삽입 장치(1910)가 삽입한 워터마크가 포함될 수 있다.
일 실시예로, 영상 표시 장치(1920)는 전송된 출력 신호에 포함된 오디오 신호를 오디오로 출력할 수 있고, 출력되는 오디오에는 워터마크가 포함될 수 있다.
단말 장치(1930)는 영상 표시 장치(1920)에서 출력되는 오디오를 획득할 수 있다(S1918). 단말 장치(1930)는 획득된 오디오에서, 오디오에 포함된 워터마크에 대한 워터마크 정보를 추출할 수 있다(S1920).
예를 들면, 단말 장치(1930)는 마이크를 통해, 영상 표시 장치(1920)에서 출력되는 오디오를 획득할 수 있고, 획득된 오디오에 포함된 워터마크에 대한 워터마크 정보를 추출할 수 있다.
또는, 단말 장치(1930)는 영상 표시 장치(1920)에서 출력되는 영상을 카메라(미도시)를 통해 획득할 수도 있고, 획득된 영상에 포함된 워터마크에 대한 워터마크 정보를 추출할 수도 있다.
단말 장치(1930)는 추출된 워터마크 정보에 대응하는 연결 정보를 페어링 관리 서버(1940)에 요청할 수 있다(S1922). 그리고 단말 장치(1930)는 추출된 워터마크 정보를 포함한 연결정보 요청신호를 페어링 관리 서버(1940)에 전송할 수 있다. 여기서 연결정보는 단말 장치(1930)와 워터마크 삽입 장치(1910)가 서로 통신하기 위한, 연결(pairing)에 필요한 정보를 의미할 수 있다.
페어링 관리 서버(1940)는 연결정보 요청에 따라, 요청에 대응하는 연결 정보를 획득할 수 있다(S1924).
예를 들면, 페어링 관리 서버(1940)는 연결 정보 요청에 포함된 워터마크 정보를 기초로, 워터마크 삽입 장치(1910)의 고유 인식 정보를 검색할 수 있다. 그리고 페어링 관리 서버(1940)는 검색된 고유 인식 정보를 기초로, 연결정보를 획득할 수 있다. 일 실시 예로, 페어링 관리 서버(1940)는 워터마크 정보를 기초로, 워터마크 삽입 장치(1910)의 고유 인식 정보, 예컨대 셋탑 박스 ID(Identification)를 검색할 수 있다. 그리고 페어링 관리 서버(1940)는 검색된 고유 인식 정보에 대응하는 연결 정보를 획득할 수 있다.
다른 실시 예로, 페어링 관리 서버(1940)는 전송된 연결정보 요청에 포함된 워터마크에 대한 워터마크 정보에서, 연결 정보를 획득할 수도 있다.
한편, 페어링 관리 서버(1940)는 워터마크 삽입 장치(1910)의 고유 인식 정보를 이용하여, 다른 장치 또는 다른 서버로부터 고유 인식 정보에 대응하는 연결 정보를 획득할 수도 있다.
페이링 관리 서버(1940)는 획득된 연결 정보를 단말 장치(1930)에 전송할 수 있다(S1926).
단말 장치(1930)는 전송된 연결 정보를 기초로, 워터마크 삽입 장치(1910)와 통신할 수 있다(S1928).
단말 장치(1930)는 전송된 연결정보를 기초로, 워터마크 삽입 장치(1910)와 통신하기 위한, 연결(pairing) 동작을 수행할 수 있다. 그리고 단말 장치(1930)는 워터마크 삽입 장치(1910)와 연결 동작 이후, 다양한 동작 또는 다양한 기능을 수행하기 위해 워터마크 삽입 장치(1910)와 통신할 수 있다. 예를 들면, 단말 장치(1930)는 연결된 워터마크 삽입 장치(1910)와 데이터 통신을 수행할 수 있다.
본 발명의 일 실시예에 따른 워터마크 삽입 시스템은 삽입된 워터마크에 포함된 채널 정보를 이용하여, 영상 표시 장치에서 출력되는 컨텐트와 관련된 부가 정보를 제공할 수 있다.
도 20은 본 발명의 일 실시예에 따른 부가 정보 제공 방법을 나타낸 흐름도이다.
도 20을 참조하면, 워터마크 삽입 장치(2010)는 방송 신호 또는 컨텐트 신호를 수신할 수 있다(S2010).
예를 들면, 워터마크 삽입 장치(2010)는 컨텐트 분배 서버로부터, 컨텐트 제공 서버에서 제공되는 적어도 하나의 컨텐트 또는 방송 채널에 대한 방송 신호를 수신할 수 있다.
워터마크 삽입 장치(2010)는 수신된 방송 신호 또는 컨텐트 신호에 따른 방송 채널의 고유 인식 정보인 채널 인식 정보를 포함하는 워터마크를 삽입할 수 있다(S2012).
예를 들면, 워터마크 삽입 장치(2010)의 제어부는 수신된 방송 신호 및 컨텐트 신호를 비디오 신호 및 오디오 신호로 처리하고, 처리된 비디오 신호 및 오디오 신호 중 적어도 하나에 방송 채널의 고유 인식 정보인 채널 인식 정보를 포함하는 워터마크를 삽입할 수 있다.
구체적으로, 워터마크 삽입 장치(2010)의 제어부는 수신된 방송 신호 또는 컨텐트 신호에 포함된 오디오 신호에 방송 채널의 고유 인식 정보인 채널 인식 정보를 포함하는 워터마크를 삽입할 수 있다. 이에 따라 워터마크 삽입 장치(2010)의 제어부는 복수의 방송 채널 각각에 대한 채널 인식 정보를 포함하는 워터마크를 선택된 방송 신호의 오디오 신호에 삽입할 수 있다. 여기서 선택된 방송 신호는 영상 표시 장치(2020)에서 출력되는 방송 채널에 대응하는 방송 신호일 수 있다.
워터마크 삽입 장치(2010)는 워터마크가 삽입된 출력 신호를 영상 표시 장치(2020)에 전송할 수 있다(S2014). 여기서 출력 신호는 영상 표시 장치(2020)가 비디오, 오디오 중 적어도 하나를 출력하기 위한 신호를 의미할 수 있다. 예를 들면, 출력 신호는 방송 신호 또는 컨텐트 신호에 따라 처리된 비디오 신호 및 음성 신호 중 적어도 하나일 수 있다.
일 실시예로, 워터마크 삽입 장치(2010)는 워터마크가 삽입된 오디오 신호를 포함하는 출력 신호를 출력부를 통해 영상 표시 장치(2020)에 전송할 수 있다.
영상 표시 장치(2020)는 전송된 출력 신호에 따른 비디오 및 오디오를 출력할 수 있다(S2016).
영상 표시 장치(2020)는 전송된 출력 신호에 포함된 비디오 신호 및 음성 신호 중 적어도 하나를 출력할 수 있고, 출력되는 비디오 및 오디오 중 적어도 하나는 워터마크 삽입 장치(2010)가 삽입한 워터마크를 포함할 수 있다.
일 실시예로, 영상 표시 장치(2020)는 전송된 출력 신호에 포함된 오디오 신호를 오디오로 출력할 수 있고, 출력되는 오디오에는 워터마크가 포함될 수 있다.
단말 장치(2030)는 영상 표시 장치(2020)에서 출력되는 오디오를 획득할 수 있다(S2018). 단말 장치(2030)는 획득된 오디오에서, 오디오에 포함된 워터마크에 대한 워터마크 정보를 추출할 수 있다(S2020).
예를 들면, 단말 장치(2030)는 마이크를 통해, 영상 표시 장치(2020)에서 출력되는 오디오를 획득할 수 있고, 획득된 오디오에 포함된 워터마크에 대한 워터마크 정보를 추출할 수 있다.
한편, 단말 장치(2030)는 영상 표시 장치(2020)에서 출력되는 영상을 카메라(미도시)를 통해 획득할 수도 있고, 획득된 영상에 포함된 워터마크에 대한 워터마크 정보를 추출할 수도 있다.
단말 장치(2030)는 추출된 워터마크 정보에 대응하는 채널 정보를 획득할 수 있다(S2022).
여기서 채널 정보는 출력되는 비디오 및 오디오 중 적어도 하나에 대응하는 방송 채널에 대한 정보를 의미할 수 있다.
예를 들면, 단말 장치(2030)는 추출된 워터마크 정보의 워터마크 정보에서, 채널 정보를 획득할 수 있다
다른 예로, 단말 장치(2030)는 추출된 워터마크 정보를 이용하여, 다른 장치 또는 다른 서버로부터 채널 정보를 획득할 수도 있다.
단말 장치(2030)는 획득된 채널 정보에 대응하는 부가 정보를 부가 서비스 정보 서버(2040)에 요청할 수 있다(S2024).
여기서 부가 정보는 출력되는 영상 또는 오디오와 관련된 방송 서비스, 컨텐트와 관련된 정보를 포함할 수 있고, 다양한 상품, 광고 정보를 포함할 수 있다. 그리고 방송 서비스와 관련된 정보는 방송 서비스의 EPG(Electronic Program Guide) 정보를 포함할 수 있다.
부가 서비스 정보 서버(2040)는 부가 정보 요청에 따라, 채널 정보 및 EPG 정보를 이용하여 부가 정보를 획득할 수 있다(S2026).
부가 서비스 정보 서버(2040)는 복수의 방송 채널에 대한 정보를 포함하는 EPG 정보를 기초로, 부가 정보 요청에 포함된 채널 정보에 매칭되는 방송 채널을 검색할 수 있다. 그리고 부가 서비스 정보 서버(2040)는 검색된 방송 채널에 대한 부가 정보를 획득할 수 있다.
부가 서비스 정보 서버(2040)는 검색된 부가 정보를 단말 장치(2030)에 전송할 수 있다(S2028).
단말 장치(2030)는 전송된 부가 정보를 출력할 수 있다(S2030).
예를 들면, 단말 장치(2030)는 전송된 부가 정보를 디스플레이를 통해 영상 출력할 수 있고, 스피커을 통해 오디오 출력할 수 있다.
한편, 부가 서비스 정보 서버(2040)는 검색된 부가 정보를 영상 표시 장치(2020)에 전송할 수도 있다. 이에 따라, 영상 표시 장치(2020)는 전송된 부가 정보를 출력할 수도 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (28)

  1. 컴퓨팅 장치에 의해 수행되는 워터마크 삽입 방법에 있어서,
    원본(original) 영상을 입력받는 단계;
    상기 원본 영상에 삽입할 워터마크 패턴을 선택하는 단계;
    상기 선택된 워터마크 패턴을 기반으로 워터마크 영상을 생성하는 단계;
    상기 원본 영상과 상기 워터마크 영상에 대해 알파블렌딩을 수행하여 알파블렌딩된 스테고(stego) 영상을 생성하는 단계; 및
    상기 알파블렌딩된 스테고 영상을 제공하는 단계를 포함하되,
    상기 워터마크 패턴이 적용되는 원본 영상의 제 1 픽셀에 워터마크 패턴을 삽입함에 따른 원본영상 픽셀값과 스테고영상 픽셀값 사이의 픽셀값 차이(d)를 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 산출하여 상기 워터마크 영상을 생성하되,
    상기 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나는, 상기 픽셀 값 차이(d)가 특정 값으로 정의될 때, 상기 원본 영상의 상기 제 1 픽셀에 적용가능한 모든 픽셀 값에 대한 워터마크 픽셀 값에 대해, 상기 픽셀 값 차이(d)의 상기 정의된 특정 값에 대응하여 상기 워터마크 패턴이 최소 픽셀 값부터 최대 픽셀값을 갖는 경우의 수를 분석함에 의해 도출된 통계적 수치를 기반으로 산출되는 워터마크 삽입 방법.
  2. 제 1 항에 있어서,
    상기 제 1 픽셀과 시공간적인 연관성을 갖는 연관 픽셀과의 관계에서, 상기 제 1 픽셀에 워터마크 패턴을 삽입함에 따른, 원본 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d1)와 스테고 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d2) 사이의 변화량(d1-d2)을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 고려하여 상기 워터마크 영상을 생성하는 워터마크 삽입 방법.
  3. 제 2 항에 있어서,
    상기 제 1 픽셀과 시공간적으로 연관된 제 1 연관 픽셀 및 제 2 연관 픽셀을 고려하는 때,
    (i) 상기 제 1 픽셀에 워터마크 패턴을 삽입함에 따른 상기 제 1 픽셀과 상기 제 1 연관 픽셀 사이의 픽셀값 차이의 제 1 변화량을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나; 및
    (ii) 상기 제 1 픽셀에 워터마크 패턴 삽입함에 따라 상기 제 1 픽셀과 상기 제 2 연관 픽셀 사이의 픽셀값 차이의 제 2 변화량을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 동시에 만족하는 워터마크 픽셀값 및 알파값을 기반으로 상기 워터마크 영상을 생성하는 워터마크 삽입 방법.
  4. 제 2 항에 있어서,
    상기 워터마크 패턴을 삽입함에 따른 픽셀 값의 차이(d) 또는 상기 변화량(d1-d2)은 상기 원본영상에서의 픽셀값의 변화에 따라 스테고영상에서의 픽셀값의 변화량이 다수 개 존재하는 경우, 그 중에서 가장 큰 차이값으로 선택되는 워터마크 삽입 방법.
  5. 제 2 항에 있어서,
    상기 워터마크 패턴을 삽입함에 따른 픽셀 값의 차이(d) 또는 상기 변화량(d1-d2)은 임의의 원본영상 픽셀 값에 적용가능한 모든 워터마크 패턴 값의 경우의 수를 고려하여 낸 픽셀 간 차이값을 기반으로 획득되는 워터마크 삽입 방법.
  6. 제 2 항에 있어서,
    상기 워터마크 패턴을 삽입함에 따른 픽셀 값의 차이(d) 또는 상기 변화량(d1-d2)을 기반으로 허용가능한 픽셀 값 범위 및 알파 값 범위는:
    상기 픽셀 값의 차이 값(d) 또는 상기 변화량(d1-d2)에 대응하여 원본영상의 픽셀값이 변화함에 따라 연관성을 가지고 변화되는 허용가능한 워터마크 픽셀 값의 범위 및 알파 값 범위 중 적어도 하나를 정의하는 알파블렌딩 맵(Alpha blending map)를 기반으로 산출되는 워터마크 삽입 방법.
  7. 제 6 항에 있어서,
    상기 알파블렌딩 맵은 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)에 따른 워터마크 픽셀 값의 범위 및 알파 값(α)의 범위를 나타내는 적어도 하나의 그래프 선을 포함하여 구현되는 워터마크 삽입 방법.
  8. 제 7 항에 있어서,
    상기 알파블렌딩 맵은 상기 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)을 특정 간격으로 정의하여 표현하는 적어도 하나의 상기 그래프 선을 포함하되,
    상기 특정 간격에 포함되지 않는 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)에 따른 워터마크 픽셀 값의 범위는 상기 적어도 하나의 그래프 선으로부터의 거리를 이용하여 산출되는 워터마크 삽입 방법.
  9. 제 6 항에 있어서,
    상기 알파블렌딩 맵은 수학식, 테이블 및 그래프 중 적어도 하나로 구현되는 워터마크 삽입 방법.
  10. 제 6 항에 있어서,
    상기 알파블렌딩 맵은 미리 저장되어 있는 워터마크 삽입 방법.
  11. 제 1 항에 있어서,
    상기 워터마크 패턴의 패턴 값은 적어도 하나의 숫자로 표현되는 값을 갖고, 각 값은 워터마크 패턴 내의 평균보다 높은 값 및 상기 평균보다 낮은 값으로 구분되는 워터마크 삽입 방법.
  12. 제 1 항에 있어서,
    상기 워터마크 패턴의 패턴 값은 가중치를 갖고, 상기 가중치에 따라 픽셀 값의 차이 값(d) 또는 변화량(d1-d2)이 변화되는 워터마크 삽입 방법.
  13. 제 1 항에 있어서,
    현재 입력 영상 내의 픽셀의 픽셀값과 관련없이 상기 워터마크 영상을 생성하여 알파블렌딩을 수행하는 워터마크 삽입 방법.
  14. 현재 입력 영상을 입력받는 영상 입력부;
    상기 현재 입력 영상에 삽입할 워터마크 패턴을 선택하는 워터마크 패턴 선택부;
    상기 선택된 워터마크 패턴을 기반으로 워터마크 영상을 생성하는 워터마크 영상 생성부;
    상기 현재 입력 영상과 상기 워터마크 영상에 대해 알파블렌딩을 수행하여 알파블렌딩된 스테고(stego) 영상을 생성하는 알파블렌딩 수행부; 및
    상기 알파블렌딩된 스테고 영상을 제공하는 영상 제공부를 포함하되,
    상기 워터마크 영상 생성부는 상기 워터마크 패턴이 적용되는 원본 영상의 제 1 픽셀에 워터마크 패턴을 삽입함에 따른 원본영상 픽셀값과 스테고영상 픽셀값 사이의 픽셀값 차이(d)를 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 산출하여 상기 워터마크 영상을 생성하되,
    상기 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나는, 상기 픽셀 값 차이(d)가 특정 값으로 정의될 때, 상기 원본 영상의 상기 제 1 픽셀에 적용가능한 모든 픽셀 값에 대한 워터마크 픽셀 값에 대해, 상기 픽셀 값 차이(d)의 상기 정의된 특정 값에 대응하여 상기 워터마크 패턴이 최소 픽셀 값부터 최대 픽셀값을 갖는 경우의 수를 분석함에 의해 도출된 통계적 수치를 기반으로 산출되는 워터마크 삽입 장치.
  15. 제 14 항에 있어서, 상기 워터마크 영상 생성부는
    상기 제 1 픽셀과 시공간적인 연관성을 갖는 연관 픽셀과의 관계에서, 상기 제 1 픽셀에 워터마크 패턴을 삽입함에 따른, 원본 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d1)와 스테고 영상에서의 상기 제 1 픽셀과 상기 연관 픽셀 사이의 픽셀값 차이(d2) 사이의 변화량(d1-d2)을 기반으로 허용가능한 상기 제 1 픽셀에 적용되는 워터마크의 픽셀값 범위 및 알파 값(α) 범위 중 적어도 하나를 고려하여 상기 워터마크 영상을 생성하는 워터마크 삽입 장치.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020170012401A 2017-01-26 2017-01-26 워터마크 삽입 방법 및 장치, 및 시스템 KR102384008B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170012401A KR102384008B1 (ko) 2017-01-26 2017-01-26 워터마크 삽입 방법 및 장치, 및 시스템
US15/434,065 US10477284B2 (en) 2017-01-26 2017-02-16 Watermark embedding method and apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012401A KR102384008B1 (ko) 2017-01-26 2017-01-26 워터마크 삽입 방법 및 장치, 및 시스템

Publications (2)

Publication Number Publication Date
KR20180087962A KR20180087962A (ko) 2018-08-03
KR102384008B1 true KR102384008B1 (ko) 2022-04-08

Family

ID=62906440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012401A KR102384008B1 (ko) 2017-01-26 2017-01-26 워터마크 삽입 방법 및 장치, 및 시스템

Country Status (2)

Country Link
US (1) US10477284B2 (ko)
KR (1) KR102384008B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413508A (zh) * 2018-10-26 2019-03-01 广州虎牙信息科技有限公司 图像混合的方法、装置、设备、推流方法及直播系统
KR102646952B1 (ko) * 2019-01-04 2024-03-14 주식회사 마크애니 비디오 콘텐츠에 대한 위변조를 방지하기 위한 부가데이터를 검출하여 디스플레이하는 장치, 방법 및 시스템, 상기 디스플레이 장치와 연동하는 재생장치, 상기 장치의 재생방법
US11269976B2 (en) * 2019-03-20 2022-03-08 Saudi Arabian Oil Company Apparatus and method for watermarking a call signal
CN113630606B (zh) * 2020-05-07 2024-04-19 百度在线网络技术（北京）有限公司 视频水印处理方法、装置、电子设备及存储介质
KR102592989B1 (ko) * 2020-05-28 2023-10-23 (주)리마보안연구소 동영상 복제 검출 및 추적 방법 및 장치
CN112419134A (zh) * 2020-11-18 2021-02-26 展讯半导体(成都)有限公司 一种图像处理方法及装置
KR102579261B1 (ko) * 2021-01-06 2023-09-15 스냅태그 주식회사 워터마크 데이터의 임베딩 및 추출 방법
CN113825013B (zh) * 2021-07-30 2023-11-14 腾讯科技（深圳）有限公司 图像显示方法和装置、存储介质及电子设备
CN115393152A (zh) * 2022-08-19 2022-11-25 淮阴工学院 基于块分类的三元素差值可逆图像水印算法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4104356B2 (ja) * 2002-03-18 2008-06-18 東芝ソリューション株式会社 放送システム、受信装置及びプログラム
JP2008224707A (ja) * 2007-03-08 2008-09-25 Yamaha Corp 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100339860B1 (ko) * 1999-12-22 2002-06-05 이원돈 오디오신호에 영상의 워터마크를 삽입 또는 추출하는 방법및 이를 위한 기록매체
KR100888589B1 (ko) * 2002-06-18 2009-03-16 삼성전자주식회사 반복적으로 삽입된 워터마크 추출방법 및 그 장치
JP5751071B2 (ja) * 2011-07-28 2015-07-22 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法、及びプログラム
JP6152787B2 (ja) * 2013-11-29 2017-06-28 富士通株式会社 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4104356B2 (ja) * 2002-03-18 2008-06-18 東芝ソリューション株式会社 放送システム、受信装置及びプログラム
JP2008224707A (ja) * 2007-03-08 2008-09-25 Yamaha Corp 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ji-Won Lee 외 4인."Video Watermarking on Overlay Layer".2011 IIH-MSP.2011.10.14.,(제85면 내지 제88면)*
Shalu Garg 외 1인."Chaotic Map Based Steganography of Gray Scale Images in Wavelet Domain".2014 International Conference on SPIN.2014.02.20.,(제689면 내지 제694면)*

Also Published As

Publication number Publication date
US20180211354A1 (en) 2018-07-26
KR20180087962A (ko) 2018-08-03
US10477284B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
KR102384008B1 (ko) 워터마크 삽입 방법 및 장치, 및 시스템
EP2832102B1 (en) Methods and systems for cryptographic access control of video
US7604172B2 (en) Image signal output device and a method of generating a coded image signal
US6005936A (en) System for embedding authentication information into an image and an image alteration detecting system
JP2002542523A (ja) デジタルデータにデジタル署名を挿入しデジタルデータ中のデジタル署名を認証するための方法及び装置
US20120148089A1 (en) Method and system for efficient watermarking of video content
JP2002142094A (ja) 電子透かし埋込装置、電子透かし検出装置、電子透かし埋込方法、電子透かし検出方法及び記録媒体
WO2001071960A1 (en) Transmarking, watermark embedding functions as rendering commands, and feature-based watermarking of multimedia signals
CN103873954A (zh) 将不见数字水印嵌入到流媒体的方法、装置和系统
KR20120070664A (ko) 불법 콘텐츠 유통 방지 및 불법 배포자 추적 시스템 및 그 방법
Huang et al. Techniques and applications of intelligent multimedia data hiding
CN103973937A (zh) 基于无线多媒体传感器网络的信息隐藏方法
CN110149521B (zh) 数据处理方法及系统
Sun et al. Reversible data hiding in dual encrypted halftone images using matrix embedding
CN113240569A (zh) 指纹图像加密方法、装置及系统
Thanh et al. A proposal of digital rights management based on incomplete cryptography using invariant Huffman code length feature
Manaseer et al. A New Image Steganography Depending On Reference & LSB
Yang Robust high-capacity watermarking scheme based on Euclidean norms and quick coefficient alignment
JP4107063B2 (ja) 暗号情報の送受信システム、送受信方法、暗号情報埋め込み用プログラム及び暗号情報記録装置
KR100545451B1 (ko) 이동 통신 단말기를 이용한 멀티미디어 데이터의 워터마킹방법
KR100541500B1 (ko) 이동 통신망에서의 워터마킹 시스템
Miao et al. Image descriptor based digital semi-blind watermarking for DIBR 3D images
Soni et al. Implementation of improved steganography for hiding text on digital data
KR100613981B1 (ko) 이동통신 시스템에서의 멀티미디어 데이터 워터마킹 방법
CN117880430A (zh) 动态加密与隐藏信息在图像中的实现方法及解密方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant