KR100957491B1 - 가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및추출하는 장치 및 방법 - Google Patents

가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및추출하는 장치 및 방법 Download PDF

Info

Publication number
KR100957491B1
KR100957491B1 KR1020080036377A KR20080036377A KR100957491B1 KR 100957491 B1 KR100957491 B1 KR 100957491B1 KR 1020080036377 A KR1020080036377 A KR 1020080036377A KR 20080036377 A KR20080036377 A KR 20080036377A KR 100957491 B1 KR100957491 B1 KR 100957491B1
Authority
KR
South Korea
Prior art keywords
information
logo
buyer
video content
owner
Prior art date
Application number
KR1020080036377A
Other languages
English (en)
Other versions
KR20090110730A (ko
Inventor
최종욱
이흥규
배익성
김상범
Original Assignee
주식회사 마크애니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마크애니 filed Critical 주식회사 마크애니
Priority to KR1020080036377A priority Critical patent/KR100957491B1/ko
Publication of KR20090110730A publication Critical patent/KR20090110730A/ko
Application granted granted Critical
Publication of KR100957491B1 publication Critical patent/KR100957491B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

비디오 콘텐츠에 대하여 로고 형태의 콘텐츠 소유자 정보를 가시적으로 삽입하고, 해당 로고에 비가시적으로 구매자 정보를 삽입하고 검출하는 장치 및 방법이 제공된다. 로고는 이미지 또는 텍스트 형태일 수 있으며, 그 위치와 양자화된 컬러 값에 따라 특정 비트 정보를 표현한다. 콘텐츠 구매자 정보는 2 진 비트열로 변환된 후, 이를 로고의 위치나 및/또는 양자화된 컬러 값을 이용하여 각각의 비트 정보가 연속적인 비디오 프레임에 순차적으로 삽입된다. 삽입된 구매자 정보는 패턴 매칭 기법에 의해 위치 정보 및/또는 양자화된 컬러 값 정보를 추정하며, 이를 매핑 테이블을 이용해 2 진 비트열로 만드는 과정으로 워터마크 정보를 검출한다. 검출된 구매자 정보를 통해 불법으로 콘텐츠를 유통한 자를 추적함으로써 저작권을 보호할 수 있다.
구매자 정보 은닉, 가시적 워터마킹, 로고 변경

Description

가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및 추출하는 장치 및 방법{APPARATUS AND METHOD FOR EMBEDDING AND EXTRACTING BUYER INFORMATION IN VISIBLE VIDEO WATERMARKING}
본 발명은 가시적 비디오 워터마킹 기술에 구매자 정보를 은닉하는 장치 및 방법에 관한 것이며, 더 상세하게는, 비디오 콘텐츠에 포함된 저작권자 또는 콘텐츠 제공자를 나타내는 로고에 대한 정보를 변경하여 콘텐츠 구매자 정보를 은닉할 수 있는 장치 및 방법에 관한 것이다.
최근 콘텐츠 제공자가 비디오 콘텐츠를 유무선 망을 통해 사용자 단말기로 배포하는 경우, 배포된 비디오 콘텐츠가 DVR 이나 캡쳐 장치에 의해 재압축 및 저장되어 불법 배포자에 의해 무단으로 유통됨으로써 콘텐츠 저작권이 침해되는 경우가 빈번히 발생하고 있다. 이에 따라 저작권 보호를 위해 콘텐츠 내에 저작권자의 정보를 삽입하여 두는 워터마킹이 각광받고 있다.
워터마킹은 워터마크의 가시성 (Visibility) 여부에 따라, 가시적 워터마킹 (Visible Watermarking) 과 비가시적 워터마킹 (Invisible Watermarking) 으로 구분될 수 있다. 가시적 워터마킹은 원본 이미지에서 가시적으로 확인되는 저작 권자의 정보를 삽입하는 방법이다. 비가시적 워터마킹은 인간 시각시스템 (Human Visual System; HVS) 의 감각한계를 이용하여 시각적으로는 감지할 수 없도록 워터마크를 삽입하는 기술이다. 비가시적 워터마킹은 워터마크를 삽입하는 방법에 따라 다시 공간영역 워터마킹과 주파수영역 워터마킹으로 구분될 수 있다.
비디오 콘텐츠의 저작권 보호를 위해 일반적으로 콘텐츠의 저작권자 또는 콘텐츠 제공자 (배포자) 의 정보를 나타내는 로고를 가시적 워터마킹 기법을 사용하여 콘텐츠에 부가하고 있다. 그러나, 이렇게 부가된 로고는 저작권자나 콘텐츠 제공자의 정보는 나타내고 있지만, 콘텐츠를 사용하는 자에 대한 정보는 포함하고 있지 않다. 따라서, 비디오 콘텐츠의 저작권과 관련된 분쟁이 발생하였을 경우 원래의 저작권자가 누구였는지를 추적할 수는 있으나, 누구에 의해 배포된 것인지는 추적하기 어렵다. 이에 따라, 비디오 콘텐츠 구매자의 정보를 그 콘텐츠에 은닉하기 위한 방법이 사용되고 있다. 이와 같이 구매자의 정보를 삽입하는 방법을 "디지털 핑거프린팅 (Digital Fingerprinting)" 이라고도 한다.
디지털 핑거프린팅은 기밀 정보를 디지털 콘텐츠에 삽입하는 측면에서는 일반적인 디지털 워터마킹과 동일하지만 저작권자나 콘텐츠 제공자의 정보가 아닌 콘텐츠 구매자의 정보를 삽입함으로써 콘텐츠 불법 배포자를 추적할 수 있도록 한다는 점에서 일반적인 디지털 워터마킹과 차별된다. 이는 구매자를 식별할 수 있는 고유번호 (예를 들어, 사용자 단말기의 ID) 를 콘텐츠에 삽입함으로써 이루어진다.
그러나, 구매자 정보 삽입을 위해 주로 비가시적 워터마킹 알고리즘이 사용 되고 있으나, 이는 고해상도, 고화질의 HD 콘텐츠에 비가시적 워터마킹 알고리즘을 적용하게 되면 원본 화질의 열화를 가져올 수 있으므로 기피되는 경향이 있다. 따라서, 가시적 워터마킹에 의해 구매자 정보를 콘텐츠에 은닉함으로써 저작권자의 이익과 권리를 보호하는 방법이 필요하다.
상술한 바와 같이 종래의 문제점을 해결하기 위해, 본 발명은 고해상도 및 고화질의 HD 콘텐츠에 가시적 워터마킹 기술을 이용하여 소유자 정보를 나타내는 로고를 삽입하고, 로고의 위치 및/또는 양자화 된 칼라 값을 변화시켜 구매자 정보를 삽입 및 추출하는 장치 및 방법을 제공하는 것을 목적으로 한다. 즉, 콘텐츠의 소유자 정보를 나타내는 이미지 로고나 텍스트 로고에 구매자 정보를 비가시적으로 삽입함으로써 불법 배포자를 추적 및 검출할 수 있으며, 트랜스코딩 (transcoding) 공격, 회전 및 스케일 공격에도 강인한 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 비디오 콘텐츠에 소유자 정보 로고를 삽입하는 동시에 구매자 정보를 삽입하는 장치로서,
비디오 콘텐츠를 디코딩하는 수단; 및
디코딩된 비디오 콘텐츠에 구매자 정보를 은닉하기 위하여 소유자 정보 로고의 위치 또는 컬러 값에 대한 정보를 변경하고, 변경된 소유자 정보 로고를 비디오 콘텐츠에 삽입하는, 변경 및 삽입 수단을 포함하며,
소유자 정보 로고는 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 한다.
또한, 본 발명에 따른 비디오 콘텐츠에 소유자 정보 로고를 삽입하는 동시에 삽입된 구매자 정보를 추출하는 장치로서,
비디오 콘텐츠에 대해 에지 검출 로직을 수행하는 수단; 및
소유자 정보 로고의 위치 또는 컬러 값에 대한 정보의 변경을 검출하기 위해, 소유자 정보 로고의 윤곽선 정보를 갖는 참조 로고의 패턴과 비디오 콘텐츠의 패턴이 매칭되는 위치를 획득하는 수단을 포함하며,
소유자 정보 로고는 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 한다.
또한, 본 발명에 따른 비디오 콘텐츠에 소유자 정보 로고를 삽입하는 동시에 구매자 정보를 삽입하는 방법으로서,
비디오 콘텐츠를 디코딩하는 단계; 및
디코딩된 비디오 콘텐츠에 구매자 정보를 은닉하기 위하여 소유자 정보 로고의 위치 또는 컬러 값에 대한 정보를 변경하고, 변경된 소유자 정보 로고를 비디오 콘텐츠에 삽입하는, 변경 및 삽입 단계를 포함하며,
소유자 정보 로고는 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 한다.
또한, 본 발명에 따른 비디오 콘텐츠에 소유자 정보 로고를 삽입하는 동시에 삽입된 구매자 정보를 추출하는 방법으로서,
비디오 콘텐츠에 대해 에지 검출 로직을 수행하는 단계; 및
소유자 정보 로고의 위치 또는 컬러 값에 대한 정보의 변경을 검출하기 위해, 소유자 정보 로고의 윤곽선 정보를 갖는 참조 로고의 패턴과 비디오 콘텐츠의 패턴이 매칭되는 위치를 획득하는 단계를 포함하며,
소유자 정보 로고는 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 한다.
본 발명에 따른 장치 및 방법에 의하면, 고해상도 및 고화질의 HD 콘텐츠의 소유자 정보를 나타내는 이미지 로고나 텍스트 로고에 구매자 정보를 비가시적으로 삽입할 수 있고, 삽입된 정보를 추출하는 것이 가능하다. 즉, 비디오 콘텐츠가 불법 배포자에 의해 무단으로 재배포되는 경우, 본원 발명에 따라 구매자 정보가 삽입되었다면 그 구매자 정보를 추출함으로써 불법 배포자 (구매자가 유통시킨 것으로 간주함) 를 추적 및 검출해낼 수 있다. 따라서, 본원 발명은 콘텐츠 저작권 보호와 디지털 추적 표시 (Forensic Marking) 기능을 동시에 수행할 수 있다.
또한, 본 발명에 따른 장치 및 방법은 트랜스코딩 (transcoding) 공격, 회전 및 스케일 공격에도 강인하다.
이하, 본 발명을 실시예에 의해 도면을 참조하여 보다 구체적으로 설명한다.
도 1 은 본 발명에 따른 비디오 콘텐츠에 포함된 저작권자 또는 콘텐츠 제공자에 대한 정보를 나타내는 로고 (이하, '소유자 정보 로고' 라 지칭함) 에 콘텐츠 구매자의 정보를 삽입하는 장치의 개략적인 구성을 도시한 블록도이다. 삽입 장치 (100) 는, 수신된 비디오 콘텐츠를 디코딩하는 디코딩 모듈 (120) 과 비디오 콘텐츠에 소유자 정보 로고를 삽입하기 전에 구매자 정보를 나타내기 위해 소유자 정보 로고의 위치 및/또는 컬러 값을 비인지적으로 변경하는 소유자 정보 로고 변경 및 삽입 모듈 (140) 을 포함한다.
비디오 콘텐츠는 그림 파일 등과 같은 다양한 가시적 콘텐츠를 포함한다. 또한, 많은 콘텐츠 소유자들은 가시적 워터마킹 기법을 통해 자신의 정보를 나타내는 로고를 콘텐츠 내에 삽입하고 있으며, 이러한 로고는 이미지 또는 텍스트로 이루어질 수 있다. 삽입 장치 (100) 는 비디오 콘텐츠의 저작권자나 이를 제공하는 사업자 등으로부터 비디오 콘텐츠를 제공받는 구매자 단말에서 주로 동작한다. 비디오 콘텐츠 소유자가 유무선 망을 통해 콘텐츠를 구매자 단말기로 배포할 경우, 초기에 한번 소유자 정보 로고를 전송한다. 다만, 셋탑박스 (Set-Top Box; STB) 와 같은 특정 단말기에 단독으로 전송되는 경우, 그 특정 단말기에 포함된 삽입 장치 (100) 는 사전에 소유자 정보 로고를 가지고 있을 수도 있다.
디코딩 모듈 (120) 은 먼저 수신된 비디오 콘텐츠를 디코딩하고, 디코딩된 비디오 콘텐츠를 소유자 정보 로고 변경 및 삽입 모듈 (140) 로 전달한다. 소유자 정보 로고 변경 및 삽입 모듈 (140) 은 가시적 워터마킹 기법을 사용하여 콘텐츠를 사용하는 구매자의 정보를 소유자 로고에 비인지적으로 삽입하여, 구매자 정보가 삽입된 비디오 콘텐츠를 출력한다.
소유자 정보 로고 변경 및 삽입 모듈 (140) 이 구매자 정보를 삽입하는 방법은 크게 소유자 정보 로고의 위치 정보를 변경하는 방법과 컬러 정보를 변경하는 방법으로 구분되며, 이하에서 각 방법을 구체적으로 설명한다.
1. 소유자 정보 로고의 위치 변경을 통한 구매자 정보 삽입
비디오 콘텐츠에 포함된 소유자 정보 로고의 위치를 변경함으로써 그 비디오 콘텐츠를 사용하는 구매자의 정보를 로고에 은닉하는 것이 가능하며, 이에 대해 도 2 및 도 3 을 참조하여 설명한다.
도 2 는 소유자 정보 로고의 위치 변화를 통해 구매자 정보를 표현하는 방법의 일 예를 도시한 것이다.
이 실시예에서 비디오 콘텐츠의 비디오 프레임의 좌측 상단에 소유자 정보 로고를 가시적 워터마킹 기법에 의해 삽입하여 배포되었다. 소유자 정보 로고의 위치는, 예를 들어 좌측 상단을 기준으로 360 도 방향으로 X, Y 축으로 이동될 수 있다. 여기서 X, Y 축으로 이동될 수 있는 가지수는 구매자 정보를 표현할 수 있는 가지수가 된다. 이는 후술하는 바와 같이 비트 인덱스 테이블 (매핑 테이블) 로 구성될 수 있다. 도 2 에서는 동일한 반지름 R 을 갖고 9 개의 방향으로 소유자 정보를 이동시키고 있으며, 그 이동 가지수는 9 가지 (I1 내지 I9) 가 된다. 따라서, 도 2 와 같은 경우에 인덱스 값은 0 내지 8 까지가 되며, 하나의 프레임 내에 3 비트의 구매자 정보를 표현할 수 있게 된다.
도 2 에서는 단지 9 가지의 가지수에 대해 도시하고 있으나, 이에 한정되는 것은 아니며, 위치 변화는 1 도 방향으로, 반지름 R 만큼 세분화해서 나눌 수 있으며, R 의 크기를 다시 여러 단계로 나눌 경우 총 가지수는 무한하게 늘어날 수 있다. 이에 따라, 구매자 정보를 표현할 수 있는 비트수도 무한하게 늘어날 수 있다.
도 3 은 소유자 정보 로고 내에 이미지 패턴이 복수 개 있거나 텍스트 로고로 구성되어 있을 경우 그들간의 위치 관계를 변화시킴으로써 구매자 정보를 표현하는 방법을 도시한다.
소유자 정보 로고가 여러개의 이미지 패턴으로 이루어진 경우에는 이미지 패턴간의 위치 관계에 변화를 주고, 이를 정보 표현 구조로 변환한다. 또한, 소유자 정보 로고가 텍스트로 이루어진 경우에는 텍스트의 문자들 간의 위치 관계에 변화를 주고, 이를 정보 표현 구조로 변환한다.
도 3 에서는 소유자 정보 로고가 "MA" 라는 텍스트로 이루어진 경우의 위치 관계 변화를 보여준다. "MA" 는 'M' 과 'A' 의 2 개의 문자로 이루어지며, 두 문자간의 거리 변화는 예를 들어 4 가지 경우로 나타낼 수 있다. 즉, 'A' 가 안쪽으로 이동한 경우 (II1), 'A' 가 바깥쪽으로 이동한 경우 (II2), 'A' 가 아래쪽으로 이동한 경우 (II3), 및 'A' 가 위쪽으로 이동한 경우 (II4) 의 4 가지 경우가 가능하다. 이를 정보 표현 구조로 사용하게 되면, 2 비트의 정보를 표현할 수 있게 된다. 또한, 위 예시에서는 2 비트의 정보만을 표현하고 있으나 본 발명은 이에 한정되지 않으며, 소유자 정보 로고를 구성하는 텍스트 내의 문자 수 또는 이미지 패턴 수에 따라 구매자 정보를 표현할 수 있는 비트 수는 무한히 늘어날 수도 있다. 위치 정보와 구매자 정보를 나타내는 비트 정보의 대응관계는 비트 인덱스 테이블로 구성할 수 있다.
2. 소유자 정보 로고의 컬러 변경을 통한 구매자 정보 삽입
소유자 정보 로고는 그레이 레벨 영상 또는 컬러 영상을 사용할 경우 컬러 값에 의해 디자인된다. 여기서 사용되는 컬러 값을 구매자 정보를 표현하는 구조로 사용한다.
먼저, 소유자 정보 로고 내에서 동일한 등간격 레벨로 양자화된 컬러 값을 이용하는 방법이 있다. 그레이 레벨 영상을 사용했을 경우에는 컬러 값의 범위는 0 내지 255 의 값을 갖는다. 이 컬러 값의 범위를 간격 Q 에 따라 일정한 구간으로 나눈다. 이에 따라 컬러 값은 총 Q 개 획득되며, 이를 Q 개의 구매자 정보 표현 비트 수로 사용할 수 있다. 예를 들어, 양자화 단계를 4 단계로 설정하게 되면, 총 65 개의 양자화된 컬러 값이 나오게 된다. 컬러 정보와 구매자 정보를 나타내는 비트 정보의 대응관계는 비트 인덱스 테이블로 구성할 수 있으며, 이 경우에는 인덱스 값은 0 내지 64 까지가 되고, 총 6 비트의 구매자 정보를 나타낼 수 있다. 이 경우에 65 는 6 비트를 넘어서는 값이기 때문에, 7 비트로 표현가능하며, 모든 7 비트를 표현하지 못하기 때문에 제외된다. 따라서, 하나의 프레임 내에 총 6 비트의 구매자 정보를 나타낸다.
또한, 서로 상이한 컬러 패턴을 이용하는 방법이 있다. 이 방법은, 비디오 콘텐츠에 포함된 로고가 복수 개의 상이한 패턴을 갖는 경우에 이용된다. 로고의 이미지나 텍스트에 대하여, 서로 상이한 패턴의 컬러 값을 갖지만 크기와 스타일은 동일한 복수 개의 패턴을 생성할 수도 있다. 이 때, 생성된 패턴의 가지 수가 구매자 정보를 표현할 수 있는 비트수가 된다. 예를 들어, 16 가지 의 서로 상이한 패턴이 있을 경우, 총 4 비트 (24=16) 의 구매자 정보를 한 프레임 내의 로고에 나타낼 수 있다. 또한, 상이한 패턴의 개수에 따라, 소유자 정보 로고에 삽입가능한 구매자 정보 또한 무한히 늘어날 수 있다. 서로 상이한 컬러 패턴과 구매자 정보를 나타내는 비트 정보의 대응관계도 비트 인덱스 테이블로 구성할 수 있다.
3. 상기 1 및 2 의 방법을 조합한 구매자 정보 삽입
소유자 정보 로고의 위치 정보를 변경하는 방법과 컬러 정보를 변경하는 방법을 조합함으로써 구매자 정보를 삽입할 수 있다. 즉, 1 및 2 에서 상술한 총 4 가지 방법 중 2 가지 이상의 방법을 조합하는 것이 가능하다. 예를 들어, 소유자 정보 로고가 텍스트로 구성될 경우, 텍스트 문자간의 위치 관계의 변화를 9 가지의 경우로 구분하고, 로고 전체의 위치 변화를 4 가지의 경우로 구분하고, 또한 로고의 양자화된 컬러 값의 단계를 10 단계로 둔 경우에는, 삽입가능한 구매자 정보는 총 9*4*10=360 가지가 될 수 있다. 즉, 한 프레임 내에 8 비트의 정보를 표현하는 것이 가능하다.
또한, 다른 예를 들면 소유자 정보 로고가 텍스트인 경우, 텍스트 문자간의 위치 관계 변화의 가지수가 4 가지이고 로고 전체 위치 변화의 가지수가 9 가지인 경우에는, 표현가능한 구매자 정보의 비트수는 총 5 비트가 된다. 이하, 표 1 에서는 이 예에서의 위치 정보의 변화와 구매자 정보간의 대응관계에 관한 비트 인 덱스 테이블을 나타낸다.
텍스트 문자간의 위치 관계 로고 전체의 위치 구매자 정보
II1 I1 00000
II1 I2 00001
II1 I3 00001
... ... ...
II2 I1 01010
II2 I2 01011
... ... ...
II4 I9 11111
<텍스트 문자간의 위치 관계 변화와 로고 전체의 위치 관계 변화를 조합하여 구매자 정보를 표현한 비트 인덱스 테이블 구조>
다음으로, 도 4 를 참조하여 본 발명에 따른 비디오 콘텐츠에 삽입된 구매자의 정보를 추출하는 장치를 설명한다.
도 4 는, 도 1 에 도시된 바와 같은 본 발명에 따른 삽입 장치 (100) 에 의해 삽입된 구매자 정보를 추출하는 장치를 도시한다. 검출 장치 (200) 는 비디오 프레임의 에지를 검출하는 에지 검출 모듈 (220), 비디오 콘텐츠와 참조 로고간의 매칭 위치를 획득하기 위한 패턴 매칭 모듈 (240), 매칭 위치 내의 컬러 값을 계산하는 컬러 값 검출 모듈 (260) 을 포함한다.
검출 장치 (200) 는 배포된 비디오 콘텐츠의 구매자를 알아낼 수 있도록, 그 비디오 콘텐츠의 비디오 프레임을 입력받는다. 입력된 비디오 프레임이 에지 검출 모듈 (220) 에 입력되고, 에지가 검출된 비디오 프레임이 추출된다.
에지가 검출된 비디오 프레임은 패턴 매칭 모듈 (240) 로 입력된다. 패턴 매칭 모듈은 (240) 은 매칭 작업을 위해 비디오 프레임에 포함된 소유자 정보 로고의 패턴에 대한 윤곽선 정보를 갖는 참조 로고를 더 입력받는다.
패턴 매칭 모듈 (240) 은 비디오 프레임과 참조 로고를 이용하여 정합 과정을 거쳐 서로 매칭되는 위치를 판별해낸다. 패턴 매칭은 상호 상관 (Cross Correlation), 평균 절대차 (Mean Absolute of Difference; MAD) 또는 평균 제곱 오차 (Mean Square Error; MSE) 의 알고리즘과 같은 공지된 다양한 알고리즘을 사용하여 이루어질 수 있다.
패턴 매칭 모듈 (240) 은 다음 수학식 1 과 같이 패턴 매칭의 결과 값이 가장 큰 X, Y 의 좌표 값 WMext 을 계산해낸다.
Figure 112008027922701-pat00001
여기서, Frmi 는 에지 검출후의 비디오 프레임 인덱스를 나타내며, Ref 는 소유자 정보 로고의 윤곽선 정보를 구한 참조 로고이다. 검색 속도의 정확성을 높이고, 매칭 결과의 성능을 높이기 위해 가시적 로고 영역부분이 인위적으로 선택지정되어 사용될 수도 있다. 그러면 프레임 내에서 선택 지정된 영역이 Frmi 가 된다. MH() 함수는 패턴 매칭 함수를 말한다. 수학식 1 이 미리 정해진 스레시홀드 (Th) 보다 작을 경우에는 회전 또는 스케일 공격을 받은 것으로 판단하 고, 따라서 단계별로 회전 및 스케일링을 통해 전역 검색 (Exhaustive Search) 을 수행한다. 수학식 1 의 작업은 비트 정보열의 마지막이라는 특정 비트 (special bit) 가 검색될 때까지 반복적으로 프레임 내에서 비트 정보를 검출하고, 추출된 비트 정보를 축척 (accumulation) 하여 전체 구매자 정보로 구성한다.
소유자 정보 로고 내의 이미지 패턴이 여러 개이거나 텍스트로 구성된 경우, 각 이미지 패턴과 각 텍스트 문자에 대해 위치 정보 및/또는 패턴 인덱스를 검색한다. 소유자 정보 로고의 위치 변화를 이용한 경우 또는 상이한 컬러 패턴을 이용한 경우에는, 패턴 매칭 모듈 (240) 로부터의 좌표 값 또는 인덱스 값을 통해 구매자 정보를 알 수 있다.
동일한 등간격 레벨로 양자화된 컬러 값을 이용하여 구매자 정보를 삽입한 경우에는 다음과 같은 과정이 더 수반된다. 패턴 매칭 모듈 (240) 에서 좌표 값이 계산되면, 컬러 값 계산 모듈 (260) 은 그 계산 값을 입력받아 그 좌표 위치 내에 위치하는 소유자 정보 로고 부분의 컬러 값을 구한다. 아래의 수학식 2 에 의해 컬러 값표 값 R(x,y) 을 계산한다.
Figure 112008027922701-pat00002
여기서 xloc 및 yloc 는 수학식 1 로부터 계산된 위치를 나타낸다.
위 수학식 2 에서 구해진 x, y 위치, 로고 마스크와 비디오 프레임을 사용하 여, 그 x, y 위치를 기준으로 구매자 로고의 평균 컬러 값을 아래의 수학식 3 을 이용하여 계산한다. 여기서, 0 (배경) 과 1 (전경) 로 구성된 로고 마스크 패턴 (TLMask) 을 이용하여 로고 영역 내의 칼라 값만을 구한다.
Figure 112008027922701-pat00003
여기서, 수학식 3 에 의해 계산된 평균 컬러 값을 통해 양자화된 컬러 레벨을 구하고 이를 비트정보로 변환하여 구매자 정보를 추출해낼 수 있다. 여기서, M 은 로고의 수평 방향의 픽셀 수이며, N 은 로고의 수직 방향의 픽셀 수이다. 또한, 소유자 정보 로고는 워터마크 삽입시, 덮어쓰기 (overwriting) 가 되어 있다.
도 5 는 본 발명에 따른 일 실시형태에서 구매자 단말에 수신된 비디오 콘텐츠에 구매자 정보를 삽입하는 프로세스를 나타내는 플로우차트를 도시한 것이다.
먼저, 소유자 정보 로고 및 비디오 콘텐츠가 구매자 단말로 수신되면 (S500), 구매자 단말은 수신된 비디오 콘텐츠를 디코딩한다 (S502). 디코딩된 비디오 콘텐츠에 대해, 예를 들어 구매자 단말의 ID 와 같이 구매자를 나타낼 수 있는 정보를 삽입하기 위해, 구매자 정보에 따라 소유자 정보 로고의 위치 또는 컬러 값을 소정의 방식으로 변경하여 비디오 콘텐츠에 삽입한다 (S504). 로고의 변경에 대해서는 상술한 바 있으므로 여기서는 자세한 설명은 생략한다. 로고의 위치 정보, 로고 내의 이미지 패턴이나 문자간의 위치 관계, 컬러 값, 상이한 패턴의 컬러 값을 갖는 복수의 로고에 대한 컬러 값 등에 대해 하나 이상 변화를 가하여 로고를 변경할 수 있다. 즉, 위 4 가지 중 하나를 변경할 수도 있으나, 임의의 2 내지 4 가지를 조합하여 표현할 수 있는 비트 수를 늘일 수 있다. 소유자 정보 로고가 변경 및 삽입되면, 구매자 정보가 삽입된 비디오 콘텐츠를 획득하게 된다 (S506). 이러한 비디오 콘텐츠는 이후 구매자에 의해 재배포될 수 있으며, 이 때 도 6 에서 도시하는 바와 같은 프로세스에 따라 구매자를 추적할 수 있다.
도 6 은 본 발명에 따른 일 실시형태에서 비디오 콘텐츠에 삽입된 구매자 정보를 검출하는 프로세스를 나타내는 플로우차트를 도시한다.
구매자 정보가 삽입된 비디오 콘텐츠에 대해 에지 검출 로직을 적용한다 (S600). 에지가 검출된 콘텐츠에 대해 다시 패턴 매칭 알고리즘을 적용한다 (S602). 위치 정보를 변경하였거나, 서로 상이한 컬러 패턴을 이용하여 구매자 정보를 삽입한 경우라면, 이 단계 (S602) 에서 알 수 있는 매칭 정보만으로도 구매자 정보를 확인할 수 있다. 다만, 동일한 등간격으로 양자화된 컬러 값을 변경시켜 구매자 정보를 삽입한 경우라면, 단계 S602 에서 알 수 있는 매칭 위치와 로고 마스크를 사용하여 컬러 값을 구함으로써 (S604) 구매자 정보를 알 수 있다. 구매자 정보는 비트 인덱스 테이블을 참조하여 알아낼 수도 있다.
도 7 은 본 발명의 시스템을 사용하는 서비스 구조의 일 예를 도시하는 도면이다.
비디오 콘텐츠 제공자가 구매자 단말기 (예를 들어, IPTV, PC 등) 으로 비디 오 콘텐츠를 전송한다. 저작권자 정보를 나타내는 로고는 초기에 한 번만 전송한다. 다만, 셋탑 박스와 같은 특정 단말기로 단독으로 콘텐츠가 전송되는 경우라면, 사전에 단말기에 저장되어 있을 수도 있다. 단말기에서는 소유자 정보 로고를 변경하는 가시적 워터마킹을 통해 비디오 콘텐츠에 단말기 구매자의 정보를 삽입한다. 단말기 구매자는 이러한 비디오 콘텐츠를 압축, 저장하거나 재배포할 수도 있다. 어떤 구매자는 저작권자의 동의 없이 무단으로 비디오 콘텐츠를 배포할 수도 있으며, 저작권자는 무단 배포자를 추적하기 위해 워터마크 검출기를 사용한다. 배포된 비디오 콘텐츠를 검출기에 입력하면 콘텐츠에 포함된 로고의 변경으로부터 구매자 정보를 알 수 있다. 따라서, 저작권자는 이러한 구매자 정보라는 유리한 증거를 획득할 수 있다.
여기에서 개시된 실시형태와 관련하여 설명된 다양한 예시적인 논리 블록들 및 알고리즘 단계들을 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 결합으로 구현할 수도 있다.
또한, 본 발명은 위 실시예를 참조로 하여 특별히 도시되고 기술되었지만, 이는 단지 예시를 위하여 사용된 것이며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 첨부된 청구범위에서 정의된 것과 같이 본 발명의 기술적 사상 및 범위를 벗어나지 않고 다양한 변형을 할 수 있음이 이해되어야 할 것이다.
도 1 은 본 발명의 일 실시형태에 따른 비디오 콘텐츠에 구매자 정보를 소유자 정보 로고의 삽입과 동시에 삽입하는 장치를 도시하는 블록도이다.
도 2 는 본 발명의 일 실시형태에 따라 소유자 정보 로고의 위치를 변화시킴으로써 구매자 정보를 삽입하는 일 실시형태를 도시한다.
도 3 은 본 발명의 일 실시형태에 따라 텍스트 로고의 문자간의 위치 관계를 변화시킴으로써 구매자 정보를 삽입하는 일 실시형태를 도시한다.
도 4 는 본 발명의 일 실시형태에 따른 비디오 콘텐츠에 소유자 정보 로고 삽입과 동시에 삽입된 구매자 정보를 검출하는 장치를 도시하는 블록도이다.
도 5 는 본 발명의 일 실시형태에 따른 비디오 콘텐츠에 구매자 정보를 삽입하는 프로세스를 도시하는 플로우차트이다.
도 6 은 본 발명의 일 실시형태에 따른 비디오 콘텐츠에 삽입된 구매자 정보를 추출하는 프로세스를 도시하는 플로우차트이다.
도 7 은 본 발명의 일 실시형태에 따른 시스템을 사용하는 서비스 구조의 한 예를 나타내는 도면이다.
※도면의 주요 부분에 대한 부호의 설명
100: 구매자 정보 삽입 장치 200: 구매자 정보 추출 장치
120: 디코딩 모듈 220: 에지 검출 모듈
140: 소유자 정보 로고 변경 및 삽입 모듈 240: 패턴 매칭 모듈
260: 컬러 값 계산 모듈

Claims (11)

  1. 구매자 정보를 소유자 정보 로고에 은닉하여 소유자 정보 로고 이미지를 비디오 콘텐츠에 삽입하는 장치로서,
    상기 비디오 콘텐츠를 디코딩하는 수단; 및
    상기 구매자 정보를 상기 소유자 정보 로고에 은닉하기 위하여 상기 소유자 정보 로고의 위치 또는 이미지 패턴을 변경하고, 상기 위치 또는 이미지 패턴이 변경된 소유자 정보 로고의 이미지를 상기 디코딩된 비디오 콘텐츠에 삽입하는, 변경 및 삽입 수단을 포함하며,
    상기 소유자 정보 로고 이미지는 상기 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 하는 구매자 정보 삽입 장치.
  2. 제 1 항에 있어서,
    상기 변경 및 삽입 수단은,
    상기 비디오 콘텐츠에서의 상기 소유자 정보 로고의 위치 또는 상기 소유자 정보 로고에 포함된 텍스트의 문자 간의 위치를 변화시켜 상기 구매자 정보를 표현하는 제 1 로고 정보 변경 방식,
    상기 소유자 정보 로고에 적용할 수 있는 복수의 상이한 컬러 패턴을 이용하여 상기 구매자 정보를 표현하는 제 2 로고 정보 변경 방식, 및
    상기 소유자 정보 로고에 대하여 동일한 등간격 레벨로 양자화된 컬러 값을 이용하여 상기 구매자 정보를 표현하는 제 3 로고 정보 변경 방식 중 하나 이상의 방식을 통해 상기 위치 또는 컬러 값에 대한 정보를 변경하는 것을 특징으로 하는 구매자 정보 삽입 장치.
  3. 제 1 항 또는 제 2 항에 기재된 장치를 포함하는 것을 특징으로 하는 구매자 단말 장치.
  4. 비디오 콘텐츠에 소유자 정보 로고를 삽입하는 동시에 삽입된 구매자 정보를 추출하는 장치로서,
    상기 비디오 콘텐츠에 대해 에지 검출 로직을 수행하는 수단; 및
    상기 소유자 정보 로고의 위치 또는 컬러 값에 대한 정보의 변경을 검출하기 위해, 상기 소유자 정보 로고의 윤곽선 정보를 갖는 참조 로고의 패턴과 상기 비디오 콘텐츠의 패턴이 매칭되는 위치를 획득하는 수단을 포함하며,
    상기 소유자 정보 로고는 상기 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 하는 구매자 정보 추출 장치.
  5. 제 4 항에 있어서,
    상기 구매자 정보의 추출은,
    상기 획득된 매칭 위치를 이용하여, 상기 비디오 콘텐츠에서의 상기 소유자 정보 로고의 위치 또는 상기 소유자 정보 로고에 포함된 텍스트의 문자 간의 위치를 획득함으로써 상기 구매자 정보를 추출하는 제 1 변경된 로고 정보 추출 방식,
    상기 획득된 매칭 위치를 이용하여, 상기 소유자 정보 로고에 적용된 컬러 패턴을 획득함으로써 상기 구매자 정보를 추출하는 제 2 변경된 로고 정보 추출 방식, 및
    상기 획득된 매칭 위치를 이용하여, 상기 소유자 정보 로고에 대하여 동일한 등간격 레벨로 양자화된 컬러 값을 획득함으로써 상기 구매자 정보를 추출하는 제 3 변경된 로고 정보 추출 방식 중 하나 이상의 방식을 통해 상기 구매자 정보를 추출하는 것을 특징으로 하는 구매자 정보 추출 장치.
  6. 제 4 항에 있어서,
    상기 매칭되는 위치를 획득하는 수단은, 상호 상관 (Cross Correlation), 평균 절대차 (Mean Absolute of Difference; MAD) 또는 평균 제곱 오차 (Mean Square Error; MSE) 의 알고리즘을 사용하는 것을 특징으로 하는 구매자 정보 추출 장치.
  7. 구매자 정보를 소유자 정보 로고에 은닉하여 소유자 정보 로고 이미지를 비디오 콘텐츠에 삽입하는 방법으로서,
    상기 비디오 콘텐츠를 디코딩하는 단계; 및
    상기 구매자 정보를 상기 소유자 정보 로고에 은닉하기 위하여 상기 소유자 정보 로고의 위치 또는 이미지 패턴을 변경하고, 상기 위치 또는 이미지 패턴이 변경된 소유자 정보 로고의 이미지를 상기 디코딩된 비디오 콘텐츠에 삽입하는, 변경 및 삽입 단계를 포함하며,
    상기 소유자 정보 로고 이미지는 상기 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 하는 구매자 정보 삽입 방법.
  8. 제 7 항에 있어서,
    상기 변경 및 삽입 단계는,
    상기 비디오 콘텐츠에서의 상기 소유자 정보 로고의 위치 또는 상기 소유자 정보 로고에 포함된 텍스트의 문자 간의 위치를 변화시켜 상기 구매자 정보를 표현하는 제 1 로고 정보 변경 방식,
    상기 소유자 정보 로고에 적용할 수 있는 복수의 상이한 컬러 패턴을 이용하여 상기 구매자 정보를 표현하는 제 2 로고 정보 변경 방식, 및
    상기 소유자 정보 로고에 대하여 동일한 등간격 레벨로 양자화된 컬러 값을 이용하여 상기 구매자 정보를 표현하는 제 3 로고 정보 변경 방식 중 하나 이상의 방식을 통해 상기 위치 또는 컬러 값에 대한 정보를 변경하는 것을 특징으로 하는 것을 특징으로 하는 구매자 정보 삽입 방법.
  9. 비디오 콘텐츠에 소유자 정보 로고를 삽입하는 동시에 삽입된 구매자 정보를 추출하는 방법으로서,
    상기 비디오 콘텐츠에 대해 에지 검출 로직을 수행하는 단계; 및
    상기 소유자 정보 로고의 위치 또는 컬러 값에 대한 정보의 변경을 검출하기 위해, 상기 소유자 정보 로고의 윤곽선 정보를 갖는 참조 로고의 패턴과 상기 비디오 콘텐츠의 패턴이 매칭되는 위치를 획득하는 단계를 포함하며,
    상기 소유자 정보 로고는 상기 비디오 콘텐츠의 저작권자 또는 제공자에 대한 정보를 나타내는 로고인 것을 특징으로 하는 구매자 정보 추출 방법.
  10. 제 9 항에 있어서,
    상기 구매자 정보의 추출은,
    상기 획득된 매칭 위치를 이용하여, 상기 비디오 콘텐츠에서의 상기 소유자 정보 로고의 위치 또는 상기 소유자 정보 로고에 포함된 텍스트의 문자 간의 위치를 획득함으로써 상기 구매자 정보를 추출하는 제 1 변경된 로고 정보 추출 방식,
    상기 획득된 매칭 위치를 이용하여, 상기 소유자 정보 로고에 적용된 컬러 패턴을 획득함으로써 상기 구매자 정보를 추출하는 제 2 변경된 로고 정보 추출 방식, 및
    상기 획득된 매칭 위치를 이용하여, 상기 소유자 정보 로고에 대하여 동일한 등간격 레벨로 양자화된 컬러 값을 획득함으로써 상기 구매자 정보를 추출하는 제 3 변경된 로고 정보 추출 방식 중 하나 이상의 방식을 통해 상기 구매자 정보를 추출하는 것을 특징으로 하는 구매자 정보 추출 방법.
  11. 제 9 항에 있어서,
    상기 매칭되는 위치를 획득하는 단계는, 상호 상관, 평균 절대차 또는 평균 제곱 오차의 알고리즘을 사용하는 것을 특징으로 하는 구매자 정보 추출 방법.
KR1020080036377A 2008-04-18 2008-04-18 가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및추출하는 장치 및 방법 KR100957491B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080036377A KR100957491B1 (ko) 2008-04-18 2008-04-18 가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및추출하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080036377A KR100957491B1 (ko) 2008-04-18 2008-04-18 가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및추출하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090110730A KR20090110730A (ko) 2009-10-22
KR100957491B1 true KR100957491B1 (ko) 2010-05-14

Family

ID=41538544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080036377A KR100957491B1 (ko) 2008-04-18 2008-04-18 가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및추출하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100957491B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087808A (ko) * 2000-06-10 2001-09-26 최종욱 워터마킹 기술을 기반으로 한 저작물 제공 및 인증 서비스시스템 및 방법
KR20020084588A (ko) * 2001-05-03 2002-11-09 주식회사 마크애니 디지털 워터마크의 삽입/추출방법과 이를 이용한 워터마크삽입/추출 장치
KR20040036114A (ko) * 2002-10-23 2004-04-30 한국전자통신연구원 핑거프린팅 기법을 이용한 불법 유통 방지 장치 및 방법
KR20060017420A (ko) * 2004-08-20 2006-02-23 주식회사 케이티 워터마킹 삽입/추출 장치 및 그 방법과 그를 이용한디지털 저작권 관리 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010087808A (ko) * 2000-06-10 2001-09-26 최종욱 워터마킹 기술을 기반으로 한 저작물 제공 및 인증 서비스시스템 및 방법
KR20020084588A (ko) * 2001-05-03 2002-11-09 주식회사 마크애니 디지털 워터마크의 삽입/추출방법과 이를 이용한 워터마크삽입/추출 장치
KR20040036114A (ko) * 2002-10-23 2004-04-30 한국전자통신연구원 핑거프린팅 기법을 이용한 불법 유통 방지 장치 및 방법
KR20060017420A (ko) * 2004-08-20 2006-02-23 주식회사 케이티 워터마킹 삽입/추출 장치 및 그 방법과 그를 이용한디지털 저작권 관리 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20090110730A (ko) 2009-10-22

Similar Documents

Publication Publication Date Title
EP0901102B1 (en) Watermark embedding method and system
AU758814B2 (en) A method for inserting and detecting electronic watermark data into a digital image and a device for the same
KR101361591B1 (ko) 미디어 식별을 위한 숨겨진 견고한 마크
US6512837B1 (en) Watermarks carrying content dependent signal metrics for detecting and characterizing signal alteration
US8135168B2 (en) System for embedding data
Yang et al. A steganographic method for digital images by multi-pixel differencing
US20150131847A1 (en) System for embedding data
Sun A new information hiding method based on improved BPCS steganography
US20030172275A1 (en) Real-time blind watermarking method using quantization
Gupta et al. An efficient video watermarking based security model
US20040230802A1 (en) Image watermarking method using human visual system
Sharifara et al. A novel approach to enhance robustness in digital image watermarking using multiple bit-planes of intermediate significant bits
WO2003003746A1 (en) Method and apparatus for video/image communication with watermarking
JP4696777B2 (ja) デジタルデータにウォータマークを付す方法及び装置
Saha et al. Security on fragile and semi-fragile watermarks authentication
KR101200345B1 (ko) 점진적 차이값 히스토그램 기반의 가역 워터마킹을 이용한 블록단위 영상 인증방법
Gopalakrishnan et al. Semi fragile watermarking using Gaussian mixture model for malicious image attacks
KR100957491B1 (ko) 가시적 비디오 워터마킹 기술에 구매자 정보를 삽입 및추출하는 장치 및 방법
Lu et al. Lossless nibbled data embedding scheme based on difference expansion
US10820064B2 (en) Marking video media content
KR100768669B1 (ko) 움직임 벡터의 최소변경 기법을 이용한 블라인드 비디오워터마킹의 방법
KR100397752B1 (ko) 블록 기반 웨이블릿 변환을 이용한 워터마킹 방법
KR101654564B1 (ko) 히스테리시스기법 및 최소반전양자화기법을 이용한 인쇄문서의 워터마크삽입방법 및 워터마크검출방법
Wu et al. Steganography in 3D geometries and images by adjacent bin mapping
Kiani et al. Image authentication using fractal watermarking and chaos theory

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130506

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150604

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160503

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 10