KR101496854B1

KR101496854B1 - 디지털 핑거프린팅 방법

Info

Publication number: KR101496854B1
Application number: KR1020130022938A
Authority: KR
Inventors: 황선철; 이동훈; 김휴정
Original assignee: 황선철
Priority date: 2013-03-04
Filing date: 2013-03-04
Publication date: 2015-03-02
Also published as: KR20140110155A

Abstract

본 발명에서는 핑거프린트 코드를 생성하여 소정의 영상 프레임에 삽입하고, 핑거프린트가 삽입된 소정의 영상 프레임에서 핑거프린팅을 추출하는 디지털 핑거프린팅 방법들이 개시된다. 본 발명에 의한 핑거프린트 코드를 생성하여 소정의 영상 프레임에 삽입하는 디지털 핑거프린팅 방법은 부여된 사용자 ID를 암호화하여 CID를 산출하는 단계와, 상기 CID를 연산처리하여 핑거프린트 패턴의 폭 및 높이를 결정하고 저장하는 단계와, 상기 CID를 연산처리하여 핑거프린트의 삽입시점을 결정하고 저장하는 단계와, 상기 결정된 핑거프린트 패턴의 폭 및 높이가 각각 복수의 단위비트 격자블록으로 세분되어 구성된 비트맵을 형성하고 상기 CID의 각 비트를 상기 비트맵의 각 단위비트 격자블록에 순차적으로 할당함으로써 핑거프린트 패턴을 형성하는 단계와, 삽입할 영상의 폭 및 높이와 상기 결정된 핑거프린트 패턴의 폭 및 높이 간의 각 차이값으로 상기 CID를 연산처리하여 핑거프린트의 삽입위치의 좌표를 결정하고 저장하는 단계와, 상기 결정된 핑거프린트 패턴의 폭 및 높이, 삽입시점, 패턴 및 삽입위치에 따라 핑거프린트 패턴을 각 영상 프레임에 삽입하는 단계를 포함한다.

Description

디지털 핑거프린팅 방법 {DIGITAL FINGERPRINTING METHOD}

본 발명은 디지털 콘텐츠의 저작권 보호를 위한 디지털 핑거프린팅 방법에 관한 것으로서, 특히 디지털 핑거프린팅의 삽입 및 검출 방법에 관한 것이다.

디지털 핑거프린팅(digital fingerprinting)은 워터마킹 스킴(watermarking scheme)을 사용하여 비디오, 이미지 등의 디지털 콘텐츠에 핑거프린트들을 삽입함으로써 추후 발생할 수 있는 불법 유통이나 사용을 방지하는 기술이다. 이러한 워터마킹 스킴은 암호화키를 사용해서만 복구될 수 있는 방식으로 디지털 콘텐츠에 핑거프린트를 지각할 수 없게 원본 콘텐츠에 일종의 잡음 형식으로서 임베딩된다.

일반적으로 이러한 핑거프린팅 기술은 사용자 정보의 생성, 삽입 및 추출로 이루어지고, 사용자 정보를 구매자의 암호화키를 이용하여 삽입하며 추후 불법복제물이 발견되었을 때 콘텐츠 내에 임베딩되어있는 핑거프린트를 검출해내어 불법 배포자나 사용자를 적발할 수 있다.

그러나, 그 기술수준은 아직 초기단계로서 컨텐츠에 삽입되는 정보의 안전한 전달이 문제로 되고 있을 뿐만 아니라, 각 복제물의 디지털 워터마킹이 효율적으로 이루어지지 않아 상당량의 계산과 시간이 소요된다는 단점이 있었다.

이에 따라, 본 발명은 핑거프린트의 삽입 및 검출에 있어서 보안이 강화되고 연산속도를 향상시킬 수 있는 효율적인 디지털 핑거프린팅 방법을 제공하기 위한 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 일 관점에 의한 디지털 핑거프린팅 방법은 핑거프린트 코드를 생성하여 소정의 영상 프레임에 삽입하는 디지털 핑거프린팅 방법으로서 다음의 단계들을 포함할 수 있다:

i) 부여된 사용자 ID를 암호화하여 CID를 산출하는 단계와;

ii) 상기 CID를 연산처리하여 핑거프린트 패턴의 폭 및 높이를 결정하고 저장하는 단계와;

iii) 상기 CID를 연산처리하여 핑거프린트의 삽입시점을 결정하고 저장하는 단계와;

iv) 상기 결정된 핑거프린트 패턴의 폭 및 높이가 각각 복수의 단위비트 격자블록으로 세분되어 구성된 비트맵을 형성하고 상기 CID의 각 비트를 상기 비트맵의 각 단위비트 격자블록에 순차적으로 할당함으로써 핑거프린트 패턴을 형성하는 단계와;

v) 삽입할 영상의 폭 및 높이와 상기 결정된 핑거프린트 패턴의 폭 및 높이 간의 각 차이값으로 상기 CID를 연산처리하여 핑거프린트의 삽입위치의 좌표를 결정하고 저장하는 단계와;

vi) 상기 결정된 핑거프린트 패턴의 폭 및 높이, 삽입시점, 패턴 및 삽입위치에 따라 핑거프린트 패턴을 각 영상 프레임에 삽입하는 단계.

이때, 상기 ii) 단계는 상기 핑거프린트 패턴의 폭 및 높이에서 각각의 최대값 및 최소값 간의 차이값으로 되는 폭 차분크기 및 높이 차분크기를 산출하는 단계와, 상기 CID를 상기 폭 차분크기로 모듈로 연산하여 폭 모듈로 연산값을 산출하고, 상기 CID를 로테이트하고 상기 높이 차분크기로 모듈로 연산하여 높이 모듈로 연산값을 산출하는 단계와, 상기 폭 모듈로 연산값을 상기 폭의 최소값에 더하여 핑거프린트 패턴의 폭을 결정하고, 상기 높이 모듈로 연산값을 상기 높이의 최소값에 더하여 핑거프린트 패턴의 높이를 결정하는 단계를 포함할 수 있다.

그리고, 상기 iii) 단계는 상기 CID를 로테이트하여 모듈로 연산함으로써 핑거프린트가 삽입될 영상 프레임을 결정하는 단계를 포함할 수 있다.

그리고, 상기 v) 단계는 상기 CID를 로테이트하고, 삽입할 영상의 폭 및 높이와 상기 결정된 핑거프린트 패턴의 폭 및 높이 간의 각 차이값을 상기 로테이트된 CID로 모듈로 연산함으로써 핑거프린트의 삽입위치의 좌표를 산출하는 단계를 포함할 수 있다.

또한, 본 발명의 다른 일 관점에 의한 디지털 핑거프린팅 방법은 핑거프린트가 삽입된 소정의 영상 프레임에서 핑거프린팅을 추출하는 디지털 핑거프린팅 방법으로서,

vii) 복수의 핑거프린트 후보패턴을 생성하는 단계와;

viii) 복수의 영상 프레임에 대해 일 프레임과 이전의 일 프레임간의 차분영상을 구하고 상기 차분영상에서 핑거프린팅의 검출가능성을 판단하는 단계와;

ix) 상기 검출가능성이 있는 차분영상의 잡음을 제거하여 전처리 영상을 생성하는 단계와;

x) 상기 핑거프린트 후보패턴과 상기 전처리 영상 간의 패턴매칭을 수행하여 핑거프린트를 검출하는 단계.

이때, 상기 vii) 단계는 부여된 사용자 ID를 암호화하여 CID를 산출하는 단계와, 상기 CID를 이용하여 폭 및 높이로 되는 핑거프린트 후보패턴의 크기를 생성하고 저장하는 단계와, 상기 CID를 이용하여 핑거프린트의 검출가능성 있는 프레임 번호를 생성하고 저장하는 단계와, 상기 결정된 핑거프린트 후보패턴의 폭 및 높이가 각각 복수의 단위비트 격자블록으로 세분되어 구성된 비트맵을 형성하고 상기 CID의 각 비트를 상기 비트맵의 각 단위비트 격자블록에 순차적으로 할당함으로써 핑거프린트 후보패턴을 형성하는 단계와, 삽입할 영상의 폭 및 높이와 상기 결정된 핑거프린트 후보패턴의 폭 및 높이 간의 각 차이값으로 상기 CID를 연산처리하여 핑거프린트의 검출가능성 있는 좌표를 결정하고 저장하는 단계를 포함할 수 있다.

또한, 상기 viii) 단계는 상기 차분영상을 복수의 매크로블록으로 세분하고 각 매크로블록에 대해 분산값을 구한 후, 상기 분산값이 미리 결정된 소정의 임계값보다 작으면 검출가능성 있는 매크로블록으로 판단하고 상기 검출가능성 있는 매크로블록수가 전체대비 미리 결정된 소정 비율 이상이면 상기 전처리 영상을 생성하는 단계를 수행할 수 있다. 이때, 상기 분산값은 하기 식으로 산출될 수 있다:

(이때, Var는 분산값, Dif(p)는 차분영상, M은 매크로불록의 가로크기이다)

또한, 상기 ix) 단계는 상기 차분영상에 있어서 일 픽셀을 중심으로 하여 좌측, 우측, 상측 및 하측 각각으로 미리 결정한 수만큼 확장된 블록영역 내에서 카운팅한 1의 픽셀수가 상기 블록영역 내 총 픽셀수의 50% 이상이면 상기 일 픽셀을 1로 변환하고, 50% 미만이면 상기 일 픽셀을 0으로 변환하는 잡음제거연산을 수행하는 것을 포함할 수 있다. 이때, 상기 잡음제거연산은 상기 차분영상에 있어서 제1픽셀을 중심으로 한 제1블록영역은 이 제1블록영역 내의 픽셀들을 모두 카운팅하여 1의 총픽셀수를 산출하지만, 상기 제1픽셀에 연속하여 차례로 인접하는 이후의 제z픽셀(이때, z는 z≥2인 자연수)을 중심으로 한 제z블록영역 내의 픽셀들은 카운팅하지 않고 대신에 제z-1블록영역 내에서 카운팅한 1의 총픽셀수에서 제z-1블록영역 내의 좌측 종방향 1라인에서의 1의 픽셀수를 감하고 동시에 제z블록영역 내의 우측 종방향 1라인에서의 1의 픽셀수를 더하여 얻은 픽셀수를 제z블록내에서의 1의 총픽셀수로 정하고, 이러한 제z블록내에서의 1의 총픽셀수가 제z블록내 총 픽셀수의 50% 이상이면 제z픽셀을 1로 변환하고, 50% 미만이면 제z픽셀을 0으로 변환함으로써 상기 잡음제거연산의 속도를 증가시킬 수 있다.

또한, 상기 x) 단계는 상기 핑거프린트 후보패턴과 상기 전처리 영상 간의 패턴매칭은 상관연산을 수행하고 산출된 상관연산값이 임계값을 초과하면 핑거프린트가 있는 것으로 간주하도록 수행될 수 있다. 이때, 상기 상관연산은 하기 식으로 수행될 수 있다:

(이때, Cor는 상관계수, x_k는 검출영역 내의 픽셀값, m_xk는 검출영역 내의 픽셀값들의 평균, y_k는 핑거프린트 후보패턴 내의 픽셀값, m_yk는 핑거프린트 후보패턴 내 픽셀값들의 평균, n은 영역 내 픽셀들의 수이다).

본 발명에 의하면, 핑거프린트 패턴의 폭 및 높이, 삽입시점, 패턴 및 삽입위치 등이 모두 암호화된 사용자 ID를 이용하여 연산되고 결정되어 핑거프린트가 삽입 및 검출됨으로써 핑거프린트의 삽입 및 검출의 보안이 증강될 뿐만 아니라 이의 연산속도가 빨라지고 시간이 크게 단축되어 효율적이다.

도 1은 본 발명에 의한 핑거프린팅 삽입방법을 설명하는 흐름도.
도 2는 본 발명에 의한 암호화 ID 산출방법을 설명하는 흐름도.
도 3은 본 발명에 의한 핑거프린트의 패턴크기의 산출방법을 설명하는 흐름도.
도 4는 본 발명에 의한 핑거프린트 패턴의 삽입시점(프레임) 산출방법을 설명하는 흐름도.
도 5는 본 발명에 있어서 핑거프린트 패턴의 패턴을 결정하는 비트맵의 일 실시예를 나타내는 예시도.
도 6은 본 발명에 의한 핑거프린트 패턴의 삽입위치 산출방법을 설명하는 흐름도.
도 7은 본 발명에 의한 핑거프린팅 검출방법을 설명하는 흐름도.
도 8은 이러한 본 발명에 의한 핑거프린트를 위한 후보 패턴을 생성하는 단계들을 설명하기 위한 흐름도.
도 9는 본 발명에 의한 검출가능성 판단방법을 설명하기 위한 흐름도.
도 10은 본 발명에 의한 화면 전처리방법을 설명하는 흐름도.
도 11은 본 발명에 의해 전처리된 차분영상과 생성된 후보 패턴 비트맵 간의 패턴매칭 및 핑거프린팅 검출방법을 설명하는 흐름도

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 구현예 및 실시예를 상세히 설명하며, 본 발명은 이에 한정되지 아니한다. 또한, 본 명세서에서 기재되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것임은 명백하다.

<본 발명에 의한 핑거프린팅 삽입방법>

도 1은 본 발명에 의한 핑거프린팅 삽입방법을 설명하는 흐름도이다.

도 1을 참조하면, 본 발명에 의한 핑거프린팅 삽입은 먼저 사용자 ID를 사용하여 암호화한 CID를 산출하는 단계와(S101), 상기 CID를 사용하여 핑거프린트의 패턴크기, 삽입시점, 패턴과 삽입위치를 결정하는 단계들과(S102~S105), 이렇게 정해진 핑거프린트 패턴을 소정의 프레임마다 삽입하여 핑거프린트가 삽입된 동영상을 제작하는 단계(S106)를 포함한다.

본 발명에 있어서, 핑거프린트의 패턴크기, 삽입시점(즉, 프레임), 패턴과 삽입위치 등은 모두 사용자 ID를 암호화한 CID(Coded ID)를 기초로 산출된다. 특히, 이러한 패턴크기는 제작사의 보안정책에 의해 결정되며 패턴의 폭(W)의 최대값(W_max) 및 최소값(W_min)과, 높이(H)의 최대값(H_max) 및 최소값(H_min)으로 이루어진다. 그리고, 패턴의 산출된 폭 및 높이의 크기를 기초로 하여 패턴의 삽입위치(x,y)와 삽입크기 및 삽입되는 프레임이 결정된다. 패턴의 삽입위치 및 삽입크기는 프레임에 따라 변하므로, 삽입위치 및 삽입크기는 구조체로 구성하여 관리함이 바람직하다. 이하, 각 단계들을 해당 도면들을 참조하며 상세히 설명한다.

암호화 CID 산출단계( S101 )

사용자 ID를 사용하여 암호화한 CID를 산출하는 단계(S101)는 도 2를 참조하며 설명한다. 도 2는 본 발명에 의한 암호화 ID 산출방법을 설명하는 흐름도이다.

도 2를 참조하면, 먼저 사용자 ID를 입력받는다(S201). 그리고, 본 발명에 있어서, 이러한 사용자 ID는 64비트로 구성함이 바람직하다. 따라서, 상기 사용자 ID가 64비트 미만이면 64비트 문자열을 부가하여 64비트로 구성하고, 또한 64비트를 초과하면 64비트가 되도록 그 후반부를 제거하며(S202~S204), 이렇게 64비트로 맞춰진 ID는 마스터 키로써 통상의 공지된 암호화 알고리즘에 따라 암호화되어 암호화된 CID 64비트를 산출하며 이는 CID[0]~CID[7]로 구성된다(S205~S206). 이때, 상기 마스터 키는 시스템 비밀키 128비트로 사용함이 바람직하다.

핑거프린트의 패턴크기 산출( S102 )

상기 산출된 CID를 이용하여 핑거프린트의 패턴크기를 산출하는 단계(S102)는 도 3을 참조하며 설명한다. 도 3은 본 발명에 의한 핑거프린트의 패턴크기의 산출방법을 설명하는 흐름도이다.

먼저, 전술했듯이 제작사의 보안정책에 의해 결정된 소정의 패턴크기에 따른 패턴의 폭(W)의 최대값(W_max) 및 최소값(W_min)과, 높이(H)의 최대값(H_max) 및 최소값(H_min)에 있어서, 각각 폭(W)과 높이(H)의 차분크기(W_dif 및 H_dif)를 하기 식 3-1과 같이 구한다(S301):

W_dif = W_max - W_min

H_dif = H_max - H_min (식 3-1)

그리고, 상기 산출된 CID를 모듈로(modulo) 연산한다. 즉, 상기 모듈로 연산은 나눗셈의 나머지를 계산하는 연산으로서, 하기 식 3-2와 같이 CID를 폭 차분크기(W_dif)로 모듈로 연산하여 W₁을 산출하고, CID를 16비트 시프트 또는 로테이트하여 높이 차분크기(H_dif)로 모듈로 연산하여 H₁을 산출한다(S302):

W₁ = CID mod W_dif

H₁ = (CID >> 16) mod H_dif (식 3-2)

그리고, 하기 식 3-3과 같이 패턴 폭 최소값(W_min)에 상기 W₁을 더하여 패턴의 폭 W_pat를 산출하고, 패턴 높이 최소값(H_min)에 상기 H₁을 더하여 패턴의 높이 H_pat를 산출한다(S303):

W_pat = W_min + W₁

H_pat = H_min + H₁ (식 3-3)

그리고, 상기 패턴의 결정된 폭 및 높이 W_pat 및 H_pat를 하기 식 3-4와 같이 구조체에 저장한다. 이때, InFrame은 구조체의 이름을 가리킨다.

InFrame[n].W_pat = W_pat;

InFrame[n].H_pat = H_pat (식 3-4)

핑거프린트 패턴의 삽입시점 결정( S103 )

상기 산출된 CID를 이용하여 핑거프린트 패턴의 삽입시점(즉, 프레임)을 결정하는 단계(S103)는 도 4를 참조하며 설명한다. 도 4는 본 발명에 의한 핑거프린트 패턴의 삽입시점(프레임) 산출방법을 설명하는 흐름도이다.

도 4를 참조하면, 먼저 하기 식 4-1과 같이 CID를 n회(0~7)에 걸쳐 8비트 시프트 또는 로테이트하여 사용하고 이를 미리 결정한 소정의 수, 예를 들어 일반적으로 30 프레임/초인 프레임 레이트를 고려하여 바람직하게는 30으로 나누는 모듈로 연산함으로써 결정한다(S401):

FrameNum = (CID >> n*8) mod 30 (식 4-1)

그리고, 이렇게 구해진 번호는 하기 식 4-2와 같이 구조체에 저장하며 이전 프레임 번호에 더하여 사용된다(S402). 이때, FrNum은 삽입프레임의 번호를 가리킨다.

InFrame[n].FrNum = FrameNum; (식 4-2)

핑거프린트 패턴 결정( S104 )

그리고, 상기 산출된 CID를 이용하여 핑거프린트 패턴의 패턴을 결정하는 단계(S104)가 진행된다. 이를 위하여 상기 결정된 패턴의 폭 및 높이 W_pat 및 H_pat가 이용되며, W_pat × H_pat 크기로 되는 비트맵을 형성하고, 이러한 비트맵은 바람직하게는 W_pat/8 및 H_pat/8 크기의 격자들로 구성된다. 이러한 비트맵의 일 실시예는 도 5에 도시하는 바와 같다.

그리고, CID를 2진수로 나타내어 상기 비트맵의 최하단 라인으로부터 비트=1인 블록을 +1로 채워나간다. 일 예를 들어, CID 64비트가 0111 0001 0100 0100 0111 1000 0001 1010 0001 0100 1110 1100 0000 0010 1000 1010일 경우, 핑거프린트 패턴은 도 5와 같이 형성된다.

핑거프린트 삽입위치 결정( S105 )

핑거프린트 패턴의 영상 내 삽입위치를 결정하는 단계(S105)는 도 6을 참조하며 설명한다. 도 6은 본 발명에 의한 핑거프린트 패턴의 삽입위치 산출방법을 설명하는 흐름도이다.

그리고, 암호화 CID를 하기 식 6-1과 같이 n회(0~7)에 걸쳐 8비트 로테이트한다(S601):

POS = (CID rot_r n*8) (식 6-1)

그리고, 삽입할 영상의 폭(ImgWid) 및 높이(ImgHig)와 상기 결정된 패턴의 폭(W_pat) 및 높이(H_pat) 간의 차이값 (ImgWid - W_pat) 및 (ImgHig - H_pat)을 구하고, 이들 차이값으로 상기 8비트 우회전 로테이트한 CID를 모듈로 연산하여 각각 x축 및 y축 삽입위치 x_pat 및 y_pat를 하기 식 6-2와 같이 산출한다(S602~S603):

x_pat = POS mod(ImgWid - W_pat)

y_pat = POS mod(ImgHig - H_pat) (식 6-2)

이후, 상기 산출한 x축 및 y축 삽입위치 x_pat 및 y_pat는 하기 식 6-3과 같이 구조체에 저장한다. 이로써, 상기 결정된 핑거프린트 패턴은 상기 식 4-2에 의해 결정된 프레임 InFrame[n].FrNum에 해당하는 영상의 좌표 (x_pat, y_pat) 위치에 마킹된다.

InFrame[n].x_pat = x_pat;

InFrame[n].y_pat = y_pat; (식 6-3)

그리고, 본 발명에서는 상기 핑거프린트 패턴 결정단계(S104)와 핑거프린트 삽입위치 결정단계(S105)는 순차적으로, 또는 역으로, 또는 동시에 수행될 수도 있다.

핑거프린트 삽입( S106 )

이상 설명한 바와 같이 결정된 핑거프린트의 패턴크기, 삽입시점, 패턴과 삽입위치를 기초로 핑거프린트 패턴을 소정의 프레임마다 삽입한다. 전술했듯이 삽입되는 위치는 이상과 같이 마련된 구조체 InFrame[n]에서 좌표 (InFrame[n].x_pat, InFrame[n].y_pat)으로 된다. 그리고, 이후 삽입되는 프레임 번호는 상기 최초 프레임을 제외하고는 전술한 바와 같이 InFrame[n].FrNum에 의해 삽입된다. 또한, 일 실시예로서, 핑거프린트의 삽입위치를 쉽게 예상하지 못하도록 삽입되는 최초 프레임 번호는 암호화 CID의 최초 바이트인 CID[0]에 의해 결정되도록 할 수도 있다.

<본 발명에 의한 핑거프린팅 검출방법>

본 발명에 의하면, 전술한 바와 같이 삽입된 핑거프린팅은 도 7과 같이 검출된다. 도 7은 본 발명에 의한 핑거프린팅 검출방법을 설명하는 흐름도이다.

도 7을 참조하면, 본 발명에 의한 핑거프린팅 검출은 먼저 핑거프린트를 위한 후보 패턴을 생성하는 단계와(S701~S705), 동영상의 각 프레임에 대해 핑거프린트의 검출가능성을 판단하고 잡음제거 등의 화면 전처리를 수행하는 단계와(S706), 상기 후보 패턴들과 화면 전처리된 영상을 패턴매칭하여 핑거프린트를 검출해내는 단계(S707)를 포함한다. 이하, 각 단계들을 해당 도면들을 참조하며 상세히 설명한다.

핑거프린트를 위한 후보 패턴의 생성( S701 ~ S705 )

핑거프린트를 위한 후보 패턴을 생성하는 단계(S701~S705)는 상기 핑거프린트 삽입방법에서 전술한 단계들, 즉 사용자 ID를 사용하여 암호화한 CID를 산출하는 단계(S101)와, 상기 CID를 사용하여 핑거프린트의 패턴크기, 삽입시점, 패턴과 삽입위치를 결정하는 단계들(S102~S105)과 동일하게 수행된다. 도 8은 이러한 본 발명에 의한 핑거프린트를 위한 후보 패턴을 생성하는 단계들을 설명하기 위한 흐름도이다

도 8을 참조하면, 먼저 제작사의 보안정책에 따라 보관하고 있는 ID를 이용하여 전술한 핑거프린팅 삽입방법에서의 암호화 CID 산출단계(S101; S201~S205)와 동일하게 암호화 CID[n]을 사용자 수 k만큼 생성한다(S801).

그리고, 이렇게 생성된 CID[k][n]을 기초로 가능성있는 핑거프린팅 패턴의 크기를 생성하여 구조체 배열에 저장하며, 이는 전술한 핑거프린트 삽입방법에서의 패턴크기 산출단계(S102; S301~S304)와 동일하게 수행된다(S802).

그리고, 상기 CID[k][n]을 기초로 검출가능성있는 프레임 번호를 생성하여 구조체 배열에 저장하며, 이는 전술한 핑거프린트 삽입방법에서의 패턴의 삽입시점 결정단계(S103; S401~S402)와 동일하게 수행된다(S803).

그리고, 상기 CID[k][n]을 기초로 후보 화면에 검출할 위치를 생성하여 구조체 배열에 저장하며, 이는 전술한 핑거프린트 삽입방법에서의 삽입위치 결정단계(S105; S601~S603)와 동일하게 수행된다(S804).

그리고, 상기 CID[k][n]을 기초로 검출할 후보 패턴 k개를 생성하여 k개의 비트맵을 구성하며, 이는 전술한 핑거프린트 삽입방법에서의 패턴 결정단계(S104)와 동일하게 수행된다(S805). 이때, 본 발명에 있어서, 상기 검출위치 생성단계(S804)와 후보패턴 생성단계(S805)는 순차적으로, 또는 역으로, 또는 동시에도 수행될 수도 있다.

그리고, 이상의 단계들(S801~S805)은 삽입프레임 개수(n=8)와 사용자수 k 만큼 반복됨으로써 삽입 구조체를 확장하여 활용한다.

핑거프린트 검출가능성 판단 및 화면 전처리 단계( S706 )

먼저, 최초 512 프레임 범위 내에서 사용자 ID k개에서 추출된 후보 프레임에 대해 검출가능성을 판단한다. 이러한 검출가능성 판단은 도 9를 참조하여 설명하며, 도 9는 본 발명에 의한 검출가능성 판단방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 먼저 k개의 사용자 ID에서 추출된 후보 프레임들에서 p번째 프레임을 Img[p], p-1번째 프레임을 Img[p-1]이라 할 때, 이들의 차분영상 Dif[p]을 하기 식 9-1과 같이 산출한다(S901):

Dif[p] = Img[p] - Img[p-1] (식 9-1)

그리고, 차분영상 Dif[p]에 대해 상기 단계들(S801~S805)에서 산출된 후보영역을 복수의 매크로블록(MB)으로 분할하고(S902), 각 블록에 대해 하기 식 9-2와 같이 분산값 Var를 구한다(S903):

(식 9-2)

그리고, 상기 분산값 Var가 임계값 미만이면 검출가능블록으로 판단하고(S904), 카운팅하여 이러한 검출가능블록 수가 미리 결정된 소정값 이상(예를 들어, 바람직하게는 62% 이상)이면 검출가능영역으로 판단하고(S905~S906) 이후의 화면 전처리 단계로 넘어간다.

다음은, 상기와 같이 검출범위가 축소된 검출가능영역에서 화면 전처리가 수행되며, 이는 도 10을 참조하여 설명한다. 도 10은 본 발명에 의한 화면 전처리방법을 설명하는 흐름도이다.

도 10을 참조하면, 먼저 차분영상 Dif[p]에서 데이터가 1을 초과하면 1로 제한하고 0 이하이면 0으로 제한한다(S1001~S1004).

상기 차분영상의 잡음을 제거하기 위해 해당 픽셀을 중심으로 한 소정 범위의 블록 내에서 카운팅한 1의 픽셀수가 상기 블록내 총 픽셀수의 50% 이상이면 상기 해당 픽셀을 1로 변환하고, 50% 미만이면 상기 해당 픽셀을 0으로 변환하는 연산을 수행함으로써 전처리된 차분영상 Pre[p]을 구한다(S1005). 이때, 상기 소정범위의 블록은 해당 픽셀을 중심으로 하여 좌측, 우측, 상측 및 하측 각각 m(자연수)만큼 확장된 영역으로 되고, 상기 m은 본 발명자의 실험데이터에 의하면 바람직하게는 9≤m≤33이며, 더욱 바람직하게는 m = 17이다.

또한, 일 실시예로서, 상기 연산 속도를 높이기 위해 최초 픽셀("제1픽셀")을 중심으로 한 최초 블록("제1블록")은 이 제1블록 내의 픽셀들을 모두 카운팅하여 1의 총픽셀수를 산출하지만, 상기 제1픽셀에 연속하여 차례로 인접하는 이후의 제z픽셀(이때, z는 z≥2인 자연수)을 중심으로 한 제z블록 내의 픽셀들은 카운팅하지 않고, 대신에 제z-1블록 내 카운팅한 1의 총픽셀수에서 제z-1블록 내 좌측 종방향 1라인에서의 1의 픽셀수를 감하고 동시에 제z블록의 우측 종방향 1라인에서의 1의 픽셀수를 더한 픽셀수를 제z블록내에서의 1의 픽셀수로 정하고, 이러한 제z블록내에서의 1의 픽셀수가 제z블록내 총 픽셀수의 50% 이상의 여부를 판단하여 50% 이상이면 제z블록의 해당 중심 픽셀을 1로 변환하고, 50% 미만이면 해당 중심 픽셀을 0으로 변환하는 연산을 수행할 수도 있다. 이리하면, 블록 한 변의 픽셀수를 w라 할 때 2/w 이하로 연산시간이 감소하여 상기 연산속도가 높아지며, 다만 블록의 한 변은 홀수인 정사각형이어야 한다.

핑거프린트 검출단계( S707 )

본 단계에서는 이상과 같이 전처리된 차분영상 Pre[p]과 상기 생성한 n개의 후보 패턴 비트맵(S701~S705)의 패턴매칭을 수행한다. 이는 도 11을 참조하여 설명하며, 도 11은 본 발명에 의한 패턴매칭 및 핑거프린팅 검출방법을 설명하는 흐름도이다.

도 11을 참조하면, 상기 패턴매칭을 위하여 상관연산(correlation)을 수행하여 상관계수 Cor을 구하며 이에 사용된 식은 하기 식 11-1과 같다:

(식 11-1)

(이때, Cor는 상관계수, x_k는 검출영역 내의 픽셀값, m_xk는 검출영역 내의 픽셀값들의 평균, y_k는 핑거프린트 후보패턴 내의 픽셀값, m_yk는 핑거프린트 후보패턴 내 픽셀값들의 평균, n은 영역 내 픽셀들의 수이다)

이러한 상관계수 Cor가 임계값을 초과하면 핑거프린트가 있는 것으로 간주함으로써 핑거프린트를 검출한다.

상기 본 발명의 바람직한 구현예들 및 실시예들은 예시의 목적을 위해 개시된 것이며, 해당 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이고, 이러한 수정, 변경, 부가 등은 특허청구범위에 속하는 것으로 보아야 한다.

Claims

핑거프린트 코드를 생성하여 소정의 영상 프레임에 삽입하는 디지털 핑거프린팅 방법에 있어서,
부여된 사용자 ID를 암호화하여 CID(Coded ID)를 산출하는 단계와;
상기 CID를 연산처리하여 핑거프린트 패턴의 폭 및 높이를 결정하고 저장하는 단계와;
상기 CID를 연산처리하여 핑거프린트의 삽입시점을 결정하고 저장하는 단계와;
결정된 상기 핑거프린트 패턴의 폭 및 높이가 각각 복수의 단위비트 격자블록으로 세분되어 구성된 비트맵을 형성하고 상기 CID의 각 비트를 상기 비트맵의 각 단위비트 격자블록에 순차적으로 할당함으로써 핑거프린트 패턴을 형성하는 단계와;
삽입할 영상의 폭 및 높이와 결정된 상기 핑거프린트 패턴의 폭 및 높이 간의 각 차이값으로 상기 CID를 연산처리하여 핑거프린트의 삽입위치의 좌표를 결정하고 저장하는 단계와;
결정된 상기 핑거프린트 패턴의 폭 및 높이, 삽입시점, 패턴 및 삽입위치에 따라 핑거프린트 패턴을 각 영상 프레임에 삽입하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제1항에 있어서,
상기 핑거프린트 패턴의 폭 및 높이를 결정하고 저장하는 단계는
상기 핑거프린트 패턴의 폭 및 높이에서 각각의 최대값 및 최소값 간의 차이값으로 되는 폭 차분크기 및 높이 차분크기를 산출하는 단계와;
상기 CID를 상기 폭 차분크기로 모듈로 연산하여 폭 모듈로 연산값을 산출하고, 상기 CID를 로테이트하고 상기 높이 차분크기로 모듈로 연산하여 높이 모듈로 연산값을 산출하는 단계와;
상기 폭 모듈로 연산값을 상기 폭의 최소값에 더하여 핑거프린트 패턴의 폭을 결정하고, 상기 높이 모듈로 연산값을 상기 높이의 최소값에 더하여 핑거프린트 패턴의 높이를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제1항에 있어서,
상기 핑거프린트의 삽입시점을 결정하고 저장하는 단계는 상기 CID를 로테이트하여 모듈로 연산함으로써 핑거프린트가 삽입될 영상 프레임을 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제1항에 있어서,
상기 핑거프린트의 삽입위치의 좌표를 결정하고 저장하는 단계는 상기 CID를 로테이트하고, 삽입할 영상의 폭 및 높이와 결정된 상기 핑거프린트 패턴의 폭 및 높이 간의 각 차이값으로 상기 로테이트된 CID를 모듈로 연산함으로써 핑거프린트의 삽입위치의 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
핑거프린트가 삽입된 소정의 영상 프레임에서 핑거프린팅을 추출하는 디지털 핑거프린팅 방법에 있어서,
복수의 핑거프린트 후보패턴을 생성하는 단계와;
복수의 영상 프레임에 대해 일 프레임과 이전의 일 프레임간의 차분영상을 구하고 상기 차분영상에서 핑거프린팅의 검출가능성을 판단하는 단계와;
상기 검출가능성이 있는 차분영상의 잡음을 제거하여 전처리 영상을 생성하는 단계와;
상기 핑거프린트 후보패턴과 상기 전처리 영상 간의 패턴매칭을 수행하여 핑거프린트를 검출하는 단계를 포함하되,
상기 복수의 핑거프린트 후보패턴을 생성하는 단계는
부여된 사용자 ID를 암호화하여 CID(Coded ID)를 산출하는 단계와;
상기 CID를 이용하여 핑거프린트 후보패턴의 폭 및 높이를 결정하고 저장하는 단계와;
상기 CID를 이용하여 핑거프린트의 검출가능성 있는 프레임 번호를 생성하고 저장하는 단계와;
결정된 상기 핑거프린트 후보패턴의 폭 및 높이가 각각 복수의 단위비트 격자블록으로 세분되어 구성된 비트맵을 형성하고 상기 CID의 각 비트를 상기 비트맵의 각 단위비트 격자블록에 순차적으로 할당함으로써 핑거프린트 후보패턴을 형성하는 단계와;
삽입할 영상의 폭 및 높이와 결정된 상기 핑거프린트 후보패턴의 폭 및 높이 간의 각 차이값으로 상기 CID를 연산처리하여 핑거프린트의 검출가능성 있는 좌표를 결정하고 저장하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제5항에 있어서,
상기 핑거프린트 후보패턴의 폭 및 높이를 결정하고 저장하는 단계는
상기 핑거프린트 패턴의 폭 및 높이에서 각각의 최대값 및 최소값 간의 차이값으로 되는 폭 차분크기 및 높이 차분크기를 산출하는 단계와;
상기 CID를 상기 폭 차분크기로 모듈로 연산하여 폭 모듈로 연산값을 산출하고, 상기 CID를 로테이트하고 상기 높이 차분크기로 모듈로 연산하여 높이 모듈로 연산값을 산출하는 단계와;
상기 폭 모듈로 연산값을 상기 폭의 최소값에 더하여 핑거프린트 패턴의 폭을 결정하고, 상기 높이 모듈로 연산값을 상기 높이의 최소값에 더하여 핑거프린트 패턴의 높이를 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제5항에 있어서,
상기 핑거프린트의 검출가능성 있는 프레임 번호를 생성하고 저장하는 단계는 상기 CID를 로테이트하여 모듈로 연산함으로써 핑거프린트가 삽입될 영상 프레임을 결정하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제5항에 있어서,
상기 핑거프린트의 검출가능성 있는 좌표를 결정하고 저장하는 단계는 상기 CID를 로테이트하고, 삽입할 영상의 폭 및 높이와 상기 결정된 핑거프린트 패턴의 폭 및 높이 간의 각 차이값으로 상기 로테이트된 CID를 모듈로 연산함으로써 핑거프린트의 삽입위치의 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제5항에 있어서,
상기 핑거프린팅의 검출가능성을 판단하는 단계는 상기 차분영상을 복수의 매크로블록으로 세분하고 각 매크로블록에 대해 분산값을 구한 후, 상기 분산값이 미리 결정된 소정의 임계값보다 작으면 검출가능성 있는 매크로블록으로 판단하고 상기 검출가능성 있는 매크로블록수가 전체대비 미리 결정된 소정 비율 이상이면 상기 전처리 영상을 생성하는 단계를 수행하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제9항에 있어서,
상기 분산값은 하기 식으로 산출되는 것을 특징으로 하는 디지털 핑거프린팅 방법.

(이때, Var는 분산값, Dif(p)는 차분영상, M은 매크로불록의 가로크기이다)
제5항에 있어서,
상기 전처리 영상을 생성하는 단계는 상기 차분영상에 있어서 일 픽셀을 중심으로 하여 좌측, 우측, 상측 및 하측 각각으로 미리 결정한 수만큼 확장된 블록영역 내에서 카운팅한 1의 픽셀수가 상기 블록영역 내 총 픽셀수의 50% 이상이면 상기 일 픽셀을 1로 변환하고, 50% 미만이면 상기 일 픽셀을 0으로 변환하는 잡음제거연산을 수행하는 것을 포함함을 특징으로 하는 디지털 핑거프린팅 방법.
제11항에 있어서,
상기 미리 결정한 수는 9 이상 33 이하 범위의 자연수인 것을 특징으로 하는 디지털 핑거프린팅 방법.
제11항에 있어서,
상기 잡음제거연산은 상기 차분영상에 있어서 제1픽셀을 중심으로 한 제1블록영역은 이 제1블록영역 내의 픽셀들을 모두 카운팅하여 1의 총픽셀수를 산출하되, 상기 제1픽셀에 연속하여 차례로 인접하는 이후의 제z픽셀(이때, z는 z≥2인 자연수)을 중심으로 한 제z블록영역 내의 픽셀들은 카운팅하지 않고 대신에 제z-1블록영역 내에서 카운팅한 1의 총픽셀수에서 제z-1블록영역 내의 좌측 종방향 1라인에서의 1의 픽셀수를 감하고 동시에 제z블록영역 내의 우측 종방향 1라인에서의 1의 픽셀수를 더하여 얻은 픽셀수를 제z블록내에서의 1의 총픽셀수로 정하고, 상기 제z블록내에서의 1의 총픽셀수가 제z블록내 총 픽셀수의 50% 이상이면 제z픽셀을 1로 변환하고, 50% 미만이면 제z픽셀을 0으로 변환함으로써 상기 잡음제거연산의 속도를 증가시키는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제5항에 있어서,
상기 핑거프린트 후보패턴과 상기 전처리 영상 간의 패턴매칭은 상관연산을 수행하고 산출된 상관계수가 임계값을 초과하면 핑거프린트가 있는 것으로 간주하는 것을 특징으로 하는 디지털 핑거프린팅 방법.
제14항에 있어서,
상기 상관연산은 하기 식으로 수행되는 것을 특징으로 하는 디지털 핑거프린팅 방법.

(이때, Cor는 상관계수, x_k는 검출영역 내의 픽셀값, m_xk는 검출영역 내의 픽셀값들의 평균, y_k는 핑거프린트 후보패턴 내의 픽셀값, m_yk는 핑거프린트 후보패턴 내 픽셀값들의 평균, n은 영역 내 픽셀들의 수이다).