KR100643273B1

KR100643273B1 - 비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치

Info

Publication number: KR100643273B1
Application number: KR20040037756A
Authority: KR
Inventors: 성영경; 최윤희; 최태선
Original assignee: 삼성전자주식회사
Priority date: 2004-05-27
Filing date: 2004-05-27
Publication date: 2006-11-10
Also published as: JP2005341525A; US20050265576A1; KR20050112634A

Abstract

비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치를 제공한다.

비디오 워터마킹 방법은 비디오 시퀀스의 장면 전환을 검출하는 단계와, 상기 검출된 장면의 하나 또는 그 이상의 프레임들로 장면의 이미지 복잡도를 계산하여 장면 단위의 워터마크의 삽입 강도를 결정하는 단계, 및 상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 단계를 포함한다.

워터마크, 복사방지, 장면 전환, 실시간, DRM

Description

비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치{Video watermarking method and apparatus, video content protecting method and apparatus using video watermarking}

도 1은 본 발명의 일 실시예에 따른 복사방지 기능을 갖는 방송 수신기의 구성을 보여주는 블록도이다.

도 2는 본 발명의 일 실시예에 따른 워터마크 삽입장치(embedding device)의 구성을 보여주는 블록도이다.

도 3은 워터마크 삽입부의 구성을 보다 상세히 보여주는 블록도이다.

도 4는 본 발명의 일 실시예에 따른 워터마크 삽입 과정을 보여주는 흐름도이다.

도 5는 본 발명의 일 실시예에 따른 장면 전환 검출 과정을 보여주는 도면이다.

도 6은 본 발명의 일 실시예에 따른 삽입 강도를 결정하는 파라미터를 설명하기 위한 도면이다.

도 7은 본 발명의 일 실시예에 따라 비디오 시퀀스에 워터마킹을 적용하는 것을 보여주는 도면이다.

도 8은 본 발명의 실시예에 따라 계산된 이미지 복잡도 및 움직임 벡터의 크 기에 따른 프레임의 영역 분류의 실험 결과를 보여주는 도면이다.

도 9a, 9b, 9c는 본 발명의 실시예에 따라 워터마킹된 이미지에 대한 다양한 공격이 있을 경우의 워터마크 검출 결과를 보여주는 도면이다.

본 발명은 비디오 워터마킹에 관한 것으로서, 보다 상세하게는 비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치에 관한 것이다.

디지털 기술이 발전하면서 엄청난 양의 디지털 멀티미디어 데이터가 손쉽게 이용 가능해졌다. 디지털 정보는 아날로그 정보와는 달리 품질의 손상이 없이 저렴한 비용으로 대량 복사될 수 있는 특징을 갖는다. 디지털 정보의 이러한 특징은 저작권 보호라는 관점에서 볼 때는 문제점이 될 수 있다. 디지털 콘텐츠에 대한 저작권 보호방안으로 논의되고 있는 기술 중의 하나가 워터마킹(Digital Watermarking) 기술이다.

워터마킹 기법은 디지털 콘텐츠에 사용자의 ID(Identification)나 자신만의 정보를 삽입시킴으로써 디지털 콘텐츠의 불법적인 복제를 막고, 디지털 콘텐츠에 대한 저작권을 보호하며, 소유권을 주장할 수 있는 근거를 제시할 수 있도록 하는 기술이다.

이러한 워터마킹 기법은 불법적인 복제나 배포로부터 소유권을 증명할 수 있 고, 워터마크를 제거하려는 공격이 있는 경우에도 제 기능을 발휘하려면 다음과 같은 조건을 만족해야 한다.

-비가시성(Invisibility)

워터마크를 삽입한 후에도 원본 콘텐츠의 변화가 거의 없고, 워터마크의 삽입여부를 감지할 수 없어야 한다. 이는 콘텐츠의 품질을 저하시키지 않는 워터마크의 특성을 의미하는데, 삽입된 워터마크가 시각적으로 보이지 않아야 한다. 일부 응용 분야에서는 가시적인(visible) 워터마킹 기법들을 사용하기도 한다. 한편, 이미지가 아닌 일반적인 콘텐츠의 경우에는 비가시성은 비인지성(Imperceptibility)으로 불린다.

-강인성(Robustness)

워터마크를 신호의 중요한 부분에 삽입하여 전송이나 저장을 위해 압축할 때 워터마크가 깨지지 않아야 하다. 그리고 전송 중에 생길 수 있는 노이즈나 여러 가지 형태의 변형과 공격이 있더라도 삽입된 워터마크를 추출할 수 있는 특성을 강인성이라고 한다. 강인성의 경우도 응용 분야에 따라 의도적으로 잘깨지는(fragile) 워터마킹 기법을 사용할때가 있다. 이는 주로 인증용으로 많이 쓰이며, Semi-Fragil 기법을 이용하여 불법 조작의 정확한 위치등도 알아낼수 있다.

-명확성(Unambiguity)

추출된 워터마크가 확실한 소유권을 주장할 수 있도록 공격등에 대해 정확성을 유지해야 된다.

-원본 없이 추출(Blindness)

원본 영상 없이 워터마킹된 영상 만으로 워터마크를 검출해야 한다. 이는 워터마킹 기법을 온라인상이나 다양한 응용 분야의 적용에 있어, 올바른 소유권자를 구별할 수 있어야 하는 현실성을 고려할 때 필요한 기능이다.

-보안성(Security)

관련된 키값 등을 알고 있을 경우에 워터마크의 확인이 가능해야 된다.

이 밖에도 삽입되는 정보의 양(Capacity), 다중 워터마킹(multiple watermarking)등 많은 요구 조건들을 만족해야 한다.

한편, 최근에는 디지털 방송 수신기에 하드디스크를 내장한 새로운 플랫폼이 등장하였다. 사용자는 이러한 기기를 이용하여 개인적인 목적으로 텔레비전 방송을 시간 변환 재생(Time-shift play)을 위해 저장하여 사용할 수 있는데, 현재 이러한 행위는 허용되는 행위의 범주에 든다. 그러나, 저작권 보호를 위해 일단 저장된 방송 데이터는 한번 저장된 이후에는 다른 장치로 복제 되어서는 안 된다.

이와 같이 저장되는 방송 데이터에 복제제어 정보를 삽입하고 이를 검출하는데 워터마킹 기법이 사용될 수 있다. 예를 들면 워터마크로 들어갈 복사제어 정보로 ‘copy never’ 와 ‘copy freely’를 두고 전자가 포함된 방송 데이터의 경우에는 다른 장치로 복사를 하지 못하도록 하고 후자의 경우에는 다른 장치로 복사를 허용할 수 있다. 즉, 디지털 방송 수신기는 방송 데이터에 포함된 복사제어 정보를 확인하여 그 정보가 ‘copy never’ 인 경우에는 다른 장치, 예를 들면 컴퓨터나 PVR 등의 장치로 방송 데이터를 복사하지 못하도록 한다.

디지털 방송 프로그램 또는 VOD 서비스로 제공받는 영화에 대해서는 실시간(또는 준실시간)으로 워터마킹할 수 있는 방법이 필요하다. 현재까지 실시간 비디오 워터마킹을 구현하기 위해 여러 방법들이 제안되었다. 예를 들면 G.C. Langelaar 등은 "Watermaring Digital Image and Video Data"에서 압축영역에서 VLC(Variable Length Coding)의 코드워드를 변경하여 워터마크를 삽입하는 방법을 제안하였다. 그러나 VLC 영역에서 워터마크를 삽입하면 불법적인 공격에 취약한 단점이 있다. M. K. Swanson은 "Multiresolution Scene-Based Video Watermarking Using Perceptual Models"에서 다해상도 비디오 분석을 이용한 장면단위의 워터마크를 제안하였다. 이 방식은 비디오 시퀀스를 장면단위로 분할하고 각각의 장면에 대해 시간축에 대한 웨이블릿(Wavelet) 변환을 수행한다. 이 방법은 장면에 기초하여 워터마크를 삽입하는 방법이다. 그러나 이 방식은 계산의 복잡성으로 인해 현실적으로 실시간 처리가 매우 곤란하다는 특징을 갖는다.

이에 따라 적은 계산으로 실시간 비디오 워터마킹에 대한 필요성이 대두되고 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로 계산상의 효율이 높은 실시간(또는 준실시간) 비디오 워터마킹의 방법 및 장치를 제공하는 것을 그 목적로 한다.

또한 본 발명은 실시간 비디오 워터마킹 기법을 이용한 비디오 콘텐츠 보호방법 및 장치를 제공하는 것을 다른 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시에 따른 비디오 워터마킹 방법은 비디오 시퀀스의 장면 전환을 검출하는 단계와, 상기 검출된 장면의 하나 또는 그 이상의 프레임들로 장면의 이미지 복잡도를 계산하여 장면 단위의 워터마크의 삽입 강도를 결정하는 단계, 및 상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 단계를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 다른 실시에 따른 비디오 워터마킹 방법은 비디오 시퀀스의 장면 전환을 검출하는 단계와, 상기 검출된 장면의 하나 또는 그 이상의 프레임들로 장면의 이미지 복잡도를 계산하여 장면단위의 워터마크의 삽입 강도를 결정하는 제1 계수를 얻는 단계와, 상기 비디오 시퀀스의 인터 프레임의 움직임 벡터를 크기에 따라 워터마크의 삽입 강도를 결정하는 제2 계수를 얻는 단계, 및 인트라 프레임에 대해서는 상기 제1 계수에 따라 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하고 인터 프레임에 대해서는 상기 제1 계수 및 제2 계수에 따라 결정된 삽입강도에 따라 워터마크를 삽입하는 단계를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시에 따른 비디오 워터마킹 장치는 비디오 시퀀스의 장면 전환을 검출하는 장면 전환 검출부와, 상기 검출된 장면의 하나 또는 그 이상의 프레임들로 워터마크의 삽입 강도를 결정하는데 사용하는 장면의 이미지 복잡도를 계산하는 이미지 복잡도 계산부, 및 상기 각 장면 단위로 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 워터마크 삽입부를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시에 따른 워터마킹을 이용한 비디오 콘텐츠 보호방법은 입력받은 비디오 시퀀스에 대한 권한에 따라 워터마크에 포함될 워터마크 메시지를 결정하는 단계와, 상기 비디오 시퀀스의 각 장면의 첫번째 인트라 프레임의 이미지 복잡도를 이용하여 장면 단위로 워터마크의 삽입 강도를 결정하는 단계와, 상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 단계, 및 상기 비디오 시퀀스에 삽입된 워터마크를 검출하고, 검출된 워터마크에 포함된 메시지에 따라 상기 비디오 시퀀스를 취급하는 단계를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시에 따른 워터마킹을 이용한 비디오 콘텐츠 보호장치는 입력받은 비디오 시퀀스의 권한에 따라 워터마크에 포함될 워터마크 메시지를 결정하는 메시지 결정부와, 상기 비디오 시퀀스의 장면 전환을 검출하여 검출된 각 장면의 첫번째 인트라 프레임의 이미지 복잡도를 이용하여 장면 단위로 워터마크의 삽입 강도를 결정하고, 상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 워터마크 삽입부와, 상기 비디오 시퀀스에 삽입된 워터마크를 검출하는 워터마크 검출부, 및 상기 검출된 워터마크에 포함된 메시지에 따라 상기 비디오 시퀀스를 취급하는 비디오 콘텐츠 관리부를 포함한다.

이하, 첨부된 도면을 참조하여 보다 상세한 실시예를 설명한다.

- 워터마킹 방법의 응용 실시예

방송 수신기(100)는 MPEG 방식으로 코딩된 방송신호를 수신하고 이를 디코딩하여 방송 콘텐츠를 재생할 수 있도록 한다.

네트워크 인터페이스부(102)는 수신된 방송 신호를 복조하여 디지털 신호로 변환시킨다. 디지털 신호에는 여러 개의 프로그램이 포함될 수 있다. 역다중화부(104)는 이렇게 여러 개의 프로그램이 다중화된 디지털 신호로부터 사용자가 선택한 프로그램을 추출한다. 한편, 유료 방송 프로그램의 경우에 스크램블된 상태로 방송되어 유료 사용자만 볼 수 있도록 한다. 스크램블 해제부(descrambler)(106)는 스크램블된 프로그램의 스크램블을 해제한다.

역다중화 및 스크램블 해제된 프로그램은 MPEG 디코더(108)를 통해 디코딩된다. 디코딩된 비디오 정보는 비디오 신호 생성부(110)를 통해 비디오 신호로 출력되며, 디코딩된 오디오 정보는 오디오 신호 생성부(112)를 통해 오디오 신호로 출력된다.

방송 수신기(100)은 수신된 프로그램을 하드디스크와 같은 비휘발성 저장매체인 저장부(122)에 저장하여 사용자가 방송 시간이 아닐 때라도 프로그램을 시청할 수 있도록 한다. 프로그램에 대한 정당한 권리를 가진 사용자가 프로그램을 일시적으로 혹은 영구적으로 저장하고 이를 재생하는 것은 허용되는 행위이나 저장된 프로그램을 다른 장치에 복사하는 행위는 저작권과 관련하여 문제가 될 수 있다.

따라서, 방송 수신기(100)는 프로그램을 저장할 때 부가적인 정보를 삽입하여 프로그램에 대한 권한에 따라 프로그램에 대한 접근을 제한하기도 한다. 본 실시예에서 부가 정보는 방송 프로그램에 프로그램에 대한 권한을 의미하는 워터마크를 삽입한다. 예를 들면, 스크램블되어 수신되는 유료채널의 프로그램에 대해서는 "복사방지"를 의미하는 워터마크를 삽입하고, 자유롭게 사용가능한 프로그램에 대해서는 "복사가능"을 의미하는 워터마크를 삽입한다. 만일 프로그램에 대한 권한이 3회 재생인 경우라면, 프로그램에 "3회 재생"을 의미하는 워터마크를 삽입한다. 만일 3회 재생가능한 프로그램을 한번 재생한 경우에는 다시 "2회 재생"을 의미하는 워터마크를 삽입한다. 한편, 바람직하게는 불법적인 복사 등의 저작권 침해 행위가 발생될 때 저작권 침해를 유발한 행위자가 누구인지를 알 수 있도록 워터마크에 방송 수신기(100)가 갖는 고유한 키를 포함시킨다.

한편, 방송 프로그램에 대한 워터마킹은 실시간(또는 준실시간)으로 이루어질 필요가 있는데, 실시간 워터마킹의 경우에 많은 계산 시간을 필요로 한다. 즉, 동영상 프로그램의 모든 프레임들에 대해 일일이 워터마크 삽입 강도를 연산할 경우에는 너무나도 많은 계산량을 필요로 한다. 본 발명의 실시예는 장면(scene) 전환을 검출하여 장면 단위로 워터마크의 삽입 강도를 결정한다. 이를 위하여 장면 전환 검출부(118)는 역다중화된 프로그램의 장면 전환여부를 결정한다. 장면 전환 여부가 결정되면 워터마크 삽입부(120)는 프리 버퍼(pre-buffer)(116)에 임시로 저장되어 있는 프로그램에 워터마크를 삽입한다. 워터마킹된 프로그램은 저장부(122)에 저장된다.

워터마킹된 프로그램을 실행하려면 임시로 비트 버퍼(124)에 저장하고 MPEG 디코더(108)로 디코딩한다. 이 때 워터마크 검출부(114)는 프로그램에 삽입된 워터마크를 검출한다. 검출된 워터마크에 포함된 메시지는 비디오 콘텐츠 관리부(126)로 전달된다. 만일 더 이상 재생할 수 없는 프로그램인 경우에 비디오 콘텐츠 관리부(126)는 방송 수신기(100)에서 프로그램을 재생할 수 없도록 한다. 만일 재생할 수 있는 프로그램인 경우라면 비디오 콘텐츠 관리부(126)는 방송 수신기(100)에서 프로그램을 재생하는 것을 방해하지 않는다. 한편, 다른 장치에 프로그램을 복사하려고 할 때, 복사방지 상태인 경우에 비디오 콘텐츠 관리부(126)는 방송 수신기(100)가 다른 장치로 프로그램을 복사하지 못하도록 한다.

한편, 본 실시예에서는 방송 수신기(100)마다 고유한 메시지를 워터마크에 포함시키는데, 이러한 경우에 사용자가 고의로 방송 수신기(100)를 변경시켜 복사방지된 프로그램을 다른 장치로 복사할 경우라도 불법적으로 복사된 프로그램에 삽입된 워터마크를 검출하여 불법 유출시킨 사용자가 누군지 찾을 수 있게 된다.

워터마킹을 이용하여 비디오 콘텐츠를 보호할 수 있는 장치의 예로 방송 수신기를 설명하였으나, 이는 예시적인 것으로서 워터마킹을 이용하여 비디오 콘텐츠를 보호하는 어떤 장치라도 본 발명의 기술적 범위에 포함되는 것으로 해석해야 한다.

-워터마크 삽입장치

도 2는 본 발명의 일 실시예에 따른 워터마크 삽입장치의 구성을 보여주는 블록도이다. 본 실시예에서는 DCT 기반의 비디오 코딩된 비디오 스트림에 대한 워 터마킹을 중심으로 설명한다.

워터마크 삽입장치(200)는 DCT 기반의 비디오 코딩방식, 예를 들면 MPEG-2 코딩방식으로 코딩된 원래 비디오 스트림을 입력받아 워터마크된 비디오 스트림을 출력한다.

먼저 원래 비디오 스트림을 입력받으면 가변길이 역부호화부(Variable Lengh Decoding unit)(210)는 가변길이 부호화된 비디오 스트림을 가변길이 역부호화한다. 가변길이 역부호화를 거쳐 매크로블록(MacroBlock; 이하, MB라 함) 타입 정보와, 움직임 벡터 및 양자화된 DCT 영상을 얻을 수 있다.

장면 전환 검출부(240)에 비디오 시퀀스의 장면 전환 여부를 판단한다. 본 실시예에서는 MB 타입을 이용하여 비디오 시퀀스의 장면 전환 여부를 판단하는데, 이에 대해서는 후술한다. 장면 전환 여부에 대한 정보는 이미지 복잡도 계산부(230)로 전달된다.

역양자화부(220)는 양자화된 DCT 영상을 역양자화하여 DCT 영상을 얻는다.

이미지 복잡도 계산부(230)는 DCT 영상의 복잡도를 계산한다. 계산된 이미지 복잡도는 워터마크 삽입부(250)로 전달되어 워터마크 삽입 강도를 결정하는데 사용된다. 이미지 복잡도는 장면 단위로 유사한 특성을 갖는데, 본 실시예에서는 이를 이용하여 장면 단위로 장면을 대표하는 하나 또는 일부 프레임들을 이용하여 이미지 복잡도를 계산한다.

워터마크 삽입부(250)는 움직임 벡터 크기와 이미지 복잡도를 받아 워터마크 삽입 강도를 결정하고 결정된 워터마크 삽입 강도에 따라 DCT 영상을 워터마킹한 다. 워터마크된 DCT 영상은 양자화부(260)를 거쳐 양자화되고 가변길이 부호화부(Variable Length Coding Unit)(270)를 거쳐 가변길이 부호화되어 워터마크 비디오 스트림에 포함된다. 워터마크 삽입부(250)에 대해서는 도 3을 통해 후술한다.

도 2의 워터마크 삽입 장치(200)는 MPEG 방식(MPEG-2 또는 MPEG-4)으로 코딩된 비디오 스트림에 대해 워터마킹하는 것을 예시로 설명하였다. 그렇지만, 비디오 코딩되지 않은 비디오에 대해서도 워터마킹하는 것도 가능하다. 이 경우에는 비디오를 MPEG 방식으로 코딩하는 과정에서 얻은 DCT 영상에 워터마킹한다.

한편, 도 2의 실시예는 MPEG 방식으로 코딩된 비디오 스트림에 대한 워터마킹을 설명하였으나 이는 예시적인 것이다. 즉, 웨이브렛 기반의 비디오 코딩방식으로 코딩된 비디오 스트림의 경우에도 장면 전환을 검출하고 장면의 대표 프레임(들)에 대한 이미지 복잡도를 계산하여 워터마크 삽입 강도를 결정하는 것도 가능하다.

워터마크 삽입부(300)는 워터마크 메시지를 결정하는 메시지 결정부(310)와 워터마크 삽입부(300)의 고유한 키 값인 워터마크 키를 저장하는 워터마크 키 저장부(320)와 워터마크 생성부(330)와 워터마크 삽입 강도 결정부(340)와 곱셈기(350) 및 덧셈기(360)를 포함한다.

워터마크 메시지 결정부(310)는 워터마크에 포함된 워터마크 메시지를 결정한다. 본 발명의 실시예에서 워터마크에 포함된 워터마크 메시지는 비디오에 대한 권한에 따라 결정된다. 예를 들면 "재생1회"이나 "복사가능"을 의미하는 워터마크 메시지 등이 있을 수 있다.

워터마크 생성부(330)는 워터마크 키 값으로 워터마크 메시지를 대역확산하여 워터마크를 생성한다. 예를 들면, 워터마크 메시지와 워터마크 키 값을 모듈러스 연산하여 워터마크를 생성한다.

워터마크 삽입 강도 결정부(340)는 워터마크 삽입 강도를 결정하는데, 움직임 벡터 크기와 이미지 복잡도 등을 입력받아 워터마크 삽입 강도를 결정한다. 워터마크 삽입 강도의 결정에 대한 보다 자세한 설명은 후술한다.

워터마크는 워터마크 삽입 강도와 곱셈기(350)에서 곱해진다. 그리고 나서 DCT 영상과 덧셈기(360)에서 더해진다.

-워터마크 삽입과정

비디오 시퀀스에 대한 워터마크 삽입과정에 대해서는 도 4를 통해 설명한다.

먼저, 비디오 시퀀스의 장면 전환을 검출한다(S410). 그리고 나서 장면을 대표하는 하나 또는 일부 프레임들을 이용하여 영상의 복잡도를 계산한다(S420). 영상의 복잡도를 계산하고 나서 영상의 복잡도를 이용하여 워터마크 삽입 강도를 결정하는 제1 계수를 결정한다(S430). 그리고 각 프레임이 인터 프레임인지 여부를 판단하고(S440), 인터 프레임인 경우에는 움직임 벡터 크기에 따라 제2 계수를 결정한다(S450). 인터 프레임은 제1 계수 및 제2 계수로 워터마크 삽입 강도를 결정하여 워터마크를 삽입하고, 인터 프레임이 아닌 경우에는 제1 계수로 워터마크 삽입 강도를 결정하여 워터마크를 삽입한다(S460). 인터 프레임은 비디오 시퀀스 의 다른 프레임을 참조하여 코딩되는 프레임을 의미하며, MPEG 방식의 비디오 코딩에서 P 프레임 또는 B 프레임이 이에 해당한다. 인터 프레임이 아닌 프레임은 인트라 프레임이라고도 하며, 다른 프레임을 참조하지 않고 코딩되는 프레임을 의미한다. MPEG 방식의 비디오 코딩에서 I 프레임이 인트라 프레임에 해당한다.

-장면 전환 검출과정

도 5는 본 발명의 일 실시예에 따른 장면 전환 검출과정을 보여주는 도면이다. 도 5의 실시예에서 장면 전환 검출은 계산을 간략화하기 위하여 B 프레임의 MB 타입을 사용한다.

(a)와 같이 장면 S1과 S2의 전환이 B1 프레임에서 생긴 경우에 B1 및 B2 프레임의 대부분의 MB 타입은 역방향 움직임 보상이 될 것이다. 왜냐하면 B1과 I2 또는 P2의 경우에 거의 유사한 영상이기 때문이다.

(b)와 같이 장면 S1과 S2의 전환이 B2 프레임에서 생긴 경우에 B1 프레임의 대부분의 MB 타입은 순방향 움직임 보상이되고, B2 프레임의 대부분의 MB 타입은 역방향 움직임 보상이 된다.

(c)와 같이 장면 S1과 S2의 전환이 I2 또는 P2에서 발생한 경우에 B1과 B2 프레임의 대부분의 MB 타입은 순방향 움직임 보상이 될 것이다.

만일 장면전환이 발생되지 않은 경우라면 (a), (b), (c)와 같이 B1 및 B2 프레임의 대부분의 MB 타입이 특정한 움직임 보상이 되지는 않는다. 즉, MB 타입의 움직임 보상 방향을 판단하여 손쉽게 장면 전환 여부를 판단할 수 있다.

- 워터마크 삽입 강도

(a)는 이미지 복잡도를 계산하는 영역을 보여주고 있으며, (b)는 움직임 벡터의 크기 영역에 따라 제2 계수값을 결정하는 것을 보여준다.

장면 단위로 워터마크 삽입 강도가 결정되는데 각 장면을 대표하는 하나 또는 일부 프레임들로부터 장면의 이미지 복잡도를 계산한다. 예를 들면, 장면에 포함된 첫번째 인트라 프레임으로 이미지 복잡도를 계산한다. (a)는 장면의 첫번째 인트라 프레임의 DCT 블록을 보여주고 있다. DCT 블록에서 (0,0)은 DC 성분으로서 이미지 복잡도 계산에서는 제외하고 AC 성분만으로 이미지 복잡도를 계산한다. 실제로 모든 AC 성분들로 이미지 복잡도를 계산할 수도 있으나, (a)와 같이 일부 AC 성분들만으로 이미지 복잡도를 계산할 수도 있다. 이미지 복잡도는 다양한 방식으로 결정할 수도 있으나, 본 실시예에서는 계산을 간단하기 위하여 절대값의 합으로 수학식 1과 같이 계산한다.

(수학식 1)

IC는 이미지 복잡도를 의미하고, A는 이미지 복잡도를 계산하는 영역을 의미한다. DCT(i,j)는 DCT 블록의 (i,j) 블록 픽셀의 DCT 계수를 의미한다.

도 6에서 A={(0,1),(0,2), (0,3),(1,0), (1,1),(1,2), (2,0),(2,1),(3,0)}이다.

장면에서 이미지 복잡도는 수학식 1과 같이 DCT 블록마다 달리 계산할 수도 있으나, 수학식 2와 같이 프레임 전체에 대해서 하나로 결정할 수도 있다.

(수학식 2)

k는 DCT 블록의 번호를 의미하고, n은 한 프레임에 포함된 DCT 블록의 개수를 의미한다.

이미지 복잡도가 계산되면 워터마크 삽입 강도를 결정하는 제1 계수(α)는 다음과 같이 결정할 수 있다.

If 장면전환 발생

영상의 복잡도(IC) 계산;

If (IC > 최소 복잡도)

;

ELSE

;

Else

이미 계산된

사용

End

인트라 프레임의 경우에 제1 계수(α)만으로 삽입 강도를 결정하나, 인터 프레임의 경우에는 움직임 벡터의 크기에 따라 워터마크 삽입 강도를 증가 시킬 수 있다. (b)에서는 움직임 벡터의 크기를 보여주고 있으며, 움직임 벡터의 크기에 따라 영역을 두 영역으로 분리하였다. 영역 1은 움직임 벡터의 크기가 작은 것을 의미하고 영역 2는 움직임 벡터의 크기가 큰 것을 의미한다. 만일 움직임 벡터가 (4, 5)라면 영역 2에 속한다. 움직임 벡터의 크기가 큰 경우에는 큰 제2 계수(β)를 부여하고 움직임 벡터의 크기가 작은 경우에는 작은 제2 계수(β)를 부여한다. 즉, 움직임 벡터의 크기가 정해진 경우에 제2 계수는 수학식 같이 계산될 수 있다.

(수학식 3)

If

then

else

여기서 β1과 β2는 각각 영역1과 영역2의 제2 계수이며 β2의 값이 β1의 값보다 크다.

한편, 도 6에서는 영역을 둘로 나누었지만, 영역을 보다 세분화하는 것도 가능하다.

제1 계수와 제2 계수가 결정되면 워터마킹된 DCT 영상은 수학식 4에 의해 결정할 수 있다.

(수학식 4)

I'=I{1+(α+ β)W}

I는 영상의 DCT 영역에서의 계수를 의미하고, I'은 워터마크된 영상의 DCT 영역에서의 계수를 의미한다. 변경되는 DCT 영역의 계수는 AC성분중 1개 이상의 영 역을 사용한다. α와 β는 각각 제1 계수와 제2 계수를 의미하고, W는 워터마크를 의미한다. 인트라 프레임의 경우에도 수학식 4에 의해 워터마킹된 DCT 영상을 결정할 수 있으나, 제1 계수만을 이용하여 수학식 5에 의해 워터마킹된 DCT 영상을 결정할 수도 있다. 전자의 경우에는 제2 계수는 β1값을 갖는다.

(수학식 5)

I'=I(1+αW)

비디오 시퀀스가 있을 때 장면1과 장면2의 전환이 검출된 경우에 장면 1의 이미지 복잡도는 장면1의 첫번째 인트라 프레임(710)으로 계산하고, 장면2의 이미지 복잡도는 장면2의 첫번째 인트라 프레임(720)으로 계산할 수 있다.

워터마크 삽입 강도의 경우에 인트라 프레임은 장면의 이미지 복잡도(IC)만으로 삽입 강도를 결정할 수 있으나, 인터 프레임의 경우에는 장면의 이미지 복잡도(IC)와 움직임 벡터(MV) 크기를 모두 고려하여 삽입 강도를 결정한다.

- 시뮬레이션

시뮬레이션은 본 발명에 따른 실시예의 성능을 테스트하기 위해 수행되었다. 시뮬레이션은 표준 이미지 시퀀스들에 대해 수행되었으며, 실제 방송 비디오 시퀀스를 수신하여 수행했다. 시뮬레이션된 비디오 시퀀스는 2309개의 352X288 사이즈의 프레임들을 갖는 9개의 표준 이미지 시퀀스들로 구성된다. 이미지들은 MPEG-2 방식으로 코딩된 이미지이다. 실제 방송된 비디오 시퀀스는 320X240의 크기를 갖 는 MPEG-2 방식으로 코딩된 3000개의 프레임들이다. 도 8의 (a)는 AC 계수에 의해 계산된 이미지 복잡도를 보여준다. Lined-plot은 제1 계수(α)를 의미한다. (b)는 움직임 벡터의 크기에 따라 분류된 영역을 보여준다. (b)에서 움직임 벡터는 크기에 따라 4개의 영역으로 나누었으며, 밝은 색깔의 경우에 움직임 벡터의 크기가 큰 영역이다.

도 9a, 9b, 9c는 각각 워터마크된 이미지와 각종 공격이 있을 때의 워터마크 검출 결과를 보여준다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명에 따르면 적은 계산량으로 인해 실시간 비디오 워터마킹이 가능하다.

또한 본 발명에 따르면 실시간 비디오 워터마킹 기법을 이용한 비디오 콘텐츠 보호 기능을 갖는 방송 수신기나 비디오 재생장치의 생산이 가능하다.

Claims

비디오 시퀀스를 실시간으로 입력받는 단계;

상기 비디오 시퀀스의 장면 전환을 검출하는 단계;

상기 검출된 장면의 하나 또는 그 이상의 프레임들로 장면의 이미지 복잡도를 계산하여 장면 단위의 워터마크의 삽입 강도를 결정하는 단계;

상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 단계; 및

상기 워터마크가 삽입된 비디오 시퀀스를 디스플레이 장치로 출력 또는 저장하는 단계를 포함하며, 상기 워터마크는 상기 비디오 시퀀스에 대한 접근을 제어하는 정보를 포함하는, 비디오 워터마킹 방법.
제1항에 있어서,

상기 이미지 복잡도 계산에 사용되는 프레임은 각 장면의 첫번째 인트라 프레임인 비디오 워터마킹 방법.
제2항에 있어서,

상기 이미지 복잡도는 DCT 영역의 AC 계수들 중 일부 계수들에 의해 결정되는 비디오 워터마킹 방법.
제3항에 있어서,

상기 이미지 복잡도는 상기 AC 계수들 중 일부 계수들의 절대값의 합으로 결정되는 비디오 워터마킹 방법.
제 1항에 있어서,

상기 이미지 복잡도가 최소 이미지 복잡도를 초과할 때에 상기 워터마크의 삽입강도는 상기 이미지 복잡도에 소정의 비례상수 값을 곱하여 얻고, 상기 이미지 복잡도가 최소 이미지 복잡도 이하일 때에 상기 워터마크의 삽입강도는 최소 이미지 복잡도에 상기 비례상수 값을 곱하여 얻는 비디오 워터마킹 방법.
제1항에 있어서,

상기 장면 전환여부는 B프레임의 매크로블록 타입의 움직임 보상 방향에 따라 판단되는 비디오 워터마킹 방법.
비디오 시퀀스를 실시간으로 입력받는 단계;

상기 비디오 시퀀스의 장면 전환을 검출하는 단계;

상기 검출된 장면의 하나 또는 그 이상의 프레임들로 장면의 이미지 복잡도를 계산하여 장면 단위의 워터마크의 삽입 강도를 결정하는 제1 계수를 얻는 단계;

상기 비디오 시퀀스의 인터 프레임의 움직임 벡터를 크기에 따라 워터마크의 삽입 강도를 결정하는 제2 계수를 얻는 단계;

인트라 프레임에 대해서는 상기 제1 계수에 따라 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하고, 인터 프레임에 대해서는 상기 제1 계수 및 제2 계수에 따라 결정된 삽입강도에 따라 워터마크를 삽입하는 단계; 및

상기 워터마크가 삽입된 비디오 시퀀스를 디스플레이 장치로 출력 또는 저장하는 단계를 포함하며, 상기 워터마크는 상기 비디오 시퀀스에 대한 접근을 제어하는 정보를 포함하는, 비디오 워터마킹 방법.
제7항에 있어서,

상기 이미지 복잡도 계산에 사용되는 프레임은 각 장면의 첫번째 인트라 프레임인 비디오 워터마킹 방법.
제8항에 있어서,

상기 이미지 복잡도는 DCT 영역의 AC 계수들 중 일부 계수들에 의해 결정되는 비디오 워터마킹 방법.
제9항에 있어서,

상기 이미지 복잡도는 상기 AC 계수들 중 일부 계수들의 절대값의 합으로 결정되는 비디오 워터마킹 방법.
제7항에 있어서,

상기 이미지 복잡도가 최소 이미지 복잡도를 초과할 때에 상기 제1 계수는 상기 이미지 복잡도에 소정의 비례상수 값을 곱하여 얻고, 상기 이미지 복잡도가 최소 이미지 복잡도 이하일 때에 상기 제1 계수는 최소 이미지 복잡도에 상기 비례상수 값을 곱하여 얻는 비디오 워터마킹 방법.
제7항에 있어서,

상기 제2 계수는 상기 인터 프레임의 움직임 벡터의 크기구간 별로 결정되는 비디오 워터마킹 방법.
제7항에 있어서,

장면 전환은 B프레임의 매크로블록 타입의 움직임 보상 방향에 따라 결정되는 비디오 워터마킹 방법.
제7항에 있어서,

상기 삽입되는 워터마크는 워터마크 메시지를 워터마크 키를 통해 대역확산시켜 얻는 비디오 워터마킹 방법.
실시간으로 입력받은 비디오 시퀀스의 장면 전환을 검출하는 장면 전환 검출부;

상기 검출된 장면의 하나 또는 그 이상의 프레임들로 워터마크의 삽입 강도를 결정하는데 사용하는 장면의 이미지 복잡도를 계산하는 이미지 복잡도 계산부;

상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 워터마크 삽입부; 및

상기 워터마크가 삽입된 비디오 시퀀스를 저장하는 저장부를 포함하며, 상기 워터마크는 상기 비디오 시퀀스에 대한 접근을 제어하는 정보를 포함하는, 비디오 워터마킹 장치.
제15항에 있어서,

상기 워터마크 삽입부는 비디오 시퀀스에 워터마크를 삽입할 때의 삽입 강도 는 상기 이미지 복잡도와 상기 비디오 시퀀스의 인터 프레임의 움직임 벡터를 크기를 고려하여 결정하고, 상기 삽입 강도에 따라 상기 비디오 시퀀스에 워터마크를 삽입하는 비디오 워터마킹 장치.
제15항에 있어서,

상기 이미지 복잡도 계산부는 상기 이미지 복잡도 계산에 각 장면의 첫번째 인트라 프레임을 사용하는 비디오 워터마킹 장치
제17항에 있어서,

상기 이미지 복잡도는 DCT 영역의 AC 계수들 중 일부 계수들에 의해 결정되는 비디오 워터마킹 장치.
제18항에 있어서,

상기 이미지 복잡도는 상기 AC 계수들 중 일부 계수들의 절대값의 합으로 결정되는 비디오 워터마킹 장치.
제15항에 있어서,

상기 이미지 복잡도가 최소 이미지 복잡도를 초과할 때에 상기 이미지 복잡도 계산부는 상기 이미지 복잡도에 소정의 비례상수 값을 곱하여 상기 이미지 복잡도를 계산하고, 상기 이미지 복잡도가 최소 이미지 복잡도 이하일 때에 상기 이미 지 복잡도는 최소 이미지 복잡도에 상기 비례상수 값을 곱하여 얻는 비디오 워터마킹 장치.
제15항에 있어서,

장면 전환 검출부는 B프레임의 매크로블록 타입의 움직임 보상 방향에 따라 장면전환 여부를 결정하는 비디오 워터마킹 장치.
제15항에 있어서,

상기 워터마크 삽입부는 워터마크 메시지를 워터마크 키를 통해 대역확산시켜 비디오 시퀀스에 삽입될 워터마크를 얻는 비디오 워터마킹 장치.
실시간으로 입력받은 비디오 시퀀스에 대한 권한에 따라 워터마크에 포함될 워터마크 메시지를 결정하는 단계;

상기 비디오 시퀀스의 각 장면의 첫번째 인트라 프레임의 이미지 복잡도를 이용하여 장면 단위로 워터마크의 삽입 강도를 결정하는 단계;

상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 단계;

상기 비디오 시퀀스에 삽입된 워터마크를 검출하고, 검출된 워터마크에 포함된 메시지에 따라 상기 비디오 시퀀스를 취급하는 단계; 및

상기 워터마크가 삽입된 비디오 시퀀스를 디스플레이 장치로 출력 또는 저장하는 단계를 포함하며, 상기 워터마크는 상기 비디오 시퀀스에 대한 접근을 제어하는 정보를 포함하는, 워터마킹을 이용한 비디오 콘텐츠 보호방법.
제23항에 있어서,

상기 워터마크의 삽입 강도를 결정하는 단계는 각 장면의 첫번째 인트라 프레임으로 장면 단위의 이미지 복잡도를 계산하여 제1 계수를 얻는 단계와, 각 인터 프레임의 움직임 벡터의 크기에 따라 제2 계수를 얻는 단계, 및 인트라 프레임에 대해서는 상기 제1 계수에 따라 삽입 강도를 결정하고, 인터 프레임에 대해서는 상기 제1 계수 및 제2 계수에 따라 삽입강도를 결정하는 워터마킹을 이용한 비디오 콘텐츠 보호방법.
제24항에 있어서,

상기 이미지 복잡도는 DCT 영역의 AC 계수들 중 일부 계수들을 이용하여 계산하는 워터마킹을 이용한 비디오 콘텐츠 보호방법.
제23항에 있어서,

상기 비디오 시퀀스의 각 장면은 B프레임의 매크로블록 타입의 움직임 보상 방향에 따라 구별하는 워터마킹을 이용한 비디오 콘텐츠 보호방법.
제23항에 있어서,

상기 삽입되는 워터마크는 상기 결정된 워터마크 메시지를 워터마크 키를 통해 대역확산시켜 얻는 워터마킹을 이용한 비디오 콘텐츠 보호방법.
실시간으로 입력받은 비디오 시퀀스의 권한에 따라 워터마크에 포함될 워터마크 메시지를 결정하는 메시지 결정부;

상기 비디오 시퀀스의 장면 전환을 검출하여 검출된 각 장면의 첫번째 인트라 프레임의 이미지 복잡도를 이용하여 장면 단위로 워터마크의 삽입 강도를 결정하고, 상기 결정된 삽입 강도에 따라 비디오 시퀀스에 워터마크를 삽입하는 워터마크 삽입부;

상기 비디오 시퀀스에 삽입된 워터마크를 검출하는 워터마크 검출부;

상기 검출된 워터마크에 포함된 메시지에 따라 상기 비디오 시퀀스를 취급하는 비디오 콘텐츠 관리부; 및

상기 워터마크가 삽입된 비디오 시퀀스를 저장하는 저장부를 포함하며, 상기 워터마크는 상기 비디오 시퀀스에 대한 접근을 제어하는 정보를 포함하는, 워터마킹을 이용한 비디오 콘텐츠 보호장치.
제28항에 있어서,

상기 워터마크의 삽입부는 각 장면의 첫번째 인트라 프레임으로 장면 단위의 이미지 복잡도를 계산하여 제1 계수를 얻고, 각 인터 프레임의 움직임 벡터의 크기에 따라 제2 계수를 얻으며, 인트라 프레임에 대해서는 상기 제1 계수에 따른 삽입 강도로 워터마크를 삽입하고, 인터 프레임에 대해서는 상기 제1 계수 및 제2 계수에 따른 삽입강도로 워터마크를 삽입하는 비디오 콘텐츠 보호장치.
제28항에 있어서,

상기 비디오 시퀀스에서 B프레임의 매크로블록 타입의 움직임 보상 방향에 따라 장면 전환 여부를 검출하는 장면 전환 검출부를 더 포함하는 워터마킹을 이용한 비디오 콘텐츠 보호장치.
제1항 내지 제14항과 제23항 내지 제27항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록매체.