KR20060047509A

KR20060047509A - 화상을 디스플레이하기 위한 장치 및 방법

Info

Publication number: KR20060047509A
Application number: KR1020050034985A
Authority: KR
Inventors: 라우렌트 블론드; 디디어 도연; 시에리 보렐; 조나샌 커베크
Original assignee: 톰슨 라이센싱
Priority date: 2004-04-28
Filing date: 2005-04-27
Publication date: 2006-05-18
Also published as: TW200541337A; US7593541B2; CN1691768A; DE602005000653D1; EP1592244B1; FR2869752A1; JP2005318596A; US20060034482A1; DE602005000653T2; EP1592244A1; CN100558153C; JP4644519B2

Abstract

본 발명은 화상을 디스플레이하기 위한 장치 및 디바이스에 관한 것이다. 디스플레이되는 화상의 시퀀스에 워터마크 타입의 패턴을 인레이(inlay)하여, 영상을 취함으로써 화상을 카피하는 것을 방지하기 위한 노력이 알려져 있다. 이러한 인레이는, 패턴의 픽셀 세기를 고주파에서 디스플레이되는 값에 대해 조정하여, 패턴을 사람의 눈에는 보이지 않게 하지만, 캠코더에 의해 촬영된 시퀀스 상에는 아티팩트(artifact)를 생성하도록 구성한다. 이 기술은, 디스플레이되는 화상의 시퀀스가 움직이는 신(scene)을 포함하는 경우에 문제가 발생한다. 화상이 디스플레이되는 순간에 눈에 의해서 정확하게 통합되지 않기 때문에, 패턴이 보인다. 본 발명은, 인레이된 패턴은 모션(motion) 보상한다는 점을 제안한다.

화상, 픽셀, 패턴, 모션, 디스플레이

Description

화상을 디스플레이하기 위한 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING IMAGES}

도 1은 본 발명의 제1 실시예를 설명하는 플로차트.

도 2는 본 발명의 제1 실시예의 변형을 설명하는 플로차트.

도 3은 본 발명의 제2 실시예를 설명하는 플로차트.

도 4는 본 발명의 제2 실시예를 적용한 화상의 시퀀스를 나타내는 도면.

도 5는 본 발명의 방법을 실시하는 디바이스의 다이어그램.

<도면의 주요 부분에 대한 부호의 설명>

100 : 모션 평가

200 : 패턴의 모션 보상

300 : 화상 내 패턴의 조정

[문헌 1] 유럽특허출원 제1 237 369호

본 발명은 화상을 디스플레이하기 위한 장치 및 디바이스에 관한 것이다.

정지 화상 또는 동화상과 같은 비주얼 콘텐츠는, 저작권 관련하여 독점적인 권리를 갖는 일반적인 창작물이다. 그것의 재생은, 일반적으로 저자 및 수익자에게 보상을 하는 엄격히 제한된 테두리 내에서만 허용한다.

이러한 합법적인 규칙이 정확하게 고수된다는 점을 확실하게 하기 위하여, 불법적인 카피(copy)를 방지하거나, 카피의 품질을 크게 떨어뜨려 그 카피를 쓸모없게 하는 수많은 시스템을 개발하였다.

이러한 구성 내에서, 특허출원 EP 1 237 369는, 화상을 디스플레이하는 동안, 예를 들어 영화 상영관 내에서 캠코더를 사용하여 영상을 취하는 화상의 카피를 방지하는 것을 목적으로 한다. 이러한 목적으로, 패턴의 픽셀 세기를 고주파에서 디스플레이되는 값에 대해 조정하여, 사람의 눈에는 그 패턴을 보이지 않게 하지만, 캠코더로 촬영한 시퀀스 상에 아티팩트(artifact)를 생성하는 것이 제안된다. 이 패턴은 워터마크(watermark) 또는 안티-카피 패턴으로 공통으로 불린다.

패턴의 형상을 결정하여, 예를 들어 "ILLEGAL COPY" 타입의 메시지를 기입하면, 캠코더에 의해 디스플레이되는 화상 내에 나타날 것이다.

패턴을 육안(naked eye)으로 볼 수 없게 하기 위하여, 패턴이 밝은 화상과 패턴이 어두운 화상을 교차하고, 일부 화상에 대한 패턴의 평균 세기는, 패턴이 없는 화상에 디스플레이되는 평균 세기에 대응하도록 조정한다. 이러한 화상을 디스플레이하는 동안, 눈은 통합을 실행하며, 평균 세기를 실질적으로 인지한다.

그러나 이 기술은, 화상이 움직이는 신(scene)을 표현하는 경우에는 문제점을 갖는다. 구체적으로 설명하면, 눈은 화상 내 모션(motion)을 따르는 경향이 있 기 때문에, 일시적인 통합은 더 이상 정확하게 행해지지 않으며, 육안으로 패턴을 보게 된다. 제1 화상 내 패턴의 픽셀 P에 대해서는 부족한 휘도를, 그리고 제2 화상 내 동일한 픽셀에 대해서는 보완적으로 과잉 휘도를 생성하는 조정의 예를 살펴본다. 눈이 이동하지 않는 경우, 이러한 2개 픽셀의 휘도를 합한 다음, 평균 휘도 값을 인지한다. 눈의 인지는 정확하다. 눈이 이동하는 경우, 눈의 동일한 망막 존(zone)은 제1 화상 내 픽셀 P를 제2 화상 내 동일한 픽셀로서 통합하지 않는다. 이러한 2개 픽셀 간의 시각적인 합은 더 이상 정확하지 않으며, 패턴이 보이게 된다.

상술한 문제점을 방지하기 위하여, 본 발명은, 패턴이 눈의 움직임에 따라 시프트한다는 점을 제안한다.

따라서, 본 발명은, 비디오 화상의 시퀀스에 적어도 하나의 안티-카피 패턴을 디스플레이하기 위한 화상 처리 방법에 관한 것으로서, 각각의 비디오 화상은 행 및 열로 배열된 복수의 픽셀을 포함하고, 상기 패턴은 상기 화상으로부터 선택된 픽셀의 세트를 포함하며, 각각의 픽셀은 각각의 화상에서 사전설정된 세기로 디스플레이되며, 상기 패턴은 선택된 픽셀의 세기를 상기 픽셀의 사전설정된 세기에 대하여 일시적으로 조정하여, 상기 시퀀스의 화상이 움직이지 않는 경우에는 사람의 눈에 보이지 않게 하고, 상기 화상을 디스플레이하는 동안 영상을 취하여 상기 화상이 카피 되는 경우에는 아티팩트를 생성하게 하며, n개(n은 2 이상) 연속하는 화상의 시퀀스로 이루어진 적어도 하나의 그룹의 화상 간의 모션을 평가하고, 상기 패턴은 이 그룹에 대해 평가된 모션에 따라 상기 그룹에 대해 모션 보상되는 것을 특징으로 한다.

따라서, 눈은 패턴의 동일한 픽셀을 통합하며, 화상의 이 그룹에 대한 패턴을 더 이상 인지하지 않을 것이다.

제1 실시예에 따르면, 모션은 시퀀스의 모든 화상에 대해서 평가하고, 패턴은 평가된 모션을 따르는 방식으로 모션 보상된다. 다음으로, 평가된 모션에 따라 패턴이 움직인다. 패턴이 화상의 에지(edge)에 도달하는 경우, 패턴은 패턴의 초기 위치에 재배치되거나, 화상의 반대쪽 에지 상에 재배치된다.

모션 보상되는 경우에 패턴이 화상의 에지에 도달하는 것을 방지하기 위하여, 제2 실시예에 따르면, 시퀀스의 화상 간의 모션은 n개 연속하는 화상의 그룹에서 평가하고, 패턴은 이 그룹에 대해 평가된 모션에 따라 그룹 각각에서 모션 보상된다. n개 화상의 그룹 각각의 제1 화상에 대한 패턴의 위치는 동일하다. 정수 n이 매우 큰, 예를 들어 2 내지 5인 경우와, 패턴이 그룹의 제1 화상을 위한 화상의 중심에 위치하는 경우, 패턴이 모션 보상될 때 화상의 에지에 패턴이 도달하는 확률이 낮아지므로, 이러한 경우에는 패턴을 재배치할 필요가 없다.

유익하게도, 화상의 시퀀스에서 샷의 변화를 검출하고, 샷의 변화가 검출되는 경우, 패턴의 형상 및/또는 위치는 갱신한다. 패턴은, 예를 들어 화상의 에지 중 하나에 재배치한다.

또한, 시퀀스 내 새로운 화상 존의 존재를 검출하기 위한 또 다른 검출 단계를 제공할 수 있다. 유익하게도, 화장 존 내 새로운 패턴은 검출된 새로운 화상 존 각각에서 생성된다.

또한, 본 발명은 비디오 화상의 시퀀스를 처리하기 위한 디바이스에 관한 것으로서, 각각의 비디오 화상은 행 및 열로 배열된 복수의 픽셀을 포함하고, 각각의 픽셀은 각각의 화상에서 사전설정된 세기로 디스플레이된다. 디바이스는,

상기 비디오 화상 각각에서의 픽셀의 적어도 하나의 패턴에 속하는 컨트롤 신호-상기 컨트롤 신호는 상기 패턴의 픽셀 세기를 상기 픽셀의 사전설정된 세기에 대하여 일시적으로 조정하여, 상기 화상이 움직이지 않는 경우에는 상기 패턴을 사람의 눈에 보이지 않게 하는 반면, 상기 화상을 디스플레이하는 동안 영상을 취하여 상기 화상이 카피 되는 경우에는 아티팩트를 생성하게 함-를 생성할 수 있는 패턴 생성기,

상기 컨트롤 신호를 수신하고, 상기 컨트롤 신호에 따라 상기 시퀀스 내 상기 비디오 화상 각각의 픽셀 세기를 변경하기 위한 수단

을 포함하며,

n개(n은 2 이상) 연속하는 화상의 시퀀스로 이루어진 적어도 하나의 그룹의 화상 간의 모션을 평가하기 위한 모션 평가기, 및 상기 평가된 모션에 따라 상기 그룹의 패턴에 대한 상기 컨트롤 신호를 변경하는 방식으로 모션 보상하기 위한 제2 수단을 더 포함하는 것을 특징으로 한다.

본 발명의 제1 실시예의 경우, 모션 평가기는 시퀀스의 화상 세트의 모션을 평가하고, 제2 수단은 평가된 모션에 따라 패턴에 대한 컨트롤 신호를 변경한다.

본 발명의 제2 실시예의 경우, 모션 평가기는 n개 연속하는 화상의 그룹 내 시퀀스의 화상의 모션을 평가하고, 제2 수단은 패턴에 대한 컨트롤 신호를 변경하여, 이 그룹에 대해 평가된 모션에 따라 화상의 그룹 각각에 대한 패턴을 모션 보상한다.

유익하게도, 화상의 시퀀스에서의 샷의 변화를 검출하기 위한 제1 검출 수단-상기 제1 수단은 패턴 생성기에 연결함-을 본 디바이스에 추가하여, 샷의 변화가 검출되는 경우, 패턴 생성기는 패턴의 형상 및/또는 위치를 갱신한다.

또한, 유익하게도 시퀀스 내 새로운 화상 존의 존재를 검출하기 위한 제2 검출 수단-상기 제2 검출 수단은 패턴 생성기에 연결함-을 본 디바이스에 추가하여, 새로운 화상 존이 검출되는 경우, 새로운 패턴을 화상 존 내에 생성한다.

첨부한 도면을 참조하면서 한정되지 않는 예로서 후속하는 설명을 판독함으로써 본 발명을 좀더 이해하게 될 것이다.

본 발명에 따르면, 화상의 적어도 일부분에 대하여 디스플레이된 패턴은 화상 내에서 모션 보상되며, 평가된 모션을 따른다. 패턴은 픽셀의 임의의 세트이다. 패턴은, 캠코더에 의해 패턴이 촬영되는 경우, 조정에 의해 보게 되는 메시지를 정의할 수 있다.

제1 실시예에 따르면, 화상의 세트에 대해 모션이 평가되고, 각 화상에 있어서, 패턴은 순서 상 앞에 있는 화상 또는 또 다른 이전 화상에 대하여 모션 보상한다.

도 1은 이 실시예의 단계를 보여준다. 제1 단계(100)는, 이전 화상에 관한 시퀀스의 각 화상에 대한 모션 평가를 실행한다. 모션은, 본 기술 분야의 숙련자에게 잘 알려진 종래의 절차로 평가한다. 제2 단계(200)에서, 각 화상에 대해 평가된 모션을 패턴의 픽셀 각각에 적용하는데, 제1 화상을 위한 패턴의 위치 및 형상은 사전정의한다. 그 후, 단계(300)에서 제1 화상 내 패턴이 조정된다. 시퀀스의 제1 화상의 경우, 평가된 모션은 0이고, 패턴은 제1 화상 내에 멈추어 있는 것처럼 조정된다. 제2 화상의 경우, 이 화상에 대해 단계(100)에서 평가된 모션은, 시퀀스가 움직이는 신을 표현하는 경우에는 0이 아니다. 패턴은 단계(200)에서 모션 보상되고, 제2 화상은 단계(300)에서 모션 보상된 패턴에 의해 조정된다. 이 프로세스는, 패턴이 화상을 빠져나갈 때까지 화상에서 화상으로 반복된다. 다음으로, 패턴은 화상의 에지(edge) 중 하나에 바람직하게 재배치되거나, 패턴의 초기 위치에 리셋(reset)된다.

유익하게도, 패턴의 형상 및/또는 위치는, 촬영된 신에서의 샷(shot)의 변화가 검출되는 경우에 갱신된다. 이러한 개선을 도 2에서 나타낸다. 모션 평가(100)를 수행하기 전에, 샷 변화 검출 단계(80)를 수행한다. 샷의 변화를 검출한 경우, 패턴의 형상 및/또는 위치를 단계(90)에서 변경한다. 이 검출 단계는 모션 평가기에 의해 실시될 수 있다.

디스플레이되는 화상 내에 새로운 존이 출현하는지를 검출하는 단계에서, 이러한 존에 새로운 패턴이 추가되는지를 또한 검출할 수도 있다. 패턴을 검출(110) 및 추가(120)하는 단계 각각은, 도 2의 변형 실시예에 존재한다.

제2 실시예에 따르면, 화상 간의 모션은 화상 그룹에서 평가되고, 이 그룹에 대해 평가된 모션에 의해 화상 그룹 각각에서 패턴이 모션 보상된다. 따라서, 패턴은 화상 그룹 각각의 시작 시 패턴의 초기 위치에 복귀한다.

이 실시예의 모드를 도 3에서 나타낸다. 이 도면은, 제1 단계(100')에서 시퀀스의 n개 연속하는 화상의 각 그룹에 대한 모션 평가를 실행한다는 점에서 도 2와 다르다. 이러한 그룹 각각에 있어서, 이전 화상에 대한 화상의 모션이 평가된다. 그 다음, 도 2에서와 같이, 각 화상에 대해 평가된 모션은 단계(200)에서 패턴의 픽셀 각각에 적용되고, 패턴은 단계(300)에서 시퀀스의 화상 내에서 조정된다.

이 제2 실시예는, 소정의 방향(오른쪽)으로 일정한 속도로 움직이는 회색 자동차를 보여주는 6개 화상의 시퀀스를 표현한 도 4에서 나타낸다. 바닥의 표시는 각 화상에서의 자동차 위치를 나타낸다. 제1 화상에서, 자동차는 위치 1에 있다. 제2 화상에서, 자동차는 위치 2에 있다. 모션은 2개 화상의 각 그룹에서 평가한다. 화상의 시퀀스 내 조정 패턴은 단어 "copy"이다. 그 단어는 자동차의 회색 문 전반에 인레이(inlay)되어 검은색과 흰색 간에서 교차하므로, 눈은 자동차의 회색에 대응하는 회색을 인지한다. 이 패턴은 2개 화상의 각 그룹에서 모션 보상한다. 번호 1, 3 및 5 화상에서, 이 단어는 화상 내 동일한 위치, 즉 화상의 중심에 위치한다. 번호 2, 4 및 6 화상에서, 이 단어는, 각 그룹에 대해 평가된 변위 값에 대응하는 양만큼 오프셋 한다. 현재의 경우, 자동차의 속도가 일정하기 때문에, 단어 "copy"는 각 화상에서 동일한 양만큼 오프셋 한다.

물론, 이 실시예는 3개 이상의 연속하는 화상의 그룹에 적용할 수도 있다. 패턴이 화상의 에지에 도달하는 경우에 패턴을 재배치하지 않는 장점을 갖는다.

패턴의 갱신을 위한 샷 변화의 검출 및 새로운 패턴의 추가를 위한 새로운 화상의 검출은, 이 실시예에서 가능하게 실시할 수도 있다.

본 발명의 방법을 실시할 수 있는 디바이스는 도 5에서 나타낸다.

모션 평가기(400)는 초기 화상의 시퀀스를 수신하여, 화상 그룹 또는 화상 세트의 화상 각각에 대하여, 시퀀스 내 이전 화상에 관한 화상의 모션을 특징짓는 모션 벡터의 세트를 계산한다. 이러한 모션 벡터는 패턴 모션 보상 디바이스(420)에 공급한다. 또한, 패턴 모션 보상 디바이스(420)는 패턴 생성기(410)에서 생성된 컨트롤 신호 형태의 패턴을 수신한다. 이러한 컨트롤 신호는 화상 픽셀의 세기를 평균 값에 대하여 일시적으로 조정하여, 적어도 하나의 패턴을 시퀀스의 화상 내에 형성한다. 디바이스(420)는 평가기(400)에 의해 계산된 모션 벡터에 따라 컨트롤 신호를 변경하여 화상 조정기(430)에 전송한다. 초기 화상의 시퀀스도 조정기(430)에 전송한다. 화상 조정기(430)는 모션 보상 명령 신호에 따라 시퀀스의 화상을 조정하고, 패턴이 모션 보상되는 최종 화상의 시퀀스를 출력한다.

유익하게도, 모션 평가기(400)를 사용하여 화상의 시퀀스에서의 샷의 변화를 검출한다. 샷의 변화를 검출하자마자, 모션 평가기(400)는 명령 신호를 패턴 생성기(410)에 송신하여, 패턴 또는 인레이된 패턴의 형상 및/또는 위치를 갱신한다. 또한, 모션 평가기(400)는 시퀀스의 화상 내 새로운 존의 존재를 검출하여, 그 새로운 존에 패턴을 추가하기 위해 사용할 수도 있다.

본 발명은, 패턴이 모션 보상함으로써, 디스플레이되는 화상의 시퀀스가 움직이는 신(scene)을 포함하는 경우, 픽셀 간의 시각적인 합이 더 이상 정확하지 않아서 패턴이 보이게 된다는 점을 방지한다.

Claims

비디오 화상의 시퀀스에 적어도 하나의 안티-카피 패턴을 디스플레이하기 위한 화상 처리 방법으로서,

각각의 비디오 화상은 행 및 열로 배열된 복수의 픽셀을 포함하고,

상기 패턴은 상기 화상으로부터 선택된 픽셀의 세트를 포함하며,

각각의 픽셀은 각각의 화상에서 사전설정된 세기로 디스플레이되며,

상기 패턴은 선택된 픽셀의 세기를 상기 픽셀의 사전설정된 세기에 대하여 일시적으로 조정하여, 상기 시퀀스의 화상이 움직이지 않는 경우에는 사람의 눈에 보이지 않게 하고, 상기 화상을 디스플레이하는 동안 영상을 취하여 상기 화상이 카피 되는 경우에는 아티팩트를 생성하게 하며,

n개(n은 2 이상) 연속하는 화상의 시퀀스로 이루어진 적어도 하나의 그룹의 화상 간의 모션을 평가하고, 상기 패턴은 상기 평가된 모션에 따라 상기 그룹에 대해 모션 보상되는 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서,

상기 모션은 상기 시퀀스의 모든 화상에 대해서 평가하고(100), 상기 패턴은 상기 평가된 모션을 따르는 방식으로 모션 보상(200)되는 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서,

상기 시퀀스의 화상 간의 모션은 n개 연속하는 화상의 그룹에서 평가하고(100'), 상기 패턴은 이 그룹에 대해 평가된 모션에 따라 상기 그룹 각각에서 모션 보상(200)되는 것을 특징으로 하는 화상 처리 방법.
제3항에 있어서,

상기 n은 2 내지 5인 것을 특징으로 하는 화상 처리 방법.
제2항 내지 제4항 중 한 항에 있어서,

상기 화상의 시퀀스에서 샷의 변화를 검출하고(80), 상기 패턴의 형상 및/또는 위치는, 상기 샷의 변화가 검출되는 경우에 갱신하는(90) 것을 특징으로 하는 화상 처리 방법.
제2항 또는 제3항에 있어서,

상기 시퀀스 내 새로운 화상 존의 존재를 검출하는 단계(110)를 포함하고, 새로운 화상 존이 검출되는 경우, 새로운 패턴을 상기 화상 존 내에 생성하는(120) 것을 특징으로 하는 화상 처리 방법.
비디오 화상의 시퀀스를 처리하기 위한 디바이스로서,

각각의 비디오 화상은 행 및 열로 배열된 복수의 픽셀을 포함하고,

각각의 픽셀은 각각의 화상에서 사전설정된 세기로 디스플레이되며,

상기 디바이스는,

상기 비디오 화상 각각에서의 픽셀의 적어도 하나의 패턴에 속하는 컨트롤 신호-상기 컨트롤 신호는 상기 패턴의 픽셀 세기를 상기 픽셀의 사전설정된 세기에 대하여 일시적으로 조정하여, 상기 화상이 움직이지 않는 경우에는 상기 패턴을 사람의 눈에 보이지 않게 하는 반면, 상기 화상을 디스플레이하는 동안 영상을 취하여 상기 화상이 카피 되는 경우에는 아티팩트를 생성하게 함-를 생성할 수 있는 패턴 생성기(410),

상기 컨트롤 신호를 수신하고, 상기 컨트롤 신호에 따라 상기 시퀀스 내 상기 비디오 화상 각각의 픽셀 세기를 변경하기 위한 제1 수단(430)

을 포함하며,

n개(n은 2 이상) 연속하는 화상의 시퀀스로 이루어진 적어도 하나의 그룹의 화상 간의 모션을 평가하기 위한 모션 평가기(400), 및

상기 평가된 모션에 따라 상기 그룹의 패턴에 대한 상기 컨트롤 신호를 변경하는 방식으로 모션 보상하기 위한 제2 수단(420)

을 더 포함하는 것을 특징으로 하는 디바이스.
제7항에 있어서,

상기 모션 평가기(400)는 상기 시퀀스의 화상 세트의 모션을 평가하고, 상기 제2 수단(420)은 상기 평가된 모션에 따라 상기 패턴에 대한 컨트롤 신호를 변경하 는 것을 특징으로 하는 디바이스.
제7항에 있어서,

상기 모션 평가기(400)는 n개 연속하는 화상의 그룹 내 상기 시퀀스의 화상의 모션을 평가하고, 상기 제2 수단(420)은 상기 패턴에 대한 컨트롤 신호를 변경하여, 이 그룹에 대해 평가된 모션에 따라 상기 화상의 그룹 각각에 대한 상기 패턴을 모션 보상하는 디바이스.
제8항 또는 제9항에 있어서,

상기 화상의 시퀀스에서의 샷의 변화를 검출하기 위한 제1 검출 수단-상기 제1 검출 수단은 상기 패턴 생성기에 연결함-을 더 포함하여, 상기 샷의 변화가 검출되는 경우, 상기 패턴 생성기는 상기 패턴의 형상 및/또는 위치를 갱신하는 것을 특징으로 하는 디바이스.
제8항 내지 제10항 중 한 항에 있어서,

상기 시퀀스 내 새로운 화상 존의 존재를 검출하기 위한 제2 검출 수단-상기 제2 검출 수단은 상기 패턴 생성기에 연결함-을 더 포함하여, 상기 새로운 화상 존이 검출되는 경우, 새로운 패턴을 상기 화상 존 내에 생성하는 것을 특징으로 하는 디바이스.