KR20030008150A

KR20030008150A - 단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및비디오 오브젝트들의 인식

Info

Publication number: KR20030008150A
Application number: KR1020027011851A
Authority: KR
Inventors: 제라르 드한; 림머트 비. 위테브루드
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-01-11
Filing date: 2002-01-04
Publication date: 2003-01-24
Also published as: US20020131499A1; US6937655B2; CN1456015A; JP2004518341A; EP1352528A1; WO2002056597A1

Abstract

일련의 연속된 필드들을 갖는 필름물의 화상 반복 모드를 검출하는 방법 및 장치에 있어서, 상기 장치는 처리 수단 및 메모리(M)를 포함하고,

상기 처리 수단은,

상기 필름물에 대해 움직임 파라미터 패턴을 확립하는 단계; 상기 패턴을 상기 메모리(M)에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계; 선행하는 단계의 결과를 이용하여 상기 화상 반복 모드를 결정하는 단계를 실행하도록 배열되고,

상기 연속된 필드들 내의 복수의 서로 다른 오브젝트들을 식별하는 단계로서, 하나의 오브젝트는 단일 움직임 모델로 설명될 수 있는 상기 연속된 필드들의 이미지 일부로서 규정되는 복수의 서로 다른 오브젝트들을 식별하는 단계;

다음 단계들을 실행하는 단계로서,

상기 연속된 필드들 내의 상기 오브젝트들의 각각의 하나에 대해 움직임 파라미터 패턴을 확립하는 단계; 상기 움직임 파라미터 패턴을 상기 메모리에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계; 선행 단계의 결과를 이용하여 상기 오브젝트들의 각각의 하나에 대해 상기 화상 반복 모드를 결정하는 단계를 실행하는 단계를 실행하도록 배열되는 것을 특징으로 하는 처리 수단을 포함하는, 화상 반복 모드 검출 장치에 관련된다.

Description

단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및 비디오 오브젝트들의 인식{RECOGNIZING FILM AND VIDEO OBJECTS OCCURRING IN PARALLEL IN SINGLE TELEVISION SIGNAL FIELDS}

US-A-5,734,735에서 일련의 비디오 이미지들을 분석하는 방법 및 시스템이 설명된다. 이러한 비디오 이미지들을 생성하기 위해 사용되는 프로덕션 미디어의 타입들이 검출된다. 일련의 비디오 이미지들 각각은 공간 정보(spatial information)를 계속 유지하기 위해 일련의 셀들(cells)로 분할된다(segmented). 상기 공간 정보는 프로덕션 미디어의 타입을 검출하기 위해 사용된다. 서로 다른 소스들(sources)로부터 오고 단일 이미지를 형성하기 위해 믹싱된(mixed), 하나의 이미지 내의 서로 다른 씬들(scenes)에 대한 프로덕션의 타입들을 검출하는 어떤 기술도 공개되지 않는다.

US-A-6,014,182는 또한 동화상 필름 소스들(motion picture film sources)을 검출하기 위한 방법들에 관한 것이다. 그러한 검출은 라인 더블러(line doubler)들, 텔레비전 표준 컨버터들, 텔레비전 슬로우 모션 처리 및 비디오 압축과 같은몇몇 환경들에서 유용할 수 있다. 예를 들어, 60Hz NTSC 텔레비전 신호는 그것의 소스로서 24 frame/sec 동화상 필름을 갖는다. 그러한 방식에서, 3-2 풀-다운 비(pull-down ratio)가 사용된다. 즉, 3개의 비디오 필드들은 어떤 하나의 필름 프레임으로부터 오고 반면에 다음 2개의 비디오 필드들은 다음 필름 프레임으로부터 오는 것 등이다. 예를 들어, 후속하는 비디오 필드들 A,B,C,D,E를 호출하는 경우, 3-2 풀-다운 비는 AAABBCCCDDEEE와 같을 것이다. 당업자에게 알려지다시피, 다른 소스들은 2-2 풀 다운 비를 갖거나 또는 비디오 카메라에 관련된다. 그래서, 연속된 필드들을 비교하는 것은 사용된 동화상 소스에 대한 정보를 산출한다.

US-A-5,365,280은 서로 다른 필드들에 대해 서로 다른 움직임 벡터들을 사용할 것을 제안하고, 필드들이 영화-필름(movie-film)에 관한 것인지 또는 비영화-필름(non movie-film)에 관한 것인지의 표시로서 텔레비전 수신기에 의해 사용될 수 있는 화상 신호 처리 모드 제어 신호를 발생시키도록 제안한다.

움직임 추정 알고리즘들(motion estimation algorithms)은 M.Tekalp 저 "Digital Video Processing", Prentice Hall, ISBN 0-13-190075-7에서 발견될 수 있다. 오브젝트에 기초한 움직임 추정 방법들의 개요는 Paolo Vicari에 의해 Politecnico di Milano에 대한 논문, no.598034 "Representation and regularization of motion fields with region-based models"에서 주어진다.

본 발명은 필름물(film material)에서 동화상 필름 소스들(motion picture film sources)을 검출하는 분야에 관한 것이다.

본 발명을 예시하도록 의도될 뿐 그것의 범위를 한정하도록 의도되지 않는 몇몇 도면들을 참조하여 이제 본 발명이 설명될 것이다. 상기 범위는 오직 첨부된 청구 범위에 의해서만 한정된다.

도1은 다중 파라미터 추정기 및 세그멘테이션 장치의 블록 다이아그램.

도2A, 2B, 2C, 2D는 파라미터 추정기들이 그들의 파라미터들을 최적화하는 관심점들을 선택하는 과정을 예시하는 텔레비전 스크린 사진들.

도3A, 3B, 3C, 3D는 세그멘테이션의 과정을 예시하는 텔레비전 스크린 사진들.

지금까지, 선행기술은 단일 동화상 소스로부터 유래한 필드들을 갖는 필름들이나 둘 또는 그이상의 서로 다른 동화상 소스들로부터 유래한 연속된 필드들을 갖는 필름들의 동화상 소스들을 검출하는 데 집중하여 왔다. 그러나, 증가하는 수의 필름들은 서로 다른 동화상 소스들로부터 유래한 필드들 내의 이미지들의 혼합들을 포함한다. 위에서 논의된 선행 기술 중 어떤 것도 필름의 필드들 내의 개개의 이미지들의 화상 반복 모드(picture repetition mode)를 검출할 수 없다. 그러나 예를 들어, 화상 속도 변환(picture rate conversion)의 애플리케이션들에서, 필드들 내의 개개의 이미지들의 기원(origin)의 표시는 알려져야 한다. 더 구체적으로, 디-인터레이싱(de-interlacing) 및 필름 저더 제거(film judder removal)를 최적으로 수행하도록 비디오가 필름물로부터 유래하는지를 아는 것이 필요하다.

그래서, 필드들 내의 개개의 오브젝트들의 화상 반복 모드를 검출하는 것을 허용하는 장치 및 방법을 제공하는 것이 본 발명의 목적이다. 본 문맥에서, "오브젝트"("object")는 필드 내의 개개의 이미지의 부분이 될 것이다. "오브젝트"는 단일 움직임 모델(single motion model)로 기술될 수 있는 이미지 부분으로서 규정된다. 그러한 "오브젝트"는 반드시 1인의 사람의 화상과 같은 하나의 "물리적" 오브젝트로 이루어질 필요는 없다. 하나의 오브젝트가 예를 들어, 사람 및 자전거의 움직임이, 근본적으로, 동일 움직임 모델로 기술될 수 있는 자전거 위에 앉아 있는 사람과 같이 하나 이상의 물리적 오브젝트에 관련되어도 무방하다. 한편으로는, 이러한 방법으로 식별된 오브젝트들은 하나의 단일 필름 소스로부터 유래한 하나의 단일 이미지에 속한다는 것을 확실히 예상할 수 있다.

본 발명의 목적을 얻기 위해, 본 발명은,

일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 방법으로서,

상기 필름물에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 패턴을 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행하는 단계의 결과를 이용하여 상기 화상 반복 모드를 결정하는 단계를 포함하는 상기 화상 반복 모드 검출 방법에 있어서,

상기 연속된 필드들 내의 복수의 서로 다른 오브젝트들을 식별하는 단계로서, 하나의 오브젝트는 단일 움직임 모델로 기술될 수 있는 상기 연속된 필드들의 이미지 부분으로서 규정되는, 복수의 서로 다른 오브젝트들을 식별하는 단계;

다음 단계들을 수행하는 단계로서,

상기 연속된 필드들 내의 상기 오브젝트들의 각각의 하나에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 움직임 파라미터 패턴을 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행 단계의 결과를 이용하여 상기 오브젝트들의 각각의 하나에 대해 상기 화상 반복 모드를 결정하는 단계를 수행하는 단계를 포함하는 것을 특징으로 하는, 화상 반복 모드 검출 방법을 제공한다.

그래서, 본 발명에 따라, 필름 모드를 검출하기 전에, 텔레비전 신호의 필드들이 세그멘테이션 기술(segmentation technique)을 통해 서로 다른 오브젝트들로 나누어진다. 그렇게 하는 어떤 알려진 기술이 그러한 목적을 위해 사용될 수 있다. 그리고 나서, 각각의 개개의 오브젝트의 필름 모드가 검출된다. 어떤 알려진 필름모드 검출 기술이 그러한 목적을 위해 사용될 수 있다.

바람직하게는, 움직임 파라미터 추정 기술이 또한 사용된다.

지금까지, 발명자들이 알다시피, 그 누구도 믹싱(mixing) 때문에 서로 다른 소스들로부터 유래한 서로 다른 이미지 부분들(오브젝트들)을 식별하기 위해 움직임 파라미터 추정의 기술을 사용하려고 시도하지 않았다.

본 발명은 또한,

일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 장치로서,

상기 장치는 처리 수단 및 메모리(M)를 포함하고,

상기 처리 수단은,

상기 패턴을 상기 메모리(M)에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행하는 단계의 결과를 이용하여 상기 화상 반복 모드를 결정하는 단계를 실행하도록 배열된, 상기 화상 반복 모드 검출 장치에 있어서,

상기 처리 수단은,

다음 단계들을 수행하는 단계로서,

상기 움직임 파라미터 패턴을 상기 메모리에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행 단계의 결과를 이용하여 상기 오브젝트들의 각각의 하나에 대해 상기 화상 반복 모드를 결정하는 단계를 수행하는 단계를 실행하도록 배열되는 것을 특징으로 하는, 화상 반복 모드 검출 장치에 관련된다.

그러한 장치는, 유리하게는, 칩(chip) 상에 구현될 수 있다. 칩 자체 뿐만 아니라 그러한 칩을 포함하는 텔레비전이 또한 본 발명의 청구 범위에 포함된다.

본 발명은 또한,

컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 있어서,

상기 컴퓨터 프로그램 제품은 일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 명령들(instructions)을 포함하고, 상기 장치는 처리 수단 및 메모리(M)를 포함하고,

상기 컴퓨터 프로그램 제품은 로딩된 후 상기 처리 수단에게,

선행하는 단계의 결과를 이용하여 상기 화상 반복 모드를 결정하는 단계를 실행할 수 있는 능력을 제공하고,

상기 처리 수단이,

다음 단계들을 수행하는 단계로서,

상기 움직임 파라미터 패턴을 상기 메모리(M)에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행 단계의 결과를 이용하여 상기 오브젝트들의 각각의 하나에 대해 상기 화상 반복 모드를 결정하는 단계를 수행하는 단계를 실행하도록 배열되는 것을 특징으로 하는,상기 컴퓨터 프로그램 제품에 관련된다.

서론

이후로는, 씬에서 개개의 오브젝트들의 필름 모드를 검출하는 방법이 제안된다. 그를 위해, 무엇보다, 씬에서 개개의 오브젝트들을 식별하는 방법이 설명된다. 개개의 오브젝트들은 움직임 추정에 의해 식별된다. 즉, 동일한 움직임 모델로 기술될 수 있는 씬의 그러한 부분들은 씬에서 동일한 오브젝트에 속하는 것으로서 식별된다. 움직임 추정기들은 선행 기술, 예를 들어, [1], [3], [4], [5], 및 [6]으로부터와 같은 것으로 알려져 있다. 이러한 레퍼런스들 중, [1]은 이미지 세그멘테이션을 적용할 필요 없이 어떤 씬에서 오브젝트들을 식별하도록 허용하는 움직임 추정기를 설명한다.

본 발명에 대해서는, 소비자 전자 애플리케이션에 적합한 계산적 복잡성을 갖고, 화상 속도 변환에 적합하도록 설계된, 즉, [5,6]에 견줄만한 움직임 추정기가 선호된다.

일찍이 [1]에 설명된 오브젝트 움직임 추정기의 가장 인상적인 특징은, 다른 선행 기술 오브젝트 움직임 추정기들과 같이 모델 파라미터들의 추정에 선행하여 이미지를 오브젝트들로 세그멘테이션하는 데에 어떤 노력도 기울여지지 않는다는 것이다. 기본적으로, 상대적으로 작은 수의 관심 이미지 부분들이 선택되고, 많은 병렬 움직임 모델 파라미터 추정기들이 그들의 파라미터들을 이러한 데이터 세트 상에서 최적화하기 위해 노력하고 있다. 상기 추정기들 중 어느 하나가 임의의 수의 관심 이미지 부분들에서 또 다른 것보다 더 성공적이라면, 즉시 그것은 그러한 부분들에 초점 맞추어진다. 반면에 나머지 추정기들은 다른 부분들에 초점 맞추어진다. 간단히 말해서: 개개의 추정기들은 총 이미지를 "오브젝트들"로 나누어서 서로로부터 이미지 부분들을 정복하려고 노력한다. 이러한 선행 기술 오브젝트 움직임 추정기는 실시간 오브젝트에 기초한 움직임 추정을 허용하고 본 발명의 필름 검출 기술에서 유리하게 사용될 수 있다.

기본적으로, 실제 이미지들에 있어서 블록들보다 더 적은 오브젝트들을 기대하기 때문에, 이미지의 과도한 세그멘테이션에 어떤 노력도 낭비하지 않는 그러한 오브젝트에 기초한 움직임 추정기는 동작들 카운트에 있어서 블록에 기초한 움직임 추정기와 경쟁할 수 있어야 한다. 블록 기초 상의 후보 벡터들(candidate vetors)의 값계산에 견줄만한 노력이 요구되는 것은 오직 오브젝트들로의 이미지 부분들의 할당에서 뿐이다. 만일 오브젝트들의 수가 후보 벡터들의 수를 너무 많이 초과하지 않는다면, 오브젝트에 기초한 움직임 추정기의 부담은 무시될 수 있다. 오브젝트 당 움직임은 매우 단순한 파라메트릭 모델들(parametric models)로 기술될 수 있다는 것이 여기에서 예상된다.

다음의 서브섹션들에서, 우리는 사용되는 바람직한 움직임 모델, 움직임 모델 파라미터들의 추정, 사용되는 바람직한 비용 함수, 세그멘테이션 과정 및 씬 내의 개개의 오브젝트들에 대한 필름 모드 검출을 설명할 것이다.

움직임 모델

복잡성을 낮게 유지하기 위해, 각각의 오브젝트o의 움직임은병진(translation) 및 비례 축소(scaling)만을 기술할 수 있는 단순한 1차 선형 모델에 의해 기술된다. 예를 들어 회전을 포함하는 모델들과 같은 더 복잡한 파라메트릭 움직임 모델들이 당업자에게 알려져 있다. 그리고 그러한 모델들은 제안된 알고리즘과 조합하여 실제로 적용될 수 있다. 그러나 여기에서는 논외로 할 것이고, 그러한 복잡한 모델들을 진부하게 만드는 섬세한 개량을 소개할 것이다.

사용되는 모델은:

(1)

인덱스 n을 갖는 이미지에서의 위치에서 오브젝트o의 위치 벡터에 대해를 사용한다.는 픽셀 위치들과 관련된다는 것이 관찰된다.

파라미터 추정

움직임 모델이 주어지면, 다음으로 그것의 파라미터들은 이미지에 있는 주어진 오브젝트에 대해 최적화될 필요가 있다. 정지 이미지 부분들은 거의 매 시퀀스마다에서 발생하기 때문에, 우리는 '오브젝트o,o>0'의 존재를 예상할 수 있고, 그에 대한 움직임은, 영 벡터로 기술된다. 명백하게 어떤 추정 노력도 이것을이용가능하도록 만들기 위해 요구되지 않는다. 부가적인 오브젝트들o,o>0의 파라미터 벡터들은 도1에 도시된 바와 같이 별개로, 병렬로, 그들의 각각의 파라미터 추정기들(PE_m, m=1,2,...,M)에 의해 추정된다.

도1은 데이터 감소 유닛(DRU : data reduction unit)의 출력에 병렬로 연결된 복수의 파라미터 추정기들(PE_m(n))을 갖는 장치의 블록 다이아그램을 도시한다. DRU는 만들어진 계산들에서 사용될 관심 이미지 픽셀들의 세트를 선택하도록 배열된다. DRU로의 입력들은 시간 n에서의 이미지 및 시간 n-1에서의 상기 이미지이다. PE_m(n)의 출력들의 각각은 세그멘테이션 유닛(SU : segmentation unit)에 연결된다.

바람직하게는, 이하에서 설명되는 바와 같은 재귀적 동작(recursive operation)을 그들은 함께 수행하기 때문에 SU의 출력은 파라미터 추정기들로 피드백된다. 세그멘테이션 과정의 끝 결과는 씬의 픽셀들의 그룹들에 의해 형성되고 픽셀들의 각각의 그룹은 서로 다른 오브젝트에 속하고 그것에 서로 다른 움직임 벡터를 할당한다. 이러한 출력 데이터는 오브젝트 당 필름 소스(film source per object)의 타입을 검출하고 화상 속도 변환과 같은 서로 다른 오브젝트들 상에 예정된 작업들을 수행하도록 배열된 PU(processing unit)에 공급된다. PU는 이하에서 설명되다시피 필름 소스의 타입을 검출하도록 사용되는 예정된 움직임 파라미터 패턴들을 저장하는 메모리(M)에 연결된다. 상기 메모리(M)는 RAM, ROM, EEPROM, 하드 디스크, 등등과 같은 기존 타입의 것일 수 있다. PU의 출력은, 예를 들어, 텔레비전 스크린을 제어한다.

DRU, PE_m(n), SU 및 PU는 별개의 블록들로 도시되어 있음이 관찰된다. 이러한 블록들은 별도의 프로세서들 및 메모리들을 갖는 별개의 인텔리전트 유닛들로서 구현될 수 있다. 그러나, 당업자들에게 명백하다시피, 이러한 유닛들은 프로세서 및 적당한 소프트웨어로 로딩되는 적당한 메모리를 포함하는 범용 마이크로프로세서와 같은 단일 유닛으로 집적될 수 있다. 그러한 마이크로프로세서는 도시되지 않았지만 임의의 컴퓨터 핸드북으로부터 알 수 있다. 대안적으로, 도1에 도시된 장치는 당업자에게 알려진 바와 같이 하드 와이어 로직 유닛(hard wired logic unit)으로 구현될 수 있다. 바람직하게는, 도1에 도시된 전체 장치는 단일 패키지 안에 단일 칩으로서 캡슐에 넣어질 수도 있다. 그러한 단일 칩 패키지는 쉽게 텔레비전 장치 안에 포함될 수 있다.

각각의 PE_m(n)은 이전에 추정된 파라미터 벡터를 업데이트한다. 그후 비용 함수에 따라서 가장 좋은 파라미터 후보 벡터는 그러한 오브젝트에 대한 결과 파라미터 벡터로서 선택된다.

식(1)의 상기 4개 파라미터 모델을 고려하면, 오브젝트o,o>0의 파라미터들은 파라미터 벡터로서 간주된다.:

(2)

그리고 우리는 우리의 작업을 우리가 뒤에 계속 되돌아갈 비용 함수의 최소 값을 갖는 것으로서 많은 후보 파라미터 벡터들로부터을 선택하는 것으로 정의한다.

바람직하게는, 상기 후보들은 [5,6]에서 이용된 전략, 즉, 예측 벡터를 취하고, 적어도 하나의 업데이트 벡터를 더하고, 오류 판단 기준에 따라 가장 좋은 후보 파라미터 벡터를 선택하는 전략에 매우 유사하게 발생된다.CS _o (n)(Candidate parameter set)은 다음과 같이 3개의 후보들을 포함한다.:

(3)

US _o (n)(update parameter set)으로부터 선택된(update parameter)을 가지고:

(4)

(i=1,2,4,8,16)

비용 함수

움직임 모델 및 어떤 후보 파라미터 세트들이 주어진다면, 우리는 주어진 오브젝트에 대한 결과로서, 비용 함수에 따라서 가장 좋은 후보를 선택할 필요가 있다. 비용 함수는 이웃하는 이미지들로부터의 움직임 보상 픽셀들과 (후보) 움직임 모델과 같이 발생된 벡터들 사이의 절대값 차이들의 합이 될 수 있다. 그러나, 우리는 움직임 모델이 할당되는 영역을 알 필요가 있다. 2개의 이슈들, 세그멘테이션 및 움직임 추정은 상호의존적이다. 하나의 오브젝트에서 움직임을 올바르게 추정하기 위해, 오브젝트가 알려져야 하고 또한 그 역이 되어야 한다.

움직임 추정 과정에서 제1 단계로서, 우리는 관심이 되는 픽셀 블록들을 갖는 세트를 정의한다. 이것들은 모든 파라메트릭 모델들의 최적화를 위한 기초로서 사용될 "관심이 되는" 이미지 부분들의 세트SI(n)을 형성한다.

이제, 개개의 파라미터 추정기들의 초점은 서로 다른 오브젝트들 상에 있어야 한다. 이를 위해, 각각의 파라미터 추정기(PE_m(n))는 세트 SI에서 규정된 관심 위치들의 동일 세트 상에서 그것의 비용 함수를 계산할 것이고, 서로 다른 위치들에 서로 다른 가중 팩터,를 줄 것이다. 여기에서,는 픽셀들의 블록의위치와 관련된다. 제안된 알고리즘은 다음과 같다.:

◆ 이전 이미지 세그멘테이션 단계에 따라 SI(n)에 있는 픽셀이 동일한 오브젝트, 즉, 동일한 파라미터 추정기에 속하는 경우에, 픽셀 값들은 예를 들어 8과 같은 1보다 큰 제1 가중 팩터와 곱해진다.

◆ 세그멘테이션이 또 다른 파라미터 추정기의 위치로 할당되는 경우 및 이러한 추정기가 로우 매치 오류들(low match errors)을 달성하는 경우에 픽셀 값들은 예를 들어 0.1과 같은 1보다 더 작은 제2 가중 팩터와 곱해진다.

도2는 자전거 타는 사람 및 움직이는 배경과 같은 단일 이동 오브젝티브를 갖는 이미지에 있는 관심이 되는 픽셀 블록들의 선택의 예를 부여한다. 이러한 선택은 DRU에 의해 실행된다. 그래서, DRU는 가장 관심이 되는 픽셀 요소들(SI)의 세트를 부여하고, 다소 싸고(적은 계산들) 효율적인 파라미터 추정으로 귀결한다. 도2는 파라미터 추정기들이 그들의 파라미터들을 최적화하는 관심이 되는 점들을 선택하는 과정을 예시하는 스크린 사진들이다. 2개의 연속된 화상들 사이의 시간적 차이 이미지는 실제로 계산되지는 않는다. 그러나 그것은 왜 벡터즉, 관심이 되는 점들을 갖는 총 세트의 높은 매치 오류들이 도3C에 도시된 위치들에 있는지를 이해하는 데 도움을 준다. 도3D에서는, 본 예에서, 어떻게 2개의 파라미터 추정기들의 초점이 관심 점들을 통해 나누어지는지를 도시한다. 즉, 도3D는 검출된 2개의 서로 다른 움직임 모델들이 있다는 것을 도시한다. 2개의 서브-세트들은 서로 다른밝기, 즉, 하나는 검게 그리고 다른 하나는 회색으로 나타난다.

이미지의 움직이는 배경은 오브젝트o=1이고, 자전거 타는 사람은 오브젝트o=2이다. 관심 블록들을 포함하는 동일한 세트 상에 모두 최적화된 2개의 파라미터 추정기들이 있다. 그러나 하나의 추정기가 어떤 영역에서 제일 좋은 것으로 세그멘테이션에서 선택되자마자 그 영역에 있는 관심이 되는 픽셀 블록은 비용 함수에서 강조된다. 잠시후, 예시된 상황으로 집중되고, 여기에서 하나의 추정기는 회색 블록들에 초점을 맞추고 또 다른 하나는 SI(n)에서 흰색 픽셀 블록들에 초점 맞춘다.

더 수학적으로 표현해서, 비용 함수는 다음과 같이 계산된다.:

(5)

여기에서은 인덱스 n을 갖는 서브-샘플된 이미지에서의 위치에서의 픽셀의 휘도 값이고,은 위치에서의 후보 모델으로부터 귀결된 벡터이다.

서브-샘플링은 효과적으로 요구되는 메모리 대역폭을 감소시킨다. 이미지들은 4개의 수평적 팩터 및 2개의 수직적 팩터로 서브-샘플링되고, 각각의 오리지날 필드 F(n)으로부터 서브-샘플링된 이미지 Fs(n)을 발생시킨다. F의 오리지날 픽셀그리드 상에서 픽셀 정확성을 달성하기 위해, 서브-샘플링 그리드 상에서 보간법(interpolation)이 요구된다.

반복적 세그멘테이션

세그멘테이션은 알고리즘에서 가장 중요한 단계이다. 그것의 임무는 하나의 움직임 모델을 각각의 픽셀들의 그룹에 할당하는 것이다. 각각의 블록에 대해서, 추정된 파라미터 벡터들,의 각각에 대응하는 블록 매치 오류,은 다음과 같이 계산될 수 있다.:

(6)

이러한 세그멘테이션이 유효한 시간적 순간은 α로서 규정된다.

우리는 예를 들어 [5]에 공개된 3-D RS 블록 매처(3-D RS block matcher)의 전략과 매우 닮은 반복적인 세그멘테이션 방법, 즉, 가장 좋은 PE_m(n)의 공간적 및 시간적 예측들을 사용하고 공간-시간적 이웃에서 발생하지 않는 PE_m(n)을 선택하는 것에 불이익을 주는 방법을 채택하였다. 수식적으로, 세그멘테이션 마스크은 가장 낮은 수정된 비용 함수을 갖는 오브젝티브o를 블록에 할당한다. 여기에서

반면에은 다음 규칙에 따라 선택된 페널티이고:

(8)

그리고

(9)

3-D RS 블록 매처 [5]에 대해 제안된 것에 유사하게, Pu는 가장 큰 페널티이고, Pt는 단지 작은 페널티이고, 반면에 왜 Ps가 단지 0이 될 수 없는지에 대한 이유가 없다. 매우 분명한 단순화는를 스캐닝 방향의 반대 방향으로 고정시키고, 필드에서 필드로 스캐닝을 번갈아 일어나게 하는 것이다. 도3A-3D는 오리지날 휘도 이미지와 오브젝트에 기초한 움직임 추정 방법에 따른 세그멘테이션의 예를 준다. 도3A-3D는 텔레비전 스크린으로부터 취해지고 세그멘테이션의 과정을 예시하는 사진들을 도시한다. 도3A는 오리지날 이미지를 도시하고 반면에 도3B-3D는 연속된 세그멘테이션 결과들을 도시한다. 명백하게, 도3A의 제1 이미지는 조잡한, 거의 랜덤한 세그멘테이션을 갖는다. 그러나, 세그멘테이션에서 그들의 영역으로의 개개의 추정기들의 초점은 급속히 유용한 세그멘테이션으로 수렴한다.: 도3D는 2개의 서로 다른 오브젝트들이 구별될 수 있음을 도시한다. 하나는 자전거 탄 사람에 관련되고 하나는 배경에 관련된다.

선행 기술 필름-모드 인식

화상에 있는 모든 오브젝트에 대한 움직임 벡터들의 계산은 별 문제로 하고, 화상 속도 변환에 있어서의 애플리케이션들은 화상 시퀀스의 기원의 지시를 요구한다. 더 구체적으로는, 디-인터레이싱(de-interlacing) 및 필름 저더 제거를 최적으로 수행하기 위해 비디오가 필름물로부터 유래하는지 아는 것이 필요하다. 더 나아가, 2-2 풀 다운 이미지물, 2-3 풀 다운 물 및 비디오 zkp라로부터의 비디오를 구별하는 것이 필요하다.

여기에서 이전에 논의된 것과 같이, 선행 기술 방법들에서, 이러한 검출은 전체적인 결정과 관련된다. 즉, 비디오 카메라 및 다양한 필름 포맷들 사이의 식별은 전체 이미지들에 대해서만 이루어 진다.

오브젝트에 기초한 움직임 추정기에 대한 [8]의 적응으로서, 신뢰할 만한 영화 검출기는 이미지의 가장 큰 영역을 오직 커버하는 파라미터 추정기에 의해 기술된 움직임을 분석하고, 명백하게 영-벡터 '추정기'를 무시함으로써 실현될 수 있다.

max(n)을 파라미터 벡터 Po(n)의 가장 큰 벡터 성분으로 정의하자(파라미터 벡터의 가장 큰 벡터 성분을 취하기 보다, 파라미터 성분들 중 하나 또는 둘 모두의 평균, 절대값, 또는 절대값의 합을 사용하는 것이 동등하고 양호하게 가능하다.). 즉,

max(n) = max{sx(o,n),sy(o,n),dx(o,n),dy(o,n)} (10)

우리는 이제 최근 히스토리 세트 RH(n)을 다음과 같이 정리한다.:

RH(n)={max(n),max(n-1),max(n-2),max(n-3),max(n-4),max(n-5),max(n-6)}

(11)

적응성 임계를 갖는 상기 것은 이진 영화 검출 세트 MD(n)으로 변환되고, 2-2 풀-다운에 대한 MD(n)은 다음과 같은 것을 줄 것이다.:

MD(n)={0,1,0,1,0,1,0} (12)

2-3 풀-다운에 대해서는 다음과 같을 것이다.:

MD(n)={0,1,0,0,1,0,1} (13)

그리고 비디오에 대해서는 다음과 같을 것이다.:

MD(n)={1,1,1,1,1,1,1} (14)

메모리 M에 저장된 한정된 수의 알려진 패턴들을 갖는 실제 세트를 비교하는 것은 영화 타입 및 위상에 대한 정보를 산출한다. 씬 차단들의 경우에, 검출기는 신뢰할 수 없는 출력을 산출하며, 이것은 움직임 보상이 더 양호하게 흥미를 주지 못한다는 것을 지시한다.

본 발명에 따른 필름-모드 인식

본 발명은 씬에서 개개 오브젝트들의 필름 모드를 검출하는 방법과 관련된다. 점점 더, 서로 다른 소스들로부터의 이미지들은 프로덕션 동안에 믹싱된다. 그래서, 우리는 오브젝트에 기초한 움직임 추정기를 적용할 것을 제안한다. 그래서 씬에서의 오브젝트들의 움직임 파라미터 추정과 함께 그것은 그들의 기원에 대해 결정한다.

이를 위해, 우리는 모든 개개 파라미터 추정기들에 의해 기술된 움직임을 분석한다.

maxo(n)을 파라미터 벡터 Po(n)의 가장 큰 벡터 성분으로 정의하자(파라미터 벡터의 가장 큰 벡터 성분을 취하기 보다, 파라미터 성분들 중 하나 또는 둘 모두의 평균, 절대값, 또는 절대값의 합을 사용하는 것이 동등하고 양호하게 가능하다.). 즉,

maxo(n) = max{sx(o,n),sy(o,n),dx(o,n),dy(o,n)} (15)

우리는 이제 최근 히스토리 세트 RHo(n)을 다음과 같이 정리한다.:

RHo(n)={maxo(n),maxo(n-1),maxo(n-2),maxo(n-3),maxo(n-4),maxo(n-5),maxo(n-6)} (16)

적응성 임계를 갖는 상기 것은 이진 영화 검출 세트 MD(n)으로 변환되고, 2-2 풀-다운에 대한 MDo(n)은 다음과 같은 것을 줄 것이다.:

MDo(n)={0,1,0,1,0,1,0} (17)

2-3 풀-다운에 대해서는 다음과 같을 것이다.:

MDo(n)={0,1,0,0,1,0,1} (18)

그리고 비디오에 대해서는 다음과 같을 것이다.:

MDo(n)={1,1,1,1,1,1,1} (19)

메모리 M에 저장된 한정된 수의 알려진 패턴들을 갖는 실제 세트를 비교하는 것은 모든 개개 오브젝트에 대한 영화 타입 및 위상에 대한 정보를 산출한다. 씬 차단들의 경우에, 검출기는 신뢰할 수 없는 출력을 산출하며, 이것은 움직임 보상이 모든 오브젝트들에 대해 더 양호하게 흥미를 주지 못한다는 것을 지시한다.

필드들 내의 개개의 오브젝트들의 화상 반복 모드를 검출하는 것을 허용하는 장치 및 방법을 제공하는 것이 본 발명의 목적이다.

본 발명은 또한 일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 처리 수단 및 메모리를 포함하는 장치와 관련된다.

본 발명은 또한 일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 인스트럭션들을 포함하는 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품과 관련된다.

참고 서면들

[1] "Motion estimation and motion compensated interpolation", WO 99/16251, G de Haan, R. J. Schutten, 및 A. Pelagotti 저.

[2] "Judder-free video on PC's", Proc. of the WinHEC '98, 1998년 3월, Orlando,(CD-ROM), de Haan 저.

[3] "An efficient true-motion estimator using candidate vectors from a parametric motion model", IEEE Tr. on Circuits and Systems for Video Technology, Vol.8, no.1, 1998년 3월, 페이지 85-91, G. de Haan 및 P.W.A.C. Biezen 저.

[4] "Real-time 2-3 pull-down elimination applying motion estimation/compensation on a programmable device", IEEE Tr. on Consumer Electronics, Vol.44, No.3, 1998년 8월, 페이지 930-938, R. J. Schutten 및 G. de Haan 저.

[5] "True Motion Estimation with 3-D Recursive Search Block-Matching", IEEE Tr. on Circuits and Systems for Video Technology, Vol.3, 1993년 10월, 페이지 368-388, G. de Haan, P.W.A.C. Biezen, H. Huijgen, 및 O. A. Ojo 저.

[6] "Sub-pixel motion estimation with 3-D recursive search block-matching", signal Processing: Image Communication 1994년 6월, 페이지 229-639,G. de Haan 및 P.W.A.C. Biezen 저.

"IC for Motion Compensated 100Hz TV, with a Smooth Motion Movie-Mode", IEEE Tr. on Consumer Electronics, vol.42, no.2, 1996년 5월, 페이지 165-174, G. de Haan, J. Kettenis, 및 B. Deloore 저.

[7] "Time-recursive de-interlacing for high-quality television receivers", Proc. of the Int. Workshop on HDTV and Evolution of Television, Taipei, Taiwan, 1995년 11월, 페이지 8B25-8B33, G. de Haan 및 P.W.A.C. Biezen 저.

[8] "Method and apparatus for discriminating between movie film and non-movie film and generating a picture signal processing mode control signal", 미국 특허 번호:US5,365,280, 1994년 11월 15일, G. de Haan, P.W.A.C. Biezen, H. Huijgen, 및 O. A. Ojo 저.

Claims

일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 방법으로서,

상기 필름물에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 패턴을 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행하는 단계의 결과를 이용하여 상기 화상 반복 모드를 결정하는 단계를 포함하는 상기 화상 반복 모드 검출 방법에 있어서,

상기 연속된 필드들 내의 복수의 서로 다른 오브젝트들을 식별하는 단계로서, 하나의 오브젝트는 단일 움직임 모델로 기술될 수 있는 상기 연속된 필드들의 이미지 부분으로서 규정되는, 복수의 서로 다른 오브젝트들을 식별하는 단계;

다음 단계들을 수행하는 단계로서,

상기 연속된 필드들 내의 상기 오브젝트들의 각각의 하나에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 움직임 파라미터 패턴을 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행 단계의 결과를 이용하여 상기 오브젝트들의 각각의 하나에 대해 상기 화상 반복 모드를 결정하는 단계를 수행하는 단계를 포함하는 것을 특징으로 하는, 화상 반복 모드 검출 방법.
일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 장치로서,

상기 장치는 처리 수단 및 메모리(M)를 포함하고,

상기 처리 수단은,

상기 필름물에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 패턴을 상기 메모리(M)에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행하는 단계의 결과를 이용하여 상기 화상 반복 모드를 결정하는 단계를 실행하도록 배열된, 상기 화상 반복 모드 검출 장치에 있어서,

상기 처리 수단은,

상기 연속된 필드들 내의 복수의 서로 다른 오브젝트들을 식별하는 단계로서, 하나의 오브젝트는 단일 움직임 모델로 기술될 수 있는 상기 연속된 필드들의 이미지 부분으로서 규정되는, 복수의 서로 다른 오브젝트들을 식별하는 단계;

다음 단계들을 수행하는 단계로서,

상기 연속된 필드들 내의 상기 오브젝트들의 각각의 하나에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 움직임 파라미터 패턴을 상기 메모리에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행 단계의 결과를 이용하여 상기 오브젝트들의 각각의 하나에 대해 상기 화상 반복 모드를 결정하는 단계를 수행하는 단계를 실행하도록 배열되는 것을 특징으로 하는, 화상 반복 모드 검출 장치.
제2 항에 있어서,

상기 처리 수단은 또한 움직임 추정 기술을 사용함으로써 상기 복수의 서로 다른 오브젝트들을 식별하도록 배열되는, 화상 반복 모드 검출 장치.
제3 항에 있어서,

상기 움직임 추정 기술을 실행하도록 병렬로 동작하는 복수의 움직임 모델 파라미터 추정기들(PEm(n))을 포함하는, 화상 반복 모드 검출 장치.
제2 항에 있어서,

상기 복수의 오브젝트들을 식별하기 위해 재귀적 세그멘테이션 방법을 수행하기 위한 세그멘테이션 유닛(SU)을 포함하는, 화상 반복 모드 검출 장치.
제2 항에 있어서,

데이터 감소 유닛(DRU)을 포함하는, 화상 반복 모드 검출 장치.
제2 항에 있어서,

상기 예정된 움직임 파라미터 패턴들은 2-2 풀-다운 모드, 3-2 풀-다운 모드, 및 비디오 모드의 필름 모드들의 세트 중 적어도 하나에 관련되는, 화상 반복모드 검출 장치.
제2 항에 있어서,

필름물 처리 단계를 실행하는 필름 처리 유닛을 포함하는, 화상 반복 모드 검출 장치.
제8 항에 있어서,

상기 필름 처리 유닛은 화상 속도 변환, 디-인터레이싱, 및 필름 저더 제거의 단계들 중 적어도 하나를 실행하도록 배열되는, 화상 반복 검출 장치.
제2 내지 제9 항 중 어느 한 항에 따른 장치가 제공된 칩.
제10 항에 따른 칩이 제공된 텔레비전 장치.
컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 있어서,

상기 컴퓨터 프로그램 제품은 일련의 연속된 필드들을 포함하는 필름물의 화상 반복 모드를 검출하는 명령들을 포함하고, 상기 장치는 처리 수단 및 메모리(M)를 포함하고,

상기 컴퓨터 프로그램 제품은 로딩된 후 상기 처리 수단에게,

상기 필름물에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 패턴을 상기 메모리(M)에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행하는 단계의 결과를 이용하여 상기 화상 반복 모드를 결정하는 단계를 실행할 수 있는 능력을 제공하고,

상기 처리 수단이,

상기 연속된 필드들 내의 복수의 서로 다른 오브젝트들을 식별하는 단계로서, 하나의 오브젝트는 단일 움직임 모델로 기술될 수 있는 상기 연속된 필드들의 이미지 부분으로서 규정되는, 복수의 서로 다른 오브젝트들을 식별하는 단계;

다음 단계들을 수행하는 단계로서,

상기 연속된 필드들 내의 상기 오브젝트들의 각각의 하나에 대해 움직임 파라미터 패턴을 확립하는 단계;

상기 움직임 파라미터 패턴을 상기 메모리(M)에 저장된 많은 수의 예정된 움직임 파라미터 패턴들과 비교하는 단계;

선행 단계의 결과를 이용하여 상기 오브젝트들의 각각의 하나에 대해 상기 화상 반복 모드를 결정하는 단계를 수행하는 단계를 실행하도록 배열되는 것을 특징으로 하는, 상기 컴퓨터 프로그램 제품.
제12 항에 따른 컴퓨터 프로그램 제품이 제공된 데이터 캐리어.