KR101012621B1 - 이미지 처리 장치 - Google Patents

이미지 처리 장치 Download PDF

Info

Publication number
KR101012621B1
KR101012621B1 KR1020080112110A KR20080112110A KR101012621B1 KR 101012621 B1 KR101012621 B1 KR 101012621B1 KR 1020080112110 A KR1020080112110 A KR 1020080112110A KR 20080112110 A KR20080112110 A KR 20080112110A KR 101012621 B1 KR101012621 B1 KR 101012621B1
Authority
KR
South Korea
Prior art keywords
field
pixel position
correlation
field pair
line
Prior art date
Application number
KR1020080112110A
Other languages
English (en)
Other versions
KR20090049034A (ko
Inventor
밍 사오
Original Assignee
르네사스 일렉트로닉스 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르네사스 일렉트로닉스 가부시키가이샤 filed Critical 르네사스 일렉트로닉스 가부시키가이샤
Publication of KR20090049034A publication Critical patent/KR20090049034A/ko
Application granted granted Critical
Publication of KR101012621B1 publication Critical patent/KR101012621B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

필드 쌍 상관 획득부는, 동일한 속성을 갖는 2개의 인접한 필드들로 형성된 각각의 필드 쌍에 대하여, 시계열에서 연속하는 6개 이상의 필드들에 대한 상관을 획득한다. 제 1 결정부는, 결정 조건에 기초하여, 입력 이미지를 2:2 풀-다운 이미지로서 결정하며, 그 결정 조건은, 하나의 속성의 필드 쌍들의 각각의 상관이 시간 방향을 따라서 변화하는 패턴이 다른 속성의 필드 쌍들의 각각의 상관이 시간 방향을 따라서 변화하는 패턴과 매칭하는 것이다.
Figure R1020080112110
2:2 풀-다운 이미지, 화소 위치, 필드, 프레임

Description

이미지 처리 장치{IMAGE PROCESSING DEVICE}
본 발명은 이미지 처리 기술에 관한 것으로, 특히 입력 이미지가 2:2 풀-다운 이미지인지 여부를 결정하는 기술에 관한 것이다.
일반적으로, 영화와 같은 필름 소스는 초당 24개의 프로그래시브 프레임들을 포함한다. NTSC (National Television System Committee) TV 신호에 대하여, 예컨대 각각의 신호는 초당 60개의 인터레이스된 필드들을 포함한다. PAL (Phase Alternating Line) TV 신호에 대하여, 예컨대 각각의 신호는 초당 50개의 인터레이스된 필드들을 포함한다. 따라서, TV 세트에 필름 소스를 브로드캐스트하기 위해, 초당 24개의 프로그래시브 프레임들은 초당 60개 또는 50개의 인터레이스된 필드들로 변환될 필요가 있다. 신호를 NTSC TV 신호로 변환하는데 사용되는 기법이 3:2 풀-다운 기법이고, 신호를 PAL TV 신호로 변환하는데 사용되는 기법이 2:2 풀-다운 기법이다.
애니메이션 또는 컴퓨터 그래픽 (CG) 과 같은 프로그래시브 이미지로서 본래 생성되고 취해진 이미지는 초당 30개의 프레임들을 포함한다. 이러한 경우에도, 신호가 NTSC TV 신호로 변환될 때에 2:2 풀-다운 기법이 또한 채용된다.
이하, 인터레이스된 필드들로 형성된 이미지는 인터레이스된 이미지라 호칭되고, 프로그래시브 이미지에 기초하여 3:2 풀-다운 기법에 의해 획득된 인터레이스된 이미지는 3:2 풀-다운 이미지라 호칭되며, 프로그래시브 이미지에 기초하여 2:2 풀-다운 기법에 의해 획득된 인터레이스된 이미지는 2:2 풀-다운 이미지라 호칭된다.
액정 텔레비전과 같은 프로그래시브 기법의 출력 장치에 의해 인터레이스된 이미지가 재생될 때, 재생 측에서는 IPC (Interlace to Progressive Conversion) 가 수행될 필요가 있다. 이러한 경우에, 인터레이스된 이미지가 본래의 인터레이스된 이미지인지 또는 풀-다운 기법에 의해 획득된 인터레이스된 이미지인지를 결정함으로써, 풀-다운 기법에 의해 획득된 인터레이스된 이미지를 고품질로 재생하는 것이 가능하다.
예컨대, 3:2 풀-다운 기법은 2개의 24 Hz 프레임들을 5개의 60 Hz 필드들로 변환한다. 더 구체적으로, 필름 소스의 2개의 연속하는 프레임들 중 제 1 프레임으로부터 3개의 필드들을 형성하기 위해 하나의 필드가 반복되고, 제 2 프레임으로부터 2개의 필드들이 형성된다. 3:2 풀-다운 기법은, 제 1 프레임으로부터 홀수 라인들을 갖는 탑 필드 (top field) 및 짝수 라인들을 갖는 바텀 필드 (bottom field) 를 추출한 후, 탑 필드를 재추출한다. 그 후, 3:2 풀-다운 기법은, 제 2 프레임으로부터 다른 바텀 필드 및 다른 탑 필드를 추출한다.
NTSC 기법과 같은 60 Hz 필드 이미지가 프로그래시브 기법에 의해 재생될 때, 재생 측이 입력 이미지를 3:2 풀-다운 이미지로서 인지할 경우에, 재생 측은 인터레이스된 필드들 중 2개의 필드들의 조합을 통해, 3:2 풀-다운 변환 이전의 완전한 프로그래시브 프레임들을 획득한다. 따라서, 재생 측은, 풀-다운 변환 이전의 이미지와 동일한 고품질을 갖는 본래의 이미지들을 획득할 수 있다 (일본 특허 공개 공보 제 2004-40815 호).
2:2 풀-다운 기법은 하나의 프레임으로부터 2개의 필드들을 추출하는 기법이다. 더 구체적으로, 도 18에 도시된 바와 같이, 2:2 풀-다운 기법은, 프로그래시브 이미지의 각각의 프레임으로부터 홀수 라인들을 갖는 탑 필드를 먼저 추출한 후, 짝수 라인들을 갖는 바텀 필드를 추출한다. 도 18에서, 음영부는 추출 동작에서 생략된 부분이다.
인터레이스된 이미지가 프로그래시브 기법에 의해 재생될 때, 재생 측이 입력 이미지를 2:2 풀-다운 이미지로서 인지할 경우에, 재생 측은 도 18의 하부에 도시된 바와 같이 탑 필드들과 바텀 필드들의 조합을 통해 본래의 프로그래시브 이미지와 동일한 이미지를 획득할 수 있다. 따라서, 재생 품질이 증가될 수 있다.
입력 이미지가 2:2 풀-다운 이미지인지 여부를 결정하는 다양한 기법들이 제안되어 왔다.
예컨대, 2:2 풀-다운 이미지가 아닌 PAL TV 이미지의 경우에, 필드들 간에 20 ms의 시간차가 존재한다. 따라서, 도 19에 도시된 바와 같이, 시간에 기초하여 서로 인접한 2개의 필드들 간의 상관은 낮다. 한편, 도 20에서, 시간에 기초하여 서로 인접한 필드들 간의 상관은, 하나의 프레임으로부터 생성된 2개의 필드들 (탑 필드 및 바텀 필드) 간의 상관이 상이한 프레임에 의해 생성된 하나의 필드와 2개의 필드들 간의 상관보다 더 높다는 사실에 기초하여 획득되어, "높고, 낮고, 높고, 낮고..."의 상관 패턴들이 반복되는 입력 이미지를 2:2 풀-다운 이미지로서 결정한다.
또한, 일본 특허 공개 공보 제 2007-129400 호는, 복수의 블록들로 필드를 분할하고, 각각의 블록에서, 연속하는 동일한 속성의 2개의 필드들 간의 가장 신뢰성 있는 움직임 벡터를 검출하기 위해 움직임 보상을 수행하며, 연속하는 홀수 필드와 짝수 필드의 움직임 벡터를 비교함으로써, 2:2 풀-다운 이미지를 검출하는 기술을 개시한다. 용어 "속성"은 필드가 탑 필드인지 또는 바텀 필드인지를 표시하고; 홀수 필드들은 동일한 속성을 가지며, 짝수 필드들은 동일한 속성을 갖는다.
시간에 기초하여 서로 인접한 필드들 간의 상관의 패턴을 계산함으로써 입력 이미지가 2:2 풀-다운 이미지인지 여부를 결정하는 기술은, 하나의 프레임으로부터 생성된 2개의 필드들 간의 상관이 상이한 프레임으로부터 생성된 필드와 2개의 필드들 간의 상관보다 더 높다는 사실에 기초한다. 그러나, 본원의 발명자들은, 탑 필드가 홀수 라인들로 형성되고 바텀 필드가 짝수 라인들로 형성되므로, 하나의 프레임으로부터 생성된 2개의 필드들에서도 상관이 항상 높지 않은 문제점을 발견하였다. 특히, 이미지가, 수직 방향의 변화가 존재하는 화상 또는 에지부에서의 움직임을 갖는 이미지를 포함할 때, 하나의 프레임으로부터 생성된 2개의 필드들 간의 상관은 낮게 된다. 예컨대, 도 18에 도시된 문자 "A"의 프레임에 의해 생성된 2개의 필드들에서, 바텀 필드만이 문자 "A"의 수평 획을 포함하고; 따라서, 2개의 필드들 간의 상관은 낮게 된다. 이러한 경우에, 2:2 풀-다운 이미지의 결정률은 낮게 된다.
또한, 프로그래시브 이미지의 하나의 프레임에서, 상이한 부분들은 상이한 움직임들을 만드는 경우가 존재한다. 한편, 일본 특허 공개 공보 제 2007-129400 호에 개시된 기술은 프레임의 일부인 블록의 움직임 벡터에 기초한다. 따라서, 프레임 내에 포함된, 서로 상이한 움직임들을 만드는 다수의 블록들이 존재할 때, 2:2 풀-다운 이미지의 결정은 어렵다. 또한, 이 기술은 움직임 보상을 요구하고; 따라서, 복잡한 계산이 이루어질 필요가 있다.
본 발명의 일 실시형태의 제 1 예시적인 양태는, 입력 이미지가 2:2 풀-다운 이미지인지 여부를 결정하는 이미지 처리 장치이다. 이미지 처리 장치는 필드 쌍 상관 획득부 및 제 1 결정부를 포함한다.
필드 쌍 상관 획득부는, 동일한 속성을 갖는 2개의 인접한 필드들로 형성된 각각의 필드 쌍 Pj (j = t 내지 "t-m+2") 에 대하여, 입력 이미지 내의 타이밍 t의 필드 Ft 및 시계열에서 필드 Ft에 연속하는 5개 이상의 필드들 F(t-i) (i = 1 내지 m, m≥5) 로 형성된 필드 그룹 Gt에 대한 상관을 획득한다.
제 1 결정부는, 결정 조건에 기초하여, 입력 이미지를 2:2 풀-다운 이미지로서 결정하며, 결정 조건은, 하나의 속성의 필드 쌍들의 각각의 상관이 시간 방향을 따라서 변화하는 패턴이, 다른 속성의 필드 쌍들의 각각의 상관이 시간 방향을 따라서 변화하는 패턴과 매칭하는 것이다.
상기 장치가, 방법 또는 시스템, 또는 상기 장치로서 컴퓨터를 동작시키는 프로그램으로 대체되어도, 여전히 본 발명의 범위 내에 속한다.
본 발명의 기술에 따르면, 입력 이미지가 2:2 풀-다운 이미지인지 여부를 정확하게 결정하는 것이 가능하다.
상기 및 다른 예시적인 양태들, 이점들, 및 특징들은 첨부 도면들과 함께 취해진 특정한 예시적인 실시형태들의 다음 설명으로부터 더 명백하게 될 것이다.
본 발명의 예시적인 실시형태를 설명하기 전에, 본 발명에 따른 기술의 원리가 설명될 것이다.
도 1은 본 발명의 기술에 따른 이미지 처리 장치 (100) 의 개략도이다. 이미지 처리 장치 (100) 는, 필드 쌍 상관 획득부 (110) 및 제 1 결정부 (120) 를 포함한다.
필드 쌍 상관 획득부 (110) 는, 동일한 속성을 갖는 2개의 인접한 필드들로 형성된 각각의 필드 쌍에 대하여, 인터레이스된 이미지인 입력 이미지의 6개 이상의 연속하는 필드들에 대한 상관을 획득한다.
인터레이스된 이미지의 필드는, 탑 필드 및 바텀 필드의 2개의 속성들을 가지며, 2개의 속성들의 필드는 교호하여 입력된다. 따라서, 타이밍 t의 필드 Ft와 필드 Ft로부터 2개의 필드 이전의 필드 F(t-2), 그리고 필드 Ft와 필드 Ft로부터 2개의 필드 이후의 필드 F(t+2) 는 동일한 속성을 갖는 2개의 인접한 필드들이다. 다음 설명에서, 용어 "필드 쌍"은 "동일한 속성을 갖는 2개의 인접한 필드들"이라는 의미로 사용되며, 필드 쌍을 형성하는 2개의 필드들의 속성은 필드 쌍의 속성이다.
도 2는 2:2 풀-다운 이미지 내의 6개의 필드들 F1 내지 F6의 예를 도시한다. 도 2에서, 오브젝트가 스크린의 좌측으로부터 우측으로 이동하는 장면의 에지들 근방의 영역들이 확대된다. 도 2에 도시된 바와 같이, 2:2 풀-다운 이미지 내의 탑 필드 F1 및 바텀 필드 F2는 본래의 프로그래시브 이미지의 하나의 프레임의 홀수 라인들 및 짝수 라인들로 각각 형성되며, 탑 필드 F3과 바텀 필드 F4, 그리고 탑 필드 F5와 바텀 필드 F6에 대해 동일한 설명이 이루어질 수 있다.
도 2에 도시된 6개의 필드들에서, F1과 F3, F2와 F4, F3과 F5, F4와 F6의 4개의 필드 쌍들 P3 내지 P6이 존재한다. P3 및 P5는 탑 필드들로 형성된 탑 필드 쌍들이고, P4 및 P6은 바텀 필드들로 형성된 바텀 필드 쌍들이다.
필드 쌍 상관 획득부 (110) 는, 4개의 필드 쌍들 P3 내지 P6에 대하여 각각의 필드 쌍에 대한 상관을 획득하기 위해, 필드 쌍을 형성하는 2개의 필드들 간의 상관을 획득한다.
도 2에 도시된 바와 같이, 필드들 F1 및 F2는 하나의 프레임 내의 홀수 라인들 및 짝수 라인들로 각각 형성된다. 필드들 F3 및 F4는 다음 프레임 내의 홀수 라인들 및 짝수 라인들로 각각 형성된다. 따라서, 오브젝트의 이동으로 인한 필드 F1로부터 필드 F3으로의 변화는 필드 F2로부터 필드 F4로의 변화와 매칭한다. 동일한 방식으로, 필드 F3으로부터 필드 F5로의 변화는 필드 F4로부터 필드 F6으로의 변화와 매칭한다.
요약하면, 필드 F1-F3-F5의 변화 패턴은 필드 F2-F4-F6의 변화 패턴과 매칭한다.
필드 F1-F3-F5의 변화 패턴은 필드 쌍들 P3 및 P5의 상관의 변화 패턴에 의해 표시될 수 있으며, 필드 F2-F4-F6의 변화 패턴은 필드 쌍들 P4 및 P6의 상관의 변화 패턴에 의해 표시될 수 있다. 따라서, 2:2 풀-다운 이미지의 경우에, 2개의 타입의 속성들의 필드 쌍들의 속성들 중 하나를 갖는 필드 쌍들의 상관이 시간 방향을 따라서 변화하는 패턴은, 다른 속성을 갖는 필드 쌍들의 상관이 시간 방향 을 따라서 변화하는 패턴과 매칭한다.
이제, PAL 기법과 같이 2:2 풀-다운 이미지가 아닌 인터레이스된 이미지 (이하, 비 2:2 풀-다운 이미지라 지칭) 의 경우에 대한 설명이 이루어질 것이다. 더 용이한 비교를 위해 도 2에 도시된 장면이 예로서 취해질 것이다.
도 3은 도 2의 장면을 나타내는 비 2:2 풀-다운 이미지의 6개의 연속하는 필드들 F1 내지 F6을 도시한다. 도 3에 도시된 바와 같이, 이러한 경우에, 오브젝트의 이동으로 인한 필드 F1로부터 필드 F3으로의 변화는, 필드 F2로부터 필드 F4로의 변화와 관련이 없다. 유사하게, 필드 F3으로부터 필드 F5로의 변화는 필드 F4로부터 필드 F6으로의 변화와 관련이 없다.
따라서, 비 2:2 풀-다운 이미지의 경우에, 2개의 타입의 속성들의 필드 쌍들중 하나의 속성을 갖는 필드 쌍들의 상관이 시간 방향을 따라서 변화하는 패턴과, 다른 속성의 필드 쌍들의 상관이 시간 방향을 따라서 변화하는 패턴 간에 관련이 없다.
상기 원리에 기초하여, 이미지 처리 장치 (100) 내의 제 1 결정부 (120) 는, 필드 쌍 상관 획득부 (110) 에 의해 획득된 각각의 필드 쌍에 대한 상관에 기초하여, 탑 필드 쌍들 (도 2 및 도 3의 필드 쌍들 P3 및 P5) 의 상관의 변화 패턴이 바텀 필드 쌍들 (도 2 및 도 3의 필드 쌍들 P4 및 P6) 의 상관의 변화 패턴과 매칭할 때, 입력 이미지를 2:2 풀-다운 이미지로서 결정한다.
연속하는 6개의 필드들을 예로서 취함으로써 설명이 이루어졌지만, 임의의 수의 필드들 (6개 이상) 이 사용될 수도 있다. 결정의 정확도는 필드들의 수가 증가함에 따라 높게 될 수 있다.
이미지 처리 장치 (100) 는, 상이한 속성들 간에, 필드 쌍들의 상관의 변화 패턴을 비교하기 위해, 동일한 속성을 갖는 인접한 필드 쌍들 간의 상관을 획득한다. 따라서, 수직 라인들을 갖는 화상에서도 2:2 풀-다운 이미지를 검출하는 것이 가능하다. 또한, 전체 필드에서 상관이 획득되므로, 필드에서 서로 상이한 움직임들을 디스플레이하는 부분들이 포함될 때에도, 2:2 풀-다운 이미지를 검출하는 것이 가능하다.
본원의 발명자들은, 탑 필드의 필드 쌍들의 상관의 변화 패턴이 바텀 필드의 필드 쌍들의 상관의 변화 패턴과 매칭하는 2:2 풀-다운 이미지의 특성들을 사용하는 상기 기술에 기초한 2:2 풀-다운 이미지의 검출의 정확도를 개선하기 위해 상술된 기술을 개선한다.
도 4는 도 1에 도시된 이미지 처리 장치 (100) 의 성능을 개선함으로써 획득된 이미지 처리 장치 (200) 의 개략도이다. 이미지 처리 장치 (200) 는, 필드 쌍 상관 획득부 (210), 제 1 결정부 (220), 카운터 (230), 및 제 2 결정부 (240) 를 포함한다.
필드 쌍 상관 획득부 (210) 는, 각각의 필드 쌍에 대하여, 입력 이미지들의 6개 이상의 연속하는 필드들에 대한 각각의 화소 위치에 대한 상관의 존재를 표시하는 상관 정보를 획득한다.
도 5에서, 도 2에 도시된 예와 동일한 장면을 나타내는 2:2 풀-다운 이미지의 연속하는 6개의 필드들 F1 내지 F6의 4개의 필드 쌍들 P3 내지 P6의 각각에 대 하여 각각의 화소 위치에 대해 계산된 화소 위치의 상관의 존재를 표시하는 상관 정보 D3 내지 D6이 도시된다. 예컨대, 상관 정보 D3은, 각각의 화소 위치에 대하여, 필드 쌍 P3을 형성하는 2개의 필드들 F1과 F3 간의 상관의 존재를 표시하며, 상관 정보 D4는, 각각의 화소 위치에 대하여, 필드 쌍 P4를 형성하는 2개의 필드들 F2와 F4 간의 상관의 존재를 표시한다.
이제, 필드 쌍 P3으로부터 획득된 상관 정보 D3 내의 라인 3의 각각의 화소 위치의 상관 정보 LD3 (라인 3), 필드 쌍 P4로부터 획득된 상관 정보 D4 내의 라인 3의 상위 다음 라인의 각각의 화소 위치의 상관 정보 LD4 (라인 2), 필드 쌍 P5로부터 획득된 상관 정보 D5 내의 착안 (note) 되는 라인 3 (라인 3 (도 5의 라인 3)) 의 각각의 화소 위치의 상관 정보 LD5 (라인 3), 및 필드 쌍 P6으로부터 획득된 상관 정보 D6 내의 라인 3의 상위 다음 라인의 각각의 화소 위치의 상관 정보 LD6 (라인 2) 는, X 방향의 동일한 화소 위치에 대해 비교된다.
"비상관" 및 "상관"의 상관 정보가 "1" 및 "0"의 상관값들에 의해 각각 표시될 때, 상관값들의 배열 패턴들은, X 방향의 하나의 화소 위치에 대하여, LD3 (라인 3), LD4 (라인 2), LD5 (라인 3), 및 LD6 (라인 2) 에 대해, "0000", "1100", 및 "0011"의 3개의 패턴들을 포함한다. 또한, 도면에 도시되지는 않았지만, 배열 패턴은 고속-움직임 화소 위치에서 "1111"일 수도 있다. 배열 패턴 "0000"은 화소 위치에서 움직임이 없음을 표시함을 주의해야 한다.
X 방향의 위치가 동일하며, 모든 필드 쌍들에 대해 획득된 상관값들이 "0000" 또는 "1111"의 동일한 값이 아닌 화소 위치가 착안될 때, LD3 (라인 3) 및 LD4 (라인 2) 의 상관값들은 X 방향의 동일한 화소 위치에 대해 동일하며, LD5 (라인 3) 및 LD6 (라인 2) 의 상관값들은 X 방향의 동일한 화소 위치에 대해 동일하다. 이는 실질적으로, X 방향의 하나의 화소 위치에 대하여, LD6 (라인 2) 및 LD4 (라인 2) 의 상관값들의 배열 패턴이, LD5 (라인 3) 및 LD3 (라인 3) 의 상관값들의 배열 패턴과 매칭함을 의미한다.
이들 결과들은 또한, LD3 (라인 3), LD4 (라인 4), LD5 (라인 3), 및 LD6 (라인 4) 에 대해 동일하다.
도 6에서, 오브젝트가 우측 방향으로 계속 이동할 때, 바텀 필드 F6의 다음 필드인 필드 F7 (탑 필드) 이 추가된다. X 방향의 동일한 화소 위치에 대하여, 필드 쌍 P4로부터 획득된 상관 정보 D4 내의 라인 2의 각각의 화소 위치의 상관 정보 LD4 (라인 2), 필드 쌍 P5로부터 획득된 상관 정보 D5 내의 라인 1의 상관 정보 LD5 (라인 1), 필드 쌍 P6으로부터 획득된 상관 정보 D6 내의 라인 2의 상관 정보 LD6 (라인 2), 및 필드 쌍 P7로부터 획득된 상관 정보 D7 내의 라인 1의 상관 정보 LD7 (라인 1) 에 대해 비교가 이루어질 것이다.
도 6으로부터 보이는 바와 같이, 이러한 경우에, 상관값들의 배열 패턴들은 X 방향의 동일한 화소 위치에 대하여, LD4 (라인 2), LD5 (라인 1), LD6 (라인 2), LD7 (라인 1) 에 대해 "0000", "1000", "0110", "0001"이 되고, "0011" 또는 "1100"의 소수의 배열 패턴들이 존재한다.
배열 패턴이 "0000" 또는 "1111"이 되는 화소 위치 이외의 화소 위치가 착안될 때, LD4 (라인 2) 및 LD5 (라인 1) 는 X 방향의 동일한 화소 위치에 대해 상이 한 상관값들을 가지고, LD6 (라인 2) 및 LD7 (라인 1) 은 X 방향의 동일한 화소 위치에 대해 상이한 상관값들을 갖는다. 이는 실질적으로, X 방향의 동일한 화소 위치에 대하여, LD7 (라인 1) 및 LD5 (라인 1) 의 상관값들의 배열 패턴이, LD6 (라인 2) 및 LD4 (라인 2) 의 상관값들의 배열 패턴과 매칭하지 않음을 의미한다.
이들 결과들은, LD4 (라인 2), LD5 (라인 3), LD6 (라인 2), 및 LD7 (라인 3) 에 대해 동일하다.
상관값의 배열 패턴은 비 2:2 풀-다운 이미지에 대하여도 또한 획득된다. 도 7은, 도 5에서와 동일한 장면을 나타내는 비 2:2 풀-다운 이미지의 6개의 연속하는 필드들 F1 내지 F6의 4개의 필드 쌍들 P3 내지 P6의 각각에 대하여 각각의 화소 위치에 대해 획득된 상관 정보 D3 내지 D6을 도시한다. 이들 상관 정보를 사용함으로써, X 방향의 동일한 화소 위치에 대하여, LD3 (라인 3), LD4 (라인 2), LD5 (라인 3), LD6 (라인 2) 에 대한 상관값의 배열 패턴을 획득한 결과로서, 정지 이미지를 표시하는 "0000" 및 고속 움직임 (미도시) 을 표시하는 "1111" 이외의 "1000", "1100", "0110", "0011"과 같은 다양한 배열 패턴들이 존재함을 인식한다.
X 방향의 위치가 동일하며, 배열 패턴이 "0000" 또는 "1111"이 아닌 화소 위치가 착안될 때, LD3 (라인 3) 과 LD4 (라인 2) 간에, 그리고 LD5 (라인 3) 와 LD6 (라인 2) 간에, 동일한 상관값들을 갖는 화소 위치 및 상이한 상관값들을 갖는 화소 위치가 랜덤으로 존재한다.
이들 결과들은, LD3 (라인 3), LD4 (라인 4), LD5 (라인 3), LD6 (라인 4) 에 대해 동일하다.
또한, 이들 결과들은, 오브젝트가 우측 방향으로 계속 이동할 때 바텀 필드 F6의 다음 필드인 필드 F7 (탑 필드) 이 추가될 때의 LD4 (라인 2), LD5 (라인 1), LD6 (라인 2), LD7 (라인 1) 의 결과와 동일하다.
화소 위치들의 타입들은 상술된 배열 패턴들에 따라 도 8에 도시된 바와 같이 분류된다. 더 구체적으로, 배열 패턴이 "0000"인 화소 위치는, 화소 위치에서 움직임이 없는 "정지" 화소 위치로 분류되고, 배열 패턴이 "1111"인 화소 위치는, 화소 위치에서 고속 움직임인 "고속 움직임" 화소로 분류된다. 또한, 배열 패턴이 "1100" 또는 "0011"인 화소 위치는, "2:2 풀-다운 이미지의 특성"을 포함하는 특성 위치로 분류된다. 또한, "0000", "1111", "0011", 및 "1100" 이외의 "기타" 배열 패턴들은, 상기 3개의 타입들에 대응하지 않는 "기타" 화소 위치로 분류된다.
고속 화소 위치 및 정지 화소 위치 이외의 화소 위치가 착안 화소 위치 (noted pixel position) 일 때, 특성 위치는, 배열 패턴을 형성하는 4개의 상관값들 (A, B, C, 및 D) 중에 A와 B가 동일한 값을 가지고 C와 D가 동일한 값을 갖는 착안 화소 위치가 된다. "A와 B가 동일한 값을 가지고 C와 D가 동일한 값을 갖는다"는 실질적으로 배열 "A, C"가 배열 "B, D"와 매칭함을 의미함을 주의해야 한다.
이제, 연속하는 6개의 필드들 (F6, F5, ..., F1) 은 필드 그룹 G6이고, 필드 그룹 G6에 대해 획득된 특성 위치들의 총 수 S6과 필드 그룹 G6의 다음 그룹인 필드 그룹 G7 (F7, F6,...F2) 에 대해 획득된 특성 위치들의 총 수 S7이 비교된다. 2:2 풀-다운 이미지의 경우에, 특성 위치들의 총 수 S6은 S7보다 더 크고, S6과 S7 간에 큰 차이가 존재하며; 한편, 비 2:2 풀-다운 이미지의 경우에, 특성 위치들의 총 수 S6과 S7은 실질적으로 동일하다.
필드 그룹 G7 (F7, F6, ...F2) 내의 특성 위치들의 총 수 S7이 필드 그룹 G8 (F8, F7, ...F3) 내의 특성 위치들의 총 수 S8과 비교될 때, 2:2 풀-다운 이미지의 경우에, 특성 위치들의 총 수 S7은 S8보다 더 작고, S7과 S8 간의 차이는 크며; 한편, 비 2:2 풀-다운 이미지의 경우에 특성 위치들의 총 수 S7과 S8은 실질적으로 동일하다.
요약하면, 필드 그룹들 G6 및 G7 또는 필드 그룹들 G7 및 G8과 같은 연속하는 2개의 필드 그룹들만이 채용될 때, 2개의 필드 그룹들에 대해 획득된 특성 위치들의 총 수 간의 차이의 절대값, 또는 특성 위치들의 2개의 총 수의 비가 미리 결정된 임계값 이상일 때, 입력 이미지는 2:2 풀-다운 이미지로서 결정될 수 있다. 임계값은, 2:2 풀-다운 이미지와 비-풀-다운 이미지 간의 차이를 반영할 수 있도록 시뮬레이션 등에 의해 미리 결정될 수 있거나, 또는 이미지의 움직임에 따라 동적으로 제어될 수도 있다. 이러한 결정 기법은 이하 기법 A라 호칭될 것이다.
또한, 필드 그룹들 G6, G7, G8과 같은 3개 이상의 연속하는 필드 그룹들 Gj (j = t 내지 "t+n", n≥2) 에 대해 획득된 특성 위치들의 모든 n개의 총 수 Sj에 대하여, Sj와 S(j+1) 간의 크기 관계와 S(j+1)과 S(j+2) 간의 크기 관계가 역전될 때, 입력 이미지가 2:2 풀-다운 이미지로서 결정될 수 있다. 입력 이미지가 비 2:2 풀-다운 이미지일 때, 그러한 규칙이 존재하지 않는다. 이러한 결정 기법은 이하 기법 B라 호칭될 것이다.
기법 B에서, 결정을 위해 요구되는 필드 그룹들의 수는 기법 A에서 요구되는 수보다 더 많지만; 임계값을 설정할 필요가 없다. 따라서, 임계값의 설정이 부적절할 때 결정 정확도가 감소될 수 있는 문제점이 존재하지 않는다.
본 예시적인 실시형태에서, 하나의 그룹이 연속하는 6개의 필드들로 형성되지만, 필드 그룹에 포함되는 필드들의 수는 6개 이상의 임의의 수일 수도 있다. 필드들의 수가 증가함에 따라, 결정의 정확도는 높게 될 수 있다.
다시 도 4를 참조하여, 이미지 처리 장치 (200) 에 대한 설명이 이제 이루어질 것이다.
제 1 결정부 (220) 는, 필드 쌍 상관 획득부 (210) 에 의해 획득된 각각의 필드 쌍의 상관 정보를 사용하여, 각각의 필드 그룹에 대하여, 각각의 화소 위치가 도 8에 도시된 "정지" 화소 위치, "고속 움직임" 화소 위치, "특성 위치", 또는 "기타" 화소 위치인지를 결정한다.
카운터 (230) 는, 각각의 필드 그룹에 대하여, 제 1 결정부 (220) 에 의해 "특성 위치"로서 결정된 화소 위치들의 총 수를 계산하여, 계산된 총 수를 특성 위치들의 총 수로서 제 2 결정부 (240) 에 출력한다.
제 2 결정부 (240) 는, 입력 이미지가 2:2 풀-다운 이미지인지 여부를 결정하기 위해, 복수의 연속하는 필드 그룹들의 특성 위치들의 총 수의 크기 관계를 비교한다. 이 결정에서 상술된 기법 A와 기법 B 중 하나가 채용됨을 주의한다.
이미지 처리 장치 (200) 는, 이미지 처리 장치 (100) 의 성능을 개선함으로써 획득된다. 이미지 처리 장치 (100) 의 모든 효과는 이미지 처리 장치 (200) 에서도 획득될 수 있다.
이미지 처리 장치 (200) 는, 각각의 화소 위치에 대한 필드 쌍 간의 상관 정보를 획득하고; 따라서, 정지 화소 위치 또는 고속 움직임 화소 위치를 배제하는 것이 가능하다. 정지 배경 및 미세한 배경이 포함되어 있을 때에도, 높은 정확도로 결정을 수행하는 것이 가능하다.
또한, 이미지 처리 장치 (200) 는, 일본 공개 특허 공보 제 2007-129400 호의 기술에서 채용된 움직임 보상을 요구하지 않고, 간단한 연산으로 계산이 이루어질 수 있다.
본 발명에 따른 기술에서 각각의 화소 위치에 대한 상관 정보를 획득하는 기술로서 임의의 알려진 기법이 채용될 수 있다. 예컨대, 움직임의 존재를 표시하는 움직임 파라미터를 화소 위치의 상관 정보로서 획득하기 위해, 각각의 필드 쌍에 대한 각각의 화소 위치에 대해 움직임이 검출될 수도 있다.
또한, 움직임을 검출하기 위해 임의의 알려진 방법이 채용될 수 있다. 예컨대, 필드 쌍을 형성하는 2개의 필드들 간의 차이가 각각의 필드 쌍에 대해 획득되고, 그 차이의 절대값이 미리 결정된 임계값 이상인 화소 위치를 "움직임"으로서 결정하고, 그 차이의 절대값이 임계값보다 더 작은 화소 위치를 "움직임 없음"으로서 결정함으로써, 각각의 화소 위치의 움직임 파라미터가 획득될 수 있다.
상기 설명에 기초하여, 상기 원리가 실시되는 구체적인 예시적인 실시형태에 대한 설명이 이제 이루어질 것이다.
도 9는 본 발명의 예시적인 실시형태에 따른 이미지 처리 장치 (300) 이다. 이미지 처리 장치 (300) 는, 필드 지연부 (310), 필드 지연부 (320), 필드 쌍 상관 획득부 (330), 로그 처리부 (340), 로그 버퍼 (350), 제 1 결정부 (380), 카운터 (382), 및 제 2 결정부 (384) 를 포함한다.
인터레이스된 이미지의 각각의 필드는, 필드 지연부 (310) 및 필드 쌍 상관 획득부 (330) 에 연속적으로 입력된다. 이미지 처리 장치 (300) 는, 도시되지 않은 제어기를 더 포함하고, 이 제어기는 입력된 필드가 탑 필드 또는 바텀 필드인지를 표시하는 필드 속성 정보를 로그 버퍼 (350) 에 입력한다.
필드 지연부 (310) 는, 입력 필드를 하나의 필드 간격만큼 지연시켜서, 지연된 필드를 필드 지연부 (320) 에 출력한다.
필드 지연부 (320) 는, 필드 지연부 (310) 로부터의 필드를 하나의 필드 간격만큼 지연시켜서, 지연된 필드를 필드 쌍 상관 획득부 (330) 에 출력한다.
더 구체적으로, 타이밍 t에서, 필드 Ft, 및 필드 Ft로부터 2개의 필드 이전의 필드 F(t-2)가 필드 쌍 상관 획득부 (330) 에 입력된다. 이들 2개의 필드들은 동일한 속성을 가지며; 이들 양자 모두가 탑 필드이거나 또는 바텀 필드이다. 이하, 필드 Ft 및 필드 F(t-2)는 필드 쌍 Pt라 호칭되며, 탑 필드들로 형성된 필드 쌍, 및 바텀 필드들로 형성된 필드 쌍은 각각, "탑 필드 쌍" 및 "바텀 필드 쌍"이라 호칭된다.
필드 쌍 상관 획득부 (330) 는, 입력 필드 쌍 Pt에 대하여 각각의 화소 위치에 대한 상관의 존재를 표시하는 상관 정보를 획득한다. 도 10은 필드 쌍 상관 획득부 (330) 를 도시한다.
도 10에 도시된 바와 같이, 필드 쌍 상관 획득부 (330) 는, 감산기 (332), 절대값 획득부 (334), 및 움직임 결정부 (336) 를 포함한다.
감산기 (332) 는, 필드 Ft와 필드 F(t-2)에 대하여 각각의 화소 위치에 대한 차이를 계산하여, 그 차이를 절대값 획득부 (334) 에 출력한다.
절대값 획득부 (334) 는, 감산기 (332) 로부터의 차이의 절대값을 각각의 화소 위치에 대해 계산하여, 그 절대값을 움직임 결정부 (336) 에 출력한다.
움직임 결정부 (336) 는, 절대값 획득부 (334) 로부터의 각각의 차이의 절대값과 움직임의 존재를 결정하는 절대값을 비교한다. 그 차이의 절대값이 임계값 이상일 때, 화소 위치에서 "움직임"으로서 결정되며; 그 차이의 절대값이 임계값보다 더 작을 때, 화소 위치에서 "움직임 없음"으로서 결정된다. "움직임" 및 "움직임 없음"의 각각은 화소 위치의 움직임 파라미터 D에 의해 표시된다.
움직임 결정부 (336) 는, 필드 쌍 Pt에 대하여 각각의 화소 위치에 대해 계산된 움직임 파라미터 Dt를 상관 정보로서 로그 처리부 (340) 에 출력한다.
로그 처리부 (340) 를 설명하기 전에, 로그 버퍼 (350) 가 먼저 설명될 것이다. 도 11에 도시된 바와 같이, 로그 버퍼 (350) 는, 선택기 (352), 탑 필드 로그 버퍼 (354), 바텀 필드 로그 버퍼 (356), 선택기 (362), 선택기 (364), 선택기 (362) 에 반전된 정보를 입력하기 위해 필드 속성 정보를 반전시키는 인버터 (360), 라인 지연부 (366), 및 동기화 처리부 (368) 를 포함한다.
선택기 (352), 및 로그 처리부 (340) 로부터 선택기 (352) 에 입력되는 업데이트 로그의 상세한 설명은 이후 로그 처리부 (340) 가 설명될 때 설명될 것이다.
탑 필드 로그 버퍼 (354) 는, 이전의 3개의 탑 필드 쌍들의 움직임 파라미터 D를 저장한다. 도 12는, 탑 필드 로그 버퍼 (354) 에 저장된 데이터의 예를 도시한다. 예로서, 홀수 필드들이 탑 필드들로 고려된다. 따라서, 홀수 필드 쌍의 움직임 파라미터는 탑 필드 로그 버퍼 (354) 에 저장된다.
탑 필드에서, 홀수 라인들만이 화소들을 가지며; 따라서, 탑 필드 로그 버퍼 (354) 는 각각의 탑 필드 쌍에 대한 홀수 라인들의 움직임 파라미터를 저장한다. 다음 설명에서, 동일한 라인에 대한 움직임 파라미터의 시간 방향에 따른 배열은 라인 로그라 호칭된다. 도 12에 도시된 바와 같이, 탑 필드 로그 버퍼 (354) 는, 탑 필드 쌍의 홀수 라인들의 라인 로그들 (LD(라인 1), LD(라인 3), LD(라인 5),...) 을 저장한다.
도 13은 바텀 필드 로그 버퍼 (356) 에 저장된 데이터의 예를 도시한다. 도 13에 도시된 바와 같이, 바텀 필드 로그 버퍼 (356) 는, 이전의 4개의 바텀 필드 쌍들의 짝수 라인들의 라인 로그들 (LD(라인 2), LD(라인 4), LD(라인 6),...) 을 저장한다.
다시 도 11을 참조하여 설명이 이루어질 것이다. 필드 Ft의 라인 (n) 이 이미지 처리 장치 (300) 에 입력되고, 선택기 (364) 는, 필드 Ft가 탑 필드 또는 바텀 필드인지를 표시하는, 도시되지 않은 제어기로부터의 필드 속성 정보에 따라, 탑 필드 로그 버퍼 (354) 또는 바텀 필드 로그 버퍼 (356) 로부터 이전의 움직임 파라미터 내의 라인 (n) 의 라인 로그를 선택하여, 선택된 라인 로그를 동기화 처리부 (368) 에 출력한다. 더 구체적으로, 필드 Ft가 탑 필드일 때, 라인 (n) 은 홀수 라인들이고, 그러면 선택기 (364) 는 탑 필드 로그 버퍼 (354) 내의 라인 로그 LD (라인 (n)) 을 동기화 처리부 (368) 에 출력한다. 반면, 필드 Ft가 바텀 필드일 때, 라인 (n) 은 짝수 라인들이고, 선택기 (364) 는, 바텀 필드 로그 버퍼 (356) 내의 라인 로그 LD (라인 (n)) 을 동기화 처리부 (368) 에 출력한다.
필드 Ft의 속성 정보는 인버터 (360) 에 의해 반전된 후에 선택기 (362) 에 입력된다. 따라서, 필드 Ft가 탑 필드일 때, 선택기 (362) 는 바텀 필드 로그 버퍼 (356) 로부터의 라인 로그를 동기화 처리부 (368) 및 라인 지연부 (366) 에 출력하며; 필드 Ft가 바텀 필드일 때, 선택기 (362) 는 탑 필드 로그 버퍼 (354) 로부터의 라인 로그를 동기화 처리부 (368) 및 라인 지연부 (366) 에 출력한다. 라인 로그를 출력하기 전에, 라인 (n) 의 하위 다음 라인인 라인 (n+1) 의 라인 로그가 출력된다.
라인 지연부 (366) 는 선택기 (362) 로부터의 라인 로그를 지연시켜서, 지연된 라인 로그를 동기화 처리부 (368) 에 출력한다.
더 구체적으로, 필드 Ft의 라인 (n) 이 이미지 처리 장치 (300) 에 입력될 때, 로그 버퍼 (350) 내의 동기화 처리부 (368) 에 3개의 라인 로그들이 입력된다. 이들 3개의 라인 로그들은, 필드 Ft와 동일한 속성을 갖는 이전의 필드 쌍으로부터 획득된 라인 (n) 의 각각의 화소 위치의 움직임 파라미터로 형성된 라인 로그 LD (라인 (n)), 및 필드 Ft와 상이한 속성들을 갖는 이전의 필드 쌍으로부터 획득된 라인 (n) 의 상위 다음 라인 및 하위 다음 라인인 LD (라인 (n-1)) 및 LD (라인 (n+1)) 이다.
동기화 처리부 (368) 는 3개의 라인 로그들을 동기화시켜서, 동기화된 데이터를 로그 히스토리로서 로그 처리부 (340) 에 출력한다.
이제, 로그 처리부 (340) 에 대한 설명이 이루어질 것이다. 도 14에 도시된 바와 같이, 로그 처리부 (340) 는 분리부 (342), 업데이트부 (344), 및 동기화 처리부 (346) 를 포함한다.
분리부 (342) 는, 로그 버퍼 (350) 로부터의 로그 히스토리를 3개의 라인 로그들로 분리하고, 라인 로그 LD (라인 (n)) 을 업데이트부 (344) 에 출력하고, 라인 로그들 LD (라인 (n-1)) 및 LD (라인 (n+1)) 을 동기화 처리부 (346) 에 출력한다.
업데이트부 (344) 는 새로운 라인 로그 LD (라인 (n)) 를 동기화 처리부 (346) 및 로그 버퍼 (350) 에 출력하기 위해, 필드 Ft의 라인 (n) 의 움직임 파라미터와 라인 로그 LD (라인 (n)) 을 결합하여, 새로운 라인 로그 또는 새로운 라인 로그 LD (라인 (n)) 를 획득한다.
동기화 처리부 (346) 는, 업데이트부 (344) 로부터의 새로운 라인 로그 LD (라인 (n)) 를 분리부 (342) 로부터의 2개의 라인 로그들과 동기화시켜서, 동기화된 데이터를 로그 배열로서 제 1 결정부 (380) 에 출력한다.
또한, 로그 버퍼 (350) 내의 선택기 (352) 는 라인 (n) 의 라인 로그를 업데이트하기 위해, 필드 Ft와 동일한 속성을 갖는, 탑 필드 로그 버퍼 (354) 와 바텀 필드 로그 버퍼 (356) 중 하나에 새로운 라인 로그 LD (라인 (n)) 을 저장한다.
도 15는, 로그 처리부 (340) 로부터 제 1 결정부 (380) 에 출력되는 로그 배 열을 도시한다. 도 15에 도시된 바와 같이, 필드 Ft와 동일한 속성을 갖는 필드 쌍으로부터 획득된 라인 (n)의 움직임 파라미터들 Dt, D(t-2), D(t-4), D(t-6), 필드 Ft와 상이한 속성을 갖는 필드 쌍으로부터 획득된, 라인 (n)의 상위 다음 라인인 라인 (n-1)의 움직임 파라미터들 D(t-1), D(t-3), D(t-5), 및 필드 Ft와 상이한 속성을 갖는 필드 쌍으로부터 획득된, 라인 (n)의 하위 다음 라인인 라인 (n+1)의 움직임 파라미터들 D'(t-1), D'(t-3), D'(t-5)가 제 1 결정부 (380) 에 입력된다.
제 1 결정부 (380) 는, 2:2 풀-다운 이미지의 특성이 존재하는지, 또는 화소 위치가 각각의 필드 그룹에 대한 각각의 화소 위치에서 특성 위치인지를 결정한다. 예시적인 실시형태에서, 제 1 결정부 (380) 는, 8개의 연속하는 필드들로 형성된 각각의 필드 그룹에 대해 이러한 결정을 수행한다.
제 1 결정부 (380) 는 먼저, 필드들 F(t-1) 내지 F(t-8)로 형성된 필드 그룹 G(t-1)에 대한 결정을 수행한다. 이 때, 도 16에 도시된 바와 같이, 로그 처리부 (340) 로부터의 로그 배열 내의 움직임 파라미터 Dt 이외의 움직임 파라미터가 사용된다.
제 1 결정부 (380) 는, 모든 움직임 파라미터들이 "0"인 "정지" 화소 위치, 및 모든 움직임 파라미터들이 "1"인 "고속 움직임" 화소 위치 이외의 화소 위치에 집중하며, 도 16에 도시된, 움직임 파라미터들 D(t-1), D(t-3), D(t-5)의 배열 패턴, 움직임 파라미터들 D(t-2), D(t-4), D(t-6), 및 D'(t-1), D'(t-3), D'(t-5)의 배열 패턴이 서로 매칭하는 착안 화소 위치를 특성 위치로서 결정한다. 제 1 결정부 (380) 는, 필드 그룹 G(t-1) 내의 모든 착안 화소 위치들에 대한 결정을 수행하여, 착안 화소 위치가 특성 위치임을 표시하는 결정 결과가 획득될 때마다, 착안 화소 위치가 특성 위치임을 표시하는 신호를 카운터 (382) 에 출력한다. 필드 그룹 G(t-1) 내의 모든 착안 화상 요소들에 대해 결정이 완료될 때, 제 1 결정부 (380) 는 완료 신호를 카운터 (382) 에 출력한다.
카운터 (382) 는 특성 위치들의 수를 카운트한다. 그 후, 제 1 결정부 (380) 로부터 완료 신호를 수신할 시, 카운터 (382) 는 특성 위치들의 총 수인 카운트 수를 제 2 결정부 (384) 에 출력하고, 카운트 수를 리셋한다.
필드 그룹 G(t-1) 에 대한 결정의 완료 시, 제 1 결정부 (380) 는 다음 필드 그룹 Gt (F(t) 내지 F(t-7)) 에 대한 결정을 수행한다. 이 때, 도 17에 도시된 바와 같이, 로그 처리부 (340) 로부터의 로그 배열 내의 움직임 파라미터 D(t-6) 이외의 움직임 파라미터가 사용된다.
제 1 결정부 (380) 는, 도 17에 도시된, 움직임 파라미터들 D(t-1), D(t-3), D(t-5)의 배열 패턴, Dt, D(t-2), D(t-4)의 배열 패턴, 및 D'(t-1), D'(t-3), D'(t-5)의 배열 패턴이 특성 위치로서 매칭하는 착안 화소 위치를 결정한다. 다른 처리는 필드 그룹 G(t-1)에 대한 처리와 동일하므로, 여기서 그 설명은 생략된다.
또한, 제 1 결정부 (380) 는 필드 그룹들 G(t+1), G(t+2),...에 대한 동일한 처리들을 수행한다.
제 2 결정부 (384) 는, Sj와 S(j+1) 간의 크기 관계, 및 S(j+1)와 S(j+2) 간의 크기 관계가 이들 연속하는 필드 그룹들에 대해 획득된 모든 특성 위치들의 총 수 Sj에 대해 서로 역전될 때, 입력 이미지를 2:2 풀-다운 이미지로서 결정한다. 예컨대, "필드 그룹들 G(t-1)과 Gt의 특성 위치들의 총 수 S(t-1)과 St 간의 크기 관계", "필드 그룹들 Gt와 G(t+1)의 특성 위치들의 총 수 St와 S(t+1) 간의 크기 관계", "S(t+1)과 S(t+2) 간의 크기 관계", 및 "S(t+2)와 S(t+3) 간의 크기 관계"가 "크다, 작다", "작다, 크다", "크다, 작다", 및 "작다, 크다", 또는 "작다, 크다", "크다, 작다", "작다, 크다", 및 "크다, 작다"일 때, 입력 이미지는 2:2 풀-다운 이미지로서 결정된다.
반면, 연속하는 필드 그룹들에 대해 계산된 특성 위치들의 총 수 Sj 모두가 거의 동일한 값일 때, 입력 이미지는 2:2 풀-다운 이미지가 아닌 노멀 인터레이스된 이미지로서 결정된다.
본 발명의 구체적인 예시적인 실시형태가 상술되었다. 상술된 예시적인 실시형태는 일례일 뿐이며, 다양한 변경물 또는 변형물이 본 발명의 사상으로부터 벗어나지 않고 이루어질 수도 있다. 이러한 경우에도, 당업자가 이해할 바와 같이, 상이한 예는 본 발명 내에 존재할 수도 있다.
예컨대, 이미지 처리 장치 (300) 내의 제 1 결정부 (380) 는, 도 16 및 도 17에 도시된 예시적인 실시형태에서 3개의 라인들의 라인 로그들을 채용한다. 그러나, Ft와 동일한 속성을 갖는 필드 쌍으로부터 계산된 라인 (n)의 움직임 파라미터들 Dt, D(t-2), D(t-4), D(t-6) 및 필드 Ft와 상이한 속성을 갖는 필드 쌍으로부터 획득된, 라인 (n)의 상위 다음 라인인 라인 (n-1)의 움직임 파라미터들 D(t- 1), D(t-3), D(t-5)만이, 또는 다르게, 움직임 파라미터들 Dt, D(t-2), D(t-4), D(t-6) 및 필드 Ft와 상이한 속성을 갖는 필드 쌍으로부터 획득된, 라인 (n)의 하위 다음 라인인 라인 (n+1)의 움직임 파라미터들 D'(t-1), D'(t-3), D'(t-5)만이 채용될 수도 있다.
본 발명이 수개의 예시적인 실시형태들들의 견지에서 설명되었지만, 본 발명이 첨부된 청구의 범위의 범위 및 사상 내의 다양한 변형물로 실시될 수 있고, 본 발명이 상술된 예들에 한정되지 않음을 당업자는 인식할 것이다.
또한, 청구의 범위의 범위는 상술된 예시적인 실시형태들에 의해 한정되지 않는다.
또한, 출원인의 의도는, 이후 진행 중에 보정되는 경우에도, 모든 청구의 범위 요소의 균등물을 포함하는 것임을 주의한다.
도 1은 본 발명에 따른 기술을 설명하는 이미지 처리 장치의 개략도.
도 2는 도 1에 도시된 이미지 처리 장치의 원리를 설명하는 도면.
도 3은 도 1에 도시된 이미지 처리 장치의 원리를 설명하는 다른 도면.
도 4는 본 발명에 따른 기술을 설명하는 다른 이미지 처리 장치의 개략도.
도 5는 도 4에 도시된 이미지 처리 장치의 원리를 설명하는 도면.
도 6은 도 4에 도시된 이미지 처리 장치의 원리를 설명하는 다른 도면.
도 7은 도 4에 도시된 이미지 처리 장치의 원리를 설명하는 다른 도면.
도 8은 화소 위치의 특성과 상관값의 배열 패턴 간의 관계를 도시하는 도면.
도 9는 본 발명의 예시적인 실시형태에 따른 이미지 처리 장치를 도시하는 도면.
도 10은 도 9에 도시된 이미지 처리 장치 내의 필드 쌍 상관 획득부를 도시하는 도면.
도 11은 도 9에 도시된 이미지 처리 장치 내의 로그 버퍼를 도시하는 도면.
도 12는 도 11에 도시된 로그 버퍼 내의 탑 필드 로그 버퍼에 저장된 데이터의 일 양태를 도시하는 도면.
도 13은 도 11에 도시된 로그 버퍼 내의 바텀 필드 로그 버퍼에 저장된 데이터의 일 양태를 도시하는 도면.
도 14는 도 9에 도시된 이미지 처리 장치 내의 로그 처리부를 도시하는 도면.
도 15는 도 14에 도시된 로그 처리부로부터 출력된 로그 배열을 도시하는 도면.
도 16은 도 9에 도시된 이미지 처리 장치 내의 제 1 결정부의 처리를 설명하는 도면.
도 17은 도 9에 도시된 이미지 처리 장치 내의 제 2 결정부의 처리를 설명하는 다른 도면.
도 18은 2:2 풀-다운 이미지를 검출할 필요성을 설명하는 도면.
도 19는 관련 기술을 설명하는 도면.
도 20은 관련 기술을 설명하는 다른 도면.
※도면의 주요 부분에 대한 부호의 설명
110 : 필드 쌍 상관 획득부
120 : 제 1 결정부
230 : 카운터

Claims (13)

  1. 동일한 속성을 갖는 2개의 인접한 필드들로 형성된 각각의 필드 쌍 Pj (j = t 내지 "t-m+2") 에 대하여, 입력 이미지 내의 타이밍 t의 필드 Ft 및 시계열에서 상기 필드 Ft에 연속하는 5개 이상의 필드들 F(t-i) (i = 1 내지 m, m≥5) 로 형성된 필드 그룹 Gt에 대한 상관을 획득하는 필드 쌍 상관 획득부; 및
    결정 조건에 기초하여, 상기 입력 이미지를 2:2 풀-다운 이미지로서 결정하는 제 1 결정부로서, 상기 결정 조건은, 하나의 속성의 필드 쌍들의 각각의 상관이 시간 방향을 따라서 변화하는 패턴이, 다른 속성의 필드 쌍들의 각각의 상관이 시간 방향을 따라서 변화하는 패턴과 매칭하는 것인, 상기 제 1 결정부를 포함하는, 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 필드 쌍 상관 획득부는, 각각의 필드 쌍에 대하여 각각의 화소 위치에 대한 상관의 존재를 표시하는 상관 정보를 획득하며,
    상기 제 1 결정부는, 결정 조건에 기초하여, 착안 화소 위치 (noted pixel position) 를 상기 2:2 풀-다운 이미지의 특성을 갖는 특성 위치로서 결정하고, 상기 착안 화소 위치는, 상기 필드 그룹 Gt에 포함된 모든 필드 쌍들에 대해 획득된 상관 정보가 동일한 값을 갖는 화소 위치 이외의 각각의 화소 위치이고, 상기 결정 조건은, 필드 쌍 Pt와 동일한 속성을 갖는 각각의 필드 쌍의 상기 착안 화소 위치의 상관 정보의 시간 방향에 따른 배열 패턴이, 상기 필드 쌍 Pt와 상이한 속성을 갖는 각각의 필드 쌍의 상기 착안 화소 위치와 인접한 상위 화소 위치 또는 상기 착안 화소 위치와 인접한 하위 화소 위치의 상관 정보의 시간 방향에 따른 배열 패턴과 매칭하는 것이며,
    상기 이미지 처리 장치는,
    상기 필드 그룹 Gt에 대한 특성 위치로서 결정된 착안 화소 위치들의 총 수를 특성 위치들의 총 수 St로서 계산하는 카운터; 및
    2개의 연속하는 필드 그룹들 Gt (t = "m+1" 내지 "m+2") 에 대해 획득된 특성 위치들의 2개의 총 수 St의 차이 또는 비가 미리 결정된 임계값 이상인 입력 이미지를 상기 2:2 풀-다운 이미지로서 결정하는 제 2 결정부를 더 포함하는, 이미지 처리 장치.
  3. 제 2 항에 있어서,
    상기 제 2 결정부는, St와 S(t+1) 간의 크기 관계 및 S(t+1)과 S(t+2) 간의 크기 관계가 3개 이상의 연속하는 필드 그룹들 Gt (t = "m+1" 내지 "m+n", n≥3) 에 대해 획득된 특성 위치들의 n개의 총 수 St에 대해 서로 역전된 입력 이미지를 상기 2:2 풀-다운 이미지로서 결정하는, 이미지 처리 장치.
  4. 제 2 항에 있어서,
    상기 제 1 결정부는, 상기 필드 그룹 Gt에 대한, 필드 쌍들 Pk (k = t-"2×L", L: 0 이상의 정수) 및 P(k-1)의 상관 정보가 서로 동일한 착안 화소 위치를, 상기 결정 조건을 만족시키는 특성 위치로서 결정하는, 이미지 처리 장치.
  5. 제 3 항에 있어서,
    상기 제 1 결정부는, 상기 필드 그룹 Gt에 대한, 필드 쌍들 Pk (k = t-"2×L", L: 0 이상의 정수) 및 P(k-1)의 상관 정보가 서로 동일한 착안 화소 위치를, 상기 결정 조건을 만족시키는 특성 위치로서 결정하는, 이미지 처리 장치.
  6. 제 2 항에 있어서,
    상기 필드 쌍 상관 획득부는, 상기 필드 쌍 Pj의 각각에 대하여 각각의 화소 위치에 대한 움직임을 검출하여, 상기 움직임의 존재를 표시하는 움직임 파라미터를 상기 화소 위치의 상관 정보로서 획득하는, 이미지 처리 장치.
  7. 제 3 항에 있어서,
    상기 필드 쌍 상관 획득부는, 상기 필드 쌍 Pj의 각각에 대하여 각각의 화소 위치에 대한 움직임을 검출하여, 상기 움직임의 존재를 표시하는 움직임 파라미터를 상기 화소 위치의 상관 정보로서 획득하는, 이미지 처리 장치.
  8. 제 4 항에 있어서,
    상기 필드 쌍 상관 획득부는, 상기 필드 쌍 Pj의 각각에 대하여 각각의 화소 위치에 대한 움직임을 검출하여, 상기 움직임의 존재를 표시하는 움직임 파라미터 를 상기 화소 위치의 상관 정보로서 획득하는, 이미지 처리 장치.
  9. 제 5 항에 있어서,
    상기 필드 쌍 상관 획득부는, 상기 필드 쌍 Pj의 각각에 대하여 각각의 화소 위치에 대한 움직임을 검출하여, 상기 움직임의 존재를 표시하는 움직임 파라미터를 상기 화소 위치의 상관 정보로서 획득하는, 이미지 처리 장치.
  10. 제 6 항에 있어서,
    상기 필드 쌍 상관 획득부는,
    상기 필드 쌍 Pj의 각각에 대하여 상기 필드 쌍 Pj를 형성하는 2개의 필드들 간의 차이를 계산하는 차이 계산기; 및
    상기 차이 계산기에 의해 계산된 차이의 절대값이 미리 결정된 임계값 이상인 화소 위치에 대해 "움직임"으로서 결정하고, 상기 차이의 절대값이 상기 임계값 미만인 화소 위치에 대해 "움직임 없음"으로서 결정함으로써, 각각의 화소 위치의 움직임 파라미터를 획득하는 움직임 결정부를 포함하는, 이미지 처리 장치.
  11. 제 7 항에 있어서,
    상기 필드 쌍 상관 획득부는,
    상기 필드 쌍 Pj의 각각에 대하여 상기 필드 쌍 Pj를 형성하는 2개의 필드들 간의 차이를 계산하는 차이 계산기; 및
    상기 차이 계산기에 의해 계산된 차이의 절대값이 미리 결정된 임계값 이상인 화소 위치에 대해 "움직임"으로서 결정하고, 상기 차이의 절대값이 상기 임계값 미만인 화소 위치에 대해 "움직임 없음"으로서 결정함으로써, 각각의 화소 위치의 움직임 파라미터를 획득하는 움직임 결정부를 포함하는, 이미지 처리 장치.
  12. 제 8 항에 있어서,
    상기 필드 쌍 상관 획득부는,
    상기 필드 쌍 Pj의 각각에 대하여 상기 필드 쌍 Pj를 형성하는 2개의 필드들 간의 차이를 계산하는 차이 계산기; 및
    상기 차이 계산기에 의해 계산된 차이의 절대값이 미리 결정된 임계값 이상인 화소 위치에 대해 "움직임"으로서 결정하고, 상기 차이의 절대값이 상기 임계값 미만인 화소 위치에 대해 "움직임 없음"으로서 결정함으로써, 각각의 화소 위치의 움직임 파라미터를 획득하는 움직임 결정부를 포함하는, 이미지 처리 장치.
  13. 제 9 항에 있어서,
    상기 필드 쌍 상관 획득부는,
    상기 필드 쌍 Pj의 각각에 대하여 상기 필드 쌍 Pj를 형성하는 2개의 필드들 간의 차이를 계산하는 차이 계산기; 및
    상기 차이 계산기에 의해 계산된 차이의 절대값이 미리 결정된 임계값 이상인 화소 위치에 대해 "움직임"으로서 결정하고, 상기 차이의 절대값이 상기 임계값 미만인 화소 위치에 대해 "움직임 없음"으로서 결정함으로써, 각각의 화소 위치의 움직임 파라미터를 획득하는 움직임 결정부를 포함하는, 이미지 처리 장치.
KR1020080112110A 2007-11-12 2008-11-12 이미지 처리 장치 KR101012621B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007293535A JP5123643B2 (ja) 2007-11-12 2007-11-12 映像処理装置
JPJP-P-2007-293535 2007-11-12

Publications (2)

Publication Number Publication Date
KR20090049034A KR20090049034A (ko) 2009-05-15
KR101012621B1 true KR101012621B1 (ko) 2011-02-09

Family

ID=40139673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080112110A KR101012621B1 (ko) 2007-11-12 2008-11-12 이미지 처리 장치

Country Status (6)

Country Link
US (1) US8405767B2 (ko)
JP (1) JP5123643B2 (ko)
KR (1) KR101012621B1 (ko)
CN (1) CN101437136B (ko)
GB (1) GB2454595B (ko)
TW (1) TW200926808A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124193A (ja) * 2008-11-19 2010-06-03 Nec Electronics Corp 映像信号処理装置及び映像信号処理方法
US9344643B2 (en) * 2012-03-30 2016-05-17 Sony Corporation Image processing apparatus, method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050011067A (ko) * 2003-07-21 2005-01-29 삼성전자주식회사 2:2 풀다운 시퀀스 판별장치 및 그 방법
KR20060088690A (ko) * 2005-02-02 2006-08-07 엘지전자 주식회사 필름 모드 검출 방법의 2:2 풀다운 방법
JP2006270912A (ja) * 2005-02-22 2006-10-05 Nec Electronics Corp プルダウン検出装置及びプルダウン検出方法
JP2007129400A (ja) * 2005-11-02 2007-05-24 Sharp Corp フィルムモード検出装置及び映像表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202907B2 (en) * 2002-04-09 2007-04-10 Zoran Corporation 2:2 and 3:2 pull-down detection techniques
KR100854091B1 (ko) 2002-07-13 2008-08-25 삼성전자주식회사 영상신호의 필름 모드 검출장치 및 방법
US7557861B2 (en) * 2004-01-30 2009-07-07 Broadcom Corporation Reverse pull-down video using corrective techniques
US7349029B1 (en) * 2005-01-19 2008-03-25 Kolorific, Inc. Method and apparatus for de-interlacing interlaced video fields originating from a progressive video source
CN100592780C (zh) * 2005-02-22 2010-02-24 恩益禧电子股份有限公司 下变换检测装置和下变换检测方法
JP4703267B2 (ja) * 2005-05-31 2011-06-15 株式会社東芝 プルダウン信号検出装置、プルダウン信号検出方法、及び順次走査変換装置
JP4074306B2 (ja) * 2005-08-19 2008-04-09 株式会社東芝 ２−２プルダウン信号検出装置及び２−２プルダウン信号検出方法
JP2008035436A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd プルダウンシーケンス検出装置およびプルダウンシーケンス検出方法
JP4936857B2 (ja) * 2006-10-31 2012-05-23 株式会社東芝 プルダウン信号検出装置、プルダウン信号検出方法及び順次走査変換装置
US8115866B2 (en) * 2006-12-29 2012-02-14 Texas Instruments Incorporated Method for detecting film pulldown cadences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050011067A (ko) * 2003-07-21 2005-01-29 삼성전자주식회사 2:2 풀다운 시퀀스 판별장치 및 그 방법
KR20060088690A (ko) * 2005-02-02 2006-08-07 엘지전자 주식회사 필름 모드 검출 방법의 2:2 풀다운 방법
JP2006270912A (ja) * 2005-02-22 2006-10-05 Nec Electronics Corp プルダウン検出装置及びプルダウン検出方法
JP2007129400A (ja) * 2005-11-02 2007-05-24 Sharp Corp フィルムモード検出装置及び映像表示装置

Also Published As

Publication number Publication date
US8405767B2 (en) 2013-03-26
GB0820546D0 (en) 2008-12-17
CN101437136A (zh) 2009-05-20
US20090122187A1 (en) 2009-05-14
TW200926808A (en) 2009-06-16
JP2009124261A (ja) 2009-06-04
JP5123643B2 (ja) 2013-01-23
KR20090049034A (ko) 2009-05-15
GB2454595A (en) 2009-05-13
GB2454595B (en) 2010-01-06
CN101437136B (zh) 2011-10-05

Similar Documents

Publication Publication Date Title
KR100360893B1 (ko) 영상 움직임 보상 장치 및 방법
JP2008167102A (ja) 映像処理装置及びそれを備えた映像表示装置
NL1028888C2 (nl) Inrichting voor ontvlechten en werkwijze met gebruikmaking van gedetecteerde lijnbibber.
JP2005287048A (ja) 画像境界における動きベクトル検出の改良
CN105282475A (zh) 移动字幕检测与补偿方法及系统
JP2006324979A (ja) 画像静止領域判定装置
US20080239144A1 (en) Frame rate conversion device and image display apparatus
EP2533523B1 (en) Motion-vector correction device and method and video-signal processing device and method
US20070171301A1 (en) Image static area determination apparatus and interlace progressive image transform apparatus
US8576337B2 (en) Video image processing apparatus and video image processing method
KR101012621B1 (ko) 이미지 처리 장치
EP2040222A1 (en) Motion prediction apparatus and motion prediction method
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
US8531600B2 (en) Video signal processing apparatus and method
JP4250598B2 (ja) 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法
JP2009124261A5 (ko)
KR100574503B1 (ko) 필름모드 판별장치 및 그 방법
JP2004023673A (ja) 動きベクトル検出装置及び方法、動き補正装置及び方法
JP5824937B2 (ja) 動きベクトル導出装置および方法
JP5574830B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP2013165306A (ja) 立体映像表示装置
JP2014007658A (ja) 動きベクトル導出装置、方法およびプログラム
JP2013074384A (ja) 画像処理装置及び画像処理方法
JP4092935B2 (ja) 動きベクトル修正装置及び方法
WO2021117233A1 (ja) 動画分離装置、プログラム及び動画分離方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee