KR20060045005A - 이미지 경계에서의 움직임 추정에 근거한 벡터 - Google Patents

이미지 경계에서의 움직임 추정에 근거한 벡터 Download PDF

Info

Publication number
KR20060045005A
KR20060045005A KR1020050026529A KR20050026529A KR20060045005A KR 20060045005 A KR20060045005 A KR 20060045005A KR 1020050026529 A KR1020050026529 A KR 1020050026529A KR 20050026529 A KR20050026529 A KR 20050026529A KR 20060045005 A KR20060045005 A KR 20060045005A
Authority
KR
South Korea
Prior art keywords
image
image data
referenced
motion
data
Prior art date
Application number
KR1020050026529A
Other languages
English (en)
Inventor
스벤 살제르
미카엘 그룬드메이어
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20060045005A publication Critical patent/KR20060045005A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/913—Letterbox, e.g. display 16:9 aspect ratio image on 4:3 screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 보상에 근거하여 더욱 향상된 보간법에 관한 것이다. 이미지 경계 부근에서, 특히 레터박스형 이미지에서 보간 산물을 회피하기 위해서, 각 움직임 보상된 이미지 데이터는, 움직임 보상된 이미지 데이터가 보간 목적으로 이용할 수 있는지 여부를 결정하기 위해 위치 확인되어야 한다. 참조된 이미지에서 움직임 보상된 이미지 데이터의 위치와 미리 규정된 경계선을 비교함으로써, 허용 불가능한 이미지 데이터 위치를 검출할 수 있어, 그 이미지 데이터에 근거하여 보간이 방지된다.

Description

이미지 경계에서의 움직임 추정에 근거한 벡터{A VECTOR BASED MOTION COMPENSATION AT IMAGE BORDERS}
도 1은 레터박스형 비디오 이미지의 예를 나타내는 도면,
도 2는 비디오 이미지에 대해 균일한 사이즈의 복수의 블록으로 분할하는 것을 나타내는 도면,
도 3은 이전 및 연속한 레터박스형 필드에 근거하여 중간 필드의 보간을 나타내는 도면,
도 4는 본 발명에 따른 움직임 보상기의 구성예를 나타내는 도면,
도 5는 도 4에 나타낸 움직임 보상기의 출력 연산기의 구성예를 나타내는 도면.
도면의 주요 부분에 대한 부호의 설명
110, 120 : 레터박스형 이미지 130 : 픽셀 평균화 유닛
140 : 출력 연산기 210, 220 : 멀티플렉서
230 : 출력 필터
본 발명은 개선된 움직임 추정에 관한 것이다. 특히, 본 발명은 다른 이미지의 움직임 보상 데이터에 근거하여 새로운 이미지를 생성하는 방법 및 그 움직임 보상기에 관한 것이다.
움직임 보상은 다수의 애플리케이션, 특히 최근의 텔레비전 수상기의 디지털 신호 처리에 사용된다. 특히, 현대의 텔레비전 수상기는, 재생되는 이미지의 화질을 개선하기 위해서, 프레임-레이트 변환(frame-rate conversion), 특히 움직임 보상된 업-변환(a motion compensated up-conversion)의 형태로 실시한다. 움직임 보상된 업-변환은, 예컨대 50㎐ 내지 60㎐, 66.67㎐, 75㎐, 100㎐ 등과 같은 더 높은 주파수의 필드 또는 프레임 레이트를 갖는 비디오 시퀀스(video sequences)에 대해 실행된다. 50㎐ 입력 신호 주파수는 PAL 또는 SECAM 규격에 따라 텔레비전 신호 방송에 주로 적용되지만, 비디오 신호에 근거한 NTSC는 60㎐의 필드 레이트를 갖는다. 60㎐ 입력 비디오 신호는 72㎐, 80㎐, 90㎐, 120㎐ 등과 같은 더 높은 주파수로 업-변환될 수도 있다.
프레임 레이트 변환 알고리즘은, 예컨대 50㎐ 또는 60㎐의 입력 시퀀스의 시간적 위치와 다른 시간적 위치에서 비디오 콘텐츠를 반영한 중간 이미지의 생성을 요구한다. 입력 이미지의 이미지 데이터의 보간 시에, 물체 움직임에 의해 야기되는 이미지 콘텐츠의 변화를 적절히 반영하기 위해서 움직이는 물체의 움직임을 반 영하여야 한다.
이미지 데이터의 보간 시에 이용되는 움직임은 입력 비디오 시퀀스의 2개의 최근접 이미지에 근거하여 결정된다. 일반적으로 움직임 추정은 블록 단위로 실행된다. 움직임 보상된 이미지에서 시각적인 블록 구조를 회피하기 위해서는, 블록 단위로 결정되는 움직임 벡터를 각 개개의 화소에 할당하는 것이 바람직하며, 그 결과의 움직임 벡터의 필드를 필터링한다.
특히 각 이미지 블록은 입력 이미지를 기초로 추정되는 움직임 벡터를 수신한다. 움직임 보상 시에 시각적 블록 구조를 회피하기 위해서는, 이들 블록들을 블록 침식 유닛(block erosion unit)에서 필터링한다. 필터는 각 블록을 처리하는 다중-단계(multi-step)에서 다수의 서브-블럭으로 분할되어, 각 서브-블럭에 움직임 벡터가 할당된다. 블록 침식의 마지막 단계 후에는, 분리된 움직임 벡터를 보간되는 이미지의 각 픽셀 위치에 할당한다. 현저한 움직이는 물체가 몇 개의 픽셀의 영역을 덮고 물체 움직임이 일정하다는 가정에 따르면, 정확한 픽셀 위치로의 벡터 할당은 불필요하다. 그렇지 않으면, 이웃한 입력 이미지에 대한 출력 이미지의 일시적인 위치에 대해 랜딩 포인트(landing point)를 향해 움직임 벡터의 개시 포인트의 시프트가 필요하게 된다. 수신된 움직임 벡터에 따라, 움직임 보상에서는 움직임 벡터에 의해 참조되는 픽셀의 이미지 데이터를 시프트한다. 참조된 이미지의 이미지 데이터의 시프트량은 수신된 움직임 벡터의 길이에 의존할 뿐만 아니라, 이전과 후속의 이미지 사이에 생성되는 새로운 이미지의 적절한 시간적 위치에 의존한다.
2개의 이미지, 바람직하게는 이전과 후속 이미지로부터 새로운 이미지 데이터를 생성할 때에, 움직임 보상 알고리즘은 이전과 후속 이미지의 이미지 데이터를 참조한다. 움직임 벡터의 방향에서 이전 이미지로부터의 이미지 데이터는 전방으로 시프트되지만, 후속 이미지로부터의 이미지 데이터는 후방으로 시프트된다. 전방 및 후방으로의 시프트량은 참조되는 이미지에 대해 새로운 이미지의 일시적인 위치에 따라 결정된다. 전방으로의 시프트는 움직임 벡터의 길이의 산출된 분율(calculated fraction)에 따라 실행되지만, 후방으로의 시프트는 움직임 벡터의 상보 음의 분율(complementary negative fraction)에 의해 실행된다. 각 픽셀 위치에서의 참조 화소값이 보간된다. 또한, 새롭게 생성되는 이미지에 대한 일시적인 위치에 근거한 참조 이미지로부터의 이미지 데이터의 가중화에 근거하여 보간이 이루어질 수도 있다.
이러한 보간 알고리즘에 의해 획득된 화질은 보간된 이미지가 비활성 이미지 영역을 포함하는 경우에 열화된다. 이러한 비활성 이미지 영역은 활성 영역의 이미지 포맷을 디스플레이 디바이스의 디스플레이 포맷으로 적응시키기 위해서 사용될 수도 있다. 특히, 레터박스형 이미지는 종래의 디스플레이 포맷 또는 반대로 디스플레이하는 와이드스크린 이미지를 적응시키기 위해서 이미지의 상하측 또는 그 좌우측 중 어느 한 곳에서 블랙 바(black bars)를 사용한다.
레터박스형 이미지의 블랙 바 옆의 이미지 영역은 움직임 벡터가 없다. 따 라서, 물체의 실제 움직임을 참조하지 않고 2개의 후속 이미지로부터의 이미지 데이터의 가중화에 근거해서만 보간을 실행할 수 있다.
이러한 문제점은, 각 이미지의 콘텐츠가 2개의 후속 이미지 중 하나에서만 나타나는, 움직이는 물체가 활성 이미지 영역의 경계를 지나갈 때, 즉, 물체가 이미지 내로 움직이거나 이미지를 벗어날 때에 주로 발생한다. 이러한 움직임은 종래의 움직임 추정 알고리즘으로 검출할 수 없다. 블록의 라인 또는 컬럼 내에서 우세한 움직임을 반영하는 라인 벡터 또는 컬럼 벡터의 애플리케이션이 활성 이미지 영역의 이미지 경계에 대한 움직임 벡터를 결정하는 위한 유망한 새로운 접근법이다. 이미지 경계를 경유하는 움직이는 물체 부분을 포함하고 그 결과 다른 이미지에서 대응물이 없는 이미지 블록의 움직임 벡터를 블록의 각 라인 또는 컬럼의 움직임 벡터에 근거하여 결정할 수 있다.
그러나, 활성 이미지 영역의 외측으로부터의 이미지 데이터의 보간에 기인하여 라인 또는 컬럼 움직임 벡터에 근거한 움직임 보상이 이루어진다. 따라서, 보간 처리 시에 부적절한 이미지 데이터가 삽입된다. 이 보간으로 인하여, 활성 이미지 영역의 이미지 데이터는 제각기 손상된 보간 결과로 인해 균일하게 검은 이미지 데이터로 보간된다.
레터박스형 이미지에 대해서, 이러한 화질 열화는 레터박스 영역으로 유도된 움직임 벡터에 의해 발생한다. 레터박스 영역으로부터의 픽셀들은 보간된 이미지 데이터가 레터박스 영역으로부터 채워지는 검은 점들(black dots)을 포함하는 활성 이미지 영역으로부터의 픽셀과 조합된다.
본 발명은 상기의 종래기술의 문제를 해결하는 것을 목적으로 한다. 본 발명의 목적은 움직임 보상에 근거한 이미지 데이터를 생성하는 개선된 방법 및 그 움직임 보상기를 제공하는 것이다.
이는 독립항의 특징에 의해 달성된다.
본 발명의 제 1 관점에 따르면, 비디오 이미지 시퀀스에서 다른 이미지의 비디오 데이터로부터 움직임 보상에 근거하여 이미지 데이터를 생성하는 방법이 제공된다. 생성되는 이미지의 현재 이미지 위치에 대한 움직임 벡터를 수신한 후에, 움직임 벡터에 근거하여 참조된 다른 이미지로부터 이미지 데이터를 획득한다. 또한, 움직임 벡터에 근거하여 참조되는 상기 이미지 데이터가 허용 가능한 이미지 위치에 위치하는지 여부를 결정한다. 상기 참조된 이미지 데이터가 허용 불가능한 이미지 위치에 위치하는 경우, 참조된 이미지 데이터에 근거하여 새로운 이미지 데이터의 생성을 억제한다.
본 발명의 다른 관점에 따르면, 움직임 보상기는 비디오 시퀀스에서 다른 이미지의 비디오 데이터로부터 움직임 보상에 근거하여 이미지 데이터를 생성하기 위해 제공된다. 움직임 보상기는 생성되는 이미지에서 현재 위치에 대한 움직임 벡터를 수신하여, 움직임 벡터에 근거하여 참조된 다른 이미지로부터 이미지 데이터를 복원하는 것이다. 움직임 보상기는 움직임 벡터에 근거하여 참조된 이미지 데이터가 허용 가능한 이미지 위치에 있는지 여부를 결정하는 출력 연산기를 구비한 다. 상기 출력 연산기는 참조된 이미지 데이터가 허용 불가능한 이미지 위치에 위치하는 경우에 참조된 이미지 데이터에 근거하여 새로운 이미지 데이터의 생성을 억제한다.
보간 목적으로 사용되는 참조된 이미지 데이터의 개개의 위치를 고려하는 것이 본 발명의 특정한 접근법이다. 참조된 이미지 데이터의 위치와 미리 규정된 허용 가능한 이미지 영역을 비교한다. 이러한 방법으로, 허용 불가능한 이미지 영역은 보간 알고리즘에서의 사용 시에 효과적으로 배제될 수 있다. 움직임 벡터의 검출에 의해서, 허용 가능한 이미지 영역의 외측 블록을 참조하여, 그 이미지 데이터의 사용을 억제하고, 허용 가능한 이미지 영역에 가까운 화질을 보호한다.
바람직한 실시예에 따르면, 참조된 이미지 데이터의 위치와 허용 가능한 이미지 영역을 규정하는 사전 결정된 경계를 비교한다. 이러한 방법으로, 참조된 이미지 데이터는 경계선과 비교되어, 사전 결정된 경계를 배제함으로써, 참조된 이미지 영역의 사용을 방지한다.
바람직하게는, 허용 가능한 이미지 영역은 비디오 이미지의 활성 이미지 영역이며, 더 바람직하게는, 허용 불가능한 이미지 영역은 비디오 시퀀스의 이미지 포맷을 디스플레이 포맷으로 적용하기 위해 삽입되는 이미지 부분에 대한 것이다. 레터박스형 이미지에 대해서, 이들 허용 불가능한 이미지 영역은 디스플레이 포맷의 상하측에서 삽입되는 블랙 바이다. 그러한 레터박스형 포맷을 용이하게 검출할 수 있어, 따라서 자동적으로 경계를 설정한다.
바람직하게는, 허용 불가능으로 전환되는 참조된 이미지 데이터는 보간 처리 시의 사용을 위해 다른 이미지 데이터에 의해 대체된다. 이러한 방법으로 에러 은폐를 실행하여, 보간 처리를 유지한다.
바람직하게는, 대체 이미지 데이터는 움직임 벡터에 의해 참조된 이미지 내의 허용 가능한 위치로부터의 이미지 데이터이다. 이러한 방법으로, 참조된 이미지 데이터의 시간적 허용도를, 참조된 이미지 위치만을 보정함으로써 유지할 수 있다.
바람직하게는, 새로운 이미지 데이터는 예측된 이미지 데이터에 근거하여 다른 이미지로부터 생성된다. 이를 위해, 2개의 움직임 벡터가 다른 이미지를 참조하는 수신된 움직임 벡터로부터 산출된다. 산출된 움직임 벡터에 의해 참조되는 그 이미지 데이터의 이미지 데이터가 새로운 이미지 데이터 생성을 위해 획득되어 보간된다. 2개의 다른 참조된 이미지의 이미지 데이터에 근거하여 현재 블록의 이미지 데이터를 예측함으로써, 예측된 이미지 데이터의 화질을 상당히 향상시킬 수 있고, 특히 움직이는 물체의 움직임 흐름을 향상된 연속 상태로 나타낸다.
바람직하게는, 2개의 산출된 움직임 벡터는 생성되는 현재 이미지에 이웃한 이미지를 참조한다. 이러한 방법으로, 후속 이미지 사이에 발생하는 이미지 콘텐츠의 변화를 적절히 고려할 수 있다. 이와 달리, 2개의 산출된 움직임 벡터는 2개의 다른 이전 이미지를 참조한다. 이러한 방법으로, 움직이는 물체의 변화의 발생을 적절히 고려한다.
양 움직임 벡터의 길이를 양 참조된 이미지의 시간적 위치에 대해 생성되는 현재 이미지의 시간적 위치에 따라 산출하는 것이 바람직하다. 이러한 방법으로, 생성되는 새로운 이미지 내의 움직이는 물체의 위치를 적절히 설정한다.
바람직하게는, 양 이미지의 현재 이미지 데이터를 가중화하여, 가중화된 이미지 데이터를 축적하는 것에 의해 보간한다. 이러한 방법으로, 현재 이미지로부터 이미지 데이터의 조화를 새롭게 생성되는 이미지의 시간적 위치에 대한 시간적 허용도에 따라 설정한다.
바람직하게는, 각 산출된 움직임 벡터의 길이에 따라 가중 계수를 설정한다.
바람직하게는 양 이미지의 참조된 이미지 데이터는 보간된 이미지를 생성하기 위한 이웃 이미지의 가중화된 보간 이미지 데이터로 함께 필터링된 중수이다. 이러한 방법으로, 잘못된 움직임 벡터에 의해 야기되는 가능한 에러는 가중된 보간 이미지 데이터로 은폐된다.
참조된 이미지 데이터의 허용 불가능한 위치로 인해 고려되지 않는 이미지 데이터는 다른 움직임 벡터에 의해 참조되는 이미지 데이터에 의해 대체된다. 이러한 방법으로 고화질의 간단한 에러 은폐를 얻을 수 있다.
본 발명의 바람직한 실시예는 독립항의 서브젝트 매터이다.
본 발명의 다른 실시예 및 장점은 이하의 바람직한 실시예의 설명으로부터 명확해질 것이다.
본 발명은 디지털 신호 처리에 관한 것으로, 특히 최근의 텔레비전 수상기에서의 신호 처리에 관한 것이다. 최근의 텔레비전 수상기는 재생되는 화질을 향상하기 위해서 업-변환 알고리즘(up-conversion algorithms)을 사용한다. 이를 위 해, 2개의 후속 이미지로부터 중간 이미지가 생성된다. 중간 이미지를 생성하기 위해서는, 중간 이미지에 의해 반영되는 시간의 포인트에서 새로운 이미지 내의 물체 위치를 적절히 적용하기 위해서 움직이는 물체의 움직임을 고려해야 한다.
움직임 추정과 같이, 움직임 보상은 일반적으로 블록 단위로 실행된다. 이를 위해, 생성되는 중간 이미지는 예컨대, 도 2에서 나타내는 바와 같이 복수의 블록으로 분할된다. 이전 및 후속 이미지로부터 이미지 데이터의 움직임 보상에 근거하여 개별적으로 현재 블록의 각각이 생성된다. 움직임 보상 시에 가시적인 블록 구조를 회피하기 위해서, 블록 침식 유닛(a block erosion unit)에서 이들 블록들이 필터링된다. 필터는 각 블록을 처리하는 다중 단계(multi-step)에서 반복적으로 다수의 작은 서브-블럭(sub-blocks)으로 분할하여, 각 서브-블럭에 움직임 벡터를 할당한다. 블록 침식의 마지막 단계 후에는, 분리된 움직임 벡터를 각 픽셀에 할당한다.
도 1에서의 예에서 설명한 바와 같이, 레터박스형 이미지에 대한 움직임 보상된 이미지 데이터를 생성할 때에, 활성 이미지 영역(10)과 디스플레이 포맷의 상하측에서 제공되는 블랙 바(20, 30) 사이의 경계선을 종래의 보간 알고리즘으로 관찰되지 않는다. 생성된 현재 블록에 할당되는 움직임 벡터는 블랙 이미지 데이터 전부의 블록을 참조하는 레터박스 영역(20, 30)으로 유도될 수 있다. 동일한 방법으로, 레터박스 영역(20, 30)의 내측으로부터 활성 이미지 영역(10)으로 움직임 벡터들을 향하게 할 수도 있다. 이러한 유형의 움직임 벡터들은 활성 이미지 영역(10)으로의 검은 점들의 형태 또는 레터박스 영역(20, 30)으로의 밝은 점들의 형태 중 어느 한 형태로 보간 처리로 픽셀들을 도입한다.
움직임 보상 시에, 생성되는 현재 블록에 움직임 벡터를 할당한다. 할당된 움직임 벡터는 이전 이미지로부터의 이미지 데이터의 블록을 시프트하기 위한 양의 분율, 및 후속 이미지로부터의 이미지 데이터의 블록을 후방으로 시프트하기 위해 후속 이미지에 할당된 음의 분율로 나뉘어진다. 참조되는 양 이미지 블록으로부터의 픽셀 데이터는 보간된 이미지의 이미지 데이터의 블록을 생성하기 위한 이전 및 후속 이미지로부터의 부가된 평균 픽셀로 보간되어 처리된다.
본 발명은 활성 이미지 영역의 블록에 대한 보간 시에, 레터박스 픽셀을 고려하지 않는 것에 의해, 레터박스 영역으로부터 활성 이미지 영역 또는 그 반대로 도입한 이미지 데이터의 화질 열화를 방지하는 것이다. 대응하는 방법으로, 활성 이미지 영역으로부터의 이미지 데이터를 레터박스 영역에서 보간 목적으로 사용하지 않는다. 이는 활성 이미지 영역(10)과 레터박스 영역(20, 30) 사이의 경계선을 고려하는 것에 의해 얻어진다. 경계선은 도 1에 나타내는 레터박스형 이미지의 첫 번째 활성 라인(FAL)과 마지막 활성 라인(LAL)으로서 마크되어 있다. 이들 경계선은 예컨대 미국 특허 공개 제 6,208,385 호에 개시된 바와 같이 자동적으로 검출될 수도 있고, 처리될 이미지 시퀀스가 저장되어 있을 수도 있다. 움직임 보상 시에, FAL 및 LAL은 어드레스 지정된 픽셀 위치의 수직 성분과 비교된다.
상하측 레터박스 영역(20, 30)의 경계선 FAL, LAL에 근거하여, 적용된 QRKS을 제어하도록 레터박스 영역(20, 30)과 활성 이미지 영역(10)의 픽셀이 별도로 마크되어 있다. 따라서, 이를 위해, 2진 신호 LB_IN이 설정되고 각 픽셀에 할당된 다.
레터박스형 이미지(110, 120)의 이전 및 후속 필드에 근거한 움직임 보상이 도 3에 도시되어 있다. 현재 위치 A에서 픽셀을 생성하기 위해서는, 수신된 움직임 벡터의 분율은 이전 필드(110)와 연속 필드(120)에서의 픽셀을 참조한다. 참조된 픽셀 위치는 수신된 움직임 벡터에 근거하여 결정되고, 움직임 벡터의 첫 번째 분율은 이전 필드(110)에서의 픽셀 위치를 참조하고, 반면에 역 상보 분율(an inverse complementary fraction)는 연속 필드(120)에서의 블록을 참조한다.
도 3은 양쪽의 가능한 움직임 보상 상태, 즉 허용 가능/비허용 가능한 참조 위치를 나타낸다. 활성 이미지 영역에서의 픽셀 위치 A에 대한 이미지 데이터는 활성 이미지 영역(10)에도 위치하는 연속 필드(120)에서의 다른 픽셀 위치 Psucc를 참조한다. 반면에, 이전 필드(110)에서는, 움직임 벡터는 레터박스 영역(30)내에 위치하는 픽셀 위치 Pprev를 참조한다. 이전 필드를 참조한 움직임 벡터는 마지막 활성 라인 LAL, 즉 활성 이미지 영역(10)과 레터박스 영역(30) 사이의 경계를 경유한다.
종래의 보간 알고리즘에서는 보간된 이미지 데이터를 생성하기 위해 참조된 양 이미지 데이터를 조합한다. 이러한 보간 처리에서는 이전 필드로부터 새롭게 생성된 이미지의 활성 이미지 영역으로 픽셀 Pprev에 의해 도입되는 검은 부분으로 귀착된다. 이러한 화질 열화를 회피하기 위해서, 본 발명은 레터박스 영역에 대해 경계선을 경유하는 보간을 억제한다. 없어진 이미지 데이터는 다른 필드, 즉, 픽 셀 위치 Psucc를 참조함으로써 얻어지는 데이터들에 의해 대체되는 것이 바람직하다.
활성 이미지 영역과 레터박스 영역 사이의 경계선을 참조된 픽셀 위치가 허용 불가능하게 경유하는지 여부를 검출하기 위해서, 이하의 수학식에 의해 산술된 바와 같이 신호 LB_IN이 산출되며, 수학식 1은 활성 이미지 영역(10)과 하측 레터박스 영역(30) 사이의 경계선에 관한 것이고, 수학식 2는 활성 이미지 영역(10)과 상측 레터박스 영역(20) 사이의 경계선에 적용된다.
Figure 112005016869379-PAT00001
(1)
Figure 112005016869379-PAT00002
(2)
본 발명에 따른 보간기의 구성예를 도 4에서 도시하고 있다. 시간적 관점에서, 이미지(110)와 이미지(120) 사이에 위치하는 중간 이미지의 새로운 이미지 데이터를 생성하기 위해서 2개의 후속 이미지(110, 120)로부터의 이미지 데이터를 고려해야 한다. 위치 Pprev, Psucc에서의 양 참조된 이미지 데이터는 출력 연산기(140)에 제공된다. 또한, 출력 연산기(140)는 참조된 이미지 데이터 위치, 즉 LB_INprev, LB_INsucc에 대한 LB_IN 신호를 수신한다. 수신한 LB_IN 신호에 근거하여, 출력 연 산기(140)는 중간 이미지의 새로운 이미지 데이터를 생성하기 위해서, 참조된 이미지 데이터를 참조할지를 결정한다.
전술한 실시예에 따르면, 이전 필드(110)내의 참조된 이미지 데이터가 활성 이미지 영역(10)과 하측 레터박스 영역(30) 사이의 경계선을 경유한다. 이들 이미지 데이터는 그 결과의 이미지의 고화질을 보호하기 위해서 보간 시에 고려되지 않는다. 1의 값을 갖는, 즉 레터박스 픽셀 위치를 나타내는 LB_INprev에 의해 나타낸 바와 같이, 보간 시에는 레터박스 이미지 데이터는 고려되지 않는다. 반면에, 출력 연산기는 활성 이미지 영역 픽셀 위치를 나타내는 연속 필드(120)의 이미지 데이터에 관련된 0의 값을 수신한다. 따라서, 이들 이미지 데이터는 보간 시에 고려되지 않는다.
움직임 보상을 위해 이전 필드로부터의 이미지 데이터가 허용 불가능하는 것을 고려할 때는, 출력 연산기는 대체 데이터를 결정하기 위해 은폐 알고리즘(concealment algorithm)을 적용한다. 실시예 1에 따르면, 허용 불가능한 데이터는 다른 필드에서 참조된 이들 이미지 데이터에 의해 대체된다. 전술한 실시예에서 나타낸 바와 같이, 연속 필드(120)의 참조된 이미지 데이터는 이전 필드(110)에서 참조된 이미지 데이터를 대체한다. 출력 연산기(140)는 싱글 입력 필드(120)의 이미지 데이터에만 근거한 이미지 데이터를 보간한다.
움직임 벡터에 의해 참조된 이미지 데이터에 부가하여, 도 4에 나타낸 보간기는 위치 A에 있는 이전 및 연속 필드(110, 120)로부터의 이미지 데이터를 고려한 다. 이 이미지 위치 A는 현재 생성된 이미지 데이터의 위치에 대응한다. 각 이미지 데이터 Aprev, Asucc는 현재 이미지의 시간적 위치에 따라 수신된 이미지 데이터의 평균값을 연산하여 평균 결과 Paverage를 출력 연산기(140)에 제공하는 픽셀 평균화 유닛(130)에 제공된다. 보간 시에는 출력 연산기(140)는 평균화된 이미지 데이터 Paverage를 고려한다.
평균 이미지 데이터 Paverage는, 하나의 이미지의 참조된 이미지 데이터가 보간 시에 허용 가능한 경우에 이와 다른 실시예에 따라 대체 데이터로서 사용 가능하다. 신뢰성 없는 움직임 벡터의 경우에 대체값(a fallback value)으로서도 사용된다.
또한, 참조된 이미지 데이터 Pprev, Psucc에 부가하여, 출력 연산기(140)에 의해 실행되는 보간 알고리즘에서는 평균화된 이미지 데이터 Paverage를 고려한다. 출력 필터(230)에는 3개의 상이한 이미지 데이터가 제공된다. 바람직한 실시예에서는, 출력 필터는 3탭 중수(3tap median)를 구비하고 있다. 신뢰성 있는 움직임 벡터의 경우에, 양 참조된 이미지 데이터 Pprev, Psucc는 이전 및 연속 이미지에서 동일 움직이는 물체로부터 기인하는 거의 동일 픽셀값을 포함하고 있다. 따라서, 이들 참조된 이미지 데이터 중 하나는 중수 필터의 결과이다. 움직임 벡터가 틀리거나 신뢰성 없는 경우에는 평균화된 이미지 데이터 Paverage가 대체 해결책으로서 제공된다. 이 경우, 상당히 다르게 3개의 중수가 입력되고, 평균화된 이미지 데이터 Paverage가 통상 중수 출력(median output)을 구축한다. 잘못 보간된 이미지 콘텐츠 대신에 무시할 수 있는 움직임 얼룩(neglectable motion blur)이 생성된다. 출력 연산기(!40)의 구성예를 도 5에 도시하고 있다. 미리 규정된 보간 알고리즘에 따라, 출력 필터(230)는 이전 필드 Pprev, 연속 필드 Psucc 및 평균화된 이미지 데이터 Paverage로부터, 참조된 이미지 데이터를 조합하는 반면에, 적절한 움직임 보상된 이미지 데이터 Pprev.Psucc의 선택은 멀티플렉서(210, 220)에 의해 실행된다. 각 멀티플렉서(210, 220)는 LB_IN 신호의 하나에 의해 제어된다. 각각의 멀티플렉서(210, 220)는 참조된 이미지의 하나를 담당한다. 각 LB_IN 신호의 상태에 의존하여, 멀티플렉서(210, 220)는 움직임 보상된 데이터가 허용 불가능한 이미지 영역을 참조하는 경우, 움직임 보상된 이미지 데이터 PprevPsucc를 선택하거나 제각기의 대체 데이터, 즉 움직임 조상된 데이터를 선택하거나 한다. 각 멀티플렉서(210, 220)는 선택된 이미지 데이터를 출력 필터(230)에 제공한다. 출력 필터(230)는 순신된 움직임 보상된 이미지 데이터와 평균화된 픽셀 데이터 Paverage에 근거하여 새로운 이미지 데이터를 생성한다. 대체의 경우, 출력 필터(230)의 3개의 입력 데이터 중 2개는 동일하며, 따라서 생성된 출력을 구축한다.
전술한 설명에서, 움직임 보상 및 보간을 "이미지 데이터"에 대해서 주로 기술하였지만, 이러한 표현은 도 2에 따른, 즉 각 이미지내의 미리 규정된 블록 단위 실행을 포함한다. 이와 달리, 양 실행, 즉 블록 단위의 실행 및 픽셀 단위의 실행 은, 움직임 보상이 블록 단위로 실행되는 반면, 보간에 사용하는 각 이미지 데이터의 개별적인 선택은 블록 단위 움직임 보상된 이미지 데이터로부터 픽셀 단위로 실행되므로, 조합되어도 된다.
전술한 실시예는 주로 디스플레이 스크린의 상하측에서 블랙 바를 갖는 레터박스형 이미지에 대한 것이지만, 본 발명은 좌우측 경계에서 블랙 바를 갖는 각 이미지 타입 또는 이미지 경계에서 블랙 바를 갖는 않는 표준 이미지에 동일한 효과를 제공할 수 있다.
표준형 이미지뿐만 아니라 레터박스형 이미지의 활성 이미지 영역은 종래의 최적 정합 움직임 추정 알고리즘 대신에 더 향상된 움직임 추정 알고리즘에 근거하여 산출되는 이미지 경계 근처에서 이미지 데이터에 할당된 움직임 벡터를 가져도 된다. 전술한 라인 또는 컬럼 벡터를 얻기 위한 움직임 벡터의 움직임 추정 및 더욱 향상된 움직임 추정을 다음에 설명한다.
일반적으로, 도 2에 나타내는 바와 같이, 움직임 추정은 블록 래스터(a block raster)에서 실행된다. 비디오 시퀀스의 각 비디오 이미지는 움직임 벡터 추정을 위해 균일 사이즈의 블록으로 분할된다. 일반적으로는, 각 블록은 8×8 픽셀의 정사각형 형상을 갖는다. 당업자라면 다른 사이즈, 예컨대 4×4 또는 16×16의 블록 또는 다른 높이와 폭을 갖는 불규칙한 직사각형 형상도 적용할 수 있음을 알고 있다는 것을 유념해야 한다.
통상적으로 현재 이미지에 대한 움직임 벡터는 최적의 정합 접근에 근거하여 결정된다. 그러나, 이미지 경계, 특히 이전 이미지에서 대응 블록이 존재하지 않 을 때에 최적 정합 접근은 불가능하다. 그 상황 하에서, 종래의 추정 알고리즘에 근거한 움직임 벡터 추정은 이미지 경계 부근에서 전체 라인 또는 컬럼의 우세 움직임을 현재 블록에 할당하는 라인 또는 컬럼 움직임 벡터에 의해 대체된다.
현재 이미지 n(필드 또는 프레임)에 대한 움직임 벡터 결정이 완료되자 마자, 각 라인 및 컬럼 벡터의 연산이 개시된다. 연산된 라인 및 컬럼 벡터는 다음 필드 또는 프레임의 움직임 추정 시에 사용된다.
먼저, 작은 길이의 움직임 벡터는 고려 대상에서 배제된다. 이를 위해, 각 블록의 움직임 벡터
Figure 112005016869379-PAT00003
를 사전 결정된 임계값 vthr과 비교한다. 그 결과는 각각의 블록에 할당된 2진 "vecthr" 플래그에 반영된다. 이 플래그는 수학식 3으로 나타내는 바와 같이 산출된다.
Figure 112005016869379-PAT00004
(3)
바람직하게는, 이미지 n의 모든 블록에 대해 결정된 움직임 벡터의 집합이 수정되어, 따라서 이들 움직임 벡터는 미리 규정된 임계값 vthr을 초과하지 않는 영(0;0)으로 설정된다. 이러한 수정은 수학식 4에 의해 반영된다.
Figure 112005016869379-PAT00005
(4)
수학식 4에 따르면, 임계 벡터
Figure 112005016869379-PAT00006
thresholded가 산출된다. 이 임계 벡터는 이미 산출된 플래그(수학식 3)가 영인 경우에 영으로 설정된다. 그렇지 않으면, 결정된 벡터
Figure 112005016869379-PAT00007
는 임계 벡터
Figure 112005016869379-PAT00008
thresholded에 할당된다.
라인 또는 컬럼 벡터의 연산에 대해서는, 나머지(임계) 벡터의 평균값을 산출하는 것이 바람직하다. 그러나, 당업자는 개개의 라인 또는 컬럼의 복수의 움직임 벡터에 대한 공통 움직임 벡터를 나타내는 움직임 벡터를 결정하기 위해서 다른 알고리즘을 적용할 수도 있다.
라인 및 컬럼 벡터 연산을 위해서, 개개의 블록 길이 및 임계값 vthr을 초과하는 블록의 수가 이하의 수학식 5 내지 8로 나타내는 바와 같이 축적된다.
Figure 112005016869379-PAT00009
(5)
Figure 112005016869379-PAT00010
(6)
Figure 112005016869379-PAT00011
(7)
Figure 112005016869379-PAT00012
(8)
라인 및 컬럼 벡터
Figure 112005016869379-PAT00013
line,
Figure 112005016869379-PAT00014
column는 이하의 수학식 9 및 10에 따라 계산된다. 움직임 벡터는 라인 또는 컬럼에 대해 사전 결정된 임계값 vthr을 초과하는 블록의 수가 미리 규정된 다른 임계값 nthrline, nthrcolumn을 초과하는 경우에만 계산된다.
Figure 112005016869379-PAT00015
(9)
Figure 112005016869379-PAT00016
(10)
전술한 임계값 vthr, nthrline, nthrcolumn을 참조하면, 이하의 값이 이용되는 것이 바람직하다.
Figure 112005016869379-PAT00017
xmax 및 ymax는 필드 또는 프레임의 전체 폭/높이를 나타낸다. 이 값들은 8×8 픽셀의 블록 사이즈로 사용되는 것이 바람직하다.
전술한 설명은 각 개개의 라인 및 컬럼에 대해 라인 및 컬럼 벡터가 계산된다는 가정에 근거한 것이지만, 2개의 라인 또는 2개의 컬럼의 조합에 대해 공통 움직임 벡터가 추가적 또는 양자택일적으로 계산될 수도 있다. 2개의 라인 또는 2개의 컬럼 움직임 벡터는 2개의 라인 또는 2개의 컬럼 내의 주요 움직임을 나타내는 물체에 대한 움직임 정확도를 더욱 증가시킬 수도 있다.
전술한 움직임 보상된 보간기의 실시예를 적용하기 위한 특정예를 이하에서 설명한다. 50㎐로부터 100㎐로의 프레임 레이트 업 변환 시에, 시간적 관점에서, 2개의 후속 이미지 사이의 중앙 위치에서 중간 이미지가 생성된다. 현재 픽셀 위치가 X_OUT=100 및 Y_OUT=245라고 가정한다.
이 픽셀 위치의 움직임 보상을 위해 수신한 움직임 벡터는 이하의 수직 및 수평 성분을 갖는다.
V=20 및 H=10
또, 레터박스형 이미지에서 마지막 활성 라인 LAL이 250이라고 가정한다.
양 제각기의 입력 이미지, 즉 이전 및 후속 이미지에서의 참조 픽셀을 위해서, 참조된 2개의 입력 이미지와 비교하여 생성되는 출력 이미지의 시간적 관계에 따라 수신되는 움직임 벡터를 분할한다. 전술한 실시예의 중간 이미지가 양 입력 이미지의 중앙에서 위치하는 경우에만, 이전 및 연속 이미지로부터 움직임 보상을 위해 계산된 각 움직임 벡터가 이하의 1/2의 가중 계수를 적용할 때에 결정된다.
Figure 112005016869379-PAT00018
상기 계산된 움직임 벡터에 근거하여, 참조된 이미지에서의 픽셀 위치는 이하와 같이 계산된다.
Figure 112005016869379-PAT00019
따라서, 픽셀 위치 Pprev(95; 235) 및 Psucc(105; 255)에 대한 픽셀은 현재 중간 이미지에서의 새로운 픽셀의 생성을 위한 이미지 데이터를 제공하는데 참조된다.
중간 이미지를 생성하기 전에, 참조된 이미지 데이터가 레터박스 영역(20, 30)으로 들어가는지 여부를 결정한다. 이를 위해, 참조된 픽셀 위치의 수직 성분을 미리 규정된 경계선 LAL, 즉 활성 이미지 영역(10)의 마지막 활성 라인과 비교한다.
Y_VEC_PREV = 235 < LAL =250
지금 이전 이미지에서 참조된 픽셀이 활성 이미지 영역(10)의 부분인 것으로 전환한다.
이 픽셀에서의 보간을 성공적으로 수행하기 위해서는, 현재 픽셀 위치도 활성 이미지 영역(10) 또는 레터박스 영역(20, 30)의 한 부분인지 여부를 결정해야 한다.
Y_OUT = 245 < LAL = 250
양 픽셀 위치, 즉 현재 픽셀 및 이전 이미지로 참조되는 픽셀이 활성 이미지 영역 내에 위치할 때에, 참조된 픽셀은 보간 목적으로 사용될 수 있다. 따라서, 신호 LB_IN은 영으로 설정(참조된 픽셀 위치가 활성 이미지 영역 내에 위치함을 나타냄)된다.
상기 결정을 연속하는 이미지 Psucc(105; 255)에서 참조된 픽셀에 적용한다.
Y_VEC_SUCC = 255 > LAL = 250
Y_OUT = 245 < LAL = 250
따라서, 연속하는 이미지로부터 움직임 보상된 이미지 데이터는 현재 픽셀이 활성 이미지 영역 내에 위치하는 동안에 레터박스 영역의 이미지 데이터를 참조한 다. 그 결과, 신호 LB_IN은 1로 설정, 즉 보간이 억제된다. 신호 LB_IN이 1로 설정되기 때문에, 출력 연산기(140)는 참조된 픽셀값에 근거하여 보간을 억제하고, 이들 이미지 데이터를 다른 참조된 픽셀 Pprev의 이미지 데이터로 대체한다.
중간 이미지가 이전 및 후속 이미지(110, 120)에 대해 동일 시간적 거리에 위치한다. 따라서, 움직임 벡터 산출 및 보간은 가중 계수의 1/2을 사용한다. 참조된 이미지에 대해 중간 이미지의 시간적 위치에 의존하여, 다른 가중 계수, 예컨대 1/3*Pprev 및 2/3*Psucc가 사용될 수도 있다.
요약하면, 본 발명은 움직임 보상에 근거하여 더욱 향상된 보간법에 관한 것이다. 이미지 경계 부근, 특히 레터박스형 이미지에서의 보간 산물을 회피하기 위해서는, 각 움직임 보상된 이미지 데이터는 보간 목적으로 움직임 보상된 이미지 데이터를 사용할 수 있는지 여부를 결정하기 위해 위치 확인된다. 참조된 이미지 내에서 움직임 보상된 이미지 데이터의 위치와 미리 규정된 경계선을 비교함으로써, 허용 불가능한 이미지 데이터 위치를 검출할 수 있어, 이 이미지 데이터에 근거한 보간을 방지할 수 있다.
이상 설명한 바와 같이, 본 발명에 의하면, 움직임 보상에 근거한 이미지 데이터를 생성하는 개선된 방법 및 그 움직임 보상기를 얻을 수 있다.

Claims (37)

  1. 비디오 이미지 시퀀스에서의 다른 이미지의 비디오 데이터로부터 움직임 보상에 근거하여 이미지 데이터를 생성하는 방법 - 상기 생성되는 이미지의 현재 이미지 위치(A)에 대한 움직임 벡터를 수신하는 단계와, 상기 움직임 벡터에 근거하여 참조된 다른 이미지로부터 이미지 데이터를 획득하는 단계를 포함함 - 에 있어서,
    상기 움직임 벡터에 근거하여 참조되는 상기 이미지 데이터(P)가 허용 가능한 이미지 위치에 있는지 여부를 결정하는 단계와,
    상기 참조된 이미지 데이터(P)가 허용 불가능한 이미지 위치에 위치하는 경우, 상기 참조된 이미지 데이터(P)에 근거하여 새로운 이미지 데이터의 생성을 억제하는 단계
    를 포함하는 것을 특징으로 하는 이미지 데이터 생성 방법.
  2. 제 1 항에 있어서,
    상기 결정 단계는 상기 참조된 이미지 데이터 위치(P)와 허용 가능한 이미지 영역(10)의 미리 규정된 경계와 비교하는 이미지 데이터 생성 방법.
  3. 제 2 항에 있어서,
    상기 결정 단계는 상기 현재 이미지 데이터(A)의 위치와 상기 허용 가능한 이미지 영역(10)의 미리 규정된 경계와 더 비교하는 이미지 데이터 생성 방법.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 허용 가능한 이미지 영역(10)은 비디오 이미지의 활성 이미지 영역인 이미지 데이터 생성 방법.
  5. 제 4 항에 있어서,
    상기 허용 불가능한 이미지 영역은 이미지 포맷을 디스플레이 포맷으로 적용하기 위해 삽입된 이미지 부분(20, 30)을 포함하는 이미지 데이터 생성 방법.
  6. 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 이미지는 레터박스형 이미지이고, 상기 허용 불가능한 이미지 영역은 디스플레이 포맷의 상하측에서 마련된 블랙 바(black bars)(20, 30)인 이미지 데이터 생성 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 허용 불가능한 이미지 데이터를 대체 이미지 데이터로 대체하는 단계를 더 포함하는 이미지 데이터 생성 방법.
  8. 제 7 항에 있어서,
    상기 대체 이미지 데이터는 허용 가능한 위치에서 상기 참조된 이미지로부터 취해지는 이미지 데이터 생성 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    다른 이미지를 참조하는 상기 수신된 움직임 벡터로부터 2개의 움직임 벡터를 산출하는 단계와,
    상기 산출된 움직임 벡터에 따라 상기 참조된 이미지의 이미지 데이터를 획득하는 단계와,
    2개의 움직임 벡터에 의해 참조되는 상기 획득한 이미지 데이터를 보간하는 단계
    를 포함하는 이미지 데이터 생성 방법.
  10. 제 9 항에 있어서,
    상기 2개의 움직임 벡터는 상기 이미지 시퀀스에서 상기 현재 이미지에 이웃한 2개의 이미지를 참조하는 이미지 데이터 생성 방법.
  11. 제 9 항에 있어서,
    상기 2개의 움직임 벡터는 상기 이미지 시퀀스에서 상기 현재 이미지 이전의 다른 이미지를 참조하는 이미지 데이터 생성 방법.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 산출 단계는 2개의 참조된 이미지에 대해서 상기 현재 이미지의 시간적 위치에 따라 2개의 움직임 벡터의 길이를 산출하는 이미지 데이터 생성 방법.
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 다른 참조된 이미지로부터의 대체 이미지 데이터에 의해 상기 참조된 이미지로부터의 상기 허용 불가능한 이미지 데이터를 대체하는 단계를 더 포함하는 이미지 데이터 생성 방법.
  14. 제 13 항에 있어서,
    상기 대체 이미지 데이터는 다른 이미지에서 참조된 상기 이미지 데이터(P)인 이미지 데이터 생성 방법.
  15. 제 9 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 보간 단계는 상기 현재 위치에 대응하는 상기 참조된 이미지내의 위치로부터 이미지 데이터(Paverage)를 더 수신하는 이미지 데이터 생성 방법.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 결정 단계는 상기 참조된 이미지 데이터의 허용도를 나타내는 신호(LB_IN)를 생성하는 이미지 데이터 생성 방법.
  17. 제 16 항에 있어서,
    상기 억제 단계는 상기 결정 단계에서 생성된 상기 신호(LB_INprev, LB_INsucc)에 근거하여 새로운 이미지 데이터를 생성하기 위해 고려되는 상기 참조된 이미지 데이터(Pprev, Psucc)를 선택하는 이미지 데이터 생성 방법.
  18. 제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 새로운 이미지 데이터는 픽셀 단위로 생성되는 이미지 데이터 생성 방법.
  19. 제 1 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 새로운 이미지 데이터는 블록 단위로 생성되는 이미지 데이터 생성 방법.
  20. 비디오 시퀀스에서 다른 이미지의 비디오 데이터로부터 움직임 보상에 근거하여 이미지 데이터를 생성하기 위한 움직임 보상기 - 생성되는 이미지에서 현재 위치(A)에 대한 움직임 벡터를 수신하여, 상기 움직임 벡터에 근거하여 참조된 다른 이미지로부터 이미지 데이터를 복원함 - 에 있어서,
    상기 움직임 벡터에 근거하여 참조된 상기 이미지 데이터(P)가 허용 가능한 이미지 위치에 있는지 여부를 결정하여, 상기 참조된 이미지 데이터(P)가 허용 불 가능한 이미지 위치에 위치하는 경우에 상기 참조된 이미지 데이터(P)에 근거하여 새로운 이미지 데이터의 생성을 억제하기 위한 출력 연산기(140)를 구비하는 것을 특징으로 하는 움직임 보상기.
  21. 제 20 항에 있어서,
    상기 출력 연산기(140)는 상기 참조된 이미지 데이터 위치와 허용 가능한 이미지 영역(10)의 미리 규정된 경계와 비교하기 위한 비교기를 포함하는 움직임 보상기.
  22. 제 21 항에 있어서,
    상기 출력 연산기(140)는 상기 현재 이미지 데이터 위치와 상기 허용 가능한 이미지 영역(10)의 미리 규정된 경계와 비교하기 위한 비교기를 포함하는 움직임 보상기.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 허용 가능항 이미지 영역(10)은 비디오 이미지의 활성 이미지 영역인 움직임 보상기.
  24. 제 23 항에 있어서,
    상기 허용 불가능한 이미지 영역은 이미지 포맷을 디스플레이 포맷으로 적용하기 위해 삽입된 이미지 부분(20, 30)을 포함하는 움직임 보상기.
  25. 제 20 항 또는 제 24 항에 있어서,
    상기 이미지는 레터박스형 이미지이고, 상기 허용 불가능한 이미지 영역은 디스플레이된 이미지 영역의 상하측에 마련된 블랙 바(20, 30)인 움직임 보상기.
  26. 제 20 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 출력 연산기(140)는 상기 참조된 블록(P)의 상기 허용 불가능한 이미지 데이터를 대체 이미지 데이터에 의해 대체하는 움직임 보상기.
  27. 제 26 항에 있어서,
    상기 출력 연산기(140)는 상기 허용 가능한 위치에서 상기 참조된 이미지로부터 상기 대체 이미지 데이터를 복원하는 움직임 보상기.
  28. 제 20 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 출력 연산기(140)는 다른 이미지를 참조하는 상기 수신된 움직임 벡터로부터 2개의 움직임 벡터를 산출하고, 상기 산출된 움직임 벡터에 따라 상기 참조된 이미지의 상기 이미지 데이터를 복원하여, 2개의 움직임 벡터에 의해 참조된 상기 복원된 이미지 데이터를 보간하는 움직임 보상기.
  29. 제 28 항에 있어서,
    상기 2개의 움직임 벡터는 상기 이미지 시퀀스에서 상기 현재 이미지에 이웃한 상기 2개의 이미지를 참조하는 움직임 보상기.
  30. 제 28 항에 있어서,
    상기 2개의 움직임 벡터는 상기 이미지 시퀀스에서 상기 현재 이미지 이전의 다른 이미지를 참조하는 움직임 보상기.
  31. 제 28 항 내지 제 30 항 중 어느 한 항에 있어서,
    상기 출력 연산기(140)는 2개의 참조된 이미지에 대해 상기 현재 이미지의 시간적 위치에 따라 2개의 움직임 벡터의 길이를 계산하는 움직임 보상기.
  32. 제 28 항 내지 제 31 항 중 어느 한 항에 있어서,
    상기 출력 연산기(140)는 상기 참조된 이미지로부터 상기 허용 불가능한 이미지 데이터를 상기 다른 참조된 이미지로부터 대체 이미지 데이터에 의해 대체하는 움직임 보상기.
  33. 제 32 항에 있어서,
    상기 대체 이미지 데이터는 상기 다른 이미지에서 참조되는 상기 이미지 데이터(P)인 움직임 보상기.
  34. 제 28 항 내지 제 33 항 중 어느 한 항에 있어서,
    상기 참조된 이미지에 대해 상기 현재 이미지의 상기 시간적 위치에 따라 이미지를 가중화함으로써 상기 현재 위치에 대응하는 상기 참조된 이미지에서의 위치로부터 평균화된 이미지 데이터(Paverage)를 생성하고, 상기 평균화된 이미지 데이터(Paverage)를 상기 출력 연산기(140)에 전송하기 위한 픽셀 평균화 유닛(130)을 더 구 비하는 움직임 보상기.
  35. 제 34 항에 있어서,
    상기 출력 연산기(140)는 새로운 이미지 데이터의 보간으로의 상기 수신된 평균화된 이미지 데이터(Paverage)를 포함하는 움직임 보상기.
  36. 제 20 항 내지 제 35 항 중 어느 한 항에 있어서,
    상기 출력 연산기(140)는 상기 참조된 이미지 데이터의 허용도를 나타내는 신호(LB_IN)를 더 수신하는 움직임 보상기.
  37. 제 36 항에 있어서,
    상기 출력 연산기(140)는 상기 수신된 신호(LB_INprev, LB_INsucc)에 근거하여 새로운 이미지 데이터를 생성하기 위해 고려된 상기 참조된 이미지 데이터(Pprev, Psucc)를 선택하는 움직임 보상기.
KR1020050026529A 2004-03-30 2005-03-30 이미지 경계에서의 움직임 추정에 근거한 벡터 KR20060045005A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04007697.8 2004-03-30
EP04007697A EP1583364A1 (en) 2004-03-30 2004-03-30 Motion compensated interpolation of images at image borders for frame rate conversion

Publications (1)

Publication Number Publication Date
KR20060045005A true KR20060045005A (ko) 2006-05-16

Family

ID=34878206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050026529A KR20060045005A (ko) 2004-03-30 2005-03-30 이미지 경계에서의 움직임 추정에 근거한 벡터

Country Status (5)

Country Link
US (1) US7440033B2 (ko)
EP (1) EP1583364A1 (ko)
JP (1) JP2005287049A (ko)
KR (1) KR20060045005A (ko)
CN (1) CN100502464C (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497096B2 (ja) * 2004-02-13 2010-07-07 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2006063978A1 (en) * 2004-12-15 2006-06-22 Thomson Licencing Method and apparatus for processing video image signals
WO2007052452A1 (ja) * 2005-11-07 2007-05-10 Sharp Kabushiki Kaisha 画像表示装置及び方法
EP1977395B1 (en) 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
JP2007329700A (ja) * 2006-06-08 2007-12-20 Sony Corp 映像信号処理装置、映像表示装置および映像表示方法
CA2884702C (en) 2006-06-23 2018-06-05 Samuel Zhou Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8432495B2 (en) * 2006-09-15 2013-04-30 Panasonic Corporation Video processor and video processing method
JP4303745B2 (ja) * 2006-11-07 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8437397B2 (en) 2007-01-04 2013-05-07 Qualcomm Incorporated Block information adjustment techniques to reduce artifacts in interpolated video frames
KR20080070332A (ko) * 2007-01-26 2008-07-30 삼성전자주식회사 움직임 보상에러를 보정하기 위한 영상표시장치 및 그 방법
US20100027667A1 (en) 2007-01-26 2010-02-04 Jonatan Samuelsson Motion estimation for uncovered frame regions
JP2008187222A (ja) * 2007-01-26 2008-08-14 Hitachi Ltd 動きベクトル検出装置、動きベクトル検出方法、映像表示装置
JP4513819B2 (ja) * 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
US8189061B1 (en) * 2007-03-21 2012-05-29 Ambarella, Inc. Digital still camera with multiple frames combined into a single frame for digital anti-shake/anti-blur
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
JP5067061B2 (ja) * 2007-08-02 2012-11-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2009141798A (ja) * 2007-12-07 2009-06-25 Fujitsu Ltd 画像補間装置
US8355443B2 (en) * 2008-03-27 2013-01-15 CSR Technology, Inc. Recursive motion for motion detection deinterlacer
US20090310679A1 (en) * 2008-06-11 2009-12-17 Mediatek Inc. Video processing apparatus and methods
JP5000589B2 (ja) * 2008-06-17 2012-08-15 シャープ株式会社 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2011035612A (ja) * 2009-07-31 2011-02-17 Sanyo Electric Co Ltd フレームレート変換装置、およびそれを搭載した表示装置
GB2493212B (en) * 2011-07-29 2015-03-11 Canon Kk Method and device for error concealment in motion estimation of video data
JP2013055587A (ja) * 2011-09-06 2013-03-21 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
KR101394468B1 (ko) * 2013-11-12 2014-05-14 주식회사 아나패스 블록의 불연속도 연산방법 및 이를 이용한 폴백 수행 방법
KR102356647B1 (ko) * 2015-04-17 2022-01-28 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 표시 패널의 구동 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4496972A (en) * 1980-05-10 1985-01-29 Deutsche Forschungs-Und Versuchsanstalt Fur Luft-Und Raumfahrt E.V. Method for the representation of video images or scenes, in particular aerial images transmitted at reduced frame rate
DE3144050C2 (de) * 1981-11-03 1983-09-29 Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz
US5475446A (en) * 1992-03-09 1995-12-12 Matsushita Electric Industrial Co., Ltd. Picture signal motion detector employing partial decimation of pixel blocks
JPH06217263A (ja) * 1993-01-20 1994-08-05 Oki Electric Ind Co Ltd 動き補正方式の内挿信号生成装置
SG54145A1 (en) * 1993-02-17 1998-11-16 Thomson Consumer Electronics Adaptive letterbox detector
GB2286500B (en) * 1994-02-04 1997-12-03 Sony Uk Ltd Motion compensated video signal processing
EP0785682A4 (en) * 1995-07-19 1998-10-14 Toshiba Kk LETTER BOX CONVERTER
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
EP0837602A3 (en) * 1996-10-17 1999-10-06 Kabushiki Kaisha Toshiba Letterbox image detection apparatus
US6370192B1 (en) * 1997-11-20 2002-04-09 Hitachi America, Ltd. Methods and apparatus for decoding different portions of a video image at different resolutions
JP3745907B2 (ja) * 1998-11-27 2006-02-15 パイオニア・マイクロ・テクノロジー株式会社 映像信号処理方法
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
KR100840133B1 (ko) * 2000-05-18 2008-06-23 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
EP1290639A2 (en) * 2000-05-18 2003-03-12 Koninklijke Philips Electronics N.V. Image foreground/background velocity detector
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis

Also Published As

Publication number Publication date
EP1583364A1 (en) 2005-10-05
CN100502464C (zh) 2009-06-17
CN1678022A (zh) 2005-10-05
JP2005287049A (ja) 2005-10-13
US20050231644A1 (en) 2005-10-20
US7440033B2 (en) 2008-10-21

Similar Documents

Publication Publication Date Title
KR20060045005A (ko) 이미지 경계에서의 움직임 추정에 근거한 벡터
US7345708B2 (en) Method and apparatus for video deinterlacing and format conversion
US5410356A (en) Scanning-line interpolation apparatus
US7893993B2 (en) Method for video deinterlacing and format conversion
CA2387701C (en) System and method for motion compensation and frame rate conversion
US8649437B2 (en) Image interpolation with halo reduction
US20050249282A1 (en) Film-mode detection in video sequences
US7397515B2 (en) Method and system for cross-chrominance removal using motion detection
EP1143716B1 (en) Apparatus and method for concealing interpolation artifacts in a video interlaced to progressive scan converter
US7440032B2 (en) Block mode adaptive motion compensation
US20080151106A1 (en) Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images
JP4421508B2 (ja) 静止領域におけるフィルムモード補正方法および装置
KR20060044912A (ko) 이미지 경계에서 개선된 움직임 벡터 추정
JP2004064788A (ja) デインタレーシング装置及び方法
JP2005318621A (ja) ビデオシーケンスでのティッカー処理
KR101000612B1 (ko) 신호 처리 장치 및 신호 처리 방법
KR20060047635A (ko) 필름 모드 표시 결정 방법, 움직임 보상의 화상 처리 수행방법, 필름 모드 검출기 및 움직임 보상기
KR20060047649A (ko) 필름 모드 표시 결정 방법, 필름 모드 검출기 및 움직임보상기
KR20060047491A (ko) 보조 정보 처리 방법, 보간 방법, 신호 프로세서 및 보간기
Lee et al. A motion-adaptive deinterlacer via hybrid motion detection and edge-pattern recognition
KR100931142B1 (ko) 디인터레이싱 장치 및 방법
KR100935608B1 (ko) 움직임 보상 보간 프레임의 보간 오류 은닉 방법
EP1617673A1 (en) Means and method for motion estimation in digital Pal-Plus encoded videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application