KR20010072186A - 비디오 스트림 내의 오리지날 픽셀로부터 필러 픽셀을발생시키는 회로 및 방법 - Google Patents

비디오 스트림 내의 오리지날 픽셀로부터 필러 픽셀을발생시키는 회로 및 방법 Download PDF

Info

Publication number
KR20010072186A
KR20010072186A KR1020017001405A KR20017001405A KR20010072186A KR 20010072186 A KR20010072186 A KR 20010072186A KR 1020017001405 A KR1020017001405 A KR 1020017001405A KR 20017001405 A KR20017001405 A KR 20017001405A KR 20010072186 A KR20010072186 A KR 20010072186A
Authority
KR
South Korea
Prior art keywords
value
original
pixel
filler
video image
Prior art date
Application number
KR1020017001405A
Other languages
English (en)
Inventor
조우퀸강
Original Assignee
벤자민 에프 커틀러
이퀘이터 테크놀러지스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 벤자민 에프 커틀러, 이퀘이터 테크놀러지스 인코포레이티드 filed Critical 벤자민 에프 커틀러
Publication of KR20010072186A publication Critical patent/KR20010072186A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H04N11/044—Codec means involving transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 이미지 프로세싱 회로는 오리지날 제1 비디오 이미지의 오리지날 픽셀의 값과 오리지날 제2 비디오 이미지의 오리지날 픽셀의 값을 수신하는 프로세서를 포함한다. 프로세서는 오리지날 제1 비디오 이미지의 오리지날 픽셀의 값으로부터 제1 픽셀 값 성분을 발생시키고, 오리지날 제2 비디오 이미지의 오리지날 픽셀의 값으로부터 제2 픽셀 값 성분을 발생시킨다. 제1 및 제2 픽셀 값 성분으로부터, 프로세서는 필러 픽셀의 값을 발생시키고, 필러 픽셀과 오리지날 제1 비디오 이미지를 결합하여 합성 비디오 이미지를 발생시킨다. 이러한 이미지 프로세싱 회로는 오리지날 비디오 필드로부터 필러 비디오 필드를 발생시키고 필러 및 오리지날 필드를 합쳐 비디오 프레임을 발생시키기 위하여 사용될 수 있다. 이러한 이미지 프로세싱 회로는 통상 종래의 이미지 프로세싱 회로에 비하여 적은 메모리를 사용하고, 필드 간 모션을 보다 정확히 감지한다. 본 발명의 다른 특징으로서, 이미지 프로세싱 회로는 종래의 이미지 프로세싱 회로에 비하여 통상 가는 선과 에지를 보다 정확히 구별하고, 보다 적은 눈에 보이는 아티팩츠를 발생시킨다.

Description

비디오 스트림 내의 오리지날 픽셀로부터 필러 픽셀을 발생시키는 회로 및 방법 {CIRCUIT AND METHOD FOR GENERATING FILLER PIXELS FROM THE ORIGINAL PIXELS IN A VIDEO STREAM}
도 1의 인터레이스된 비디오 프레임(10)을 도시하는데, 비디오 프레임은 짝수(even) 비디오 필드(12)와 홀수 비디오 필드(14)를 포함한다. 짝수 필드(12)는 프레임(10)은 짝수 라인 a0, a2, a4 ... a(n-1)를 포함하고, 홀수 프레임(14)은 프레임(10)의 홀수 라인 b1, b3, b5 ... bn을 포함한다. 비디오 카메라 등의 비디오소스(도시되지 않음)는 시간 t0에서 짝수 필드(12)를 발생시키고 후속하는 시간 t1에서 홀수 필드(14)를 발생시키며, 비디오 디스플레이(도시되지 않음)는 동일 시퀀스에서 필드(12) 및 필드(14)를 디스플레이한다. 예를 들어, NTSC(National Television Standards Committee)의 50년 이상 존속해온 비디오 표준에 따르면, 비디오 소스와 비디오 디스플레이는 매 1/60초마다 하나의 필드(12 또는 14)를 발생시키고 디스플레이하여, 하나의 프레임(10)을 매 1/30초마다 발생시키고 디스플레이한다. 그러나 디스플레이 장치가 필드(10) 및 필드(14)를 상이한 시간에 디스플레이하지만, 디스플레이 장치와 인간 육안의 상대적으로 느린 주파수 응답 특성으로 말미암아 관찰자는 디스플레이 장치가 필드(12) 및 필드(14)를 동시에 디스플레이하는 것으로 인식한다. 그리하여, 관찰자는 프레임(14)을 두 개의 연속되는 부분 이미지가 아닌 단일 이미지로 인식한다.
그러나 많은 현대의 비디오 어플리케이션은 인터레이스되지 않은, 즉 프로그레시브(progressive) 비디오 프레임의 스트림을 발생시킨다. 예를 들어, MPEG(Motion Pictures Experts Group)과 같은 고해상도 TV(HDTV) 표준은 약 1/60 초마다 완전한 프레임(14)이 발생되고 디스플레이될 것을 요구한다. 이러한 MPEG 비디오 소스 및 디스플레이는 두 개의 순차적 시간이 아니라 하나의 시간에 프로그레시브 프레임의 모든 라인들을 발생시키고 디스플레이하기 때문에, 프로그레시브 프레임들은 동작이 흐릿해지는 현상이 거의 생기지 않는다.
많은 기존의 비디오 소스들이 인터레이스된 비디오를 발생시키고, 많은 기존의 비디오 작품이 인터레이스된 포맷으로 기록되어 있으므로, 인터레이스된 비디오프레임의 스트림을 HDTV 시스템과 호환성이 있는 프로그레시브 비디오 프레임의 스트림으로 변환할 필요가 발생할 수 있다. 예를 들어, VCR(도시되지 않음)의 VHS 신호를 HDTV(도시되지 않음)에 디스플레이하기 위하여 프로그레시브 비디오 신호로 변환하여야 할 경우가 있다.
도 1을 참조하면, 인터레이스된 프레임(10)을 디인터레이스하는 간단한 기법은 필드(12 및 14)를 프레임 디스플레이 주기에 따라 연속하여 두 번 디스플레이되는 하나의 프로그레시브 프레임으로 합병하는 방법이다. 예를 들어, 전술한 MPEG 표준에서 디스플레이 장치는 이러한 프로그레시브 프레임을 한번 디스플레이하고 1/60 초 후에 그 프레임을 다시 한번 디스플레이한다. 그러나 필드(12 및 14)가 상이한 시간(t0및 t1)에 발생되었으므로, 이들을 합쳐 얻어지는 프로그레시브 프레임은 특히 시간 t0및 t1사이에 이미지 내용에 변화가 있는 경우, 즉 이미지 이동이 있는 경우에 화상이 흐릿한 영역을 포함할 수 있다. 따라서 이러한 기법은 HDTV의 기준에서 상대적으로 열악한 화질의 비디오 스트림을 발생시키는 경우가 종종 있다.
비디오 프레임(10)을 디인터레이싱 시키는 다른 기법은 오리지날 필드(12 및 14)에 대하여 상보적인 필러 필드를 발생시키는 방법이다. 이 기법은 짝수 필드(12)에 대하여 홀수 필러 라인들로 빠져 있는 홀수 라인을 채우고, 홀수 필드(14)에 대하여는 짝수 필러 라인들로 빠져있는 짝수 라인들을 채운다.
이러한 필러 기법의 한가지 방법은 동일한 필드 내의 인접하는 오리지날 픽셀의 값들로부터 필러 라인의 필러 픽셀을 공간적으로 보간하는 방법이다. 이 방법은 통상 오리지날 필드 간에 상당한 정도의 이동이 있는 경우에 가장 정확하다. 그러나 많은 공간적 보간법은 가는 선(thin line)을 방향성 에지(directional edge)로 잘못 보간하는 경향이 있어, 생성되는 프로그레시브 프레임에 아티팩츠(artifacts)를 도입하는 문제가 있다.
다른 방법은 인접하는 상보적 오리지날 필드 내의 대응하는 오리지날 픽셀들의 값들로부터 필러 픽셀의 값들을 시간적으로 보간하는 방법이다. 이 방법은 통상 오리지날 필드 간에 이동이 없거나 거의 없는 경우에 가장 정확하다.
많은 인터레이스된 비디오 프레임들은 상당한 필드 간 이동을 나타내는 부분과 필드 간 이동이 없거나 거의 없는 부분을 포함하므로, 통상 혼성(hybrid)법이라 부르는 다른 방법은 공간적 및 시간적 보간법을 결합한다. 예를 들어, 하나의 혼성법은 필드 간 이동의 크기에 기초하여 시간적 및 공간적 보간의 가중치를 변경시킨다. 필드 간 이동의 크기가 클수록 공간적 보간법에 더 큰 가중치가 주어지고, 필드 간 이동의 크기가 작을수록 시간적 보간법에 더 큰 가중치가 주어진다.
그러나 많은 혼성 기법은 종종 상당한 필드 간의 이동을 감지하지 못하여, 시간적 보간법과 공간적 보간법에 적절하지 못한 가중치를 부여하는 문제가 있다. 이러한 기법 중 어떤 것은 이러한 결함을 극복할 수 있도록 변경될 수 있으나, 그러한 변경은 과도한 크기의 메모리를 필요로 한다.
종래의 이미지 압축 기법의 개관
이하에서는 본 명세서에서 설명되는 개념들의 이해를 돕기 위하여 종래의 이미지 압축 기법을 개략적으로 설명한다.
상대적으로 낮은 밴드폭 채널을 통하여 상대적으로 높은 해상도의 이미지를 전송하거나, 그러한 이미지를 상대적으로 작은 메모리 공간에 저장하기 위하여 이미지를 나타내는 디지털 데이터를 압축하여야 하는 경우가 종종 있다. 그러한 이미지 압축은 통상 이미지를 표현하기 위하여 필요한 데이터 비트의 수를 감소시키는 과정을 포함한다. 예를 들어, HDTV 비디오 이미지는 기존의 텔레비전 채널로 전송될 수 있도록 압축된다. 압축을 하지 않은 상태의 HDTV 비디오 이미지는 기존의 텔레비전 채널의 밴드폭 보다 훨씬 큰 밴드폭을 가지는 전송 채널을 필요로 한다. 또한, 데이터 소통량과 전송 시간을 허용 가능한 수준으로 낮추기 위하여 인터넷을 통하여 전송하기 이전에 이미지가 압축될 수 있다. 또한, CD-ROM 또는 서버의 이미지 저장 용량을 증대시키기 위하여 저장 전에 이미지가 압축될 수 있다.
도 2a 내지 도 3d를 참조하여 널리 사용되는 MPEG-1 및 MPEG-2를 포함한 블록 기반의 MPEG(Moving Pictures Experts Group) 압축 표준의 기초를 설명한다. 도 2a∼2d는 Y-CB-CR이미지(즉, 비디오 프레임 또는 필드)를 MPEG 4:2:0 포맷을 사용하여 압축하는 기법을 설명하고, 도 3a∼도 3d는 Y-CB-CR이미지를 MPEG 4:2:2 포맷을 사용하여 압축하는 기법을 설명한다. 그러나, 이하에서 설명되는 개념은 다른 MPEG 포맷 및 다른 색 공간에서 표현된 이미지에 대하여 적용될 수 있고, 예를들어 정지 이미지를 압축하기 위하여 종종 사용되는 다른 블록 기반 압축 표준인 JPEG(Joint Photographic Experts Group) 표준에 대하여도 적용될 수 있다. 본 명세서에서 설명의 간략성을 위하여 MPEG 표준 및 Y, CB, CR색 공간에 대한 많은 구체적 내용이 생략되었으나, 이러한 내용은 공지되어 있거나 본 명세서에서 참조하는 Peter D. Symes의 "비디오 압축" (McGraw-Hill, 1998)을 포함한 많은 문헌에 기재되어 있다. 또한, 비디오 및 정지 이미지를 인코딩 및 디코딩하기 위하여 공지된 다른 블록 기반(block-based) 압축 기법을 사용할 수 있다.
도 2a∼도 2d를 참조하면, MPEG 표준은 텔레비전 방송에서 보는 바와 같이 이미지(설명의 목적상 비디오 프레임)의 시간적 시퀀스를 압축하기 위하여 종종 사용된다. 각 비디오 프레임은 매크로 블록이라 부르는 하나 이상의 화소를 포함하는 서브 영역으로 분할된다. 도 2a는 256 화소(22)를 포함하는 16 ×16 화소 매크로 블록(20)을 도시한다. 다른 압축 표준에서는 다른 형태의 매크로 블록을 사용할 수도 있으나, MPEG 표준에서는 매크로 블록은 항상 16 ×16 화소로 구성된다. 오리지날 비디오 프레임, 즉 압축 전의 프레임에서 각 화소(22)는 휘도 값(luminance value) Y 및 색차 쌍(pair of color difference values) CB및 CR를 가진다.
프레임을 압축하기 이전에 디지털 휘도(Y) 및 압축에 사용되는, 다시 말해 압축 이전의 색차 값들(CB및 CR)이 오리지날 프레임의 Y, CB, 및CR값들을 이용하여 생성된다. MPEG 4:2:0 포맷에서 압축 전의 Y 값은 원래의 Y 값과 동일하다. 그리하여 각 화소(22)는 원래의 휘도 값 Y를 유지한다. 그러나 압축될 데이터의 양을 줄이기 위하여 MPEG 4:2:0 포맷은 4개의 화소(22)로 구성되는 각 그룹(24)마다 하나의 압축 전 CB값과 하나의 압축 전 CR값만을 허용한다. 이러한 압축 전의 CB및 CR값들은 각각 해당 그룹(14) 내의 4개 화소들(12)의 원래 CB및 CR값들로부터 유도된다. 예를 들어, 하나의 압축 전 CB값은 해당 그룹(24) 내의 4개의 화소(22)의 원래 CB값들의 평균치와 동일할 수 있다. 그리하여, 도 2b∼도 2d에 도시된 바와 같이 매크로 블록(20)에 대하여 생성된 압축 전의 Y, CB, 및 CR값들은 압축 전 Y 값(각각의 화소(22)의 원래의 Y 값과 동일함)의 하나의 16 ×16 행렬(26), 압축 전 CB값(4개의 화소(22)의 각 그룹(24)에 대하여 유도된 하나의 CB값과 동일함)의 하나의 8 ×8 행렬(28) 및 압축 전 CR값(4개의 화소(22)의 각 그룹(24)에 대하여 유도된 하나의 CR값과 동일함)의 하나의 8 ×8 행렬(30)로 배열된다. 행렬들(26, 28 및 30)은 통상 값들의 "블록"이라 부른다. 또한, 16 ×16 블록 대신에 8 ×8 블록의 화소 값의 압축 변환을 실행하는 것이 편리하기 때문에 압축 전 Y 값의 블록(26)이 매크로 블록(20) 내의 화소(22) 블록 A∼D에 대응하는 4 개의 8 ×8 블록들(32a∼32d)로 분할된다. 그리하여, 도 2a∼도 2d를 참조하면, 6개의 압축 전 화소 데이터의 8 ×8 블록들이 각 매크로 블록(20)에 대하여 생성되고, 4개의 압축 전 Y 값의 8 ×8 블록들(32a∼32d), 하나의 압축 전 CB값의 8 ×8 블록(28), 및 하나의 압축 전 CR값의 8 ×8 블록(30)이 생성된다.
도 3a∼도 3d는 압축 전 Y, CB,CR값들을 MPEG 4:2:2 포맷에 의하여 발생시키는 기법을 보여준다. 도 3a를 참조하면, 매크로블록(20)의 화소(22)는 4:2:0 포맷이 도 2a와 같이 4 개의 화소로 이루어지는 그룹들(24)을 사용하는데 반하여 2 개 화소로 이루어지는 그룹들(34)로 배열된다. 도 3b를 참조하면, MPEG 4:2:2 포맷에서 압축 전의 Y 값은 원래의 Y 값과 동일하다. 그리하여, 4:2:0 포맷과 동일하게 각 화소(22)는 원래의 휘도 값 Y를 유지한다. 그러나, 도 3c 및 3d를 참조하면, 압축될 데이터의 양을 줄이기 위하여 MPEG 4:2:2 포맷은 2개의 화소(22)로 구성되는 각 그룹(34)마다 하나의 압축 전 CB값과 하나의 압축 전 CR값만을 허용한다. 이러한 압축 전의 CB및 CR값들은 각각 해당 그룹(34) 내의 2개 화소들(22)의 원래 CB및 CR값들로부터 유도된다. 예를 들어, 하나의 압축 전 CB값은 해당 그룹(34) 내의 2개의 화소(22)의 원래 CB값들의 평균치와 동일할 수 있다. 그리하여 4:2:2 포맷은 2개의 화소마다 하나의 CB및 CR값을 요구하므로 4개의 화소마다 하나의 CB및 CR값을 요구하는 4:2:0 포맷에 비하여 2배로 많은 수의 CB및 CR값을 필요로 한다. 그리하여, 도 3b∼도 3d에 도시된 바와 같이, 도 3a의 매크로 블록(20)에 대하여 생성된 압축 전의 Y, CB, 및 CR값들은 압축 전 Y 값(각각의 화소(22)의 원래의 Y 값과 동일함)의 하나의 16 ×16 행렬(36), 압축 전 CB값(2개 화소(22)의 각 그룹(34)에 대하여 유도된 하나의 CB값과 동일함)의 하나의 8 ×16 행렬(38) 및 압축 전 CR값(2개 화소(22)의 각 그룹(34)에 대하여 유도된 하나의 CR값과 동일함)의 하나의 8 ×8 행렬(40)로 배열된다. 전술한 바와 같이, 16 x 16 또는 8 x 16 블록들 대신에 8 ×8 블록의 화소 값의 압축 변환을 실행하는 것이 편리하기 때문에 압축 전 Y 값의 블록(36)이 매크로 블록(20) 내의 8 ×8 화소 블록 A∼D에 대응하는 4 개의 8 ×8 블록들(42a∼42d)로 분할된다. 동일하게, 압축 전 CB값들의 블록(38)은 블록 A, B, C, D의 쌍들에 대응하는 2개의 8 ×8 블록들(44a 및 44b)로 분할된다. 유사하게, 압축 전 CR값들의 블록(40)은 블록 A, B, C, D의 쌍들에 대응하는 2개의 8 ×8 블록들(46a 및 46b)로 분할된다. 그리하여, 도 3a∼도 3d를 참조하면, 각 매크로 블록(20)에 대하여 8개의 압축 전 화소 데이터의 8 ×8 블록들과, 4개의 압축 전 Y 값의 8 ×8 블록들(42a∼42d), 2개의 압축 전 CB값의 8 ×8 블록들(44a∼44b), 및 2개의 압축 전 CR값의 8 ×8 블록들(46a∼46b)이 생성된다.
본 발명은 전자 회로에 관한 것으로서, 특히 비디오 스트림 내의 오리지날(original) 픽셀의 값들로부터 필러 픽셀(filler pixel)들의 값들을 추산하는 회로 및 방법에 관한 것이다. 예를 들어, 본 발명의 회로 및 방법은 인터레이스된 비디오 프레임을 디인터레이스(deinterlace) 하기 위하여 사용될 수 있다. 즉, 오리지날 비디오 필드의 오리지날 픽셀로부터 필러 픽셀의 값들을 발생시키고, 필러 픽셀들로부터 상보적(complementary) 필러 비디오 필드를 형성하고 오리지날 및 상보적 필드를 결합하여 비디오 프레임을 발생시킬 수 있다.
도 1은 종래의 기술에 따른 인터레이스된 비디오 프레임을 보여주는 도면.
도 2a는 종래의 MPEG 4:2:0 포맷에 따라 2 ×2 그룹으로 배열된 픽셀의 매크로 블록을 도시하는 도면.
도 2b는 종래의 MPEG 4:2:0 포맷에 따른 도 2a의 매크로 블록 내의 픽셀에 각각 대응하는 압축 전 휘도값(luminance value)의 블록을 나타내는 도면.
도 2c 및 도 2d는 종래의 MPEG 4:2:0 포맷에 따른 도 2a의 매크로 블록 내의 픽셀에 각각 대응하는 압축 전 색도값(chrominance value)의 블록을 나타내는 도면.
도 3a는 종래의 MPEG 4:2:0 포맷에 따라 2 ×1 그룹으로 배열된 픽셀의 매크로 블록을 도시하는 도면.
도 3b는 종래의 MPEG 4:2:0 포맷에 따른 도 3a의 매크로 블록 내의 픽셀에 각각 대응하는 압축 전 휘도값의 블록을 나타내는 도면.
도 3c 및 도 3d는 종래의 MPEG 4:2:0 포맷에 따른 도 3a의 매크로 블록 내의 픽셀에 각각 대응하는 압축 전 색도값의 블록을 나타내는 도면.
도 4는 본 발명의 실시예에 따른 이미지 프로세싱 회로의 블록도.
도 5는 본 발명의 실시예에 따른 도 4의 이미지 프로세싱 회로의 일반적 동작을 보여주는 흐름도.
도 6은 본 발명의 실시예에 따른 비디오 필드의 시퀀스의 타이밍도.
도 7은 본 발명의 실시예에 따른 도 6으로부터의 두 개의 연속된 4:2:0 포맷된 짝수 비디오 필드 및 그것의 홀수 필러 필드를 도시하는 도면.
도 8은 본 발명의 실시예에 따른 조모션값(raw-motion-value) 필터의 전달 함수의 플롯.
도 9는 본 발명의 실시예에 따른 도 7 및 도 11의 필러 필드를 위한 모션값 버퍼.
도 10은 본 발명의 실시예에 따른 도 7 및 도 11의 필러 필드를 위한 모션 트레이스 버퍼.
도 11은 본 발명의 실시예에 따른 도 6으로부터의 두 개의 연속된 4:2:0 포맷된 홀수 비디오 필드 및 그것의 짝수 필러 필드를 도시하는 도면.
도 12는 본 발명의 실시예에 따른 도 6으로부터의 두 개의 연속된 4:2:0 포맷된 짝수 비디오 필드 및 그것의 홀수 필러 필드를 도시하는 도면.
도 13은 본 발명의 실시예에 따른 도 12 및 도 15의 필러 필드를 위한 모션값 버퍼.
도 14는 본 발명의 실시예에 따른 도 12 및 도 15의 필러 필드를 위한 모션 트레이스 버퍼. 도 15는 본 발명의 실시예에 따른 도 6으로부터의 두 개의 연속된 4:2:0 포맷된 홀수 비디오 필드 및 그것의 짝수 필러 필드를 도시하는 도면.
도 16은 본 발명의 실시예에 따라 도 9 및 도 12의 모션값 버퍼 및 도 10 및 도 13의 모션 트레이스 버퍼의 내용을 로딩 및 갱신하는 기법의 흐름도.
도 17은 본 발명의 실시예에 따라 필러 픽셀을 위하여 방향 벡터와 공간적으로 보간된 픽셀 값을 계산하기 위하여 사용되는 오리지날 픽셀을 나타내는 도면.
도 18a 내지 도 18e는 본 발명의 실시예에 따라 도 17의 필러 픽셀의 가능한방향 벡터를 도시하는 도면.
본 발명의 이미지 프로세싱 회로는 오리지날 제1 비디오 이미지의 오리지날 픽셀의 값과 오리지날 제2 비디오 이미지의 오리지날 픽셀의 값을 수신하는 프로세서를 포함한다. 프로세서는 오리지날 제1 비디오 이미지의 오리지날 픽셀의 값으로부터 제1 픽셀 값 성분을 발생시키고, 오리지날 제2 비디오 이미지의 오리지날 픽셀의 값으로부터 제2 픽셀 값 성분을 발생시킨다. 제1 및 제2 픽셀 값 성분으로부터, 프로세서는 필러 픽셀의 값을 발생시키고, 필러 픽셀과 오리지날 제1 비디오 이미지를 결합하여 합성 비디오 이미지를 발생시킨다.
이러한 이미지 프로세싱 회로는 오리지날 비디오 필드로부터 필러 비디오 필드를 발생시키고 필러 및 오리지날 필드를 합쳐 비디오 프레임을 발생시키기 위하여 사용될 수 있다. 이러한 이미지 프로세싱 회로는 통상 종래의 이미지 프로세싱 회로에 비하여 적은 메모리를 사용하고, 필드 간 모션을 보다 정확히 감지한다.
본 발명의 다른 특징으로서, 이미지 프로세싱 회로의 프로세서는 오리지날 비디오 이미지 내의 오리지날 픽셀의 제1 및 제2 그룹을 위하여 제1 및 제2 세트의 픽셀 값들을 수신한다. 프로세서는 오리지날 픽셀의 제1 및 제2 그룹 사이에서 오리지날 비디오 이미지 내에 위치하게 되는 필러 픽셀을 위한 픽셀 값들의 제1 및 제2 세트로부터 방향 값들을 계산한다. 프로세서는 계산된 방향 값에 기초하여 필러 픽셀의 값을 발생시킨다.
이러한 이미지 프로세싱 회로는 오리지날 필드 내의 오리지날 픽셀로부터 필러 필드의 필러 픽셀을 공간적으로 보간하고 필러 필드와 오리지날 필드를 합쳐 비디오 프레임을 발생시키기 위하여 사용될 수 있다. 이러한 이미지 프로세싱 회로는 종래의 이미지 프로세싱 회로에 비하여 통상 가는 선과 에지를 보다 정확히 구별하고, 보다 적은 눈에 보이는 아티팩츠를 발생시킨다.
도 5는 본 발명의 실시예에 따른 이미지 프로세싱 회로(50)의 블록도이다. 회로(50)는 오리지날 비디오 필드 내의 오리지날 픽셀로부터 필러 픽셀의 값을 계산하고, 필러 픽셀로부터 필러 필드를 발생시키고, 필러 필드와 오리지날 필드를 합쳐서 비디오 프레임을 발생시킨다. 하나의 실시예에서, 회로(50)는 검출된 모션의 영향을 종래의 이미지 프로세싱 회로보다 더 많은 필러 필드로 확장시킨다. 그리하여, 회로(50)는 종래의 회로에 비하여 보다 정확한 필러 필드 및 보다 높은 화질의 프레임을 발생시킬 수 있다. 다른 실시예에서, 회로(50)는 종래의 많은 회로에 비하여 모션 정보를 저장하기 위하여 적은 메모리를 사용한다. 다른 실시예에서, 회로(50)는 가는 라인과 에지를 종래의 회로보다 정확하게 공간적으로 보간하여 필러 필드의 정확도와 얻어지는 프레임의 화질을 향상시킨다.
이미지 프로세싱 회로(50)는 오리지날 비디오 필드의 스트림으로부터 하나 또는 하나 이상의 오리지날 비디오 필드를 수신하고 저장하는 필드 버퍼(52)를 포함한다. 프로세서 유닛(54)은 프로세서(56) 및 메모리(58)를 포함하고 버퍼(52)에 저장된 오리지날 필드로부터 필러 필드를 발생시키고, 필러 필드와 오리지날 필드를 합쳐 비디오 프레임을 발생시킨다. 프레임 버퍼(60)는 프로세서 유닛(54)에 의하여 발생된 프레임을 저장하고 이들을 비디오 디스플레이(62)에 제공한다. 일 실시예에서, 프로세서(56)는 미국 시애틀의 이퀘이터사에 의하여 생산된 VLIW(Very Long Instruction Word) 프로세서를 사용한다. 다른 실시예에서, 프로세서유닛(54)은 비디오 프레임을 HDTV 포맷으로 발생시키고, 디스플레이(62)는 HDTV 디스플레이이다. 다른 실시예에서, DVD(Digital Video Disk)와 같은 대용량 저장 장치가 프레임 버퍼(60)를 대체하여 비디오 프레임을 후에 디스플레이하기 위하여 저장한다.
도 5를 참조하여, 본 발명의 일 실시예에 따른 도 4의 이미지 프로세싱 회로(50)의 동작이 흐름도(63)와 관련하여 설명된다.
흐름도(63)의 블록(64)을 참조하면, 프로세서 유닛(54)은 필드 버퍼(52)로부터 오리지날 비디오 필드의 시퀀스 내에서 다음 두 개의 오리지날 비상보적 비디오 필드를 구성하는 오리지날 픽셀의 값들을 불러온다.
다음으로 블록(66)을 참조하면, 오리지날 픽셀의 불러온 값으로부터 프로세서(56)는 필러 픽셀의 그룹의 모션값을 계산한다. 이 그룹은 프로세서(56)가 비디오 프레임을 형성하기 위하여 두 개의 비상보적 오리지날 필드 중 첫 번째와 합쳐질 하나 또는 하나 이상의 필러 픽셀을 포함한다.
블록(68)을 참조하면, 프로세서(56)는 그룹 내의 각 필러 픽셀을 위하여 픽셀 값들을 공간적으로 보간한다.
블록(70)을 참조하면, 프로세서(56)는 그룹 내의 각 필러 픽셀을 위하여 픽셀 값들을 시간적으로 보간한다.
다음으로, 블록(72)을 참조하면, 프로세서(56)는 모션값으로부터 각 공간 및 시간 가중 계수를 계산하고, 이러한 가중 계수를 사용하여 공간적 및 시간적으로 보간된 픽셀 값들을 가중화한다. 프로세서(56)는 가중화된 픽셀 값들을 결합하여그룹 내의 각 필러 픽셀의 픽셀 값을 발생시킨다. 프로세서 유닛(54)은 이러한 필러 픽셀 값을 프레임 버퍼(60) 내에 저장하거나, 프로세서(56) 이 전체 필러 필드를 발생시킬 때까지 메모리(58)에 저장한다.
블록(74)을 참조하면, 필러 필드를 완성하기 위하여 프로세서(56)가 필러 픽셀 값을 더 발생시켜야 하는 경우에, 프로세서 유닛(54)은 블록(66)으로 돌아간다. 역으로, 블록(76)을 참조하면, 프로세서(56)가 현재의 필러 필드를 완성하였고 버퍼(52) 내에 추가의 오리지날 필드가 있는 경우에, 프로세서 유닛(54)은 블록(64)으로 복귀한다. 그러나 필드 버퍼(52)에 오리지날 필드가 더 이상 없는 경우에 프로세서 유닛(54)은 필러 필드 발생을 중단한다.
도 6 내지 도 18e를 참조하여, 본 발명의 실시예에 따른 도 5의 흐름도(63)의 과정이 보다 상세히 설명된다.
도 6은 본 발명의 실시예에 따라 도 4의 필드 버퍼(52)가 수신하는 비디오 필드의 시퀀스의 타이밍도이다. 이 시퀀스는 4 개의 짝수 필드 E0∼E3및 이들과 교대되는 4 개의 홀수 필드 O0∼O3의 총 8 개의 필드, 즉 4 개의 인터레이스된 프레임을 포함한다. 각 필드는 시퀀스 내에서 상대적 시간 t에 발생한다. 예를 들어, 홀수 필드 O3은 시간 t7에서의 가장 최근의 필드이며, 짝수 필드 E0은 시간 t0에서의 가장 오래된 필드이다. 또한, 각 필드의 오리지날 라인들은 폐쇄된 블록으로 나타나 있으며, 상보적 필러 필드의 필러 라인들은 개방된 블록으로 나타나 있다. 예를 들어, 오리지날 필드 E0은 오리지날 짝수 라인 a0, a2, a4, ... , a(k-1)를 포함하고, 도 4의 이미지 프로세싱 회로(50)가 E0에 대하여 발생시킬 홀수 필러 필드는 필러 홀수 라인 a1, a3, a5, ... , a(k)를 포함한다. 동일하게, 오리지날 필드 O0은 오리지날 홀수 라인 b1, b3, b5, ... , b(k)를 포함하고, 이미지 프로세싱 회로(50)가 O0에 대하여 발생시킬 짝수 필러 필드는 필러 짝수 라인 b0, b2, b4, ... , b(k-1)를 포함한다. 이하의 필러 필드 발생 과정의 설명에서 설명의 명확성을 위하여 필러 라인들이 보여지나, 필드 버퍼(52)가 필러 라인들을 수신하지 않는다는 점을 이해하여야 한다. 또한, 본 실시예에서 비디오 프레임은 짝수 개의 라인을 가진다. 비디오 필드가 비디오 프레임의 절반의 라인을 가지므로, 각 오리지날 비디오 필드 E0∼E3및 O0∼O3은 짝수개의 라인을 가진다. 첫 번째 라인 번호가 0이므로 k-1은 짝수가 되며 k는 홀수가 된다. 후술하는 바와 같이, 회로(50)는 상보적 필드와 동일한 극성(polarity)의 다른 필드 내의 오리지날 픽셀로부터 필러 픽셀 값들을 발생시킨다. 예를 들어, 하나의 실시예에서, 회로(50)는 E0의 오리지날 라인 a0, a2 및 E1의 오리지날 라인 c0, c2 내의 오리지날 픽셀의 값들로부터 E0의 필러 라인 a1의 필러 픽셀의 값들을 발생시킨다.
도 7을 참조하여 본 발명의 실시예에 따른 홀수 필러 필드의 필러 픽셀의 모션값들의 발생을 설명한다. 예시의 목적으로, 모션값들의 발생이 Y, CB및 CR의 색공간에 표현되고 MPEG 4:2:0 포맷으로 압축된 오리지날 짝수 필드 E0및 E1과 관련하여 설명되는데, 동일한 원리가 도 6의 다른 오리지날 짝수 필드들에 대하여 적용됨을 이해하여야 한다. 짝수 필러 필드의 필러 픽셀의 모션값들의 발생이 도 11과 관련하여 이하에서 설명된다.
도 7은 짝수 필드 E0및 E1의 오리지날 및 필러 라인을 구성하는 오리지날 및 필러 픽셀을 나타내는 도면이다. 오리지날 짝수 필드 E0과 대응하는 홀수 필러 필드의 픽셀은 Pkx로 표시되고, 필드 E1및 대응하는 홀수 필러 필드의 픽셀은 P'kx로 표시되는데, k는 라인을 표시하고 x는 컬럼을 표시한다. 오리지날 픽셀과 동일하게 필러 픽셀은 4 개의 픽셀로 이루어지는 2 ×2 블록들로 배열되어 있다(도 2a 참조). 예를 들어, 블록(80)은 E0을 위한 상보적 필러 필드를 구성하는 필러 픽셀 P12, P13, P32및 P33을 포함한다.
도 7을 계속 참조하면, 도 4의 이미지 프로세싱 회로(50)는 E0을 위한 상보적 필러 필드를 구성하는 필러 픽셀의 각 내부 블록을 위한 조모션값 (raw motion value; RM)을 발생시킨다. (외부 블록들, 즉 한 라인의 최초 2개 및 최후 2개의 픽셀을 포함하는 블록들의 모션 분석은 이하에서 설명된다.) 회로(50)는 E0내의 필러 블록과 E1내의 대응하는 오리지날 픽셀들과 경계를 이루는 오리지날 픽셀들의 휘도 및 색도값의 차이로부터 RM을 계산한다. 예를 들어, 필러 픽셀 블록(80)을 위한 색도 차이값은 다음 방정식으로 주어진다:
그리하여, 본 실시예에서, 다음과 같은 8개의 색도 차이값이 존재한다. ｜DY:Y01-Y'01｜,｜Y01-Y02｜, ｜Y03-Y'03｜,｜Y04-Y'04｜,｜Y21-Y'21｜,｜Y22-Y'22｜,｜Y23-Y'23｜, 및 ｜Y24-Y'24｜. 이때 Y01은 오리지날 픽셀 P01의 휘도값이며, Y'01은 P'01의 휘도값이며, Y02는 오리지날 픽셀 P02의 휘도값을 나타낸다. CR은 다음 방정식에 의하여 주어지는 차이값이다:
이때 CR01은 P02, P03, P22및 P23을 포함하는 E0내의 오리지날 픽셀들의 블록을 위한 CR값이며, C'R01은 P'02, P'03, P'22및 P'23을 포함하는 E1내의 오리지날 픽셀들의 블록을 위한 CR값이다. 유사하게, CB차이값은 다음 방정식으로 주어진다:
이때 CB01및 C'B01을 위한 오리지날 픽셀의 블록들은 각각 CR01및 C'R01을 위한 블록들과 동일하다.
계속 도 7을 참조하면, 도 5의 이미지 프로세싱 회로(50)는 다음의 방정식에 때라 평균 휘도 및 색도 차이의 최대로서 블록(80)을 위한 원 모션값 RM01을 계산한다:
도 8을 참조하면, 일 실시예에서, 도 4의 이미지 프로세싱 회로(50)는 노이즈에 의하여 야기되는 허위 모션 검출을 감소시키고, 모션값을 최대값 15, 즉 4비트의 값으로 제한하기 위하여 조 모션값 RM을 필터링한다. 도 8은 본 발명의 실시예에 따른 필터링 알고리즘의 플롯을 보여준다. 즉, 회로(50)는 다음 방정식에 의하여 필터링된 모션값 FM을 계산한다:
방정식(5)에 따르면, 회로(50)는 8 이하의 조 모션값 RM을 진정한 모션이 아닌 노이즈로 간주하고, 대응하는 모션값 FM=0을 발생시킨다. 동일하게, 회로(50)는 38 이상의 모든 RM값을 15로 클리핑하여 최대 FM을 제한한다.
도 7을 다시 참조하면, 도 5의 이미지 프로세싱 회로(50)가 휘도 차이값 DY를 동일한 오리지날 라인 내의 4개의 오리지날 픽셀의 그룹으로부터 유도하므로, 회로(50)는 필러 라인의 시작이나 끝에 있는 필러 픽셀의 조 모션값을 발생시키기 위하여 전술할 기법을 사용할 수 없다. 예를 들어, 회로(50)는 필러 블록(80)을 위한 어떠한 DY값들을 발생시키기 위하여 동일한 라인 내의 4개의 픽셀 P01, P02, P03및 P04를 이용한다. 따라서, P01은 수평 방향으로 블록(80)을 선행한다. 그러나 필러 블록(82 및 84)을 참조하면, 아무리 픽셀이 블록(82) 및 블록(84)에 선행하지 않으므로, 방정식(1)은 이들 블록에 대하여 적용될 수 없다. 따라서, 일 실시예에서, 회로(50)는 필러 블록(82 및 84) 및 각 필러 라인의 처음 또는 마지막 2개의 필러 픽셀을 포함하는 다른 필러 블록에 대하여 조 모션값 또는 필터링된 모션값을 계산하지 않는다. 대신, 회로(50)는 이들 블록에 소정의 필터링된 모션값을 배정한다. 예를 들어, 일 실시예에서, 회로(50)는 이들 블록들에 상수 FM값 또는 동일한 필러 라인 내의 인접한 블록에 대하여 계산된 FM값과 동일한 값을 배정한다. 예를 들어, 후자의 방법에서, 회로(50)는 블록(820의 필터링된 모션값 FM00을 전술한 바와 같이 인접한 블록(80)에 대하여 계산된 값인 FM01과 동일하게 설정한다.
도 9는 본 발명의 일 실시예에 따라 MPEG 4:2:0 오리지날 필드로부터 유도된 필러 필드를 위한 필터링된 모션값 FM을 저장하는 모션값 버퍼(90)의 레이아웃을 도시한다. 도 4를 참조하면, 일 실시예에서, 이미지 프로세싱 회로(50)는 버퍼(90)가 다른 메모리 내에 존재할 수 있으나, 메모리(58)의 일부를 버퍼(90)로 전담시킨다. 회로(50)는 하나의 버퍼(90) 만을 포함하고, 이 버퍼의 내용을 각 필러 필드에 대하여 갱신한다. 버퍼(90)의 내용을 갱신시키는 과정은 도 16을 참조하여 후술한다.
버퍼(90)의 저장 위치 FM은 각기 도 7을 참조하여 설명한 필러 픽셀 블록들에 대응한다. 예를 들어, 위치 FM01은 도 7의 블록(80)에 대응하는 필터링된 모션값 FM01을 저장한다. 또한, 도 4의 이미지 프로세싱 회로(50)가 시작 라인 및 종료 라인 픽셀 블록들에 모션값들을 배정하는 경우에, 버퍼(90)는 또한 대시 라인으로 표시된 옵션 위치를 포함한다. 예를 들어, 옵션 위치 FM00은 도 7의 시작 라인 블록(82)에 대응하고, 옵션 위치 FM0(X/2)은 종료 라인 픽셀 블록(84)에 대응한다.
도 7 및 도 9를 참조하면, 블록(80)과 같은 필러 픽셀 블록의 차원이 2 ×2이고 도 4의 이미지 프로세싱 회로(50)가 블록 당 하나의 FM값을 계산하므로, 버퍼(90)의 수평 크기는 오리지날 및 필러 필드의 수평 크기의 반이거나 반보다 2 픽셀 작게된다. 특히, 모션값 버퍼(90)가 대시 선으로 표시된 옵션 저장 위치를 포함하는 경우에는, 버퍼(90)의 수평 크기는 오리지날 및 필러 필드의 수평 크기의 반이 된다. 예를 들어, 오리지날 및 필러 필드가 x = 720 화소의 수평 크기를 가지면, 버퍼(90)는 720 ÷2 = 360 메모리 위치의 폭을 가진다. 한편, 모션값 버퍼(90)가 시 라인으로 표시된 옵션 저장 위치를 포함하지 않으면, 버퍼(90)의 수평 크기는 오리지날 및 필러 필드의 수평 크기의 반보다 2 픽셀 작게된다. 예를 들어, 오리지날 및 필러 필드가 x = 720 화소의 수평 크기를 가지면, 버퍼(90)는 (720 ÷2) - 2 = 358 메모리 위치의 폭을 가진다.
유사하게, 버퍼(90)의 수직 크기는 오리지날 및 필러 필드의 수직 크기의 반이고, 따라서 도 4의 이미지 프로세싱 회로(50)에 의하여 생성되는 프로그레시브 프레임의 수직 크기의 1/4 이 된다. 이는 버퍼(90)가 모션 저장 위치를 포함하는지 여부와 관계없다. 예를 들어, 오리지날 및 필러 필드가 각각 k/2=240 라인을 가지면- 대응하는 프로그레시브 프레임은 k = 2 ×240 = 480 라인을 포함함- 버퍼(90)는 k/4 = 240 ÷2 = 120(즉 대응 프로그레시브 프레임에 대하여 480 ÷4)의 높이의 메모리 위치를 가진다.
도 10은 본 발명의 일 실시예에 따라 MPEG 4:2:0 오리지날 필드로부터 유도된 필러 필드를 위한 모션 트레이스값 MT를 저장하는 모션트레이스 버퍼(92)의 레이아웃을 도시한다. 도 16과 관련하여 후술하는 바와 같이, 각 모션 트레이스값은 각 FM값이 유효한 필러 필드의 수를 특정한다. 도 4를 참조하면, 일 실시예에서, 이미지 프로세싱 회로(50)는 버퍼(92)가 다른 메모리 내에 존재할 수 있으나, 메모리(58)의 일부를 버퍼(92)로 전담시킨다. 회로(50)는 하나의 버퍼(92) 만을 포함하고, 이 버퍼의 내용을 각 필러 필드에 대하여 갱신한다. 버퍼(92)의 내용을 갱신시키는 과정은 도 16을 참조하여 후술한다.
버퍼(92)의 저장 위치 MT는 각기 도 7을 참조하여 설명한 필러 픽셀 블록들에 대응한다. 예를 들어, 위치 MT01은 도 7의 블록(80)에 대응하는 모션 트레이스값 MT01을 저장한다. 또한, 도 4의 이미지 프로세싱 회로(50)가 시작 라인 및 종료 라인 픽셀 블록들에 모션값 및 모션 트레이스값들을 배정하는 경우에, 버퍼(92)는또한 대시 라인으로 표시된 옵션 위치를 포함한다. 예를 들어, 옵션 위치 MT00은 도 7의 시작 라인 블록(82)에 대응하고, 옵션 위치 MT0(X/2)은 종료 라인 픽셀 블록(84), 즉 모션값 버퍼(90)의 위치 FM0(X/2)에 대응한다.
도 10을 참조하면, 모션 트레이스 버퍼(92)는 도 9와 관련하여 전술할 바와 같이 모션값 버퍼(90)와 동일한 크기를 가진다. 또한, 일 실시예에서, 각 저장 위치 MT는 4 비트 폭을 가진다.
도 7, 도 9 및 도 10을 참조하면, k+1이 4로 나누어지는 한, 짝수 필드 E를 위한 상보적 홀수 필러 필드의 아래에 부분적 (2 ×1) 필러 픽셀 블록이 존재하지 않는다. 예를 들어, 필러 블록의 마지막 행은 필러 라인 a(k-2) 및 a(k)로부터의 픽셀을 포함하고, 이 아래에는 짝이 없는 필러 라인들이 존재하지 않는다. 역으로, k+1이 4로 나누어지지 않으면, 단지 하나의 필러 라인 a(k)로부터의 픽셀을 포함하는 부분적 필러 블록의 행이 존재한다. 이 경우에, 도 5의 이미지 프로세싱 회로(50)는 이들 부분적 필러 블록들을 위한 조 모션값과 필터링된 모션값 및 모션 트레이스값을 여러 가지 방법으로 계산할 수 있다. 예를 들어, 회로(50)는 부분적 필러 블록을 위한 조 모션값 및 필터링된 모션값 및 모션 트레이스값을 각각 그 부분적 필러 블록 바로 위의 완전한 필러 블록의 값과 동일하게 설정할 수 있다. 예를 들어, 도 7 및 도 9를 참조하면, 필터링된 모션값 위치 FM(k/4)1이 E0을 보완하는 필러 필드 내의 부분적 필러 블록에 대응하면, 회로(50)는 FM(k/4)1= FM((k/4)-1)1및MT(k/4)1= MT((K/4)-1)1로 설정할 수 있다.
도 11을 참조하여, 본 발명의 실시예에 따른 짝수 필러 필드 내의 필러 픽셀의 모션값의 생성을 설명한다. 예시의 목적으로, 도 7을 참조하여 본 발명의 실시예에 따른 홀수 필러 필드의 필러 픽셀의 모션값들의 발생을 설명한다. 예시의 목적으로, 모션값들의 발생이 Y, CB및 CR의 색공간에 표현되고 MPEG 4:2:0 포맷으로 압축된 오리지날 홀수 필드 O0및 O1과 관련하여 설명되는데, 동일한 원리가 도 6의 다른 오리지날 홀수 필드들에 대하여 적용됨을 이해하여야 한다. 홀수 필러 필드 내의 필러 픽셀의 모션값들의 발생이 도 7과 관련하여 이하에서 설명된다.
도 11은 홀수 필드 O0및 O1의 오리지날 및 필러 라인을 구성하는 오리지날 및 필러 픽셀을 나타내는 도면이다. 오리지날 홀수 필드 O0과 대응하는 짝수 필러 필드의 픽셀은 Pkx로 표시되고, 필드 O1및 대응하는 짝수 필러 필드의 픽셀은 P'kx로 표시되는데, k는 라인을 표시하고 x는 컬럼을 표시한다. 오리지날 픽셀과 동일하게 필러 픽셀은 4 개의 픽셀로 이루어지는 2 ×2 블록들로 배열되어 있다(도 2a 참조). 예를 들어, 블록(94)은 O0을 위한 상보적 필러 필드를 구성하는 필러 픽셀 P02, P03, P22및 P23을 포함한다.
도 11을 계속 참조하면, 짝수 필러 필드를 위한 차이값 DY, DCR및 DCB와 조 모션값 및 필터링된 모션값 RM 및 FM의 계산은 도 7과 관련하여 전술된 홀수 필러필드를 위한 DY, DCR, DCB, RM 및 FM의 계산과 유사하다. 예를 들어, 블록(94)의 DY, DCR, DCB및 RM은 다음의 식에 의하여 주어진다:
FM01은 방정식(5)에 의하여 주어진다.
도 7, 9, 11과 식(5) 및 식(9)를 참조하면, 모션값 버퍼(90)의 위치 FM01은 도 7의 블록(80) 및 도 11의 블록(94)에 대응한다. 따라서, 도 4의 이미지 프로세싱 회로(50)는 위치 FM01내에 단지 하나의 FM01값－블록(80)을 위한 FM01또는 블록(94)을 위한 FM01－을 저장한다. 저장할 FM01을 선택하는 과정은 이하에서 도 16을 참조하여 설명한다.
또한, 이상에서 도 7을 참조하여 설명한 바와 같이, 도 4의 이미지 프로세싱 회로(50)는 필러 라인의 시작이나 끝에 있는 필러 픽셀을 포함하는 블록(96 및 98)과 같은 필러 블록의 조 모션값을 발생시키기 위하여 전술할 기법을 사용할 수 없다. 그러므로, 일 실시예에서, 회로(50)는 필러 블록(96 및 84) 및 각 필러 라인의 처음 또는 마지막 2개의 필러 픽셀을 포함하는 다른 필러 블록에 대하여 조 모션값 또는 필터링된 모션값을 계산하지 않는다. 대신, 회로(50)는 이들 블록에 소정의 필터링된 모션값을 배정한다. 예를 들어, 일 실시예에서, 회로(50)는 이들 블록들에 상수 FM값 또는 동일한 필러 라인 내의 인접한 블록에 대하여 계산된 FM값과 동일한 값을 배정한다. 예를 들어, 후자의 방법에서, 회로(50)는 블록(96)의 필터링된 모션값 FM00을 전술한 바와 같이 인접한 블록(94)에 대하여 계산된 값인 FM01과 동일하게 설정한다.
도 9, 10 및 11을 참조하면, 도 7과 관련하여 전술한 바와 같이, k+1이 4로 나누어지는 한, 홀수 필드 O를 위한 상보적 짝수 필러 필드의 아래에 부분적 (2 ×1) 필러 픽셀 블록이 존재하지 않는다. 예를 들어, 필러 블록의 마지막 행은 필러 라인 a(k-2) 및 a(k)로부터의 픽셀을 포함하고, 이 아래에는 짝이 없는 필러 라인들이 존재하지 않는다. 역으로, k+1이 4로 나누어지지 않으면, 단지 하나의 필러 라인 b(k-1)로부터의 픽셀을 포함하는 부분적 필러 블록들의 행이 존재한다. 이 경우에, 도 5의 이미지 프로세싱 회로(50)는 이들 부분적 필러 블록들을 위한 조 모션값과 필터링된 모션값 및 모션 트레이스값을 도 7의 필러 필드와 관련하여설명한 바와 같이 여러 가지 방법으로 계산할 수 있다.
도 12를 참조하여, 본 발명의 다른 실시예에 따라 홀수 필러 필드 내의 필러 픽셀의 모션값을 발생시키는 과정이 설명된다. 도 6의 오리지날 짝수 필드들은 Y, CB및 CR의 색공간 내에서 표현되었고, MPEG 4:2:0 포맷에 따라 압축 및 탈압축되었다. 오리지날 픽셀과 유사하게, 블록(98)은 필러 픽셀(P12및 P13)을 포함하고 블록(100)은 필러 픽셀(P32및 P33)을 포함한다. 그리하여, 도 7 및 도 12의 주된 차이는 도 12에서 필러 픽셀 블록이 4개의 픽셀 대신에 2개의 픽셀을 포함하는 점이다. 따라서 블록(98)을 위한 DY, DCR, DCB및 RM은 다음의 방정식에 의하여 주어진다.
FM01은 식(5)에 의하여 주어진다. 또한, DY의 계산은 4:2:0 포맷을 위한 것과 동일하고, 따라서 식(10)은 식(5)와 동일하다. 또한, 4:2:2 포맷이 오리지날 픽셀의 각 2 ×1 블록을 위하여 하나의 CR및 CB를 요구하므로, DCR의 계산은 E0의 픽셀 P02및 P03에 대응하는 CR01과 E1의 P'02및 P'03에 대응하는 C'R01의 차이와 E0의 픽셀 P22및 P23에 대응하는 CR11과 E1의 픽셀 P'22및 P'23에 대응하는 C'R11의 차이를 구하는 과정을 포함한다. 유사한 해석 방법이 DCB에 적용된다.
도 12를 참조하면, 도 5의 이미지 프로세싱 회로(50)는 다음의 방정식에 따라 2 ×1 블록(100)을 위한 차이 및 조 모션값을 계산한다:
또한, 도 7과 관련하여 설명한 바와 동일한 이유로, 도 4의 이미지 프로세싱 회로는 필러 픽셀 블록(102 및 104) 및 필러 라인의 시작 및 끝에 위치하는 필러 픽셀을 포함하는 다른 필러 블록을 위한 조 모션값 또는 필터링된 모션값을 발생시키기 위하여 전술한 기법을 사용할 수 없다. 그리하여, 회로(50)는 도 7과 관련하여 전술한 바와 같이 이들 필러 블록을 위한 필터링된 모션값을 발생시킨다.
또한, k+1이 2로 나뉘어 지면, E0을 보완하는 필러 필드의 마지막 필러 라인 a(k)는 E0의 2개의 오리지날 라인들 사이에 "샌드위치" 되어 있지 않는다. 따라서, 회로(50)는 오리지날 필드 E0및 E1의 마지막 라인들 a(k-1) 및 c(k-1) 내의 오리지날 픽셀들만을 이용하여 블록(106)과 같은 마지막 라인 필러 블록을 위한 DY, DCR, DCB및 RM을 계산한다. 예를 들어, 회로(50)는 다음의 식에 의하여 픽셀 블록(106)을 위한 차이 및 조 모션값들을 계산한다.
그리하여 예를 들어 블록(106)을 위한 DY가 E0으로부터의 픽셀 P(k-1)1, P(k-1)2, P(k-1)3및 P(k-1)4와 E1로부터의 픽셀 P'(k-1)0, P'(k-1)1, P'(k-1)2, P'(k-1)3및 P'(k-1)4를 위한 휘도값을 이용하여 계산된다. 동일하게, DCR및 DCB는 E0으로부터의 픽셀 P(k-1)2및 P(k-1)3과 E1로부터의 P'(k-1)2및 P'(k-1)3을 포함하는 오리지날 픽셀의 2 ×1 블록들을 위한 CR및 CB로부터 각각 계산된다. 회로(50)는 필터링된 모션값을 계산하기 위하여 식(5)를 이용한다.
도 13은 본 발명의 실시예에 따라 MPEG 4:2:2 오리지날 필드로부터 유도된 필러 필드를 위한 필터링된 모션값 FM을 저장하기 위한 모션값 버퍼(108)의 내용의 레이아웃을 도시한다. 도 4를 참조하면, 일 실시예에서, 이미지 프로세싱 회로(50)는 버퍼(108)가 다른 메모리에 자리 잡을 수 있으나 메모리(58)의 일부를버퍼(108)로서 전용시킨다. 회로(50)는 단지 하나의 버퍼(108)를 포함하고, 각 필러 필드에 대하여 이 버퍼의 내용을 갱신한다. 버퍼(108)의 내용을 갱신하는 절차를 도 16을 참조하여 설명한다.
도 12 및 도 13을 참조하면, 블록(98)과 같은 필러 픽셀 블록의 차원이 2 × 1이고 도 4의 이미지 프로세싱 회로(50)가 블록 당 하나의 FM값을 계산하므로, 버퍼(108)의 수평 크기는 오리지날 및 필러 필드의 수평 크기의 반이거나 반보다 2 픽셀 작게된다. 특히, 모션값 버퍼(108)가 대시 선으로 표시된 옵션 저장 위치를 포함하는 경우에는, 버퍼(108)의 수평 크기는 오리지날 및 필러 필드의 수평 크기의 반이 된다. 예를 들어, 오리지날 및 필러 필드가 x = 720 화소의 수평 크기를 가지면, 버퍼(108)는 720 ÷2=360 메모리 위치의 폭을 가진다. 한편, 모션값 버퍼(108)가 대시 라인으로 표시된 옵션 저장 위치를 포함하지 않으면, 버퍼(108)의 수평 크기는 오리지날 및 필러 필드의 수평 크기의 반보다 2 픽셀 작게된다. 예를 들어, 오리지날 및 필러 필드가 x = 720 화소의 수평 크기를 가지면, 버퍼(108)는 (x/2) = (720 ÷2) - 2 = 358 메모리 위치의 폭을 가진다.
유사하게, 버퍼(108)의 수직 크기는 오리지날 및 필러 필드의 수직 크기의 반이고, 따라서 도 4의 이미지 프로세싱 회로(50)에 의하여 생성되는 프로그레시브 프레임의 수직 크기 k의 절반이 된다. 이는 버퍼(108)가 옵션 저장 위치를 포함하는지 여부와 관계없다. 예를 들어, 오리지날 및 필러 필드가 각각 k/2 = 240 라인을 가지면－대응하는 프로그레시브 프레임은 k = 2 ×240 = 480 라인을 포함함－버퍼(108)는 k/2 = 240 (즉 대응 프로그레시브 프레임에 대하여 480 ÷2)의 높이의메모리 위치를 가진다.
그리하여, 모션값 버퍼(108)는 도 9의 모션값 버퍼(90)와 수평 치수가 동일하고 수직 치수가 2배가 된다.
도 14는 본 발명의 일 실시예에 따라 MPEG 4:2:2 오리지날 필드로부터 유도된 필러 필드를 위한 모션 트레이스값 MT를 저장하는 점 외에 도 10의 버퍼(92)와 유사한 모션 트레이스 버퍼(110)의 레이아웃을 도시한다. 버퍼(110)의 저장 위치 MT는 도 12와 관련하여 설명된 필러 픽셀 블록과 각각 대응한다. 예를 들어, 위치 MT01은 도 7의 블록(80)에 대응하는 모션 트레이스값 MT01을 저장하는데, 이는 도 12의 블록(98)에 대응하고 따라서 도 13의 모션값 버퍼(108)의 위치 FM01에 대응한다. 또한, 도 4의 이미지 프로세싱 회로(50)가 시작 라인 및 종료 라인 픽셀 블록들에 모션값 및 모션 트레이스값들을 배정하는 경우에, 버퍼(108)는 또한 대시 라인으로 표시된 옵션 위치를 포함한다. 예를 들어, 옵션 위치 MT00은 도 12의 시작 라인 블록(102), 따라서 모션값 버퍼(108)의 위치 FM00에 대응한다.
도 14를 참조하면, 모션 트레이스 버퍼(110)는 도 13과 관련하여 전술할 바와 같이 모션값 버퍼(108)와 동일한 크기를 가진다.
도 15를 참조하여, 도 6의 오리지날 홀수 필드를 위하여 짝수 필러 필드 내의 필러 픽셀의 모션값을 발생시키는 과정이 설명된다. 도 6의 오리지날 홀수 필드들은 Y, CB및 CR의 색공간 내에서 표현되었고, MPEG 4:2:2 포맷에 따라 압축 및탈압축되었다. 짝수 필러 필드을 위한 차이값 DY, DCR및 DCB그리고 조 모션값 및 필터링된 모션값 RM 및 FM의 계산은 도 12와 관련하여 전술한 홀수 필러 필드를 위한 DY, DCR, DCB, RM 및 FM의 계산과 유사하다. 예를 들어, 블록(112)을 위한 DY, DCR, DCB및 RM은 다음의 식들에 의하여 주어진다.
FM01은 식(5)에 의하여 주어진다. 또한, 도 7과 관련하여 설명한 바와 동일한 이유로, 도 4의 이미지 프로세싱 회로(50)는 필러 픽셀 블록(114 및 116) 및 필러 라인의 시작 및 끝에 위치하는 필러 픽셀을 포함하는 다른 필러 블록을 위한 조 모션값 또는 필터링된 모션값을 발생시키기 위하여 전술한 기법을 사용할 수 없다.그리하여, 회로(50)는 도 7과 관련하여 전술한 바와 같이 이들 필러 블록을 위한 필터링된 모션값을 발생시킨다.
또한, O0을 보완하는 필러 필드의 첫 번째 필러 라인 b0은 O0의 두 개의 오리지날 라인 사이에 "샌드위치" 되어 있지 않기 때문에, 회로(50)는 블록(119)과 같은 첫 번째 라인 필러 블록을 위한 DY, DCR, DCB및 RM을 오리지날 필드 O0및 O1의 두 번째 라인 b1 및 d1 내의 오리지날 픽셀만을 사용하여 계산한다. 예를 들어, 회로(50)는 픽셀 블록(18)을 위한 차이 및 조 모션값을 다음의 식에 따라 계산한다.
FM01은 식(5)에 의하여 주어진다. 유사하게, k+1이 2로 나누어지지 않으면,필러 필드의 마지막 필러 라인 bk는 O0의 2개의 오리지날 라인 사이에 "샌드위치"되지 않는다. 따라서 회로(50)는 마지막 라인 필러 블록을 위한 DY, DCR, DCB및 RM을 라인 b(k-1) 및 d(k-1) 내의 오리지날 픽셀만을 사용하여 계산한다.
도 12, 13 및 15를 참조하면, 모션값 버퍼(108)의 위치 FM01은 도 12의 블록(98)과 도 15의 블록(108)에 대응한다. 그러므로, 도 4의 이미지 프로세싱 회로(50)는 단지 하나의 FM01값－블록(98) 또는 블록(108)을 위한 FM01－만을 위치 FM01에 저장한다. 어느 FM01이 저장될지를 선택하는 과정은 도 16을 참조하여 이하에서 설명한다.
도 16은 도 4의 이미지 프로세싱 회로(50)가 본 발명의 실시예에 따라 도 9 및 10의 모션값 버퍼(90) 및 모션 트레이스 버퍼(92)(4:2:0 포맷) 또는 도 13 및 14의 버퍼 (108 및 110)(4:2:2 포맷)를 초기화하고 갱신하는 기법을 보여주는 흐름도이다. 설명의 명확을 기하기 위하여, 이 기법은 버퍼(90 및 92)와 관련하여 설명되나, 이 기법은 버퍼(108 및 110)에 대하여도 유사하게 적용될 수 있다.
도 5 및 도 16의 블록(112)을 참조하면, 프로세서(56)는 이전에 계산되어 메모리(58)에 저장되어 있는 다음의 필터링된 모션값 FMkx를 불러온다.
블록(116 및 18)을 참조하면, FMkx가 모션값 버퍼(90)의 위치 x, y의 현재값과 크거나 같으면, 프로세서(56)는 위치 k, x에 FMkx를 덮어 쓴다. 다음으로 블록(120)을 참조하면, 프로세서(56)는 초기 MT값을 모션 트레이스 버퍼(92)의 k,x 위치에 로드한다. 일 실시예에서, 초기 MT값은 5이다.
역으로, 블록(116 및 122)을 참조하면, FMkx가 모션값 버퍼(90)의 위치 x, y의 현재값 보다 작으면, 프로세서(56)는 트레이스 버퍼(92)의 위치 k, x의 값들을 분석한다. 그 값이 0이면, 블록(124)을 참조하면, 프로세서(56)는 모션값 버퍼(90)의 k, x 위치에 0을 로드하는데, 이는 현재 필러 필드의 각 필러 픽셀 블록과 연관된 모션이 없음을 나타낸다. 역으로, 블록(126)을 참조하면, 트레이스 버퍼(92)의 위치 x, y의 값들이 0이 아니면, 프로세서(56)는 그 값들을 예정된 값 D만큼 감소시킨다. 일 실시예에서 D는 1이 된다.
블록(128)을 참조하면, 프로세서(56)는 다음 FMkx값을 유사한 방식으로 처리한다.
따라서, D 및 초기 MT 값들을 변경시킴으로써, 모션값이 영향을 미치는 필러 필드의 최대수가 변경될 수 있다. 예를 들어, 도 6, 7, 10, 11 및 16을 참조하여, E0을 위한 필러 라인 a1의 필러 픽셀 블록(80)을 위한 초기 MT=1, D=1, FM01=15 라고 가정하고, O0, E1, O1, E2및 O2를 위한 필러 라인들 b0∼b2, c1∼c3, d0∼d2, e0∼e3 및 f0∼f2의 대응 필러 픽셀 블록들을 위한 FM01< 15라고 가정한다. 도 16의 흐름도에 따르면, 블록(80)을 위하여 프로세서(56)는 모션값 버퍼(90)의 FM01위치에 FM01=15를 로드하고, 트레이스 버퍼(92)의 MT01위치에 5를 로드한다. 다음, 필러 픽셀 블록(94; 도 11)을 위한 FM01이 15보다 작으므로, 프로세서(56)는버퍼(90)의 FM01위치에 FM01=15의 이전 값을 남겨두고, 버퍼(92)의 MT01위치의 값을 4로 감소시킨다. 프로세서(56)는 c1∼c3, d0∼d2, e1∼e3 및 f0∼f2를 위한 필러 픽셀 블록들(도시되지 않음)을 위한 FM01< 15의 값들을 유사한 방식으로 처리한다. 그러나, f0∼f2의 필러 픽셀 블록의 처리 후에 트레이스 버퍼(92)의 위치 MT01은 0이 된다. 그리하여, 이하에서 설명하는 바와 같이, 프로세서(56)가 후속 모션을 검출하지 않더라도, E0및 E1사이에서 검출된 모션은 6개의 연속된 오리지날 필드 E0, O0, E1, O1, E2및 O2를 보완하는 필러 필드 내의 필러 픽셀의 값들에 영향을 미친다. 그리하여, 많은 종래의 이미지 프로세싱 회로와 달리, 이미지 프로세싱 회로(50)는 검출된 모션이 4개 이상의 필러 필드 내의 필러 픽셀 값에 영향을 미친다. 또한, 초기 MT값, 또는 D 값을 변경하여 버퍼(90 및 92)의 크기를 증가시키지 않고도 모션에 의하여 영향을 받는 필러 필드의 수를 변경시킬 수 있다.
도 17은 본 발명이 실시예에 따라 필러 픽셀의 방향 값을 계산하고 공간적으로 보간하기 위하여 도 4의 이미지 프로세싱 회로(50)가 사용하는 오리지날 픽셀을 나타내는 도면이다. 예시의 목적으로, 도 7의 필러 라인 a3의 필러 픽셀이 P33으로 되어 있으나, 각 필러 라인의 처음 및 마지막 픽셀을 제외한 다른 필러 픽셀에 대하여도 이하의 설명이 적용됨을 이해하여야 한다. 이하에서 이러한 필러 픽셀의 값을 계산하는 방법이 설명된다. 도 18a∼18e와 관련하여 후술하는 바와 같이, 회로(50)는 P33위의 3개의 오리지날 픽셀 P22, P23및 P24그리고 P33아래의 3개의 픽셀P42, P43및 P44로부터 P33을 위한 방향 값을 계산하고 픽셀 값을 공간적으로 보간한다.
도 18a∼도 18e를 참조하면, 일 실시예에서, 이미지 프로세싱 회로(50)는 도 17의 픽셀 다이어그램에 대하여 3가지 에지 방향과 2가지 가는 선 방향을 인지한다. 방향 값을 결정함에 있어서, 회로(50)는 픽셀 다이어그램 내의 오리지날 픽셀의 휘도값 Y 만을 사용한다.
도 18a를 참조하면, 회로(50)는 오리지날 픽셀 P24및 P42가 유사한 Y 값을 가지면 45°∼ 225° 에지를 인지한다. 예를 들어, 에지의 수직 방향이 픽셀 그룹의 우측 하방을 향하면, 픽셀 P22및 P23은 P42및 P24의 Y 값들과 유사한 Y 값들을 가진다. 역으로, 에지의 수직 방향이 픽셀 그룹의 좌측 상방을 향하면, 픽셀 P43및 P44는 P24및 P42의 Y 값과 유사한 Y 값들을 가진다.
도 18b를 참조하면, 회로(50)는 약 63°∼ 243°로 픽셀 P23, P24, P42및 P43을 통과하여 연장되는 가는 선을 인지한다. 이 가는 선은 P23, P24, P42및 P43의 Y 값들과 크게 다른 Y 값들을 가지는 P22및 P44에 의하여 한정된다.
도 18c를 참조하면, 회로(50)는 오리지날 픽셀 P23및 P43이 유사한 Y 값을 가지면 90°∼ 270°에지를 인지한다. 예를 들어, 에지의 수직 방향이 픽셀 그룹의 우측을 향하면, 픽셀 P22및 P23은 P42및 P24의 Y 값들과 유사한 Y 값들을 가진다. 역으로, 에지의 수직 방향이 픽셀 그룹의 좌측을 향하면, 픽셀 P24및 P44는 P23및 P43의 Y 값과 유사한 Y 값들을 가진다. 또한, 픽셀 P22, P23, P24, P42, P43및 P44가 유사한 Y값들을 가지면 회로(50)는 90°∼ 270°의 에지를 인지한다.
도 18d를 참조하면, 회로(50)는 약 117°∼ 297°로 픽셀 P22, P23, P43및 P44를 통과하여 연장되는 가는 선을 인지한다. 이 가는 선은 P22, P23, P43및 P44의 Y 값들과 크게 다른 Y 값들을 가지는 P24및 P42에 의하여 한정된다.
도 18e를 참조하면, 회로(50)는 오리지날 픽셀 P22및 P44가 유사한 Y 값을 가지면 135°∼ 315°에지를 인지한다. 예를 들어, 에지의 수직 방향이 픽셀 그룹의 좌측 하방을 향하면, 픽셀 P23및 P24는 P22및 P44의 Y 값들과 유사한 Y 값들을 가진다. 역으로, 에지의 수직 방향이 픽셀 그룹의 우측 상방을 향하면, 픽셀 P42및 P43은 P22및 P44의 Y 값과 유사한 Y 값들을 가진다. 방향 값 DV는 표 1의 두 번째 열에 따라 계산된다.
방향 방향을 따른 픽셀 차이 픽셀 차이의 최소값이 TEDGE문턱값 이하인 경우에, 다음식에 의하여 누락된 픽셀 값 PS를 구함:
45°∼ 225°(도 18A) DV45-225= ｜P24-P42｜+ 오프셋 PS33= (P24+ P42)/2
63°∼ 243°(도 18b) DV63-243= (｜P24-P43｜+｜P23-P42｜)/2 PS33= (P24+P42+P23+P43)/4
90°∼ 270°(도 18c) DV90-270= ｜P23-P43｜ PS33= (P23+ P43)/2
117°∼ 197°(도 18d) DV117-297= ((｜P23-P44│+｜P22-P43｜)/2 PS3= (P22+P44+P23+P43)/4
135°∼ 315°(도 18e) DV135-315= ｜P22-P44｜+ 오프셋 PS= (P22+P44)/2
이상의 최소값이 TEDGE보다 크면 우세한 에지가 없음 최소 DV>TEDGEPS를 다음 식으로 예측:PS=(P23+ P43)/2
회로(50)는 표 1을 컬럼 2에 따라 모든 DV 값들을 계산하고, 최소 DV값을 식별하고, 최소 DV 값을 문턱값 TEDGE와 비교한다. 만약 최소 DV값이 TEDGE보다 크면, 프로세서(56)는 디폴트로 90°∼ 270° 에지(도 18c)를 식별하고, 표 1의 컬럼 3의 마지막 행에 나타난 바와 같이 P33을 위한 Y, CR및 CB값들(표 1에서 집합적으로 PS로 표시됨)을 P23및 P43의 Y, CR및 CB값들의 평균과 동일하게 공간적으로 보간한다. 역으로, 최소 DV값이 TEDGE보다 작거나 같으면, 프로세서(56)는 최소 DV에 대응하는 방정식으로 PS를 계산한다. 예를 들어, DV45-225가 최소값이면, 프로세서(56)는 PS를 P24및 P42의 평균값과 동일하게 계산하고, DV63-243이 최소값이면, 프로세서(56)는 PS를 P23, P24, P42및 P43의 평균값과 동일하게 계산한다. DV90-270이 최소값이면, 프로세서(56)는 PS를 P23및 P43의 평균값과 동일하게 계산하고, DV117-297이 최소값이면, 프로세서(56)는 PS를 P22, P23, P43및 P44의 평균값과 동일하게 계산한다. 또한, DV135-315가 최소값이면, 프로세서(56)는 PS를 P22및 P44의 평균값과 동일하게 계산한다.
TEDGE는 경험적으로 일정한 값으로 결정된다. 하나의 실시예에서, 이 값은 약 40-50의 범위 내가 된다.
본 발명자는 63°∼ 243° 및 117°∼ 297°의 가는 선이 45°∼ 225° 및 135°∼ 315°의 에지로 잘못하여 보간되는 경향이 있음을 발견하였다. 따라서, 회로(50)는 가는 선의 검출을 용이하게 하여 이러한 현상을 효과적으로 방지하기 위하여 DV135-315및 DV45-225에 오프셋을 추가한다. 일 실시예에서, 프로세서(56)는 다음의 식에 따라 오프셋을 계산한다:
이때 tline은 본 발명의 일 실시예에서 약 30으로 경험적으로 정해지는 문턱값이다.
도 7, 11 및 17을 참조하면, 프로세서(56)는 필러 필드로서 동일한 극성을 가지는 인접한 오리지날 필드 내의 대응하는 오리지날 픽셀로부터 각 필러 픽셀을 위한 Y, CR및 CB(집합적으로 Pt)를 시간적으로 보간한다. 예를 들어,프로세서(56)는 E0(도 7)의 필러 라인 a3 내의 필러 픽셀 P33을 위한 Pt를 Oo(도 11)의 오리지날 라인 b3 내의 오리지날 픽셀 P33의 휘도 및 색도값과 동일하게 계산한다. 다음으로, 프로세서(56)는 필러 픽셀을 위한 최종값 Pt를 다음의 식에 따라 계산한다:
특히, 프로세서(56)는 Pt를 α-가중된 Ps및 (1-α) 가중된 Pt의 합과 동일하게 계산한다. α는 Pt가 계산되는 필러 픽셀의 FM값 및 그 필러 픽셀의 위 및 아래의 필러 픽셀 블록의 FM 값들의 최대치와 동일하다. 예를 들어, 도 7 및 9를 참조하면, 필러 픽셀 P33을 위한 α는 FM01및 FM11의 최대치이다. (이때 블록(80) 위에는 필러 픽셀 블록이 없고, 따라서 FM01위에 버퍼(90)의 FM 위치가 없다.) 수직 방향으로 가장 가까운 3개의 FM 값들의 최대값을 취하면, 모션이 검출된 위치에서 최대 가중치가 공간적으로 보간된 값 PS에 주어지게 된다. 또한 도 8과 관련하여 설명한 바와 같이, FM의 최대치, 즉 α의 최대값은 15이다. 따라서, 식(32)의 좌변은 정규화(normalization)를 위하여 15로 나누어진다.
식(32)를 참조하면, 상당한 모션이 존재하여 α가 상대적으로 큰 값을 가지면, Pf는 공간적으로 보간된 값 Ps쪽으로 무겁게 가중된다. 역으로, 모션이 거의 없어 α가 상대적으로 작은 값을 가지면, Pf는 시간적으로 보간된 값 Pt쪽으로 무겁게 가중된다.
도 7을 참조하면, 필러 픽셀 라인의 시작 및 마지막 필러 픽셀을 위한 값들을 발생시키는 과정을 설명한다. 예시의 목적으로, E0의 필러 픽셀 P10을 예로 들어 설명하나, 이하의 설명은 P11및 필러 라인의 시작 및 끝에 있는 다른 필러 픽셀에 대하여도 적용됨을 이해하여야 한다.
이미지 프로세싱 회로(50)가 예정된 값 FM00을 P10및 전술한 바와 같이 필러 라인의 시작과 끝에 있는 필러 픽셀에 배정하면, 프로세서(56)는 전술한 바와 같은 방법으로 P10을 위한 Ps, Pt및 Pf를 계산한다.
역으로, 프로세싱 회로(50)가 예정된 값 FM00을 P10 및 전술한 바와 같이 필러 라인의 시작과 끝에 있는 필러 픽셀에 배정하지 않으면, 프로세서(56)는 전술한 바와 다른 방법으로 Pf를 계산한다. 예를 들어, 프로세서(56)는 P10을 위한 Pf를 수직으로 인접한 오리지날 픽셀들 P00및 P10의 Y, CR및 CB값들의 평균과 동일하도록 전적으로 공간적으로 보간한다. 또는, 프로세서(56)는 P10을 위한 Pf를 수직으로 인접한 오리지날 홀수 필드 O0내의 대응하는 오리지날 픽셀 P10의 Y, CR및 CB값들의 평균과 동일하도록 전적으로 시간적으로 보간한다.
이상에서 본 발명이 예시의 목적으로 특정 실시예를 들어 설명되었으나, 발명의 원리 및 범위를 벗어나지 아니하고 본 발명은 여러 가지 형태로 변경될 수 있음을 이해하여야 한다.
본 발명에 따르면, 인터레이스된 비디오 프레임을 디인터레이스 (deinterlace) 하기 위하여 사용될 수 있다. 즉, 오리지날 비디오 필드의 오리지날 픽셀로부터 필러 픽셀의 값들을 발생시키고, 필러 픽셀들로부터 상보적(complementary) 필러 비디오 필드를 형성하고 오리지날 및 상보적 필드를 결합하여 비디오 프레임을 발생시킬 수 있다.

Claims (44)

  1. 프로세서를 포함하는 이미지 프로세싱 회로에 있어서, 상기 프로세서는,
    오리지날 제1 비디오 이미지의 오리지날 픽셀의 값과 오리지날 제2 비디오 이미지의 오리지날 픽셀의 값을 수신하여,
    상기 오리지날 제1 비디오 이미지의 상기 오리지날 픽셀의 상기 값으로부터 제1 픽셀 값 성분을 발생시키고,
    상기 오리지날 제2 비디오 이미지의 상기 오리지날 픽셀의 상기 값으로부터 제2 픽셀 값 성분을 발생시키고,
    상기 제1 및 제2 픽셀 값 성분들로부터 필러 픽셀의 값을 발생시키고,
    상기 필러 픽셀과 상기 오리지날 제1 비디오 이미지를 결합하여 합성 비디오 이미지를 발생시키는 이미지 프로세싱 회로.
  2. 제1항에 있어서,
    상기 오리지날 제2 비디오 이미지가 비디오 이미지 시퀀스에서 상기 오리지날 제1 비디오 이미지에 후속하는 이미지 프로세싱 회로.
  3. 제1항에 있어서,
    상기 오리지날 제1 비디오 이미지가 오리지날 필드를 포함하고;
    상기 프로세서가,
    상기 필러 픽셀을 포함하고, 상기 오리지날 필드에 상보적인 필러 필드를 발생시키고,
    상기 오리지날 및 상기 필러 필드를 결합하여 상기 합성 비디오 이미지를 발생시키는 이미지 프로세싱 회로.
  4. 제1항에 있어서,
    상기 오리지날 제1 비디오 이미지가 상기 오리지날 제1 비디오 이미지의 상기 오리지날 픽셀을 포함하는 제1 오리지날 필드를 포함하고;
    상기 오리지날 제2 비디오 이미지가 상기 오리지날 제2 비디오 이미지의 상기 오리지날 픽셀을 포함하는 제2 오리지날 필드를 포함하며;
    상기 프로세서가,
    상기 제1 및 상기 제2 오리지날 필드와 상보적인 상기 필러 픽셀을 포함하는 필러 필드를 발생시키고,
    상기 필러 필드 및 상기 제1 오리지날 필드를 결합하여 상기 합성 비디오 이미지를 발생시키는 이미지 프로세싱 회로.
  5. 제1항에 있어서,
    상기 프로세서가,
    상기 오리지날 제1 비디오 이미지의 상기 오리지날 픽셀의 상기 값과 동일하도록 상기 제1 픽셀 값 성분을 발생시키고;
    상기 오리지날 제2 비디오 이미지의 상기 오리지날 픽셀의 상기 값과 동일하도록 상기 제2 픽셀 값 성분을 발생시키는 이미지 프로세싱 회로.
  6. 제1항에 있어서,
    상기 프로세서가,
    상기 제1 및 제2 픽셀 값 성분을 가중화하고;
    상기 가중화된 제1 및 제2 픽셀 값 성분들로부터 상기 필러 픽셀의 값을 발생시키는 이미지 프로세싱 회로.
  7. 제1항에 있어서,
    상기 프로세서가,
    상기 오리지날 제1 및 제2 비디오 이미지의 상기 오리지날 픽셀들의 값으로부터 모션값을 발생시키고;
    상기 모션값으로부터 제1 및 제2 가중 계수를 발생시키고;
    상기 제1 가중 계수 및 상기 제1 픽셀 값 성분을 결합하여 가중화된 제1 픽셀 값 성분을 발생시키고;
    상기 제2 가중 계수 및 상기 제2 픽셀 값 성분을 결합하여 가중화된 제2 픽셀 값 성분을 발생시키고;
    상기 가중화된 제1 및 제2 픽셀 값으로부터 상기 필러 필드의 상기 값을 발생시키는 이미지 프로세싱 회로.
  8. 프로세서를 포함하는 이미지 프로세싱 회로에 있어서, 상기 프로세서는,
    제1 오리지날 비디오 이미지의 오리지날 픽셀의 값과 상기 오리지날 제1 비디오 이미지에 후속하는 제2 오리지날 비디오 이미지의 오리지날 픽셀의 값을 수신하여,
    상기 제1 및 제2 오리지날 비디오 이미지의 상기 오리지날 픽셀 값들로부터 제1 필러 비디오 이미지를 위한 모션값을 발생시키고,
    상기 모션값이 상기 제1 필러 비디오 이미지를 위한 모션을 나타내는 경우에 상기 모션값이 상기 제1 필러 비디오 이미지에 후속하는 예정된 수의 필러 비디오 이미지를 위한 모션을 지시하도록 하는 이미지 프로세싱 회로.
  9. 제8항에 있어서,
    상기 프로세서가 상기 제1 및 제2 오리지날 비디오 이미지의 상기 오리지날 픽셀의 값들 간의 차이와 동일한 상기 모션값을 발생시키는 이미지 프로세싱 회로.
  10. 제8항에 있어서,
    상기 예정된 수가 5인 이미지 프로세싱 회로.
  11. 제8항에 있어서,
    상기 모션값이 0이 아닌 경우에 상기 모션값이 모션을 지시하고;
    상기 모션값이 상기 제1 필러 비디오 이미지에 대하여 0이 아닌 경우에, 상기 프로세서가 상기 제1 필러 비디오 이미지에 후속하는 예정된 수의 필러 비디오 이미지에 대하여 상기 모션값을 0이 아닌 수로 유지하는 이미지 프로세싱 회로.
  12. 제8항에 있어서,
    상기 프로세서가,
    상기 제1 및 제2 오리지날 비디오 이미지의 상기 오리지날 픽셀의 상기 값들로부터 상기 제1 필러 비디오 이미지를 위한 조(raw) 모션값을 발생시키고;
    상기 조 모션값을 필터링하여 상기 모션값을 발생시키는 이미지 프로세싱 회로.
  13. 제8항에 있어서,
    상기 제1 오리지날 비디오 이미지가 하나의 극성을 가지는 제1 오리지날 비디오 필드를 포함하고;
    상기 제2 오리지날 비디오 이미지가 상기 제1 오리지날 비디오 필드와 동일한 극성을 가지는 제2 오리지날 비디오 필드를 포함하는 이미지 프로세싱 회로.
  14. 제8항에 있어서,
    상기 제1 오리지날 비디오 이미지 및 상기 제1 오리지날 비디오 이미지에 후속하는 상기 오리지날 비디오 이미지들이 상기 제2 오리지날 비디오 이미지와 상기제1 및 제2 오리지날 비디오 이미지 사이에 위치하는 제3 오리지날 비디오 이미지를 포함하는 오리지날 비디오 이미지의 시퀀스를 구성하는 이미지 프로세싱 회로.
  15. 제8항에 있어서,
    상기 제1 오리지날 비디오 이미지 및 상기 제1 오리지날 비디오 이미지에 후속하는 상기 오리지날 비디오 이미지들이 상기 제2 오리지날 비디오 이미지와 상기 제1 및 제2 오리지날 비디오 이미지 사이에 위치하는 제3 오리지날 비디오 이미지를 포함하는 오리지날 비디오 이미지의 시퀀스를 구성하고;
    상기 제1 오리지날 비디오 이미지가 하나의 극성을 가지는 제1 오리지날 비디오 필드를 포함하고;
    상기 제2 오리지날 비디오 이미지가 상기 제1 오리지날 비디오 필드와 동일한 극성을 가지는 제2 오리지날 비디오 필드를 포함하고;
    상기 제3 오리지날 비디오 이미지가 상기 제1 및 상기 제2 오리지날 비디오 필드와 반대되는 극성을 가지는 제3 오리지날 비디오 필드를 포함하는 이미지 프로세싱 회로.
  16. 프로세서를 포함하는 이미지 프로세싱 회로에 있어서, 상기 프로세서가,
    비디오 이미지 내의 제1 및 제2 그룹의 픽셀을 위하여 픽셀 값들의 제1 및 제2 세트를 수신하고;
    상기 제1 및 제2 그룹의 픽셀들 사이에서 상기 비디오 이미지 내에 위치한필러 픽셀을 위한 상기 픽셀 값의 제1 및 제2 세트들로부터 방향 값들을 발생시키고;
    상기 방향 값들에 기초하여 상기 필러 픽셀을 위한 값을 발생시키는 이미지 프로세싱 회로.
  17. 제16항에 있어서,
    상기 제1 및 제2 그룹의 픽셀들이 각기 3개의 수평으로 정렬된 픽셀들을 포함하고;
    상기 제1 그룹의 픽셀들이 상기 제2 그룹의 픽셀들에 대하여 수직으로 정렬되고;
    상기 필러 픽셀이 상기 제1 그룹의 중앙 픽셀 및 상기 제2 그룹의 중앙 픽셀에 대하여 수직으로 정렬된 이미지 프로세싱 회로.
  18. 제16항에 있어서,
    상기 제1 및 상기 제2 그룹의 픽셀들이 각기 좌측, 중앙 및 우측의 수평으로 정렬된 픽셀을 포함하고;
    상기 프로세서가,
    상기 제1 그룹의 우측 픽셀의 값과 상기 제2 그룹의 좌측 픽셀의 값으로부터 상기 방향 값들의 첫 번째 값을 발생시키고,
    상기 제1 그룹의 우측 및 중앙 픽셀의 값들과 상기 제2 그룹의 좌측 및 중앙픽셀의 값들로부터 상기 방향 값들의 두 번째 값을 발생시키고,
    상기 제1 및 제2 그룹의 중앙 픽셀들의 값들로부터 상기 방향 값들의 세 번째 값을 발행시키고,
    상기 제1 그룹의 좌측 및 중앙 픽셀의 값들과 상기 제2 그룹의 우측 및 중앙 픽셀의 값들로부터 상기 방향 값들의 네 번째 값을 발생시키고,
    상기 제1 그룹의 좌측 픽셀의 값들과 상기 제2 그룹의 우측 픽셀의 값들로부터 상기 방향 값들의 다섯 번째 값을 발생시키는 이미지 프로세싱 회로.
  19. 제16항에 있어서,
    상기 프로세서가 상기 방향 값들 중 가장 작은 방향 값을 발생시키는 상기 픽셀 값들로부터 상기 필러 픽셀을 위한 상기 값을 발생시키는 이미지 프로세싱 회로.
  20. 제16항에 있어서,
    상기 프로세서가 상기 방향 값들 중 가장 작은 방향 값을 발생시키는 상기 픽셀 값들의 평균치와 동일하게 상기 필러 픽셀을 위한 상기 값을 발생시키는 이미지 프로세싱 회로.
  21. 제16항에 있어서,
    상기 제1 및 제2 그룹의 픽셀들이 각기 3개의 수평으로 정렬된 픽셀들을 포함하고;
    상기 제1 그룹의 픽셀들이 상기 제2 그룹의 픽셀들에 대하여 수직으로 정렬되고;
    상기 필러 픽셀이 상기 제1 그룹의 중앙 픽셀 및 상기 제2 그룹의 중앙 픽셀에 대하여 수직으로 정렬되고;
    모든 상기 방향 값들이 예정된 문턱값보다 큰 경우에 상기 프로세서가 상기 중앙 픽셀들의 값들의 평균치와 동일하게 상기 필러 픽셀의 상기 값을 발생시키는 이미지 프로세싱 회로.
  22. 제16항에 있어서,
    상기 프로세서가,
    상기 방향 값의 가장 작은 값이 예정된 문턱값보다 작은 경우에 상기 최소 방향 값을 발생시키는 상기 픽셀 값들의 평균값과 동일하게 상기 필러 픽셀의 값을 발생시키고;
    상기 방향 값의 가장 작은 값이 예정된 문턱값보다 큰 경우에 상기 최소 방향 값을 발생시키는 상기 픽셀 값들 중 예정된 값들의 평균값과 동일하게 상기 필러 픽셀의 값을 발생시키는 이미지 프로세싱 회로.
  23. 제16항에 있어서,
    상기 프로세서가 상기 제1 세트의 픽셀 값들과 상기 제2 세트의 픽셀 값들의차이를 계산하여 상기 방향 값들을 발생시키는 이미지 프로세싱 회로.
  24. 제1 오리지날 비디오 이미지의 오리지날 픽셀의 값으로부터 제1 픽셀 값 성분을 발생시키는 단계;
    제2 오리지날 비디오 이미지의 오리지날 픽셀의 값으로부터 제2 픽셀 값 성분을 발생시키는 단계;
    상기 제1 및 제2 픽셀 값 성분들로부터 필러 픽셀의 값을 발생시키는 단계;
    상기 필러 픽셀과 상기 오리지날 제1 비디오 이미지를 결합하여 합성 비디오 이미지를 발생시키는 단계를 포함하는 방법.
  25. 제24항에 있어서,
    상기 제2 오리지날 비디오 이미지가 비디오 이미지 시퀀스에서 상기 제1 오리지날 비디오 이미지에 후속하는 방법.
  26. 제24항에 있어서,
    상기 제1 오리지날 비디오 이미지가 하나의 극성을 가지는 오리지날 필드를 포함하고;
    상기 합성 비디오 이미지를 발생시키는 단계가,
    상기 필러 픽셀을 포함하고 상기 오리지날 필드의 상기 극성과 반대되는 극성을 가지는 필러 필드를 발생시키는 단계, 및
    상기 오리지날 및 상기 필러 필드를 결합하는 단계를 포함하는 방법.
  27. 제24항에 있어서,
    상기 제1 오리지날 비디오 이미지가 하나의 극성을 가지고 상기 제1 오리지날 비디오 이미지의 상기 픽셀을 포함하는 제1 오리지날 필드를 포함하고;
    상기 제2 오리지날 비디오 이미지가 상기 제1 오리지날 필드와 동일한 극성을 가지고 상기 제2 오리지날 비디오 이미지의 상기 픽셀을 포함하는 제2 오리지날 필드를 포함하며;
    상기 합성 비디오 이미지를 발생시키는 단계가,
    상기 제1 및 상기 제2 오리지날 필드의 극성과 반대되는 극성을 가지는 상기 필러 픽셀을 포함하는 필러 필드를 발생시키는 단계, 및
    상기 필러 필드 및 상기 제1 오리지날 필드를 결합하는 단계를 포함하는 방법.
  28. 제24항에 있어서,
    상기 제1 픽셀 값 성분을 발생시키는 단계가 상기 오리지날 제1 비디오 이미지의 상기 오리지날 픽셀의 상기 값과 동일하도록 상기 제1 픽셀 값 성분을 발생시키고;
    상기 제2 픽셀 값 성분을 발생시키는 단계가 상기 오리지날 제2 비디오 이미지의 상기 오리지날 픽셀의 상기 값과 동일하도록 상기 제2 픽셀 값 성분을 발생시키는 방법.
  29. 제24항에 있어서,
    상기 제1 및 제2 픽셀 값 성분을 가중화하는 단계; 및
    상기 가중화된 제1 및 제2 픽셀 값 성분들로부터 상기 필러 픽셀의 값을 발생시키는 단계를 더 포함하는 방법.
  30. 제24항에 있어서,
    상기 오리지날 제1 및 제2 비디오 이미지의 상기 픽셀들의 값으로부터 모션값을 발생시키는 단계;
    상기 모션값으로부터 제1 및 제2 가중 계수를 발생시키는 단계;
    상기 제1 가중 계수 및 상기 제1 픽셀 값 성분을 결합하여 가중화된 제1 픽셀 값 성분을 발생시키는 단계;
    상기 제2 가중 계수 및 상기 제2 픽셀 값 성분을 결합하여 가중화된 제2 픽셀 값 성분을 발생시키는 단계;
    상기 가중화된 제1 및 제2 픽셀 값으로부터 상기 필러 필드의 상기 값을 발생시키는 단계를 더 포함하는 방법.
  31. 제1 오리지날 비디오 이미지의 픽셀의 값과 제2 오리지날 비디오 이미지의 픽셀의 값으로부터 제1 필러 비디오 이미지를 위한 모션값을 발생시키는 단계; 및
    상기 모션값이 상기 제1 필러 비디오 이미지를 위한 모션을 나타내는 경우에 상기 모션값을 상기 제1 필러 비디오 이미지에 후속하는 예정된 수의 필러 비디오 이미지를 위한 모션을 지시하도록 하는 단계를 포함하는 방법.
  32. 제31항에 있어서,
    상기 모션값을 발생시키는 상기 단계가 상기 제1 및 제2 오리지날 비디오 이미지의 상기 픽셀들의 값들 간의 차이와 동일하도록 상기 모션값을 발생시키는 방법.
  33. 제31항에 있어서,
    상기 예정된 수가 5인 방법.
  34. 제31항에 있어서,
    상기 모션값이 상기 제1 필러 비디오 이미지에 후속하는 예정된 수의 필러 비디오 이미지를 위한 모션을 지시하도록 하는 상기 단계가, 상기 모션값이 0이 아닌 값으로서 상기 제1 필러 비디오 이미지를 위한 모션을 지시하는 경우에, 상기 제1 필러 비디오 이미지에 후속하는 예정된 수의 필러 비디오 이미지에 대하여 상기 모션값을 0이 아닌 수로 유지하는 방법.
  35. 제31항에 있어서,
    상기 모션값을 발생시키는 상기 단계가,
    상기 제1 및 제2 오리지날 비디오 이미지의 상기 픽셀의 상기 값들로부터 상기 제1 필러 비디오 이미지를 위한 조(raw) 모션값을 발생시키는 단계; 및
    상기 조 모션값을 필터링하여 상기 모션값을 발생시키는 단계를 포함하는 방법.
  36. 제31항에 있어서,
    상기 제1 오리지날 비디오 이미지 및 상기 제1 오리지날 비디오 이미지에 후속하는 상기 오리지날 비디오 이미지들이 상기 제2 오리지날 비디오 이미지와 상기 제1 및 제2 오리지날 비디오 이미지 사이에 위치하는 제3 오리지날 비디오 이미지를 포함하는 오리지날 비디오 이미지의 시퀀스를 구성하고;
    상기 제1 오리지날 비디오 이미지가 하나의 극성을 가지는 제1 오리지날 비디오 필드를 포함하고;
    상기 제2 오리지날 비디오 이미지가 상기 제1 오리지날 비디오 필드와 동일한 극성을 가지는 제2 오리지날 비디오 필드를 포함하고;
    상기 제3 오리지날 비디오 이미지가 상기 제1 및 상기 제2 오리지날 비디오 필드와 반대되는 극성을 가지는 제3 오리지날 비디오 필드를 포함하는 방법.
  37. 비디오 이미지 내에 배치된 제1 및 제2 그룹의 픽셀들의 값들로부터 필러 픽셀의 값을 발생시키되, 상기 필러 픽셀은 상기 픽셀의 상기 제1 및 제2 그룹의 픽셀들 사이에서 상기 비디오 이미지 내에 위치하는 단계; 및
    상기 방향 값들에 기초하여 상기 필러 픽셀을 위한 값을 발생시키는 단계를 포함하는 방법.
  38. 제37항에 있어서,
    상기 제1 및 제2 그룹의 픽셀들이 각기 3개의 수평으로 정렬된 픽셀들을 포함하고;
    상기 제1 그룹의 픽셀들이 상기 제2 그룹의 픽셀들에 대하여 수직으로 정렬되고;
    상기 필러 픽셀이 상기 제1 그룹의 중앙 픽셀 및 상기 제2 그룹의 중앙 픽셀에 대하여 수직으로 정렬되는 방법.
  39. 제37항에 있어서,
    상기 제1 및 상기 제2 그룹의 픽셀들이 각기 좌측, 중앙 및 우측의 수평으로 정렬된 픽셀을 포함하고;
    상기 방향 값을 발생시키는 상기 단계가,
    상기 제1 그룹의 우측 픽셀의 값과 상기 제2 그룹의 좌측 픽셀의 값으로부터 상기 방향 값들의 첫 번째 값을 발생시키는 단계,
    상기 제1 그룹의 우측 및 중앙 픽셀의 값들과 상기 제2 그룹의 좌측 및 중앙 픽셀의 값들로부터 상기 방향 값들의 두 번째 값을 발생시키는 단계,
    상기 제1 및 제2 그룹의 중앙 픽셀들의 값들로부터 상기 방향 값들의 세 번째 값을 발행시키는 단계,
    상기 제1 그룹의 좌측 및 중앙 픽셀의 값들과 상기 제2 그룹의 우측 및 중앙 픽셀의 값들로부터 상기 방향 값들의 네 번째 값을 발생시키는 단계, 및
    상기 제1 그룹의 좌측 픽셀의 값들과 상기 제2 그룹의 우측 픽셀의 값들로부터 상기 방향 값들의 다섯 번째 값을 발생시키는 단계를 포함하는 방법.
  40. 제37항에 있어서,
    상기 필러 픽셀의 값을 발생시키는 상기 단계가 상기 방향 값들 중 가장 작은 방향 값을 발생시키기 위하여 사용된 상기 픽셀 값들로부터 상기 필러 픽셀의 값을 발생시키는 방법.
  41. 제37항에 있어서,
    상기 필러 픽셀의 값을 발생시키는 상기 단계가 상기 방향 값들 중 가장 작은 방향 값을 발생시키기 위하여 사용된 상기 픽셀 값들의 평균치와 동일하게 상기 필러 픽셀의 값을 발생시키는 방법.
  42. 제37항에 있어서,
    상기 제1 및 제2 그룹의 픽셀들이 각기 3개의 수평으로 정렬된 픽셀들을 포함하고;
    상기 제1 그룹의 픽셀들이 상기 제2 그룹의 픽셀들에 대하여 수직으로 정렬되고;
    상기 필러 픽셀이 상기 제1 그룹의 중앙 픽셀 및 상기 제2 그룹의 중앙 픽셀에 대하여 수직으로 정렬되고;
    상기 필러 픽셀의 값을 발생시키는 상기 단계가 모든 상기 방향 값들이 예정된 문턱값보다 큰 경우에 상기 중앙 픽셀들의 값들의 평균치와 동일하게 상기 필러 픽셀의 상기 값을 발생시키는 방법.
  43. 제37항에 있어서,
    상기 필러 픽셀의 값을 발생시키는 상기 단계가,
    상기 방향 값의 가장 작은 값이 예정된 문턱값보다 작은 경우에 상기 최소 방향 값을 발생시키는 상기 픽셀 값들의 평균값과 동일하게 상기 필러 픽셀의 값을 발생시키는 단계; 및
    상기 방향 값의 가장 작은 값이 예정된 문턱값보다 큰 경우에 상기 최소 방향 값을 발생시키는 상기 픽셀 값들 중 예정된 값들의 평균값과 동일하게 상기 필러 픽셀의 값을 발생시키는 단계를 포함하는 방법.
  44. 제37항에 있어서,
    상기 방향 값을 발생시키는 상기 단계가 상기 제1 세트의 픽셀 값들과 상기 제2 세트의 픽셀 값들의 차이를 계산하는 단계를 포함하는 방법.
KR1020017001405A 1998-08-03 1999-08-03 비디오 스트림 내의 오리지날 픽셀로부터 필러 픽셀을발생시키는 회로 및 방법 KR20010072186A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9520198P 1998-08-03 1998-08-03
US60/095,201 1998-08-03
PCT/US1999/017606 WO2000008862A1 (en) 1998-08-03 1999-08-03 Circuit and method for generating filler pixels from the original pixels in a video stream

Publications (1)

Publication Number Publication Date
KR20010072186A true KR20010072186A (ko) 2001-07-31

Family

ID=22250622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017001405A KR20010072186A (ko) 1998-08-03 1999-08-03 비디오 스트림 내의 오리지날 픽셀로부터 필러 픽셀을발생시키는 회로 및 방법

Country Status (8)

Country Link
US (1) US6909752B2 (ko)
EP (1) EP1103144A1 (ko)
JP (1) JP2002522985A (ko)
KR (1) KR20010072186A (ko)
CN (1) CN1311957A (ko)
AU (1) AU5546999A (ko)
TW (1) TW454423B (ko)
WO (1) WO2000008862A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847405B2 (en) * 2001-09-14 2005-01-25 Sony Corporation Motion-adaptive de-interlacing method and system for digital televisions
KR100979811B1 (ko) * 2003-08-12 2010-09-02 삼성전자주식회사 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법
US7345708B2 (en) * 2003-12-23 2008-03-18 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
TWI369894B (en) 2004-10-21 2012-08-01 Realtek Semiconductor Corp Image processing circuit and method thereof
EP1931136B1 (en) * 2006-12-08 2016-04-20 Panasonic Intellectual Property Corporation of America Block-based line combination algorithm for de-interlacing
US7982800B2 (en) 2007-02-02 2011-07-19 Freescale Semiconductor, Inc. Video de-interlacer using motion residue compensation
TWI354489B (en) * 2007-08-08 2011-12-11 Via Tech Inc Device and method for determining color data of pi
US20110134211A1 (en) * 2009-12-08 2011-06-09 Darren Neuman Method and system for handling multiple 3-d video formats
US20120300838A1 (en) * 2011-05-26 2012-11-29 Sharp Laboratories Of America, Inc. Low resolution intra prediction
US10003398B2 (en) * 2016-01-19 2018-06-19 Ge Aviation Systems Llc Systems and methods to format and encode aviation data for improved transmittability

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE45258T1 (de) 1981-04-10 1989-08-15 Ampex Geraet zur raeumlichen transformation von bildern.
GB9214218D0 (en) * 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
US5473383A (en) 1994-06-15 1995-12-05 Eastman Kodak Company Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with three successive interlaced video fields
US5521644A (en) 1994-06-30 1996-05-28 Eastman Kodak Company Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US5745183A (en) * 1995-08-25 1998-04-28 Thomson Consumer Electronics, Inc. Image motion estimation system which derives candidate block from interpolated motion vectors
US5712687A (en) * 1996-04-25 1998-01-27 Tektronix, Inc. Chrominance resampling for color images
US5793435A (en) * 1996-06-25 1998-08-11 Tektronix, Inc. Deinterlacing of video using a variable coefficient spatio-temporal filter
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
US6118488A (en) * 1998-08-31 2000-09-12 Silicon Integrated Systems Corporation Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US6094232A (en) * 1998-11-25 2000-07-25 Kabushiki Kaisha Toshiba Method and system for interpolating a missing pixel using a motion vector
US6690427B2 (en) * 2001-01-29 2004-02-10 Ati International Srl Method and system for de-interlacing/re-interlacing video on a display device on a computer system during operation thereof
US6859235B2 (en) * 2001-05-14 2005-02-22 Webtv Networks Inc. Adaptively deinterlacing video on a per pixel basis

Also Published As

Publication number Publication date
EP1103144A1 (en) 2001-05-30
US6909752B2 (en) 2005-06-21
WO2000008862A1 (en) 2000-02-17
WO2000008862A9 (en) 2000-06-15
JP2002522985A (ja) 2002-07-23
US20020047930A1 (en) 2002-04-25
TW454423B (en) 2001-09-11
CN1311957A (zh) 2001-09-05
AU5546999A (en) 2000-02-28

Similar Documents

Publication Publication Date Title
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US7474355B2 (en) Chroma upsampling method and apparatus therefor
JP4145275B2 (ja) 動きベクトル検出・補償装置
US5793435A (en) Deinterlacing of video using a variable coefficient spatio-temporal filter
US6509930B1 (en) Circuit for scan conversion of picture signal using motion compensation
US20050249282A1 (en) Film-mode detection in video sequences
US8749703B2 (en) Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts
JP5177828B2 (ja) 画像レート変換方法及び画像レート変換装置
JP2952631B2 (ja) ビデオメモリ装置
KR20060047638A (ko) 필름 모드 판정 방법, 움직임 보상 화상 처리 방법, 필름모드 검출기 및 움직임 보상기
GB2450121A (en) Frame rate conversion using either interpolation or frame repetition
EP1596595A1 (en) Apparatus and method for image rendering
JPS62128683A (ja) 画像信号変換装置
KR20010072186A (ko) 비디오 스트림 내의 오리지날 픽셀로부터 필러 픽셀을발생시키는 회로 및 방법
US8345148B2 (en) Method and system for inverse telecine and scene change detection of progressive video
JP2000050212A (ja) 画像表示装置及び画像表示方法
JPH0851599A (ja) 画像情報変換装置
EP1418754A2 (en) Progressive conversion of interlaced video based on coded bitstream analysis
GB2277004A (en) Motion compensated video signal processing; motion/no motion flag
WO2004002148A1 (ja) 動きベクトル検出装置及び検出方法、並びに動き補正装置及び動き補正方法
JP3173508B2 (ja) 動画像復号化方法、及び、動画像復号化装置
JP2925046B2 (ja) 動画像の動き補償予測方法
JP3201344B2 (ja) インターレース動画像信号の動き補償予測方法及び符号化装置
EP1398960B1 (en) Method and device for displaying frozen pictures on video display device
JP3603393B2 (ja) テレビジョン回路

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid