KR101098630B1 - 색도 비디오 신호의 모션 적응적 업샘플링 - Google Patents

색도 비디오 신호의 모션 적응적 업샘플링 Download PDF

Info

Publication number
KR101098630B1
KR101098630B1 KR1020097013497A KR20097013497A KR101098630B1 KR 101098630 B1 KR101098630 B1 KR 101098630B1 KR 1020097013497 A KR1020097013497 A KR 1020097013497A KR 20097013497 A KR20097013497 A KR 20097013497A KR 101098630 B1 KR101098630 B1 KR 101098630B1
Authority
KR
South Korea
Prior art keywords
pixel
chromaticity
pixels
frame
video
Prior art date
Application number
KR1020097013497A
Other languages
English (en)
Other versions
KR20090085147A (ko
Inventor
상-희 이
이-젠 치우
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20090085147A publication Critical patent/KR20090085147A/ko
Application granted granted Critical
Publication of KR101098630B1 publication Critical patent/KR101098630B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Abstract

비디오 신호에 대한 업샘플링이 설명된다. 특히, 색도 픽셀은 모션 적응적 접근법들을 사용하여 휘도, 색도 신호에서 업샘플링될 수 있다. 일례에서, 동작들은 현재 프레임의 부존재 색도 픽셀을 선택하는 단계, 현재 프레임 근방의 픽셀들에 대한 픽셀 값들을 사용하여 부존재 색도 픽셀에 대한 공간적 후보 값을 형성하는 단계, 이전 및 후속 프레임의 근방의 픽셀들에 대한 픽셀 값들을 사용하여 부존재 색도 픽셀에 대한 시간적 후보 값을 형성하는 단계, 공간적 후보 값과 시간적 후보 값의 결합에 의해 부존재 색도 픽셀에 대한 값을 계산하는 단계, 및 계산된 부존재 색도 픽셀 값들을 포함하는 출력 비디오 프레임을 생성하는 단계를 포함한다.
업샘플링, 비디오, 픽셀, 색도

Description

색도 비디오 신호의 모션 적응적 업샘플링{MOTION ADAPTIVE UPSAMPLING OF CHROMA VIDEO SIGNALS}
본 발명은 비디오 프로세싱 분야에 관한 것으로, 특히 비디오 신호에서 더 높은 해상도 또는 프로그레시브 프레임을 생성하기 위해 색도 신호를 업샘플링하는 것에 관한 것이다.
비디오 신호는 휘도(luma: Y)와 두 개의 색도(chroma: Cb, Cr) 신호로 구성될 수 있다. 휘도 신호는 조도 또는 밝기를 나타내고, 색도 신호는 신호의 색 양상을 나타낸다. 이러한 신호들은 여러 상이한 샘플링 포맷 중 임의의 것이 될 수 있다. 4:4:4 YCbCr은 세 개의 비디오 성분인 Y, Cb, Cr이 동일한 샘플링 레이트를 갖는 포맷을 지정하기 위해 사용된다. 인간의 밝기 인식(휘도 측면)이 색 인식(색도 측면)보다 민감하기 때문에, 신호의 색도 영역은 종종 서브샘플링되어 해당 신호를 처리하고 저장하기 위해 필요한 대역폭의 양을 줄인다. 4:2:2는 다수의 전문적인 비디오 카메라 및 저장 장치에서 사용되는 대중적인 포맷으로서, 두 개의 색도 성분이 수평으로(horizontally) 휘도 성분의 1/2의 레이트로 샘플링되는 것을 가리킨다. 4:1:1은 수평으로 휘도 정보의 1/4의 레이트로 색도 정보를 서브샘플링하며, 전문적인 휴대용 비디오 뉴스 카메라에 일반적으로 사용된다.
4:2:0 YCbCr은 방송용 비디오, DVD 및 기타 대중적인 엔터테인먼트 장치에 일반적으로 사용되며, 대부분의 MPEG(Motion Picture Experts Group) 압축 포맷 뿐 아니라 다수의 기타 포맷에 의해서 지원된다. 4:2:0 비디오에서, Cb와 Cr 성분은 모두 수평 및 수직 모두에서 휘도의 1/2 레이트로 서브샘플링된다.
색도 업샘플링은 비디오를 예컨대 4:2:0에서 4:2:2로 변환하거나 보다 높은 해상도로 변환하기 위한 비디오 프로세싱 분야에서 사용될 수 있다. 이러한 작업은 특정 유형의 디스플레이를 수용하거나, 상이한 비디오 소스들을 하나의 단일 프로그램으로 결합하거나, 최종 디스플레이되는 비디오 형상(imagery)의 품질을 향상하기 위해 이루어질 수 있다. 4:2:0 비디오는 4:2:2 비디오의 수직 색도 해상도의 1/2을 갖기 때문에, 공간적 수직 필터링(spatial vertical filtering)이 일반적으로 사용되어 추가적인 색도 픽셀을 채운다. 원래 신호가 인터레이스되는 경우, 최종의 프로그레시브 프레임(progressive frames)을 얻기 위해 디인터레이스(deinterlacing)가 사용될 수 있다.
색도 업샘플링은, 480i나 1080i와 같은 인터레이스된 포맷에서 480p나 1080p와 같은 프로그레시브 포맷으로 비디오를 인터폴레이트하는(interpolate) 디인터레이서(deinterlacers)의 환경에서 어려워진다. 일반적인 색도 업샘플링 방법은 단순한 선형 필터링 기술들을 적용하여 동일 프레임의 공간적 이웃에서의 참조 픽셀로부터 단일 비디오 프레임의 결여된 픽셀을 인터폴레이트한다. 즉, 색도 픽셀의 값은 옆에 있거나 근처에 있는 픽셀의 값으로부터 도출된다. 일부 향상된 색도 업샘플링 기술들은 지역적인 콘텐츠 정보를 고려하여, 화상 품질을 향상하기 위해 지 역적 필터링에 사용된 가중치(weighting)를 적용시킨다. 그러나, 공간적인 이웃에 의존하는 이러한 공간 기술들은 종종 비디오 신호의 중요한 양상이 되는 시간적 정보(temporal information)를 무시한다.
본 발명은 첨부된 도면과 관련하여 이하의 설명을 통해 보다 충분히 이해될 수 있을 것이며, 유사한 도면 부호는 도면들에 걸쳐 대응하는 부분을 나타낸다.
도 1은 본 발명의 실시예에 따라 인터레이스된 비디오의 색도 수직 업샘플링에 대한 흐름도.
도 2는 본 발명의 실시예에 따라 계산될 수 있는 픽셀들을 도시하는 인터페이스된 4:2:0 비디오의 연속적인 필드에서의 휘도 및 색도 픽셀을 나타내는 도면.
도 3은 본 발명의 실시예에 따라 최선 에지 방향(best edge direction)을 사용하여 공간적 수직 업샘플링으로의 접근을 도시하기 위해 인터레이스된 비디오의 단일 프레임에서의 휘도 및 색도 픽셀들을 도시한 도면.
도 4는 본 발명의 실시예에 따라 이웃하는 휘도 픽셀들의 최선 에지 방향을 결정하는 접근을 도시하기 위해 인터레이스된 비디오의 단일 프레임에서의 휘도 및 색도 픽셀들을 도시한 도면.
도 5는 본 발명의 실시예에 따른 2개 스테이지 업샘플링 시스템을 도시한 도면.
도 6은 본 발명의 실시예들을 구현하기 적합한 컴퓨터 시스템을 도시한 도면.
소개
모션 적응적 기술들(motion adaptive techniques)은 비디오 신호의 시간적 정보(temporal information)를 이용하기 위해 사용될 수 있다. 시간적 정보는 화상 품질을 더 개선하기 위한 인터폴레이션 과정에서 사용될 수 있다. 공간 및 시간적 정보는 화상 영역에서의 모션 및 이동의 양을 평가하기 위해 모션 검출 과정으로의 제1 적용, 지역적 복잡도를 추산하기 위한 공간적 에지 검출의 제2 적용에 의해 사용될 수 있다. 이러한 두 특징은 색도 업샘플링의 정확한 인터폴레이션을 달성하기 위해 결합될 수 있다. 비디오 신호는 시각적으로 정적, 시각적으로 동적인 지역들로 분류될 수 있고, 인트라 필드(intra-field) 또는 인터 필드(inter-field)는 우수한 비디오 품질을 생산하기 위해 적응적으로 적용될 수 있다.
모션 정보는 우수한 품질의 화상을 달성하기 위해 다른 접근법에서 나타나는 색도 품질 손실을 제거하기 위해 사용될 수 있다. 휘도 에지 방향 정보가 보다 더 나은 결과를 위해 색도 업샘플링에 사용될 수도 있다.
본 명세서는 4:2:0 인터레이스된 비디오의 색도 필드를 4:2:2 프로그레시브 비디오 프레임의 색도 필드로 변환하는 예에 적용되나, 본 발명의 실시예들은 다른 색도 업샘플링 응용의 넓은 범위에서 사용될 수 있다. 4:2:0 비디오는 4:2:2 비디오의 수직 색도 해상도의 1/2을 갖기 때문에, 다수의 일반적인 방법은 공간적 수직 필터링을 수행하여 4:2:0 비디오로부터 4:2:2 비디오를 얻고, 그 다음으로 디인터레이싱을 적용하여 최종 프로그레시브 프레임을 얻는다. 그러나, 첫 단계의 공간 적 수직 필터링은 일반적으로 수직 해상도의 손실 뿐 아니라 페더링 구조(feathering artifacts)를 야기한다.
본 예시에서는, 2 단계 접근법(two step approach)가 사용될 수 있다. 두 스텝들은 모두 모션 적응적 수직 시간 및 공간으로 기술될 수 있다. 각 단계는 모션 검출 정보와 공간 정보를 함께 사용하여 결여된 픽셀들을 추정하기 위한 최적의 방법을 결정할 수 있다. 도 1에 두 스테이지가 제안된다. 블록(102)에서, 현재 비디오 프레임, 이전 비디오 프레임 및 다음 비디오 프레임에 대한 픽셀 데이터가 페치된다(fetch). 블록(104)에서, 업샘플링 프로세스의 제1 스테이지가 적용된다. 본원에서 기술되는 예시에서는, 이전 및 다음 프레임들을 고려하여, 현재 프레임의 픽셀들에 모션 적응적 수직 업샘플링이 적용된다. 제1 스테이지에서의 시간 모션 검출 정보는 화질 열화를 없앤다. 이 스테이지는 몇몇 비디오 압축 방식의 결여된 수직 색도 해상도를 제공한다. 예를 들면, 이 스테이지는 4:2:0 비디오를 4:2:2 비디오로 변환한다.
블록(106)에서, 제2 스테이지가 적용된다. 본 예시에서는, 원래의 데이터 및 현재 비디오 프레임에 대한 제1 스테이지로부터의 데이터를 이용하여 모션 적응적 수직 업샘플링이 적용된다. 제1 스테이지에서와 같이, 예컨대 휘도(luma) 에지 방향 정보가 사용되어 해당 색도 픽셀들을 생성할 수 있다. 제2 스테이지는 비디오를 인터레이스로부터 프로그레시브 스캔(progressive scan)으로 만드는데 필요한 픽셀들을 채운다. 마지막으로, 블록(108)에서 색도에 대하여 풀(full) 수직 해상도를 포함하는 프로그레시브 프레임이 생성된다.
도 2는 4:2:0 비디오 신호에 대한 샘플링 구조(X와 O의) 및 4:2:2로 변환하기 위하여 계산될 색도 픽셀들(사각형들 및 마름모들)을 나타낸다. 도 2에서, 시간은 왼쪽에서 오른쪽으로 진행하며, 각 행은 수평 래스터(raster) 라인을 나타낸다. 일반적으로, 수백의 라인이 있다. 도면을 간단하게 하기 위하여, 몇몇 라인만 나타내었다. 제1 또는 왼쪽 열은 이전 프레임의 맨 끝 필드에 해당한다. 제2 열은 현재 프레임의 맨 처음 필드(top field)에 해당한다. 제3 열은 현재 프레임의 맨 끝 필드(bottom field)에 해당하고, 제4 또는 오른쪽 열은 다음 프레임의 맨 처음 필드에 해당한다. 인터레이스된 비디오에서, 맨 처음 필드는 일반적으로 홀수의 래스터 라인들 또는 픽셀 행 1, 3, 5, 7 등에 해당하는 반면, 맨 끝 필드는 일반적으로 짝수의 래스터 라인들 또는 픽셀 행 2, 4, 6, 8 등에 해당한다. 그런데, 맨 끝 필드는 맨 처음 필드를 선행할 수 있고, 해당 라인들은 역전될 수 있다. 다른 유형의 비디오 인코딩 또는 압축에 대해서는 다른 유형의 인터레이싱이 사용될 수 있으며, 본 발명의 원리는 다른 타입에도 마찬가지로 적용될 수 있다.
도 2에 도시된 바와 같이, 도시된 부분에서 현재 프레임은 맨 처음과 맨 끝 필드에서 모두 4개의 휘도 픽셀 행을 갖는다. 이들은 도 2에서 X로 도시되어 있다. 이것은 이전(제1열) 및 다음(제4열) 프레임들에 대해서도 마찬가지로 적용된다. O으로 도시된 색도 픽셀들은, 한 행씩 걸러서에만 있다. 일반적인 4:2:0 YCrCb 인터레이스 방식에서, 맨 처음 필드는 제1 및 제3행(픽셀 D와 E)을 공급하고, 반면 맨 끝 필드는 제2 및 제4 행(픽셀 B와 C)을 공급한다.
간소화를 위하여, 본 설명은 픽셀 A, B, C, D, E, F 및 G에 집중될 것이다. 현재 필드가 맨 처음 필드로 가정된다. 즉, 픽셀 A, F 및 G의 생성이 기술된다. 그러나, 맨 끝 필드에서 대해서 동일한 접근법이 사용될 수 있다. 이어지는 예시들에서는, 맨 처음 필드가 먼저 고려된다. 동일한 접근법이 또한 맨 끝 필드에 적용될 수도 있다. 맨 끝 필드가 맨 처음 필드 대신 먼저 고려되거나, 특정 상황에 적절하도록 맨 처음과 맨 끝 필드들의 좀 더 복잡한 순번이 적용될 수 있다. 또한, 프로세스는 Cr 성분, Cb 성분 또는 양자 모두에 적용될 수 있다. 마찬가지로, 동일한 접근법이 다양한 다른 컬러 공간들에 대해서도 적용될 수 있다. 본 기술에서, 예컨대 용어 "라인 A"는 픽셀 A를 포함하는 래스터 라인을 지칭하는데 사용된다.
제1 스테이지
모션 적응적 수직 업샘플링이 사용되어 도 2의 픽셀 A를 계산할 수 있다. 이는 비디오의 색도 부분의 수직 해상도를 비디오의 휘도 부분의 것과 동일하게 해 줄 것이다. 예시된 예에서, 비디오 신호의 현재 프레임에서 픽셀 A에 대한 값은 없으나, 이전 필드에서 픽셀 A(동일한 위치의 다른 픽셀), 픽셀 B 및 다음 필드에서, 픽셀 C에 대한 값은 있다. 또한, 현재 프레임에서 공간적으로 인접한 라인 D와 E에 픽셀들이 있다. 픽셀 A의 위 라인에 픽셀 D가 있고, 픽셀 E의 아래 라인에 픽셀 E가 있다(라인 D와 E 각각). 이들 공간적, 시간적으로 인접한 픽셀들 및 라인들이 사용되어 픽셀 A를 생성할 수 있다. 픽셀 A를 결정함에 있어서 이들 값에 적용될 가중치들은 비디오의 모션 양에 의해 결정될 수 있다.
블록(104)에 의해 지시되는 도 1의 두 업샘플링 동작에서, 픽셀 A에 대한 두 개의 후보 값이 형성될 수 있다. 시간적 후보 또는 시간적 예측치(predictor)는 시간적 인자들에 기초하여 생성되며, At로 표시된다. 공간적 후보 또는 공간적 예측치는 As로 표시된다. 시간 영역으로부터의 업샘플링 후보로서 표시되는 At는, 시간적으로 또는 시간 인접한 픽셀 B와 C로부터 계산될 수 있다. At를 계산하기 위한 적어도 3개의 가능한 옵션이 있다:
1) At= 픽셀 B와 C의 평균
2) At= B
3) At= C
As는 공간적으로 인접한 픽셀 D와 E에 기초하여 다음 옵션들 중 적어도 하나에 의해 계산될 수 있다:
4) As= 픽셀 D와 E의 평균(도 2 참조)
5) As= 픽셀 Ds와 Es의 평균(도 3 참조)
픽셀 D와 E는 현재 프레임의 맨 처음 필드에서 각각 픽셀 A의 바로 위 및 바로 아래의 픽셀로 도 2에 도시되어 있다. 이들은 픽셀 A에서 동일한 색도 성분에 대한 색도 픽셀들, 예컨대 Cr 또는 Cb 중 어느 하나에 해당한다. 픽셀 Ds와 Es는 도 3에 도시되어 있으며, 에지 방향 결정들(edge direction determinations)에 기초한다. 특정 응용에 따라 각종 상이한 에지 방향 알고리듬들 중 임의의 것이 사 용될 수 있다. 에지 검출 결과에 기초하여 수학식 4 또는 5가 선택될 수 있다.
도 3은 Ds, D1 및 D2 간의 그리고 Es, E1 및 E2 간의 관계를 나타낸다. 다이어그램은 수평 x 및 수직 y 축들에서 픽셀들의 배열을 나타내는 현재 프레임의 맨 처음 필드의 일부에 대한 공간적 다이어그램이다. 도 3 다이어그램은 맨 처음과 맨 끝 필드의 조합인 도 2의 중간 두 열들에 해당한다. 다이어그램의 3개 행들을 따라 3개의 래스터 라인들이 있다. 라인 D는 맨 처음 라인이고, 픽셀 As가 위치될 곳 바로 위의 픽셀 D를 포함한다. 픽셀 D1과 D2는 픽셀 D의 오른쪽으로 다음 2개의 색도 픽셀들이다. 라인 A는 라인 D의 아래 라인이며, 계산된 픽셀 As가 삽입될 라인이다. 라인 E는 맨 끝 라인이고, 픽셀 As가 위치될 곳 바로 아래의 픽셀 E를 포함한다. 픽셀 E1과 E2는 픽셀 E의 왼쪽으로 다음 2개의 색도 픽셀들이다. 도 3의 프레임에서, 에지 방향들이 먼저 결정되고, 최적 에지 방향이 선택된다. 주어진 최적 에지 방향에서, Ds는 각각 D1과 D2인 왼쪽과 오른쪽 색도 픽셀들을 이용하여 쌍일차(bilinear) 필터링에 의해 얻어질 수 있다. 마찬가지로, Es는 픽셀들 E1과 E2의 쌍일차 필터링에 의해 얻어질 수 있다. 최적 에지 방향은 이 예시에서, Ds와 Es간의 방향에 의해 결정된다. 도 3은 이웃 색도 라인 D와 E를 이용하는 최적 에지 방향 결정의 일 예를 설명하려고 제공되었다. 그러나, 다양한 다른 에지 방향 결정 기법들 중 임의의 것이 대신 사용될 수 있다.
최적 에지 결정을 위한 두 번째 접근법은 도 4에 도시되어 있다. 색도 라인 들 대신에, 이 접근법은 휘도(Y) 픽셀선의 최적 에지 방향들을 사용한다. 4:2:0을 포함하는 많은 비디오 포맷들에서, 계산되어야 할 픽셀 A와 동일한 위치에 있는 픽셀들을 포함하여, 더 많은 휘도 픽셀들이 있다. 또한, 휘도 픽셀들은 수직으로 가장 가까운 두 개의 휘도 픽셀을 디인터레이스하기 위하여 이미 계산되었을 수 있다. 도 4에는 D, A, 및 E 행도 도시되어 있다. 색도 픽셀 D는 가장 가까운 휘도 픽셀 I를 가진다. 색도 픽셀 A는 가장 가까운 휘도 픽셀 H를 가지며, 색도 픽셀 E는 가장 가까운 휘도 픽셀 J를 가진다.
도 4에서, 두 개의 수직상 가장 가까운 휘도 픽셀은 아래에 설명되는 도 4의 픽셀 L1 및 L2로 도시된다. 이 픽셀들은 일반적으로 비디오를 디인터레이스하기 위해서 다른 관련 없는 프로세스에서 이미 계산된다. 그러므로, 이러한 경우, L2는 픽셀 A과 가장 가까운 위치에 있고, L1은 바로 인접하는 행에 있다. 두 픽셀의 근접성은 보다 정확한 에지 방향 결정을 제공한다. 다양한 다른 방법들 중 dlka의의 하나가 이웃하는 두 개의 휘도 라인을 사용하여 최적 에지 방향을 계산하는데 사용될 수 있다. 다른 방법으로서, 단일 휘도 픽셀(예를 들어, 가장 가까운 휘도 픽셀 L1)의 최적 각도(best angle)가 사용될 수 있다. 이것은 계산이 보다 간단하다. 최적 각도 방향을 결정하는데 다른 접근법들이 사용될 수도 있다.
휘도 픽셀들에 대한 하나, 둘 또는 그 이상의 최적 방향들이 주어지면, 색도 픽셀들을 위한 최적 방향을 도출할 수 있다. 휘도 방향으로부터 색도 방향을 도출하기 위한 하나의 접근법으로서, L1의 방향과 L2의 방향과의 차이를 분석하는 것이 있다. 두 방향들 간의 차이가 특정 임계치보다 크면, 최적 방향을 상술된 수학식 5에 제시된 바와 같이 두 방향들의 평균치로 선택할 수 있다. 그렇지 않으면, As는 위 수학식 4와 같이 획득될 수 있다(D 및 E의 평균). 반면, 두 방향들 간의 차이가 특정 임계치보다 작으면, 최적 방향을 90도(수직 방향)에 가장 가까운 방향(즉, Ds 또는 Es 중 하나)으로 선택할 수 있다. 그렇지 않으면, As는 위 수학식 4에 나와 있는 바와 같이 획득될 수 있다.
최종적으로, 모션 적응적 수직 업샘플링 스테이지에 있어서, 출력 픽셀 A는 At 및 As의 가중 조합에 의해 계산될 수 있다. 이것은, 예를 들어 다음 공식을 사용하여 수행될 수 있다.
6) (α>1)인 경우, 픽셀 A=As
7) (α<0)인 경우, 픽셀 A=At
8) (α>0 및 α<1)인 경우, 픽셀 A=αAs+(1-α)At
여기서, α는 가장 가까운 휘도 픽셀 또는 현 색도 픽셀의 모션 검출값(MD)에 의해 결정되는 믹스 인자(mix factor)이다. α는 예를 들어 다름 관계식들 중 하나에 의해 결정될 수 있다.
10) α=c1*MD+c2, 여기서, c1 및 c2는 상수이다. 이 경우, α는 MD와 선형관계에 있다.
11) MD>c3이면, α=1이고, 그렇지 않으면 α=0, 여기서, c3은 상수이다. 이 경우, α는 스텝 함수이다. 믹스 인자는 좋은 결과를 제공하며, 다른 비디오 처리 동작들을 위해 미리 결정되었을 수 있는 MD 값들에 기초하여 빠르게 결정될 수 있다. 그러나, 다른 인자들은 수학식 8의 조합을 가중시키는데 사용될 수 있다. 다 른 그리고 보다 복잡한 스템 함수들이 사용될 수도 있다. 다양한 다른 방법들 중 임의의 하나가 모션 검출을 위해 사용될 수 있다. 믹스 인자는 모션 검출과는 다른 비디오의 속성들에 기초하여 결정될 수도 있다.
픽셀 D 및 E의 평균을 사용하여 At를 생성하고, 픽셀 D 및 E의 평균을 사용하여 As를 생성함으로써, 합리적으로 적은 계산 복잡도로 매우 뛰어난 품질을 획득할 수 있다.
두 번째 스테이지
첫 번째 스테이지의 모션 적응적 수직 업샘플링이 완료되면, 현 색도 필드의 수직 해상도는 휘도 필드들의 것과 동일하게 된다. 이 결과는 풀 해상도 인터레이스된 스캔 비디오 신호(full resolution interlaced scan video signal)(예를 들어, 480i, 540i, 1080i)를 출력하는데 사용될 수 있다. 프로그레시브 스캔 비디오가 선호되는 경우, 다음 스테이지에서는 풀 수직 해상도를 갖는 최종 색도 프로그레시브 프레임(final chroma progressive frame)을 생성한다. 이것은 이웃하는 라인 D 및 A가 주어졌다는 가정하에 도 2에 도시된 픽셀 F 및 G을 계산하는 것이다.
픽셀 F는 다음 방법들 중 어느 하나에 의해 계산될 수 있다.
a) 픽셀 F는 픽셀 D 및 A의 평균이다.
b) 픽셀 F는 도 3 또는 4에 도시된 바와 같이 최적 에지 방향을 사용하여 계산된다.
c) 픽셀 F는 수학식 6, 7, 8로 첫 번째 스테이지에서 한 것과 같이 블렌딩 동작을 사용하여 계산된다. 이 경우, 시간적 예측치(temporal predictor)는 수학식 1, 2 및 3에서와 같이 결정될 수 있고, 블렌딩 동작의 공간적 예측치(spatial predictor)는 수학식 4 및 5에서와 같이 결정될 수 있다. 모션 검출값들은 F에 공간적으로 가장 가까운 휘도 픽셀을 사용하여 결정될 수 있다.
최적 에지 방향은 다양한 상이한 방법으로 결정될 수 있다. 최적 에지 방향을 계산하는 한 가지 방법은 색도 라인 D 및 A를 사용하는 것이다. 이웃하는 두 개의 라인을 사용하여 최적 에지 방향을 계산하는데 다양한 상이한 프로세스들을 사용할 수 있다.
이와 다르게 최적 에지 방향은 도 4의 픽셀 L1인, 디인터페이스될 수직상 가장 가까운 하나의 휘도 픽셀에 대해 이미 계산된 휘도 최적 에지 방향을 사용하여 결정될 수 있다. 위와 같이, 두 개의 이웃하는 것을 사용하여 최적 에지 방향을 결정하는데 다향한 상이한 접근법들 중 임의의 어느 하나가 사용될 수 있다. 인터폴레이트된 F를 생성하기 위해 휘도 예측으로부터 에지 방향 인터폴레이션(edge directed interpolation)을 사용하는 것은 합리적으로 적은 복잡도로 뛰어난 품질을 얻을 수 있는 좋은 타협점(trade-off option)을 제공한다.
픽셀 G를 위해서는, 픽셀 D 및 A 대신에 픽셀 E 및 A에 기초하여 동일한 방접근법이 사용될 수 있다. 픽셀 A, F 및 G는 위에 언급된 n번째 현 맨 앞 프레임(current top frame)의 영역 내의 모든 결여된 색도 픽셀들을 제공한다. 모든 결여된 색도 픽셀들을 제공하기 위해 유사한 동작들이 전체 프레임에 걸쳐서 수행될 수 있다. 다음으로 이들은 결합되어 원래의 압축된 인터레이스된 비디오로부터 풀 프로그레시브 스캔 프레임을 생성할 수 있다.
4:2:0 비디오, 4:2:2 비디오의 예와 임의의 인터레이스된 비디오에서, 결여된 휘도 픽셀들도 있다. 이들은 이러한 또는 다른 접근법들을 사용하여 추정될 수 있다. 다음으로, 추정된 휘도 픽셀들은 그리고 또한 풀 해상도 비디오 프레임을 생성하는데 사용될 수 있다. 최종 비디오 신호를 출력하기 전에 다양한 다른 동작들이 비디오 신호에 수행될 수 있다. 이러한 동작들은 명암대비 조정, 모션 효과 보정, 안티 앨리어싱, 종횡비 조정, 프레임률 보상, 자막(caption) 및 제목(title) 부가, 등을 포함할 수 있다.
업샘플링 시스템
도 5는 본 발명의 일 실시예에 따른 업샘플링 시스템을 나타낸다. 도 5의 예에는, 2 단계 업샘플링 시스템의 한 단계 또는 양 단계 모두에 입력을 제공하여 비디오 싱크(video sink)에 대한 서로 다른 두 개의 비디오 출력 중 하나를 생성하는 압축된 비디오 소스(151)가 있다. 한 싱크는 인터레이스된 비디오 싱크(175)이다. 나머지 하나는 프로그레시브 스캔 싱크(175)이다. 어느 하나의 싱크는 기록 또는 저장 장치, 방송국과 같은 전송 시스템, 안테나 또는 인터넷 서버이거나, 싱크는 편집 시스템의 일부일 수 있다. 어느 하나의 싱크는 디스플레이로서 사용될 수도 있다. 인터레이스된 비디오는 인광체(phosphor) 기반 비디오 디스플레이 상에서의 디스플레이 및 방송에 빈번하게 사용된다. 프로그레시브 스캔 비디오는 액정, 발광 다이오드(light emitting diode) 및 플라즈마 디스플레이 뿐만 아니라 몇몇 디스크 포맷을 편집하는데 빈번하게 사용된다.
도 5에 나타난 바와 같이, 압축된 비디오 소스는 프레임 페치(frame fetch; 153)에 연결된다. 프레임 페치는 업샘플링 시스템에 의해 사용되도록 소스로부터 비디오를 획득한다. 도 2는 프레임 페치에 의해 캡처될 수 있는 비디오 유형의 일부의 예를 나타낸다. 프레임 페치는 업샘플링 단계에 응답하여 동작할 수 있고 획득된 비디오가 요구에 따라 업샘플링 스테이지에 제공될 수 있게 하는 버퍼를 포함할 수 있다.
프레임 페치는 제1 스테이지(155)에서 업샘플링될 픽셀 및 업샘플링에 사용될 픽셀을 선택하는 픽셀 선택기(159)에 비디오 데이터를 공급한다. 픽셀 선택기는 시간적 후보(161) 및 공간적 후보(163)에 연결된다. 시간적 후보는 시간적 후보 픽셀, 예컨대, At를 형성하고(develope), 공간적 후보는 공간적 픽셀 후보, 예컨대, As를 형성한다. 제1 스테이지는 또한 쌍일차 필터(167)에 연결되어 공간적 후보(163)에 결과를 제공하는 에지 방향(165)을 갖는다. 시간적 후보 및 공간적 후보는 결합기(169)에 입력으로 제공된다. 결합기는 또한 믹스 인자와 같은 모션 검출(171)로부터 입력을 수신한다. 결합기는 도 2, 3 및 4의 맥락으로 기술된 바와 같은 이들 입력 모두를 사용하여 원래 비디오 소스(151)에 포함되지 않은 픽셀을 제공한다. 픽셀들은 비디오 출력(173)에 제공된다.
상기에 언급된 바와 같이, 비디오 출력(173)으로부터의 결과가, 예컨대, 인터레이스된 비디오 신호로서 사용될 수 있다. 다른 방법으로, 이러한 결과는 제2 스테이지(157)로의 입력일 수 있다. 제2 스테이지는 제1 스테이지와 유사한 구조 를 가질 수 있다. 이 구조는 도면을 간소화시키기 위하여 도시되지 않았다. 제2 스테이지의 대응 비디오 출력(미도시)는 그 후 적절한 비디오 싱크(177)에 프로그레시브 스캔 신호를 제공할 수 있다.
이들 두 스테이지는 도 2, 3 및 4의 맥락에서 상기에 기술된 버전에 부합하는 구성을 나타내도록 도시되어 있다. 원하는 출력 포맷에 따라 또한 입력 포맷에 따라 더 많거나 적은 스테이지가 사용될 수 있다. 예를 들어, 4:1:1 비디오가 입력으로서 사용되는 경우에는, 더 많은 스테이지가 바람직할 수 있다. 반면에, 만약 인터레이스된 4:4:4 비디오가 공급되는 경우에는, 오직 하나의 스테이지만이 바람직할 수 있다. 유사하게, 4:2:2 비디오가 입력이고 출력으로 인터레이스된 비디오가 필요한 경우, 오직 하나의 스테이지가 바람직할 수도 있다.
도 5의 장치는, ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), 컨트롤러 또는 기타 하드웨어 장치와 같은 한 그룹의 연관된 하드웨어 장치 내에 구현될 수 있다. 대안적으로, 도 5의 블록들은 단일 집적 회로의 서로 다른 영역에 대응할 수 있다. 예컨대, 비디오가 실시간으로 제공되어야 하는, 많은 적용예에 대해서는 특정 전용 하드웨어가 바람직할 수 있다. 또 다른 대안으로서, 블록은 범용 머신에 의해 실행되는 소프트웨어 모듈로서 구현될 수 있다.
예시적인 하드웨어
본 발명의 특징이 구현될 수 있는 시스템의 예를 나타내는 컴퓨터 시스템(200)이 도 6에 도시된다. 색도 업샘플링은 이 장치상에서 수행될 수 있고 결과 비디오 또한 디스플레이될 수 있다. 컴퓨터 시스템이 도시되어 있지만, 비디오 편집기, 비디오 플레이백, 디스크 플레이어, 게임 콘솔, 셋탑박스 및 기타 장치가 유사한 형태를 취할 수도 있다. 이 하드웨어 구성은 단지 예로서 도시된 것이고 다양한 기타 구성이 대신 사용될 수 있다. 컴퓨터 시스템(200)은 정보를 전달하기 위한 버스 또는 기타 통신 도관(201), 및 정보를 처리하기 위한, 버스(201)에 연결된 DSP(digital signal processor; 202), 마이크로프로세서 또는 컨트롤러와 같은 처리 수단을 포함한다. 도 5의 블록은 이 장치 또는 연관된 지원 칩(supporting chip; 미도시) 내에 구현될 수 있다. 지원 칩은, 예컨대, 전용 칩, 컨트롤러의 전용 부분 또는 입력/출력 허브일 수 있다.
컴퓨터 시스템(200)은, 정보 및 프로세스(202)에 의해 실행될 명령어를 저장하기 위하여 버스(201)에 연결되는, 랜덤 액세스 메모리(random access memory: RAM) 또는 기타 동적 데이터 저장 장치와 같은 주 메모리(204)를 더 포함한다. 주 메모리는 프로세서에 의한 명령어의 실행 동안 임시 변수 또는 기타 중간 정보를 저장하는데 사용될 수도 있다. 주 메모리는 도시된 바와 같이 별도의 장치로 구현될 수 있거나 또는 단일 칩으로 프로세서에 일체화될 수 있다.
컴퓨터 시스템은, 정적 정보 및 프로세서를 위한 명령어를 저장하기 위하여 버스에 연결되는, ROM(read only memory) 또는 기타 정적 데이터 저장 장치와 같은 비휘발성 메모리(206)를 포함할 수도 있다. 정보 및 명령어를 저장하기 위하여 자기 디스크 또는 광 디스크와 같은 대용량 메모리(207) 및 그에 대응되는 드라이브가 컴퓨터 시스템의 버스에 연결될 수도 있다. NVRAM 및 대용량 메모리는 단일 칩 으로 프로세서에 일체화될 수도 있다.
컴퓨터 시스템은 사용자에게 정보를 디스플레이하기 위하여 버스를 통하여 예컨대, 액정 표시 장치(liquid crystal display: LCD)와 같은 디스플레이 장치 또는 모니터(221)에 연결될 수 있다. 설치 상태에 대한 비디오, 그래픽 또는 문자적 표시 외에, 동작 상태 및 기타 정보가 디스플레이 장치상에서 사용자에게 제공될 수 있다. 통상적으로, 프로세서에 정보 및 명령 선택을 전달하기 위하여 영숫자, 펑션 및 기타 키를 갖춘 키보드, 또는 리모콘과 같은 영숫자 입력 장치(222)가 버스에 연결될 수 있다. 프로세서에 정보 및 명령 선택을 전달하고 디스플레이(221) 상에 커서 이동을 제어하기 위하여 마우스, 트랙 볼 또는 커서 방향 키와 같은 커서 컨트롤 입력 장치(223)가 버스에 연결될 수 있다.
통신 장치(225)가 또한 버스(201)에 연결된다. 통신 장치(225)는 모뎀, 네트워크 인터페이스 카드 또는, 예컨대, 근거리 또는 광역 네트워크(LAN 또는 WAN)를 지원하는 통신 링크를 제공하기 위한 목적으로 이더넷, 토큰 링 또는 기타 유형의 물리적 부속 장치에 연결되는데 사용되는 것들과 같은 다른 공지의 인터페이스 장치를 포함할 수 있다. 이러한 방식으로, 컴퓨터 시스템은, 예컨대, 인트라넷 또는 인터넷을 포함하는 종래의 네트워크 기반구조를 통하여 다수의 클라이언트 또는 서버에 또한 연결될 수 있다. USB(Universal Serial Bus), 파이어와이어(아이링크(i.Link) 또는 IEEE1394) 또는 다양한 무선 인터페이스와 같은 다른 유형의 버스를 위하여 추가적인 또는 대안적인 통신 인터페이스가 제공될 수 있다.
비디오 인터페이스(229)가 업샘플링될 비디오를 제공하기 위한 버스에 더 연 결된다. 이 인터페이스는 비디오가 디스플레이(221)에 제공될 수 있도록 입력 전용이거나, 비디오가 편집, 전송 또는 저장 장비에 제공될 수 있도록 양방향 인터페이스일 수 있다. 대안적으로, 업샘플링된 비디오는 대용량 저장 장치에 저장될 수 있다. 편집 및 기타 동작은 적용예에 따라 대용량 저장 장치 및 프로세서를 사용하여 업샘플링된 비디오 상에서 수행될 수 있다.
일부 실시예에 대해서는, 이상에서 설명한 예시보다 더 적거나, 더 많은 구성을 구비한 컴퓨터 시스템이 바람직할 수 있다. 따라서, 예시적인 컴퓨터 시스템(200)의 구성은 가격 제한, 성능 요구 사항, 기술 향상 또는 다른 환경 요소와 같은 다양한 요소들에 따라 구현예 별로 달라질 것이다. 부착된 장치의 특정한 특성은 장치의 의도된 용도에 맞추어 적응될 수 있다. 장치, 버스 또는 상호 결속 장치 중의 하나 이상이 본 시스템으로부터 제거될 수 있으며, 또한 다른 것이 부가될 수 있다. 예컨대, 비디오는 PCI 버스, AGP 버스 상에 제공되거나, PCI 익스프레스, 다른 버스를 통해 제공되거나, 처리 코어 부분(processing core) 또는 호스트 제어기의 집적 그래픽 부분(integrated graphic portion)을 통해 제공될 수 있다.
다른 고려 사항
발명의 실시예들은 인터레이스된 4:2:0 YCbCr 스캔 비디오의 색도 (Cr, Cb) 부분을 4:2:2 YCbCr 프로그레시브 스캔 비디오로 변환하는 것과 관련하여 설명되어 있으나, 본 명세서에서 서술된 접근법 및 기술들은 상이한 비디오 해상도 및 비디오 변환 처리의 다양한 경우에 적용될 수 있다. 본 명세서의 접근법 및 기술들은 점대점 상호접속 버스(point-to-point interconnet bus) 상의 통신이 가능한 넓은 범위의 다른 장치들에도 적용될 수 있다. 부가적으로, 본 발명의 실시예들은 컴퓨터 장치뿐만 아니라, 비디오 및 전문가 또는 소비자 장비에 적용될 수 있다.
이상의 설명에서는, 설명의 목적으로, 본 발명의 완벽한 이해를 제공하기 위해 수많은 구체적인 세부사항들이 제시되었다. 그러나, 이러한 구체적인 세부사항들의 일부를 제외하고도 본 발명이 실시될 수 있음이 당업자에게는 명확할 것이다. 다른 예로서, 공지의 구조 및 장치가 블록도 형태로 도시되어 있다.
본 발명은 다양한 단계들을 포함할 수 있다. 본 발명의 단계들은 도면에 도시된 것과 같은 하드웨어 구성요소드들에 의해 수행되거나, 명령어들로 프로그램된 논리 회로, 또는 범용 또는 전용 프로세서가 단계들을 수행하도록 하는데 사용되는 머신 수행 가능 명령어 형태로 구체화될 수 있다. 대안적으로, 단계들은 하드웨어 및 소프트웨어의 조합으로 수행될 수 있다.
본 발명은, 에이전트 또는 컴퓨터 시스템이 본 발명에 따른 프로세스를 수행하도록 프로그램하는데 사용될 수 있는 명령어들을 저장하는 머신 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 제공될 수 있다. 머신 판독 가능한 매체는 플로피 디스켓, 광 디스크, CD-ROM, 광자기 디스크, ROM, RAM, EPROM, EEPROM, 자기 또는 광학 카드, 플래시 메모리 또는 전자 명령어를 저장하는데 적당한 머신 판독 가능한 매체를 포함할 수 있으며, 이에 제한되지 않는다. 더욱이, 본 발명은 컴퓨터 프로그램 제품으로 다운로드될 수 있는데, 프로그램은 통신 링크(예컨대, 모뎀 또는 네트워크 접속)를 통해 반송파 또는 다른 전송 매체에 구체화된 데이터 신호로, 원격 컴퓨터로부터 요청 컴퓨터로 전송될 수 있다.
많은 방법 및 장치들이 가장 기본적인 형태로 기술되어 있지만, 본 발명의 기본적인 범위를 벗어나지 않은 채로 단계들이 방법에 추가 또는 삭제되거나, 구성요소들이 기술된 장치에 추가 또는 제거될 수 있다. 많은 추가적인 변경 및 적응이 가해질 수 있음이 당업자에게 명확할 것이다. 특정 실시예들은 발명을 제한하기 위한 것이라 예시하기 위해 제공된 것이다. 본 발명의 범위는 이상에서 제공된 특정 실시예들이 아니라, 이하의 청구범위에 의해서만 결정된다.

Claims (19)

  1. 비디오 신호를 업샘플링하고 디인터레이싱(deinterlacing)하기 위한 방법으로서,
    현재 비디오 프레임, 이전 비디오 프레임 및 후속 비디오 프레임에 대한 데이터 가져오는(fetching) 단계 - 각 프레임은 인터레이스된(interlaced) 비디오 신호로부터 오며, 각 프레임은 상기 프레임을 형성하기 위해 픽셀들의 열들(rows)과 행들(columns)을 갖고, 상기 가져온 데이터는 각 프레임에 대한 색도(chroma) 픽셀들에 대한 값들을 포함하고, 상기 색도 픽셀들 중 적어도 일부는 상기 현재 프레임의 상기 열들 및 행들의 적어도 일부에 존재하지 않음 - ;
    상기 현재 프레임의 제1 부존재(absent) 색도 픽셀을 선택하는 단계;
    상기 현재 프레임에서 근방의 픽셀들에 대한 픽셀 값들을 이용하여 상기 제1 부존재 색도 픽셀에 대한 공간적 후보 값(spatial candidate value)을 형성하는 단계;
    상기 이전 프레임들 및 상기 후속 프레임들에서 근방의 픽셀들에 대한 픽셀 값들을 이용하여 상기 제1 부존재 색도 픽셀에 대한 시간적 후보 값(temporal candidate value)을 형성하는 단계;
    상기 공간적 후보 값과 상기 시간적 후보 값을 결합하여 상기 제1 부존재 색도 픽셀에 대한 값을 계산함으로써 상기 비디오 신호의 색도를 업샘플링하는 단계;
    상기 현재 프레임의 제2 부존재 색도 픽셀을 선택함으로써 상기 비디오 신호의 색도를 디인터레이싱하고, 상기 제1 부존재 색도 픽셀에 대한 계산 값을 부분적으로 이용하여 상기 제2 부존재 색도 픽셀에 대한 공간적 후보 값을 형성하고, 상기 형성된 제2 부존재 색도 픽셀에 대한 공간적 후보 값에 부분적으로 기초하여 상기 제2 부존재 색도 픽셀에 대한 값을 계산하는 단계;
    상기 계산된 제1 및 제2 부존재 색도 픽셀 값들을 포함하는 출력 업샘플링된 프로그레시브(progressive) 비디오 프레임을 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    공간적 후보 값을 형성하는 상기 단계는, 상기 부존재 픽셀에 수직으로 가장 가까운 상기 색도 픽셀들에 대한 값들을 평균내는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    공간적 후보 값을 형성하는 상기 단계는, 상기 현재 프레임에서 근방의 픽셀들에 대한 에지 방향(edge direction)을 결정하는 단계, 쌍일차 필터링(bilinear filtering)을 적용하여 중간 픽셀 값들을 획득하는 단계 및 상기 중간 픽셀 값들을 결합하는 단계를 포함하는 방법.
  4. 제3항에 있어서,
    상기 프레임들은 휘도 픽셀들(luma pixels)을 갖고,
    에지 방향을 결정하는 상기 단계는 근방의 휘도 픽셀들에 대한 에지 방향들을 결정하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    시간적 후보 값을 형성하는 상기 단계는, 상기 이전 및 후속 프레임들 각각의 상기 부존재 픽셀과 동일한 위치에 있는 상기 색도 픽셀들에 대한 값들을 평균 내는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    공간적 및 시간적 후보 값들을 결합하는 상기 단계는, 모션(motion)의 양을 평가하고, 상기 평가에 기초하여 상기 공간적 및 시간적 후보 값들에 가중치를 주는 단계를 포함하는 방법.
  7. 제6항에 있어서,
    상기 모션의 양을 평가하는 상기 단계는, 모션 검출(motion detection)을 적용하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    추가적인 부존재 색도 픽셀들에 대한 값들을 계산하는 단계를 더 포함하고,
    출력 비디오 프레임을 생성하는 상기 단계는, 상기 계산된 값들을 모두 포함시키는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    가져오는 상기 단계는, 수직으로 언더샘플링된(undersampled) 색도 성분을 갖는 합성 비디오 신호로부터 상기 현재, 이전 및 후속 비디오 프레임을 가져오는 단계를 더 포함하는 방법.
  10. 삭제
  11. 삭제
  12. 컴퓨터에 의해 동작되었을 때 상기 컴퓨터가 동작들을 실행하도록 하는 명령어를 포함하는 컴퓨터 판독 가능 매체로서, 상기 동작들은,
    현재 비디오 프레임, 이전 비디오 프레임 및 후속 비디오 프레임에 대한 데이터 가져오는 단계 - 각 프레임은 인터레이스된 비디오 신호로부터 오며, 각 프레임은 상기 프레임을 형성하기 위해 픽셀들의 열들과 행들을 갖고, 상기 가져온 데이터는 각 프레임에 대한 색도 픽셀들에 대한 값들을 포함하고, 상기 색도 픽셀들 중 적어도 일부는 상기 현재 프레임의 상기 열들 및 행들의 적어도 일부에 존재하지 않음 - ;
    상기 현재 프레임의 제1 부존재 색도 픽셀을 선택하는 단계;
    상기 현재 프레임에서 근방의 픽셀들에 대한 픽셀 값들을 이용하여 상기 제1 부존재 색도 픽셀에 대한 공간적 후보 값을 형성하는 단계;
    상기 이전 프레임들 및 상기 후속 프레임들에서 근방의 픽셀들에 대한 픽셀 값들을 이용하여 상기 제1 부존재 색도 픽셀에 대한 시간적 후보 값을 형성하는 단계;
    상기 공간적 후보 값과 상기 시간적 후보 값을 결합하여 상기 제1 부존재 색도 픽셀에 대한 값을 계산함으로써 상기 비디오 신호의 색도를 업샘플링하는 단계;
    상기 현재 프레임의 제2 부존재 색도 픽셀을 선택함으로써 상기 비디오 신호의 색도를 디인터레이싱하고, 상기 제1 부존재 색도 픽셀에 대한 계산 값을 부분적으로 이용하여 상기 제2 부존재 색도 픽셀에 대한 공간적인 후보 값을 형성하고, 상기 형성된 제2 부존재 색도 픽셀에 대한 공간적 후보 값에 부분적으로 기초하여 상기 제2 부존재 색도 픽셀에 대한 값을 계산하는 단계;
    상기 계산된 제1 및 제2 부존재 색도 픽셀 값을 포함하는 출력 업샘플링된 프로그래시브 비디오 프레임을 생성하는 단계
    를 포함하는 컴퓨터 판독 가능 매체.
  13. 제12항에 있어서,
    공간적 후보 값을 형성하는 상기 단계는, 상기 부존재 픽셀에 수직으로 가장 가까운 상기 색도 픽셀들에 대한 값들을 평균내는 단계를 포함하는 컴퓨터 판독 가능 매체.
  14. 제13항에 있어서,
    공간적 후보 값을 형성하는 상기 단계는, 상기 현재 프레임에서 근방의 픽셀들에 대한 에지 방향(edge direction)을 결정하는 단계, 쌍일차 필터링(bilinear filtering)을 적용하여 중간 픽셀 값들을 획득하는 단계 및 상기 중간 픽셀 값들을 결합하는 단계를 포함하는 컴퓨터 판독 가능 매체.
  15. 제14항에 있어서,
    상기 프레임들은 휘도 픽셀들을 갖고,
    에지 방향을 결정하는 상기 단계는 근방의 휘도 픽셀들에 대한 에지 방향들을 결정하는 단계를 포함하는 컴퓨터 판독 가능 매체.
  16. 비디오 신호를 업샘플링하고 디인터레이싱하기 위한 장치로서,
    현재 비디오 프레임, 이전 비디오 프레임 및 후속 비디오 프레임에 대한 데이터를 가져오기 위해 인터레이스된 비디오 신호의 비디오 소스에 결합된 데이터 페치(fetch) 수단 - 각 프레임은 상기 프레임을 형성하기 위해 픽셀들의 열들(rows)과 행들(columns)를 갖고, 상기 데이터 패치 수단에 의해 가져온 데이터는 각 프레임에 대한 색도(chroma) 픽셀들에 대한 값들을 포함하고, 상기 색도 픽셀들 중 적어도 일부는 상기 현재 프레임의 상기 열들 및 행들의 적어도 일부에 존재하지 않음 - ;
    상기 현재 프레임의 제1 부존재 색도 픽셀을 선택하기 위한 픽셀 선택 수단;
    상기 현재 프레임에서 근방의 픽셀들에 대한 픽셀 값들을 이용하여 상기 제1 부존재 색도 픽셀에 대한 공간적 후보 값을 형성하기 위한 공간적 후보 형성 수단;
    상기 이전 프레임들 및 상기 후속 프레임들에서 근방의 픽셀들에 대한 픽셀 값들을 이용하여 상기 제1 부존재 색도 픽셀에 대한 시간적 후보 값을 형성하기 위한 시간적 후보 형성 수단;
    상기 공간적 후보 값과 상기 시간적 후보 값을 결합함으로써 상기 제1 부존재 색도 픽셀에 대한 값을 계산하기 위한 결합기를 갖는 스테이지1 업샘플링 시스템;
    상기 현재 프레임의 제2 부존재 색도 픽셀을 선택함으로써 상기 비디오 신호의 색도를 디인터레이싱하고, 상기 제1 부존재 색도 픽셀에 대한 계산 값을 부분적으로 이용하여 상기 제2 부존재 색도 픽셀의 공간적 후보 값을 형성하고, 상기 형성된 제2 부존재 색도 픽셀의 공간적 후보 값에 부분적으로 기초하여 상기 제2 부존재 색도 픽셀에 대한 값을 계산하는 스테이지2 디인터레이싱 시스템; 및
    상기 계산된 제1 및 제2 부존재 색도 픽셀 값들을 포함하는 출력 프로그레시브 스캔 비디오 프레임을 생성하기 위한 비디오 출력
    을 포함하는 장치.
  17. 제16항에 있어서,
    추가적인 부존재 색도 픽셀들에 대한 값들을 계산하는 것을 더 포함하고,
    상기 출력 비디오 프레임은 상기 계산된 값들을 모두 포함하는 장치.
  18. 제16항에 있어서,
    상기 데이터 페치는 수직으로 언더샘플링된 색도 성분을 갖는 합성 비디오 신호로부터 상기 현재, 이전 및 후속 비디오 프레임을 가져오는 장치.
  19. 삭제
KR1020097013497A 2007-02-12 2008-01-30 색도 비디오 신호의 모션 적응적 업샘플링 KR101098630B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/705,721 2007-02-12
US11/705,721 US8031267B2 (en) 2007-02-12 2007-02-12 Motion adaptive upsampling of chroma video signals

Publications (2)

Publication Number Publication Date
KR20090085147A KR20090085147A (ko) 2009-08-06
KR101098630B1 true KR101098630B1 (ko) 2011-12-23

Family

ID=39685487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097013497A KR101098630B1 (ko) 2007-02-12 2008-01-30 색도 비디오 신호의 모션 적응적 업샘플링

Country Status (5)

Country Link
US (1) US8031267B2 (ko)
EP (1) EP2119246B1 (ko)
KR (1) KR101098630B1 (ko)
CN (1) CN101647292B (ko)
WO (1) WO2008100710A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG173308A1 (en) * 2007-09-05 2011-08-29 Hiok Nam Tay Wide dynamic range cmos image sensor
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8724711B2 (en) 2011-07-12 2014-05-13 Intel Corporation Luma-based chroma intra prediction
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
JP6042536B2 (ja) * 2012-07-02 2016-12-14 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ３ｄビデオ符号化におけるビュー間候補導出の方法と装置
CN102801948B (zh) * 2012-08-14 2015-12-02 武汉微创光电股份有限公司 高清数字串行接口数据转换方法及装置
CN103179408B (zh) * 2012-11-27 2016-01-06 上海高清数字科技产业有限公司 一种解决色度上采样错误的系统和方法
EP3350774A1 (en) * 2015-09-18 2018-07-25 Thomson Licensing Determination of a co-located luminance sample of a color component sample, for hdr coding/decoding
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
CN110505472B (zh) * 2019-07-15 2021-01-15 武汉大学 一种h.265超高清视频质量评价方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040257467A1 (en) 2003-02-19 2004-12-23 Stmicroelectronics Sa Process and device for de-interlacing by pixel analysis
US20050168650A1 (en) * 2004-01-30 2005-08-04 Frederick Walls Method and system for cross-chrominance removal using motion detection

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19525531A1 (de) 1995-07-13 1997-01-16 Philips Patentverwaltung Verfahren zur Zwischenbild-Interpolation von Farbdifferenzsignalen sowie Schaltungsanordnung zur Durchführung dieses Verfahrens
US5936676A (en) 1997-08-21 1999-08-10 Miranda Technologies Inc. Apparatus and method for line interpolating an interlaced video signal
US6088062A (en) 1996-10-29 2000-07-11 Sony Corporation Picture signal processing apparatus
US7663695B2 (en) * 2000-05-05 2010-02-16 Stmicroelectronics S.R.L. Method and system for de-interlacing digital images, and computer program product therefor
US6859235B2 (en) 2001-05-14 2005-02-22 Webtv Networks Inc. Adaptively deinterlacing video on a per pixel basis
KR20040061244A (ko) 2002-12-30 2004-07-07 삼성전자주식회사 디-인터레이싱 방법 및 그 장치
US7362376B2 (en) * 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
JP2006148367A (ja) 2004-11-17 2006-06-08 Sony Corp 撮像装置及びインタレースプログレッシブ変換方法
CN1319375C (zh) * 2005-04-08 2007-05-30 杭州国芯科技有限公司 基于边缘检测的图像缩放的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040257467A1 (en) 2003-02-19 2004-12-23 Stmicroelectronics Sa Process and device for de-interlacing by pixel analysis
US20050168650A1 (en) * 2004-01-30 2005-08-04 Frederick Walls Method and system for cross-chrominance removal using motion detection

Also Published As

Publication number Publication date
US20080192145A1 (en) 2008-08-14
KR20090085147A (ko) 2009-08-06
WO2008100710A1 (en) 2008-08-21
EP2119246B1 (en) 2013-03-13
EP2119246A4 (en) 2010-07-28
US8031267B2 (en) 2011-10-04
CN101647292A (zh) 2010-02-10
EP2119246A1 (en) 2009-11-18
CN101647292B (zh) 2012-02-08

Similar Documents

Publication Publication Date Title
KR101098630B1 (ko) 색도 비디오 신호의 모션 적응적 업샘플링
US7064790B1 (en) Adaptive video data frame resampling
US6269484B1 (en) Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US6473460B1 (en) Method and apparatus for calculating motion vectors
US7667773B2 (en) Apparatus and method of motion-compensation adaptive deinterlacing
US8254444B2 (en) System and method for phase adaptive occlusion detection based on motion vector field in digital video
US8175163B2 (en) System and method for motion compensation using a set of candidate motion vectors obtained from digital video
KR20010075478A (ko) 순차식 칼라 디스플레이에서의 이미지 평면의 움직임보상을 위한 시스템 및 방법
US20100020233A1 (en) Video image transmitting device, video image receiving device, video image recording device, video image reproducing device, and video image displaying device
US8305489B2 (en) Video conversion apparatus and method, and program
US20090208123A1 (en) Enhanced video processing using motion vector data
JP2006041943A (ja) 動きベクトル検出・補償装置
JP4933209B2 (ja) 映像処理装置
EP1646228B1 (en) Image processing apparatus and method
JPH11298861A (ja) 画像信号のフレーム数変換方法および装置
US6243140B1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
JP2008509576A (ja) 走査レート変換を利用した画像プロセッサ及び画像処理方法。
JP3898546B2 (ja) 画像走査変換方法及び装置
JP2001339695A (ja) 画像信号処理装置及び画像信号処理方法
US7466361B2 (en) Method and system for supporting motion in a motion adaptive deinterlacer with 3:2 pulldown (MAD32)
US8233085B1 (en) Method and system for interpolating a pixel value of a pixel located at an on-screen display
US20100103313A1 (en) Signal processor and signal processing method
US8170370B2 (en) Method and apparatus of processing interlaced video data to generate output frame by blending deinterlaced frames
KR101144435B1 (ko) 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 8