KR101798010B1

KR101798010B1 - 디지털 이미지 안정화를 위해 최적화된 회전되고 보간된 픽셀들의 래스터 출력

Info

Publication number: KR101798010B1
Application number: KR1020110141581A
Authority: KR
Inventors: 친쳉 린; 융젠 저우
Original assignee: 삼성전자주식회사
Priority date: 2010-12-23
Filing date: 2011-12-23
Publication date: 2017-12-12
Also published as: KR101861771B1; KR101830804B1; US20120162460A1; KR20120072352A; US8797414B2; US8988536B2; JP2012138906A; CN102572278B; JP2012165365A; KR20120072354A; CN102572278A; KR20120072348A; DE102011056972A1; DE102011056977A1; DE102011056983A1; US8849054B2; KR101861770B1; JP2012165364A; CN102547120A; US9041817B2

Abstract

디지털 이미지 안정화 장치 및 방법은 회전 움직임 성분을 포함하는 주요 변환을 소스 프레임에 적용하고 래스터 순서에 따라 목표 프레임의 전체 행의 각각의 픽셀의 이미지 데이터를 보간하고 출력한다. 제1 단계는 주요 변환 계수들에 기초하여, 목표 프레임의 전체의 행의 픽셀들에 대응하는 소스 프레임 데이터의 대각선방향으로 지향된 메타-행들을 식별하는 단계이다. 제2 단계는 멀티-라인 버퍼와 같은 메모리 버퍼의 하나의 행 안으로 소스 프레임 데이터의 각각의 메타-행을 저장함으로써 목표 프레임의 전체의 행의 픽셀들에 대응하는 메타-행들의 소스 프레임 데이터를 수평화하는 단계이다. 그 후, 움직이는-윈도우 보간 단계는 주요 변환 계수들에 기초하여 순차적으로 보간하고 래스터 순서에 따라 목표 프레임의 전체의 행의 이미지 데이터를 출력한다.

Description

디지털 이미지 안정화를 위해 최적화된 회전되고 보간된 픽셀들의 래스터 출력{Raster output of rotated interpolated pixels optimized for digital image stabilization}

본 발명의 개념에 따른 실시 예는 디지털 이미지-안정화(digital image- stabilization(DIS)), 특히, 목표 메타-프레임(destination meta-frame)의 수평 행의 픽셀들의 윈도우잉 보간(windowing interpolation)에 기초한 소스 프레임 (source frame)의 목표 프레임 부분(destination frame portion)을 회전하는 방법과 래스터 순서(raster order)에 따라 상기 목표 프레임의 보간된 픽셀들을 출력하는 방법에 관한 것이다.

카메라 캡쳐(camera capture)를 포함하는 디지털 카메라, 디지털 비디오 카메라, 및 휴대용 장치(hand-held device)는, 상기 카메라가 사람에 의해 작동되는 도중에, 종종 이미지나 비디오를 캡쳐하는데 사용된다.

따라서, 상기 비디오 카메라는, 상기 이미지나 상기 비디오를 캡쳐하는 도중에, 작동시키는 사람의 손에서 흔들리거나(shaking) 또는 떨릴(jittering) 수 있다. 떨림(jitter)은 수평 성분, 수직 성분, 및 회전 성분을 포함할 수 있다. 떨림은 보는 사람에게 산만하게 하거나 또는 혼란스럽게 할 수 있다. 따라서, 같은 장면의 비디오 프레임들의 시퀀스(sequence)로부터 카메라 궤적(즉, 연속하는 프레임들의 각각의 쌍 사이의 흔들림)을 디지털 방식으로 측정하고, 흔들림을 제거하는 디지털 회로의 사용을 필요로 한다.

안정된 또는 정지된 카메라 또는 움직이는 비디오 카메라에 의해 생성된 비디오는 캡처된 비디오에서 순조로운 움직임, 변형(translation) 또는 회전 (rotation)을 주로 포함한다. 한편, 불안전한 비디오 카메라는 비디오 이미지들을 통해 고주파 지터(예컨대, 변형된 및/또는 회전된)를 갖는 비디오를 생성한다.

디지털 이미지 안정화(DIS) 시스템은 이미지 시퀀스에서 우선 원하지 않는 또는 의도하지 않은 동작을 추정하고 상기 이미지 시퀀스의 프레임들 각각에 수정 또는 보상을 적용한다. 안정화된 비디오의 시각적 효과는 카메라 궤적 추정의 질에 상당히 의존한다.

카메라 및/또는 장면의 전반적인 움직임은 의도된 전반적인 움직임, 예컨대 패닝(panning), 즉 움직이는 물체의 속도나 진행 방향에 맞춰 카메라를 이동시키면서 촬영하는 기법과 의도되지 않은 전반적인 움직임, 예컨대 흔들림을 구별하기 위해 분석된다.

수학에서, 아핀 기하학(affine geometry)은 아핀 변환, 즉, 비-특이(non-singular) 선형 변환과 변형에 의해 변하지 않은 채로 남아있는 기하학적 성질에 관한 연구이다. 아핀 매트릭스(Affine matrix)라 불리는 수와 관련된 계수들에 의해 정의된 방정식들의 수학적 시스템은 연속적인 프레임들의 각 쌍들 사이에서 또는 그것의 부분들, 예컨대 프레임 안에서 움직이는 물체들 사이에서 감지된 움직임의 수평 성분, 수직 성분, 회전 성분, 및 스칼라(scalar), 예컨대, 줌 인(zoom in) 또는 줌 아웃(zoom out)을 특징짓도록 발전되어 왔다. 아핀 변환은 다음과 같다.

x' = sx*x + ry*y + tx

y' = rx*x + sy*y + ty

여기서, (x,y)는 목표 프레임 픽셀 위치이고,

(x', y')은 아핀 변환 후에 계산된 소스 프레임 픽셀 위치이다.

sx, ry, rx, sy, tx 및 ty는 아핀 변환 계수들이다.

상기 그룹의 수학적 표현은 장면(scene)의 선형 변위(linear displacement), 회전 각도, 척도(scale) 등을 포함할 수 있다.

카메라 지터(camera jitter)는, 장면에서 어떤 실제로 정지된 물체들, 예컨대 바위, 테이블(table), 주차된 차, 산, 태양과 관련된 아핀 변환 매트릭스 P(n) (주요 변환(principal transform) P(n), 또는 글로벌 변환(global transform)이라고도 불림)에 의해 특징지어질 수 있다. 반면에, 상기 프레임 안에서 어떤 움직이는 물체들, 예컨대 새, 사람, 공, 움직이는 차, 지나가는 기차는 추가적인 아핀 매트릭스 T_i(n)에 의해 특징지어질 수 있다.

따라서, 주요 변환 P(n)은 프레임 안에서 배경의 움직임의 조밀한 묘사 (compact description)로서 제공할 수 있다. 작은 움직임을 갖는 변환들은 주요 변환 P(n)에 가깝다.

일단 주요 변환 P(n)이 얻어지면, 그것은 캡쳐된 이미지 데이터의 소스 프레임에 적용되고, 수정된 목표 프레임이 얻어진다. 주요 변환 P(n)이 회전 성분을 포함할 때, 목표 프레임의 같은 행 안의 소스 프레임 데이터는 소스 프레임의 많은 다른 라인들로부터 비롯될 수 있다.

특정 목표 프레임 픽셀 위치에 부합하도록 확인된 소스 프레임 픽셀 위치는 상기 소스 프레임에 존재하는 픽셀의 중앙에 정확히 일치하지 않을 수 있다. 특정 목표 프레임 픽셀 위치에 부합하도록 확인된 상기 소스 프레임 픽셀 위치는 상기 소스 프레임의 두 개 또는 네 개의 인접 픽셀들 사이에서 등거리로 위치할 수 있다.

따라서, 이들 인접한 픽셀들 중 어느 것도 개별적으로 목표 프레임 픽셀에 대응하는 것처럼 동일한 밝기와 컬러를 갖지 않을 것이다. 그러나, 그들의 평균은 가질 것이다. 회전 동작이 제공되었을 때, 많은 혹은 대부분의 목표 프레임의 픽셀들은 소스 프레임에서 전체의 픽셀들과 정확히 일치하지는 않을 것이다.

그러한 경우에, 소스 프레임의 복수의 인접 픽셀들의 이미지 데이터 D_sf로부터 목표 프레임 이미지 데이터 D_df를 보간(interpolate)하는 것이 필요하다. 이러한 보간은 복수의 아핀 변환 계수 sx, ry, rx, sy, tx, 및 ty에 기초한 아핀 변환 매트릭스를 사용하여 수행된다. 그러나, 상기 소스 프레임에 관련된 목표 프레임의 회전 각도 때문에, 목표 프레임의 어느 주어진 행 R_d 안에서 픽셀들의 소스 프레임 데이터는 목표 프레임의 다른 행들로부터 비롯될 수 있다.

예컨대, 만약 회전 각도가 ±45°일 때, 목표 프레임의 중간 행 R_d 내의 픽셀들의 소스 프레임 데이터는 소스 프레임의 대부분의 수직 차원을 넓게 퍼뜨리는 (spanning) 소스 프레임 행들의 범위로부터 비롯될 수 있다. 따라서, 목표 프레임을 출력하기 위한 접근 방법은 소스 프레임을 복수의 타일(tile)(또는 복수의 블록 (block))로 나누고, 복수의 타이(또는 복수의 블록) 각각으로부터 각각의 목표 프레임(또는 행 R_d)의 부분을 보간한다.

다양한 데이터 포맷(data format)은 이미지의 각각의 픽셀의 밝기와 컬러를 인코딩(encoding)하기 위해 사용될 수 있다. 하나의 시스템은 그레이스케일 (grayscale) 데이터인데, 여기에 루마(luma)(Y) 값 데이터는 픽셀마다 저장된다.

다른 시스템은 8-비트 4:2:2 데이터 포맷인데, 여기에 4개의 픽셀의 4개의 루마(Y) 값과 2개의 크로마(chroma)(Cb 및 Cr) 값이 4:2:2의 비율로 저장되는데, 인간의 눈은 컬러의 변화보다 빛의 밝기에 더 민감하기 때문이다.

따라서, 소스 프레임으로부터 목표 프레임의 픽셀을 보간할 때, 루마 데이터 값과 크로마 데이터 값을 위해 서로 다른 크기의 보간 영역을 사용하는 것이 최적이다. 예컨대, 소스 프레임으로부터 루마(Y) 데이터의 4×8 영역과, 크로마(Cb 및 Cr) 데이터의 4×4 영역은 8-비트 4:2:2 데이터 포맷에서 각각의 목표 프레임을 보간하기 위해 사용될 수 있다.

메모리 관리 스킴(schemes)의 타일링(tiling) 또는 블록 형태는 블록 형태에서 인접한 타일들 사이의 소스 프레임 데이터를 오버래핑(overlapping)하고 목표 프레임 데이터를 출력하는데 액세스(access)하기 위한 오버헤드(overhead)를 갖는다. 이미지 처리의 후단이 래스터 순서(예를 들어, 좌측에서 우측으로 복수의 픽셀의 전체 행)에 따라 목표 프레임 이미지 데이터를 필요로 할 때, 보간된 목표 프레임 데이터의 이러한 블록들을 연결하고 래스터 순서에 따라 각각의 행 R_d의 픽셀들을 독출하는 것에 대한 오버헤드는 더 많은 버스 대역폭(bus bandwidth)을 요구하고 달성하기 위한 멀티플 라인 버퍼(multiple line buffer)를 필요로 한다.

본 발명은 인접한 타일들 사이에서 소스 프레임 액세스(source frame access)를 오버래핑(overlapping)하지 않고 이미지 회전을 수행할 수 있는 픽셀 보간 방법을 제공하는 것이다.

상기 방법은 래스터 순서 목표 데이터(raster order destination data)를 발생하기 위한 추가적인 계산이나 메모리 오버헤드를 필요로 하지 않는다.

본 발명은 비디오 프레임의 장면에서 정지된 물체 및/배경 물체를 표현하는 주요 변환(principle transform) P(n)을 적용할 수 있는 디지털 이미지 안정화 방법을 제공하는 것이다.

본 발명의 실시 예에 따르면, 아핀 변형(affine transform)은 소스 프레임의 요구되는 픽셀 데이터의 대응하는 물리적 메모리 주소들을 생성하기 위해 수신된 아핀 계수들 sx, sy, rx, ry, tx, 및, ty 에 기초하고, 계산된 목표 프레임 좌표들(target destination frame coordinates)에 기초한 보상 유닛의 제1아핀 변형 엔진에서 수행된다. 어떤 컬러 데이터 시스템들에서는, 목표 프레임의 각 픽셀의 보간 동작을 수행하기 위해 소스 프레임으로부터 데이터(예컨대, 8열씩 4행들)의 보간 영역이 요구된다. 소스 프레임 영역으로부터 회전 이미지 변형을 위해 요구되는 데이터에 억세스(access)하기 위해, 상기 방법은 상기 목표 프레임의 행과 대응하는 대각선으로 처리된(disposed) 메타-행들에서 상기 소스 프레임의 픽셀들을 패치(fetch)하고, 이러한 데이터 픽셀들을 수평으로 복수의 라인 버퍼들로 재배치(re-position)한다. 상기 복수의 라인 버퍼들에 저장된 내용(content)에 데이터는 상기 목표 프레임에서 픽셀들의 하나 또는 그 이상의 전체 행들과 대응한다. 그러므로, 보간은 래스터 순서로 상기 목표 프레임의 하나 또는 그 이상의 전체 행들에 대해 진행할 수 있다.

본 발명의 실시 예는 변형(translation), 스케일링(scaling), 및 회전과 함계 아핀 변형(이미지 보간)을 수행한다. 현재 행 R_d 목표 프레임의 보간된 픽셀들을 생성하기 위해 필요한 모든 소스 프레임 데이터는 메타-프레임 버퍼의 복수의 라인 버퍼들 내에서 정렬된다. 수평-무빙 윈도우 동작(a horizontally-moving window operation)은 래스터 순서로 상기 목표 프레임의 생성을 위해 소스 프레임 데이터 보간 과정 중 사용된다. 만약 상기 라인 버퍼에 상기 소스 프레임 데이터가 상기 소스 프레임의 다른 행들로부터 올 때, 상기 목표 프레임의 각 픽셀의 보간을 위해 소스 프레임의 요구되는(예컨대, 4x8) 메모리 윈도우 영역의 모양은 이동될 것이다.

본 발명의 실시 예에 따른 이미지 처리 회로는 본래 이미지 프레임의 목표 메타-행 부분에서 각 메타-행의 시작과 종료를 나타내는 수평 위치들의 하나의 세트를 생성하기 위해 구현되는 제1아핀 변환 엔진, 목표 프레임으로부터 픽셀들의 각 메타-행을 독출하고 수평화된 픽셀들의 각각 메타-행을 복수의 라인 버퍼들 중 어느 하나로 기록하기 위해 구현되는 직접 메모리 억세스 컨트롤러, 및 상기 목표 프레임의 각 픽셀을 보간하고 회전하기 위해 그리고 래스터 순서로 상기 회전된 픽셀들을 출력하기 위해 구현되는 제2 아핀 변환 엔진을 포함한다.

상기 방법은 상기 소스 프레임에서 대각선 메타-행들 내에 대각선으로 분배된 이미지 데이터의 위치들을 계산하고 ±45°까지 이미지 회전 각을 지원하기 위해 라인 버퍼 메모리 관리 일들(line buffer memory management tasks)을 수행한다.

본 발명의 실시 예에 따른 이미지 처리 회로는 본래 이미지 프레임의 회전된 목표 프레임 부분에서 픽셀들의 각 메타-행의 시작과 종료를 나타내는 수평 위치들의 세트를 생성하기 위해 구현되는 제1아핀 변환 엔진, 목표 프레임으로부터 픽셀들의 각 메타-행을 독출하고 각 행을 복수의 라인 버퍼들 중 어느 하나로 기록하기 위해 구현되는 직접 메모리 억세스 컨트롤러, 및 상기 회전된 목표 프레임의 각 픽셀을 보간하고 래스터 순서로 상기 픽셀들을 출력하기 위해 구현된 제2아핀 변환 엔진을 포함한다.

상기 윈도우 보간 무빙 윈도우 과정은 래스터 순서로 상기 목표 프레임 데이터를 생성한다. 상기 보간 윈도우 센터 위치(x',y')는 회전 방정식에 기초하여, 예컨대, 아핀 변환 방정식 계수들(affine transform equation coefficients)을 이용하여, 계산될 것이다. 보간 윈도우 모양과 위치는 라인 버퍼들에 상기 소스 데이터가 저장된 상기 센터 y' 위치와 상기 수직 위치에 따라 조정될 것이다.

본 발명의 다른 실시 예에 따른 아핀 변환 계수들에 따라 본래 프레임의 목표 프레임 부분 회전 방법은 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 상기 데이터를 복수의 라인-버퍼들 중에서 제1라인 버퍼로 복사하는 단계; 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제2행의 상기 픽셀들에 대응하는 상기 데이터를 상기 복수의 라인-버퍼들 중에서 제2라인 버퍼로 복사하는 단계; 상기 복수의 라인 버퍼들에 저장된 상기 데이터에 기초하여 상기 목표 프레임의 제1행에서 연속적으로 각 픽셀을 회전하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계; 및 그리고나서 상기 복수의 라인 버퍼들에 저장된 상기 데이터에 기초하여 상기 목표 프레임의 상기 제2행에서 연속적으로 각 픽셀을 회전하고 래스터 순서로 상기 목표 프레임의 상기 제2행의 상기 보간된 픽셀들을 출력하는 단계를 포함한다.

본 발명의 다른 실시 예에 따른 방법은 비디오 프레임의 장면에서 정지/배경 객체를 나타내는 주요 변환 P(n)을 적용하는 방법을 제공한다.

본 발명의 다른 실시 예에 따른 아핀 변환 계수들에 따른 소스 프레임의 목표 프레임 부분 회전 방법은 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 제1메타-행에 소스 프레임의 픽셀들의 상기 이미지 데이터를 제1라인 버퍼로 복사하는 단계; 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 제2메타 행에 상기 소스 프레임의 픽셀들의 상기 이미지 데이터를 제2라인 버퍼로 복사하는 단계; 및 상기 제1 및 제2라인 버퍼들에 저장된 상기 이미지 데이터에 기초하여 상기 목표 프레임의 상기 제1행의 각 픽셀들 순차적으로 보간하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계를 포함한다.

상기 방법은 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 제3메타-행에 상기 소스 프레임의 픽셀들의 상기 이미지 데이터를 제3라인-버퍼로 복사하는 단계; 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 제4메타-행에 상기 소스 프레임의 픽셀들의 상기 이미지 데이터를 제4라인 버퍼로 복사하는 단계; 및 상기 제1, 제2, 제3, 및 제4 라인 버퍼들에 저장된 상기 이미지 데이터에 기초하여 상기 목표 프레임의 상기 제1행의 각 픽셀들 순차적으로 보간하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계를 더 포함할 수 있다.

본 발명의 다양한 실시 예에 따른 발명은 임의의 회전 각도(예컨대, ±45°까지) 이내에서 변환(translational)과 회전 모션(rotational motion)을 포함하는 어핀 변형들을 처리한다. 본 발명의 다른 다양한 실시 예는 4:2:2 데이터 포멧(format)과 더 작은 회전 각도 이내에서 변환(translational)과 회전 모션(rotational motion)을 포함하는 어핀 변형들을 처리하는데 최적화된다.

상기 목표 프레임의 상기 같은 행 R_d 이내에서 픽셀들의 상기 소스 프레임 데이터는 소스 프레임의 다른 라인들로부터 오기 때문에, 제1단계는 상기 목표 프레임의 회전 각에 따라 상기 소스 프레임 데이터를 수평화된 메타-행들로 재정렬하는 단계이다. 상기 제1단계는 상기 소스 프레임 데이터 D_sf의 수평화된 메타-행들을 저장하는 복수의 수평 라인 버퍼들 내에서 목표 프레임의 전체 행 R_d에 대응하는 모든 요구되는 소스 프레임 데이터를 정렬하는 단계이다. 우선적으로, 상기 버퍼 메모리의 모든 라인은 상기 보간 과정 중 동시에 독출될 수 있고, 상기 보간 과정에 연관되지 않은 상기 버퍼 메모리의 라인들은 상기 다음에 요구되는 소스 프레임 데이터와 함께 동시에 기록될 수 있다. 그러므로, 우선적으로, 상기 버퍼 메모리의 각 행은 독립적으로 접근될 수 있는 라인 버퍼로 구현된다.

상기 요구되는 소스 프레임 데이터가 상기 버퍼 메모리에서 이용가능할 때, 간단하고 매끄러운 수평적인 무빙-윈도우 보간 동작(a simple and smooth horizontally moving-window interpolation operation)은 상기 목표 프레임의 각 행 R_d에서 각 픽셀의 상기 목표 프레임 데이터 D_df를 래스터 순서로 생성하기 위해 수행된다.

소스 프레임 데이터 D_sf의 상기 수평화된 메타-행들을 저장하기 위해 필요한 상기 메타-프레임 버퍼의 사이즈는 상기 목표 프레임의 하나 또는 그 이상의 행들 R_d과 대응하는 상기 목표 프레임 데이터 D_df를 일시적으로 저장하기 위해, k-라인 버퍼를 재사용함으로써, k는 정수, 다양한 실시 예에서 감소된다. 만약 상기 수평화된 무빙-윈도우가 4x4 픽셀들 또는 4x8 픽셀들의 정상적인 면적을 가질 때, 상기 라인 버퍼의 4개 라인들만이 상기 목표 프레임의 상기 회전 각이 0(예컨대, 도 14 참조)일 때, 상기 목표 프레임의 하나 또는 그 이상의 행들 R_d과 대응하는 목표 프레임 데이터 D_df를 저장하기 위해 필요하다. 하지만, 만약 상기 무빙-윈도우가 4x4 픽셀들의 정상적인 면적을 가질 때, 그리고 상기 목표 프레임의 상기 회전각이 ±45°일때, 상기 라인 버퍼의 7개 라인들만이 상기 목표 프레임의 단지 하나의 행 R_d과 대응하는 상기 목표 프레임 데이터 D_df를 저장하기 위해 필요하다. 그러므로, 상기 소스 프레임 데이터 D_sf의 7개의 수평화된 메타-행들을 저장하는 7-라인 버퍼는, 상기 목표 프레임의 상기 회전각에 의존하여, 상기 목표 프레임의 적어도 하나 및 4개의 전체 행들 R_d을 4x4 보간하기 위해 충분한 데이터를 포함한다. 만약 상기 보간-윈도우가 4x8 픽셀들의 정상적인 면적을 가질 때, 7-라인 버퍼는 22.5도까지의 회전각을 처리할 수 있다. 만약 상기 목표 프레임의 회전각이 ±45°일때, 버퍼의 7라인들보다 더 많은 버퍼가 상기 목표 프레임의 하나 행 R_d에 대응하는 상기 목표 프레임 데이터 D_df를 저장하기 위해 필요하다.

상기 보간 단계의 상기 수평 무빙-윈도우의 나누어진 모양은 상기 목표 프레임의 상기 회전각에 의존하여 변할 수 있고, 낮은 각들에서, 파단선에 의해 나누어지지 않는지, 하나의 파단선에 의해 나누어지는지, 혹은 복수의 파단선들에 의해 나누어지는지에 의존하여 변할 수 있다. 어떤 실시 예에서, 상기 회전 각은 상기 보간 단계의 각 무빙-윈도우가 적어도 단 하나의 파단선(예컨대, 도 15 참조)에 의해 나누어지도록 제한된다.

본 발명은 여기서 서술된 DIS 방법을 수행하기 위해 구현되는 디지털 이미지 안정화 회로를 제공한다. 비디오 프레임들로부터 카메라의 궤적에 의해 유발되는 떨림을 걸러내기 위해 구현된 상기 회로는 비디오 카메라 그 자체 내에 포함될 수 있고, 상기 캡쳐된(captured) 비디오 프레임들의 저장 이전에 실시간으로 상기 떨림을 제거하기 위해 활성화될 수 있다. 실시 예에 따라 연속적인 비디오 프레임들 사이에서 카메라 궤적을 추정하고 저장된 비디오 프레임들로부터 상기 떨림을 걸러내기 위해 구현된 상기 DIS 회로는 디지털 이미지 안정화(digital image stabilization; DIS) 방법을 구체화하는 소프트웨어에 의해 제어되는 일반적인 목적의 마이크로컴퓨터일 수 있다. 또한, 상기 DIS 회로는 디지털 이미지 안정화(digital image stabilization; DIS) 방법을 수행하기 위해 최적화된 ASIC( application specific integrated circuit)에서 구현되는 MEPG 비디오 인코더(video encoder)와 같은, 전용 하드웨어(dedicated hardware)일 수 있다.

본 발명의 실시 예에 따른 이미지 처리 회로는 소스 프레임에서 픽셀들의 각 메타-행의 시작을 나타내고 목표 프레임의 행들에서 픽셀들에 대응하는 수평 위치 데이터의 세트를 생성하기 위해 구현되는 제1아핀 변환 엔진, 목표 프레임으로부터 픽셀들의 각 메타-행을 독출하고 수평화된 픽셀들의 각각 메타-행을 복수의 라인 버퍼들 중 어느 하나로 기록하기 위해 수평 위치 데이터에 기초하여 제어되는 메모리 억세스 컨트롤러, 및 복수의 라인 버퍼들에 저장된 상기 소스 프레임의 픽셀들의 복수의 수평화된 메타-행들로부터 래스터 순서로 상기 목표 프레임의 픽셀들의 각 행에서 각 픽셀을 보간하고 출력하기 위해 구현된 제2 아핀 변환 엔진을 포함한다.

상기 목표 프레임은 아핀 변환 계수들(affine transform coefficients)의 수신된 세트에 따라 상기 목표 프레임의 상기 픽셀들의 상기 보간 동안 회전된다.

상기 제1아핀 변환 엔진은 아핀 변환 계수들의 수신된 세트에 기초하고 상기 소스 프레임과 관련된 상기 목표 프레임의 위치 및 크기 정보에 기초하여 상기 소스 프레임에서 픽셀들의 각 메타-행의 상기 시작을 나타내는 수평 위치 데이터의 상기 세트를 생성한다.

상기 복수의 라인 버퍼들은 적어도 5개의 라인 버퍼들을 포함한다.

실시 예에 따라 상기 복수의 라인 버퍼들은 적어도 7개의 라인 버퍼들을 포함한다.

실시 예에 따라 상기 복수의 라인 버퍼들은 적어도 11개의 라인 버퍼들을 포함한다.

상기 제2아핀 변환 엔진은 상기 11개의 라인 버퍼들의 각각을 포함하는 4x8 픽셀 보간 윈도우(pixel interpolation window)의 이용으로부터 래스터 순서로 상기 목표 프레임의 픽셀들의 각 행에 각 픽셀을 보간하고 출력한다.

본 발명의 실시 예에 따른 회전을 포함하는 아핀 변환 좌표들(affine transform coordinates)에 따라 소스 프레임의 복수의 행들에 픽셀들로부터 목표 프레임 보간 방법에 있어서 상기 아핀 변환 좌표들에 기초하여, 수평화된 상기 목표 프레임의 제1행의 상기 픽셀들에 대응하는 상기 모든 소스 프레임 데이터를 복수의 라인 버퍼들로 복사하는 단계, 및 상기 복수의 라인 버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제1행의 각 픽셀들을 보간하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계를 포함한다.

실시 예에 따라 상기 목표 프레임 보간 방법은 상기 아핀 변환 좌표들에 기초하여, 수평화된 상기 목표 프레임의 제2행의 상기 픽셀들에 대응하는 모든 상기 소스 프레임 데이터를 상기 복수의 라인-버퍼들로 복사하는 단계, 및 상기 복수의 라인-버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제2행의 각 픽셀들을 보간하고 래스터 순서로 상기 목표 프레임의 상기 제2행의 상기 보간된 픽셀들을 출력하는 단계를 더 포함할 수 있다.

상기 목표 프레임의 상기 제1 행 및 제2 행의 상기 픽셀들에 대응하는 상기 모든 소스 프레임 데이터를 복사하는 상기 단계들은 상기 복수의 라인-버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제1행 및 제2행의 각 픽셀을 보간하는 상기 단계들의 시작 이전에 완료된다.

실시 예에 따라 상기 목표 프레임 보간 방법은 상기 아핀 변환 좌표들에 기초하여, 수평화된 상기 목표 프레임의 제3 및 제4 행들의 상기 픽셀들에 대응하는 모든 상기 소스 프레임 데이터를 상기 복수의 라인-버퍼들로 복사하는 단계, 및 상기 복수의 라인-버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제3 및 제4행들의 각 픽셀을 보간하고 래스터 순서로 상기 목표 프레임의 상기 제3 및 제4 행들의 상기 보간된 픽셀들을 출력하는 단계를 더 포함할 수 있다.

상기 목표 프레임의 상기 제1, 제2, 제3, 및 제4 행들의 상기 픽셀들에 대응하는 상기 모든 소스 프레임 데이터를 복사하는 상기 단계들은 상기 복수의 라인-버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제1, 제2, 제3, 및 제4 행들의 각각의 픽셀을 보간하는 상기 단계들의 시작 이전에 완료된다.

상기 목표 프레임의 상기 제2 행의 상기 픽셀들에 대응하는 상기 모든 소스 프레임 데이터를 복사하는 상기 단계는 상기 목표 프레임의 상기 제1 행의 각각의 픽셀을 보간하는 상기 단계를 수행하는 동안 수행된다.

상기 목표 프레임의 상기 제2 행의 상기픽셀들에 대응하는 상기 모든 소스 프레임 데이터를 복사하는 상기 단계는 상기 목표 프레임의 상기 제1 행의 각각의 픽셀을 보간하는 상기 단계의 완성에 앞서 완성된다.

소스 프레임의 목표 프레임 부분 회전 방법을 수행하기 위해 구현되는 이미지 처리 유닛을 포함하며, 상기 방법은 무빙 윈도우 보간 처리(moving window interpolation process)를 이용하는 목표 프레임의 픽셀들을 보간하기 위해 복수의 라인 버퍼들 내에서 소스 프레임 데이터의 정렬을 유지하는 동안, 아핀 변환 계수들에 기초한 파단선 수평 위치 정보의 세트에 기초하여 수평화된 상기 목표 프레임 부분에 대응하는 상기 소스 프레임 데이터를 복수의 라인 버퍼들로 복사하는 단계를 포함한다.

상기 모든 소스 프레임 데이터를 복사하는 상기 단계는 상기 소스 프레임 데이터의 모든 행과 함께 이용하기 위해 수평 데이터 정렬 정보의 하나의 세트만에 기초하여 상기 소스 프레임 데이터를 복수의 라인 버퍼들로 정렬하는 단계를 포함한다.

본 발명의 실시 예에 따른 이미지 처리 회로는 원래 이미지 프레임의 회전된 목표 프레임 부분에 픽셀들의 각 메타-행의 시작과 끝을 나타내는 수평 위치들의 세트를 생성하기 위해 구현되는 제1변환 엔진, 목표 프레임 부분에서 픽셀들의 각 메타-행을 독출하고 복수의 라인 버퍼들중 어느 하나로 각 행을 기록하기 위해 구현되는 다이렉트 메모리 억세스 컨트롤러, 및 상기 회전된 목표 프레임의 각 픽셀을 보간하고 래스터 순서로 상기 픽셀들을 출력하기 위해 구현되는 제2변환 엔진을 포함한다.

본 발명의 실시 예에 따른 아핀 변환 계수들에 따라 소스 프레임의 목표 프레임 부분 회전 방법에 있어서, 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 제1행의 상기 픽셀들에 대응하는 제1메타-행에 소스 프레임의 픽셀들의 이미지 데이터를 제1라인 버퍼로 복사하는 단계, 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 제2 메타-행에 상기 소스 프레임의 픽셀들의 상기 이미지 데이터를 제2라인 버퍼로 복사하는 단계, 및 상기 제1 및 제2 라인 버퍼들에 저장된 상기 이미지 데이터에 기초하여 상기 목표 프레임의 상기 제1행의 각 픽셀을 순차적으로 보간하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계를 포함한다.

실시 예에 따라 상기 목표 프레임 부분 회전 방법은 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 제3메타-행에 상기 소스 프레임의 픽셀들의 상기 이미지 데이터를 제3라인 버퍼로 복사하는 단계, 상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 상기 픽셀들에 대응하는 제4메타-행에 상기 소스 프레임의 픽셀들의 상기 이미지 데이터를 제4라인 버퍼로 복사하는 단계, 및 상기 제1, 제2, 제3, 및 제4 라인 버퍼들에 저장된 상기 이미지 데이터에 기초하여 상기 목표 프레임의 상기 제1행의 각 픽셀을 순차적으로 보간하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계를 더 포함할 수 있다.

본 발명의 실시 예는 이하 첨부된 도면과 함께 좀 더 상세히 설명될 것이다. 그러나 본 발명의 사상은 다른 형태로 구현될 수 있고, 여기에 구현된 실시 예에 한정되어서는 안된다. 오히려 이 실시 예는 발명의 개시가 철저히 그리고 완전히 구현될 수 있도록 제공되고, 기술 분야에서 숙련된 사람들에게 발명의 사상이 완전히 전달될 수 있도록 제공되는 것이다.

본 발명은 소스 프레임 데이터 억세스(source frame data access)의 오버헤드(overhead)를 줄이고, 출력 목표 프레임 데이터의 래스터 순서 스캔 타입(raster order scan type)을 생성한다. 출력 목표 프레임 데이터의 래스터 스캔 순서는 대각선으로 분배된 소스 프레임 데이터를 복수의 라인 버퍼들로의 재배열(re-alignment arrangement)에 의해 구현(facilitated)된다.

본 발명의 개념의 실시 예의 이용은 오버헤드(overhead)를 줄일 수 있다. 왜냐하면 타일링(tiling) 방법에 있어서 소스 프레임 데이터의 중복 독출(overlapping reading)에 비하면 본 발명의 소스 프레임 데이터는 단지 한번 독출되기 때문이다. 또한 추가적인 계산이나 메모리 오버헤드 없이 래스터 순서 목표 프레임 데이터 출력 시퀀스(raster order destination frame data output sequence)를 매끄럽게 생성할 수 있다.

도 1은 발명의 실시 예에 따른 디지털 이미지 안정화 방법을 실행할 수 있는 디지털 이미지 안정화 회로의 블록도이다.
도 2는 래스터 순서에 따라, 목표 프레임의 안정화된 비디오 데이터 D_df를 보간하고 출력하기 위해 보상 변환 P(n)을 캡쳐된 소스 프레임 이미지 데이터 D_sf로 적용하기 위해 적당한 도 1의 디지털 이미지 안정화 회로 내의 DIS 보상 유닛의 블록도이다.
도 3은 본 발명의 실시 예에 따른 소스 프레임 이미지 데이터 Dsf의 부분 집합(subset)을 포함하는 복수의 대각선 방향의 메타-행들(meata-rows)을 포함하는 목표 메타-프레임의 실시 예를 포함하고 목표 메타-프레임의 메타-행들에 포함된 소스 프레임 이미지 데이터 Dsf를 보간함으로써 얻어지는 목표 프레임의 상대적인 위치를 나타내는 캡쳐된(captured) 소스 프레임의 다이어그램이다.
도 4는 본 발명의 실시 예에 따라 루마(luma) Y 메타-프레임 버퍼와 목표 프레임의 3개의 픽셀들의 보간 윈도우에 저장된 것과 같은 도 3에 나타난 목표 메타-프레임의 수평화되 메타-행들의 부분의 다이어그램이다.
도 5는 목표 메타-프레임의 14개의 대각선 방향의(diagonally step-oriented) 메타-행들을 나타내고 목표 메타-프레임에서 복수의 나누어진/이동된/스텝된 열 그룹들(split/shifted/stepped column groups)을 정의하는 복수의 규칙적으로 배치된 수직 파단선들(break lines)을 나타내는 다이어그램이다.
도 6은 발명의 실시 예에 따라 루마 Y 메타-프레임 버퍼에 저장된 수평화된 메타-행들을 나타내는 다이어그램이다.
도 7A는 발명의 실시 예에 따라 소스 프레임 이미지에서 목표 메타-프레임의 대각선 방향의(diagonally step-oriented) 메타-행들을 순차적으로 수평화하는 방법 및 수평화된 이미지 데이터 D_sf를 픽셀들의 무빙-윈도우 보간(moving-window interpolation)을 위한 메타-프레임의 행들로 래스터 순서로 기록하는 방법에 관한 흐름도이다.
도 7B는 발명의 실시 예에 따라 소스 프레임 이미지에서 목표 메타-프레임의 k+1 대각선 방향의(k+1 diagonally step-oriented) 메타-행들 각 그룹을 순차적으로 수평화하는 방법 및 수평화된 이미지 데이터의 k+1행들을 픽셀들의 무빙-윈도우 보간을 위한 (k+1)-라인 메타-프레임으로 래스터 순서로 기록하는 방법에 관한 흐름도이다.
도 8은 발명의 실시 예에 따라 목표 메타-프레임의 수평화된 메타-행들 안의 이미지 데이터로부터 무빙-윈도우 보간에 의해 목표 프레임의 각각의 행의 각각의 픽셀을 순차적으로 보간하는 방법에 관한 흐름도이다.
도 9는 보간을 위한 소스 프레임 데이터 D_sf 정렬(alignment) 및 시작 지점들을 나타내는 루마 Y 메타-프레임 버퍼의 실시 예에 관한 블록 다이어그램이다.
도 10은 발명의 실시 예에 따라 메타-행들의 무빙-윈도우 보간의 수평한 시작 지점에서 루마 Y 메타-프레임 버퍼와 그 변형들의 실시 예에 관한 다이어그램이다.
도 11은 발명의 실시 예에 따라 메타-행들의 무빙-윈도우 보간의 수직 시작 지점(winyshift)에서의 변화들을 나타내는 루마 Y 메타-프레임 버퍼의 라인-버퍼 실시 예를 나타내는 블록 다이어그램이다.
도 12는 수직의 단선된 라인 위치의 지점을 나타내는 비트들(bits)을 저장하기 위한 라인 버퍼를 포함하는 루마 Y 및 크로마 (Cb 및 CR) 소스 프레임 데이터의 저장의 예(exemplary mode)를 나타내는 다이어그램이다.
도 13은 하나의 수직의 단선된 라인에 의한 목표 프레임의 시계 방향 회전 때문에 나누어진(split) 4x8 픽셀 보간 윈도우의 형태를 나타내는 다이어그램이다.
도 14 (a)에서 (b)는 발명의 실시 예에 따라 소스 프레임 데이터의 회전되지 않은 목표 프레임의 다른 행들 안에서 픽셀들을 보간하기 위한 나누어지지 않은(non-split) 4x8 픽셀 무빙-윈도우들의 모양 및 수직의 위치들의 실시 예를 나타낸다.
도 15 (a)에서 (e)는 발명의 실시 예에 따라 소스 프레임 데이터로부터 제1 시계-방향 회전된 목표 프레임의 다른 픽셀들을 보간하기 위한 나누어진(split) 4x8 픽셀 무빙-윈도우들의 모양 및 수직의 위치들의 실시 예를 나타내는 다이어그램이다.
도 15 (f)에서 (j)는 발명의 실시 예에 따라 소스 프레임 데이터로부터 제2 시계-방향 회전된 목표 프레임의 다른 픽셀들을 보간하기 위한 나누어진(split) 4x8 픽셀 무빙-윈도우들의 모양 및 수직의 위치들을 나타내는 다이어그램이다.

도 1은 발명의 실시 예에 따른 디지털 이미지 안정화 방법을 실행할 수 있는 디지털 이미지 안정화 회로의 블록도이다.

상기 DIS 회로는 소스 프레임(source frame)의 갑자기 움직이는 비디오 데이터(jerky video data) D_sf를 분석하고 인터-프레임 변환들(inter-frame transforms) T_i(n)을 출력하는 검출 유닛(DU; 2000), 인터-프레임 변환들 T_i(n) 중에서 선택된 주요/보상 변환 P(n)을 출력하는 궤적 유닛(trajectory unit(TU); 4000), 및 선택된 주요/보상 변환 P(n)에 기초하여 갑자기 움직이는 비디오 데이터를 수정함으로서 목표 프레임의 안정화된 비디오 데이터 D_df를 출력하는 DIS 보상 유닛(CU; 6000)을 포함한다.

검출 유닛(DU)이 인터-프레임 변환들 T_i(n)을 추정한 후, 궤적 유닛(TU)은 인터-프레임 변환들 T_i(n) 중의 하나를 주요 변환(principal transform) P(n)으로서 선택한다. 만약, 주요 변환 P(n)이 회전 동작 성분을 포함하면, DIS 보상 유닛(CU)은 래스터 순서(raster order)(예컨대, 맨 위의 로우의 좌측으로부터 시작하여 상기 로우의 우측으로 로우 (row) 단위로)에 따라 목표 프레임의 복수의 픽셀들의 안정화된 비디오 데이터 D_df를 회전하고, 보간하고, 및 출력한다.

도 2는 래스터 순서에 따라, 목표 프레임의 안정화된 비디오 데이터 D_df를 보간하고 출력하기 위해 보상 변환 P(n)을 캡쳐된 소스 프레임 이미지 데이터 D_sf로 적용하기 위해 적당한 도 1의 디지털 이미지 안정화 회로 내의 DIS 보상 유닛의 블록도이다.

DIS 보상 유닛(6000)은 수평 위치 정보(예컨대, 독출 어드레스)를 생성하고 단선 라인 공간(break line spacing)을 계산하기 위한 제1변환 엔진(6220), DMA(direct memory access) 컨트롤러/독출 마스터(6232), 및 래스터 순서에 따라 목표 프레임의 픽셀들을 보간(예컨대, 회전, 변환, 및/또는 스케일링)하기 위한 제2변환 엔진(6250)을 포함한다.

변환 엔진들(6220 및 6250)을 유사 변환(similarly transform), 아핀 변환 (affine transform) 또는 이와 유사한 것과 같은 기하학적 변환들 중의 하나일 수 있다. 상기 아핀 변환은 본 발명의 개념을 설명하기 위한 예로서 선택되나 다른 비슷한 기하학적 변환들이 본 발명의 개념을 범위를 벗어나지 않는 범위 내에서 사용될 수 있다.

병렬 데이터 출력 인터페이스(6252)는 이미지 데이터(4:2:2)를 출력하고, 복수의 이미지 프레임 동기 신호들과 배압 실속(출력 버퍼) 메커니즘(back pressure stall (output buffer) mechanism)을 제공한다. DMA 컨트롤러/독출 마스터(6232)는 소스 프레임 버퍼(6230)에 저장된 소스 프레임 데이터(D_sf)의 선택된 부분들을 독출하고, 수평화된 메타-프레임 버퍼(horizontalized meta-frame buffer; 6240)의 적절한 각각의 라인-버퍼(line-buffer)에 소스 프레임 데이터(D_sf)를 기록한다.

각각의 목표 소스 프레임 데이터 액세스 메모리 주소(target source frame data access memory address)는 주요 변환 P(n) 계수(sx, ry, rx, sy, tx, 및 ty)에 기초하여 아핀 변환 방정식으로부터 제1아핀 변환 엔진(6220)에 의해 계산된다.

DIS 보상 유닛(6000)은 주요 변환 P(n) 상수(sx, ry, rx, sy, tx, 및 ty)를 수신하고 저장하는 복수의 환경 설정 레지스터들(configuration registers; 6210)을 더 포함하고, 주요 변환 P(n) 상수(sx, ry, rx, sy, tx, 및 ty)를 제1아핀 변환 엔진 (6220)과 제2아핀 변환 엔진(6250) 각각으로 전송한다.

AXI 버스 상의 DMA컨트롤러/독출 마스터(6232)는 APB 인터페이스(6212)와 환경 설정 레지스터(6212)를 통하여 APB 버스로부터 수신된 이미지 위치와 회전 정보 P(n)에 기초하여, 제1아핀 변환 엔진(6220)으로부터 명령(목표 소스 프레임 데이터 억세스 메모리 주소들)을 수신한다.

도 3은 본 발명의 실시 예에 따른 목표 메타-프레임(destination meta-frame)을 포함하는 캡쳐된 소스 프레임(source frame)의 다이어그램이다. 상기 목표 메타-프레임은 복수의 비스듬히 단계적인(diagonally step-oriented) 메타-행들 X_d을 포함한다. 상기 메타-행들 X_d 각각은 상기 소스 프레임 이미지 데이터 D_sf의 부분집합(subset) 및 상기 목표 메타-프레임의 메타-행들 X_d에 포함된 상기 소스 프레임 이미지 데이터 D_sf를 보간함으로서 얻어지는 목표 프레임의 상대적인 위치를 포함한다. 복수의(예를 들어, 4개) 인접한 복수의 비스듬히 단계적인(diagonally step-oriented) 메타-행들 X_d은 상기 목표 프레임의 각 행 R_d를 보간하기 위해 요구되는 이미지 데이터 D_sf를 포함한다.

상기 목표 프레임의 4개의 코너들(corners) (0, 0), (0, dst_w), (dst_h, 0) 및 (dst_h, dst_w)와 아핀 계수들(affine coefficients) P(n) (sx, sy, rx, ry, tx, ty)은 대응하는 소스 프레임 데이터 위치들을 계산하기 위해 제1아핀 변환 엔진(6220)으로 보내진다. 아핀 계수들을 스케일링하는 것은 상기 소스 프레임 데이터가 상기 목표 프레임을 보간하기 위해 이용 가능하다는 것을 보장한다.

도 3의 직사각형 소스 프레임은 직사각형 목표 프레임(점선들로 회전하여 보여짐) 픽셀의 수평 행 Rd와 대응되는 메타 행 Xd에서 픽셀들의 각 파단선의 시작과 종료 위치들을 확인하는 것을 나타낸다. 한 세트의 수평 위치들 X'[1]의 한 세트는 본래 소스 프레임의 픽셀들의 각 행에서 상위 파단선(upper breaking line)의 교차점을 나타낸다. 수평 위치들 Xs[0][n]의 세트는 원래의 소스 프레임의 픽셀들의 각각의 행에서 남은 파단선(left breaking line)의 교차점에서 목표 메타-프레임의 MxN 픽셀들 중에서 각 메타-행의 "시작"을 나타낸다. 한 세트의 수평한 위치들 Xs[M][n]은 원래의 소스 프레임의 픽셀들의 각 행에서 남은 파단선의 교차점에서 목표 메타-프레임의 픽셀들의 각 메타-행의 "종료"를 나타낸다.

도 4는 크로마 메타 프레임 버퍼(6241-C)와 목표 프레임의 3개의 예시적인 픽셀들의 보간 윈도우들(interpolation windows)의 블록도를 나타낸다. 크로마 메타 프레임 버퍼(6241-C)는 도 2의 DIS 보상 유닛(6000)의 크로마 C 메타-프레임 버퍼(6241-C)에 저장된 도 3에 나타난 예시적인 목표 메타-프레임의 7개의 수평화된 메타-행들의 부분을 보여준다. 상기 보간 윈도우들 중 2개는 본 발명의 실시 예에 따라 수직 파단선(vertical break line)에 의해 나누어진/이동된/스텝된(being split/shifted/stepped) 것이다.

도 4에 나타난 것은 도 2의 DIS 보상 유닛(6000)의 크로마 C 메타-프레임 버퍼(6241-C)의 7개의 라인 버퍼들(LB0~LB6)에 저장된 도 3에 나타난 예시적인 목표 메타-프레임의 7개의 수평화된 메타-행들의 부분이다. 또한, 도 4는 상기 목표 프레임의 3개의 예시적인 픽셀들의 보간 윈도우들을 나타낸다. 상기 보간 윈도우들 중 2개는 수직 파단선에 의해 나누어진/이동된/스텝된(being split/shifted/stepped) 것이다. 각 보간 윈도우는 보간 윈도우를 통해 수직으로 지나는 각 파단선에 의해 나누어지거나/이동되거나, 만약 어떤 파단선도 보간 윈도우를 통해 수직으로 지나지 않는다면, 파단선에 의해 나눠지거나/이동되지 않는다. 실선 모서리들(solid-line corners)과 점선의 측면 라인들(dotted side lines)을 포함하는 4x4 보간 윈도우는 파단선에 의해서도 나눠지지 않고, 이것은 완전한 정사각형(intact square)이다. 실선 모서리들과 점선의 측면 라인들을 포함하는 4x4 보간 윈도우는 열(column) 그룹(scg0)만의 데이터 및 소스 프레임의 4개의 행들 R_s (x'-1, x, x'+1, x'+2)의 데이터를 포함한다.

점선을 갖는 4x4 보간 윈도우는 보간 윈도우의 3번째와 4번째 열들 사이에서 하나의 파단선에 의해 나누어지고(split), 따라서 상기 파단선에 의해 나누어지고이동(shift)된다. 따라서 4x4 보간 윈도우의 왼쪽 3x4 부분은 점선을 가진다. 상기 왼쪽 3x4 부분은 열 그룹(scg0)의 데이터 및 열 그룹(scg1)의 데이터를 포함한다. 상기 보간 윈도우의 오른쪽 부분 1x4은 열 그룹(scg1)의 데이터를 포함하고, 상기 보간 윈도우의 왼쪽 부분 3x4는 파단선에 의해 나누어진 열 그룹(scg0)의 데이터를 포함한다. 상기 점선을 갖는 4x4 보간 윈도우는 상기 소스 프레임의 4개의 행들 R_s (x'-1, x', x'+1 및 x'+2)만의 데이터를 포함하는 반면, 상기 점선을 갖는 4x4 보간 윈도우는 5개의 라인 버퍼들(LB1, LB2, LB3, LB4 및 LB5)을 포함한다. 왜냐하면 이는 상기 라인 버퍼들에서 상기 목표 메타-프레임의 4x4 보간 윈도우의 수평화 때문이다.

쇄선(dashed line)을 갖는 4x4 보간 윈도우는 4x4 보간 윈도우의 첫 번째와 두 번째 열들 사이의 같은 파단선에 의해 나누어지고, 따라서 같은 파단선에 의해 나누어지고 이동된다. 따라서 쇄선을 갖는 상기 4x4 보간 윈도우의 오른쪽 3x4 부분은 열 그룹 (scg1)의 데이터를 포함하나, 상기 4x4 보간 윈도우의 왼쪽 1x4 부분은 파단선에 의해 나누어진 열 그룹(scg0)의 데이터를 포함한다. 쇄선을 갖는 상기 4x4 보간 윈도우는 소스 프레임의 4개의 행들 R_s (x'-2, x'-1, x' 및 x'+1)의 데이터만을 포함하나, 쇄선을 갖는 상기 4x4 보간 윈도우는 5개의 라인 버퍼들(LB0, LB1, LB2, LB3 및 LB4)을 포함한다.

도 5는 도 3에서 보여진 예시적인 목표 메타-프레임의 14개의 대각선 방향의 메타 행들 X_d의 부분의 상세한 다이어그램이다. 상기 14개의 대각선 방향의 메타 행들 X_d의 부분은 목표 메타-프레임 내의 복수의 나누어진/이동된/스텝된 열 그룹들(scg)을 정의하는 복수의 규칙적으로 배치된 수직 파단선을 나타내는 도 2의 소스 프레임 버퍼(6230)에 저장된다.

도 3 및 도 5를 참조하면, 각 대각선 방향의 메타-행 X_d는 회전하지 않거나 아주 약간 회전한 경우에 0개의 파단선부터 ±45°회전의 경우에 하나의 픽셀 폭(width) 마다 하나의 파단선까지의 범위를 가지는 복수의 수직 파단선들에 의해 나누어진다. 주어진 목표 메타-프레임의 모든 메타-행들 X_d는 같은 수평 정도(horizontal extent)를 갖기 때문에, 그리고 복수의 파단선들은 (각각의 스텝된 열 그룹의 폭(width)에서, 예컨대, scg0) 규칙적으로 배치되어 있기 때문에, 상기 목표 메타-프레임의 모든 메타-행들 X_d은 상기 목표 프레임의 수평 이동(horizontal shifting), 회전 각, 및 수평 사이즈(horizontal size)에 의해 ±1의 변화로 대략 같은 수의 파단선들을 갖는다. 작은 회전 각도에 대해, 상기 목표 메타-프레임의 각 메타-행 X_d은 0, 1, 또는 2개의 파단선들을 가질 것이다. 하나 또는 그 이상의 파단선들을 포함하는 모든 메타-행들은 대각선으로 분배된 소스 프레임 데이터 D_sf를 필수적으로 가질 것이다. 상기 소스 프레임 데이터 D_sf 는 소스 프레임(예컨대, 소스 프레임 열들 x', x'-1, x'-2 및 x'-3 등 내에서)의 복수의 행들 R_s로 나눠진다(예컨대, 소스 프레임 열들 x', x'-1, x'-2 및 x'-3 등 내에서).

도 6은 도 3에 나타난 예시적인 목표 메타-프레임의 9개의 수평화된 메타-행들의 부분의 상세한 다이어그램이다. 상기 9개의 수평화된 메타-행들의 부분은 루마(luma) Y 메타-프레임 버퍼(6241-1-Y; 본 발명의 제1실시 예에 따른 도 2의 보상 유닛(6000)의 도면 번호 6241-Y의 실시 예)에 저장된다. 8-비트 4:2:2 (단일 평면(single plane), 인터리브 포맷(interleave format)에서 YC 데이터) 데이터 포맷은 ±45°까지의 회전 각을 가지는 이 실시 예에 의해 완전히 지원된다.

도 4 및 도 6을 참조하면, 상기 목표 메타-프레임의 하나의 메타-행 R_d의 소스 프레임 데이터 D_sf가 하나의 라인-버퍼로 복사(copy)되었을 때, 소스 프레임의 2 또는 그 이상의 다른 행들 R_s (예를 들어, x', x'-1, x'-2, x'-3 등으로부터)의 소스 프레임 데이터 D_sf는 상기 목표 메타-프레임의 상기 하나의 메타-행 X_d의 수평화된 소스 프레임 데이터 D_sf를 저장하기 위해 선택된 라인-버퍼로 복사된다.

도 5 및 도 6은 대각선 방향의 메타-행들을 수평화하는 방법의 결과를 나타낸다. 도 5에서, 목표 프레임의 메타-프레임의 14개의 메타-행들 X_d내에서 상기 소스 프레임 이미지 데이터 D_sf의 부분만이 도시된다. 도 5에 도시된 각의 메타-행들 X_d는 X_d[9][ ], X_d[18][ ], X_d[27][ ]에서 같은 한 세트의 파단선들(예컨대, 9개의 픽셀 폭(widths)에 의해 분리된)에 의해 나누어진다. 따라서, 도 5에 도시된 각 메타-행들 X_d의 부분은 소스 프레임의 4개의 행들 R_s (예컨대, 제1메타 행에서 x'+3, x'+2, x'+1, 및 x)의 소스 프레임 이미지 데이터 D_sf를 포함한다. 목표 프레임의 메타-프레임 내에서 보간된 목표 프레임의 경계(border)가 나타난다. 도 5에 대각선으로 배치된 것처럼 보여진 7개의 같은 메타-열들 X_d는 도 6에서 7개의 라인 버퍼들(LB0, LB1, LB2, LB3, LB4, LB5, 및 LB6)에서 수평화된 것으로 나타난다. 도 6에 나타난 바와 같이, 각 열 그룹 세그먼트(each column group segment; 예컨대, scg0, scg1 등)안에 배치된 주어진 메타-행 X_d의 세그먼트(segment)는 같은 라인 버퍼로 복사된다. 이것이 수평화 단계이다. 예를 들어, 도 5에서, 제1메타-행 X_d는 목표 프레임의 scg0와 행 x'+3 내에서 제1세그먼트와, 목표 프레임의 scg1과 행 x'+2 내에서 제2세그먼트를 포함하고, 목표 프레임의 scg2와 행 x'+1 내에서 제3세그먼트와, 목표 프레임의 scg3와 행 x' 내에서 제4세그먼트를 포함한다. 도 6에서, 목표 메타-프레임에서 제1 메타-행 X_d의 제1세그먼트, 제2세그먼트, 제3세그먼트, 및 제4세그먼트가 메타-프레임 버퍼 메모리(6241-1-Y)의 제1라인 버퍼(LB0)로 모두 복사(copy)되는 것이 도시된다. 도 2의 DMA 컨트롤러/리드 마스터(read master; 6232)는 제1아핀 변환 엔진(the first affine transform engine; 6220)의 제어 하에, 상기 목표 메타-프레임의 각 메타-행 X_d에 대해 순차적으로 선택적인 카피-앤드-페이스트(copy-and-paste) 동작을 수행한다. 도 6의 수평화된 메타-프레임 버퍼(horizontalized meta frame buffer; 6240)에서 루마 Y 메타-프레임 버퍼 (luma Y meta frame buffer; 6241-Y)의 실시 예 6241-1-Y는 목표 프레임의 전체의 메타-프레임의 루마 Y 데이터를 저장한다. 따라서, 도 2의 DMA 컨트롤러/리드 마스터(6232)는 전체의 목표-메타 프레임의 요구되는 소스 이미지 데이터를 도 6의 루마 메타-프레임 버퍼(6241-1-Y)로 카피-앤드-페이스트 할 수 있다. 다양한 다른 실시 예에서, 도 2의 DMA 컨트롤러/리드 마스터(6232)는 목표 메타-프레임의 각각의 전체의 열 그룹 일부분에 대해 순차적으로 카피-앤드-페이스트 동작을 수행하고, 라인 버퍼들에서 메타-프레임의 모든 메타-행들이 수평화되어 저장될 때까지 각 열 그룹(예를 들어, scg0, 다음에 scg1, 등등)을 라인 버퍼들로 순차적으로 기록(write)한다. 도 7B, 9, 10, 및 11의 다른 실시 예에서, 도 2의 DMA 컨트롤러/리드 마스터(6232)는 목표 메타-프레임의 7개의 메타-행들에 대해 전체의 목표 프레임의 보간을 위해 재사용된 7개의 라인-버퍼들 (LB0~LB6)를 갖는 버퍼로 카피-앤드-페이스트 동작을 수행한다.

도 2, 3, 및 4를 참조하면, 이하 상술할 것과 같이, DMA 컨트롤러(6232)는 소`스 프레임의 복수의 행들 R_s로부터 목표 프레임의 행들 R_d과 관련된 메타-행들 에서 대각선으로 분배된(diagonally distributed) 소스 프레임 이미지 데이터 D_sf를 독출(read)한 뒤, 메타-프레임 버퍼(6241-Y)의 루마(Y) 라인-버퍼들 및 메타-프레임 버퍼(6241-C)의 크로마(chroma; C) 라인-버퍼들로 수평화된 이미지 데이터 D_sf를 기록한다. 다음에, 제2아핀 변환 엔진(the second affine transform engine; 6250)은 (회전된) 목표 프레임의 각 하나의 보간된 픽셀을 생성하기 위한 라인 버퍼들 에 저장된 수평화된 루마 및 크로마 소스 데이터(예를 들어, 4:2:2의 경우에, 루마 Y 데이터의 4x8 픽셀들 및 크로마 C 데이터의 4x4 픽셀들)의 보간 윈도우(예컨대, 4x4 또는 4x8 픽셀 영역들)를 독출하고, 래스터 순서(raster order)에 따라 (회전된) 목표 프레임의 각 행의 보간된 픽셀들을 출력한다.

목표(target) 소스 프레임 데이터 억세스(access) 메모리 주소는 아핀 변환 방정식(affine transform equation)과 수신된 P(n)의 아핀 변환 계수들을 이용함으로써 계산된다. 독출 DMA 채널들은 128-비트 데이터 버스 폭을 갖는 AXI 버스 마스터 인터페이스를 통하여 버퍼(6230) (또는 외부 DRAM)에서 소스 프레임을 억세스(access)한다.

도 7A는 도 2의 DIS 보상 유닛(6000)의 소스 프레임 버퍼(6230)에 저장된 소스 프레임 이미지에서 목표 메타-프레임의 복수의 대각선 방향의(diagonally step-oriented) 메타-행들을 순차적으로 수평화하는 방법에 관한 제1 실시 예의 흐름도이다. 이 방법은 래스터 순서에 따라 픽셀들의 무빙-윈도우 보간(moving-window interpolation)을 위하여 모든 수평화된 이미지 데이터 D_sf를 메타-프레임 버퍼(6240)의 모든 행들로 기록한다. 이 단계는 도 2의 DIS 보상 유닛(6000)의 제2아핀 변환 엔진(6250)에 의해 수행된다.

S6110 단계에서, 계수 인자(scaling factor)를 포함하는 아핀 변환 계수(affine transform coefficients)는 목표 프레임 면적(dimensions) MxN을 설정하여 목표 프레임 데이터 D_df를 보간하기 위해 필요한 모든 프레임 데이터 D_sf가 소스 프레임 영역에서 이용 가능하도록 소스 프레임 차원 M'xN'에 기초하여 설정된다.

S6112 단계에서, 루프 인덱스(loop index)는 목표 메타-프레임의 제1 메타-행 X_d=0이 선택될 수 있도록 초기화된다. S6120-A 단계에서, 소스 이미지에서 목표 메타-프레임의 현재의 메타-행 X_d의 수평 및 수직 위치의 시작 주소는 제1아핀 변환 엔진(6220)에 의해 계산된다. S6130-A 단계에서, DMA 컨트롤러(6232)는 선택된 메타-행 X_d에서 소스 이미지 데이터를 소스 프레임 버퍼(6230)에서 수평화된 메타-프레임 버퍼(6240)의 라인 버퍼들 중 어느 하나로 복사한다. S6142 단계에서, 목표 이미지의 행 R_d는 수평화된 메타-프레임 버퍼(6240)의 라인 버퍼들로 복사되고 수평화된 메타-행 X_d에 기초한 보간을 위하여 선택된다.

S6150 단계에서, 만일 목표-프레임의 선택된 행 R_d에 대응하는 메타-행 X_d의 모두 요구되는 소스-이미지 데이터 D_sf가 수평화된 메타-프레임 버퍼(6240)에 저장될 때, 목표-프레임의 선택된 행 R_d의 모든 픽셀들의 보간 방법(도 8의 단계 6230)이 실행되고 선택된 행 R_d의 보간된 목표 프레임 데이터 D_df는 래스터 순서에 따라 출력된다.

dS6180 단계에서, 목표 프레임의 모든 행들 R_d가 보간되었는지 여부가 체크(check)된다. 만약 결정 단계 dS6180에서 목표 프레임의 모든 행들 R_d가 보간되지 않을 때(dS6180의 NO 가지(branch)), 메타-행 인덱스 숫자(meta row index number)는 증가하고(S6182-A 단계) 상기 방법은 루프의 다음 실행 시작점에서 S6120-A 단계를 반복한다. 만약 결정 단계 dS6180에서 목표 프레임의 모든 행들 R_d가 보간되었을 때(dS6180의 YES 가지), 현재의 소스 프레임의 목표 프레임을 보간하는 방법이 완료된다.

실제로, 목표-프레임의 선택된 행 R_d의 픽셀들을 보간하는 단계(도 8의 S6230 단계)는 라인 버퍼들의 제1 세트를 이용하여 수행됨과 동시에(병렬 경로(parallel path)) S6130-A 동안 라인 버퍼들의 제2세트로 소스 프레임 데이터가 복사되고, 선택된 행 R_d의 보간된 목표 프레임 데이터 D_df는 래스터 순서로 출력된다. 따라서, 상기 방법의 병렬-경로 구현에 있어서, 목표 프레임의 행들 R_d을 보간하는 단계(도 8의 S6230)는 루프(loop)에서 메타-행 복사 단계(S6130-A)의 진행 바로 뒤에서 병렬적으로 진행될 수 있다. 이 실시 예는 풀 사이즈 수평화된 메타-프레임 버퍼(full sized horizontalized meta-frame buffer; 6240)을 제공함에 따라 구현될 수 있다. 수평화된 메타-프레임 버퍼(6240)에서 전체 목표 프레임을 보간하는데 필요한 모든 소스 프레임 데이터 D_sf가 복사되고 저장된다. 다른 다양한 실시 예에서, 수평화된 메타-프레임 버퍼(6240)에서 복수의 라인 버퍼들은 다른 시점에서(different times) 목표 프레임의 다른 메타-행들의 소스 프레임 데이터 D_sf를 저장하기 위한 라인-버퍼들을 재사용함으로써 감소될 수 있다. 예컨대, 만약 보간 윈도우가 4x8 이고, 바람직한 최대 회전각이 ±45°일 때, 수평화된 소스 프레임 데이터로 채워진 11개까지의 라인 버퍼들이 목표 프레임의 하나의 행 R_d의 픽셀들을 보간하기 위해 필요하다. 따라서, 11개의 라인 버퍼들을 필수적으로 포함하는 수평화된 메타-프레임 버퍼(6240)는 ±45°의 회전 각도로 래스터 순서로 목표 프레임의 모든 행들 R_d의 모든 픽셀들을 4x8 보간하기 위해 최소한 충분하다. 11개 보다 적은 라인 버퍼들을 제공하는 것은 4x8 보간할 수 있는 회전 각을 효과적으로 줄일 수 있다. 반면에, 11개보다 많은 라인 버퍼들을 제공하는 것은 행들 R_d의 순서의 4x8 보간을 위해, 예컨대, 어떤 보간 윈도우들을 나누는(splitting) 수평 파단선의 맵핑(mapping)에 기초하여, 라인 버퍼들의 라운드-로빈(round-robin) 재사용을 가능하게 한다.

도 7B는 도 2의 DIS 보상 유닛(6000)의 소스 프레임 버퍼(6230)에 저장된 소스 프레임 이미지에서 목표 메타-프레임의 복수의 대각선 방향의(diagonally step-oriented) k+1 메타-행들의 각 그룹을 순차적으로 수평화하는 방법에 관한 제2실시 예의 흐름도이다.

이 방법은 목표 메타-프레임의 k+1 행들로부터 메타-프레임 버퍼(6241-2-Y)의 (k+1)-라인 버퍼들로 수평화된 이미지 데이터 D_sf를 기록한다. 메타-프레임 버퍼 (6241-2-Y)의 (k+1)-라인 버퍼들에서 수평화된 이미지 데이터 D_sf는 도 2의 DIS 보상 유닛(6000)의 제2아핀 변환 엔진(6250)에 의해 래스터 순서로 목표 프레임의 하나 또는 그 이상의 행들 R_d에서 픽셀들의 무빙-윈도우 보간(moving-window interpolation)을 위해 다음에 위해 사용된다. (k+1)-라인 버퍼들에서 모든 수평화된 이미지 데이터 D_sf가 보간을 위해 사용된 후, 이 방법은 루프 백(loop back)하고 목표 메타-프레임의 k 행들로부터 메타-프레임 버퍼(6241-2-Y)의 (k+1)-라인 버퍼들로 수평화된 이미지 데이터 D_sf의 다음 k 행들을 기록한다.

S6110 단계에서, 계수 인자(scaling factor)를 포함하는 아핀 변환 계수들 (affine transform coefficients)은 목표 프레임 면적(dimensions) MxN을 설정하여 목표 프레임 데이터 D_df를 보간하기 위해 필요한 모든 프레임 데이터 D_sf가 소스 프레임 영역 내에서 이용 가능하도록 소스 프레임 차원 M'xN'에 기초하여 설정된다.

S6112 단계에서, 루프 인덱스(loop index)는 목표 메타-프레임의 제1 메타-행 X_d=0이 선택될 수 있도록, 그리고 수평화된 메타-프레임 버퍼(6240)에서 사용된 라인 버퍼들(k+1)의 개수가 결정되도록 초기화된다.

S6120-B 단계에서, 소스 이미지에서 목표 메타-프레임의 X_d부터 X_d _+k까지 선택된 메타-행들의 수평 및 수직 위치 소스 프레임 데이터 D_sf의 시작 주소는 제1아핀 변환 엔진(6220)에 의해 계산된다. S6130-B 단계에서, DMA 컨트롤러(6232)는 목표 메타-프레임의 X_d부터 X_d _+k까지 선택된 메타-행들의 소스 프레임 데이터 D_sf를 수평화된 소스 프레임 버퍼(6230)로부터 수평화된 메타-프레임 버퍼(6240)의 k+1 라인 버퍼들로 복사한다.

S6140 단계에서, 수평화된 메타-프레임 버퍼(6240)의 k+1 라인 버퍼들에 저장된 X_d부터 X_d _+k까지 메타-행들의 소스 프레임 데이터 D_sf에 기초한 모든 가능한 목표 프레임 픽셀 보간들이 실행된다.

보조단계 sS6142에서, 목표 이미지의 행 R_d는 수평화된 메타-프레임 버퍼 (6240)의 라인 버퍼들로 수평화되어 복사된 X_d부터 X_d _+k까지 메타-행들에 기초하여 보간을 수행하기 위해 (목표 행 인덱스를 설정함으로써) 선택된다.

보조단계 sS6150에서, 목표-프레임의 선택된 행 R_d에 대응되는 메타-행들 X_d의 요구되는 소스-이미지 데이터 D_sf는 수평화된 메타-프레임 버퍼(6240)에 저장되고, 목표-프레임의 선택된 행 R_d의 모든 픽셀들의 보간 방법(도 8의 S6230 단계)은 실행되고 선택된 행 R_d의 보간된 목표 프레임 데이터 D_df는 래스터 순서로 출력된다.

결정 단계 dS6180에서, 수평화된 메타-프레임 버퍼(6240)의 라인 버퍼들로 수평화되어 복사된 X_d부터 X_d _+k까지 메타-행들로부터 보간될 수 있는 목표 프레임의 모든 행들 R_d가 보간되었는지 여부가 체크(check)된다. 만약 결정 단계 dS6150에서 목표 프레임의 모든 보간 가능한 행들 R_d가 보간되지 않을 때(dS6150의 NO 가지), 메타-행 인덱스 숫자는 증가되고 상기 방법은 루프의 다음 실행의 시작점에서 S6120-A 단계를 반복한다. 따라서, 보조단계 sS6146에서, 목표 프레임 행 R_d의 인덱스는 증가되고, 보조단계 sS6150는 다음 목표 프레임 행 R_d ₊₁을 위해 반복된다.

만약 결정 단계 dS6180에서 목표 프레임의 모든 보간 가능한 행들 R_d가 보간될 때(dS6150의 YES 가지), 보간된 메타-프레임 버퍼(6240)의 라인 버퍼들에서 수평화되어 복사된 메타-행들 X_d에 기초하여 보간될 수 있는 열들 R_d의 보간이 완료된다.

결정 단계 dS6180에서 목표 프레임의 모든 행들 R_d가 보간되었는지 여부가 체크(check)된다. 만약 결정 단계 dS6180에서 목표 프레임의 모든 행들 R_d이 보간되지 않을 때 (dS6180의 NO 가지), 메타-행 인덱스 숫자는 증가되고 (예컨대, S6182-B 단계에서 k-1까지) 상기 방법은 루프의 다음 시작점에서 S6120-B 단계를 반복한다. 만약 결정 단계 dS6180에서 목표 프레임의 모든 행들 R_d가 보간될 때(dS6180의 YES 가지), 현재의 소스 프레임의 목표 프레임을 보간하는 방법이 완료된다.

목표 프레임의 선택된 행 R_d의 픽셀들을 보간하는 단계(도 8의 S6230 단계)는 k+1 라인 버퍼들에 저장된 수평화된 이미지 데이터 D_sf를 이용하여 수행된다. 회전 각에 따라, 목표-프레임의 추가적인 행들 R_d의 보간은 k+1 라인 버퍼들에 저장된 수평화된 이미지 데이터를 이용하여 수행될 수 있다. 예컨대, 만약 k가 11이라면 (12 라인 버퍼들), 목표-프레임의 2개의 행들 R_d는 ±45°의 회전각으로 4x8 보간될 수 있다. 유사하게, 만약 k가 11이라면 (12 라인 버퍼들), 목표-프레임의 5개의 행들 R_d는 ±45°의 회전각으로 4x4 보간될 수 있다.

이런 실시 예에 있어서, 수평화된 메타-프레임 버퍼(6240)에서 복수의 라인 버퍼들은 다른 시점에서(different times) 목표 프레임의 다른 메타-행들의 소스 프레임 데이터 D_sf를 저장하기 위한 라인-버퍼들을 재사용함으로써 감소된다. 예컨대, 만약 보간 윈도우가 4x8 이고, 바람직한 최대 회전각이 ±45°일 때, 수평화된 소스 프레임 데이터로 채워진 11개 라인 버퍼들이 목표 프레임의 하나의 행 R_d의 픽셀들을 보간하기 위해 필요하다. 따라서, 11개의 라인 버퍼들을 필수적으로 포함하는 수평화된 메타-프레임 버퍼(6240)는 ±45°까지의 회전 각도로 래스터 순서로 목표 프레임의 모든 행들 R_d의 모든 픽셀들을 4x8 보간하기 위해 최소한 충분하다. 11개보다 적은 라인 버퍼들을 제공하는 것은 4x8 보간할 수 있는 회전 각을 효과적으로 줄일 수 있다. 반면에, 11개보다 많은 라인 버퍼들을 제공하는 것은 행들 R_d의 순서의 4x8 보간을 위해, 예컨대, 어떤 보간 윈도우들을 나누는(splitting) 수평 파단선의 맵핑(mapping)에 기초하여, 라인 버퍼들의 라운드-로빈(round-robin) 재사용을 가능하게 한다.

도 8은 도 2의 메타-프레임 버퍼(6240)에 저장된 목표 메타-프레임의 수평화된 메타-행들에 이미지 데이터 D_sf로부터 무빙-윈도우 보간(moving-window interpolation)에 의해 목표 프레임의 각 행 R_d의 각 픽셀을 순차적으로 보간하는 방법의 실시 예에 관한 흐름도이다.

결정 단계 dS6210에서, 현재 선택된 목표 프레임 행 R_d의 보간을 진행하기 위해, 수평화된 메타-프레임 버퍼(6240)에서 충분한 수평화된 소스 프레임 데이터 D_sf가 이용 가능한지 여부가 결정된다.

만약 충분한 수평화된 소스 프레임 데이터 D_sf가 이용 가능할 때 (결정 단계 dS6210의 YES 가지), 목표 프레임의 현재 선택된 행 R_d의 보간은 수평화된 메타-프레임 버퍼(6240)의 라인 버퍼들에 위치한 요구되는 소스 프레임 데이터 D_sf의 수직 위치 및 수평 위치를 확인하는 것부터 시작한다. 현재의 행 R_d의 보간을 위한 수직 시작 위치는 회전 각에 의존하고 S6220 단계에서 계산된다. 유사하게, 목표 프레임의 현재 행 R_d에서 제1픽셀 (제1열 C_d=0)의 보간을 위한 수평 시작 위치는 회전각에 의존하고 S6220 단계에서 계산된다.

S6230 단계에서 목표-프레임의 현재 선택된 행 R_d의 모든 픽셀들의 보간 방법은 수행되고 선택된 행 R_d의 보간된 목표 프레임 데이터 D_df는 래스터 순서로 출력된다. 보조 단계 sS6232에서, 목표 프레임의 열 C_d 및 행 R_d에서의 픽셀은 라인 버퍼들(예컨대, 4x4 또는 4x8 보간 윈도우를 사용)에 저장된 수평화된 이미지 데이터 D_sf로부터 보간된다. 결정 단계 dS6234에서, 목표 프레임의 현재 선택된 행 R_d의 마지막 열 (C_d=M)에서의 픽셀이 보간되었는지 여부가 결정된다. 만약 현재 선택된 행 R_d의 마지막 픽셀 (C_d=M)이 보간되지 않을 때(결정 단계 dS6234의 NO 가지), 열(column) 인덱스는 증가하고(R_d=R_d+1), 보간 보조 단계 sS6232는 목표 프레임의 현재 선택된 행 R_d에 다음 픽셀에 대해 반복된다. 만약 현재 선택된 행 R_d의 마지막 픽셀 (C_d=M)이 보간될 때(결정 단계 dS6234의 YES 가지), 결정 단계 dS6250은 목표 프레임의 마지막 행 (R_d=N)이 보간되었는지 여부를 판단하기 위해 다음에 수행된다.

만약 목표 프레임의 마지막 행 (R_d=N)이 보간되지 않을 때(결정 단계 dS6234의 NO 가지), 행 인덱스는 증가하고 (R_d=R_d+1), 결정 단계 dS6210의 실행은 목표 프레임의 다음 행 R_d를 위해 반복된다. 만약 목표 프레임의 마지막 행 (R_d=N)이 보간될 때(결정 단계 dS6234의 YES 가지), 목표 프레임은 전부 보간되고 모든 목표 프레임 데이터 D_df는 래스터 순서로 출력된다.

도 9는 도 2의 수평화된 메타-프레임 버퍼(6240)에 루마 Y 메타-프레임 버퍼(6241-Y)의 실시 예 6241-2-Y의 메모리 맵(memory map)이다. 상기 메모리 맵은 보간을 위해 소스 프레임 데이터 D_sf의 정렬(alignment)과 시작 위치를 보여준다. 이 실시 예에서 7-라인 버퍼(6241-Y)는 도 8B의 방법의 단계를 수행하기 위해 제공된다. 싱글 포트(single port) SRAM이 각 라인 버퍼(LB0~LB6)를 위해 사용될 수 있다. 7개의 라인 버퍼들은 목표 프레임 행 R_d의 보간 과정 중에 동시에 독출할 수 있다. 상기 7개의 라인 버퍼들이 동시에 독출되는 동안에 하나 또는 그 이상의 추가적인 라인-버퍼들(미도시)이 다음 목표 프레임 행 R_d ₊₁의 보간을 위해 요구되는 소스 프레임 데이터 D_sf로 기록될 수 있다. 소스 프레임 데이터 D_sf의 4x8/4x4 윈도우 영역은 목표 프레임의 각 픽셀의 보간 동작을 위해 요구된다. 회전 특징 때문에, 하나의 목표 프레임 행 R_d를 보간하기 위해 필요한 상기 요구되는 소스 프레임 데이터 D_sf는 상기 소스 프레임 데이터(도 4의 4x4 픽셀 보간 윈도우의 다이어그램 및 도 13 및 14의 4x8 보간 윈도우 영역의 다이어그램 참조)를 포함하는 4 이상의 라인 버퍼들을 포함할 수 있다. 따라서 복수의 (예컨대, 7개의) 라인 버퍼들이 보간 윈도우 동작을 지원하기 위해 제공될 수 있다. 8-비트 4:2:2 (단일 평면, 인터리브(interleave) 포맷에서 YC 데이터) 데이터 포맷은 ±22.5°까지의 회전각을 가지는 실시 예에 의해 지원된다. 상기 회전각은 DIS 보상을 위해 충분한 각 범위일 수 있다. 다른 실시 예에서, 4:2:2 크로마 서브샘플링(chroma subsampling)의 경우에 ±45°까지의 회전각을 지원하기 위해, 11-라인 버퍼(6241-Y) 및 7-라인 버퍼 (6241-C)가 제공된다.

DMA 컨트롤러(6232)는 소스 프레임 데이터 D_sf를 독출하고, 상기 소스 프레임 데이터 D_sf를 7개의 루마 Y 라인-버퍼들 6241-Y (6241-2-Y 참조) 및 7개의 크로마 (C) 라인-버퍼들 6241-C에 기록한다. 다음, 제2아핀 변환 엔진(6250)은 보간된 (예컨대, 회전된) 목표 프레임의 각 하나의 픽셀을 생성하기 위해 라인 버퍼들로부터 소스 프레임 루마 Y 데이터의 4x8 픽셀 윈도우 영역 (그리고, 4:2:2 크로마 서브 샘플링의 경우에, 소스 프레임의 소스 프레임 크로마 데이터의 4x4 픽셀 윈도우 영역)을 독출하고, 래스터 순서로 회전된 이미지(목표 프레임)의 픽셀들을 출력한다.

도 2를 다시 참조하면, 도 9의 실시 예 6241-2-Y에 따라, 16개의 1152x17 내부 SRAMs (루마 Y 버퍼 6241-Y를 위한 8개 그리고 크로마 C 버퍼 6241-C를 위한 8개)은 ±22.5°의 회전각까지로 목표 출력 이미지의 HD 해상도(1920x1080)를 지원하는 적당한 보간 윈도우 데이터를 제공하기 위해 메타-프레임 버퍼(6240)의 복수의 라인 버퍼들로서 사용될 수 있다. 더 큰 수평 이미지 사이즈는 수평 라인 버퍼 면적(dimension)을 증가시킴으로서 지원될 수 있다.

도 8B의 방법을 실행함에 있어, 제1아핀 변환 엔진(6220)은 루마 Y 메타-프레임 버퍼(6241-2-Y)의 처음 7개의 라인 버퍼(the first seven line buffers)들을 채우는 DMA(direct memory access) 컨트롤러/리드 마스터(6232)를 제어하기 위한 수평 위치 정보(예컨대, 독출 주소)를 생성한다. 상기 수평 위치 정보는 파단선 위치 정보(예컨대, 1 비트)를 더 포함한다. 상기 파단선 위치 정보는 래스터 순서로 목표 프레임의 픽셀들을 보간(회전(rotating), 스케일링)하는 동안 사용을 위해 제2아핀 변환 엔진(6250)으로 전송된다.

목표 메타-프레임의 각 메타-행 X_d의 왼쪽 끝의 위치가 상기 목표 메타-프레임의 각 메타-행 X_d의 왼쪽 끝의 위치와 대응되는 라인 버퍼(예컨대, LB0~LB5)내에서 복사될 때, 상기 수평 위치 정보는 상기 목표 메타-프레임의 각 메타-행 X_d의 왼쪽 끝의 위치에 기초한 수평 시작 위치 정보(예컨대, LB0-LB5)를 더 포함한다. 예컨대, 라인 버퍼들 LB0-LB5에 수평화되어 저장된 목표 메타-프레임의 메타-행들 X_d의 각 좌측 끝은 LB0-LB5 중에서 각각의 라인 버퍼의 좌측 끝으로부터 8 픽셀들에 위치할 수 있다. 도 9의 두꺼운 어두운 선들의 직사각형은 라인 버퍼들 LB0-LB5에 수평화되어 저장된 목표 메타-프레임의 6x15 픽셀 영역을 나타내고 있으며, 상기 직사각형은 라인 버퍼들 LB0-LB5의 좌측 끝으로부터 수평 시작 지점(예컨대, HstartLB0-5) 8 픽셀들에 위치한다. 라인 버퍼 LB6에 저장된 메타-행 X_d의 이미지 데이터는 라인 버퍼들 LB0-LB5에 저장된 메타-행들 X_d의 이미지 데이터와 정렬되지 않는다. 따라서, 라인 버퍼 LB6에 저장된 메타-행 X_d의 이미지 데이터는 다른 수평 라인 버퍼 메모리 주소에서 시작한다.

각 목표(target) 소스 프레임 데이터 억세스(access) 메모리 주소는 APB 버스를 통하여 수신된 주요 변환(principal transform) P(n) 의 아핀 계수들에 기초한 아핀 변환 방정식(affine transform equation)에 의해 계산된다. 독출 DMA 채널들은 AXI 버스 마스터 인터페이스(bus master interface)를 통하여 소스 프레임 버퍼(6230) (또는 외부 DRAM)를 억세스(access)한다. 상기 AXI 버스 마스터 인터페이스는 128-비트 데이터 버스 폭일 수 있다. AXI 버스에서 DMA/독출 마스터(6232)는 APB I/F(6212) 및 하나 또는 그 이상의 환경 설정 레지스터(6210)를 통하여 APB 버스로부터 수신된 이미지 위치 및 회전 정보 P(n)에 기초한 제1아핀 변환 엔진(6220; first affine transform engine)으로부터 명령들(목표 소스 프레임 데이터 억세스 메모리 주소들)을 수신한다.

제1 아핀 변환 엔진(6220)은 대응하는 물리적 메모리 위치들을 생성하기 위한 아핀 파라미터들(affine parameters) sx, sy, rx, ry, tx, 및 ty에 기초하여 도 9의 6241-2-Y의 처음 7개의 라인 버퍼들(the first seven line buffers) LB0-LB6을 채우기 위해 필요한 소스 프레임 데이터 D_sf의 소스 프레임 버퍼(6230)에서 위치들을 확인한다. 도 3에 도시된 목표 프레임 (0, 0), (0, dst_w), (dst_h, 0) 및 (dst_h, dst_w)의 4개의 코너들(corners) 및 아핀 파라미터 (sx, sy, rx, ry, tx, ty)는 관련된 소스 프레임 데이터 위치들(주소들)을 계산하기 위해 제1아핀 변환 엔진(6220)에 의해 사용된다. 파단선들의 분배(distribution) 때문에, 요구되는 소스 프레임 데이터의 각 메타-행 X_d은 목표 메타 프레임 좌표 X_d[0][y]에서 각 메타-행의 제1픽셀의 위치에 기초하여 계산된 복수의 수평 시작 위치들을 포함할 수 있다. 상기 y는 메타-행들의 인덱스(index)이고 0부터 시작하여 목표 메타-프레임의 마지막 수직 위치 [N]까지 증가한다.

제1아핀 변환 엔진(6241)은 다음과 같은 아핀(회전) 방정식으로부터 파단선 위치 정보를 계산한다.

여기서 Yd=C(상수); Xd[m]은 Xd[0]=Xdi (최소)으로부터의 값; Xd[m]=Xde.(상수); Xd[m+1]=Xd[m]+1; 모든 Xs[m][C] 및 Ys[m][C]는 정수 위치로 반올림된다. X'[I]는 Ys[m][C]≠Ys[m-1][C]일때만 Xs[m][C]로 설정된다.

각 요구되는 소스 프레임 데이터는 시작 수평 위치(Xs[0][n])로부터 종료 수평 위치(Xs[M][n])까지 억세스(access)된다. 여기서 Yd는 0부터 M(목표 프레임의 최대 값)까지이고 Tx는 수평 오프셋이다.(도 3) 아핀 변환과 각 소스 수직 위치 계산(source vertical location calculation)을 위해, 목표 수직 위치는 하나 이상의 소스 프레임 행 진행(advance)할 수 있다. 이 경우 DMA 컨트롤러(6232)는 이전 (n-1)번째 행과 현재 (n+1)번째 행 사이의 (n)번째 행에서 소스 수직 위치를 설정하고 나서, (n+1)번째 행을 다음 소스 프레임 데이터 수직 시작 억세스 위치(next source frmae data vertical starting access location)로서 설정한다.

DMA 컨트롤러(6232)는 파단선 정보(소스 프레임 수직 라인 위치들)의 세트를 이용함으로써 메타-행마다 요구되는 소스 프레임 데이터 Dsf를 독출한다.

상기 파단선 정보의 세트는 상기 목표 메타-프레임 수평 좌표들 X_d[x][0]에 기초하여 계산된다. 여기서 x는 메타-행들에서 픽셀들의 열 위치의 인덱스이고 0부터 시작하여 목표 프레임의 행의 마지막 수평 픽셀 [M]까지 증가한다. DMA 컨트롤러(6232)에 의해 독출된 각 메타-행은 도 9의 루마 Y 메타-프레임 버퍼(6241-2-Y)의 하나의 라인-버퍼로 복사된다. 소스 프레임에서 파단선의 수평 위치들은 역시 모든 라인 버퍼들에서 수직으로 정렬되어 있기 때문에, 상기 파단선 정보는 역시 (도 12에서 하나의 비트 데이터로서 도시된 바와 같이)저장될 것이고 제2아핀 변환 엔진(6250)에 의해 수행되는 보간 과정 동안 보간 윈도우 모양을 정의하기 위해 사용될 것이다. X'[I]는 변화된 수직 위치를 나타낸다(증가 또는 감소는 회전 방향에 의존한다). DMA 컨트롤러(6232)는 목표 프레임의 수평 행에 맞추어 정렬된 라인 버퍼에서 요구되는 소스 프레임 데이터를 억세스(access)하고 저장하는 동안 다음 위치(주소) 정보는 소스 프레임 독출 과정 동안 저장되고 제2아핀 변환 엔진(6250)에 이용 가능하도록 만들어진다:

수평 시작 위치;

수직 시작 위치;

AXI 독출 처리 시작 및 종료 위치.

현재의 실시 예에서 AXI 데이터 버스의 선호되는(preferred) 데이터 버스 폭(data bus width)은 128 비트들이다(RDATA=WDATA=128 비트들). 따라서 각 AXI 독출 요구 처리는 올바른 모양 보간 윈도우 데이터(right shape interpolation window data)를 선택하기 위한 뿐만 아니라 만약 AXI 독출 데이터의 시작 또는 종료 위치가 128-비트로 정렬된 것이 아닐 때 여분의 데이터(redundant data)를 버리기 위해 제2보간 엔진(6250)이 알고 저장될 필요가 있는 파단선 위치 정보를 나타낸다. 우선적으로 하나의 AXI 독출 처리 내에서 각 유효한 요구되는 소스 프레임 데이터는 보간 동안 파단선 위치 사이의 같은 수평 위치에서 크로마 Cb, Cr 데이터 의 불일치를 방지하기 위해 루마 Y 데이터의 짝수 번째 픽셀 위치부터 시작한다.

요구되는 AXI 독출 처리 기준은 다음 조건에 의존한다:

파단선 조건과 픽셀 거리를 처리하는 아핀 변환(affine transform)은 각 라인의 첫번째 요구를 제외하고 마지막 파단선 위치로부터 7픽셀보다 많다;

이전 라인과 관련하여 정렬된 단선 위치(breaking location); 및

연속적으로 요구되는 소스 프레임 데이터 카운트(count)는 상기 2개의 조건들의 과정 동안 최대 AXI 버스트 처리 길이(AXI burst transaction length)에 이른다.

도 10은 도 8B의 방법의 단계들을 수행하기 위해 메타-프레임 라인-버퍼 6241-2-Y에 저장된 메타-행들의 무빙-윈도우 보간(moving-window interpolation)의 수평 시작 위치에서의 변화를 도시하는 도 9의 실시 예 6241-2-Y의 메모리 맵(memory map)이다.

도 8B의 방법의 실행에 있어, 제1아핀 변환 엔진(6220)은 루마 Y 메타-프레임 버퍼(6241-2-Y)의 처음 7개 라인 버퍼들 LB0-LB6을 채우기 위한 DMA(direct memory access) 컨트롤러/독출 마스터(6232)를 제어하기 위해 수평 위치 정보(예컨대, 독출 주소들)를 생성한다. 목표 메타-프레임의 각 메타-행 X_d의 왼쪽 끝의 위치가 상기 목표 메타-프레임의 각 메타-행 X_d의 왼쪽 끝의 위치와 대응되는 라인 버퍼(예컨대, LB0~LB5)내에서 복사될 때, 상기 수평 위치 정보는 상기 목표 메타-프레임의 각 메타-행 X_d의 왼쪽 끝의 위치에 기초한 수평 시작 위치 정보(예컨대, HstartLB0-5)를 포함한다. 예컨대, 라인 버퍼들 LB0-LB5에 수평화되어 저장된 목표 메타-프레임의 메타-행들 X_d의 각 좌측 끝은 LB0-LB5 중에서 각각의 라인 버퍼의 왼쪽 끝으로부터 16 픽셀들(HstartLB0~5-16)에 위치할 수 있다. 반면, 라인 버퍼 LB6에 수평화되고 저장된 목표 메타-프레임의 메타-행 Xd의 왼쪽 끝은 라인 버퍼 LB6의 왼쪽 끝으로부터 8 픽셀들(HstartLB6=8)에 위치한다. 라인 버퍼들 LB0~LB5에 저장된 이미지 데이터는 먼저 패치(fetch)된다. 수평 주소 포인터(horizontal address pointer)는 라인 버퍼들 LB0~LB5에 대해 8이고, 수평 주소 포인터는 라인 버퍼 LB6에 대해서는 0이지만, 소스 이미지 데이터의 같은 수평 위치를 가리킨다.

따라서, 라인 버퍼 LB6에 저장된 메타-행 X_d의 이미지 데이터는 다른 수평 라인 버퍼 메모리 주소에서 시작한다.

도 11은 메타-프레임 라인-버퍼(6241-2-Y)에 저장된 메타-행들의 무빙-윈도우 보간의 수직 시작 위치 위니쉬프트(winyshift)에서의 변화를 도시하는 도9의 라인-버퍼의 실시 예 6241-2-Y의 다이어그램이다. 목표 프레임의 각 행 R_d의 무빙 윈도우 보간 과정(moving window interpolation process) 동안 보간의 수직 위치를 나타내기 위한 도 8B의 방법을 수행하는 도 1의 DIS 회로의 도 2의 DIS 보상 유닛(6000)의 실시 예에서 2 비트 내부 신호들이 있다. 보간 윈도우 (x', y')의 라인 버퍼 위치의 센터는 파단선 지시자(breaking line indicator)에 의존하여 변한다.

표 1은 2 비트 내부 신호들의 의미를 보여준다.

표 1 라인 버퍼 수직 윈도우 범위 선택 명령(위니쉬프트)

WINYSHIFT[1:0]

00	라인 버퍼 위치의 센터는 처리(process) 위치와 같다
01	라인 버퍼 위치의 센터는 처리 위치의 하나 보다 크다
10	라인 버퍼 위치의 센터는 처리 위치의 하나 보다 작다
11	라인 버퍼 위치의 센터는 처리 위치의 둘 보다 작다

도 11에서 화살표가 제거된 라인들(arrow-terminated lines)에 의해 도시된 바와 같이, 라인 버퍼 LB0-LB6의 다른 세트들은 4개의 다른 위니쉬프트 명령들(four different winyshift commands)에 대응한다.

다음 센터 라인 위치(next center line location)를 나타내기 위해 3가지 타입의 라인 버퍼 수직 방향 행동(line buffer vertical direction action)이 있다. 만약 현재 센터 라인(current center line)이 n일 때,

1. 증가 - 다음 수직 소스 프레임 라인으로 진행 (n+1)

2 라인 반복 - 같은 수직 소스 프레임 라인에서 머뭄 (n)

3. 스킵 라인 - 2개의 수직 소스 프레임 라인으로 진행(n+2)

표 2는 라인 버퍼들에서 보간 윈도우 센터(interpolation window center)의 수직 방향 움직임(vertical direction movement)에 관련된 행동을 특징짓는다.

행동	상태
라인 반복	탑 라인 버퍼(top line buffer)가 사용되고 확인을 위해 상기 탑 라인 버퍼가 다시 사용되지 않을 때
스킵 라인	위니쉬프트 = 2'b11 일 때
증가	위의 두 상태들과 다른 경우

도 12는 수직 파단선 장소들(locations)의 위치(positions)를 나타내는 비트들을 저장하기 위한 라인 버퍼들을 포함하는 도 2의 메타-프레임 라인-버퍼(6240)에 저장된 루마 Y 및 크로마 (C_B 및 CR) 소스 프레임 데이터의 저장의 예시적인 모드(mode)의 다이어그램이다. 소스 이미지 데이터 (루마 Y 데이터 및 크로마 Cb, Cr 데이터) 및 파단선 정보 비트들은 도 12에 도시된 라인 버퍼들에 저장된다. 수직 파단선 장소들(locations)의 위치들(positions)을 나타내는 비트들은 수평 위치마다 1 비트를 포함하고, 상기 1 비트는 파단선의 존재 또는 부존재를 나타낸다.

도 13은 도 2의 수평화된 메타-프레임 버퍼(6240)에 하나의 수직 파단선에 의해 (소스 프레임에 대해 목적 프레임의 시계방향 회전에 기인하여) 나누어진 예시적인 4x8 픽셀 보간 윈도우의 모양을 나타내는 다이어그램이다. 원(circle)은 수평화에 이전에 4x8 픽셀 보간 윈도우의 수학적 중심(mathematical center)과, 보간되어야 할 목표 프레임의 픽셀의 대략의 위치를 나타낸다.

도 14(a) 및 14(b)는 목표 프레임의 다른 행들 R_d에서 픽셀들을 보간하기 위해 나누어지지-않은(non-split) 예시적인 4x8 픽셀 보간 윈도우들의 규칙적인 직사각형 모양과 수직 위치들을 도시하는 다이어그램이다. 도 14(a) 및 14(b)는 7-라인 수평화된 메타-프레임 라인-버퍼에 저장된 메타-행들의 무빙-윈도우 보간의 수직 시작 위치 위니쉬프트(vertical starting position winyshift)의 다른 값들을 나타낸다. 목표 프레임 픽셀들은 도 2의 수평화된 메타-프레임 버퍼(6240)에서 4개의 라인 버퍼들에 저장된 목표 메타-프레임의 4개의 수평의 메타-행들에 포함된 소스 프레임 데이터 D_sf로부터 보간된다. 각 수직 시작 위치 위니쉬프트(each vertical starting position winyshift)의 값 또한 나타낸다.

도 15(a)~15(e)는 도 2의 수평화된 메타-프레임 버퍼(6240)에 저장된 목표-메타 프레임의 수평 메타-행들에 포함된 소스 프레임 데이터 D_sf로부터 제1시계방향으로-회전된 목표 프레임의 다른 픽셀들을 보간하기 위해 나누어진(split) 예시적인 4x8 픽셀 무빙-윈도우들(moving-windows)의 모양 및 위치들을 나타내는 다이어그램이다. 도 15(a)~15(e)는 도 2의 수평화된 메타-프레임 버퍼(6240)에 하나의 수직 파단선에 의해 소스 프레임에 대한 목표 프레임의 시계 방향 회전에 기인하여 나누어진(split) 예시적인 4x8 픽셀 보간 윈도우의 모양을 나타내는 다이어그램이다. 각 수직 시작 위치 위니쉬프트(vertical starting position winyshift)의 값 역시 나타낸다.

도 15(f)~15(j)는 도 2의 수평화된 메타-프레임 버퍼(6240)에 저장된 목표 메타-프레임의 수평 메타-행들에 포함된 소스 프레임 데이터 D_sf로부터 제2반시계방향으로 회전된 목표 프레임의 다른 픽셀들을 보간하기 위해 나누어진 예시적인 4x8 픽셀 무빙-윈도우들의 모양 및 위치들을 나타내는 다이어그램이다. 도 15(f)~15(j)는 도 2의 수평화된 메타-프레임 버퍼(6240)에 하나의 수직 파단선에 의해 소스 프레임에 대해 목표 프레임의 반시계방향 회전에 기인하여 나누어진(split) 예시적인 4x8 픽셀 보간 윈도우의 모양을 나타내는 다이어그램이다.

도 14(a)~14(d) 및 도 15(a)~15(j) 각각에 있어서, 각 4x8 보간 윈도우 영역 내에는 적어도 하나의 파단선이 있다. 단지 하나의 파단선이 4x8 보간 윈도우 영역 내에서 발생할 것이기 때문에, 디자인 선택으로서의 이 제한은 구현 복잡성(implementation complexity)을 줄일 수 있지만, 보간될 수 있는 회전각의 범위를 줄인다. 적절한(correct) 소스 프레임 데이터는 파단선 마킹 점들(breaking line marking points)에 기초하여 수집되어야 한다. 보간 소스 프레임 데이터(interpolation source frame data)의 각 행은 같은 소스 프레임 라인으로부터 와야한다. 제2아핀 변환 엔진은 출력 좌표 정보를 제1아핀 변환 엔진에 의해 계산되고 어떤 내부 FIFOs 및 라인 버퍼들에 저장된 좌표 정보와 비교함으로써 보간 윈도우 위치(모양)를 결정한다.

앞서 개시된 발명들은 실시 예로서 고려된 것이므로, 제한되어 해석되어서는 안되고, 첨부된 청구항들은 발명의 사상에 따라 변형, 첨가, 및 다른 실시 예까지 포함하는 것으로 이해되어야 한다. 따라서, 뒤따르는 청구항 및 그 균등물의 최대한의 해석에 의해 발명의 보호 범위는 법에 의해 허용되는 최대의 내용까지 결정되어야 하며, 앞서 말한 상세한 설명에 의해 제한 해석되어서는 안된다.

2000; 검출 유닛
4000; 궤적 유닛
6000; 보상 유닛

Claims

소스 프레임에서 픽셀들의 각 메타-행의 시작을 나타내고 목표 프레임의 행들에서 픽셀들에 대응하는 수평 위치 데이터의 세트를 생성하기 위해 구현되는 제1아핀 변환 엔진(affine tranform engine);
목표 프레임으로부터 픽셀들의 각 메타-행을 독출하고 수평화된 픽셀들의 각각 메타-행을 복수의 라인 버퍼들 중 어느 하나로 기록하기 위해 수평 위치 데이터에 기초하여 제어되는 메모리 억세스 컨트롤러(memory access controller); 및
복수의 라인 버퍼들에 저장된 상기 소스 프레임의 픽셀들의 복수의 수평화된 메타-행들로부터 래스터 순서로 상기 목표 프레임의 픽셀들의 각 행에서 각 픽셀을 보간하고 출력하기 위해 구현된 제2 아핀 변환 엔진을 포함하는 이미지 처리 회로.
제1항에 있어서, 상기 목표 프레임은,
아핀 변환 계수들(affine transform coefficinets)의 수신된 세트에 따라 상기 목표 프레임의 상기 픽셀들의 상기 보간 동안 회전되는 이미지 처리 회로.
제1항에 있어서, 상기 제1아핀 변환 엔진은,
아핀 변환 계수들의 수신된 세트에 기초하고 상기 소스 프레임과 관련된 상기 목표 프레임의 위치 및 크기 정보에 기초하여 상기 소스 프레임에서 픽셀들의 각 메타-행의 상기 시작을 나타내는 수평 위치 데이터의 상기 세트를 생성하는 이미지 처리 회로.
회전을 포함하는 아핀 변환 좌표들(affine transform coordinates)에 따라 소스 프레임의 복수의 행들에 픽셀들로부터 목표 프레임 보간 방법에 있어서,
상기 아핀 변환 좌표들에 기초하여, 수평화된 상기 목표 프레임의 제1행의 픽셀들에 대응하는 모든 소스 프레임 데이터를 복수의 라인 버퍼들로 복사하는 단계; 및
상기 복수의 라인 버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제1행의 각 픽셀들을 보간하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계를 포함하는 목표 프레임 보간 방법.
제4항에 있어서, 상기 목표 프레임 보간 방법은,
상기 아핀 변환 좌표들에 기초하여, 수평화된 상기 목표 프레임의 제2행의 픽셀들에 대응하는 모든 소스 프레임 데이터를 상기 복수의 라인-버퍼들로 복사하는 단계; 및
상기 복수의 라인-버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제2행의 각 픽셀들을 보간하고 래스터 순서로 상기 목표 프레임의 상기 제2행의 상기 보간된 픽셀들을 출력하는 단계를 더 포함하는 목표 프레임 보간 방법.
제5항에 있어서, 상기 목표 프레임의 상기 제1 행 및 제2 행의 상기 픽셀들에 대응하는 상기 모든 소스 프레임 데이터를 복사하는 상기 단계들은,
상기 복수의 라인-버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제1행 및 제2행의 각 픽셀을 보간하는 상기 단계들의 시작 이전에 완료되는 목표 프레임 보간 방법.
제5항에 있어서, 상기 목표 프레임 보간 방법은,
상기 아핀 변환 좌표들에 기초하여, 수평화된 상기 목표 프레임의 제3 및 제4 행들의 픽셀들에 대응하는 모든 소스 프레임 데이터를 상기 복수의 라인-버퍼들로 복사하는 단계; 및
상기 복수의 라인-버퍼들에 저장된 상기 소스 프레임 데이터로부터 상기 목표 프레임의 상기 제3 및 제4행들의 각 픽셀을 보간하고 래스터 순서로 상기 목표 프레임의 상기 제3 및 제4 행들의 상기 보간된 픽셀들을 출력하는 단계를 더 포함하는 목표 프레임 보간 방법.
소스 프레임의 목표 프레임 부분 회전 방법을 수행하기 위해 구현되는 이미지 처리 유닛을 포함하며, 상기 방법은,
무빙 윈도우 보간 처리(moving window interpolation process)를 이용하는 목표 프레임의 픽셀들을 보간하기 위해 복수의 라인 버퍼들 내에서 소스 프레임 데이터의 정렬을 유지하는 동안, 아핀 변환 계수들에 기초한 파단선 수평 위치 정보의 세트에 기초하여 수평화된 상기 목표 프레임 부분에 대응하는 상기 소스 프레임 데이터를 복수의 라인 버퍼들로 복사하는 단계를 포함하는 목표 프레임 부분 회전 방법.
제8항에 있어서, 상기 소스 프레임 데이터를 복사하는 상기 단계는,
상기 소스 프레임 데이터의 모든 행과 함께 이용하기 위해 수평 데이터 정렬 정보의 하나의 세트만에 기초하여 상기 소스 프레임 데이터를 복수의 라인 버퍼들로 정렬하는 단계를 포함하는 목표 프레임 부분 회전 방법.
아핀 변환 계수들에 따라 소스 프레임의 목표 프레임 부분 회전 방법에 있어서,
상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 제1행의 픽셀들에 대응하는 제1메타-행에 소스 프레임의 픽셀들의 이미지 데이터를 제1라인 버퍼로 복사하는 단계;
상기 아핀 변환 계수들에 기초하여 상기 목표 프레임의 상기 제1행의 픽셀들에 대응하는 제2 메타-행에 상기 소스 프레임의 픽셀들의 상기 이미지 데이터를 제2라인 버퍼로 복사하는 단계; 및
상기 제1 및 제2 라인 버퍼들에 저장된 상기 이미지 데이터에 기초하여 상기 목표 프레임의 상기 제1행의 각 픽셀을 순차적으로 보간하고 래스터 순서로 상기 목표 프레임의 상기 제1행의 상기 보간된 픽셀들을 출력하는 단계를 포함하는 목표 프레임 부분 회전 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제