KR100917749B1 - 입력 픽셀 스트림 제공 방법 및 회로 - Google Patents

입력 픽셀 스트림 제공 방법 및 회로 Download PDF

Info

Publication number
KR100917749B1
KR100917749B1 KR1020047006102A KR20047006102A KR100917749B1 KR 100917749 B1 KR100917749 B1 KR 100917749B1 KR 1020047006102 A KR1020047006102 A KR 1020047006102A KR 20047006102 A KR20047006102 A KR 20047006102A KR 100917749 B1 KR100917749 B1 KR 100917749B1
Authority
KR
South Korea
Prior art keywords
pixels
window size
line buffer
pixel
buffer set
Prior art date
Application number
KR1020047006102A
Other languages
English (en)
Other versions
KR20040045926A (ko
Inventor
린치엔-신
첸케빈
Original Assignee
엔엑스피 비 브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=21940594&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100917749(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엔엑스피 비 브이 filed Critical 엔엑스피 비 브이
Publication of KR20040045926A publication Critical patent/KR20040045926A/ko
Application granted granted Critical
Publication of KR100917749B1 publication Critical patent/KR100917749B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Input (AREA)

Abstract

본 발명은 가변적으로 규정할 수 있는 샘플링 윈도우에 의해 규정되는 불규칙적인 샘플링 패턴을 사용하여 고정된 개수의 픽셀을 화상 처리 스테이지에 제공하는 픽셀 데이터 처리 회로를 제공한다. 화상 픽셀 어레이에 대응하는 입력 픽셀 스트림을 처리하는 방식과 연관된 일 실시예에서, 이 어레이 내에서 픽셀들에 걸쳐 있는 2 차원 윈도우로서 어레이의 서브세트를 샘플링하기 위한 다양한 선택 사항으로부터 윈도우 크기가 선택된다. 이 윈도우 크기는 샘플링 윈도우 크기의 배수이며, 샘플링 윈도우 크기는 상기 픽셀의 고정된 수를 규정하는데 있어서 샘플링 윈도우가 사용된다. 이러한 처리 방식은 픽셀을 입력 스트림으로부터 제 1 라인 버퍼 세트 내부로 저장하는 단계━상기 제 1 라인 버퍼 세트 내에 저장된 픽셀은 상기 설정된 윈도우 크기에 대응함━와, 상기 제 1 라인 버퍼 세트로부터 상기 저장된 픽셀을 상기 제 2 라인 버퍼 세트 내부로 프리페치(prefetch)하는 단계━상기 제 2 라인 버퍼 세트의 길이는 적어도 상기 설정된 샘플링 윈도우 크기에 대응하는 픽셀들을 저장하기에 충분하게 큼━와, 상기 제 2 라인 버퍼 세트로부터 상기 고정된 수의 픽셀을 페치하는 단계를 포함한다. 다양한 애플리케이션에서, 본 발명은 유연하면서도 증가된 처리량을 실현할 수 있다.

Description

입력 픽셀 스트림 제공 방법 및 회로{PREFETCHING OF PIXEL-DATA USING A LINE BUFFER APPROACH WITH VARIABLE SAMPLING PATTERNS}
관련 특허 문헌
본 특허 출원은 본 명세서에서 참조로서 인용되며 본 특허 출원과 동시에 미국 출원되어 공동 계류 중인 미국 특허 출원 "Motion Compensation With Subblock Scanning"(대리인 문서 번호 VLSI.310PA/US018142)와 연관된다.
본 발명은 화상 신호 처리 분야에 관한 것이며 특히 화상 신호 처리에 있어서 움직임 보상(motion compensation)에 관한 것이다.
마이크로프로세서 및 디지털 신호 프로세서를 포함하는 컴퓨터 장치가 광범위한 애플리케이션을 위해서 설계되었으며 실제로 모든 산업 분야에서 사용되고 있다. 여러 가지 이유로 인해서, 화상 데이터 처리를 위한 수 많은 애플리케이션이 존재하며 최소 레벨의 전력 소모량 및 조밀도를 요구한다. 몇몇 애플리케이션은 실시간으로 또는 거의 실시간으로 효과적으로 동작할 수 있는 고속 컴퓨팅 엔진을 필요로 한다. 이러한 수 많은 화상 처리 애플리케이션은 계속 증가하고 있는 속도로 다수의 기능을 수행할 수 있는 데이터 신호 처리 회로를 필요로 하고 있다.
그러나, 이러한 컴퓨팅 엔진의 성능 및 기능을 증가시키는 데 신경을 쓰면서 다른 중요한 목적이 간과되고 있다. 가령, 신속한 컴퓨팅 엔진은 보다 많은 전력을 소모하며 회로가 차지하는 실제 면적을 증가시키는데, 이상적인 엔진은 이 컴퓨팅 엔진을 구현하는 데 필요한 회로의 크기 및 전력 소모량을 최소화한다.
또한, 다기능 고성능 컴퓨팅 엔진을 제공하기 위해서는 통상적으로 여러 상이한 처리 기능에 대해서 각각이 특정화되어서 선택적으로 활성화되는 다양한 타입의 처리 회로로 인해서 이들 회로가 차지하는 실제 면적이 커지게 된다. 이러한 현상은 가령 화상 애플리케이션에서 상대적으로 저속의 범용 처리 회로와 실시간으로 화상 데이터를 압축 및 압축 해제하기 위해서 필요한 특정화된 화상 신호 필터 처리 회로를 비교하면 이해될 것이다. 이 특정화된 처리 회로는 통상적으로 화상 데이터의 실시간 속도와 보조를 맞추도록 최적화되기 때문에, 오직 제한된 애플리케이션에 대해서만 유용한 보기에는 과잉 회로인 것 같은 추가 회로를 제공하지 않고 여러 기능을 적절하게 제공하는 단일 화상 데이터 처리 회로를 제공하는 것은 쉽지 않다.
보다 구체적인 실례로서, 수 많은 화상 신호 처리 애플리케이션이 화상 데이터에 대해 사용되는 고속 처리 기능을 위해서 다양한 특정화된 화상 신호 처리 아키텍쳐를 채용하고 있다. 이러한 고속 처리 기능은 무엇보다도 일반적인 저역 통과 필터링 기능 및 고역 통과 필터링 기능, 움직임 보상된 스캔 레이트 변환 기능(motion-compensated scan-rate conversion), 스케일링 및 피크 필터링 기능을 포함한다. 화상 처리 애플리케이션에서, 이들 기능들은 종종 디스플레이된 픽셀을 나타내는 디스플레이 데이터를 리프레시(refresh)하는 데 사용된 수평 라인 및 수직 라인을 나타내기 위해서 저장된 데이터를 조작함으로써 수행된다.
각각의 상술된 화상 처리 애플리케이션에서, 그러한 기능을 제공하는 데 사용된 집적 회로를 설계, 제조 및 관리하는 데 있어서 상당한 비용이 든다. 가령, 상대적으로 잡음이 없는 환경에서 동작하는 어떤 고속 구현 능력으로 인해서 가령 카메라를 통해서 캡쳐(capture)되거나 메모리 내에 저장된 바와 같은 화상 프레임에 대응하는 픽셀 데이터를 상대적으로 빈도가 낮은 레이트로 샘플링할 수 있지만 다른 고속 구현 능력은 비교적 빈도가 큰 레이트로 픽셀 데이터를 샘플링하는 것을 필요로 한다. 이와 같은 상이하게 샘플링된 데이터를 후처리(post-process)(가령, 필터링 수행)를 하는 데 사용되는 고속 아키텍쳐들은 통상적으로 상이하게 구현될 것이다. 이러한 각 애플리케이션에서, 이러한 아키텍쳐적으로 호환될 수 없는 아키텍쳐들로 인해서 드는 비용은 상당하다.
따라서, 데이터 처리량을 크게 손실하지 않으면서 위와 같은 다수의 기능을 수용할 수 있는 상대적으로 조밀한 화상 처리 아키텍쳐를 개발할 필요가 있다. 특히, 높은 데이터 처리량을 제공하면서 광범위한 애플리케이션에서 사용되기에 충분하게 유연성을 가지고 있는 아키텍쳐를 제공하는 것은 쉽지가 않으며 이를 성취하기 위해서는 노력이 필요하다. 본 발명은 선택가능한 샘플링 윈도우들로부터 규정될 수 있는 샘플링 패턴을 사용하여 상기 화상 처리 스테이지에 고정된 수의 픽 셀을 제공할 수 있는 데이터 처리 아키텍쳐에 관한 것이다.
발명의 개요
본 발명의 다양한 측면은 다수의 선택가능한 샘플링 윈도우들 중에서 한 샘플링 윈도우로서 규정되는 샘플링 패턴을 사용하여 화상 처리 스테이지에서 필요로 하는 고정된 수의 픽셀을 제공할 수 있으면서 분리될 수 있는 라인 버퍼들(line-buffers)을 사용하는 데이터 처리 방식에 관한 것이다. 본 발명의 장점은 라인 버퍼가 최소한으로 사용되며 픽셀 데이터 처리에서 레이턴시(latency)가 최소화됨으로써 전력 소모량도 최소화된다는 것이다.
일 실시예에서, 본 발명은 화상 픽셀의 어레이에 대응하는 픽셀의 입력 스트림을 처리하는 방법에 관한 것이며 여기서 어레이의 서브세트를 상기 어레이 내의 픽셀들에 걸쳐 있는 2 차원 윈도우로서 샘플링하기 위해서 가변 윈도우 크기가 사용된다. 이 방법은 윈도우 크기 및 샘플링 윈도우 크기를 먼저 설정함으로써 픽셀의 입력 스트림을 고정된 수의 픽셀의 형태로 화상 처리 스테이지에 제공한다. 보다 구체적인 실시예에서, 윈도우 크기는 샘플링 윈도우 크기의 배수이며 샘플링 윈도우 크기는 상기 픽셀의 고정된 수를 규정한다. 이 처리 방법은 픽셀을 입력 스트림으로부터 제 1 라인 버퍼 세트 내부로 저장하는 단계━상기 제 1 라인 버퍼 세트 내에 저장된 픽셀은 상기 설정된 윈도우 크기에 대응함━와, 상기 제 1 라인 버퍼 세트로부터 상기 저장된 픽셀을 제 2 라인 버퍼 세트 내부로 프리페치(prefetch)하는 단계━상기 제 2 라인 버퍼 세트의 길이는 적어도 상기 설 정된 샘플링 윈도우 크기에 대응하는 픽셀들을 저장하기에 충분하게 큼━와, 상기 화상 처리 스테이지를 위해서, 상기 제 2 라인 버퍼 세트로부터 상기 고정된 수의 픽셀을 페치하는 단계를 포함한다.
다른 관련 실시예에서, 화상 처리 회로는 윈도우 크기가 샘플링 윈도우 크기의 배수이며 샘플링 윈도우 크기는 상기 픽셀의 고정된 수를 규정하며, 제 1 라인 버퍼 세트 및 제 2 세트가 상기 데이터를 처리하는데 사용될 수 있도록 윈도우 크기 및 샘플링 윈도우 크기를 설정하는 프로그램가능한 회로를 포함한다. 데이터 처리 회로는 픽셀을 입력 스트림으로부터 제 1 라인 버퍼 세트 내부로 저장하는 단계와, 상기 제 1 라인 버퍼 세트로부터 상기 저장된 픽셀을 상기 제 2 라인 버퍼 세트 내부로 프리페치하는 단계와, 상기 제 2 라인 버퍼 세트로부터 상기 고정된 수의 픽셀을 페치하는 단계를 수행함으로써 화상 픽셀을 처리한다.
본 발명의 다른 실시예는 상기 처리 방법, 처리 회로 및 시스템 기반 구현을 포함하는 다양한 다른 연관된 측면에 관한 것이다. 가령, 일 측면은 제 2 라인 버퍼 세트가 현재의 픽셀에 대해 규정된 거리 파라미터에 따라서 어드레스된 픽셀을 포함하되 상기 거리 파라미터가 X 행 및 Y 열(X는 고정된 정수이며 Y는 샘플링 윈도우 크기를 설정하기 위해서 선택됨)의 윈도우 크기에 따라서 규정되는 애플리케이션에 관한 것이다. 다른 측면은 제 1 라인 버퍼 세트가 픽셀의 입력 스트림을 제 2 라인 버퍼 세트로부터 분리하는 데 사용되는 애플리케이션에 관한 것이다. 또 다른 측면은 상기 각각의 라인 버퍼들이 데이터 처리량을 최적화하도록 규정된 길이를 가지며 상기 데이터 처리 회로가 상기 각각의 라인 버퍼를 통해서 픽셀 데 이터를 패닝(panning)하여 싸이클 시간을 감소시키는 애플리케이션에 관한 것이다.
이러한 본 발명의 개요는 본 발명을 이 부분에서 상술된 실시예로만 한정하기 위한 것이 아니다. 다음의 상세한 설명 부분과 첨부 도면은 이들 실시예를 예시적으로 설명한다.
본 발명은 다음의 첨부 도면을 참조하여 본 발명의 상세한 설명 부분을 독해함으로써 보다 완벽하게 이해될 것이다.
본 발명은 다양한 수정 및 대안 형태로 보정될 수 있고 본 발명에 대한 구체적인 사항은 도면에서 예시적으로 도시되며 다음의 상세한 설명 부분에서 자세하게 설명된다. 그러나, 본 발명은 이 부분에서 기술된 특정 실시예로만 한정되는 것은 아니다. 이와 반대로, 본 발명은 첨부된 청구 범위에 의해서 규정된 본 발명의 범위 및 사상 내에서 다양한 수정 및 변경을 가질 수 있다.
도 1a는 본 발명에 따른 5 * 5 픽셀 어레이를 갖는 2 차원 윈도우의 일 실시예의 도면,
도 1b는 본 발명에 따른 10 * 5 픽셀 어레이를 갖는 2 차원 윈도우의 일 실시예의 도면,
도 2는 본 발명에 따른 관련 어드레싱 시스템을 나타내는 2 차원 샘플링 윈도우의 일 실시예의 도면,
도 3은 본 발명에 따른 관련 어드레싱 시스템을 나타내는 20 * 5 픽셀 어레 이를 갖는 2 차원 윈도우의 일 실시예의 도면,
도 4는 본 발명에 따른 화상 처리 회로를 갖는 픽셀 데이터 처리 회로의 일 실시예의 도면.
본 발명은 픽셀 데이터 처리를 위한 방법 및 장치에 적용될 수 있으며, 라인 버퍼를 사용하여 입력을 분리하고 데이터 샘플링 레이트를 처리하는 것을 포함하되, 불규칙적인 샘플링 윈도우로부터 픽셀 데이터를 샘플링하는 애플리케이션에 적용될 수 있다. 디지털 화상 이미지는 픽셀 데이터의 어레이 또는 행렬로 구성된다. 이 픽셀 데이터는 통상적으로 픽셀의 행 및 열로 구성된다. 본 발명은 가령 가변 크기(즉, 가변 픽셀 데이터 어레이 크기)를 갖는 디지털 이미지를 처리하는 화상 픽셀 처리 장치에서 또는 슬라이딩 윈도우 크기(sliding window size)가 이전의 윈도우 샘플로부터 유도된 피드백 정보에 따라서 변하는 경우에 불규칙적인 크기(즉, 가변 크기)를 갖는 슬라이딩 윈도우를 사용하는 2 차원 픽셀 샘플링 방법을 필요로 하는 화상 픽셀 처리 장치에서 특히 유리하다. 본 발명은 이러한 애플리케이션으로만 한정되는 것이 아니라, 본 발명의 다양한 측면의 진가가 이러한 환경에서 여러 실례를 논함으로써 최대로 획득될 것이다.
디지털 화상 이미지는 픽셀들의 2 차원 어레이로 구성되는데 가령 화상 디스플레이 상에서 픽셀들의 720 * 512 어레이를 통해 디스플레이되는 것이 통상적이다. 시간에 따른 화상 이미지의 이동 또는 그 밖의 변화는 함께 보여지는 화상 이미지의 "스냅샷(snapshot)들"로 캡쳐되며 집합적으로 프레임으로서 지칭된다. 디지털 화상 이미지의 각 픽셀은 데이터(픽셀 데이터)의 세트로 표현된다. 특정 픽셀의 품질(가령, 강도)은 프레임에 걸쳐서 발생하는 특정 픽셀에 대한 픽셀 데이터의 변화에 응답하여 프레임에 걸쳐서 변화한다. 픽셀들의 720 * 512 어레이 중 각 픽셀로부터의 픽셀 데이터는 통상적으로 프레임 저장 메모리에 저장되고 이어서 화상 이미지를 제어하도록 처리된다.
특정 픽셀의 품질은 통합된 디지털 이미지의 일부로서 종종 어떠한 방식으로 근방의 픽셀 품질과 관련된다. 또한, 잡음과 같은 다른 공통 모드 특성은 특정 픽셀에 대한 픽셀 데이터를 처리하면서 근방의 픽셀을 고려하게 한다. 관심 픽셀을 둘러 싸고 있는 픽셀들의 2 차원 서브세트(즉, 윈도우)가 잘 알려져 있다고 생각하면, 이 관심 픽셀 뿐만 아니라 그 윈도우 내부의 근방의 픽셀에 대한 픽셀 데이터도 어떠한 방식으로 한 그룹으로서 함께 처리된다. 통상적으로, 디스플레이에서 각 연속하는 픽셀에 대한 데이터가 처리될 때에, 그 윈도우는 관심 픽셀의 위치에 대해 특정 배향을 유지하는 디스플레이를 따라서 슬라이딩한다. 통상적으로, 픽셀은 디스플레이에서 자신의 위치에 따라서 처리되는데 디스플레이의 상부 좌측 모서리 부분의 픽셀에서 시작하여 좌측에서 우측으로 상부에서 하부로 이동한다. 관심이 되는 픽셀에 대한 데이터를 처리(가령, 조절 또는 수정)하면서 슬라이딩 윈도우 내부의 픽셀들의 행동에 대한 몇몇 정보가 결정된다.
소정의 화상 데이터 처리는 고정된 수의 데이터에 대해서 가령 N 개의 픽셀에 대해서 동시에 이루어진다. 화상 데이터를 처리하는 한 방법은 오직 N 개의 픽셀만을 포함하는 관심 픽셀을 둘러 싸는 균일한 윈도우를 선택하는 것이며 여기서 N은 한 번에 처리될 수 있는 픽셀의 수이다. 이 윈도우의 크기 및 따라서 관심 픽셀 주변의 범위(가령, 거리)는 N의 크기에 의해서 한정된다. 소정의 픽셀 데이터 처리 방법(가령, 잡음 필터링)에서, 관심 픽셀을 둘러 싸는 픽셀들의 큰 범위를 고려하는 것이 바람직하지만 처리 효율 및 속도를 유지하기 위해서 N의 범위를 증가시키지 않으면서 그렇게 할 수 있다.
관심 픽셀을 둘러 싸는 보다 큰 범위의 윈도우를 고려하는 한 방법은 그 윈도우 내부로부터 대표적인 픽셀 데이터의 서브세트를 선택하고 선택된 픽셀 데이터만을 처리하여 몇몇 정보를 결정하는 것이다. 일 실례에서, 관심 픽셀 주변의 픽셀들의 윈도우의 크기는 이 윈도우 내부의 픽셀 데이터로부터 유도된 정보에 대한 변화가 거의 검출되지 않으면 확장된다. 이와 반대로, 유도된 정보에 대한 변화의 조짐이 검출되면 윈도우 크기는 수축된다. 중앙 처리 장치 또는 다른 로직 회로가 윈도우 크기를 동적으로 결정하고 변경시키며 이로써 그 윈도우 내부에 포함된 픽셀의 수를 변화시킨다. 그러나, 다운스트림 데이터 처리 레이트가 고정된 상태로 유지되면, 복잡한 데이터 동기화 문제가 발생한다. 본 발명의 한 방법에 따른 해법은 윈도우 내부로부터 N 개의 픽셀의 다른 대표적인 서브세트(가령, 샘플링 윈도우)를 선택하여 이 선택된 픽셀 데이터만을 MMIO로 보내는 것이다.
일반적인 실시예에서, 본 발명은 중간의 프리페치 버퍼에 접속된 라인 버퍼 분리 회로를 갖는 픽셀 데이터 처리 회로의 형태로 구현되며, 상기 라인 버퍼 분리 회로와 상기 중간의 프리페치 버퍼 및 이들 간의 통신은 로직 회로에 의해서 제어 된다. 본 발명의 픽셀 데이터 처리 회로는 가변 크기 2 차원 윈도우로부터의 화상 픽셀 어레이에 대응하는, 가령 MMIO로부터 선택된 픽셀들의 입력 스트림을 처리한다. 처리된 픽셀 데이터는 고정된 수의 픽셀들을 동시에 처리할 수 있는 가령 저역 통과 필터링 화상 처리 스테이지와 같은 다른 데이터 처리 스테이지로 출력된다. 따라서, 픽셀 데이터 처리 회로 출력 레이트는 다운스트림 데이터 처리 스테이지의 입력 레이트에서 고정되며 이 레이트는 입력 데이터 레이트와는 상이하다. 본 발명의 픽셀 데이터 처리 회로는 다운스트림 데이터 처리 스테이지에 의한 픽셀 데이터 처리 회로로부터의 입력 데이터 스트림 페치와 픽셀 데이터 페치 간의 픽셀 레이턴시를 최소화한다.
본 발명의 회로로 입력된 픽셀 데이터 스트림은 사전결정된 배향에 따라서 가변 크기 윈도우로부터 선택되며 고정된 크기를 갖는 샘플링 윈도우 어레이 내에 사전 배치된 픽셀 데이터를 포함한다. 본 발명의 회로는 데이터 처리 스테이지로 전달하기 위한 샘플링 윈도우 픽셀 데이터를 더 포함한다. 샘플링 윈도우 크기는 고정된 N 개의 픽셀을 포함하도록 사전 규정되며 여기서 N은 데이터 처리 스테이지가 동시에 처리할 수 있는 픽셀의 수이다.
일 실시예에서, 가변 윈도우 크기는 바람직하게는 X 개의 고정된 수의 픽셀 라인을 가지지만 Y 개의 가변 픽셀 열을 갖는다. 다른 실시예에서, 픽셀 라인의 개수 X 또한 변한다. 라인 버퍼 분리 회로는 X + 1 개의 라인 버퍼를 가지며 각 라인 버퍼의 길이는 YMAX 이상의 픽셀에 대응하는 데이터를 저장하기에 적합하며 여기서 YMAX는 최대 예상 윈도우 크기의 픽셀 열의 개수이다. 프리페치 중간 버퍼는 라인 버퍼 분리 회로에 접속된다. 로직 회로는 이 라인 버퍼 분리 회로와 프리페치 중간 버퍼를 통한 이들 간의 픽셀 데이터의 통신을 제어한다.
본 발명의 특정 실시예에서, 본 발명의 화상 처리 회로는 상술된 공동 계류 중인 미국 특허 출원 "Motion Compensation With Subblock Scanning"에서 개된 화상 신호 처리 장치 내의 "SWAN" 유닛 바로 앞의 기능성 블록으로서 포함된다. 이 "SWAN" 유닛은 픽셀 데이터를 저역 통과 필터링하는 것을 포함하는 데이터 처리 스테이지이다.
본 발명의 화상 처리 회로는 라인 버퍼 세트로 구성된 라인 버퍼 분리 회로 및 제 2 중간 프리페치 버퍼를 포함한다. 화상 처리 회로는 픽셀 데이터의 직렬 입력 스트림을 수신하는데 여기서 이 픽셀 데이터는 관심 픽셀을 둘러싸고 있는 윈도우로부터 선택된 샘플링 윈도우 픽셀 데이터이다. 이 관심 픽셀은 샘플링 윈도우 픽셀 데이터 내에 포함된다. 입력 픽셀 데이터 스트림은 디스플레이 어레이에서 픽셀들에 걸쳐 있는 2 차원 윈도우로서 픽셀들의 화상 디스플레이 어레이를 샘플링하기 위한 가변 윈도우 크기를 갖는 화상 픽셀들의 어레이에 대응하는 픽셀을 나타낸다. 화상 처리 회로는 고정된 수의 픽셀 데이터가 데이터 처리 스테이지로 병렬 출력되게 하여서 데이터 처리 스테이지 내부로의 재로딩 시간(reload time)을 감소시키며 대역폭을 감축한다. 다운스트림 데이터 처리 스테이지는 N 개의 픽셀을 병렬로 동시에 페치하는데 여기서 N은 바람직하게는 정수 제곱값(a perfect square)과 동일한 수이다. 본 발명의 일 실례에서, 데이터 처리 스테이지는 25 개의 픽셀을 나타내는 픽셀 데이터를 동시에 페치한다.
일 실시예에서, 가변 윈도우 크기는 바람직하게는 픽셀들의 X 개의 라인 또는 행의 고정된 높이를 가지며 픽셀들의 Y 개의 열의 가변 폭을 갖는다. 또한, Y는 바람직하게는 X의 정수 배수이다. 다른 실례에서, X는 고정될 필요가 없다. Y는 X의 정수 배수일 필요가 없다. 샘플링 윈도우는 바람직하게는 X*X 크기를 갖는 대칭형일 수 있다. 이 가변 윈도우로부터 선택된 픽셀은 이 가변 윈도우 내에 보유된 픽셀로서 샘플링 윈도우 내에서 서로에 대해서 동일한 관련 위치 배향을 갖도록 샘플링 윈도우 내에서 배치된다. N이 정수 제곱값인 본 발명의 실시예에서, 샘플링 윈도우는 X와 동일한 균일한 크기를 가지며 여기서 X는 N의 제곱근이다. 최소 가변 윈도우 크기는 샘플링 윈도우 크기이다. 가령, N 개의 픽셀들은 동일한 X*X 크기를 갖는 어레이 내에서 배치된다. 샘플링을 위한 최대 윈도우 크기는 특정 픽셀 데이터 처리 회로 애플리케이션의 경우 사전 규정된다.
본 발명의 일 실시예에서, 최대 예상 윈도우 크기는 20 * 5 이며, 최대 윈도우 크기는 100 개의 픽셀을 포함한다. X * X인 샘플링 윈도우 크기는 5 * 5이며 샘플링 윈도우는 25 개의 고정된 수의 픽셀을 포함한다. 다운스트림 데이터 처리 스테이지는 이후의 데이터 처리를 위해서 본 발명의 화상 처리 회로로부터 25 개의 픽셀을 위한 픽셀 데이터(또는 픽셀들의 하나의 샘플링 윈도우)를 동시에 페치한다. 샘플링 윈도우가 픽셀 디스플레이 구역의 에지 부분이어서 현재의 픽셀에 인접하는 픽셀이 존재하지 않는 경우에는, 가장 가까운 픽셀 열/라인이 복사되어 존 재하지 않는 픽셀 열/라인 대신 사용되며 이로써 이러한 구현은 가령 라인 선택 멀티플렉싱에 의해서 쉽게 성취될 수 있다.
도 1a는 윈도우 크기가 샘플링 윈도우 크기와 동일한 윈도우 실시예(100)의 한 특정 실례를 도시하는데, 여기서 샘플링 윈도우 크기는 5 픽셀 라인이며 5 픽셀 열이며 25 개의 픽셀(110)을 포함한다. 윈도우(샘플링 윈도우) 픽셀 어레이는 현재의 중앙 픽셀(120)을 중심으로 대칭적이다. 현재의 중앙 픽셀은 현재의 라인(122)에 위치한다. 화상 이미지 라인은 통상적으로 좌측에서 우측으로 상부에서 하부로 번호가 부여되며 디스플레이의 상부 좌측 모서리에서 시작한다. 현재의 라인은 현재의 관심 픽셀이 위치한 라인으로서 규정된다. 참조를 위해서, 윈도우(샘플링 윈도우)(100)의 각 라인은 현재의 라인과 관련하여 명칭이 부여되는데, 현재의 라인 아래의 한 라인은 "라인 + 1"(124)로서 표시되며, 현재의 라인 위의 라인은 "라인 - 1"(126)으로서 표시되고, 현재의 라인에서 두번째로 아래에 있는 라인은 "라인 + 2"(128)으로서 표시되며 현재의 라인에서 두번째로 위에 있는 라인은 "라인 -2"(130)으로서 표시된다. 라인(라인-1,라인+1)은 현재의 라인을 중심으로 대칭이다. 라인(라인-2,라인+2)도 도시된 바와 같이 라인(라인-1,라인+1) 외부에서 현재의 라인을 둘러서 대칭이다.
도 1b는 윈도우 크기가 5 픽셀 라인 및 10 픽셀 열인 다른 윈도우 실시예(140)의 한 특정 실례이다. 이 윈도우 실시예는 중앙 픽셀(120)을 포함하여 50 개의 픽셀(110)을 포함한다. 픽셀(110)은 도 1b에서 도시된 바와 같이 현재의 중앙 라인(120)을 중심으로 대칭적일 필요가 없다. 픽셀 라인은 도 1a에서 도시 된 바와 같다. 현재의 중앙 픽셀은 현재의 라인(122) 내에 위치한다. 윈도우(140)를 위한 샘플링 윈도우 크기는 5*5이며, 이 샘플링 윈도우는 25 개의 픽셀을 갖는다. 최대 윈도우 크기가 사전 결정되며 윈도우 파라미터는 프로그램가능하다. 윈도우로부터의 픽셀 데이터는 한 번에 N 개의 픽셀의 고정된 레이트로 데이터 처리 회로에 의해 처리되는데 즉 각 샘플링 윈도우가 N 개의 픽셀을 포함하기 때문에 한 번에 하나의 샘플링 윈도우가 처리된다.
도 2는 본 발명의 윈도우(200)(이 윈도우는 윈도우 크기가 대칭형이므로 샘플링 윈도우임)의 실례를 도시하며 5 * 5 윈도우 내부에서 관련 픽셀 어드레싱 시스템을 나타낸다. 각 픽셀 위치는 현재의 중앙 픽셀(120)에 대해서 변수들의 세트에 의해서 표현된다. 다른 픽셀들이 그에 대해 관련되어 있는 현재의 중앙 픽셀(120)은 윈도우의 중심으로부터 선택사양적으로 오프셋되는데 가령 윈도우 열의 수가 짝수일 경우 현재의 중앙 픽셀(120)의 우측으로의 픽셀의 수와 좌측으로의 픽셀의 수가 동일할 수 없다. 표 1은 본 발명에 따른 픽셀 관련 어드레싱 시스템에 대한 관련 어드레싱 변수의 목록을 나타낸다.
Figure 112004016902916-pct00001
가령, 현재의 라인 상에서 현재의 중앙 픽셀(120)과 근방의 픽셀(즉, 그 라인 상에서 마지막 부분의 픽셀이 아닌 픽셀) 간의 우측 오프셋 및 좌측 오프셋은 "cn_dist"이며 본 발명의 관련 어드레싱 시스템에서 1 내지 4의 정수 범위 내에서 변한다. 변수 "cn_dist"는 어드레싱되는 픽셀이 현재의 라인 내부에 존재함을 나타내는 "c"와 마지막 픽셀과 대향하고 있는 근방의 픽셀을 나타내는 "n"과 거리를 나타내는 "dist"로 구성된다. 변수 "ce_dist"에서 "e"는 마지막 픽셀을 나타내며 이 변수의 다른 부분은 상술한 바와 같다. 윈도우(200)의 각 픽셀에 도 1에서 라벨(label)이 부여되었으며 표 2는 도 2에 도시된 바와 같은 각각의 픽셀 위치를 기술하는 표 1의 관련 어드레싱 변수를 사용하는 표현식으로 윈도우(200)의 각 픽셀의 참조 번호를 나타낸다.
Figure 112004016902916-pct00002
현재의 라인 상에서 현재의 중앙 픽셀에 대한 윈도우 내부의 임의의 픽셀(즉, 샘플링된 픽셀)의 거리는 표 2에서 규정된 관련 어드레싱 표현식으로 표시된다. 윈도우 파라미터(가령, 크기)가 프로그램가능하기 때문에, 윈도우 및 샘플링 윈도우의 각 픽셀의 위치는 각기 윈도우 및 샘플링 윈도우에서 선택된 현재의 중앙 픽셀에 대해 기술될 수 있다.
도 3은 20 * 5 픽셀 어레이를 포함하는 가변 윈도우(300)의 실례이다. 원 형으로 표시된 픽셀은 중앙 처리 장치에 의해서 윈도우(300)로부터 선택되며 상술된 관련 어드레싱 표현식으로부터 결정되어 선택된 픽셀이다. 도 3의 선택된 픽셀에는 도 2에 도시된 참조 번호에 100을 더한 유사한 참조 번호가 부여되는데 이는 도 3의 소정 픽셀들이 도 2에 도시된 유사한 참조 번호가 부여된 픽셀과 대응하는 표현식으로부터 결정됨을 나타낸다. 표 1 및 표 2의 관련 어드레싱 표현식을 사용하여 선택된, X 모양이 아닌 원형으로 표시된 윈도우 내부의 픽셀은 그 윈도우(300) 내부에서 각각의 다른 선택된 픽셀에 대해서 배향을 가지며 이 배향은 윈도우(200)의 유사한 참조 번호가 부여된 픽셀들 간의 배향과 유사하다.
도 4는 라인 버퍼 분리 회로(410), 중간의 프리페치 버퍼(420) 및 제어 로직 회로(430)를 갖는 본 발명의 픽셀 데이터 처리 회로(400)의 일 실시예이다. 디스플레이 버퍼(도시되지 않음)로부터 전송된 픽셀 데이터는 회로(400)에 의해서 제 1 레이트로 직별로 수신되며 256 개의 픽셀을 갖는 6 개의 라인 즉 총 1536 개의 픽셀을 갖는 구성으로 버퍼 라인(410) 내에 위치한다. 다른 실시예에서, 라인 버퍼 분리 회로는 128 개의 픽셀을 갖는 5 개의 라인에 대해서 구성된다. 어떠한 경우에서든, 이 픽셀 데이터는 제어 로직 회로(430)에 의해서 라인 버퍼 분리 회로(410) 내부로 직렬로 이동된다.
이 라인 버퍼 분리 회로(410)의 6 개의 라인 각각으로부터, 제어 로직 회로(430)는 제일 먼저 도달한 32 개의 픽셀을 항목(420a-420f)으로 도시된 바와 같이 중간의 프리페치 버퍼 세트들 중 각각의 세트 내부에 또는 픽셀 어레이 내부로 복사시킨다. 상술된 샘플링 윈도우 구성에 따라서, 이 복사 단계는 현재의 샘 플링 윈도우에 대응하는 픽셀 데이터를 전송하는 단계를 포함한다.
본 발명의 일 실시예에서, 샘플링 윈도우 어레이는 5 개의 픽셀 데이터 라인을 가지며, 라인 버퍼 분리 회로(410)로부터의 6 개의 라인 중 5 개가 입력 픽셀 데이터를 보유하고 화상 처리 유닛의 픽셀 데이터 입력 레이트를 화상 처리 유닛의 처리(출력) 레이트로부터 분리시키는 데 사용된다. 상술된 바와 같이, 라인 버퍼 분리 회로(410)의 5 개의 라인 버퍼 각각은 샘플링 윈도우 구성에 따라서 중간의 프리페치 버퍼 세트(420a-420f)들 중 하나의 세트를 공급하는 데 사용된다.
예시적인 구현에서, 제어 로직(430)은 대응하는 중간의 라인 버퍼의 상술된 각각의 25 개의 셀을 선택하기 위해서 5 개의 선택 입력을 갖는 멀티플렉서 기반 로직 회로를 포함한다. 다른 실시예에서, 선택 로직은 가령 상호접속 버스를 통한 픽셀 데이터 통신을 지시하는 제어 로직 회로(430)에 의해서 라인 버퍼 분리 회로(410)와 중간의 프리페치 버퍼(420) 간의 픽셀 데이터를 소프트웨어적으로 조작함으로써 구현될 수 있다.
중간의 프리페치 버퍼(420)는 병렬 채널(450)을 통해서 데이터 처리 스테이지(400)와 통신가능하게 접속되어 샘플링 윈도우의 모든 N 개의 픽셀이 동시에 통신하게 한다. 도 4에서 중간의 프리페치 버퍼(420)의 각 픽셀 어레이 내부의 어두운 픽셀 위치는 데이터 처리 스테이지(440)로 전송되기 위해서 병렬 채널(450) 상으로 동시에 클록킹되는 픽셀 위치를 나타낸다. 이 각각의 어두운 픽셀 어레이 위치는 가령 전용 데이터 통신 경로(즉, 하드 와이어링) 또는 디멀티플렉서(demultiplexor)들을 통해서 일 실례에서 하드웨어로 구현되는 병렬 채널(450)으로 접속된다. 본 발명의 다른 실시예에서, 이러한 접속은 픽셀 데이터 통신을 지시하는 제어 로직 회로(430)에 의해서 중간의 프리페치 버퍼(420)와 병렬 채널(450) 간의 픽셀 데이터를 소프트웨어적으로 조작함으로써 구현된다.
도 4에 도시된 일 실시예에서, 라인 버퍼(412)는 5 * 5 샘플링 윈도우의 현재의 라인의 5 개의 픽셀에 대한 픽셀 데이터를 보유한다. 라인 버퍼(414)는 5 * 5 샘플링 윈도우의 라인 + 1의 5 개의 픽셀에 대한 픽셀 데이터를 보유한다. 라인 버퍼(414) 내부의 각 픽셀은 표 2 및 도 2에서 제안된 방법에 따라서 참조된다. 라인 버퍼(414)로부터의 픽셀 데이터는 5 개의 라인으로 도시된 바와 같이 복사되어 픽셀 어레이(423) 내부에 저장되며 각각의 라인은 라인 버퍼(414)로부터의 현재의 라인 픽셀 데이터의 5 개의 픽셀을 갖는다. 다른 실시예에서, 각 픽셀 어레이 내부의 픽셀 데이터의 배향은 도 4에 도시된 바와 다르게 수정될 수 있는데 가령 픽셀들의 순서가 픽셀 어레이 내에서 반대 순서로 저장되어서 픽셀(232)이 "상부 우측" 위치를 점유하며 픽셀(240)이 "하부 좌측"을 점유함으로써 샘플링 윈도우의 상부 좌측 모서리에 위치한 픽셀로부터 좌측에서 우측으로 상부에서 하부로 이동하면서 픽셀들을 만나게 되는 방식으로 채널(450)을 따라서 상부에서 하부로 픽셀 데이터를 위치시킬 수 있다(가령, 도 2를 참조하고 픽셀(202)에서 시작하면, 우측으로 이동하여 픽셀(204)을 만나게 되며 다음으로 픽셀(206,208,210,212,214 등)을 만나게 되고 최종적으로 픽셀(250)을 만나게 된다). 데이터 처리 스테이지(440)로 제공하기 위해서 채널(450) 내에서 픽셀 데이터를 구성하는 것은 회로 설계자 및/또는 목표 애플리케이션에 따라 다르다.
따라서, 본 발명의 다양한 예시적인 구현에서 데이터 처리 방식은 입력 픽셀 디스플레이 데이터를 분리하고 저역 통과 필터와 같은 화상 처리 스테이지(440)가 필요로 하는 고정된 수의 픽셀을 병렬 채널을 전송하는 데 있어서 라인 버퍼를 사용하는 것을 포함한다. 이러한 예시적인 구현의 다양한 측면은 픽셀 레이턴시를 감소시키며 하드웨어 및 설계 비용을 절감하고 가변 크기 윈도우로부터 유도된 픽셀 데이터를 처리할 수 있는 능력을 필요로 하는 픽셀 데이터 처리 애플리케이션에서 복잡성을 감소시킨다. 본 발명의 다양한 구현에서, 픽셀 데이터를 중간의 프리페치 버퍼 내부로 프리페칭함으로써 다운스트림 스테이지에 대해서 유연성을 제공하며 재로딩 시간을 감소시킨다. 이러한 구현 사항들은 가변 크기 윈도우 내에 포함된 가변 픽셀 데이터 수와 고정된 데이터 처리 스테이지 간의 분리를 제공하여 윈도우 크기가 전체 화상 이미지 처리 방식에서 유리하게 변하도록 하는 관련 어드레싱 방법에서 사용될 수 있다.
본 발명은 상술된 특정 실례로만 한정되는 것이 아니다. 본 발명이 적용될 수 있는 다양한 변경, 등가의 프로세스 및 수 많은 구조가 첨부된 청구 범위에서 분명하게 제안된 바와 같은 본 발명의 범위 내에 포함될 수 있다.

Claims (16)

  1. 화상 픽셀 어레이에 대응하는 입력 픽셀 스트림과, 상기 어레이 내의 픽셀들에 걸쳐 있는 2 차원 윈도우로서 상기 어레이의 서브세트(subset)를 샘플링하기 위한 가변 크기 윈도우(a variable size window)(300)와, 고정된 개수의 픽셀을 사용하여 픽셀을 입력하는 화상 처리 스테이지(440)를 갖는 화상 처리 회로에서, 상기 입력 픽셀 스트림을 상기 화상 처리 스테이지(440)에 제공하는 방법에 있어서,
    윈도우 크기가 샘플링 윈도우 크기의 배수이고 상기 샘플링 윈도우 크기가 상기 픽셀의 고정된 개수를 규정하도록 상기 윈도우 크기 및 상기 샘플링 윈도우 크기를 설정하는 단계와,
    그와 동시에,
    상기 입력 픽셀 스트림으로부터의 상기 픽셀을 제 1 라인 버퍼 세트(410) 내에 저장하는 것━상기 제 1 라인 버퍼 세트 내에 저장된 픽셀은 상기 설정된 윈도우 크기에 대응하는 픽셀을 포함함━과,
    상기 제 1 라인 버퍼 세트로부터의 상기 저장된 픽셀을 제 2 라인 버퍼 세트(420) 내부로 프리페치(prefetch)하는 것━상기 제 2 라인 버퍼 세트의 길이는 적어도 상기 설정된 샘플링 윈도우 크기에 대응하는 픽셀을 저장하기에 충분하게 김━과,
    상기 화상 처리 스테이지(440)를 위해서, 상기 제 2 라인 버퍼 세트로부터 상기 고정된 개수의 픽셀을 페치하는 것을 수행하는 단계를 포함하는
    입력 픽셀 스트림 제공 방법.
  2. 제 1 항에 있어서,
    상기 화상 픽셀 어레이 각각은 화상 프레임을 나타내는
    입력 픽셀 스트림 제공 방법.
  3. 제 2 항에 있어서,
    상기 윈도우 크기는 X 개의 행 및 Y 개의 열을 가지고,
    상기 샘플링 윈도우 크기는 X 개의 행을 가지며, 여기서 X는 고정된 정수인
    입력 픽셀 스트림 제공 방법.
  4. 제 3 항에 있어서,
    상기 윈도우 크기를 설정하는 단계는 가능한 정수 집합으로부터 Y를 선택하는 단계를 포함하는
    입력 픽셀 스트림 제공 방법.
  5. 제 4 항에 있어서,
    픽셀의 상기 고정된 개수는 25이고,
    상기 X는 5 이며,
    상기 Y의 가능한 정수 집합은 1 내지 4인
    입력 픽셀 스트림 제공 방법.
  6. 제 1 항에 있어서,
    상기 제 1 라인 버퍼 세트(410)는 상기 입력 픽셀 스트림을 상기 제 2 라인 버퍼 세트(420)로부터 분리시키는 데 사용되는
    입력 픽셀 스트림 제공 방법.
  7. 제 1 항에 있어서,
    상기 제 2 라인 버퍼 세트(420)는 현재 픽셀(120)에 대해 상대적으로 규정된 거리 파라미터에 따라서 어드레스된 픽셀을 포함하는
    입력 픽셀 스트림 제공 방법.
  8. 제 7 항에 있어서,
    상기 거리 파라미터는 상기 윈도우 크기에 따라서 규정되는
    입력 픽셀 스트림 제공 방법.
  9. 제 1 항에 있어서,
    상기 제 2 라인 버퍼 세트는 현재 픽셀에 대해 상대적으로 규정된 거리 파라미터에 따라서 어드레스된 픽셀을 포함하며,
    상기 거리 파라미터는 X 개의 행 및 Y 개의 열을 갖는 윈도우 크기에 따라서 규정되는데, 여기서 상기 X는 고정된 정수이며 상기 Y는 상기 샘플링 윈도우 크기를 설정하도록 선택되는
    입력 픽셀 스트림 제공 방법.
  10. 제 1 항에 있어서,
    상기 각각의 라인 버퍼 세트(410,420)는 픽셀 데이터 처리량을 최적화하도록 규정된 길이를 가지며,
    상기 프리페칭과 상기 페칭은 싸이클 시간을 감소시키도록 상기 각각의 라인 버퍼 세트를 통해서 픽셀 데이터를 전송하는 단계를 포함하는
    입력 픽셀 스트림 제공 방법.
  11. 제 1 항에 있어서,
    상기 윈도우 크기는 X 개의 행 및 Y 개의 열을 갖는데, 상기 X는 고정된 정수이고 상기 Y는 상기 샘플링 윈도우 크기를 설정하도록 선택되며,
    상기 제 2 라인 퍼버 세트는 각기 X 개의 픽셀 행을 저장하는 X 개의 라인 버퍼들을 포함하는
    입력 픽셀 스트림 제공 방법.
  12. 제 11 항에 있어서,
    상기 제 2 라인 버퍼 세트(420) 중 상기 X 개의 라인 버퍼들은 상기 윈도우의 현재 라인(122)에 대응하는 한 행의 픽셀들을 저장하는 중앙 라인 버퍼(412) 및 다른 행(124)의 픽셀들을 저장하는 적어도 하나의 라인 버퍼(414)를 포함하는
    입력 픽셀 스트림 제공 방법.
  13. 제 11 항에 있어서,
    픽셀의 상기 고정된 개수는 25이며,
    상기 X는 5이고,
    상기 Y에 대한 가능한 정수 집합은 1 내지 4 인
    입력 픽셀 스트림 제공 방법.
  14. 화상 픽셀 어레이에 대응하는 입력 픽셀 스트림과, 상기 어레이 내의 픽셀들에 걸쳐 있는 2 차원 윈도우로서 상기 어레이의 서브세트를 샘플링하기 위한 가변 크기 윈도우와, 고정된 개수의 픽셀을 사용하여 픽셀을 입력하는 화상 처리 스테이지를 갖는 화상 처리 회로에서, 상기 입력 픽셀 스트림을 상기 화상 처리 스테이지에 제공하는 방법에 있어서,
    윈도우 크기가 샘플링 윈도우 크기의 배수이고 상기 샘플링 윈도우 크기가 상기 픽셀의 고정된 개수를 규정하도록 상기 윈도우 크기 및 상기 샘플링 윈도우 크기를 설정하는 단계와,
    그와 동시에,
    제 1 라인 버퍼 세트를 사용하여 상기 입력 픽셀 스트림으로부터의 상기 픽셀을 분리하고 저장하는 것━상기 제 1 라인 버퍼 세트 내에 저장된 픽셀은 상기 설정된 윈도우 크기에 대응하는 픽셀을 포함함━과,
    상기 제 1 라인 버퍼 세트로부터의 상기 저장된 픽셀을 제 2 라인 버퍼 세트 내부로 프리페치하는 것━상기 제 2 라인 버퍼 세트의 길이는 적어도 상기 설정된 샘플링 윈도우 크기에 대응하는 픽셀을 저장하기에 충분하게 김━과,
    상기 화상 처리 스테이지를 위해서, 상기 제 2 라인 버퍼 세트에 저장되어 있는 픽셀들 중 하나의 현재 픽셀에 대해 상대적으로 규정된 거리 파라미터에 따라서 어드레스함으로써 상기 제 2 라인 버퍼 세트로부터 상기 고정된 개수의 픽셀을 페치하는 것을 수행하는 단계를 포함하되,
    상기 거리 파라미터는 X 개의 행 및 Y 개의 열을 갖는 윈도우 크기에 따라서 규정되는데, 여기서 상기 X는 고정된 정수이며 상기 Y는 상기 샘플링 윈도우 크기를 설정하도록 선택되는
    입력 픽셀 스트림 제공 방법.
  15. 화상 픽셀 어레이에 대응하는 입력 픽셀 스트림과, 상기 어레이 내의 픽셀들에 걸쳐 있는 2 차원 윈도우로서 상기 어레이의 서브세트를 샘플링하기 위한 가변 크기 윈도우(300)와, 고정된 개수의 픽셀을 사용하여 픽셀을 입력하는 화상 처리 스테이지(440)를 갖는 화상 처리 회로로서, 상기 입력 픽셀 스트림을 상기 화상 처리 스테이지(440)에 제공하는 회로(400)에 있어서,
    윈도우 크기가 샘플링 윈도우 크기의 배수이고 상기 샘플링 윈도우 크기가 상기 픽셀의 고정된 개수를 규정하도록 상기 윈도우 크기 및 상기 샘플링 윈도우 크기를 설정하는 수단과,
    제 1 라인 버퍼 세트와,
    제 2 라인 버퍼 세트와,
    상기 입력 픽셀 스트림으로부터의 상기 픽셀을 상기 제 1 라인 버퍼 세트 내부에 저장━상기 제 1 라인 버퍼 세트 내에 저장된 픽셀은 상기 설정된 윈도우 크기에 대응하는 픽셀을 포함함━하고, 상기 제 1 라인 버퍼 세트로부터의 상기 저장된 픽셀을 제 2 라인 버퍼 세트 내부로 프리페치━상기 제 2 라인 버퍼 세트의 길이는 적어도 상기 설정된 샘플링 윈도우 크기에 대응하는 픽셀을 저장할 정도로 충분하게 김━하며, 상기 화상 처리 스테이지를 위해서, 상기 제 2 라인 버퍼 세트로부터의 상기 고정된 개수의 픽셀을 페치하는 것을 동시에 수행하는 수단을 포함하는
    입력 픽셀 스트림 제공 회로.
  16. 화상 픽셀 어레이에 대응하는 입력 픽셀 스트림과, 상기 어레이 내의 픽셀들에 걸쳐 있는 2 차원 윈도우로서 상기 어레이의 서브세트를 샘플링하기 위한 가변 크기 윈도우와, 고정된 개수의 픽셀을 사용하여 픽셀을 입력하는 화상 처리 스테이지를 갖는 화상 처리 회로로서, 상기 입력 픽셀 스트림을 상기 화상 처리 스테이지(440)에 제공하는 회로에 있어서,
    윈도우 크기가 샘플링 윈도우 크기의 배수이고 상기 샘플링 윈도우 크기가 상기 픽셀의 고정된 개수를 규정하도록 상기 윈도우 크기 및 상기 샘플링 윈도우 크기를 설정하는 프로그램가능한 회로와,
    제 1 라인 버퍼 세트(410)와,
    제 2 라인 버퍼 세트(420)와,
    상기 입력 픽셀 스트림으로부터의 상기 픽셀을 상기 제 1 라인 버퍼 세트 내부로 저장━상기 제 1 라인 버퍼 세트 내에 저장된 픽셀은 상기 설정된 윈도우 크기에 대응하는 픽셀을 포함함━하고, 상기 제 1 라인 버퍼 세트로부터의 상기 저장된 픽셀을 제 2 라인 버퍼 세트 내부로 프리페치━상기 제 2 라인 버퍼 세트의 길이는 적어도 상기 설정된 샘플링 윈도우 크기에 대응하는 픽셀을 저장하기에 충분하게 김━하며, 상기 화상 처리 스테이지를 위해서, 상기 제 2 라인 버퍼 세트로부터 상기 고정된 개수의 픽셀을 페치하는 것을 동시에 수행함으로써 화상 픽셀을 처리하는 데이터 처리 회로(430)를 포함하는
    입력 픽셀 스트림 제공 회로.
KR1020047006102A 2001-10-26 2002-10-25 입력 픽셀 스트림 제공 방법 및 회로 KR100917749B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/045,929 2001-10-26
US10/045,929 US7750979B2 (en) 2001-10-26 2001-10-26 Pixel-data line buffer approach having variable sampling patterns
PCT/IB2002/004504 WO2003036601A2 (en) 2001-10-26 2002-10-25 Prefetching of pixel-data using a line buffer approach with variable sampling patterns

Publications (2)

Publication Number Publication Date
KR20040045926A KR20040045926A (ko) 2004-06-02
KR100917749B1 true KR100917749B1 (ko) 2009-09-15

Family

ID=21940594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047006102A KR100917749B1 (ko) 2001-10-26 2002-10-25 입력 픽셀 스트림 제공 방법 및 회로

Country Status (8)

Country Link
US (1) US7750979B2 (ko)
EP (1) EP1442611A2 (ko)
JP (1) JP2005506641A (ko)
KR (1) KR100917749B1 (ko)
CN (1) CN1575608A (ko)
AU (1) AU2002339637A1 (ko)
TW (1) TWI259713B (ko)
WO (1) WO2003036601A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011002824A1 (de) 2011-01-18 2012-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Bildaufnahmesystem und Verfahren zum Aufnehmen eines Bildes
USD742893S1 (en) 2013-06-09 2015-11-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD750130S1 (en) * 2013-06-10 2016-02-23 Apple Inc. Display screen or portion thereof with graphical user interface
USD737853S1 (en) 2013-10-21 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD880517S1 (en) * 2015-08-21 2020-04-07 Sony Corporation Display panel or screen with graphical user interface
KR102464253B1 (ko) 2016-07-07 2022-11-09 삼성전자주식회사 전자 장치 및 이의 영상 데이터 처리 방법
USD877188S1 (en) * 2018-03-16 2020-03-03 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
US20240169937A1 (en) * 2020-12-01 2024-05-23 Boe Technology Group Co., Ltd. Data processing method and apparatuses, and display apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422827A (en) 1993-02-12 1995-06-06 Cirrus Logic, Inc. Integrated video scaling and sharpening filter

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4485402A (en) * 1980-10-17 1984-11-27 Micro Consultants Limited Video image processing system
US5075673A (en) * 1989-06-16 1991-12-24 International Business Machines Corp. Variable speed, image pan method and apparatus
US5359674A (en) * 1991-12-11 1994-10-25 David Sarnoff Research Center, Inc. Pyramid processor integrated circuit
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
JPH09102954A (ja) 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd 1つまたは2つの予測ブロックからブロックの画素値を計算する方法
US6567564B1 (en) * 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
EP1139669A1 (en) * 2000-03-28 2001-10-04 STMicroelectronics S.r.l. Coprocessor for motion estimation in digitised video sequence encoders

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422827A (en) 1993-02-12 1995-06-06 Cirrus Logic, Inc. Integrated video scaling and sharpening filter

Also Published As

Publication number Publication date
EP1442611A2 (en) 2004-08-04
US7750979B2 (en) 2010-07-06
TWI259713B (en) 2006-08-01
KR20040045926A (ko) 2004-06-02
JP2005506641A (ja) 2005-03-03
TW200407035A (en) 2004-05-01
AU2002339637A1 (en) 2003-05-06
WO2003036601A3 (en) 2004-02-05
US20030081684A1 (en) 2003-05-01
WO2003036601A2 (en) 2003-05-01
CN1575608A (zh) 2005-02-02

Similar Documents

Publication Publication Date Title
JP4861338B2 (ja) 読み出し機能及びフェッチ機能を分けることによるデータ処理装置のメモリユニットの性能向上
US4979136A (en) Processing system and method for enhancing image data
US4369430A (en) Image analyzer with cyclical neighborhood processing pipeline
US4541116A (en) Neighborhood image processing stage for implementing filtering operations
CN101147396B (zh) 使用循环缓存存储器以曲折扫描顺序处理数据阵列的方法和设备
KR100917749B1 (ko) 입력 픽셀 스트림 제공 방법 및 회로
EP0227406B1 (en) Image signal processor
JP2008538433A (ja) 領域ベース複数パス動き推定及び時間的動きベクトル候補の更新を用いたビデオ処理
CN108073549B (zh) 卷积运算装置及方法
US4885787A (en) High-speed digital image processing apparatus
KR100823379B1 (ko) 화상 처리를 위한 데이터 필터링 장치, 방법 및 시스템
US6850569B2 (en) Effective motion estimation for hierarchical search
US7479996B2 (en) Noise eliminating device and method therefor
US11570384B2 (en) Image sensor employing varied intra-frame analog binning
US8135229B1 (en) Image processing method and device
US20090067015A1 (en) Block matching circuit and data update method
US7756363B2 (en) System and method for image processing
KR20040098584A (ko) 센서 픽셀 어레이로부터 뷰 이미지들의 두 필드를발생시키기 위한 방법과, 뷰의 제 1 및 제 2필드들을 갖는이미지 디바이스
Lukac et al. Adaptive video filtering framework
WO2001063426A1 (en) Distribution, processing, and reconstruction of variable-sized images using multiple processor arrays
US5995677A (en) Image processing system
US11562460B1 (en) High performance hardware scaler
JPH09251545A (ja) 画像処理装置
CN117710188A (zh) 图像处理的硬件电路实现方法、设备及集成电路
CN117440107A (zh) 用于成像和视觉数据的混合寻址

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120824

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130826

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee