KR20130073986A - 고속 반복된 적분 이미지들 - Google Patents

고속 반복된 적분 이미지들 Download PDF

Info

Publication number
KR20130073986A
KR20130073986A KR1020137012397A KR20137012397A KR20130073986A KR 20130073986 A KR20130073986 A KR 20130073986A KR 1020137012397 A KR1020137012397 A KR 1020137012397A KR 20137012397 A KR20137012397 A KR 20137012397A KR 20130073986 A KR20130073986 A KR 20130073986A
Authority
KR
South Korea
Prior art keywords
filter
pixels
filters
iir
fir
Prior art date
Application number
KR1020137012397A
Other languages
English (en)
Other versions
KR101499373B1 (ko
Inventor
밍-창 차이
파완 케이 바헤티
무랄리 알 차리
라구라만 크리쉬나모르티
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130073986A publication Critical patent/KR20130073986A/ko
Application granted granted Critical
Publication of KR101499373B1 publication Critical patent/KR101499373B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

반복된 적분 이미지 방법은, 단지 2 개의 패스들에서 (예를 들어, 제 1 패스는 수평 픽셀들의 로우들을 필터링하고 제 2 패스는 수직 픽셀들의 컬럼들을 필터링한다), 또는 단일 패스에서 이미지 데이터를 필터링한다. 필터는 이미지 데이터에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행한다. 복수의 IIR 필터들 및 FIR 필터들은 가우시안 필터를 근사화하기 위해 수행될 수도 있다. 패스들의 수를 최소화함으로써, 프로세싱 유닛과 저장 유닛 사이의 데이터 흐름은 종래의 반복된 적분 이미지 방법에 비해 크게 저감되며, 이로써 컴퓨테이션 시간이 향상된다.

Description

고속 반복된 적분 이미지들{FAST REPEATED INTEGRAL IMAGES}
본 출원은 2010년 11월 15일자로 출원된 발명의 명칭이 "Fast Repeated Integral Images" 인 미국 가출원번호 제61/413,814호, 및 2011년 9월 12일자로 출원된 발명의 명칭이 "Fast Repeated Integral Images" 인 미국 출원번호 제13/230,775호를 우선권 주장하며, 이들 양자는 본 출원의 양수인에게 양도되고 본 명세서에 참조로 통합된다.
디지털 이미지들은 통상 다양한 애플리케이션들에서의 이미지들을 디스플레이하기 전에, 또는 다르게는 그 이미지들을 이용하기 전에 프로세싱된다. 이미지 프로세싱은 신호 프로세싱의 일 형태이며, 여기서 입력은 사진 또는 뷰의 프레임과 같은 이미지이고 출력은 컴퓨터 비전, 컴퓨터 그래픽스 등과 같이, 후에 다양한 애플리케이션들에서 사용될 수도 있는, 이미지 또는 그 이미지와 관련된 파라미터들이다. 이미지 프로세싱은 예를 들어, 잡음을 제거함으로써, 콘트라스트 또는 선명도를 향상시킴으로써, 등등에 의해, 이미지를 개선하거나, 또는 이미지로부터 데이터를 추출하는데 사용될 수도 있다.
이동 평균을 컴퓨팅하는 것은 실시간 음향 에코 제거 (acoustic echo cancellation) 와 같은 1 차원 신호 프로세싱 문제들을 포함하는 많은 애플리케이션들에서 공통이다. 이동 평균 연산은 통상, 이동 평균 컴퓨테이션의 레졸루션에 의해 요구되는 스텝 사이즈에서, 윈도우의 일단으로 들어가는 다음의 (newer) 샘플들을 가산하고, 타단에서 나가는 이전의 (older) 샘플들을 감산함으로써 수행되는 단순 직사각형 또는 박스카 (boxcar) 필터링이다. 2 차원 (2D) 등가는 통상 적분 이미지에서, 예를 들어, 직사각형이라면, 의도된 공간 영역의 4 개의 코너들 사이에서 2D 미분 (differential) 을 취함으로써 수행된다. 적분 이미지의 변동 (variation) 들은 필요한 경우 회전 및 비-직사각형 영역들을 지원하기 위해 존재한다. 균일한 2D 필터들을 넘어서는 정교함을 위해, 다중 적분 이미지들이 애플리케이션에 따라 필터 근사 (filter approximation) 의 정확도 등과 같은 메트릭들과 컴퓨테이션 복잡도의 비용 간의 트레이드-오프로 원하는 필터 형상을 모방 (mimic) 하기 위해 적층될 수 있다. 가우시안 함수와 같은 필터 형상들의 일부의 경우에는, 보다 효과적인 근사가 컴퓨테이션 효율을 위한 적분 이미지들을 이용하여, 반복된 박스카 필터링에 의해 가능하며, 이는 반복된 적분 이미지 방법으로 통칭된다.
그러나, 그것의 정확도에도 불구하고, 반복된 적분 이미지 방법의 종래의 아키텍처로부터 발생하는 데이터 I/O 대역폭의 비용은 때때로 그 방법을 많은 애플리케이션들에 적합하지 않게 만든다. 따라서, 반복된 적분 이미지들에 대한 향상된 아키텍처가 요망된다.
반복된 적분 이미지 방법은 단지 2 개의 패스들에서 (예를 들어, 제 1 패스는 픽셀들의 수평 로우들을 필터링하고 제 2 패스는 픽셀들의 수직 컬럼들을 필터링한다), 또는 단일 패스에서 이미지 데이터를 필터링한다. 필터는 이미지 데이터에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행한다. 복수의 IIR 필터들 및 FIR 필터들은 가우시안 필터를 근사화하기 위해 수행될 수도 있다. 패스들의 수를 최소화함으로써, 프로세싱 유닛과 저장 유닛 사이의 데이터 흐름은 종래의 반복된 적분 이미지 방법에 비해 크게 저감되며, 이로써 컴퓨테이션 시간이 향상된다.
일 구현에서, 이미지를 필터링하는 방법은, 픽셀들의 어레이를 포함하는 이미지 데이터를 수신하는 단계, 제 1 방향으로 연장되는 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행하는 단계, 및 필터링된 이미지 데이터를 생성하기 위해 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계를 포함한다. 필터링된 이미지 데이터는 그 후 저장된다.
다른 구현에서, 장치는 이미지 데이터를 저장하기 위한 저장 유닛, 저장 유닛에 커플링된 데이터 버스, 및 데이터 버스를 통하여 저장 유닛에 커플링된 고속 반복된 적분 이미지 필터를 포함하며, 고속 반복된 적분 이미지 필터는 적어도 하나의 무한 임펄스 응답 (IIR) 필터; 및 적어도 IIR 필터에 커플링된 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 포함한다. 고속 반복된 적분 이미지 필터는 데이터 버스를 통하여 저장 유닛으로부터 이미지 데이터를 수신하고, 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 이용하여 제 1 방향으로 연장되는 이미지 데이터 내의 복수의 픽셀들의 라인들을 필터링하고, 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들을 필터링하여 필터링된 이미지 데이터를 생성하고 필터링된 이미지 데이터를 데이터 버스를 통하여 저장 유닛으로 출력하도록 구성된다.
다른 구현에서, 장치는 픽셀들의 어레이를 포함하는 이미지 데이터를 수신하는 수단, 제 1 방향으로 연장되는 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행하는 수단, 및 필터링된 이미지 데이터를 생성하기 위해 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단을 포함한다. 이 장치는 필터링된 이미지 데이터를 저장하는 수단을 더 포함한다.
또 다른 구현에서, 프로그램 코드를 저장하고 있는 컴퓨터 판독가능 매체는, 픽셀들의 어레이를 포함하는 이미지 데이터를 수신하기 위한 프로그램 코드; 제 1 방향으로 연장되는 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행하기 위한 프로그램 코드; 필터링된 이미지 데이터를 생성하기 위해 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하기 위한 프로그램 코드; 및 필터링된 이미지 데이터를 저장하기 위한 프로그램 코드를 포함한다.
도 1 은 종래의 2D 박스카 필터를 이용한 직접 필터링 구현을 예시하는 도면이다.
도 2 는 적분 이미지들을 이용한 종래의 필터링 구현을 예시하는 도면이다.
도 3a 및 도 3b 는 종래의 1D 적층된 박스카 필터들의 상면도 및 측면도를 각각 예시한다.
도 4 는 각 반복에 따라, 가우시안의 더 나은 근사가 산출되는 것을 예시하는, 1D 박스카 필터들의 콘볼루션을 예시하는 도면이다.
도 5 는 종래의 반복된 적분 이미지 방법을 수행하기 위한 아키텍처를 예시하는 블록도이다.
도 6 은 고속 반복된 적분 이미지 필터의 일 구현을 예시하는 도면이다.
도 7 은 고속 반복된 적분 이미지 필터의 다른 구현을 예시하는 도면이다.
도 8 은 도 6 에 도시된 고속 반복된 적분 이미지 필터에 대한 아키텍처를 예시하는 블록도이다.
도 9 는 2 차원 고속 반복된 적분 이미지 필터의 구현을 예시하는 도면이다.
도 10 은 2 차원 고속 반복된 적분 이미지 필터의 다른 구현을 예시하는 도면이다.
도 11 은 도 10 에 도시된 것과 같은 2D 고속 반복된 적분 이미지 필터에 대한 아키텍처를 예시하는 블록도이다.
도 12 는 2 차원 고속 반복된 적분 이미지 필터의 다른 구현을 예시하는 도면이다.
도 13 은 확장된 FIR 필터를 가진 2 차원 고속 반복된 적분 이미지 필터의 다른 구현을 예시하는 도면이다.
도 14 는 2 차원 고속 반복된 적분 이미지 필터에 의해 개별적으로 프로세싱될 수도 있는 다수의 스트라이프들로 분할된 이미지를 예시하는 도면이다.
도 15 는 고속 반복된 적분 이미지 필터의 동작을 예시하는 흐름도이다.
도 16 은 고속 반복된 적분 이미지 방법을 수행가능한 모바일 플랫폼의 블록도를 예시한다.
예를 들어, 가우시안 필터를 근사화하기 위한, 고속 반복된 적분 이미지 방법의 효율적인 구현은, 컴퓨터 비전, 컴퓨터 그래픽스 등과 같은 애플리케이션들에서의 이미지들을 필터링하는데 사용될 수도 있다. 제안된 접근법은 박스카 필터링, 적층된 적분 이미지들, 및 반복된 적분 이미지 방법과 같은 공지된 기법들과 비교할 때 구현을 위한 최대 유연성을 유지하면서, 컴퓨테이션 복잡도, 데이터 입력/출력 (I/O) 대역폭은 물론 캐시 요건을 최소화한다.
도 1 은 스탠드-얼론이나 보다 정교한 기능들을 위한 기반으로서나 많은 애플리케이션들에 의해 보통 사용되는, 종래의 2D 박스카 필터 (10) 를 이용한 직접 필터링 구현을 예시한다. 종래의 2D 박스카 필터 (10) 는 이미지 (12) 의 이동 평균을 제공한다. 2D 박스카 필터 (10) 는 화살표로 나타낸 바와 같이, X 방향과 Y 방향 양자로, 예를 들어, 래스터 스캔으로, 이미지 (12) 를 가로질러 이동하는 n 픽셀의 폭 및 m 픽셀들의 높이를 갖는다. 박스카 필터 (10) 가 이미지 (12) 를 가로질러 이동함에 따라, 박스카 필터 (10) 내의 픽셀들의 이동 평균이 생성된다. 그러나, 많은 수의 리던던트 컴퓨테이션은 물론 메모리 액세스들을 고려해 볼 때 도 1 에 도시한 바와 같이 직접 구현된다면, 2D 박스카 필터링을 위한 컴퓨테이션 복잡도는 물론 메모리 액세스 대역폭이 지나치게 높을 수 있다.
도 2 는 적분 이미지들을 이용한 종래의 필터링 구현을 예시한다. 적분 이미지들은 적분 이미지의 공간 영역 (20) 의 4 개의 모서리들 간의 단순 미분을 이용하는 2D 박스카 필터링의 보다 효율적인 구현이다. 공간 영역 (20) 은 통상 직사각형이지만, 다른 형상일 수 있다. 픽셀 값들의 2D 어큐뮬레이션은 단 한번만 생성된다. 즉, 이미지 (22) 의 픽셀들은 삼각형 (24) 으로 나타낸 바와 같이, 수평으로 어큐뮬레이팅된 후, 삼각형 (26) 으로 나타낸 바와 같이 수직으로 어큐뮬레이팅된다. 도 2 에 + 및 - 부호들로 나타낸 바와 같이, 박스카 필터링은 4 개의 직사각형 영역들 사이의 2D 미분으로서 야기되며, 이는 수평 축을 따라 이동된 후 수직 축을 따라 이동된다.
상이한 사이즈들의 복수의 적층된 2D 박스카 필터들이 계단 함수 (staircase function) 들과 같은 비균일한 필터들을 구현하거나, 심지어는 보다 정교한 필터들을 근사화하는데 사용될 수도 있다. 효율을 향상시키기 위해, 적층된 박스카 필터링은 각 박스카 필터당 한 세트씩, 다수의 세트들의 4 개의 코너들을 이용하여 도 2 에 도시된 적분 이미지 방법으로 확대될 수 있으며, 이는 적층된 적분 이미지들로 지칭된다. 도 3a 및 도 3b 는 1, 2, 3, 4, 및 5 박스카 필터들이 적층되어 있고, 가우시안 필터를 근사화하기 위해 적층된 적분 이미지들과 함께 사용될 수도 있는 종래의 2D 적층된 박스카 필터들의 상면도 및 측면도를 각각 예시한다. 픽셀 그리드에 대한 필터 폭의 미세한 그래뉼래러티를 위해, 예를 들어, 45°만큼의 박스카 필터들의 적층의 공간 회전, 또는 애플리케이션들의 요건들에 따른 원하는 최적화를 위한 개개의 박스카 필터들의 회전과 스케일링의 조합과 같은 변동들이 가능하다. 원하는 필터의 근사는 충분히 많은 수의 박스카 필터들을 이용하여 향상될 수도 있다.
가우시안 함수와 같은 비균일한 필터 함수들의 경우, 확률 이론으로부터 대수의 법칙에 의해 제안되는 바와 같이 박스카 필터들을, 적층하는 대신에 반복적으로 콘볼빙함으로써 보다 효율적으로 달성될 수도 있다. 도 4 는 1D 박스카 필터들의 콘볼루션을 예시하며, 여기서 각 반복에 따라 가우시안의 더 나은 근사가 산출되는 것을 알 수 있다.
반복적으로 콘볼빙하는 접근법은 또한 적분 이미지 방법의 효율을 향상시키는데 사용될 수도 있으며, 이는 반복된 적분 이미지 방법으로도 통칭된다. 반복된 적분 이미지 방법은, 반복된 적분 이미지 방법이 박스카 필터링당 하나의 이미지 적분을 요구한다는 점에서, 적층된 적분 이미지 방법과는 상이하다. 도 5 는 가우시안 근사를 위해 반복된 적분 이미지 방법을 수행하기 위한 아키텍처 (40) 를 예시하는 블록도이다. 알 수 있는 바와 같이, 아키텍처 (40) 는 프로세싱 유닛 (42) 및 저장 유닛 (44) 은 물론 데이터 버스 (46) 를 포함한다. 프로세싱 유닛 (42) 은 도 2 에서 설명한 바와 같이, 2D 이미지 적분 (48), 그 다음에 2D 이미지 미분 (50) 을, 다수 회 순차적으로 수행한다 (복수의 2D 이미지 적분들 (48) 과 2D 이미지 미분들 (50) 사이에 점선 화살표로 예시됨). 2D 이미지 적분 (48) 이 수행될 때마다, 그리고 2D 이미지 미분 (50) 이 수행될 때마다의 입력 및 출력은 데이터 버스 (46) 를 통하여 저장 유닛 (44) 으로부터 취출되고 저장 유닛 (44) 에 제공된다.
직접 박스카 필터링, 적층된 적분 이미지들 및 반복된 적분 이미지들의 비교를 위한 공통 그리고 실질적인 유즈 케이스로서 가우시안 함수 근사를 이용하면, 이들 방법들의 복잡도는, 픽셀당 어큐뮬레이션들의 수의 컴퓨테이션, 결과의 이미지 전체가 후속 프로세싱을 위해 메모리에 작성되어야 하는 패스들의 수의 데이터 I/O 대역폭, 및 임의의 특정 패스 내에서 단일 출력 픽셀의 생성을 완전히 지원하기 위하여 유지해야 하는 픽셀들의 수의 캐시 요건을 포함하는, 표 1 에 이하 도시된다.
Figure pct00001
표 1 에서는, 적층된 적분 이미지들 및 직접 박스카 필터링 방법들이 그들이 수학적으로 등가일 때 동일한 수의 스테이지들 M 을 갖는다는 것에 주목한다. 추가적으로, 반복된 적분 이미지 방법은 동일한 근사의 정확도를 달성하면서, 더 적은 수의 스테이지들 N<M 을 사용할 수도 있다. 예를 들어, 경험적으로, M 은 N = 3 이면 적어도 6 이상이다. 캐시 요건은 3 가지 방법들 모두에 대해 동일하며, 여기서 Wi 및 Li 는 개개의 박스카 필터들의 폭 및 길이이다.
표 1 의 분석에 기초하여, 픽셀당 어큐뮬레이션들의 수 및 패스들의 수의 효율 이점들을 고려해 볼 때 가우시안 근사를 위해서는 직접 박스카 필터링 방법에 비해 적층된 적분 이미지 방법이 더 나은 선택이다. 그러나, 적층된 적분 이미지 방법과 반복된 적분 이미지 방법 사이에서의 선택은, 적층된 적분 이미지 방법, (3*M+2)=(3*6+2)=20 에 비해, 반복된 적분 이미지 방법의 컴퓨테이션, (5*N)=(5*3)=15 이 중간 정도의 이점을 갖는다는 것을 고려해 볼 때 명확하지 않지만, 적층된 적분 이미지 방법의 것 (단지 2) 보다 상당히 더 큰 수의 패스들, 2*N=2*3=6 을 요구한다. 따라서, 적층된 적분 이미지 방법과 반복된 적분 이미지 방법 사이에서의 선택은, M>>N 이 아니라면, 특정 플랫폼들의 비용 트레이드-오프에 의존한다.
필터링의 고속 반복된 적분 이미지 방법에 대한 제안된 접근법은 신호 프로세싱의 관점에서 반복된 적분 이미지 방법의 본질을 유지하지만, 훨씬 더 효율적인 동작을 위해 향상된 아키텍처를 요구하며, 이는 프로세싱 유닛과 저장 유닛 간의 다소 더 적은 컴퓨테이션 및 상당히 더 적은 데이터의 흐름은 물론, 프로세싱 유닛 내의 상당히 더 적은 로컬 저장소를 요구한다.
고속 반복된 적분 이미지 방법은, 이미지 적분이 2D 무한 임펄스 응답 (IIR) 필터링이며, 이는 2 개의 1 차원 (1D) IIR들로서 분리가능하다는 것을 인정한다. 더욱이, 2D 직사각형 영역의 가산 및 감산에 의한 합산 또는 평균, 또는 적분 이미지의 원하는 영역의 4 개의 모서리들 간의, 일반적인 미분은 2D 유한 임펄스 응답 (FIR) 필터링이며, 이는 또한 2 개의 1D FIR들로서 분리가능하다. 더욱이, 캐스케이드된 선형 필터들의 시스템은 단대단 기능적 등가를 유지하면서, 선형 필터들의 스테이지들이 재순서화되는 것을 허용한다는 것에 주목할 것이다. 추가적으로, 모든 캐스케이드된 수평 선형 필터링 스테이지들이 하나의 단일 패스에서 수행될 수 있고, 개별적으로 모든 캐스케이드된 수직 선형 필터링 스테이지들이 또한 하나의 단일 패스에서 수행될 수 있다.
2D 이미지 적분의 연산은 다음과 같이 표현될 수 있다 :
Figure pct00002
적분 이미지에 대한 2D 미분 (예를 들어, 도 2 의 공간 영역 (20)) 의 연산은 다음과 같이 표현될 수 있다 :
Figure pct00003
여기서 W 는 2D 영역의 폭이고, L 은 2D 영역의 길이이다.
단일 스테이지 박스 필터는 다음과 같이 표현될 수 있다 :
Figure pct00004
반복된 적분 이미지 방법은 다음과 같이 표현될 수 있다 :
Figure pct00005
도 6 은 가우시안 근사를 위해 사용될 수도 있는 고속 반복된 적분 이미지 필터 (100) 의 일 구현을 예시한다. 고속 반복된 적분 이미지 필터 (100) 는 함께 커플링된 적어도 하나의 1D 무한 임펄스 응답 (IIR) 필터 (110) 및 적어도 하나의 1D 유한 임펄스 응답 (FIR) 필터 (120) 를 포함한다. IIR 필터 (110) 는 예를 들어, 1-샘플 지연 플립-플롭 (112) 및 가산기 (114) 를 포함한다. FIR 필터 (120) 는 복수의 1-샘플 지연 플립-플롭들 (112, 122 및 124), 및 IIR 필터 (110) 로부터의 가산기 (114) 의 출력 및 마지막 플립-플롭 (124) 의 반전된 출력을 수신하는 가산기 (114) 를 포함한다. FIR 필터 (120) 에서 사용되는 플립-플롭들 (112, 122 및 124) 의 수는 가우시안 필터와 같은 타겟 필터에 대한 원하는 레벨의 유사성에 의해 결정된다. 도 6 에서, IIR 필터 (110) 및 FIR 필터 (120) 세트는 2 번 반복되는 것으로 도시되지만, IIR 필터 (110) 및 FIR 필터 (120) 가 (제로 반복을 포함하여) 원하는 만큼 다수 회 반복될 수도 있으며, 여기서 각 반복은 가우시안의 근사를 향상시킨다는 것이 이해되어야 한다. 더욱이, 원한다면, IIR 필터 (110) 및 FIR 필터 (120) 의 순서는 스위칭될 수도 있으며, 즉 FIR 필터 (120) 는 IIR 필터 (110) 를 선행할 수도 있다. 더욱이, 필터들 (110 및 120) 의 순서는 상이한 반복하는 필터들의 세트들 사이에서 가변할 수도 있다. 캐스케이드된 선형 필터들의 사용은 단대단 기능적 등가를 유지하면서 선형 필터들의 스테이지들이 재순서화되는 것을 허용한다. 동작 시, 미분 영역이 동일한 폭 및 길이를 갖는다는 것을 가정하여, 수평 라인들은 각각 단일 패스에서 고속 반복된 적분 이미지 필터 (100) 를 통과하게 되고, 개별적으로 수직 라인들은 각각 단일 패스에서 고속 반복된 적분 이미지 필터 (100) 를 통과하게 된다. 원한다면, 개별의 캐스케이드된 선형 필터들은 수직 라인들 및 수평 라인들에 대해 사용될 수도 있다.
도 7 은 가우시안 근사를 위해 사용될 수도 있는 고속 반복된 적분 이미지 필터 (150) 의 다른 구현을 예시한다. 도 6 을 참조하여 상기 논의한 바와 같이, 캐스케이드된 선형 필터들의 사용은 단대단 기능적 등가를 유지하면서 선형 필터들의 스테이지들이 재순서화되는 것을 허용한다. 따라서, 도 7 의 필터 (150) 는 도 6 에 도시된 필터 (100) 와 단대단 기능적 등가이지만, 선형 필터들의 순서는 가변된다. 도 7 에 예시한 바와 같이, IIR 필터 (160) 는 2 개의 1-샘플 지연 플립-플롭들 (162, 164), 및 2 개의 가산기들 (166, 168) 을 포함하는 2 개의 IIR 필터들을 결합함으로써 생성되며, 결과적으로 고차 (higher-order) IIR 필터 (160) 가 된다. IIR 필터 (160) 는 단일 고차 FIR 필터 (180) 와 직렬이며, 이 단일 고차 FIR 필터 (180) 는 1-샘플 지연 플립-플롭들 (162, 164, 182, 184 및 186) 및 가산기들 (188, 190 및 192) 을 포함하는 2 개의 FIR 필터들에 의해 생성된다. 원한다면, 이미지가 수평으로 필터링되기 전에 수직으로 필터링될 수도 있다는 것이 이해되어야 한다. n 선형 FIR 필터들에 커플링된 n 선형 IIR 필터들의 다른 기능적으로 등가인 구성들이 사용될 수도 있다.
도 8 은 도 6 에 도시된 것과 유사한, 멀티 스테이지 고속 반복된 적분 이미지 필터 (210) 에 대한 아키텍처 (200) 를 예시하는 블록도이다. 아키텍처 (200) 는 고속 반복된 적분 이미지 필터 (210) 를 수행하는 것으로 예시되는 프로세싱 유닛 (220), 저장 유닛 (230) 은 물론 데이터 버스 (240) 를 포함한다. 동작 시, 이미지는 단 한번만 데이터 버스 (240) 를 통하여, 저장 유닛 (230) 으로부터 고속 반복된 적분 이미지 필터 (210) 로 입력되고, 필터링된 이미지는 단 한번만, 데이터 버스 (240) 를 통하여, 고속 반복된 적분 이미지 필터 (210) 로부터 저장 유닛 (230) 으로 출력된다. 고속 반복된 적분 이미지 필터 (210) 는 2 회 사용되는데, 한번은 수평 차원에서 이미지를 필터링하기 위한 것이고, 2 회째는 수직 차원에서 이미지를 필터링하기 위한 것이다. 원한다면, 2 개의 개별의 고속 반복된 적분 이미지 필터 (210) 가 수평 차원 및 수직 차원을 순차적으로 프로세싱하는데 사용될 수도 있다. 고속 반복된 적분 이미지 필터 (210) 는 도 6 및 도 7 에서 설명한 바와 같이, 1D IIR 이미지 적분 (때로는 IIR 필터로 지칭) (212) 및 1D FIR 이미지 미분 (때로는 FIR 필터로 지칭) (214) 을 포함하며, 이들은 복수의 IIR 필터들 (212) 과 FIR 필터들 (214) 간의 점선 화살표로 나타낸 바와 같이, 이미지를 다수 회 순차적으로 필터링한다. 각 IIR 필터 (212) 및 FIR 필터 (214) 는 프로세싱 유닛 (220) 내의 로컬 저장 유닛 (222) 에 커플링된다. IIR 필터들 (212) 과 FIR 필터들 (214) 사이의 점선 화살표들은 직접 접속과는 대립되는 프로세스의 흐름을 예시한다. 상기 설명한 바와 같이, IIR 필터들 (212) 과 FIR 필터들 (214) 의 순서는 물론 수가 원한다면 가변될 수도 있다.
고속 반복된 적분 이미지 필터에 대한 아키텍처 (200) 및 방법 (300) 은, 가우시안 근사를 위한 반복된 적분 이미지들 및 고속 반복된 적분 이미지들의 복잡도를 도시하는 이하의 표 2 에 예시되는 바와 같이, 반복된 적분 이미지들에 대해 보다 효율적인 연산을 제공한다.
Figure pct00006
알 수 있는 바와 같이, 종래의 반복된 적분 이미지 방법과 비교할 때, 고속 반복된 적분 이미지 방법에 의한 컴퓨테이션 복잡도 저감은 (5*N) 에서 (4*N) 이 되어 약 25% 이지만, (2*N) 에서 2 로의 패스들의 수의 상당한 저감이 존재한다. 따라서, 고속 반복된 적분 이미지 방법은 추가적인 패스들 또는 더 큰 캐시 요건을 요구하지 않으면서, 컴퓨테이션 복잡도의 이점들에 관해서는 적층된 적분 이미지 방법보다 명확히 더 나은 선택이다 (표 1 에 도시).
종래의 방법들 및 반복된 적분 이미지 방법에 대한 아키텍처에 대한 고속 반복된 적분 이미지 방법 및 아키텍처의 이점들은 (1) 더 낮은 컴퓨테이션 복잡도, (2) 프로세싱 유닛과 저장 유닛 간의 데이터 흐름에 대한 훨씬 더 낮은 요건, (3) 프로세싱 유닛 내의 로컬 데이터 저장소에 대한 훨씬 더 낮은 요건, (4) 컴퓨테이션, 데이터 흐름 및 로컬 저장소 간에 상이한 트레이드-오프를 행하는 것에 의해서가 아닌 기본적으로 더 나은 선택, (5) 고차의 반복된 정수 이미지들에 대한 또는 더 높은 차원 공간에서의 동작으로의 용이한 확대가능성을 포함한다.
원한다면, 고속 반복된 적분 이미지 필터는 1 차원 필터에 의해 요구되는 2 개의 패스들과는 대조적으로, 단일 패스, 즉 2 차원의 필터링에서 수행될 수도 있다. 도 9 는 2D 고속 반복된 적분 이미지 필터 (300) 의 구현을 예시한다. 고속 반복된 적분 이미지 필터 (300) 는 2 개의 스테이지들 (310 및 330) 의 캐스케이드를 포함하는 것으로 예시되지만, 원한다면, 더 적거나 추가적인 스테이지들이 사용될 수도 있다. 예시한 바와 같이, 제 1 스테이지 (310) 는 x 방향의 픽셀들의 로우들을 필터링하는 수평 부분 (311) 및 y 방향의 픽셀들의 컬럼들을 필터링하는 수직 부분 (321) 으로 분할된다. 제 1 스테이지 (310) 의 수평 부분 (311) 은 m 의 필터 폭을 갖는 FIR 필터 (314) 에 커플링된 IIR 필터 (312) 를 포함한다. 제 1 스테이지 (321) 의 수직 부분 (321) 은 n 의 필터 폭을 갖는 FIR 필터 (324) 에 커플링된 IIR 필터 (322) 를 포함한다. 제 2 스테이지 (330) 는 유사하게 픽셀들을 로우들 및 컬럼들 각각에 대한 IIR 필터들 (332 및 342), 그리고 픽셀들의 로우들 및 컬럼들 각각에 대한 FIR 필터들 (334 및 344) 을 포함한다.
상기 논의한 바와 같이, IIR 필터들 및 FIR 필터들의 순서는 가변될 수도 있다. 예를 들어, 도 10 에 예시된 바와 같이, 변경된 2D 고속 반복된 적분 이미지 필터 (300A) 는, 모든 IIR 필터들 (312, 322, 332, 342) 이 FIR 연산들에 독립적이기 때문에 이들을 공통 IIR 스테이지 (302) 에서 함께 캐스케이드한다. FIR 필터들은 FIR 필터들 (324 및 344) 을 포함하는 수직 스테이지 (304), 및 FIR 필터들 (314 및 334) 을 포함하는 수평 스테이지 (306) 로 그룹화될 수도 있다.
도 11 은 도 10 에 도시된 것과 같은 2D 고속 반복된 적분 이미지 필터 (300) 에 대한 아키텍처 (200') 를 예시하는 블록도이다. 도 8 에서 설명된 아키텍처 (200) 와 유사하게, 아키텍처 (200') 는 2D 고속 반복된 적분 이미지 필터 (300) 를 수행하는 것으로 예시되는 프로세싱 유닛 (220), 저장 유닛 (230) 은 물론 데이터 버스 (240) 를 포함한다. 동작 시, 이미지는 단 한번만, 데이터 버스 (240) 를 통하여, 저장 유닛 (230) 으로부터 2D 고속 반복된 적분 이미지 필터 (300) 로 입력되고, 필터링된 이미지는 단 한번만, 데이터 버스 (240) 를 통하여, 2D 고속 반복된 적분 이미지 필터 (300) 로부터 저장 유닛 (230) 으로 출력된다. 추가적으로, 2D 고속 반복된 적분 이미지 필터 (300) 는 하나의 패스에서, 수평 차원과 수직 차원 양자에서 이미지를 필터링하는데 사용된다. 고속 반복된 적분 이미지 필터 (300) 는 도 10 에서 설명한 바와 같이, 공통 IIR 스테이지 (262) 는 물론, FIR 수직 스테이지 (264) 및 FIR 수평 스테이지 (266) 를 포함하는 것으로 예시되며, 이는 직접 접속과는 대조적으로 프로세스의 흐름을 도시하는 점선 화살표로 나타낸 바와 같이, 이미지를 일회 이상 순차적으로 필터링한다. 공통 IIR 스테이지 (262), FIR 수직 스테이지 (264) 및 FIR 수평 스테이지 (266) 내의 각 IIR 필터 및 FIR 필터는 프로세싱 유닛 (220) 내의 로컬 저장 유닛 (222) 에 커플링된다. 상기 설명한 바와 같이, IIR 필터들 및 FIR 필터들의 순서는 물론 수는, 원한다면 가변될 수도 있기 때문에, 도 11 에 예시한 바와 같이, 공통 IIR 스테이지 (262), FIR 수직 스테이지 (264) 및 FIR 수평 스테이지 (266) 에서 그룹화되지 않을 수도 있다.
2D 고속 반복된 적분 이미지 필터의 구현은 복잡도를 저감시키고, 2D 가우시안 필터와의 콘볼루션의 종래의 구현보다 7x-8x 더 적은 연산들을 요구한다. 그러나, 2D 고속 반복된 적분 이미지 필터의 구현은 상기 표 2 에서 설명한 바와 같이 1D 고속 반복된 적분 이미지 필터에 비하여 추가적인 로컬 저장소를 요구한다. K 개의 스테이지들 및 길이 M1, M2, ..., MK 의 FIR들을 가진 2D 고속 반복된 적분 이미지 필터의 구현을 위한 로컬 저장소의 양은 총 K 개의 로우들에 대한 각 IIR 필터당 1 로우를 포함하고, 여기서 IIR들의 비트 폭은 다음에 오는 FIR들의 최대 길이, 및 FIR들의 중간 출력 저장소에 대한 M1, M2, ..., MK 로우들에 의해 결정된다.
도 12 에 예시한 바와 같이, 2D 고속 반복된 적분 이미지 필터 (300B) 는, 도 10 에 도시된 것과 유사하게, 단일 공통 IIR 스테이지 (302) 및 다수의 FIR 필터 뱅크들 (305 및 307) 을 포함할 수도 있다. 동일한 공통 IIR 스테이지 (302) 를 공유하는 다수의 FIR 필터 뱅크들의 경우, 상이한 타입들의 박스 필터들은 IIR 필터 프로세스의 반복을 요구하지 않고 구현될 수도 있어, 프로세싱 시간을 저감시킨다. 더욱이, 도 13 에 예시한 바와 같이, 2D 고속 반복된 적분 이미지 필터 (300C) 의 다른 구현은, 도 12 에 도시된 것과 유사하게, FIR 필터 뱅크들 (313 및 315) 내에, 도 12 에 도시된 다수의 FIR Y 필터들 대신에 사용되는, 단일의 더 긴 FIR 필터, 즉 확장된 FIR Y 를 포함한다. FIR 필터 뱅크들 (313 및 315) 내의 확장된 FIR 필터들의 사용은 그것이 로컬 저장 요건들을 저감시키기 때문에 바람직하다.
추가적으로, 2D 고속 반복된 적분 이미지 필터는, 로컬 저장 요건들이 이미지 사이즈에 독립적이고 산술 복잡도의 관점에서 픽셀당 비용이 고정되어 있도록 복수의 스트라이프들로 이미지를 분할할 수도 있다. 도 14 는 스트라이프된 이미지 (450) 및 스트라이프된 이미지 (450) 를 프로세싱할 수 있는 2D 고속 반복된 적분 이미지 필터 (300D) 를 예시한다.
도 14 에 예시한 바와 같이, 스트라이프된 이미지는, 각 타일이 동일한 수의 픽셀들의 로우들을 갖지만 각 타일이 풀 이미지 (450) 에 존재하는 것보다 더 적은 픽셀들의 컬럼들을 갖도록, 다수의 수직으로 배향된 스트라이프들 (452, 454 및 456) 로 분할된다. 예시한 바와 같이, 스트라이프들 (452, 454, 및 456) 은 P 컬럼들의 폭 및 높이 H 를 갖는다. 컬럼들 (452 및 454) 의 폭의 일부는 오버헤드 N 으로서 식별되며, 이는 IIR 스테이지 (302) 의 최대 필터 길이와 동일하다.
도 14 에 도시된 2D 고속 반복된 적분 이미지 필터 (300D) 는 IIR 출력 버퍼 (303) 를 포함하지만, 다르게는 이전에 설명된 2D 고속 반복된 적분 이미지 필터들과 유사할 수도 있다. 도 14 는 또한, 추가적인 FIR 뱅크 (317) 의 포함을 도시하지만, 더 적거나 추가적인 FIR 뱅크들이 사용될 수도 있다. 2D 고속 반복된 적분 이미지 필터 (300D) 는 다음 스트라이프로 이동하기 전에, 각 스트라이프를 개별적으로, 즉 스트라이프의 높이와 수평 폭 양자에 대해 프로세싱하며, 이는 그것이 로컬 저장 유닛 (322) (도 11 에 도시) 의 요구된 사이즈를 저감시키기 때문에 바람직하다. 요구된 캐시 사이즈는 스트라이프 폭 P 에 임의의 이전 스트라이프로부터의 오버헤드 N 을 더한 것과, FIR 컴퓨테이션을 위해 요구된 높이의 곱, 즉 최대 필터 길이 * (P + N) 이다. 후속 스트라이프들, 예를 들어, 스트라이프들 (454 및 456) 을 필터링하기 위하여, 2D 고속 반복된 적분 이미지 필터 (300D) 는 선행하는 스트라이프로부터의 정보를 요구하며, 이는 오버헤드 N 이다. 따라서, N 개의 샘플들/로우/블록의 양의 추가적인 메모리 액세스들이 IIR 출력 버퍼 (303) 에 의해 제공된다. 2D 고속 반복된 적분 이미지 필터 (300D) 는, 다수의 스트라이프들이 순차적으로 필터링되더라도 이미지로부터의 데이터가 이미지의 각 로케이션으로부터 한번 판독되기 때문에 단일 패스 필터인 것으로 간주된다. P 의 사이즈는 N/P 가 작도록 선택된다. 예를 들어, P = 80 및 N = 25 인 것으로 선택하면, 메모리 액세스의 엑스트라 오버헤드는 30% 이며, 즉 실행 시간이 30% 만큼 증가된다. 그러나, P = 80 인 경우, 로컬 저장 유닛 (372) 의 요구된 캐시 사이즈는 20kB 보다 작고, 이미지 사이즈에 독립적이다.
도 15 는 고속 반복된 적분 이미지 필터의 방법 (500) 을 예시하는 흐름도이다. 예시한 바와 같이, 픽셀들의 어레이를 포함하는 이미지 데이터는 고속 반복된 적분 이미지 필터에 의해 수신된다 (502). 이미지 데이터는 고속 반복된 적분 이미지 필터에 의해 필터링되어 필터링된 이미지 데이터가 생성된다 (504). 필터링된 이미지 데이터는 제 1 방향으로 연장되는 이미지 데이터 내의 복수의 픽셀들의 라인들 (예를 들어, 픽셀들의 로우들) 에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행함으로써 생성된다 (506). 필터링된 이미지 데이터는 또한 제 2 방향으로 연장되는 복수의 픽셀들의 라인들 (예를 들어, 픽셀들의 컬럼들) 에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행함으로써 생성되며, 이로써 필터링된 이미지 데이터가 생성된다 (508). 필터링된 이미지 데이터는 예를 들어, 저장 유닛, 예를 들어, 저장 유닛 (230) 내에 출력 및 저장된다 (510). 필터링된 이미지 데이터의 생성 (504) 은 2 패스들에서, 예를 들어, 1D 고속 반복된 적분 이미지 필터 (210) 를 이용하여 수행될 수도 있다. 예를 들어, 제 1 방향의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 것은 (506), 부분적으로 필터링된 이미지 데이터를 생성하며, 이 부분적으로 필터링된 이미지 데이터는 예를 들어, 저장 유닛 (230) 에 제공 및 저장되고 (507), 부분적으로 필터링된 이미지 데이터에서의 제 2 방향의 픽셀들의 라인들에 대해 IIR 필터 및 FIR 필터를 수행 (508) 하기 전에 취출된다. 모든 라인들은 제 2 방향의 라인들 모두를 필터링하기 전에 제 1 방향으로 필터링될 수도 있고, 따라서 저장 유닛 (230) 과의 통신이 최소화된다. 그러나, 원한다면, 라인들의 서브세트는 한번에 필터링될 수도 있으며, 이는 추가적인 패스들을 요구할 것이다.
대안으로, 필터링된 이미지 데이터의 생성 (504) 은 단일 패스에서, 예를 들어, 상기 설명된 2D 고속 반복된 적분 이미지 필터들을 이용하여 수행될 수도 있으며, 이 경우 단계 507 은 불필요하다. 추가적으로, 2D 고속 반복된 적분 이미지 필터가 필터링된 이미지 데이터를 생성하는데 사용된다면, 이미지 데이터는 상기 설명한 바와 같이, 이미지의 다수의 부분들이 순차적으로 필터링되도록 스트라이프될 수도 있으며, 이 경우 스트라이프된 이미지의 소정의 부분들 (예를 들어, 오버헤드 N) 은 2 회 필터링되며, 이는 결과적으로 추가적인 오버헤드가 된다.
고속 반복된 적분 이미지 방법은 적합한 아키텍처를 가진 임의의 장치에 의해 수행될 수도 있다. 일 예로, 도 16 은 고속 반복된 적분 이미지 방법을 수행가능한 모바일 플랫폼 (600) 의 블록도를 예시한다. 모바일 플랫폼은 셀룰러 또는 다른 무선 통신 디바이스, 개인 통신 시스템 (PCS) 디바이스, 개인 내비게이션 디바이스 (PND), 개인 정보 관리기 (PIM), 개인 휴대 정보 단말기 (PDA), 또는 다른 적합한 모바일 디바이스와 같은 임의의 휴대용 전자 디바이스를 지칭한다. 고속 반복된 적분 이미지 방법은 정지된 또는 부분적으로 정지된 디바이스들에서도 수행될 수도 있다.
모바일 플랫폼 (600) 은 필터링될 비디오 프레임들의 이미지들을 캡처가능한 카메라 (602) 를 포함하는 것으로 예시된다. 모바일 플랫폼 (600) 은 또한, 예를 들어, 카메라 (602) 에 의해 캡처된 이미지들을 디스플레이할 수 있는 디스플레이 (612) 를 포함하는 사용자 인터페이스 (610) 를 포함한다. 사용자 인터페이스 (610) 는 또한, 사용자가 모바일 플랫폼 (600) 에 정보를 입력할 수 있는 키패드 (618) 또는 다른 입력 디바이스를 포함할 수도 있다. 원한다면, 키패드 (618) 는 터치 센서를 가진 디스플레이 (612) 에 가상 키패드를 통합함으로써 제거될 수도 있다. 사용자 인터페이스 (610) 는 예를 들어, 모바일 플랫폼이 셀룰러 전화기라면 마이크로폰 (616) 및 스피커 (614) 를 또한 포함할 수도 있다. 물론, 모바일 플랫폼 (600) 은 본 개시물과 관련되지 않은 다른 엘리먼트들을 포함할 수도 있다.
모바일 플랫폼 (600) 은 또한 카메라 (602) 및 사용자 인터페이스 (610) 에 접속되어 통신하는 제어 유닛 (620) 을 다른 피처들과 함께 포함한다. 제어 유닛 (620) 은 프로세서 (622) 및 소프트웨어 (626) 를 포함할 수도 있는 연관된 메모리/저장소 (624) 는 물론, 하드웨어 (628), 및 펌웨어 (630) 에 의해 제공될 수도 있다. 모바일 플랫폼 (600) 은 상기 설명된 1D 고속 반복된 적분 이미지 필터들 중 임의의 것 또는 2D 고속 반복된 적분 이미지 필터들 중 임의의 것일 수도 있고, 데이터 버스 (240) 를 통하여 저장 유닛 (230) 에 커플링되고 로컬 저장소 (220) 에 커플링되는 고속 반복된 적분 이미지 필터 (632) 를 포함하는 것으로 예시된다. 고속 반복된 적분 이미지 필터 (632) 는 명료성을 위해 프로세서 (622) 와는 별개로 예시되지만, 프로세서 (622) 에서 실행되는 소프트웨어 (626) 내의 명령들에 기초하여 프로세서 (622) 에서 구현될 수도 있다. 본 명세서에서 사용되는 바와 같이, 프로세서 (622) 는 물론 고속 반복된 적분 이미지 필터 (632) 는 하나 이상의 마이크로프로세서들, 내장형 프로세서들, 제어기들, 주문형 집적 회로 (ASIC) 들, 디지털 신호 프로세서 (DSP) 들 등을 포함할 수 있지만 반드시 포함할 필요가 있는 것은 아니라는 것이 이해될 것이다. 용어 프로세서는 특정 하드웨어가 아닌 시스템에 의해 구현된 기능들을 설명하는 것으로 의도된다. 더욱이, 본 명세서에서 사용되는 바와 같이, 용어들 "메모리" 및 "저장소" 는 장기, 단기 또는 모바일 플랫폼과 연관된 다른 메모리를 포함하는 임의의 타입의 컴퓨터 저장 매체를 지칭하며, 메모리의 임의의 특정 타입 또는 메모리들의 수, 또는 메모리가 저장되는 미디어의 타입으로 제한되지 않는다.
본 명세서에서 설명된 방법론들은 애플리케이션에 의존하여 다양한 수단으로 구현될 수도 있다. 예를 들어, 이들 방법론들은 하드웨어 (628), 펌웨어 (630), 소프트웨어 (626) 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현의 경우, 고속 반복된 적분 이미지 필터 (632) 는 하나 이상의 주문형 집적 회로 (ASIC) 들, 디지털 신호 프로세서 (DSP) 들, 디지털 신호 프로세싱 디바이스 (DSPD) 들, 프로그램가능 로직 디바이스 (PLD) 들, 필드 프로그램가능 게이트 어레이 (FPGA) 들, 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에서 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현의 경우, 방법론들은 본 명세서에서 설명된 기능들을 수행하는 모듈들 (예를 들어, 프로시저들, 함수들 등) 로 구현될 수도 있다. 명령들을 유형으로 수록하는 임의의 머신 판독가능 매체는 본 명세서에서 설명된 방법론들을 구현하는데 사용될 수도 있다. 예를 들어, 소프트웨어 코드들은 메모리 (624) 에 저장되고 프로세서 (622) 에 의해 실행될 수도 있다. 메모리는 프로세서 (622) 내에 또는 프로세서 (622) 외부에 구현될 수도 있다.
펌웨어 및/또는 소프트웨어로 구현된다면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장될 수도 있다. 예들은 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체와 데이터 구조들로 인코딩된 비일시적 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 물리적 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 제한이 아닌 일 예로, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, 플래시 메모리, EEPROM, CD-ROM 또는 다른 광 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있고; 디스크 (disk) 및 디스크 (disc) 는 본 명세서에서 사용되는 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루 레이 디스크를 포함하며, 여기서 디스크 (disk) 는 보통 데이터를 자기적으로 재생시키는 한편, 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생시킨다. 상기의 조합들은 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
본 발명은 명령적 목적으로 특정 실시형태들과 함께 설명되지만, 본 발명은 이것에 제한되지 않는다. 본 발명의 범위로부터 벗어남 없이 다양한 적응들 및 변경들이 행해질 수도 있다. 따라서, 첨부된 청구항들의 사상 및 범위는 전술한 설명에 제한되어서는 안된다.

Claims (52)

  1. 이미지를 필터링하는 방법으로서,
    픽셀들의 어레이를 포함하는 이미지 데이터를 수신하는 단계;
    제 1 방향으로 연장되는 상기 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행하는 단계;
    필터링된 이미지 데이터를 생성하기 위해 상기 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계; 및
    상기 필터링된 이미지 데이터를 저장하는 단계를 포함하는, 이미지의 필터링 방법.
  2. 제 1 항에 있어서,
    상기 필터링된 이미지 데이터는 가우시안 필터링된 이미지 데이터를 근사화하는, 이미지의 필터링 방법.
  3. 제 1 항에 있어서,
    상기 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 부분적으로 필터링된 이미지 데이터를 생성하고,
    상기 이미지의 필터링 방법은, 상기 부분적으로 필터링된 이미지 데이터를 저장하는 단계를 더 포함하며,
    상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 상기 부분적으로 필터링된 이미지 데이터에 대한 것인, 이미지의 필터링 방법.
  4. 제 3 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 상기 부분적으로 필터링된 이미지 데이터를 저장하는 단계 전에 상기 제 1 방향으로 연장되는 상기 이미지 데이터 내의 모든 픽셀들의 라인들에 대해 상기 적어도 하나의 IIR 필터 및 상기 적어도 하나의 FIR 필터를 수행하는 단계를 포함하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 상기 필터링된 이미지 데이터를 저장하는 단계 전에 상기 제 2 방향으로 연장되는 상기 필터링된 이미지 데이터 내의 모든 픽셀들의 라인들에 대해 상기 적어도 하나의 IIR 필터 및 상기 적어도 하나의 FIR 필터를 수행하는 단계를 포함하는, 이미지의 필터링 방법.
  5. 제 1 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계를 포함하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계를 포함하는, 이미지의 필터링 방법.
  6. 제 5 항에 있어서,
    상기 필터링된 이미지 데이터를 저장하기 위한 저장 유닛과는 상이한 로컬 저장 유닛에 상기 복수의 IIR 필터들 각각 및 상기 복수의 FIR 필터들 각각의 출력을 로컬로 저장하는 단계를 더 포함하는, 이미지의 필터링 방법.
  7. 제 5 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계는, 동일한 수의 IIR 필터들 및 FIR 필터들을 수행하는 단계를 포함하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계는, 제 2 동일한 수의 IIR 필터들 및 FIR 필터들을 수행하는 단계를 포함하는, 이미지의 필터링 방법.
  8. 제 5 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계는, 상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들을 연속적으로 수행하는 단계를 포함하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계는, 상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들을 연속적으로 수행하는 단계를 포함하는, 이미지의 필터링 방법.
  9. 제 5 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계는, 복수의 병렬 IIR 필터들을 단일 고차 IIR 필터로 결합하고 복수의 병렬 FIR 필터들을 단일 고차 FIR 필터로 결합하며, 상기 단일 고차 IIR 필터 및 상기 단일 고차 FIR 필터를 연속적으로 수행하는 단계를 포함하는, 이미지의 필터링 방법.
  10. 제 9 항에 있어서,
    상기 단일 고차 IIR 필터는 상기 단일 고차 FIR 필터 전에 수행되는, 이미지의 필터링 방법.
  11. 제 1 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 상기 적어도 하나의 FIR 필터를 수행하기 전에 상기 적어도 하나의 IIR 필터를 수행하는 단계를 포함하는, 이미지의 필터링 방법.
  12. 제 1 항에 있어서,
    상기 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계 및 상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 단계는, 단일 패스 (single pass) 에서 수행되는, 이미지의 필터링 방법.
  13. 제 12 항에 있어서,
    상기 이미지 데이터는 제 1 수의 픽셀들의 로우들 및 제 2 수의 픽셀들의 컬럼들을 포함하며, 상기 이미지의 필터링 방법은 :
    각 스트라이프가 상기 제 1 수의 픽셀들의 로우들 및 컬럼들의 상기 제 2 수보다 작은 제 3 수의 픽셀들의 컬럼들을 포함하는, 복수의 스트라이프들로 상기 이미지 데이터를 분할하는 단계를 더 포함하며,
    상기 이미지 데이터 내의 상기 제 1 복수의 픽셀들의 라인들에 대한 상기 적어도 하나의 IIR 필터 및 상기 적어도 하나의 FIR 필터 및 상기 제 2 복수의 픽셀들의 라인들에 대한 상기 적어도 하나의 IIR 필터 및 상기 적어도 하나의 FIR 필터는, 상기 복수의 스트라이프들 각각에 대해 순차적으로 수행되는, 이미지의 필터링 방법.
  14. 제 5 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계 및 상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 단계는, 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 단계 및 상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 단계 전에 공통 IIR 스테이지에서 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 IIR 필터들을 수행하고, 상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 IIR 필터들을 수행하는 단계를 포함하는, 이미지의 필터링 방법.
  15. 제 14 항에 있어서,
    상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 단계는, 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 단계 전에 발생하는, 이미지의 필터링 방법.
  16. 제 14 항에 있어서,
    상기 공통 IIR 스테이지 후에 상기 제 1 복수의 픽셀들의 라인들에 대해 제 2 복수의 FIR 필터들을 수행하는 단계 및 상기 제 2 복수의 픽셀들의 라인들에 대해 제 2 복수의 FIR 필터들을 수행하는 단계를 더 포함하는, 이미지의 필터링 방법.
  17. 이미지 데이터를 저장하기 위한 저장 유닛;
    상기 저장 유닛에 커플링된 데이터 버스; 및
    상기 데이터 버스를 통하여 상기 저장 유닛에 커플링된 고속 반복된 적분 이미지 필터 (fast repeated integral images filter) 를 포함하며,
    상기 고속 반복된 적분 이미지 필터는 :
    적어도 하나의 무한 임펄스 응답 (IIR) 필터; 및
    상기 적어도 하나의 IIR 필터에 커플링된 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 포함하며,
    상기 고속 반복된 적분 이미지 필터는, 상기 데이터 버스를 통하여 상기 저장 유닛으로부터 상기 이미지 데이터를 수신하고, 상기 적어도 하나의 IIR 필터 및 상기 적어도 하나의 FIR 필터를 이용하여 제 1 방향으로 연장되는 상기 이미지 데이터 내의 복수의 픽셀들의 라인들을 필터링하고, 상기 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들을 필터링하여 필터링된 이미지 데이터를 생성하고 상기 필터링된 이미지 데이터를 상기 데이터 버스를 통하여 상기 저장 유닛으로 출력하도록 구성되는, 장치.
  18. 제 17 항에 있어서,
    상기 필터링된 이미지 데이터는 가우시안 필터링된 이미지 데이터를 근사화하는, 장치.
  19. 제 17 항에 있어서,
    상기 고속 반복된 적분 이미지 필터는, 상기 적어도 하나의 IIR 필터 및 상기 적어도 하나의 FIR 필터를 이용하여 상기 제 1 방향으로 연장되는 상기 이미지 데이터 내의 상기 복수의 픽셀들의 라인들을 필터링하여 부분적으로 필터링된 이미지 데이터를 생성하고 상기 부분적으로 필터링된 이미지 데이터를 상기 데이터 버스를 통하여 상기 저장 유닛으로 출력하도록 구성되며,
    상기 고속 반복된 적분 이미지 필터는, 상기 저장 유닛으로부터 상기 부분적으로 필터링된 이미지 데이터를 수신하고 상기 제 2 방향으로 연장되는 상기 부분적으로 필터링된 이미지 데이터 내의 상기 제 2 복수의 픽셀들의 라인들을 필터링하도록 구성되는, 장치.
  20. 제 19 항에 있어서,
    상기 고속 반복된 적분 이미지 필터는, 상기 제 1 방향으로 연장되는 상기 이미지 데이터 내의 상기 복수의 픽셀들의 라인들 모두를 필터링하여 상기 부분적으로 필터링된 이미지 데이터를 생성하고 상기 제 2 방향으로 연장되는 상기 부분적으로 필터링된 이미지 데이터 내의 상기 복수의 픽셀들의 라인들 모두를 필터링하여 상기 필터링된 이미지 데이터를 생성하도록 구성되는, 장치.
  21. 제 17 항에 있어서,
    상기 고속 반복된 적분 이미지 필터는 :
    복수의 IIR 필터들; 및
    상기 복수의 IIR 필터들에 커플링된 복수의 FIR 필터들을 포함하는, 장치.
  22. 제 21 항에 있어서,
    로컬 저장 유닛을 더 포함하며,
    상기 복수의 IIR 필터들은 상기 로컬 저장 유닛에 직접 커플링되고, 상기 복수의 FIR 필터들은 상기 로컬 저장 유닛에 직접 커플링되는, 장치.
  23. 제 21 항에 있어서,
    상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들 내에는 동일한 수의 IIF 필터들 및 FIR 필터들이 존재하는, 장치.
  24. 제 21 항에 있어서,
    상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들은 직렬로 커플링되는, 장치.
  25. 제 21 항에 있어서,
    상기 복수의 IIR 필터들은 단일 고차 IIR 필터로 결합된 복수의 병렬 IIR 필터들을 포함하고, 상기 복수의 FIR 필터들은 단일 고차 FIR 필터로 결합된 복수의 병렬 FIR 필터들을 포함하며, 상기 단일 고차 IIR 필터는 상기 단일 고차 FIR 필터와 직렬로 커플링되는, 장치.
  26. 제 25 항에 있어서,
    상기 단일 고차 IIR 필터는 상기 데이터 버스를 통하여 상기 저장 유닛 내에 저장된 상기 이미지 데이터를 수신하도록 커플링되고, 상기 단일 고차 FIR 필터는 상기 데이터 버스를 통하여 상기 저장 유닛으로 부분적으로 필터링된 이미지 데이터를 출력하도록 커플링되는, 장치.
  27. 제 17 항에 있어서,
    상기 적어도 하나의 IIR 필터는 상기 데이터 버스를 통하여 상기 저장 유닛 내에 저장된 상기 이미지 데이터를 수신하도록 커플링되고, 상기 적어도 하나의 FIR 필터는 상기 데이터 버스를 통하여 상기 저장 유닛으로 부분적으로 필터링된 이미지 데이터를 출력하도록 커플링되는, 장치.
  28. 제 21 항에 있어서,
    상기 고속 반복된 적분 이미지 필터는 단일 패스 (single pass) 에서 상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들을 이용하여 상기 제 1 방향으로 연장되는 상기 복수의 픽셀들의 라인들을 필터링하고 상기 제 2 방향으로 연장되는 상기 제 2 복수의 픽셀들의 라인들을 필터링하도록 구성되는, 장치.
  29. 제 28 항에 있어서,
    상기 이미지 데이터는 제 1 수의 픽셀들의 로우들 및 제 2 수의 픽셀들의 컬럼들을 포함하고, 상기 이미지 데이터는 복수의 스트라이프들로 분할되며, 각 스트라이프는 상기 제 1 수의 픽셀들의 로우들 및 컬럼들의 상기 제 2 수보다 작은 제 3 수의 픽셀들의 컬럼들을 포함하며,
    상기 고속 반복된 적분 이미지 필터는, 상기 복수의 스트라이프들 각각에서 순차적으로 상기 제 1 방향으로 연장되는 상기 복수의 픽셀들의 라인들을 필터링하고 상기 제 2 방향으로 연장되는 상기 제 2 복수의 픽셀들의 라인들을 필터링하도록 구성되는, 장치.
  30. 제 21 항에 있어서,
    상기 복수의 IIR 필터들은 상기 복수의 FIR 필터들 전에 공통 IIR 스테이지에서 그룹화되는, 장치.
  31. 제 30 항에 있어서,
    상기 제 2 방향으로 연장되는 상기 제 2 복수의 픽셀들의 라인들을 필터링하도록 구성된 상기 적어도 하나의 FIR 필터를 포함하는 수직 FIR 스테이지 및 상기 제 1 방향으로 연장되는 상기 복수의 픽셀들의 라인들을 필터링하도록 구성된 상기 적어도 하나의 FIR 필터를 포함하는 수평 FIR 스테이지를 더 포함하며,
    상기 수직 FIR 스테이지는 상기 수평 FIR 스테이지 전에 있는, 장치.
  32. 제 30 항에 있어서,
    상기 복수의 FIR 필터들은 상기 공통 IIR 스테이지로부터 출력을 수신하도록 커플링되고, 상기 고속 반복된 적분 이미지 필터는 상기 공통 IIR 스테이지로부터 상기 출력을 수신하도록 커플링된 제 2 복수의 FIR 필터들을 더 포함하는, 장치.
  33. 픽셀들의 어레이를 포함하는 이미지 데이터를 수신하는 수단;
    제 1 방향으로 연장되는 상기 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행하는 수단;
    필터링된 이미지 데이터를 생성하기 위해 상기 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단; 및
    상기 필터링된 이미지 데이터를 저장하는 수단을 포함하는, 장치.
  34. 제 33 항에 있어서,
    상기 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단은, 부분적으로 필터링된 이미지 데이터를 생성하고,
    상기 장치는, 상기 부분적으로 필터링된 이미지 데이터를 저장하는 수단을 더 포함하며,
    상기 제 2 복수의 픽셀들의 라인들은 상기 부분적으로 필터링된 이미지 데이터로부터 나온 것인, 장치.
  35. 제 33 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단은, 상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 수단을 포함하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단은, 상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 수단을 포함하는, 장치.
  36. 제 35 항에 있어서,
    상기 복수의 IIR 필터들 각각 및 상기 복수의 FIR 필터들 각각의 출력을 로컬로 저장하는 수단을 더 포함하며, 상기 로컬로 저장하는 수단은, 상기 필터링된 이미지 데이터를 저장하는 수단과는 상이한, 장치.
  37. 제 35 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 수단은, 상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들을 연속적으로 수행하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 수단은, 상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들을 연속적으로 수행하는, 장치.
  38. 제 35 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 수단은, 단일 고차 IIR 필터로 결합된 복수의 병렬 IIR 필터들 및 단일 고차 FIR 필터로 결합된 복수의 병렬 FIR 필터들을 포함하며, 상기 단일 고차 IIR 필터는 상기 단일 고차 FIR 필터와 직렬로 수행되는, 장치.
  39. 제 33 항에 있어서,
    상기 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단 및 상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단은, 상기 이미지 데이터에 대해 단일 패스 (single pass) 를 이용하는, 장치.
  40. 제 39 항에 있어서,
    상기 이미지 데이터는 제 1 수의 픽셀들의 로우들 및 제 2 수의 픽셀들의 컬럼들을 포함하고, 상기 장치는, 각 스트라이프가 상기 제 1 수의 픽셀들의 로우들 및 컬럼들의 상기 제 2 수보다 작은 제 3 수의 픽셀들의 컬럼들을 포함하는, 복수의 스트라이프들로 상기 이미지 데이터를 분할하는 수단을 더 포함하며,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단 및 상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하는 수단은, 상기 복수의 스트라이프들 각각에 대해 순차적으로 동작하는, 장치.
  41. 제 35 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 수단 및 상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하는 수단은, 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 수단 및 상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 수단 전인 공통 IIR 스테이지에서 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 IIR 필터들을 수행하고, 상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 IIR 필터들을 수행하는 수단을 포함하는, 장치.
  42. 제 41 항에 있어서,
    상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 수단은, 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하는 수단 전인, 장치.
  43. 제 41 항에 있어서,
    상기 공통 IIR 스테이지 후인 상기 제 1 복수의 픽셀들의 라인들에 대해 제 2 복수의 FIR 필터들을 수행하는 수단 및 상기 제 2 복수의 픽셀들의 라인들에 대해 제 2 복수의 FIR 필터들을 수행하는 수단을 더 포함하는, 장치.
  44. 프로그램 코드를 저장하고 있는 컴퓨터 판독가능 매체로서,
    픽셀들의 어레이를 포함하는 이미지 데이터를 수신하기 위한 프로그램 코드;
    제 1 방향으로 연장되는 상기 이미지 데이터 내의 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 무한 임펄스 응답 (IIR) 필터 및 적어도 하나의 유한 임펄스 응답 (FIR) 필터를 수행하기 위한 프로그램 코드;
    필터링된 이미지 데이터를 생성하기 위해 상기 제 1 방향과는 상이한 제 2 방향으로 연장되는 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하기 위한 프로그램 코드; 및
    상기 필터링된 이미지 데이터를 저장하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  45. 제 44 항에 있어서,
    상기 필터링된 이미지 데이터는 가우시안 필터링된 이미지 데이터를 근사화하는, 컴퓨터 판독가능 매체.
  46. 제 44 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하기 위한 프로그램 코드는, 부분적으로 필터링된 이미지 데이터를 생성하고,
    상기 부분적으로 필터링된 이미지 데이터를 저장 유닛으로 출력하기 위한 프로그램 코드를 더 포함하며,
    상기 적어도 하나의 IIR 필터 및 상기 적어도 하나의 FIR 필터는 상기 부분적으로 필터링된 이미지 데이터로부터 상기 제 2 복수의 픽셀들의 라인들에 대해 수행되는, 컴퓨터 판독가능 매체.
  47. 제 44 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하기 위한 프로그램 코드는, 상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하기 위한 프로그램 코드를 포함하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하기 위한 프로그램 코드는, 상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  48. 제 47 항에 있어서,
    상기 복수의 IIR 필터들 각각 및 상기 복수의 FIR 필터들 각각의 출력을 로컬로 저장하기 위한 프로그램 코드를 더 포함하는, 컴퓨터 판독가능 매체.
  49. 제 47 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하기 위한 프로그램 코드는, 상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들을 연속적으로 수행하기 위한 프로그램 코드를 포함하고;
    상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하기 위한 프로그램 코드는, 상기 복수의 IIR 필터들 및 상기 복수의 FIR 필터들을 연속적으로 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  50. 제 47 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하기 위한 프로그램 코드는, 복수의 병렬 IIR 필터들을 단일 고차 IIR 필터로 결합하고 복수의 병렬 FIR 필터들을 단일 고차 FIR 필터로 결합하며, 상기 단일 고차 IIR 필터 및 상기 단일 고차 FIR 필터를 연속적으로 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  51. 제 44 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하기 위한 프로그램 코드 및 상기 제 2 복수의 픽셀들의 라인들에 대해 적어도 하나의 IIR 필터 및 적어도 하나의 FIR 필터를 수행하기 위한 프로그램 코드는, 단일 패스 (single pass) 에서 수행되는, 컴퓨터 판독가능 매체.
  52. 제 47 항에 있어서,
    상기 제 1 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하기 위한 프로그램 코드 및 상기 제 2 복수의 픽셀들의 라인들에 대해 복수의 IIR 필터들 및 복수의 FIR 필터들을 수행하기 위한 프로그램 코드는, 공통 IIR 스테이지에서 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 IIR 필터들을 수행하고 상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 IIR 필터들을 수행하며, 상기 제 1 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하기 전에 상기 제 2 복수의 픽셀들의 라인들에 대해 상기 복수의 FIR 필터들을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
KR1020137012397A 2010-11-15 2011-11-04 고속 반복된 적분 이미지들 KR101499373B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41381410P 2010-11-15 2010-11-15
US61/413,814 2010-11-15
US13/230,775 2011-09-12
US13/230,775 US9036937B2 (en) 2010-11-15 2011-09-12 Fast repeated integral images
PCT/US2011/059288 WO2012067844A1 (en) 2010-11-15 2011-11-04 Fast repeated integral images

Publications (2)

Publication Number Publication Date
KR20130073986A true KR20130073986A (ko) 2013-07-03
KR101499373B1 KR101499373B1 (ko) 2015-03-05

Family

ID=45099160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137012397A KR101499373B1 (ko) 2010-11-15 2011-11-04 고속 반복된 적분 이미지들

Country Status (6)

Country Link
US (1) US9036937B2 (ko)
EP (1) EP2641231A1 (ko)
JP (1) JP5635202B2 (ko)
KR (1) KR101499373B1 (ko)
CN (1) CN103210419B (ko)
WO (1) WO2012067844A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140013142A (ko) * 2012-07-18 2014-02-05 삼성전자주식회사 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치
CN103236033B (zh) * 2013-04-16 2016-01-20 中国科学院重庆绿色智能技术研究院 基于嵌入式处理器的积分图快速生成方法和装置
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
JP6732518B2 (ja) * 2016-04-27 2020-07-29 キヤノン株式会社 画像処理装置および画像処理方法
US10248876B2 (en) 2016-06-27 2019-04-02 Texas Instruments Incorporated Method and apparatus for avoiding non-aligned loads using multiple copies of input data
JP6337949B1 (ja) * 2016-12-15 2018-06-06 オムロン株式会社 スジ状領域検出装置およびスジ状領域検出方法
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
US11663702B2 (en) * 2018-12-19 2023-05-30 Dolby Laboratories Licensing Corporation Image debanding using adaptive sparse filtering

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4086479B2 (ja) 2001-03-23 2008-05-14 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
JP4094256B2 (ja) 2001-07-30 2008-06-04 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
US8417066B2 (en) 2004-03-04 2013-04-09 Broadcom Corporation Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
EP1670255A1 (en) 2004-12-08 2006-06-14 Koninklijke Philips Electronics N.V. Electronic image processing method and device with linked random generators
WO2007096168A2 (en) 2006-02-22 2007-08-30 Sony Deutschland Gmbh Method for discriminating textures regions and homogeneous or flat regions in an image and methods for estimating noise in an image sequence
JP5374773B2 (ja) * 2007-10-26 2013-12-25 太陽誘電株式会社 映像表示装置および方法およびこれに組み込まれる信号処理回路および液晶バックライト駆動装置
WO2009065441A1 (en) 2007-11-21 2009-05-28 Sapheneia Commercial Products Ab Method and arrangement in fluoroscopy and ultrasound systems

Also Published As

Publication number Publication date
CN103210419B (zh) 2016-05-04
WO2012067844A1 (en) 2012-05-24
CN103210419A (zh) 2013-07-17
JP2013543194A (ja) 2013-11-28
US9036937B2 (en) 2015-05-19
JP5635202B2 (ja) 2014-12-03
EP2641231A1 (en) 2013-09-25
KR101499373B1 (ko) 2015-03-05
US20120230600A1 (en) 2012-09-13

Similar Documents

Publication Publication Date Title
KR101499373B1 (ko) 고속 반복된 적분 이미지들
KR101972250B1 (ko) 이미지 신호 프로세서들을 위한 가상 라인버퍼들
US8326069B2 (en) Computing higher resolution images from multiple lower resolution images
US8265422B1 (en) Method and apparatus for removing general lens distortion from images
US20180046898A1 (en) Zero Coefficient Skipping Convolution Neural Network Engine
KR101639852B1 (ko) 그래픽 프로세싱을 위한 픽셀 값 압축
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
KR102452951B1 (ko) 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치
KR102034967B1 (ko) 움직임 흐림 제거 방법 및 장치
US8629908B2 (en) Method for detecting a moving object in a sequence of images captured by a moving camera, computer system and computer program product
JP2021530770A (ja) ビデオ処理方法、装置及びコンピュータ記憶媒体
US8063918B2 (en) Method and apparatus for rendering images with and without radially symmetric distortions
CN110866862A (zh) 基于缓冲器的数据处理方法、装置、存储介质及电子设备
CN103810672A (zh) 图像模糊处理方法及图像模糊处理装置
CN110557522A (zh) 一种去除视频抖动的方法及装置
CN110322389B (zh) 池化方法、装置及系统、计算机可读存储介质
KR20160133924A (ko) 컨벌루션 연산 장치 및 방법
CN111429458A (zh) 一种图像还原的方法、装置及电子设备
CN1633161A (zh) 一种实现图像整数倍放大的方法
US20140185951A1 (en) Summed area computation using ripmap of partial sums
JP2006201914A (ja) 画像フィルタ装置、方法およびコンピュータプログラム
EP2924649B1 (en) Method and an apparatus for generating an approximate nearest neighbor field (annf) for images and video sequences
CN1293514C (zh) 一种数字图像的缩放处理系统
Amaricai et al. A moving window architecture for a hw/sw codesign based canny edge detection for fpga
CN104978712A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee