KR101000036B1 - 실시간 영상 처리를 위한 서브 샘플링 시스템 - Google Patents

실시간 영상 처리를 위한 서브 샘플링 시스템 Download PDF

Info

Publication number
KR101000036B1
KR101000036B1 KR1020080047681A KR20080047681A KR101000036B1 KR 101000036 B1 KR101000036 B1 KR 101000036B1 KR 1020080047681 A KR1020080047681 A KR 1020080047681A KR 20080047681 A KR20080047681 A KR 20080047681A KR 101000036 B1 KR101000036 B1 KR 101000036B1
Authority
KR
South Korea
Prior art keywords
sub
subsampling
pixel
sampling
register
Prior art date
Application number
KR1020080047681A
Other languages
English (en)
Other versions
KR20090121667A (ko
Inventor
전재욱
진승훈
김동균
김기훈
이상준
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080047681A priority Critical patent/KR101000036B1/ko
Publication of KR20090121667A publication Critical patent/KR20090121667A/ko
Application granted granted Critical
Publication of KR101000036B1 publication Critical patent/KR101000036B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 실시간 영상 처리를 위한 시스템 및 방법에 관한 것으로, 보다 구체적으로는 실시간 영상 처리를 위한 서브 샘플링 시스템 및 방법에 관한 것이다.
본 발명은, 원본 이미지에 대하여 다수의 서브 샘플링 레이트(rate)에 따라 서브 샘플링을 수행하는 시스템에 있어서, 상기 다수의 서브 샘플링 레이트에 상응하는 저장 공간을 갖는 레지스터를 할당하고, 상기 원본 이미지 및 다수의 서브 샘플링 레이트에 상응하는 내부 메모리를 할당하는 윈도우 생성부; 상기 원본 이미지의 어느 일부를 상기 내부 메모리에 픽셀 단위로 순차적으로 저장시키고, 상기 내부 메모리에 저장된 픽셀 데이터 중 서브 샘플링이 수행되는 영역에 상응하는 무빙 윈도우에 속하는 픽셀 데이터를 상기 레지스터에 순차적으로 저장시키고, 상기 무빙 윈도우를 순차적으로 이동시키는 윈도우 연산부; 상기 레지스터에 저장된 픽셀 데이터를 이용하여 상기 다수의 서브 샘플링 레이트 각각에 상응하는 다수의 보간 픽셀을 산출하는 픽셀 보간부; 및 상기 보간 픽셀을 출력하는 서브 샘플링 영상 출력부를 포함한다.
실시간 영상 처리, 서브 샘플링, 보간, 병렬 처리

Description

실시간 영상 처리를 위한 서브 샘플링 시스템{sub-sampling system for real-time image processing}
본 발명은 실시간 영상 처리를 위한 시스템 및 방법에 관한 것으로, 보다 구체적으로는 실시간 영상 처리를 위한 서브 샘플링 시스템 및 방법에 관한 것이다.
최근까지 다수의 서브 샘플링 시스템 및 방법들이 제안되었다. 서브 샘플링은 특정한 크기(예를 들어, 640 * 480)의 픽셀들로 이루어진 원본 이미지를 그보다 작은 크기(예를 들어, 320 * 240)로 변환하는 영상 처리를 말한다.
서브 샘플링 기법은 실시간 영상 처리에서 활용 가치가 매우 높다. 실시간 영상 처리를 위해서는 영상 처리에 따른 연산 시간을 감소시켜야 하는데, 서브 샘플링을 수행하는 경우 영상 처리의 대상이 되는 이미지의 크기가 작아져서 연산 시간이 감소하기 때문이다.
한편, 실시간 영상 처리를 위한 다수의 하드웨어 또는 소프트웨어 시스템이 제안되었다. 이러한 다양한 시스템 중에서, 2005년 10월 26일에 공고된 등록특허 10-0523848은 윈도우 기반으로 영상을 처리하는 하드웨어 시스템 및 방법을 제안한다.
구체적으로, 등록특허 10-0523848는 레지스터로 구현되는 다수의 윈도우 버퍼 및 듀얼 포트 램으로 구현되는 다수의 라인 버퍼를 구비하는 RWIPS(Real-time Window-based Image Processing Structure)를 제안하였다. 상기 라인 버퍼에는 원본 이미지가 픽셀 단위로 저장되며, 상기 레지스터에는 상기 라인 버퍼에 지정된 영상 중 특정한 윈도우에 속하는 픽셀 데이터들이 저장된다.
종래에 제안된 서브 샘플링 기법은 서브 샘플링 효율이 떨어지거나 서브 샘플링 레이트가 변경되지 않는 문제가 있었다.
본 발명은 종래에 제안된 기술을 개선하기 위해 제안된 것으로, 본 발명의 목적은 효율이 개선된 서브 샘플링 기법을 제안하는 것이다.
본 발명의 또 다른 목적은 다수의 서브 샘플링 레이트를 동시에 지원하는 서부 샘플링 기법을 제안하는 것이다.
본 발명은, 원본 이미지에 대하여 다수의 서브 샘플링 레이트(rate)에 따라 서브 샘플링을 수행하는 시스템에 있어서, 상기 다수의 서브 샘플링 레이트에 상응하는 저장 공간을 갖는 레지스터를 할당하고, 상기 원본 이미지 및 다수의 서브 샘플링 레이트에 상응하는 내부 메모리를 할당하는 윈도우 생성부; 상기 원본 이미지의 어느 일부를 상기 내부 메모리에 픽셀 단위로 순차적으로 저장시키고, 상기 내부 메모리에 저장된 픽셀 데이터 중 서브 샘플링이 수행되는 영역에 상응하는 무빙 윈도우에 속하는 픽셀 데이터를 상기 레지스터에 순차적으로 저장시키고, 상기 무빙 윈도우를 순차적으로 이동시키는 윈도우 연산부; 상기 레지스터에 저장된 픽셀 데이터를 이용하여 상기 다수의 서브 샘플링 레이트 각각에 상응하는 다수의 보간 픽셀을 산출하는 픽셀 보간부; 및 상기 보간 픽셀을 출력하는 서브 샘플링 영상 출력부를 포함한다.
바람직하게, 상기 보간 픽셀을 이미지로 복원하기 위한 동기 신호를 생성하는 동기 제어 신호 생성부를 더 포함한다.
바람직하게, 상기 동기 신호는 프레임 동기 신호, 라인 동기 신호 및 픽셀 동기 신호를 포함한다.
바람직하게, 상기 레지스터의 크기는 상기 다수의 서브 샘플링 레이트 중 최소 서브 샘플링 레이트에 따라 결정된다.
바람직하게, 상기 무빙 윈도우는 상기 내부 메모리에 저장된 픽셀 데이터의 행(row) 방향으로 이동한다.
바람직하게, 상기 내부 메모리는 상기 원본 이미지의 행의 크기 및 상기 다수의 서브 샘플링 레이트 중 최소 서브 샘플링 레이트에 상응하는 크기의 듀얼 포트 램을 포함한다.
본 발명에 따르면 실시간으로 서브 샘플링을 수행하는 장점이 있다.
본 발명에 따라 서브 샘플링을 수행하면, 처리해야 할 이미지의 크기가 작아져서 다양한 영상 처리를 짧은 시간에 마무리할 수 있다.
또한, 본 발명은 하드웨어로 간단하게 구현될 수 있어, 로봇 비전(Robot vision), 지능형 카메라(Intelligent camera), 산업현장 등에 쉽게 응용될 수 있다
본 발명의 구체적인 동작, 특징 및 효과는 이하에서 설명하는 본 발명의 일 실시예에 의해 더욱 구체화될 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 설명한다.
도 1은 본 실시예에 따른 서브 샘플링 시스템의 블록도이다. 도시된 바와 같이. 도 1의 시스템(100)은, 서브 샘플링 계수 입력부(110), 윈도우 생성부(120), 윈도우 연산부(130), 픽셀보간부(210), 동기 제어 신호 생성부(220), 서브 샘플링 영상 출력부(310)를 포함한다.
상기 서브 샘플링 계수 입력부(110)는 외부로부터 서브 샘플링 계수를 입력받는다. 도 1의 시스템(100)은 상기 서브 샘플링 계수에 따라 서브 샘플링을 수행한다. 상기 서브 샘플링 계수는 서브 샘플링 레이트의 개수를 나타낸다. 구체적으로 서브 샘플링 계수가 '4'로 결정되면, 4 종류의 서브 샘플링 레이트에 따라 서브 샘플링이 수행된다.
상기 서브 샘플링 레이트(rate)란 원본 이미지의 크기와 서브 샘플링된 이미지의 크기와의 비율을 나타낸다. 예를 들어, 원본 이미지가 100*100 픽셀로 이루어지는 경우, 1/2 레이트의 서브 샘플링을 수행하면 50*50 픽셀의 이미지를 얻는다.
본 실시예에 따른 시스템은 다수의 서브 샘플링 레이트를 지원한다. 다수의 서브 샘플링 레이트들 중 레이트가 가장 낮은 것을 최소 서브 샘플링 레이트라 칭한다. 예를 들어, 1/1, 1/2, 1/3, 1/4의 서브 샘플링 레이트 중에서는 1/4 레이트가 최소 서브 샘플링 레이트가 된다.
상기 서브 샘플링 계수는 최소 서브 샘플링 레이트에 상응한다. 예를 들어, 서브 샘플링 계수가 '4'로 결정되면, 최소 서브 샘플링 레이트는 1/4로 결정된다. 결국, 서브 샘플링 계수가 '4'로 결정되면, 1/1, 1/2, 1/3, 1/4의 4가지의 서브 샘플링 레이트에 따라 서브 샘플링을 수행한다.
상기 윈도우 생성부(120)는 서브 샘플링을 위한 레지스터 및 메모리 자원을 할당한다. 구체적으로, 다수의 서브 샘플링 레이트에 상응하는 저장 공간을 갖는 레지스터를 할당하고, 상기 원본 이미지 및 다수의 서브 샘플링 레이트에 상응하는 내부 메모리를 할당한다.
상기 레지스터는 플립-플롭(flip-flop)에 의해 구현 가능하다. 상술한 바와 같이 상기 레지스터의 크기는 다수의 서브 샘플링 레이트에 상응하는 것이 바람직하다. 구체적으로, 최소 서브 샘플링 레이트가 1/N인 경우, 상기 레지스터의 크기는 N*N으로 결정되는 것이 바람직하다.
한편, 상기 내부 메모리는 듀얼 포트 램(RAM)을 포함할 수 있다. 상기 듀얼 포트 램의 크기는 상기 원본 이미지의 행의 크기 및 최소 서브 샘플링 레이트에 따라 결정되는 것이 바람직하다. 예를 들어, 원본 이미지의 크기가 m*k이고, 최소 서브 샘플링 레이트가 1/N인 경우, 상기 듀얼 포트 램의 크기는 m*(N-1)인 것이 바람직하다.
상기 윈도우 연산부(130)는 외부에서 입력되는 원본 이미지에 대한 이미지 연산을 처리한다. 구체적으로, 상기 윈도우 연산부(130)는 원본 이미지를 획득하고, 상기 원본 이미지 중 어느 일부를 상기 내부 메모리 및 레지스터에 저장시킨다. 상기 윈도우 연산부(130)는 상기 무빙 윈도우에 속하는 픽셀 데이터를 상기 레 지스터에 저장시키고, 상기 무빙 윈도우를 이동시킨다.
상기 픽셀 보간부(210)는 상기 레지스터에 저장된 픽셀 데이터에 대한 서브 샘플링을 수행하는 모듈이다. 구체적으로, 상기 픽셀 보간부(210)는 상기 레지스터에 접근하여 상기 픽셀 데이터에 대한 보간(interpolation)을 수행한다. 상기 픽셀 보간부(210)는 다수의 서브 샘플링 레이트 각각에 상응하는 보간을 수행할 수 있다.
상기 동기 제어 신호 생성부(220)는 상기 픽셀 보간부(210)에 의해 생성된 보간 픽셀을 복원하기 위한 동기 신호를 생성한다. 픽셀 데이터를 이미지로 복원하기 위해서는, 프레임 동기, 라인 동기 및 픽셀 동기를 나타내는 동기 신호가 필요하다. 상기 동기 제어 신호 생성부(220)는 다수의 서브 샘플링 레이트 각각에 상응하는 복수의 동기 신호를 생성할 수 있다.
상기 서브 샘플링 영상 출력부(310)는 상기 픽셀 보간부(210)에서 생성된 보간 픽셀 및 상기 동기 제어 신호 생성부(220)에 생성된 동기 신호를 함께 출력한다. 바람직하게, 상기 서브 샘플링 영상 출력부(310)는 특정한 서브 샘플링 레이트에 상응하는 보간 픽셀 및 동기 신호를 결합하여 출력할 수 있다. 하나의 서브 샘플링 레이트에 상응하는 다수의 보간 픽셀 및 동기 신호를 서브 샘플링 출력신호라 칭할 수 있다. 예를 들어, 1/3 서브 샘플링 레이트에 따라 생성된 다수의 보간 픽셀(즉, 1/3 보간 픽셀) 및 상기 1/3 서브 샘플링 레이트에 대응되는 동기 신호는 1/3 서브 샘플링 레이트에 상응하는 서브 샘플링 출력신호이다. 도 1의 시스템(100)은 다수의 서브 샘플링 레이트를 지원하므로, 상기 서브 샘플링 영상 출력 부(310)는 다수의 서브 샘플링 출력신호를 생성할 수 있다.
이하, 도 1에서 소개된 각각의 블록에서의 동작을 더욱 상세하게 설명한다.
도 2는 외부에서 원본 이미지가 입력되는 경우, 내부 메모리와 레지스터에 원본 이미지가 저장되는 방법을 설명하는 도면이다.
도시된 바와 같이, 상기 내부 메모리는 라인 버퍼를 포함할 수 있다. 상기 라인 버퍼는 상술한 듀얼 포트 램(RAM)으로 구현될 수 있다. 또한, 상술한 바와 같이, 원본 이미지의 크기가 m*k이고 최소 서브 샘플링 레이트가 1/N인 경우, 라인 버퍼의 크기는 m*(N-1)일 수 있다. 또한, 상술한 바와 같이 상기 레지스터의 크기는 다수의 서브 샘플링 레이트에 상응하는 것이 바람직하다. 즉, 최소 서브 샘플링 레이트가 1/N인 경우, 도시된 바와 같이 N*N으로 결정될 수 있다.
상기 라인버퍼에는 원본 이미지가 픽셀 단위로 순차적으로 저장된다. 한편, 상기 내부 메모리에 저장되는 픽셀 데이터 중 무빙 윈도우(moving window)에 속하는 픽셀 데이터들은, 레지스터에 저장된다.
무빙 윈도우는 서브 샘플링이 수행되는 영역을 나타낸다. 무빙 윈도우에 속하는 픽셀 데이터들에 대하여 내부 메모리가 아닌 레지스터에서 서브 샘플링을 수행하면, 신속한 영상 처리가 가능하다. 구체적으로, 즉시 접근 가능한 레지스터에 픽셀 데이터를 저장시키면 이들 픽셀에 대한 실시간 처리가 가능해지며, 필요한 경우 무빙 윈도우에 속하는 모든 픽셀 값에 대한 동시 접근이 가능해지기 때문에 실시간 영상 처리가 가능하다.
도 3a 내지 도 3m은 원본 이미지가 내부 메모리에 저장되고, 상기 내부 메모 리에 저장된 픽셀 데이터가 레지스터에 저장되는 기법을 나타낸다.
도 3a 내지 도 3m의 일례는 서브 샘플링 계수가 3인 경우이다. 따라서, 1/1, 1/2, 1/3 레이트의 서브 샘플링이 수행된다. 또한, 최소 서브 샘플링 레이트가 1/3이므로 상기 레지스터는 크기는 3*3으로 결정된다.
도 3a는 10*6 크기를 갖는 원본 이미지의 일례이다. 도시된 바와 같이, 1 내지 10번 픽셀 데이터는 원본 이미지의 첫 번째 수평 라인을 이룬다. 상기 원본 이미지의 크기가 10*6이고, 최소 서브 샘플링 레이트가 1/3이므로, 상기 내부 메모리에 포함되는 라인 버퍼는 10*(3-1)의 크기를 갖는다.
도 3b와 같이 원본 이미지의 첫 번째 수평 라인(1 내지 10번 픽셀 데이터)은 픽셀 단위로 상기 라인 버퍼에 입력된다.
우선, 1번 픽셀 데이터가 라인 버퍼 및 레지스터에 입력된 결과는 도 3c와 같다. 2, 3, 4번 픽셀 데이터는 라인 버퍼 및 레지스터에 순차적으로 입력되며, 그 결과는 도 3d 내지 도 3f와 같다.
원본 이미지의 첫 번째 수평 라인의 마지막 데이터인 10번 픽셀 데이터가 입력된 결과는 도 3g와 같다. 원본 이미지의 첫 번째 수평 라인에 대한 입력이 종료되면 두 번째 수평 라인(11 내지 20번 픽셀 데이터)에 대한 입력을 수행한다. 이 경우, 라인 버퍼의 첫 번째 라인에 저장된 데이터가 라인 버퍼의 두 번째 라인으로 이동하면서 레지스터에 저장된다. 도 3h를 보면, 1번 픽셀 데이터가 라인 버퍼의 첫 번째 라인에서 두 번째 라인으로 이동하는 동시에, 레지스터에 저장되는 것을 알 수 있다. 12번, 13번 픽셀 데이터는 라인 버퍼 및 레지스터에 순차적으로 입력 되며, 그 결과는 도 3i 내지 도 3j와 같다.
원본 이미지의 두 번째 수평 라인의 마지막 데이터인 20번 픽셀 데이터가 입력된 결과는 도 3k와 같다. 원본 이미지의 두 번째 수평 라인에 대한 입력이 종료되면 세 번째 수평 라인(21 내지 30번 픽셀 데이터)에 대한 입력을 수행한다. 21, 22번 픽셀 데이터는 라인 버퍼 및 레지스터에 순차적으로 입력되며, 그 결과는 도 3l 내지 도 3m과 같다.
도 3의 방식에 따라 내부 메모리 및 레지스터에 픽셀 데이터를 입력시키는 것은 원본 이미지에 3*3 크기의 무빙 윈도우(moving)를 형성시켜 이동시키는 것과 같다.
즉, 상기 윈도우 연산부(130)에서 도 3의 동작을 반복하면, 도 4에 도시된 바와 같이, 3*3 크기의 무빙 윈도우를 원본 이미지의 행(row) 방향으로 이동시키는 것이 된다. 상기 무빙 윈도우가 행(row) 방향으로 오른쪽 끝까지 이동하면 다음 수평 라인에 대해 다시 행(row) 방향으로 오른쪽으로 이동시킨다.
상기 픽셀보간부(210)는 상기 무빙 윈도우에 속하는 픽셀 데이터를 이용하여 보간(interpolation)을 수행한다. 예를 들어, 최소 서브 샘플링 레이트가 1/4인 경우, 4*4 크기로 정해지는 무빙 윈도우를 이용하여 4*4, 3*3, 2*2 크기의 픽셀 데이터에 동시에 접근하여 이들에 대한 보간 결과를 출력할 수 있다.
도 5는 4*4 크기의 무빙 윈도우를 이용하여 보간 픽셀을 계산하는 일례를 설명한다. 1/4 보간 픽셀을 산출하기 위해서는, 도 5의 1, 2, 3, 4, 11, 12, 13, 14, 21, 22, 23, 24, 31, 32, 33, 34번 픽셀 데이터가 보간되어야 한다. 또한, 1/3 보 간 픽셀을 산출하기 위해서는, 도 5의 1, 2, 3, 11, 12, 13, 21, 22, 23번 픽셀 데이터가 보간되어야 한다. 1/2 보간 픽셀을 산출하기 위해서는, 도 5의 1, 2, 11, 12번 픽셀 데이터가 보간되어야 한다.
1, 2, 3, 4, 11, 12, 13, 14, 21, 22, 23, 24, 31, 32, 33, 34번 픽셀 데이터는 무빙 윈도우에 해당하는 영역에 위치하므로, 상기 16개의 픽셀 데이터는 상기 윈도우 연산부(130)에 의해 레지스터에 이미 저장되어 있다. 한편, 레지스터에 저장된 데이터는 동시 접근이 가능하므로, 각각의 보간 픽셀들은 병렬적으로 계산될 수 있다. 즉, 상기 픽셀보간부(210)는 상기 레지스터에 접근하여 1/4 레이트로 서브 샘플링된 보간 픽셀을 출력하는 동시에, 1/3 및 1/2 레이트로 서브 샘플링된 보간 픽셀을 출력할 수 있다.
상기 무빙 윈도우가 행 방향 또는 열 방향으로 이동하는 경우, 이동할 때마다 모든 서브 샘플링 레이트에 따른 보간을 수행할 필요는 없다. 예를 들어, 1/4 레이트의 서브 샘플링의 경우, 무빙 윈도우가 4개의 픽셀만큼 행 방향 또는 열 방향으로 이동할 때마다 보간이 수행되면 충분하다. 즉, 서브 샘플링 레이트가 1/4인 경우, 무빙 윈도우가 4개의 픽셀만큼 이동할 때마다 하나의 1/4 보간 픽셀을 생성된다.
상기 픽셀보간부(210)는 양선형 보간법, 최근접값 이용법, 3차 회선 보간법 등 다양한 방법을 사용할 수 있다.
상기 픽셀 보간부(210)가 출력하는 1/2 내지 1/N 보간 픽셀들에는 각 픽셀들의 위치 정보가 포함되지 않으므로 이미지로 복원하기 위해서는, 프레임 동기, 라 인 동기 및 픽셀 동기를 나타내는 동기 신호가 포함되는 것이 바람직하다.
상기 동기 제어 신호 생성부(220)는 상기 픽셀 보간부(210)에서 산출되는 보간 픽셀들을 이미지로 복원하기 위한 동기 신호를 생성한다.
각 동기 신호의 일례는 도 6과 같다.
우선, 픽셀 동기 신호는 각각의 픽셀들을 구분하는 신호이다.
또한, 라인 동기 신호는 원본 이미지의 수평 라인들을 구별하는 신호이다. 예를 들어, 640*480 이미지의 경우, 상기 라인 동기 신호는 480 개의 수평 라인들을 구별하는데 사용된다.
또한, 프레임 동기 신호는 각각의 프레임을 구분한다. 예를 들어, t 시간에 표시되는 640*480 이미지와 t+1 시간에 표시되는 640*480 이미지를 구별하는데 사용된다.
도 7은 동기 제어 신호 생성부에서 생성하는 동기 신호의 주파수를 변경하는 일례를 나타낸다. 1/N의 레이트로 서브 샘플링이 이루어지는 경우, 픽셀 동기 신호의 주파수는 원본 픽셀용 픽셀 동기 신호의 주파수의 1/N로 제어된다. 또한, 라인 동기 신호의 주파수도 원 주파수의 1/N로 제어된다. 반면 프레임 동기 신호는 변할 필요가 없으므로 원 주파수와 동일하게 제어된다.
상기 서브 샘플링 영상 출력부(310)는 각각의 서브 샘플링 레이트에 따른 출력 신호를 출력한다. 예를 들어, 1/4 레이트의 서브 샘플링의 경우, 4x4 크기의 무빙 윈도우를 이용한 1/4 보간 픽셀, 1/4 레이트의 서브 샘플링 레이트에 상응하는 픽셀 동기신호, 라인 동기 신호 및 프레임 동기 신호를 출력한다.
도 8은 원본 이미지의 일례이다. 도 8의 원본 이미지에 대해 서브 샘플링 계수를 '4'로 하여 서브 샘플링을 수행하면 도 9의 결과와 같다.
도 9의 첫 번째 그림은 1/1 레이트로 서브 샘플링된, 즉 원본 출력과 동일한 이미지이다.
도 9의 두 번째 그림은 본 실시예에 의해 1/2 레이트로 서브 샘플링된 출력이고, 세 번째 그림은 본 실시예에 의해 1/3 레이트로 서브 샘플링된 출력이고, 네 번째 그림은 본 실시예에 의해 1/4 레이트로 서브 샘플링된 출력이다.
본 실시예는 상술한 바와 같이 레지스터를 기반으로 하므로 병렬처리가 가능하다. 이에 따라, 서브 샘플링 레이트 만큼의 보간 픽셀을 동시에 출력하여 짧은 시간 내에 다양한 크기의 서브 샘플링 영상을 생성할 수 있다. 이러한 서브 샘플링은 배경 영상으로부터 전경 영상을 획득하는데 유용하게 활용될 수 있다.
상술한 본 실시예에 구체적 수치 또는 구체적 데이터가 제시되었으나, 이는 본 실시예를 구체적으로 설명하기 위한 것에 불과하므로, 본 발명의 범위가 본 실시예를 통해 제시된 구체적 수치 또는 구체적 데이터에 제한되지 않는다. 한편, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
본 발명은 영상 처리 시스템에서 유용하게 사용되는 서브 샘플링 기법에 관 한 것이므로 그 산업상 이용 가능성이 인정됨이 타당할 것이다.
도 1은 본 실시예에 따른 서브 샘플링 시스템의 블록도이다.
도 2는 내부 메모리와 레지스터에 원본 이미지가 저장되는 방법을 설명하는 도면이다.
도 3a 내지 3m은 내부 메모리와 레지스터에 원본 이미지가 저장되는 방법을 설명하는 도면이다.
도 4는 3*3 크기의 무빙 윈도우를 설명하는 블록도이다.
도 5는 4*4 크기의 무빙 윈도우를 이용하여 보간 픽셀을 계산하는 일례를 설명한다.
도 6은 본 실시예에서 사용되는 동기 신호의 일례이다.
도 7은 동기 제어 신호 생성부에서 생성하는 동기 신호의 주파수를 변경하는 일례를 나타낸다.
도 8 및 도 9는 본 실시예에 따른 서브 샘플링 결과를 나타낸다.

Claims (11)

  1. 원본 이미지에 대하여 다수의 서브 샘플링 레이트(rate)에 따라 서브 샘플링을 수행하는 시스템에 있어서,
    상기 다수의 서브 샘플링 레이트에 상응하는 저장 공간을 갖는 레지스터를 할당하고, 상기 원본 이미지 및 다수의 서브 샘플링 레이트에 상응하는 내부 메모리를 할당하는 윈도우 생성부;
    상기 원본 이미지의 수평라인을 상기 내부 메모리에 픽셀 단위로 순차적으로 저장시키고, 상기 내부 메모리에 저장된 픽셀 데이터 중 서브 샘플링이 수행되는 영역에 상응하는 무빙 윈도우에 속하는 픽셀 데이터를 상기 레지스터에 순차적으로 저장시키고, 상기 무빙 윈도우를 순차적으로 이동시키는 윈도우 연산부;
    상기 레지스터에 저장된 픽셀 데이터를 이용하여 상기 다수의 서브 샘플링 레이트 각각에 상응하는 보간 픽셀을 산출하는 픽셀 보간부; 및
    상기 보간 픽셀을 출력하는 서브 샘플링 영상 출력부를 포함하며,
    상기 레지스터의 저장 공간의 크기는 상기 다수의 서브 샘플링 레이트 중 최소 서브 샘플링 레이트에 따라 결정되고, 상기 최소 서브 샘플링 레이트가 1/N인 경우 N*N이고,
    상기 무빙 윈도우의 크기는 상기 최소 서브 샘플링 레이트가 1/N인 경우 N*N이고, 상기 무빙 윈도우는 상기 내부 메모리에 저장된 픽셀 데이터의 행(row) 방향으로 이동하는 것을 특징으로 하는 서브 샘플링 시스템
  2. 제1항에 있어서,
    상기 보간 픽셀을 이미지로 복원하기 위한 동기 신호를 생성하는 동기 제어 신호 생성부를 더 포함하고
    상기 서브 샘플링 영상 출력부는 상기 보간 픽셀과 함께 상기 동기 신호를 출력하는 것을 특징으로 하는 서브 샘플링 시스템
  3. 제2항에 있어서,
    상기 동기 신호는 프레임 동기 신호, 라인 동기 신호 및 픽셀 동기 신호를 포함하는 것을 특징으로 하는 서브 샘플링 시스템
  4. 제3항에 있어서,
    상기 동기 제어 신호 생성부는 상기 다수의 서브 샘플링 레이트에 따라 상기 라인 동기 신호 및 픽셀 동기 신호의 주파수를 제어하는 것을 특징으로 하는 서브 샘플링 시스템
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 내부 메모리는, 상기 원본 이미지의 수평 라인의 크기 및 상기 다수의 서브 샘플링 레이트 중 최소 서브 샘플링 레이트에 상응하는 크기의 듀얼 포트 램을 포함하는 것을 특징으로 하는 서브 샘플링 시스템
  9. 원본 이미지에 대하여 다수의 서브 샘플링 레이트(rate)에 따라 서브 샘플링을 수행하는 방법에 있어서,
    상기 다수의 서브 샘플링 레이트에 상응하는 저장 공간을 갖는 레지스터와 상기 원본 이미지 및 다수의 서브 샘플링 레이트에 상응하는 내부 메모리를 할당하는 제1 단계;
    상기 원본 이미지의 수평라인을 상기 내부 메모리에 픽셀 단위로 순차적으로 저장시키는 제2 단계;
    상기 내부 메모리에 저장된 픽셀 데이터 중 서브 샘플링이 수행되는 영역에 상응하는 무빙 윈도우에 속하는 픽셀 데이터를 상기 레지스터에 순차적으로 저장시키는 제3 단계;
    상기 레지스터에 저장된 픽셀 데이터를 이용하여 상기 다수의 서브 샘플링 레이트 각각에 따라 보간 픽셀을 산출하는 제4 단계;
    상기 무빙 윈도우를 상기 내부 메모리에 저장된 픽셀 데이터의 행(row) 방향으로 이동시키며 상기 제3 및 제4 단계를 반복 수행하는 제5 단계; 및
    상기 제5 단계를 통해 산출되는 보간 픽셀을 출력하는 제6 단계를 포함하며,
    상기 레지스터의 저장 공간의 크기는 상기 다수의 서브 샘플링 레이트 중 최소 서브 샘플링 레이트에 따라 결정되고, 상기 최소 서브 샘플링 레이트가 1/N인 경우 N*N이고, 상기 무빙 윈도우의 크기는 상기 최소 서브 샘플링 레이트가 1/N인 경우 N*N인 것을 특징으로 하는 서브 샘플링 방법
  10. 제9항에 있어서,
    상기 제6 단계를 통해 출력되는 보간 픽셀은, 상기 다수의 서브 샘플링 레이트에 상응하는 동기 신호와 함께 출력되는 것을 특징으로 하는 서브 샘플링 방법
  11. 제10항에 있어서,
    상기 동기 신호는 프레임 동기 신호, 라인 동기 신호 및 픽셀 동기 신호를 포함하는 것을 특징으로 하는 서브 샘플링 방법
KR1020080047681A 2008-05-22 2008-05-22 실시간 영상 처리를 위한 서브 샘플링 시스템 KR101000036B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080047681A KR101000036B1 (ko) 2008-05-22 2008-05-22 실시간 영상 처리를 위한 서브 샘플링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080047681A KR101000036B1 (ko) 2008-05-22 2008-05-22 실시간 영상 처리를 위한 서브 샘플링 시스템

Publications (2)

Publication Number Publication Date
KR20090121667A KR20090121667A (ko) 2009-11-26
KR101000036B1 true KR101000036B1 (ko) 2010-12-09

Family

ID=41604565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080047681A KR101000036B1 (ko) 2008-05-22 2008-05-22 실시간 영상 처리를 위한 서브 샘플링 시스템

Country Status (1)

Country Link
KR (1) KR101000036B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3919986A1 (en) * 2020-06-04 2021-12-08 Envisics Ltd. Image processing engine and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101699029B1 (ko) * 2015-08-07 2017-01-23 이노뎁 주식회사 영역 처리 속도를 향상한 영상 처리 장치 및 영상 처리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3919986A1 (en) * 2020-06-04 2021-12-08 Envisics Ltd. Image processing engine and method

Also Published As

Publication number Publication date
KR20090121667A (ko) 2009-11-26

Similar Documents

Publication Publication Date Title
US8749667B2 (en) System and method for maintaining maximum input rate while up-scaling an image vertically
JP4346591B2 (ja) 映像処理装置、映像処理方法およびプログラム
US8451901B2 (en) High-speed motion estimation apparatus and method
JP2008536429A (ja) 領域の動的なアスペクト比を用いた領域ベース３ｄｒｓ動き推定
EP2804144A1 (en) Method and device for processing input image data
JP2008538433A (ja) 領域ベース複数パス動き推定及び時間的動きベクトル候補の更新を用いたビデオ処理
KR101000036B1 (ko) 실시간 영상 처리를 위한 서브 샘플링 시스템
US20110255596A1 (en) Frame rate up conversion system and method
US10332239B2 (en) Apparatus and method for parallel polyphase image interpolation
US20080049035A1 (en) Apparatus and method for accessing image data
US7209186B2 (en) Image processing apparatus and image processing method for high speed real-time processing
US8200032B2 (en) Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction
JP4540191B2 (ja) 画像処理装置
JPH05300497A (ja) 画像処理装置及びディジタル信号処理プロセッサ
CN109427071B (zh) 一种全搜索块匹配方法和装置
JP2010033507A (ja) メモリコントローラおよび画像処理装置
JP6467940B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5271567B2 (ja) 画像前処理装置
JP3826434B2 (ja) 信号変換装置および方法
US5946036A (en) Image decoding using read/write memory control based on display region setting
CN114900634A (zh) 一种基于纹理贴图的超高清视频显示处理方法及装置
CN113763250A (zh) 一种自适应图像缩放处理方法及系统
US6560286B1 (en) Field frame motion design for digital video decoder
JPH05292393A (ja) 動画編集処理方式
JP2000059800A (ja) 画像信号処理回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee