KR101014637B1 - 화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치 - Google Patents

화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치 Download PDF

Info

Publication number
KR101014637B1
KR101014637B1 KR1020030056461A KR20030056461A KR101014637B1 KR 101014637 B1 KR101014637 B1 KR 101014637B1 KR 1020030056461 A KR1020030056461 A KR 1020030056461A KR 20030056461 A KR20030056461 A KR 20030056461A KR 101014637 B1 KR101014637 B1 KR 101014637B1
Authority
KR
South Korea
Prior art keywords
pixel
motion
information
difference
memory
Prior art date
Application number
KR1020030056461A
Other languages
English (en)
Other versions
KR20040016420A (ko
Inventor
곤도데쓰지로
시라키히사카즈
오쿠무라아키히로
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002274058A external-priority patent/JP3941644B2/ja
Priority claimed from JP2002274059A external-priority patent/JP3903890B2/ja
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20040016420A publication Critical patent/KR20040016420A/ko
Application granted granted Critical
Publication of KR101014637B1 publication Critical patent/KR101014637B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 화상 처리 장치 및 화상 처리 방법은 적은 계산량으로 모션 벡터의 산출이 가능하다. 프레임 메모리는 제1 및 제2 화상 데이터를 기억하며, 하나의 메모리에는 복수의 소자와 제어부가 포함된다. 각각의 소자는 제1 화상 데이터의 제1 화소의 제1 화소치를 기억하는 화소, 제2 화상 데이터의 제2 화소의 제2 화소치를 기억하는 화소, 제1 차분치를 기억하는 최소 화소 차분 기억부, 위상 정보를 기억하는 모션 벡터 기억부, 최소 화소 차분 기억부에 기억되어 있는 제1 차분치를 제1 화소와 제2 화소 사이의 제2 차분치와 비교하고, 그 비교 결과에 따라 제2 차분치로 제1 차분치를 갱신하고, 상기 갱신에 따른 갱신 정보를 출력하는 비교 갱신부, 및 상기 갱신 정보에 따라 위상 정보를 갱신하는 갱신부를 포함한다.
Figure R1020030056461
화상 처리, 화소, 모션 벡터, 블록 매칭, 플레인 매칭, 위상 갱신, 탐색 영역, 참조 영역, 차분 절대치

Description

화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치{Method and Apparatus for Processing Image Data and Semiconductor Storage Device}
도 1은 일반적인 화상 처리 장치를 예시하는 도면이다.
도 2는 도 1에 나타낸 일반적인 화상 처리 장치의 동작을 나타내는 플로차트이다.
도 3(도 3(a) 및 3(b)를 포함)은 위상 시프트에 의한 위상 블록 판독으로부터 평가 테이블 메모리에 기록하는 단계까지의 동작의 구체적 예를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 제1 실시예의 화상 처리 장치를 예시하는 기능 블록도이다.
도 5(a)는 제1 실시예에 따른 화상 처리 장치의 메모리를 예시하는 도면이고, 도 5(b)는 도 5(a)에 나타낸 화상 처리 장치의 메모리 내의 소자의 기능 블록도이다.
도 6(도 6(a) 및 6(b)를 포함)은 도 4에 나타낸 화상 처리 장치의 화소 매칭에 있어서의 위상의 갱신, 및 탐색 영역(tp)의 판독을 설명하기 위한 도면이다. 도 6(a)는 탐색 범위 내의 위상을 나타내는 도면이고, 도 6(b)는 위상과 탐색 영역(tp)의 관계를 나타내는 도면이다.
도 7은 도 1에 나타낸 화상 처리 장치(1)의 동작을 설명하기 위한 플로차트이다.
도 8은 본 발명에 따른 제2 실시예의 화상 처리 장치를 예시하는 기능 블록도이다.
도 9(a)는 도 8에 나타낸 화상 처리 장치(1a)의 메모리를 예시하는 도면이다. 도 9(b)는 도 8에 나타낸 메모리의 구성의 구체적인 예를 예시하는 도면이다. 도 9(c)는 도 8에 나타낸 화상 처리 장치(1a)의 모션 벡터를 기억하는 메모리 구조를 예시하는 도면이다.
도 10(도 10(a) 및 도 10(b)를 포함)은 도 8에 나타낸 화상 처리 장치의 동작, 특히 위상의 갱신과 탐색 영역(tp)의 판독을 행하는 동작에 대해 설명하기 위한 도면이다. 도 10(a)는 탐색 범위(sp) 내의 위상을 예시하는 도면이다. 도 10(b)는 위상과 탐색 영역(tp)의 관계를 예시하는 도면이다.
도 11은 도 8에 나타낸 화상 처리 장치(1a)의 동작을 설명하기 위한 플로차트이다.
도 12는 도 8에 나타낸 화상 처리 장치의 프레임의 참조 영역(tr)으로부터 추출되는 블록을 예시하는 도면이다.
도 13은 본 발명의 제3 실시예에 따른 화상 처리 장치의 대응 화소의 추출을 설명하기 위한 개념도이다.
도 14는 본 발명에 따른 제3 실시예의 화상 처리 장치의 기능 블록도이다.
도 15(a)는 도 14에 나타낸 화상 처리 장치(1b)의 메모리(2b)를 예시하는 도 면이다. 도 15(b)는 대응 화소에 기억되는 메모리를 예시하는 도면이다. 도 15(c)는 도 15(a)에 나타낸 메모리(2b)의 소자(20b)를 예시하는 기능 블록도이다.
도 16(a)는 프레임 T+2의 탐색 범위(sp) T+2(9×9) 및 탐색 영역(tp) T+2의 위상을 예시하는 도면이다. 도 16(b)는 프레임 T+1의 탐색 범위(sp) T+1(7×7) 및 탐색 영역(tp) T+1의 위상을 예시하는 도면이다. 도 16(c)는 프레임 T-1의 탐색 범위(sp) T-1(7×7) 및 탐색 영역(tp) T-1의 위상을 예시하는 도면이다. 도 16(d)는 프레임 T-2의 탐색 범위(sp) T-2(9×9) 및 탐색 영역(tp) T-2의 위상을 예시하는 도면이다. 도 16(e)는 도 14에 나타낸 화상 처리 장치(1b)가 실행하는 위상의 갱신과 탐색 영역(tp)의 판독 처리를 설명하기 위한 도면이다.
도 17은 도 14에 나타낸 화상 처리 장치의 동작을 설명하기 위한 플로차트이다.
도 18은 본 발명에 따른 제4 실시예의 화상 처리 장치의 기능 블록도이다.
도 19는 도 18에 나타낸 화상 처리 장치(1c)의 노이즈 부가부의 제1 구체예를 나타내는 기능 블록도이다.
도 20은 도 18에 나타낸 화상 처리 장치(1c)의 노이즈 부가부의 제2 구체예를 나타내는 기능 블록도이다.
도 21은 도 18에 나타낸 화상 처리 장치(1c)의 노이즈 부가부의 제3 구체예를 나타내는 기능 블록도이다.
도 22는 도 18에 나타낸 화상 처리 장치(1c)의 클래스 코드 생성부에서 클래스 코드를 발생(노이즈 성분의 검출)시키는 원리를 설명하기 위한 도면이다.
도 23은 도 18에 나타낸 화상 처리 장치(1c)에 의해 실행되는 클래스 분류 적응 처리를 위해서 참조 영역(tr)의 메모리에 판독할 순서를 설명하기 위한 도면이다. 도 23(a)는 시프트 전 상태를 예시하는 도면이다. 도 23(b)는 시프트 후의 상태를 나타내는 도면이다.
도 24는 본 발명에 따른 제5 실시예의 화상 처리 장치를 예시하는 기능 블록도이다.
도 25는 본 발명에 따른 제6 실시예의 화상 처리 장치를 예시하는 기능 블록도이다.
도 26(a)는 도 25에 나타낸 화상 처리 장치의 메모리의 구성도이고, 도 26(b)는 도 26(a)에 나타낸 메모리의 예상 화소를 기억하는 소자를 예시하는 도면이고, 도 26(c)는 도 26(a)에 나타낸 메모리의 소자를 예시하는 기능 블록도이다.
도 27은 본 발명의 제7 실시예에 따른 화상 처리 장치의 동작을 설명하기 위한 개념도이다.
도 28은 본 발명의 제7 실시예에 따른 화상 처리 장치에 의해 실행되는 프레인 매칭의 동작을 설명하기 위한 개념도이다.
도 29는 본 발명에 따른 제7 실시예의 화상 처리 장치를 예시하는 기능 블록도이다.
도 30(a)는 도 29에 나타낸 화상 처리 장치의 메모리를 모식적으로 예시하는 도면이다. 도 30(b)는 도 30(a)의 일부를 확대한 도면이다. 도 30(c)는 도 30(b)에 나타낸 메모리의 소자를 에시하는 기능 블록도이다.
도 31은 도 29에 나타낸 화상 처리 장치의 플레인 분리부의 동작을 설명하기 위한 도면이다.
도 32는 화상 처리 장치(1f)의 플레인 분리부의 구체예를 나타내는 기능 블록도이다.
도 33은 도 32에 나타낸 화상 처리 장치(1f)의 플레인 분리부의 히스토그램 연산부에 의해 생성되는 히스토그램의 구체예를 나타내는 도면이다.
도 34는 도 32에 나타낸 화상 처리 장치의 플레인 분리부의 소거부의 동작을 설명하기 위한 히스토그램의 구체예이다.
도 35는 도 32에 나타낸 화상 처리 장치의 골 통합부에 의해 통합되기 전의 히스토그램의 골을 설명하기 위한 도면이다.
도 36은 도 32에 나타낸 화상 처리 장치의 골 통합부에 의해 통합된 후의 히스토그램의 골을 설명하기 위한 도면이다.
도 37은 도 32에 나타낸 화상 처리 장치의 플레인 분리 분리부의 동작을 설명하기 위한 플로차트이다.
도 38은 도 29에 나타낸 화상 처리 장치의 동작을 설명하기 위한 플로차트이다.
도 39는 본 발명에 따른 제8 실시예의 화상 처리 장치를 예시하는 기능 블록도이다.
도 40은 본 발명에 따른 제9 실시예의 화상 처리 장치의 기능 블록도이다.
도 41은 도 40에 나타낸 화상 처리 장치의 모션 벡터 보정부의 동작을 설명 하기 위한 도면이다.
본 발명은, 예를 들면, 화상 데이터에 기초하여 모션 벡터(motion vector)를 생성하는 화상 처리 장치, 컴퓨터 프로그램 제품 및 화상 처리 방법에 관한 것이다.
종래에 화상의 프레임 사이의 모션 벡터를 검출하는 방법으로서 블록 매칭(block matching)이 알려져 있다. 도 1은 일반적 화상 처리 장치를 예시하는 도면이고, 도 2는 도 1에 예시된 일반적 화상 처리 장치의 동작을 예시하는 플로차트이다.
도 1 및 도 2를 참조하면, "블록 매칭"란 일정 시각 T-1에 화상 중의 어느 모션 블록이 다음 번 시각 T에 어느 위치로 움직이는가를 나타내는 모션 벡터를 구하는 공정이다.
예를 들면, 화상 처리 장치(1s)(도 1)는 프레임 메모리(3s-T), 프레임 메모리(3s-T-1), 탐색 범위 메모리(ms), 참조 블록 메모리(mr), 위상 블록 메모리(mp), 연산부(pc), 평가 테이블 메모리(mv), 및 최소치 탐색부(ps)를 포함한다.
화상 처리 장치(1s)는 시간 T에서 탐색 범위를 설정하여 그 범위 내에서 시각 T-1의 참조 블록에 대해 각 위상(위치)에 관한 탐색 범위 내의 블록 중의 화소의 매칭을 행하고, 가장 일치하는 위상의 스코어를 시각 T에서의 블록의 위치로 한 다. 여기서, 2 프레임 사이의 블록의 시프트 양을 모션 벡터(motion vector)로 정의한다.
도 2를 참조하면, 플로차트는 화상 처리 장치(1s)의 동작을 설명한다. 연속하는 입력 화상이 시간적으로 저장되는 프레임 메모리 T 및 프레임 메모리 T-1으로부터 탐색 범위의 화상 데이터 및 참조 블록(br)의 화상 데이터를 각각 판독한다(ST1, ST2). 이들 화상 데이터는 탐색 범위 메모리(ms) 및 참조 블록 메모리(mr)에 저장된다(ST3).
다음에, 탐색 범위 메모리(ms)로부터 각 위상에 대해 참조 블록(br)과 같은 형상과 크기를 가지는 블록을 판독한다. 이 블록을 위상 블록(bp)으로 정의한다. 위상은, 후술하는 바와 같이, 평가 테이블에 기록이 종료된 시점에서 순차 갱신되고, 그 시점의 위상에서 위상 블록(bp)이 판독된다(ST4). 판독된 위상 블록(bp)은, 예를 들면 도 1에 나타낸 바와 같이, 위상 블록 메모리(mp)에 저장된다.
도 3(도 3(a) 및 도 3(b)의 두 부분을 가짐)은 위상 시프트에 의한 위상 블록의 판독이 실행되는 방법으로 시작해서 평가 테이블 메모리(mr)에 기록될 때까지의 구체적인 처리예를 설명하기 위한 도면이다. 도 3(a)는 위상 시프트 전 상태를 나타낸 도면이고, 도 3(b)는 위상 시프트 후의 상태를 나타낸 도면이다.
도 3을 참조하여, 평가 테이블 메모리에 기록될 때까지의 동작을 설명한다. 참조 블록의 사이즈를 3×3 화소, 탐색 범위의 사이즈를 5×5 화소로 가정한다. 여기서, 위상(1)의 지점에서 판독한 위상 블록(bp)는 위상(2)에서 수평 방향으로 하나의 화소 어긋난 위치로 시프트된다. 예를 들면, 갱신에 기인한 위상의 시프트 양은 1 화소이다. 다음에, 연산부(pc)에 의해 참조 블록(br)과 위상 블록(bp)의 사이의 대응하는 화소 각 쌍에 대해 차분 절대치(absolute value of the difference)가 연산되고, 연산된 모든 차분 절대치에 대해 차분 절대치의 총화 S가 얻어진다.
Figure 112003030064055-pat00001
차분 절대치 총화 S는, 참조 블록(br) 중의 화소의 화소치(ks)와, 위상 블록(bp) 중의 대응하는 화소의 화소치(kp)를 이용하여, 예를 들면, 수식 (1)에 의해 계산된다(ST5).
다음에, 상기 차분 절대치 총화 S를 평가 테이블에 기억 시킨다(ST6). 구체적으로는, 도 1에 나타낸 바와 같이, 상기 차분 절대치 총화 S는 평가 테이블 메모리(mv)에 기억된다. 평가 테이블은 판독되는 위상 블록에 대응한 각각의 위상에 대해 차분 절대치 총화 S를 기억한다.
일반적으로, 화상 처리 장치(1s)를 사용하여, 도 3에 나타낸 바와 같이, 위상이 위상(1)로부터 위상(2)로 시프트되면, 데이터가 평가 테이블에 기억되는 위치도 시프트 양에 대응하여 시프트된다.
모든 탐색 범위에 대해 위상 블록(bp)의 판독으로부터 평가 테이블에의 기록까지 처리가 종료되면(ST7), 최소치 탐색부(ps)는 평가 테이블 내의 최소치를 탐색한다(ST8).
반면에, 단계 ST7에서 모든 위상에 대한 데이터를 평가 테이블이 기록되어 있지 않다고 판별되면, 단계 ST3의 처리로 복귀된다.
따라서, 화상 처리 장치(1s)는 참조 블록(br)과 가장 가까운 탐색 범위 내의 블록을 탐색하게 된다.
전술한 바와 같이, 평가 테이블은 판독되는 위상 블록(bp)에 대응한 위상마다 차분 절대치 총화 S를 기록한다. 따라서, 탐색 범위 내의 참조 블록(br)에 대응하는 블록의 위상은 평가 테이블 내에서 최소치를 탐색함으로써 알 수 있다. 그 위상에 관한 정보는 모션 벡터로서 출력된다.
본 발명의 목적 중 하나는 종래의 장치, 방법 및 컴퓨터 프로그램 제품이 가지는 전술한 한계 및 기타 문제점을 해결하는 것이다.
본 발명은 전술한 문제점을 감안하여 이루어진 것으로, 본 발명의 목적은 요구되는 계산량이 적은 모션 벡터를 산출할 수 있는 화상 처리 장치 및 화상 처리 방법을 제공하는 것이다.
전술한 종래의 화상 처리 장치의 문제점으로서, 이하의 3점을 들 수 있으며, 본 발명은 이들 문제를 해결하고자 하는 것이다.
1. 위상 블록 및 평가 테이블의 값을 일시적으로 기억하는 절차가 필요하고, 따라서 데이터 기억을 위한 메모리를 회로 중에 준비해야 하기 때문에, 회로의 레이아웃이 복잡해진다. 또한, 예를 들면, 1 프레임 안에 다수의 위치에서 모션 벡터를 산출하고자 할 경우, 각 위치 마다 순차적으로 모션 벡터를 탐색할 필요가 있어 시간적인 손실이 생긴다.
2. 평가 테이블 내에 모든 값이 기록되는 시점에서 최소치를 탐색하는 절차가 시작된다. 그러므로, 다음 두 가지 방식으로 위상을 갱신할 필요가 있다: 위상 블록 각각의 판독 및 최소치 탐색.
3. 이 경우에, 출력은 모션 벡터이며, 예를 들면, 모션 벡터에 기초하여 추출되는 화소를 판독할 경우, 모션 벡터에 기초하여 그 화소를 추출하는 또 다른 절차가 필요하다.
종래의 장치 및 방법이 가지는 전술한 문제 및 기타 결점을 해결하기 위해, 본 발명의 제1 관점에 따른 화상 처리 장치는, 데이터 구조를 갖는 메모리를 포함하는 반도체 기억장치로서, 상기 데이터 구조는
화상 블록의 제1 화소를 나타내는 데이터를 보유하도록 구성된 제1 화소 정보 부분,
또 다른 화상 블록의 탐색 영역의 제2 화소를 나타내는 데이터를 보유하도록 구성된 제2 화소 정보 부분,
상기 제1 화소와 상기 제2 화소 사이의 모션 추정치를 표시하는 데이터를 보유하도록 구성된 추정 부분, 및
상기 제1 화소와 상기 제2 화소 사이의 모션 벡터를 표시하는 데이터를 보유하도록 구성된 모션 벡터 정보 부분
을 포함하는 반도체 기억 장치를 제공한다.
본 발명의 제2 관점에 따르면,
화소 모션 정보를 보유하는 제1 기억 부분(storage portion),
화소들 사이의 프레임간(frame-to-frame) 모션을 나타내는 모션 추정치를 보유하는 제2 기억 부분,
제1 화소 정보를 보유하는 제3 기억 부분, 및
제2 화소 정보를 보유하는 제4 기억 부분
을 포함하는 복수의 부분을 가지는 데이터 기억부(data storage unit)를 포함하고,
상기 제1 화소를 포함하는 제1 프레임은 상기 제2 화소를 포함하는 제2 화소와 상이한 반도체 기억 장치가 제공된다.
본 발명의 제3 관점에 따르면, 모션 벡터의 추정을 용이하게 하는 화상 데이터 처리 방법으로서,
화상 블록의 제1 화소를 나타내는 데이터를 보유하도록 구성된 메모리 소자의 제1 화소 부분에 제1 화소 정보를 기억하는 단계,
또 다른 화상 블록의 탐색 영역의 제2 화소를 나타내는 데이터를 보유하도록 구성된 상기 메모리 소자의 제2 화소 부분에 제2 화소 정보를 기억하는 단계,
상기 제1 화소와 상기 제2 화소 사이의 모션 추정치를 표시하는 데이터를 보유하도록 구성된 상기 메모리 소자의 추정 부분에 추정 정보를 기억하는 단계, 및
상기 제1 화소와 상기 제2 화소 사이의 모션 벡터를 표시하는 데이터를 보유하도록 구성된 상기 메모리 소자의 모션 벡터 부분에 벡터 정보를 기억하는 단계
를 포함하는 화상 데이터 처리 방법이 제공된다.
본 발명의 제4 관점에 따르면, 모션 벡터의 추정을 용이하게 하는 화상 데이터 처리 방법으로서,
제1 기억 부분에 화소 모션 정보를 기억하는 단계,
제2 기억 부분에 화소들 사이의 프레임간 모션을 나타내는 모션 추정치를 기억하는 단계,
제3 기억 부분에 제1 화소 정보를 기억하는 단계, 및
제4 기억 부분에 제2 화소 정보를 기억하는 단계
를 포함하고,
상기 제1 화소를 포함하는 제1 프레임은 상기 제2 화소를 포함하는 제2 프레임과 상이한 화상 데이터 처리 방법이 제공된다.
본 발명 및 본 발명의 부수적인 많은 이점에 대한 보다 완전한 이해는 첨부하는 도면과 함께 이하에 제시하는 상세한 설명을 참조함으로써 더욱 잘 이해하게 됨에 따라 즉시 얻어질 것이다.
[실시예]
제1 실시예
본 발명의 실시예에 따른 화상 처리장치(1)는 복수의 프레임을 갖는 모션 화상의 프레임들 사이에서 모션 벡터를 검출한다. 모션 벡터를 검출하는 관점 중 하나는 이하에 설명하는 화소 매칭(pixel matching)에 의한 것이다.
화소 매칭
도 4는 본 발명에 따른 화상 처리 장치의 제1 실시예를 예시하는 기능 블록 도이다. 도 5(a)는 제1 실시예에 따른 화상 처리 장치의 메모리 구조, 또는 데이터 구조를 예시하는 도면이다. 도 5(b)는 도 5(a)에 나타낸 화상 처리 장치의 메모리 내의 소자를 예시하는 기능 블록도이다.
도 4에 나타낸 바와 같이, 이 실시예에 따른 화상 처리 장치(1)는 메모리(2), 다중 프레임 메모리(3)(3-T 및 3-T-1로 나타냄), 판독부(4) 및 제어부(100)를 포함한다. 메모리(2)는, 뒤에 설명하는 바와 같이, 프레임 메모리(3)로부터의 소정의 데이터, 예를 들면 화소의 화소치(pixel value), 및 위상(위상 정보라 칭하기도 함)에 기초하여 모션 벡터를 생성하고 기억한다. 프레임 메모리(3-T)는 시점 T에서 입력된 화상 데이터(간단히 화상이라 칭하기도 함)를 기억한다. 프레임 메모리(3-T-1)는 시점 T-1에서 화상 데이터를 기억한다. 또한, 소정의 시간이 경과한 후, 프레임 메모리(3-T)에 기억되어 있는 화상 데이터는 프레임 메모리(3-T-1)에 기억되고, 프레임 메모리(3-T)는 다음 번 화상 데이터를 기억한다.
판독부(4)는 각각의 소자(20)[도 5(a)]에 대해 메모리(2)에 기억되어 있는 모션 벡터를 판독한다. 제어부(100)는 컴퓨터로 구현된 프로세스에 따라 메모리(2), 프레임 메모리(3) 및 판독부(4)를 제어한다. 제어부(100)는, 예를 들면, 화상을 기억하도록 프레임 메모리(3)를 제어한다. 제어부(100)는, 예를 들면, 프레임 메모리(3)를 제어하여 소정의 탐색 범위(sp)와 참조 영역 내의 화소, 및 탐색 범위(sp)의 탐색 영역(tp)과 참조 영역(tr)의 위상을 메모리(2)에 출력시킨다.
각각의 성분에 관하여 보다 상세한 설명을 한다. 이 실시예에 따른 화상 처 리 장치(1)의 메모리(2)는, 예를 들면, 도 5(a)에 나타낸 바와 같이 격자 형상의 복수의 소자(20)를 갖는다. 단순화를 위해, 메모리(2) 내에 3×3 소자(화소)[(20-1) 내지 (20-9)]가 설치되는 것으로 가정한다. 소자(20)는 서로 접속되어 있다.
한 번에 각각의 소자(화소)(20)에 대해 매칭이 행해지는 경우에 관하여 설명한다. 소자(20)는, 도 5(b)에 나타낸 바와 같이, 예를 들면 화소[(21-1), (21-2)]와 같은 복수의 화소(21), 최소 화소 차분(差分) 기억부(22), 모션 벡터 기억부(23), 감산기(subtracter)24), 절대치 생성부(25), 비교 갱신부(26), 및 갱신부(27)를 갖는다.
구체적으로, 소자(20)는 1개의 화소를 기억("저장"이라고도 함)할 뿐 아니라, 예를 들면 2개의 화소에 대한 화소치를 기억한다. 또한, 메모리 구조는 2 화소의 차분 절대치를 연산하며, 얻어지는 차분 절대치를 기억한다. "매칭 데이터"란, 예를 들면, 화소치, 차분 절대치, 소정의 연산 결과를 나타내는 데이터 등의 소정의 매칭 처리에 관한 데이터이다.
화소(21)는 예를 들면 화소[(21-1), (21-2)]와 같은 복수의 화소를 갖는다. 프레임 메모리(3-T) 내 탐색 범위(sp) 내의 화소의 화소치는, 예를 들면, 화소(21-1)에 입력된다. 화소(21-2)에는, 예를 들면, 프레임 메모리(s-T-1) 내 참조 영역(tr) 내의 화소의 화소치가 입력된다. 최소 화소 차분 기억부(22)는 차분 절대치를 기억한다. 최소 화소 차분 기억부(22)를 이용하여, 갱신부(26)를 비교함으로써 기억되어 있는 차분 절대치의 갱신이 실행된다. 모션 벡터 기억부(23)는 뒤에 설명하는 바와 같이 모션 벡터를 기억한다. 모션 벡터 기억부(23)를 이용하여, 갱신부(27)에 의해 온 모션 벡터의 갱신이 실행된다. 감산기(24)는 화소(21-1)에 기억되어 있는 화소치와 화소(21-2)에 기억되어 있는 화소치 사이의 차분치를 절대치 생성부(25)에 출력한다.
절대치 생성부(25)는 감산기(24)로부터 출력된 화소(21-1)의 화소치와 화소(21-2)의 화소치 사이의 차분치에 기초하여 차분의 절대치(차분 절대치라 칭하기도 함)를 비교 갱신부(26)에 출력한다. 비교 갱신부(26)는 절대치 생성부(25)로부터 출력된 차분 절대치와 최소 화소 차분 기억부(22)에 기억되어 있는 차분 절대치를 비교한다.
상기 비교 결과, 절대치 생성부(25)로부터 출력된 차분 절대치가 상대적으로 작은 값인 경우에, 비교 갱신부(26)는 그 작은 값을 최소 화소 기억부(22)에 기억하여 차분 절대치를 갱신한다. 전술한 비교 결과에 따라 최소 화소 기억부(22)에 기억되어 있는 차분 절대치가 갱신되는 경우에, 비교 갱신부(26)는 차분 절대치가 갱신되었음을 나타내는 갱신 정보를 갱신부(27)에 출력한다. 이어서 갱신부(27)는 비교 갱신부(26)로부터 출력된 갱신 정보 및 위상 정보에 기초하여 모션 벡터 기억부(23)에 기억된 모션 벡터를 갱신한다. 구체적으로, 비교 갱신부(26)가 차분 절대치가 갱신되었음을 나타내는 갱신 정보를 출력하면, 갱신부(27)는 그 시점에 탐색 영역(tp) 및 참조 영역(tr)에 관한 위상 정보(위상)를 모션 벡터로서 기억하도록 모션 벡터 기억부(23)를 제어하고, 그 결과 모션 벡터를 갱신한다. 전술한 바와 같이, 메모리(2)는 모션 벡터 및 차분 절대치와 같은 화소치 이외의 정보를 부가 정보로서 기억한다.
감산기(24), 절대치 생성부(25), 비교 갱신부(26) 및 갱신부(27)는 모두 메모리 칩을 호스트로 하는 회로를 통해 구현된다. 이 회로는 프로그램 가능 논리, 프로그램된 논리, 고정된 회로 또는 이들의 조합일 수 있다.
도 6은 도 4에 나타낸 화상 처리 장치의 화소 매칭에 관한 위상의 갱신과 탐색 영역(tp)의 판독을 설명하기 위한 도면이다. 도 6(a)는 탐색 범위 내의 위상을 나타내는 도면이다. 도 6(b)는 위상과 탐색 영역(tp)의 관계를 나타내는 도면이다. 위상(위상 정보)는, 예를 들면, 탐색 범위(sp)의 중심과 탐색 영역(tp)의 중심 사이의 오프셋(offset)이다. 예를 들면, 도 6(a)에 나타낸 바와 같이 위상을 정의한다. 구체적으로, 도 6(a)에 나타낸 바와 같이, 탐색 범위(sp)(5×5)의 중심과 탐색 영역(tp)(3×3)의 중심이 일치하는 경우에는 위상은 (0, 0)이다. 예를 들면, 탐색 범위(sp)(5×5)의 중심과 탐색 영역(tp)(3×3)의 중심이 도면에서의 오른쪽으로 1 화소 만큼 오프셋된 경우에는 위상은 (1, 0)이다. 전술한 예와 다른 위상에 관해서도 동일한 방식으로, 탐색 범위(sp)(5×5)의 중심과 탐색 영역(tp)(3×3)의 중심의 오프셋을 위상 좌표로 정의한다.
도 6(b)는 위상의 갱신과 탐색 영역(tp)의 판독을 나타내는 도면이다. 예를 들면, 제어부(100)는 도 6(b)에 나타낸 바와 같이, 위상을 (-1, -1), (0, -1), (1, -1), (-1, 0), (0, 0), (0, 1), (-1, 1), (0, 1), (1, 1)의 순서로 갱신하고, 갱신된 위상에 대응하여 탐색 영역(tp) 내의 화소를 판독하고, 그 화소를 메모리(2) 내의 대응하는 소자(20)에 출력한다. 후술하는 바와 같이, 차분 절대치가 최소인 경우의 위상을 진실한 모션 벡터로 취한다.
제어부(100)의 화소 판독의 순서 및 위상의 순서는 이 베얄에 한정되는 것은 아니다. 모든 화소를 판독할 수 있으면 판독의 순서는 위에 설명한 배열에 한정되는 것은 아니다. 여기서, 도 5에서는 각 소자가 보유하는 화소(21-1)에 탐색 영역(tp) 내의 하나의 화소를 기억한다.
도 7은 도 1에 나타낸 화상 처리 장치(1)의 동작을 설명하기 위한 플로차트이다. 화상 처리 장치(1)의 동작, 특히 모션 벡터를 생성하는 동작을 도 7을 참조하면서 설명한다. 예를 들면, 제어부(100)는 프레임 메모리(3-T-1)로부터 임의의 3×3 참조 영역(tr)의 각 화소를 메모리(20) 내의 대응하는 각 소자(20)에 기억한다(ST11). 구체적으로, 도 4에 나타낸 바와 같이, 각 소자(20)의 화소(2102)에 참조 영역(tr)의 하나의 화소를 기억한다. 제어부(100)는 프레임 메모리(3-T)에서 탐색 범위(sp) 내의 위상을 갱신(시프트)하면서(ST12), 탐색 영역(tp)(3×3) 내의 화소를 판독하고, 각 화소를 메모리(2) 내의 대응하는 각 소자(20)에 기억한다(ST13). 구체적으로, 도 4에 나타낸 바와 같이, 제어부(100)는 각 소자(20)의 화소(21-1)에 대응하는 화소를 기억한다. 제어부(100)를 이용하여, 탐색 영역(tp)의 위상의 갱신 및 탐색 영역(tp) 내의 화소의 판독은, 예를 들면 도 6에 나타낸 바와 같이, (-1, -1) 내지 (1, 1)의 범위에서 1 화소씩 위상을 시프트하면서 총 9회 행해지고, 9회 처리가 끝나면 종료된다.
화소(21-1) 및 화소(21-2)에 기억된 화소들 사이의 차분 절대치는 각 소자(20)의 감산기(24) 및 절대치 생성부(25)에 의해 연산된다. 얻어진 값을 차분 절대치 "a"로 정의한다(ST14). 비교 갱신부(26)는 상기 차분 절대치 "a"와 메모리(2) 내의 소자(20)의 최소 화소 차분 기억부(22)에 기억되어 있는 차분 절대치("차분 절대치 b"라 칭하기도 함)를 비교한다(ST15). 단계 ST15에서의 비교 결과, 차분 절대치 "a"가 더 작은 경우, 비교 갱신부(26)는 차분 절대치 "a"를 최소 화소 차분 기억부(22)에 기억하여, 차분 절대치를 갱신한다(ST16, ST17). 역으로, 차분 절대치 "a"가 더 큰 경우, 비교 갱신부(26)는 갱신을 실행하지 않고(ST16), 다음 탐색 영역(tp)의 위상의 갱신 및 탐색 영역(tp) 내의 화소의 판독을 위한 처리로 진행된다.
그런데, 초기 단계에서, 소자(20)의 최소 화소 차분 기억부(22)는 차분 절대치를 기억하고 있지 않다. 이 경우, 최소 화소 차분 기억부(22)는 무조건 최초의 차분 절대치를 기억한다.
단계 ST17에서, 비교 갱신부(26)는 차분 절대치가 갱신된 경우에만, 차분 절대치가 갱신되었음을 나타내는 갱신 정보를 갱신부(27)를 통해 출력한다.
비교 갱신부(26)가 차분 절대치가 갱신되었음을 나타내는 갱신 정보를 갱신부(27)에 출력하는 경우에, 갱신부(27)는 그 시점에 탐색 영역(tp)의 위상을 모션 벡터 기억부(23)에 기억시키고, 그 결과 모션 벡터가 갱신된다(ST18).
모든 위상의 갱신이 종료된 시점에(ST19), 각 소자(20)에 있어서, 최소 화소 차분 기억부(21-2)는 탐색 범위(sp)에서의 화소들 사이의 차분 절대치의 최소치를 기억하고, 최소치가 갱신된 위상(모션 벡터)가 모션 벡터 기억부(23)에 기억되어 있다.
반면에, 단계 ST19에서 모든 위상의 갱신이 종료되지 않은 경우에는 단계 ST12의 처리로 되돌아 간다.
각 모션 벡터는 참조 영역(tr) 내의 각 화소(20)가 시각 T에 탐색 범위(sp) 내의 어느 위치로 이동했는가를 화소들(20) 사이의 차분 절대치에 기초하여 구한 것이다. 최종적으로, 판독부(4)는 대응하는 소자(20)로부터 각각의 모션 벡터를 판독하여 그 모션 벡터를 출력한다.
이상 설명한 바와 같이, 화상 데이터를 기억하는 복수의 프레임 메모리(3)와 프레임 메모리(3)로부터의 데이터에 따라 모션 벡터를 생성하고 기억하는 메모리(2), 메모리로부터 각 소자의 모션 벡터를 판독하는 판독부(4), 및 이들을 제어하는 제어부(100)를 설치한다. 또한, 메모리(2)에는 격자 형상으로 복수의 소자(20)를 설치한다.
소자(20)는 상이한 프레임 메모리의 소정의 화소의 화소치를 기억하는 화소(21-1, 21-2), 화소(21-1)와 화소(21-2) 사이의 화소치의 차분치를 출력하는 감산기(24), 감산기(24)로부터 출력된 차분치의 절대치(차분 절대치)를 출력하는 절대치 생성부(25), 차분 절대치를 기억하는 최소 화소 차분 기억부(22), 차분 절대치와 최소 화소 차분 기억부(22)에 기억되어 있는 차분 절대치를 비교하고, 비교의 결과에 따라 최소 화소 기억부(22)에 기억되어 있는 차분 절대치를 갱신하고, 갱신되었음을 나타내는 갱신 정보를 출력하는 비교 갱신부(26), 비교 갱신부(26)로부터 차분 절대치가 갱신되었음을 나타내는 갱신 정보가 출력된 경우에는, 그 시점의 위상 좌표를 모션 벡터로서 모션 벡터 기억부(23)에 기억시키고, 모션 벡터를 갱신하는 갱신부(27)를 포함하는 것이므로, 상대적으로 적은 계산량으로 적절한 시 간에 모션 벡터를 산출할 수 있다.
또한, 탐색 범위(sp) 내의 모든 위상에서의 평가 테이블의 연산 및 최소치의 탐색이라는 2단계의 위상의 갱신을 동시에 행할 수 있다.
또한, 이 실시예에서 차분 절대치의 최소치만을 갱신하기 때문에, 예를 들면 최소치의 탐색을 위한 평가 테이블을 별도의 메모리 상에 생성할 필요가 없으므로 메모리의 크기를 축소할 수 있다.
본 발명에 따른 화상 처리 장치(1)의 설명을 3×3 사이즈의 메모리(2)를 참조하여 설명하였지만, 메모리의 크기는 이것에 한정되는 것은 아니다. 예를 들면, 1 프레임의 전화소의 소자(20)를 갖는 메모리(2)를 설치한 경우에는 1 프레임분의 전화소에 대한 모션 벡터가 위상의 갱신이 종료된 시점에서 한번에 구해질 수 있다.
제2 실시예
이 실시예에 따른 화상 처리 장치(1)는 복수의 프레임을 갖는 이동 화상의 프레임들 사이의 모션 벡터를 검출한다. 모션 벡터를 검출하는 하나의 관점은 이하에 설명하는 바와 같은 블록 매칭에 의한 것이다.
블록 매칭
도 8은 본 발명에 따른 화상 처리 장치(1a)의 제2 실시예의 기능 블록도이다.
도 9(a)는 도 8에 나타낸 화상 처리 장치(1a)의 메모리 구조를 나타내는 도면이다. 도 9(b)는 도 8에 나타낸 메모리의 구조의 구체예를 나타내는 도면이다. 도 9(c)는 도 8에 나타낸 화상 처리 장치(1a)의 모션 벡터가 기억되는 메모리의 구조를 나타내는 도면이다.
이 실시예에 따른 화상 처리 장치(1a)는 도 8에 나타낸 바와 같이, 메모리(2a), 복수의 프레임 메모리(3a), 예를 들면 프레임 메모리(3a-T, T-1), 판독부(4) 및 제어부(100a)를 포함한다. 본 발명에 따른 제1 실시예의 화상 처리 장치(1)에서, 예를 들면, 3×3 블록 매칭에서는 3×3 소자를 이용하여 특정한 주목 화소(pixel of interest)의 모션 벡터를 구했다.
제2 실시예의 화상 처리 장치(1a)에서는 서로 인접한 3×3 화소에 대한 모션 벡터가 동시에 얻어진다. 메모리(2a)는 제1 실시예에 따른 화상 처리 장치(1)의 메모리(2)와 동일하게 1 화소를 기억할 뿐 아니라 2 화소를 기억할 수 있고, 이들의 차분 절대치를 연산한다. 또한, 메모리(2a)는 얻어진 차분 절대치를 기억한다.
화소 매칭이 적용되는 블록 매칭의 한 구체예를 설명한다.
화상 처리 장치(1a)와 제1 실시예에 따른 화상 처리 장치(1)의 주된 상위점은 메모리 구조가 상이한 것이다. 따라서, 이하에서 상위점에 관해서만 설명한다.
이 실시예에 따른 화상 처리 장치(1a)의 메모리(2a)는, 예를 들면, 도 9에 나타낸 바와 같이 격자 형상인 복수의 소자(20a)를 갖는다.
단순화를 위해, 메모리(2a) 내에 5×5 소자(20a-1∼25)가 제공된다. 소자(20)는 각각 도시된 바와 같이 접속되어 있다.
각 소자(20)에 대해 한꺼번에 매칭을 행하는 경우에 관해 설명한다. 여기서, 소자(20a-1∼25)를 구별하지 않을 경우에는, 소자를 단순히 소자(화소)(20a)라 칭한다. 탐색 범위(sp)를 1 화소의 증분으로 위상[(-1, -1)∼(1, 1)]로서 취하여 설명한다.
메모리(2a)는 소자들(20a) 사이의 배선을 이용하여, 도 9(a)에 나타낸 바와 같이, 주목하는 소자(element of interest)(예를 들면 20a-5) 근방의 8개 소자[예를 들면 소자(20a-1∼4) 및 소자(20a-6∼9)]에 기억되어 있는 차분 절대치를 주목하는 소자에 전송할 수 있다. 각 소자(20a)는 이들 9개의 차분 절대치를 수취하는 기구 및 상기 차분 절대치를 가산하는 기구를 갖는다. 따라서 주목하는 소자(20a)는 그의 차분 절대치의 총화(총합)를 구하고 그것을 기억한다.
단, 각 소자(20a)는 얻어진 차분 절대치의 총화와 미리 기억되어 있는 차분 절대치의 총화를 비교하고, 얻어진 값이 작은 경우만 기억되어 있는 값을 갱신한다. 차분 절대치의 총화가 갱신된 경우, 기억되어 있는 모션 벡터도 얻어진 차분 절대치의 총화에 따른 모션 벡터로 갱신된다.
이하에서 보다 상세히 설명한다. 소자(20a)는, 도 9(c)에 나타낸 바와 같이, 복수의 화소(21a), 예를 들면, 화소(21a-1, 21a-2), 화소 차분 기억부(22a-1), 차분 총화 기억부(22a-2), 모션 벡터 기억부(23), 감산기(24), 절대치 생성부(25a), 비교 갱신부(26a), 갱신부(27), 및 가산부(28)를 포함한다. 소자(20a)와 제1 실시예에 따른 소자(20)의 상위점으로는 화소 차분 기억부(22a-1), 차분 총화 기억부(22a-2), 절대치 생성부(25a), 비교 갱신부(26a), 및 가산부(28)가 포함된다.
화소 차분 기억부(22a-1)는 절대치 생성부(25a)로부터 출력된 화소(21a-1)와 화소(21a-2) 사이의 차분 절대치를 기억한다. 화소 차분 기억부(22a-1)는 기억되어 있는 차분 절대치를 가산부(28)에 출력한다. 차분 총화 기억부(22a-2)는 차분 절대치 총화를 기억한다. 이 차분 절대치 총화는, 후술하는 바와 같이, 비교 갱신부(26a)에 의해 소정 조건의 경우에 갱신된다. 절대치 생성부(25a)는 감산기(24)로부터 출력된 화소(21-1)의 화소치와 화소(21-2)의 화소치의 차분치의 절대치(차분 절대치라고도 함)를 화소 차분 기억부(22a-1)에 출력한다.
비교 갱신부(26a)는 가산부(28)로부터 출력된 차분 절대치 총화(A)와 차분 총화 기억부(22a-2)에 기억되어 있는 차분 절대치 총화(차분 절대치 총화(B)라 칭함)를 비교하고, 비교 결과 차분 절대치 총화(A)가 작은 경우에는, 차분 절대치 총화(A)를 차분 총화 기억부(22a-2)에 기억시켜 차분 절대치 총화를 갱신한다.
비교 갱신부(26a)가 전술한 갱신을 실행한 경우에는, 비교 갱신부(26a)는 갱신이 행해졌음을 나타내는 갱신 정보를 갱신부(27)에 출력한다. 비교 결과 차분 절대치 총화(A)가 큰 경우에는, 비교 갱신부(26a)는 차분 총화 기억부(22a-2)에 기억되어 있는 차분 절대치 총화(B)의 갱신을 행하지 않는다. 가산부(28)는 그것의 화소 근방의 8개의 소자(20a)[8개의 인접 소자(20a)라고도 함] 각각으로부터 출력된 차분 절대치와, 화소 차분 기억부(22a-1)로부터 출력된 차분 절대치를 가산하여 차분 절대치 총화(A)를 생성하고, 비교 갱신부(26a)에 출력한다.
도 10은 도 8에 나타낸 화상 처리 장치의 동작, 특히 위상의 갱신과 탐색 영역(tp)의 판독을 행하는 동작에 관하여 설명하기 위한 도면이다. 도 10(a)는 탐색 범위(sp) 내의 위상을 나타내는 도면이다. 도 10(b)는 위상과 탐색 영역(tp)의 관 계를 나타내는 도면이다.
도 10(a)에 나타낸 바와 같이, 예를 들면, 위상은 탐색 범위(sp)의 중심과 탐색 영역(tp)의 중심간의 오프셋을 나타낸다. 예를 들면, 도 10(a)에 나타낸 바와 같이 위상의 좌표를 정의하기로 한다.
구체적으로는, 도 10(a)에 나타낸 바와 같이, 탐색 범위(sp)(7×7)의 중심과 탐색 영역(tp)(5×5)의 중심이 일치한 경우에, 위상은 (0, 0)이다. 예를 들면, 탐색 영역(tp)(5×5)의 중심이 탐색 범위(sp)(7×7)의 중심으로부터 도면의 오른쪽 방향으로 1 화소 만큼 오프셋된 경우에, 위상은 (1, 0)이다. 상기 예가 아닌 위상에 있어서, 동일한 방식으로 탐색 범위(sp)의 중심과 탐색 영역(tp)의 중심간의 오프셋을 위상의 좌표로 정의한다.
예를 들면, 제어부(100a)는, 도 10(b)에 나타낸 바와 같이, 위상을 (-1, -1), (0, -1), (1, -1), (-1, 0), (0, 0), (0, 1), (-1, 1), (0, 1), (1, 1)의 순서로 갱신하고, 그것에 따라 탐색 영역(tp) 내의 화소를 판독하여 메모리(2a) 내의 대응하는 소자(20a)에 출력한다. 제어부(100a)의 판독 순서는 이 형태에 한정되는 것은 아니다. 모든 화소를 판독할 수 있으면 순서는 상기 형태에 한정되지 않는다.
도 11은 도 8에 나타낸 화상 처리 장치(1a)의 동작을 설명하기 위한 플로차트이다. 화상 처리 장치(1)의 동작, 특히 모션 벡터 검출의 동작을 도 11을 참조하면서 설명한다. 이 경우에, 주목 소자란 도 9에서 실제로 모션 벡터가 기억되는 소자(20a) 중의 하나로 규정한다. 여기서 주목 소자는 메모리(2a)의 끝에 있는 소 자는 아니다. 예를 들면, 제어부(100a)는 프레임 메모리(3a-T-1)로부터 임의의 5×5 참조 영역(tr) 내의 각 화소를 메모리(2a) 내의 대응하는 소자(20a)에 기억한다(ST21). 도 8에서, 참조 영역(tr) 내의 하나의 화소는 각 소자(20a)에 포함되는 화소(21-2)에 기억된다.
제어부(100a)는 탐색 범위(sp) 내에서 위상을 갱신하면서(ST22), 상기 영역을 판독하고, 상기 영역 내의 각 화소는 메모리(2a) 내의 대응하는 소자(20a)에 기억된다(ST23). 상기 5×5 영역을 "탐색 영역(tp)"이라 칭한다. 도 8에 있어서는, 대응하는 소자(20a)에 포함되는 화소(21a-1)에 탐색 영역(tp) 내의 하나의 화소가 기억된다. 탐색 영역(tp)의 위상의 갱신 및 탐색 영역(tp) 내 화소의 판독은, 예를 들면, 도 10에 나타낸 바와 같이, (-1, -1) 내지 (1, 1)의 범위의 위상에서 9회 실행되고, 9회의 처리를 마친 후 종료된다.
다음에, 각 소자(20a) 내에서 화소(21a-1)에 기억된 값과 화소(21a-2)에 기억된 값의 차분 절대치 "a"를 연산한다(ST24). 그 결과를 각 소자(20a) 내의 화소 차분 기억부(22a-1)에 기억한다. 계속해서, 주목 소자 각각에 있어서, 가산부(28)는 주목 소자 근방의 8 소자(20a)로부터 차분 절대치 "a"를 판독하고, 8개의 차분 절대치 "a"와 화소 차분 기억부(22a-1)에 기억되어 있는 차분 절대치 "a"와 가산하여 차분 절대치 총화(A)를 구한다(ST25).
다음에, 주목 소자 각각에 있어서, 비교 갱신부(26a)는 차분 총화 기억부(22a-2)에 미리 기억되어 있는 차분 절대치 총화[차분 절대치 총화(B)]와 가산부(28)로부터 출력된 차분 절대치 총화(A)를 비교하여(ST26, ST27), 차분 절대치 총화(A)가 작은 경우에는 차분 총화 기억부(22a-2)에 기억되어 있는 값을 차분 절대치 총화(B)로부터 차분 절대치 총화(A)로 갱신한다(ST28).
한편, 단계 ST27에서, 차분 절대치 총화(A)가 큰 경우에는 비교 갱신부(26a)는 갱신을 행하지 않는다. 제어부(100a)에서, 처리 흐름은 다음의 위상의 갱신 및 탐색 영역(tp)의 판독으로 이행한다. 처리 흐름은 단계 ST22로 돌아간다. 그런데, 초기 상태에서는 주목 소자에는 차분 절대치 총화가 기억되어 있지 않다. 그 경우에는 무조건 최초의 차분 절대치 총화가 기억된다.
단계 ST29에서, 갱신부(27)에서는 주목 소자의 차분 절대치 총화가 갱신된 경우에만, 대응하는 위상을 진실한(true) 모션 벡터로 하여, 그 주목 소자의 모션 벡터 기억부(23)에 미리 기억되어 있는 모션 벡터를 갱신한다. 따라서, 위상의 갱신이 종료된 시점에(ST30), 9개의 주목 소자(20a) 각각에는 탐색 범위(sp)에서의 화소들 사이의 차분 절대치 총화의 최소치와, 대응하는 모션 벡터가 기억되어 있다. 한편, 단계 ST30에서, 위상의 갱신이 종료되지 않았다고 판별된 경우에는 단계 ST22의 처리로 돌아간다.
도 12는 도 8에 나타낸 화상 처리 장치의 프레임에 기억되어 있는 참조 영역(tr)으로부터 추출되는 블록을 나타내는 도면이다.
대응하는 모션 벡터는 도 12에 나타낸 바와 같이 탐조 영역(tr)으로부터 추출되는 9개의 3×3 블록이 시각 T에 탐색 범위(sp) 내의 어느 위치로 이동했는지를 3×3 블록간의 차분 절대치 총화에 기초하여 구한 것이다. 최종적으로, 판독부(4)가 주목 소자 각각으로부터 이들 모션 벡터를 판독하여 출력한다.
이상 설명한 바와 같이, 화상 처리 장치(1a)는 주목 소자와 그에 인접하는 소자(3×3 소자)의 차분 절대치를 가산한 차분 총화치에 기초하여, 3×3 화소의 모션 벡터를 한 번에 생성할 수 있다.
이 실시예에서는 블록 사이즈가 3×3이고 1화소 증분으로 (-1, -1) 내지 (1, 1) 범위의 탐색 범위(sp)인 경우의 블록 매칭을 실현하는 메모리를 설명하였지만, 이 형태에 한정되는 것은 아니다. 예를 들면, 소자들(20a) 사이의 배선을 이용하여 주변의 5×5 소자(20a)로 접속함으로써 5×5의 더욱 큰 블록 사이즈에서의 매칭도 가능하도록 변형할 수도 있다.
메모리(2a) 내의 소자의 총수가 5×5인 경우로 설명하였지만, 예를 들면 메모리(2a)에 1 프레임 내 화소 전체에 대한 소자를 설치한 경우에는, 화소 전체에 대한 모션 벡터가 위상의 갱신에 이어서 한 번에 얻어질 수 있다.
또한, 모션 벡터를 검출하는 기능을 가진 소자(20a)를 다수 이용하여 메모리(2a)를 구성함으로써 인접한 복수의 화소에 대한 모션 벡터를 일괄하여 구할 수 있다.
제3 실시예
대응 화소 검출
전술한 제2 실시예에 따른 화상 처리 장치(1a)의 화소 매칭에서는 블록 매칭의 최종적인 결과로서 모션 벡터가 메모리(2a) 내에 기억된다.
제3 실시예에 따른 화상 처리 장치(1b)는 주목하는 프레임과 그 전후의 프레임의 "대응 화소"를 직접 기억하여 출력한다.
여기서 "대응 화소"란 특정 주목 화소를 포함하고, 상기 주목 화소는 이동하는 화상의 경우에도 모션 벡터로 보정함으로써 전후의 프레임의 화소에 대응시킬 수 있는 화소를 가리킨다. 이와 같이 기억되는 "대응 화소"는 후술하는 클래스 분류 적응 처리에 이용할 수 있다.
도 13은 본 발명의 제3 실시예에 따른 화상 처리 장치의 대응 화소의 추출을 설명하기 위한 개념도이다. 횡축은 x축, 종축은 y축, 경사축은 시간축을 나타낸다. 이 실시예에서는, 도 13에 나타낸 바와 같이, 주목 화소 및 주목 화소의 전후 2 프레임분의 대응하는 화소, 즉 총화 5개의 대응 화소를 메모리에 추출하는 경우를 가정한다.
단순화를 위해 대응 화소 탐색을 위한 블록 사이즈를 3×3 화소, 탐색 범위(sp)를 1화소 증분으로 (-1, -1) 내지 (1, 1) 범위로 하여 설명한다. 또한, 주목 화소 이전의 2 프레임과 주목 화소 이후의 2 프레임 사이의 범위에서 대응 화소의 속도가 일정한 구속 조건이 적용된다.
또한, 대응 화소가 프레임(T-1)의 위치 (-1, -1)(도 13에서 화소 7)의 위치에 있는 경우, 예를 들면, 대응 화소가 프레임(T-2)의 (-2, -2) 위치(도 13에서 화소 9)에 있는 경우, 프레임(T+1)의 위치 (1, 1)(도 13에서 화소 19), 및 프레임(T+2)의 위치 (2, 2)(도 13에서는 화소 41)에 반드시 대응 화소가 존재한다. 단, 주목 화소의 위치를 (0, 0)(도 13에서 화소 5)로 설정하였다.
이 실시예에 따른 화상 처리 장치(1b)는 주목 프레임(T)에서의 주목 화소를 중심으로 한 3×3 블록과 그 이외의 각 프레임인 3×3 블록에 관한 차분 절대치를 각각 연산하고, 얻어진 차분 절대치의 합이 최소가 되도록 모션 벡터를 생성한다.
차분 절대치의 합이 최소가 되는 위상에서, 도 13에 나타낸 바와 같이 각각 3×3 블록의 중심인 화소를 대응 화소로서 화상 처리 장치(1b) 내의 메모리(2b)에 기억하여 출력한다.
도 14는 본 발명에 따른 화상 처리 장치의 제3 실시예의 기능 블록도이다. 이 실시예에 따른 화상 처리 장치(1b)는, 도 14에 나타낸 바와 같이, 메모리(2b), 복수의 프레임 메모리(3b), 예를 들면 프레임 메모리(3b-T-2, 3b-T-1, 3b-T, 3b-T+1, 3b-T+2), 판독부(4) 및 제어부(100b)를 포함한다. 화상 처리 장치(1b)와 제2 실시예에 따른 화상 처리 장치(1a)의 주된 상위점은 메모리의 구조가 다르다는 점이다.
또한, 화상 처리 장치(1b)가 5개의 프레임 메모리(3b-T-2, 3b-T-1, 3b-T, 3b-T+1, 3b-T+2)를 가짐에 따라 제어부의 동작이 상이하다. 상위점에 관해서만 설명한다.
제어부(100b)는, 예를 들면, 프레임 메모리(3b-T+2)를 제어하여 입력된 화상을 기억시키고, 소정의 타이밍에서 그 화상을 프레임 메모리(3b-T+1)에 출력시킨다. 제어부(100b)는 프레임 메모리(3b-T+1)를 제어하여 프레임 메모리(3b-T+2)로부터 출력된 화상을 기억시키고, 소정의 타이밍에서 그 화상을 프레임 메모리(3b-T)에 출력한다. 제어부(100b)는 프레임 메모리(3b-T)를 제어하여 프레임 메모리(3b-T+1)로부터 출력된 화상을 기억시키고, 소정의 타이밍에서 그 화상을 프레임 메모리(3b-T-1)에 출력시킨다. 제어부(100b)는 프레임 메모리(3b-T-1)를 제 어하여 프레임 메모리(3b-T)로부터 출력된 화상을 기억시키고, 소정의 타이밍에서 그 화상을 프레임 메모리(3b-T-2)에 출력시킨다. 제어부(100b)는 프레임 메모리(3b-T-2)를 제어하여 프레임 메모리(3b-T-1)로부터 출력된 화상을 기억시킨다.
제어부(100b)는 프레임 메모리(3b-T)로부터 소정의 참조 범위(5×5) 내의 화소의 화소치를 메모리(2b)에 출력한다. 제어부(100b)는 프레임 메모리(3b-T-2)로부터 소정의 탐색 범위(spT-2)(9×9) 내의 탐색 영역(tpT-2)(5×5)의 화소 및 그의 대응하는 위상 정보를 메모리(2b)에 출력한다. 제어부(100b)는 프레임 메모리(3b-T-1)로부터 소정의 탐색 범위(spT-1)(7×7) 내의 탐색 영역(tpT-1)(5×5)의 화소 및 그의 대응하는 위상 정보를 메모리(2b)에 출력한다. 제어부(100b)는 프레임 메모리(3b-T+1)로부터 소정의 탐색 범위(spT+1)(7×7) 내의 탐색 영역(tpT+1)(5×5)의 화소 및 그의 대응하는 위상 정보를 메모리(2b)에 출력한다. 제어부(100b)는 프레임 메모리(3b-T+2)로부터 소정의 탐색 범위(spT+2)(9×9) 내의 탐색 영역(tpT+2)(5×5)의 화소, 및 그것의 위상 정보를 메모리(2b)에 출력한다.
전술한 탐색 영역(tp)(5×5) 내의 화소를 판독하는 경우에, 제어부(100b)는 프레임 메모리(3b-T-2, 3b-T-1, 3b-T, 3b-T+1, 3b-T+2) 각각의 탐색 영역(tp) 내의 화소가, 예를 들면, 도 14에 나타낸 바와 같이 직선형이 되도록 설정한다.
도 15(a)는 도 14에 나타낸 화상 처리 장치(1b)의 메모리(2b)를 나타내는 도면이다. 도 15(b)는 대응 화소가 기억되는 메모리를 나타내는 도면이다. 도 15(c)는 도 15(a)에 나타낸 메모리(2b)의 소자(20b)의 기능 블록도이다.
이 실시예에 따른 화상 처리 장치(1b)의 메모리(2b)는, 예를 들면 도 15에 나타낸 바와 같이, 5×5의 소자(20b-1∼20b-25)를 가지며, 각 소자(20b)는 접속되어 있다.
3×3의 블록 매칭의 경우에는 특정 주목 화소에서의 대응 화소를 구하기 위해서 3×3 소자로 충분하지만, 이 실시예에 따른 화상 처리 장치(1b)에서는, 도 14(b)에 나타낸 바와 같이, 인접한 3×3 화소의 모션 벡터가 동시에 얻어진다.
메모리(2b)는, 도 15(a)에 나타낸 바와 같이, 복수의 소자(20b), 예를 들면 격자형으로 형성된 소자(20b-1∼20b-25)를 갖는다.
소자(20b)는, 도 15(c)에 나타낸 바와 같이, 복수의 소자(21b), 예를 들면 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2), 차분 절대치 총화(A) 기억부(22b-1), 차분 절대치 총화(B) 기억부(22b-2), 복수의 감산기(24b), 예를 들면 감산기(24b-1∼24b-4), 복수의 절대치 생성부(25b), 예를 들면 절대치 생성부(25b-1∼25b-4), 가산기(250), 비교 갱신부(26b), 갱신부(27b), 가산부(28b), 복수의 대응 화소(210b), 예를 들면 대응 화소(210b-T, 210b-T+2, 210b-T+1, 210b-T-1, 210b-T-2)를 갖는다.
화소(21b-T)는 프레임(T)의 주목하는 화소(또한 주목 화소라 칭함)의 화소치를 기억한다. 화소(21b-T+2), 화소(21b-T+1), 화소(21b-T-1), 화소(21b-T-2) 각각은, 도 13에 나타낸 바와 같이, 주목 프레임의 전후 2 프레임 범위의 프레임 상에서 시공간에 주목 화소를 포함하는 직선 상에 존재하는 4개의 화소의 화소치를 기억한다.
차분 절대치 총화(A) 기억부(22b-1)는 기억되어 있는 주목 화소와 각각 4개의 화소 사이로부터 얻어진 차분 절대치의 총화(차분 절대치 총화(A)라고도 칭함)를 기억한다. 차분 절대치 총화(B) 기억부(22b-2)는 주목 소자 근방의 8개의 소자(8 근방 소자라고도 칭함)에 있는 차분 절대치 총화(A)의 총화(차분 절대치 총화(B)라고도 칭함)를 기억한다.
감산기(24b-1)는 화소(3b-T-2)로부터 출력된 화소치와, 화소(3b-T)로부터 출력된 화소치에 대한 감산을 실행하여 절대치 생성부(25b-1)에 출력한다. 감산기(24b-2)는 화소(3b-T-1)로부터 출력된 화소치와, 화소(3b-T)로부터 출력된 화소치에 대한 감산을 실행하여 절대치 생성부(25b-2)에 출력한다. 감산기(24b-3)는 화소(3b-T+1)로부터 출력된 화소치와, 화소(3b-T)로부터 출력된 화소치에 대한 감산을 실행하여 절대치 생성부(25b-3)에 출력한다. 감산기(24b-4)는 화소(3b-T+2)로부터 출력된 화소치와, 화소(3b-T)로부터 출력된 화소치에 대한 감산을 실행하여 절대치 생성부(25b-4)에 출력한다.
절대치 생성부(25-1)는 감산기(24b-1)로부터 출력된 차분치의 절대치(차분 절대치)를 가산기(250)에 출력한다. 절대치 생성부(25-2)는 감산기(24b-2)로부터 출력된 차분치의 절대치를 가산기(250)에 출력한다. 절대치 생성부(25-3)는 감산기(24b-3)로부터 출력된 차분치의 절대치를 가산기(250)에 출력한다. 절대치 생성부(25-4)는 감산기(24b-4)로부터 출력된 차분치의 절대치를 가산기(250)에 출력한다. 가산기(250)는 절대치 생성부(25-1∼4) 각각으로부터 출력된 차분 절대치를 가산하여 차분 절대치 총화(A) 기억부(22b-1)에 출력한다.
가산기(250)는 절대치 생성부(25-1∼25-4)로부터 각각 출력된 차분 절대치를 가산하여 차분 절대치 총화(A) 기억부(22b-1)에 출력한다.
비교 갱신부(26b)는 가산부(28b)로부터 출력되는 차분 절대치(B)와, 차분 절대치 총화(B) 기억부(22b-2)에 기억되어 있는 차분 절대치 총화(B)를 비교하고, 비교의 결과, 가산부(28b)로부터 출력된 차분 절대치 총화(B)가 작은 경우에는 그 작은 쪽의 차분 절대치 총화(B)를 차분 절대치 총화(B) 기억부(22b-2)에 기억시킴으로써 갱신을 실행한다. 비교 갱신부(26b)가 전술한 갱신을 실행한 경우에는, 비교 갱신부(26b)는 차분 절대치 총화(B) 기억부 (22b-2)에 기억된 차분 절대치 총화(B)가 갱신되었음을 나타내는 갱신 정보를 갱신부(27b)에 출력한다.
비교 갱신부(26b)로부터 차분 절대치 총화(B)가 갱신되었음을 나타내는 갱신 정보가 출력되면, 갱신부(27b)는 화소(21b-T-2, 21b-T-1, 21b-T, 21b-T+1, 21b-T+2) 각각으로부터 출력된 화소치를 대응 화소(210T-2, 210T-1, 210T+1, 210T+2)에 기억시킴으로써 갱신을 실행한다.
가산부(28b)는 차분 절대치 총화(A) 기억부(22b-1)로부터 출력된 차분 절대치 총화(A)와, 인접한 8개의 소자(21b)로부터 출력된 차분 절대치 총화(A)를 가산하여 비교 갱신부(26b)에 출력한다.
전술한 바와 같이, 소자(2b)는 주목 화소(21b-T) 및 기억된 다른 4 화소, 즉 화소(21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)에 대해 차분 절대치를 연산할 수 있다. 또한, 소자(2b)는 이들 차분 절대치의 총화를 구하는 연산을 실행할 수도 있다.
이 실시예에 따른 화상 처리 장치(1b)의 블록 매칭에서는, 도 15(a)에 나타 낸 바와 같이, 소자 사이의 배선을 통해 주목하는 소자[예를 들면, 도 15(a)의 소자(20b-5)] 근방의 8개의 소자[도 15(a)의 소자(20b-1∼20b-4, 20b-6∼20b-9)]에 기억되어 있는 차분 절대치 총화(A)를 주목하는 소자(20b-5)에 보낼 수 있다.
각 소자(20b)는 이들 9개의 차분 절대치 총화(A)를 수취하여 수취한 값 전부를 가산하는 특징을 갖는다. 따라서 주목하는 소자는 그 차분 절대치 총화(A)의 총화[차분 절대치 총화(B)]를 구하고, 얻어진 값을 기억할 수 있다.
단, 소자(20b)는 얻어진 차분 절대치 총화(B)와 이미 기억되어 있는 차분 절대치 총화를 비교하여, 얻어진 값이 작은 경우에만 그 값을 갱신한다.
그 차분 절대치의 총화가 갱신된 경우, 대응 화소(210b-T, 210b-T+2, 210b-T+1, 210b-T-1, 210b-T-2)에 이미 기억되어 있는 모든 화소는, 그 시점에 기억되어 있는 5개의 화소[화소(20b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)에 기억되어 있는 화소]로 갱신된다.
도 16(a)는 프레임(T+2) 상의 탐색 범위(spT+2)(9×9)와, 탐색 영역(tpT+2)의 위상을 나타내는 도면이다. 도 16(b)는 프레임(T+1) 상의 탐색 범위(spT+1)(7×7)와, 탐색 영역(tpT+1)의 위상을 나타내는 도면이다. 도 16(c)는 프레임(T-1) 상의 탐색 범위(spT-1)(7×7)와, 탐색 영역(tpT-1)의 위상을 나타내는 도면이다. 도 16(d)는 프레임(T-2) 상의 탐색 범위(spT-2)(9×9)와, 탐색 영역(tpT-2)의 위상을 나타내는 도면이다. 도 16(e)는 도 14에 나타낸 화상 처리 장치(1b)에 의한 위상의 갱신과 탐색 영역(tp)의 판독 처리를 설명하기 위한 도면이다.
제어부(100b)는 도 16(a) 내지 도 16(d)에 나타낸 바와 같이, 위상의 좌표를 설정한다. 횡축은 x축, 종축은 y축을 나타낸다. 제어부(100b)는 도 16(e)에 나타낸 바와 같이, 예를 들면 탐색 영역(tpT+1)의 위상을 표준으로 하여 (-1, -1), (0, -1), (1, -1), (-1, 0), (0, 0), (1, 0), (-1, 1), (0, 1), (1, 1)의 순서로 갱신하고, 상기 위상의 갱신에 따라 각 프레임의 탐색 범위(sp) 내의 탐색 영역(tp)을 갱신한다. 이 경우에, 모션 벡터는 각각의 위상에 대응하여 (-1, -1), (0, -1), (1, -1), (-1, 0), (0, 0), (1, 0), (-1, 1), (0, 1), (1, 1)이다.
또한, 제어부(100b)는 각 소자(20b)의 화소(21b-T+2)의 부분에 탐색 영역(tpT+2) 중 하나의 화소를 기억하고, 각 소자(20b)의 화소(21b-T+1)의 부분에 탐색 영역(tpT+1)의 하나의 화소를 기억하고, 각 소자(20b)의 화소(21b-T-1)의 부분에 탐색 영역(tpT-1)의 하나의 화소를 기억하고, 각 소자(20b)의 화소(21b-T-2)의 부분에 탐색 영역(tpT-2)의 하나의 화소를 기억하도록 제어한다.
도 17은 도 14에 나타낸 화상 처리 장치의 동작을 설명하기 위한 플로차트이다. 이 경우에는 주목 소자란, 도 15(a)에서 실제로 대응 화소가 기억되는 소자 중 하나로 정의된다. 주목 화소는 메모리의 끝에 있는 소자는 아니다. 먼저, 주목 화소를 보유하는 프레임이 존재하는 것으로 가정하는 프레임 메모리(T)로부터 임의의 5×5 참조 영역(tr)의 각 화소를 메모리(2b) 내의 각 소자(20b)에 기억한다. 여기서, 도 15(c)에서는 각 소자(20b)의 화소(20b-T)가 참조 영역(tr) 내에 하나의 화소를 기억한다(ST101).
다음에, 도 14에 나타내는 바와 같이, 탐색 범위(sp) 내에서 위상을 갱신하면서 주목 프레임과 시간적으로 선행 또는 후속하는 프레임 메모리(3b-T+2, 3b- T+1, 3b-T-1, 3b-T-2)로부터 5×5 영역을 판독하고, 그 영역 내의 각 화소를 메모리(2b) 내의 대응하는 소자(20b)에 기억한다(ST102).
상기 5×5의 영역을 "탐색 영역(tp)"라 칭한다. 단, 전술한 바와 같이 각 프레임 메모리로부터 판독되는 탐색 영역(tp)의 위상은, 예를 들면, 도 13에 나타낸 바와 같이 시공간에서 항상 직선 상에 있다. 따라서, 각 프레임에 대해 위상을 갱신하는 것이 아니고, 어느 하나의 프레임을 표준으로 하여 갱신함으로써 그 밖의 위상은 자동적으로 결정된다.
예를 들면, 탐색 영역(tpT+1)의 위상을 표준으로 삼으면, 탐색 영역(tpT+1)의 공간적인 위상이 (1, 1)인 경우, 프레임 메모리(T+2)로부터 판독되는 탐색 영역(tpT+2)의 공간적인 위상은 (2, 2)이고, 프레임 메모리(T-1)로부터 판독되는 탐색 영역(tpT-1)의 공간적인 위상은 (-1, -1)이며, 프레임 메모리(T-2)로부터 판독되는 탐색 영역(tpT-2)의 공간적 위상은 (-2, -2)이다.
제어부(100b)는 탐색 영역(tp)의 위상의 갱신 및 탐색 영역(tp) 내 화소의 판독을, 예를 들면 도 16에 나타낸 바와 같이, 탐색 영역(tpT+1)의 위상을 표준으로 하여 (-1, -1) 내지 (1, 1)의 범위에서 9회 행하고, 9회의 처리를 행해한 후 종료한다.
소자(20b) 각각의 화소(21b-T-1)는 탐색 영역(tpT-1)의 하나의 화소를 기억한다(ST103). 소자(20b) 각각이 보유하는 화소(21b-T-2)는 탐색 영역(tpT-2)의 하나의 화소를 기억한다(ST104). 소자(20b) 각각이 보유하는 화소(21b-T+1)는 탐색 영역(tpT+1)의 하나의 화소를 기억한다(ST105). 소자(20b) 각각이 보유하는 화소(21b-T+2)는 탐색 영역(tpT+2)의 하나의 화소를 기억한다(ST106). 전술한 단계 ST103 내지 ST106의 순서는 상기 순서에 한정되지는 않는다.
다음에, 각 소자(20b) 내에서, 감산기(24b-2) 및 절대치 생성부(25b-2)는 차분 화소(21b-T)에 기억된 값과 화소(21b-T-1)에 기억된 값의 차분 절대치 "a"를 연산한다(ST107). 동일한 방식으로, 각 소자(20b) 내에서, 감산기(24b-1) 및 절대치 생성부(25b-1)는 화소(21b-T)에 기억된 값과 화소(21b-T-2)에 기억된 값의 차분 절대치(b)를 연산한다(ST108). 동일한 방식으로, 각 소자(20b) 내에서, 감산기(24b-3) 및 절대치 생성부(25b-3)는 화소(21b-T)에 기억된 값과 화소(21b-T+1)에 기억된 값의 차분 절대치(c)를 연산한다(ST109). 동일한 방식으로, 각 소자(20b) 내에서, 감산기(24b-4) 및 절대치 생성부(25b-4)는 화소(T)에 기억된 값과 화소(T+2)에 기억된 값의 차분 절대치(d)를 연산한다(ST110). 전술한 단계 ST107 내지 ST110의 순서는 상기 순서에 한정되지는 않는다.
다음에, 가산기(250)는 차분 절대치(a, b, c, d)를 합산함으로써 차분 절대치 총화(A)를 생성하여 차분 절대치 총화(A) 기억부(22b-1)에 기억한다(ST111). 계속해서, 주목 소자(20b-5)는, 예를 들면 도 15에 나타낸 바와 같은 주목 소자로서 소자(20b-5)를 취하여, 배선에 의해 접속되어 있는 주목 소자 근방의 8개의 소자, 예를 들면 그 소자(20b-5) 근방의 8개의 소자(20b-1∼20b-9) 각각에 기억되어 있는 차분 절대치 총화(A)를 주목 소자(20b-5)를 판독한다.
예를 들면, 주목 소자(20b-5)에서, 가산부(28b)는 이들 값과 가산기(250)로부터 출력된 차분 절대치 총화(A)를 가산하여 총화를 차분 절대치 총화(B)로서 구 하고(ST112), 비교 갱신부(26b)에 출력한다. 다음에, 각각의 주목 소자(20b)에서, 비교 갱신부(26b)는 얻어진 차분 절대치 총화(B)를 차분 절대치 총화(B) 기억부(22b-2)에 이미 기억되어 있는 차분 절대치 총화[차분 절대치 총화(C)]와 비교하고(ST113), 차분 절대치 총화(B)가 작은 경우에는 기억하는 값을 차분 절대치 총화(C)로부터 차분 절대치 총화(B)로 갱신한다(ST114, ST115). 역으로, 차분 절대치 총화(C)가 큰 경우는 갱신을 행하지 않고, 다음 위상의 갱신 및 탐색 영역(tp)의판독으로 이행한다. 흐름은 단계 ST102로 복귀한다.
초기 상태에서는 주목 소자(20b)에 차분 절대치 총화(C)는 기억되어 있지 않다. 이 경우에 무조건 최초의 차분 절대치 총화(B)가 기억된다. 다음에, 주목 소자(20b)의 갱신부(27b)에서, 차분 절대치 총화(B) 기억부(22b-2)에 기억되어 있는 차분 절대치 총화가 갱신된 경우에만, 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)에 기억되어 있는 화소치를 각각 대응 화소(210b-T, 210b-T+2, 210b-T+1, 210b-T-1, 210b-T-2)에 기억한다. 즉, 상기 주목 소자의 대응하는 화소가 진실한 대응 화소로 갱신된다(ST116).
이상과 같이, 위상의 갱신이 종료된 시점에서, 9개의 주목 소자(20b) 각각은 탐색 범위(sp)에 대한 차분 절대치 총화(B)의 최소치 및 그 최소치가 기억된 시점에 갱신된 대응 화소를 기억한다(ST117). 반면에, 단계 ST117에서 모든 위상의 갱신이 종료되지 않았다고 판별된 경우에는 단계 ST102의 처리로 돌아간다.
상기 연산 자체에서, 도 12에 나타낸 바와 같이, 참조 영역(tr)으로부터 추출되는 9개의 3×3 블록이 시각 T에서 탐색 범위(sp) 내의 어느 위치로 이동되었는 가를 나타내는 값은 3×3 블록 사이의 차분 절대치 총화에 기초하여 구해진다.
이 상태에서, 이 실시예의 블록 매칭이 상기 점에서는 제2 실시예에 따른 화상 처리 장치(1a)의 블록 매칭의 경우와 동일하지만, 제3 실시예에 따른 화상 처리 장치(1b)에서는 그 시점의 블록 중앙에 있는 화소를 주목 화소의 대응 화소로서 직접 기억하고 출력한다.
또한, 이 실시예에서는, 블록 매칭이 2 프레임을 이용한 연산에 의해 실행되는 것이 아니고, 프레임 내의 속도가 일정하다는 가정 하에 5 프레임을 이용한 연산에 의해 실행되며, 따라서 화상에 노이즈가 있는 경우에도 대응 화소에 대한 검출 정밀도가 향상될 뿐 아니라, 후술하는 클래스 분류 적응 처리에 의한 노이즈 제거에도 적합하다.
최종적으로, 판독부(4)는 예를 들면 각 주목 소자로부터 이들 5 프레임 상의 대응 화소를 판독하여 출력한다. 예를 들면, 출력된 결과는 후술하는 클래스 분류 적응 처리 등에 이용된다.
본 발명은 전술한 배열에 한정되는 것은 아니다. 예를 들면, 이 실시예에서 블록 사이즈가 3×3이고 1 화소의 증분으로 (-1, -1) 내지 (1, 1) 범위의 블록의 위상에 대응하는 화소의 추출 및 출력을 행하는 메모리에 관하여 설명하였지만, 본 발명은 이 배열에 한정되는 것은 아니다.
예를 들면, 각각의 주목 소자가 배선에 의해 주변의 5×5 소자에 접속하도록 변경함으로써 이 실시예보다 큰 5×5 블록으로 처리가 이루어질 수 있다. 또한, 메모리(2b) 내의 소자의 총수가 5×5인 경우로 설명하였지만, 예를 들면 1 프레임 내 총화소에 대한 소자를 메모리(2a)에 설치한 경우에는, 총화소에 대한 대응 화소가 위상의 갱신을 종료시킨 시점에서 한 번에 얻어질 수 있다.
제4 실시예
대응 화소 검출을 이용한 클래스 분류 적응 처리
도 18은 본 발명에 따른 화상 처리 장치의 제4 실시예의 기능 블록도이다. 제4 실시예에 따른 화상 처리 장치(1c)는 제3 실시예에 따른 화상 처리 장치(1b)의 메모리(2b)를 이용한 클래스 분류 적응 처리로 노이즈 제거를 행한다.
클래스 분류 적응 처리란 고해상도의 원 화상("교사 화상(tutor image)"으로도 칭함)으로부터 원 화상의 해상도를 감소시킴으로써 저해상도 화상("생도 화상(student image)"으로도 칭함)이 형성되고, 교사 화상과 생도 화상을 이용하여 통계적 방식으로 학습(learning)이 행해지고, 학습으로부터의 데이터를 이용하여 입력 화상이 저해상도 화상인 경우에도 입력 화상을 고해상도 화상으로 변환하는 처리이다.
클래스 분류 적응 처리 및 그것을 이용한 노이즈 제거는 참고문헌으로서 전내용이 본 발명에 결부되어 있는 일본 특허출원 H10-304058호에 상세한 설명이 제시되어 있지만, 본 발명의 실시예에 따른 화상 처리 장치(1c)는 구체적으로 메모리를 이용하여 전술한 처리를 행한다. 예로써 SD(표준) 포맷의 입력 화상인 경우를 가정하지만, 다른 포맷에 대해서도 동일한 처리가 실행될 수 있다.
학습
제4 실시예에 따른 화상 처리 장치(1c)는, 도 18에 나타낸 바와 같이, 메모 리(2b), 복수의 프레임 메모리(3b), 예를 들면 프레임 메모리(3b-T+2, 3b-T+1, 3b-T, 3b-T-1, 3b-T-2), 판독부(4c), 노이즈 부가부(5), 클래스 코드 생성부(6), 정규 방정식 가산부(normal equation addition unit)(7), 계수 기억부(RAM)(8), 및 제어부(100c)를 포함한다. 화상 처리 장치(1c)와 제3 실시예에 따른 화상 처리 장치(1b) 사이의 주된 상위점은 화상 처리 장치(1c)가 노이즈 부가부(5), 클래스 코드 생성부(6), 정규 방적식 가산부(7) 및 계수 기억부(RAM)(8)를 추가로 포함하는 점이다. 그 차이점에 관해서만 설명한다.
노이즈 부가부(5)는 입력 화상에 노이즈 성분을 부가한다. 예를 들면, 노이즈 부가부(5)는 컴퓨터 시뮬레이션 방식으로 랜덤 노이즈를 발생시켜 입력 화상에 부가한다.
도 19는 도 18에 나타낸 화상 처리 장치(1c)의 노이즈 부가부의 제1 구체예를 나타내는 기능 불록도이다. 제1 구체예에 따른 노이즈 부가부(5-1)는, 도 19에 나타낸 바와 같이, RF 변조기(51), 감쇄기(52) 및 RF 복조기(53)를 포함한다. 노이즈 부가부(5-1)에서, RF 변조기(51)는 입력 화상, 예를 들면 SD 화상에 대한 RF 변조 처리를 행하고, 감쇄기(52)는 감쇠 처리를 행하고, RF 복조기(53)는 RF 복조 처리를 행함으로써 화상에 노이즈를 부가한다. 도 20은 도 18에 나타낸 화상 처리 장치(1c)의 노이즈 부가부의 제2 구체예를 나타내는 기능 블록도이다.
제2 구체예에 따른 노이즈 부가부(5-2)는, 도 20에 나타낸 바와 같이, RF 변조기(51), 감쇄기(52), RF 복조기(53), 감산기(54) 및 가산기(55)를 포함한다.
노이즈 부가부(5-2)에서, RF 변조기(51)는 배경이 균일한(레벨이 동일한) 화 상에 대한 RF 변조 처리를 행하고, 감쇠기(52)는 감쇠 처리를 행하고, RF 복조기(53)는 RF 복조 처리를 행하고, 감산기(54)는 전술한 처리가 행해진 화상 및 배경이 균일한 원 화상에 대한 감산 처리를 행하여 노이즈 성분만을 가산기(55)에 출력하고, 가산기(55)는 상기 노이즈 성분을 입력 화상(SD 화상)에 가산하여 화상을 출력한다.
도 21은 도 18에 나타낸 화상 처리 장치(1c)의 노이즈 부가부의 제3 구체예를 나타내는 기능 블록도이다. 제3 구체예에 따른 노이즈 부가부(5-2)는, 도 21에 나타낸 바와 같이, RF 변조기(51), 감쇄기(52), RF 복조기(53), 감산기(54), 가산기(55) 및 프레임 가산기(56)를 포함한다.
노이즈 부가부(5-3)에서, RF 변조기(51)는 배경이 균일한(레벨이 동일한) 화상에 대한 RF 변조 처리를 행하고, 감쇠기(52)는 감쇠 처리를 행하고, RF 복조기(53)는 RF 복조 처리를 행하고, 프레임 가산기(56) 및 감산기(54)는 노이즈 제거가 행해진 화상과 원 화상 사이의 차분을 얻어 노이즈 성분을 추출하고, 가산기(55)는 상기 노이즈 성분을 입력 화상(SD 화상)에 가산하여 화상을 출력한다.
판독부(4c)는 각 소자에 대응하는 화소를 판독하여 클래스 코드 생성부(6) 및 정규 방정식 가산부(7)에 출력한다. 클래스 코드 생성부(6)는 판독부(4c)로부터 출력된 각각의 소자에 대한 대응 화소의 값을 기초로, 노이즈 성분을 검출하고 클래스 코드를 생성하여 정규 방정식 가산부(7)에 출력한다.
도 22는 도 18에 나타낸 화상 처리 장치(1c)의 클래스 코드 생성부의 클래스 코드 생성(노이즈 성분의 검출)에 대한 원리를 설명하기 위한 도면이다. 클래스 코드 생성부(6)는, 예를 들면 도 22에 나타낸 바와 같이, 메모리(2b)로부터 순차적으로 출력되는 대응 화소에 대한 노이즈 성분을 검출하고, 그 노이즈 성분을 클래스 코드로 변환함으로써 클래스 코드를 생성한다. 메모리(2b)에 의해 추출된 1 세트의 대응 화소는 시각 T-2와 T+2 사이의 5 프레임에 걸쳐 기본적으로 동일한 화소인 것으로 가정하며, 따라서 고속으로 이동하는 화상의 경우에 흐려짐(blurring) 등의 열화가 관찰될 수 있지만 기본적으로는 시간적인 변동이 거의 없다.
따라서, 출력된 대응 화소의 값에 변동이 관찰되는 경우, 그 변동은 노이즈로 간주될 수 있다. 따라서, 노이즈의 변동은 클래스 코드로 변환되며, 그 결과 후술하는 노이즈 변동에 따른 예측 연산이 실행될 수 있다.
클래스 코드 생성부(6)는 5개의 대응 화소 내의 최대치(b) 및 최소치(a)를 구하고, 최대치(b) 및 최소치(a)에 대응한 코드, 예를 들면, 구체적으로 각각의 대응 화소에서 대응 화소의 레벨이 [최소치(a)+최대치(b)]/2보다 크면 코드의 비트는 1로 설정되고, 역으로 대응 화소의 레벨이 작으면 코드의 비트는 0으로 설정되는 평균 코드를 생성한다. 예를 들면, 도 22에 나타낸 경우에 평균 코드는 "10100"이다.
또한, 클래스 코드 생성부(6)는 대응 화소 내에 동적 범위(dynamic range)[최대치(b)- 최소치(a)]를 구하고, 그 값을 2진수로 변환하여 동적 범위 코드를 생성한다. 예를 들면, 동적 범위가 18인 경우, 동적 범위 코드는 "10010"이다. 클래스 코드 생성부(6)는 평균 코드와 동적 범위 코드를 합성함으로써 클래스 코드를 생성한다. 예를 들면, 전술한 경우에, 평균 코드 "10100"과 동적 범위 코드 "10010"을 합성하하여 클래스 코드 "1010010010"로 된다. 여기서, 평균 코드는 노이즈의 시간적 변동을 나타내고, 동적 범위 코드는 노이즈 레벨의 크기를 나타낸다.
화상 처리 장치(1c)는 코드에 따라 대응 화소를 분류하며, 그 결과 노이즈의 변동과 화상의 레벨에 맞추어 적합하게 대응한 처리가 실행될 수 있다. 구체적으로, 정규 방정식 가산부(7)는 판독부(4)로부터 출력된 대응 화소 및 교사 화상에 기초하여 클래스 코드 생성부(6)로부터 출력된 클래스 코드 각각에 대한 정규 방정식을 생성하고, 각각의 클래스 코드에 대한 예측 계수를 생성한다. 구체적으로, 정규 방정식 가산부(7)는 대응 화소를 XT+2, XT+1, XT, XT-1 및 XT-2로 하고 프레임 메모리(T)의 대응 화소 XT에 대해 노이즈를 부가하기 전의 교사 화상으로부터 동일한 위치의 화소를 y로 하여, 수식 (2)에 나타낸 바와 같은 정규 방정식을 생성한다.
y = aT+2×XT+2 + aT+1×XT+1 + aT×XT + aT-1×XT-1 + aT-2×XT-2 (2)
상기 식에서, aT+2, aT+1, aT, aT-1, aT-2는 추정할 예측 계수이다.
정규 방정식 가산부(7)는 각각의 클래스에 대해 대응 화소 및 교사 화상의 화소를 수식(2)에 대입하여 정규 방정식을 생성하고, 필요한 수의 정규 방정식을 얻었을 때 최소 자승 추정(least square estimation)에 의해 예측 계수를 추정한다.
정규 방정식 가산부(7)는 각각의 클래스 코드에 대한 예측 계수를 결정하고, 얻어진 계수를 계수 기억부(RAM)(8)에 출력한다. 계수 기억부(RAM)(8)는 정규 방 정식 가산부(7)로부터 출력된 각각의 클래스 코드에 대한 예측 계수를 기억한다.
제어부(100c)는 프레임 메모리(T-2, T-1, T, T+1, T+2)에 기억되어 있는 화상으로부터 참조 영역(tr)을 판독하고, 참조 영역(tr)을 메모리(2c)에 기억한다. 또한, 제어부(100c)는 판독된 참조 영역(tr)에 대응한 탐색 범위(sp)를 다른 프레임 메모리에 설정하고, 위상을 갱신하면서 탐색 영역(tp)을 판독하여 메모리(2c)에 기억한다.
제어부(100c)는 예를 들면 라스터 스캔(raster scan)과 같은 순서로 프레임 메모리(T) 내에서 적당한 방식으로 위상을 시프트하면서 참조 영역(tr)을 순차적으로 판독하여, 메모리(2c)가 프레임 메모리 내의 모든 화소에 대한 대응 화소를 출력할 수 있도록 한다.
도 23은 도 18에 나타낸 화상 처리 장치(1c)가 클래스 분류 적응 처리를 위해 참조 영역(tr)의 메모리에 판독할 순서를 설명하기 위한 도면이다. 도 23(a)는 시프트 전의 상태를 나타내는 도면이다. 도 23(b)는 시프트 후의 상태를 나타내는 도면이다.
예를 들면, 메모리(2b)의 크기가 5×5인 경우에, 제어부(100c)는 도 23(a) 및 도 23(b)에 나타낸 바와 같이 3×3 화소의 증분으로 위상을 시프트하면서 참조 영역(tr)을 추출하고, 그에 따라 프레임 메모리(T) 내의 모든 화소 위치에 대해 대응 화소가 얻어진다. 따라서, 프레임 메모리(T)의 모든 화소를 처리할 수 있다. 이 경우, 메모리(2c)는 하나의 참조 영역(tr)을 판독하도록 위상이 서로 다른 9개의 대응 화소를 얻고, 계속해서 9개의 대응 화소를 출력한다.
이상과 같이 설명한 구성의 화상 처리 장치의 동작을 상위점에 관해서만 간단히 설명한다.
노이즈 부가부(5)는 입력 화상에 노이즈 성분을 부가한다. 노이즈 성분이 부가된 입력 화상은 프레임 메모리(T-2, T-1, T, T+1, T+2)에 순차적으로 기억된다. 제어부(100c)는 프레임 메모리로부터 소정의 탐색 범위(sp) 내의 탐색 영역(tp)의 화소의 화소치 및 위상 정보를 판독하고 메모리(2b)에 출력한다. 판독부(4c)는 메모리(2b)의 소자(20b) 각각의 대응 화소를 판독하고, 클래스 코드 생성부(6) 및 정규 방정식 가산부(7)에 출력한다.
클래스 코드 생성부(6)는 판독부(4c)로부터 출력된 각각의 소자에 대한 대응 화소의 값에 기초하여 노이즈 성분을 검출하고, 도 22에 나타낸 바와 같이 전술한 소정의 처리에 의해 클래스 코드를 생성하여 정규 방정식 가산부(7)에 출력한다. 정규 방정식 가산부(7)는 각각의 클래스 코드에 대해 판독부(4)로부터 출력된 대응 화소와 교사 화상의 화소에 기초하여, 전술한 소정의 처리에 의해 정규 방정식을 생성하고, 각 클래스 코드의 예측 계수를 생성하여 계수 기억부(RAM)(8)에 기억한다.
이상 설명한 바와 같이, 이 실시예에 따른 화상 처리 장치(1c)는 입력 화상에 노이즈 성분을 부가하는 노이즈 부가부(5), 프레임 메모리(3b-T-2, 3b-T-1, 3b-T, 3b-T+1, 3b-T+2), 메모리(2b), 메모리(2b) 내의 각 소자에 대한 대응 화소를 판독하는 판독부(4c), 대응 화소에 기초하여 클래스 코드를 생성하는 클래스 코드 생성부(6), 클래스 코드, 대응 화소 및 입력 화소에 기초하여 정규 방정식을 생성하 여 예측 계수를 생성하는 정규 방정식 가산부(7), 예측 계수를 기억하는 계수 기억부(RAM)(8), 및 소정의 처리를 실행하는 제어부(100c)를 포함함으로써, 소정의 입력 화상에 노이즈 성분이 부가되고, 입력 화상 및 노이즈 성분이 부가된 화상에 기초하여 클래스 코드를 생성하여 학습을 행할 수 있게 된다.
상기 학습 결과에 관한 정보는, 예를 들면, 제5 실시예에 따른 화상 처리 장치에 의해 노이즈 성분이 부가된 화상으로부터 원래의 고해상도 화상을 생성하는 데 이용된다.
제5 실시예
예측
도 24는 본 발명에 따른 제5 실시예의 화상 처리 장치를 예시하는 기능 블록도이다. 이 실시예에 따른 화상 처리 장치(1d)는, 예를 들면, 제4 실시예에 따른 화상 처리 장치(1c)에서 설명한 클래스 코드를 이용하여 입력 화상의 노이즈 성분을 추정하여 원래의 고해상도 화상을 생성한다.
도 24에 나타낸 바와 같이, 화상 처리 장치(1d)는 메모리(2d), 복수의 프레임 메모리(3b), 예를 들면 프레임 메모리(3b-T+2, 3b-T+1, 3b-T, 3b-T-1, 3b-T-2), 판독부(4c), 클래스 코드 생성부(6), 계수 기억부(8d), 추정 연산부(9) 및 제어부(100d)를 포함한다. 이 실시예에 따른 화상 처리 장치(1d)와 제4 실시예에 따른 화상 처리 장치(1c) 사이의 주된 상위점은 이 실시예에 따른 화상 처리 장치(1d)가 계수 기억부(8d) 및 추정 연산부(9)를 추가로 포함하는 점이다.
화상 처리 장치(1d)의 제어부(100d)는 노이즈 예측 처리를 행할 경우에, 입 력 화상의 5개 프레임(현재의 프레임을 포함하여, 현재의 프레임 전후 2개씩의 프레임)을 프레임 메모리(3b-T+2∼3b-T-2)에 기억한다. 제어부(100d)는 각각의 프레임 메모리(sbT)에 기억되어 있는 화상으로부터 참조 영역(tr)을 판독하여 메모리(2d)에 참조 영역(tr)을 기억한다. 제어부(100d)는 판독된 참조 영역(tr)에 대응한 탐색 범위(sp)를 다른 메모리(3b-T-2, 3b-T-1, 3b-T+1, 3b-T+2)에 설정하고, 위상을 갱신하면서 탐색 영역(tp)을 판독하여 메모리(2d)에 기억한다. 제어부(100d)는 예를 들면 라스터 스캔과 같은 순서로 프레임 메모리(T) 내에서 소정의 순서로 위상을 시프트하면서 참조 영역(tr)을 순차적으로 판독하고, 메모리(2d)는 최종적으로 프레임 메모리 내의 모든 화소에 대한 대응 화소를 출력한다.
예를 들면, 메모리(3d)의 크기가 5×5인 경우에, 제어부(100d)는 도 23(a) 및 23(b)에 나타낸 바와 같이, 3×3 화소의 증분으로 위상을 시프트하면서 참조 영역(tr)을 추출하여, 프레임 메모리(T) 내의 모든 화소 위치에 대해 대응 화소가 얻어질 수 있다. 따라서, 프레임 메모리(T) 내의 모든 화소가 처리될 수 있다. 이 경우에, 메모리(2b)는 하나의 참조 영역(tr)의 판독에 대해 서로 다른 위상을 가진 9개의 대응 화소를 얻고, 이들 9개의 대응 화소를 순차적으로 출력한다. 클래스 코드 생성부(6)는 화소의 노이즈 성분을 기초로, 메모리(2d)로부터 순차적으로 출력된 대응 화소의 각 세트에 대해 클래스 코드를 생성한다.
계수 기억부(ROM)(8d)는 제4 실시예에 따른 화상 처리 장치(1c)의 경우에 학습 시 계수 기억부(8)에 기억된 각각의 클래스 코드에 대한 예측 계수를 기억한다. 계수 기억부(8d)는 클래스 코드 생성부(6)로부터 출력되어 기억되어 있는 클래스 코그에 기초하여 예측 계수를 출력한다. 추정 연산부(9)는 계수 기억부(8d)로부터 출력된 예측 계수 및 대응 화소에 따라 예측치를 추정하고, 그 예측치를 출력한다. 구체적으로, 추정 연산부(9)는 전술한 수식(2)을 이용하여, 예를 들면, 계수 기억부(8d)로부터 출력된 예측 계수 aT+2, aT+1, aT, aT-1 및 a T-2, 대응 화소 XT+2, XT+1, XT, XT-1 및 XT-2에 기초하여 예측치 y를 산출하고. 얻어진 예측치 y를 출력한다. 예측치 y는 노이즈 성분이 제거된 화소치이다.
이상과 같이 설명한 구성을 갖는 화상 처리 장치의 동작을 상위점에 관해서만 간단히 설명한다. 제어부(100d)는 프레임 메모리(T-2, T-1, T, T+1, T+2)에 노이즈 성분이 부가된 입력 화상을 기억한다. 제어부(100d)에서는, 각각의 프레임 메모리로부터 소정의 탐색 범위(sp) 내의 탐색 영역(tp) 상의 화소의 화소치 및 위상 정보가 판독되어 메모리(2d)에 출력된다. 판독부(4c)에서는 메모리(2d)의 각 소자(20d)에 대한 대응 화소가 판독되어 클래스 코드 생성부(6) 및 추정 연산부(9)에 출력된다.
클래스 코드 생성부(6)에서는 판독부(4c)로부터 출력된 소자 각각에 대한 대응 화소의 값에 기초하여 노이즈 성분이 검출되고, 전술한 도 23에 나타낸 바와 같이, 소정의 처리에 의해 클래스 코드가 생성되고, 클래스 코드는 추정 연산부(9)에 출력된다. 추정 연산부(9)에서는 계수 기억부(ROM)(8d)로부터 출력된 예측 계수 및 대응 화소에 기초하여 전술한 소정의 처리가 행해져 예측치가 추정되어 출력된 다.
이상 설명한 바와 같이, 이 실시예에 따른 화상 처리 장치(1d)는 프레임 메모리(3b-T-2, 3b-T-1, 3b-T, 3b-T+1, 3b-T+2), 메모리(2d), 메모리(2d) 내의 각 소자에 대한 대응 화소를 판독하는 판독부(4c), 대응 화소에 따라 클래스 코드를 생성하는 클래스 코드 생성부(6), 클래스 코드에 대응한 계수를 기억하는 계수 기억부(ROM)(8d), 계수 기억부(ROM)(8d)로부터 출력된 예측 계수 및 대응 화소에 기초하여 예측치를 생성하는 추정 연산부(9), 및 소정의 제어를 행하는 제어부(100d)를 포함함으로써, 화상 처리 장치(1d)는 프레임 메모리(T)에 기억되어 있는 노이즈를 가진 입력 화상에 대해 1 화소의 증분으로 노이즈가 제거된 화소를 출력할 수 있다.
또한, 전술한 구성을 이용하여 클래스 분류 적응 처리에 필요한 화소 등을 직접 탐색하여 출력할 수 있다. 따라서, 예를 들면, 모션 벡터 검출 후에 모션 벡터를 이용한 위상 보정을 행하여 필요한 화소 추출하는 절차가 간략해질 수 있다.
제6 실시예
도 25는 본 발명에 따른 제6 실시예의 화상 처리 장치를 예시하는 기능 블록도이다. 도 26(a)는 도 25에 나타낸 화상 처리 장치의 메모리의 구성도이고, 도 26(b)는 도 26(a)에 나타낸 메모리의 예상 화소가 기억되는 소자를 나타내는 도면이고, 도 26(c)는 도 26(a)에 나타낸 메모리의 소자를 예시하는 기능 블록도이다. 이 실시예에 따른 화상 처리 장치(1e)는, 도 25에 나타낸 바와 같이, 메모리(2e), 복수의 프레임 메모리(3b), 예를 들면 프레임 메모리(3b-T-2, 3b-T-1, 3b-T, 3b- T+1, 3b-T+2), 계수 기억부(ROM)(8e) 및 제어부(100e)를 포함한다.
화상 처리 장치(1e)에서, 메모리(2e)의 소자(20e) 각각은 제5 실시예의 화상 처리 장치(1d)에 포함되는 클래스 분류 적응 처리의 기능을 갖는다. 상위점에 관해서만 설명한다. 메모리(2e)는, 예를 들면 도 26(a)에 나타낸 바와 같이, 5×5 소자(20e-1∼20e-25)를 가지며, 각 소자(20e)는 배선에 의해 접속되어 있다.
소자(20e)는, 도 26(c)에 나타낸 바와 같이, 복수의 화소(21b), 예를 들면 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2), 차분 절대치 총화(A) 기억부(22b-1), 차분 절대치 총화(B) 기억부(22b-2), 복수의 감산기(24b), 예를 들면 감산기(24b-1∼24b-4), 복수의 절대치 생성부(25b), 예를 들면 절대치 생성부(25b-1∼25b-4), 가산기(250), 비교 갱신부(26e), 클래스 코드 생성부(6e), 추정 연산부(9e) 및 가산부(28b)를 갖는다. 클래스 코드 생성부(6e)는 비교 갱신부(26e)로부터 차분 절대치 총화를 갱신하였음을 나타내는 갱신 정보 및 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)로부터 출력된 화소치에 기초하여 클래스 코드를 생성하고, 계수 기억부(ROM)(8e)에 출력한다. 구체적으로, 클래스 코드 생성부(6e)는 비교 갱신부(26e)로부터 차분 절대치 총화를 갱신하였음을 나타내는 갱신 정보가 입력되면 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)로부터 출력된 화소치에 기초한 클래스 코드를 생성하여, 계수 기억부(ROM)(8e)에 출력한다.
추정 연산부(9e)는 계수 기억부(ROM)(8e)로부터 출력된 예측 계수 및 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)로부터 출력된 화소에 기초하여 예측치를 추정하여 출력한다.
이상과 같이 설명한 구성를 갖는 화상 처리 장치(1e)의 동작을 상위점에 관해서만 간단히 설명한다. 제어부(100e)는 노이즈 예측 처리를 행할 경우에, 입력 화상의 5개 프레임(현재의 프레임을 포함하여, 현재의 프레임 전후 2개씩의 프레임)을 프레임 메모리(3b-T+2∼3b-T-2)에 기억한다.
제어부(100e)는 각각의 프레임 메모리(sbT)에 기억되어 있는 화상으로부터 참조 영역(tr)을 판독하여 메모리(2e)에 참조 영역(tr)을 기억한다. 제어부(100e)는 판독된 참조 영역(tr)에 대응한 탐색 범위(sp)를 다른 메모리(3b-T-2, 3b-T-1, 3b-T, 3b-T+1, 3b-T+2) 상에 설정하고, 위상을 갱신하면서 탐색 영역(tp)을 판독하여 탐색 영역(tp)을 메모리(2e)에 기억한다.
제어부(100d)에서는 프레임 메모리(T) 내에서 소정의 순서로 위상을 시프트하면서 참조 영역(tr)이 라스터 스캔과 같은 순서로 순차적으로 판독되고, 메모리(2e)는 최종적으로 프레임 메모리 내의 모든 화소에 대한 대응 화소를 출력할 수 있다.
메모리(2e) 내의 소자(20e)에서는, 비교 갱신부(26e)로부터 차분 절대치 총화를 갱신하였음을 나타내는 갱신 정보가 입력되면 클래스 코드 생성부(6e)는 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)로부터 출력된 화소치에 기초한 클래스 코드를 생성하고, 그 클래스 코드를 계수 기억부(ROM)(8e)에 출력한다.
계수 기억부(ROM)(8e)는 클래스 코드 생성부(6e)로부터 출력된 클래스 코드에 따라 기억되어 있는 계수를 추정 연산부(9e)에 출력한다. 추정 연산부(9e)는 계수 기억부(ROM)(8e)로부터 출력된 예측 계수 및 화소(21b-T, 21b-T+2, 21b-T+1, 21b-T-1, 21b-T-2)로부터 출력된 화소에 기초하여 예측치를 추정하고 그 예측치를 출력한다.
추정 연산부(9)는 계수 기억부(ROM)(8e)로부터 출력된 예측 계수 및 대응 화소에 기초하여 전술한 소정의 처리를 행하고, 예측치가 추정되어, 예를 들면 프레임 메모리 등에 출력된다.
이상 설명한 바와 같이, 이 실시예에 따른 화상 처리 장치(1e)에서, 각각의 소자(20e)는 클래스 코드 생성부(6e) 및 추정 연산부(9e)를 추가로 포함함으로써 클래스 분류 적응 처리를 위한 기능을 갖는다. 구체적으로, 차분 절대치 총화가 갱신될 때마다, 화소(T, T+1, T+2, T-1, T-2)에 기억되어 있는 화소를 사용하여, 클래스 분류 적응 처리에 의한 노이즈 제거가 실행되고, 예측된 화소가 출력된다. 또 다른 프레임 메모리 등에서는, 각각의 화소의 출력에 대해 화소치가 갱신됨으로써, 최종적으로 노이즈가 제거된 화상이 얻어진다.
본 발명은 이 실시예에 한정되지 않으며 임의의 적절한 여러 가지 변형이 가능하다. 예를 들면, 제4 실시예에 따른 화상 처리 장치(1c)와 제5 실시예에 따른 화상 처리 장치(1d)가 일체화되는 배열이 이루어질 수 있다. 따라서, 노이즈 성분을 학습하여 클래스 코드를 생성하고, 생성된 클래스 코드에 기초하여 노이즈 성분을 추정할 수 있고, 그 결과 고해상도의 화상을 생성할 수 있다.
제7 실시예
플레인 매칭(plane matching)
도 27은 본 발명에 따른 제7 실시예의 화상 처리 장치의 동작을 설명하기 위 한 개념도이다.
예를 들면, 도 27(a)에 나타낸 바와 같이, 입력 화상 중에 시간의 경과에 따라 이동하는 대상(object)(ob1, ob2)이 존재하고, 소정의 크기를 갖는 참조 블록이 설정된 경우에, 도 27(b)에 나타낸 바와 같이, 참조 블록 내에 복수의 대상이 포함되는 문제가 있다.
블록 매칭을 이용하여, 블록 전체의 운동으로서 모션 벡터가 얻어지고, 그에 따라 참조 블록 내의 주목 화상의 운동을 얻고자 시도할 경우, 다른 대상[대상(ob2)]의 모션 벡터가 주목 화소[대상(ob1)]의 운동으로 오판되거나 또는 두 대상의 중간인 운동이 얻어질 수 있다.
이 실시예에 따른 화상 처리 장치를 이용하여, 후술하는 플레인 매칭은 참조 블록이 복수의 대상을 포함하는 경우에도 정확한 모션 벡터를 생성하도록 실행된다.
도 28은 본 발명에 따른 제7 실시예의 화상 처리 장치에 의해 실행되는 플레인 매칭의 동작을 설명하기 위한 개념도이다. 도 28을 참조하여 화상 처리 장치가 실행하는 플레인 매칭을 위한 동작에 관하여 설명한다.
플레인 매칭에서는, 예를 들면 도 28(a)에 나타낸 바와 같이 대상(ob1, ob2)이 존재하는 경우에, 도 28(b)에 나타낸 바와 같이 화상에 참조 블록이 설정되고, 도 28(c)에 나타낸 바와 같이 참조 블록으로부터 주목 화소와 동일한 대상만의 화소가 추출되고, 추출된 화소에 기초하여 매칭이 실행된다. 화상으로부터 플레인 매칭을 위해 동일한 대상 각각의 화소를 추출하는 것을 "플레인 분리(plane separation)"라 칭한다.
도 29는 본 발명에 따른 제7 실시예의 화상 처리 장치를 예시하는 기능 블록도이다.
이 실시예에 따른 화상 처리 장치(1f)는, 도 29에 나타낸 바와 같이, 메모리(2f), 복수의 프레임 메모리(3f), 예를 들면 프레임 메모리(3f-T, T-1), 판독부(4f), 제어부(100f), 및 플레인 분리부(110)를 포함한다. 이 실시예와 전술한 실시예 사이의 상위점만을 설명한다.
예를 들면 도 29에 나타낸 바와 같이, 입력 화상의 크기가 w×b인 경우에, 메모리(2f)의 크기는 (w-2)×(h-2)이며, 이것은 거의 화면 전체의 소자수와 동일한 것이다. 화상 처리 장치(1f)는 모션 벡터의 탐색을 실행하기 위해, 예를 들면 미리 프레임 메모리(3f-T-1) 상의 화면 전체에 대해 플레인 분리 처리를 행하고, 각 화소에 대한 플레인 정보 정보를 메모리(2f) 내의 전소자에 기억하는 처리를 행한다. 프레임 메모리(3f-T)는 시각 T에 프레임을 기억한다. 프레임 메모리(3f-T)는, 예를 들면, 탐색 범위(sp)(w×h)의 크기를 갖는 프레임 메모리이며, 예를 들면 제어부(100f)에 의해 소정의 탐색 영역(tp)(w-2)×(h-2) 내의 화소가 판독되어, 판독된 화소는 메모리(2f)에 출력된다.
프레임 메모리(3f-T-1)는 시각 T-1에 프레임을 기억한다. 프레임 메모리(3f-T-1)는, 예를 들면 w×h의 크기를 갖는 프레임 메모리이며, 예를 들면 제어부(100f)에 의해 소정의 참조 영역(tr)(w-2)×(h-2) 내의 화소가 판독되어, 판독된 화소는 메모리(2f)에 출력된다. 판독부(4f)는 메모리(2f)의 각 소자에 기억 되어 있는 모션 벡터를 판독하여 출력한다. 플레인 분리부(110)는 프레임 메모리(3f-T-1)에 기억되어 있는 화상 데이터에 기초하여, 후술하는 플레인 분리 처리를 행하고, 처리 결과인 플레인 정보를 메모리(2f)에 출력한다. 제어부(100f)는 후술하는 소정의 처리를 실행한다.
각각의 구성 요소에 관하여 이하에서 상세히 설명한다.
메모리의 구조
도 30(a)는 도 29에 나타낸 화상 처리 장치의 메모리를 모식적으로 나타내는 도면이다. 도 30(b)는 도 30(a)의 일부를 예시하는 확대도이다. 도 30(c)는 도 30(b)에 나타낸 메모리의 소자를 예시하는 기능 블록도이다. 메모리(2f)는 도 30(a) 및 30(b)에 나타내 바와 같이, 복수의 소자(20f)를 갖는다. 소자(20f)는 도 30(c)에 나타낸 바와 같이, 화소(20-1, 20-2), 화소 차분 기억부(22f-1), 차분 총화 기억부(22f-2), 모션 벡터 기억부(23), 감산기(24), 절대치 생성부(25), 비교 갱신부(26f), 갱신부(27), 가산부(28f), 플레인 정보 기억부(29) 및 스위치(switch)(30)를 포함한다.
메모리(2f)는, 예를 들면 도 15에 나타낸 바와 같이, 소자들(20f) 사이의 배선에 의해 주목하는 소자[도 15에서는 소자(20f-5)] 근방의 8개 소자[도 15에서는 소자(20f-1∼20f-4, 20f-6∼20f-9)]에 기억되어 있는 차분 절대치를 주목하는 소자에 출력한다.
단, 각각의 소자(20f)에 대해 출력이 실행되는지 여부의 판정을 스위치(switch)(30)가 행한다. 또한, 메모리(2f)는, 제1 실시예에 따른 메모리(2a)와 동일하게, 하나의 소자를 기억할 뿐 아니라 2개의 화소를 기억할 수 있으며, 두 화소 사이의 차분 절대치를 연산할 수 있다. 또한, 메모리(2f)는 그 결과인 차분 절대치를 기억한다. 나아가서 메모리(2f)는, 제2 실시예에 따른 화상 처리 장치와 상이하게, 이 실시예에서 기억된 화소에 따른 플레인 정보를 기억할 수 있다.
이하에서, 각 구성 요소의 상위점에 관해서만 설명한다.
화소 차분 기억부(22f-1)는 기억된 차분 절대치를 가산부(28f)에 출력한다. 차분 총화 기억부(22f-2)는 가산부(28f)로부터 출력된 데이터 및 차분 총화 기억부(22f-2)에 기억되어 있는 차분 절대치 총화에 기초하여 갱신된 데이터를 차분 총화 기억부(22a-2)에 출력한다. 가산부(28f)는 스위치(30)로부터 출력된 데이터 및 화소 차분 기억부(22f-1)에 기억되어 있는 차분 절대치를 가산하여, 비교 갱신부(26f)에 출력한다. 비교 갱신부(26f)는 가산부(28f)로부터 출력된 차분 절대치 총화(A)와 차분 총화 기억부(22a-2)에 기억되어 있는 차분 절대치 총화[차분 절대치 총화(B)라 칭함]를 비교하고, 비교 결과 차분 절대치 총화(A)가 더 작으면 차분 절대치 총화(A)는 차분 총화 기억부(22f-2)에 기억시킴으로써 차분 절대치의 총화를 갱신한다.
비교 갱신부(26f)가 전술한 갱신을 실행한 경우에, 비교 갱신부(26f)는 갱신이 행해졌음을 나타내는 갱신 정보를 갱신부(27)에 출력한다. 비교의 결과로서 차분 절대치 총화(A)가 더 크면 비교 갱신부(26f)는 차분 총화 기억부(22a-2)에 기억되어 있는 차분 절대치 총화(B)의 갱신을 실행하지 않는다.
갱신부(27f)는 비교 갱신부(26f)로부터 출력된 갱신 정보 및 위상 정보에 기초하여 모션 벡터 기억부(23)에 기억되어 있는 모션 벡터를 갱신한다. 구체적으로, 비교 갱신부(26f)가 차분 절대치가 갱신되었음을 나타내는 갱신 정보를 출력한 경우에는, 갱신부(27f)는 그 시점의 위상을 모션 벡터로서 모션 벡터 기억부(23)에 기억시킴으로써 모션 벡터를 갱신한다.
가산부(28f)는 화소 차분 기억부(22a-1)로부터 출력된 차분 절대치 "a" 및 스위치(30)로부터 출력된 상기 화소 근방의 8개의 소자(20a)[근방의 8 소자(20a)라고도 칭함] 각각의 차분 절대치 "a"에 기초하여 그것들을 가산하여 차분 절대치 총화(A)를 생성하고, 비교 갱신부(26f)에 출력한다. 플레인 정보 기억부(29)는 후술하는 플레인 정보를 기억한다.
스위치(30)는 플레인 정보의 일치의 판정을 행하고, 각 소자(20f)의 차분 절대치 "a"를 가산부(28f)에 출력하는 게이트(gate)로서의 역할을 한다. 예를 들면, 스위치(30)는 주목하는 소자(20f)에 관한 플레인 정보와, 주목하는 소자 근방의 8개 소자(20f)에 관한 플레인 정보에 기초하여 차분 절대치를 가산부(28f)에 출력한다. 구체적으로, 스위치(30)는 주목하는 소자(20f)의 플레인 정보 기억부(29)에 기억되어 있는 플레인 정보와, 주목하는 소자 근방의 다른 8개 소자(20f) 각각의 플레인 정보 기억부(29)에 기억되어 있는 플레인 정보를 비교하고, 일치하는 경우에는 화소 차분 기억부(22f-1)에 기억되어 있는 차분 절대치를 가산부(28f)에 출력하고, 역으로 일치하지 않을 경우에는 주목 소자 근방의 8개 소자(20f) 각각에 기억되어 있는 차분 절대치를 가산부(28f)에 출력하지 않는다.
소자(201) 각각의 총화가 갱신된 경우, 그 시점의 모션 벡터도 이미 기억되어 있는 값으로부터 갱신된다.
플레인 분리와 플레인 정보
도 31은 도 29에 나타낸 화상 처리 장치의 플레인 분리부가 실행하는 처리를 설명하기 위한 도면이다. 이하에서, 배경이나 대상 등과 같은 입력 화상 중의 각 요소를 "플레인"이라 칭한다. 또한, 화상이 각각의 플레인에 분리하는 처리를 "플레인 분리"라 칭한다.
플레인 분리부(110)는, 예를 들면 도 31에 나타낸 바와 같이, "플레인(1)에는 LEVEL 1을 할당한다"고 하는 플레인 분리 처리된 각 플레인에 소정의 값[라벨(label)]을 할당한다. 화상 중의 각 화소가 어느 플레인에 속하는가를 표시한 것을 "플레인 정보"라 칭한다.
이하에서, 플레인 분리의 방법의 한 구체예에 관해 설명한다.
도 32는 화상 처리 장치(1f)의 플레인 분리부의 구체예를 나타내는 기능 블록도이다. 예를 들면, 플레인 분리부(110)는 화상 중의 동일한 대상이나 배경 등에서는 그 내부의 휘도나 색은 일반적으로 동알한 레벨이라는 것을 이용하여 입력된 화상을 소정의 플레인으로 분리한다. 플레인 분리부(110)는, 예를 들면 도 32에 나타낸 바와 같이, 히스토그램 연산부(111), 피크 검출부(112), 골 검출부(trough detection unit)(113), 소거부(elimination unit)(114), 골 통합부(115), 및 라벨링부(116)를 포함한다. 히스토그램 연산부(111)는 입력 화상에 따라 레벨(휘도 또는 색)마다의 히스토그램(도수 분포)을 생성하여 기억한다.
도 33은 도 32에 나타낸 화상 처리 장치(1f)의 플레인 분리부의 히스토그램 연산부(111)에 의해 생성된 히스토그램의 한 구체예를 나타내는 도면이다. 횡축은 레벨, 종축은 히스토그램(도수)을 나타낸다.
히스토그램 연산부(111)는 입력 화상에 따라, 예를 들면 도 33에 나타낸 바와 같이, 히스토그램을 생성한다. 히스토그램 연산부(111)는 생성된 히스토그램(도수 분포)를 피크 검출부(112)에 출력한다. 피크 검출부(112)는 입력된 히스토그램에 기초하여, 그 히스토그램 내의 최대 도수를 나타내는 레벨(피크)을 검출하여 골 검출부(113)에 출력한다.
예를 들면, 피크 검출부(112)는 히스토그램 연산부(111)로부터 출력된 히스토그램, 또는 소거부(114)로부터 출력된 히스토그램에 기초하여, 히스토그램 내의 최대 도수를 나타내는 레벨(피크)을 검출하여 골 검출부(113)에 출력한다.
골 검출부(113)는 히스토그램의 피크에 기초하여, 예를 들면, 그 피크를 포함하는 대상의 도수를 특정한다. 예를 들면, 골 검출부(113)는 피크 검출부(112)로부터 출력된 최대 도수를 나타내는 레벨(피크)에 기초하여 히스토그램의 레벨 피크의 양 측면에 있는 골 중의 2개 위치를 검출한다.
구체적으로, 골 검출부(113)는 피크를 표준으로 한 소정의 범위 내, 예를 들면 피크점과 (피크점 + a) 사이에서 도수가 최소인 지점을 우측 골(right trough)로 하고, 소정의 범위 내, 예를 들면 (피크점 - a)와 피크점 사이에서 도수가 최소인 점을 좌측 골(left trough)로 특정한다.
소거부(114)는, 예를 들면, 소정의 피크를 포함하는 대상의 도수를 소거한 다. 예를 들면, 소거부(114)는 히스토그램의 피크를 표준으로 좌우 2 지점의 골에 둘러싸이는 레벨에 대응하는 도수를 히스토그램으로부터 소거하여, 피크 검출부(112)에 출력한다.
도 34는 도 32에 나타낸 화상 처리 장치의 플레인 분리부의 소거부의 동작을 설명하기 위한 히스토그램의 한 구체예이다. 소거부(114)는, 예를 들면 도 34에 나타낸 바와 같이, 소정의 피크를 중심으로 좌우 2 지점의 골에 둘러싸이는 레벨에 대응하는 도수를 히스토그램으로부터 소거하여, 피크 검출부(112)에 출력한다. 히스토그램 중의 모든 레벨에 대응한 도수가 0이 되었다고 판별한 경우에, 소거부(114)는 골에 대응하는 발생 도수를 골 통합부(115)에 출력한다.
골 통합부(115)는 소거부(114)로부터 출력된 각각의 골의 도수에 기초하여 레벨이 서로 근접한 골을 통합하여, 소정의 라벨링부(116)에 출력한다. 구체적으로, 골 통합부(115)는 각각의 골에 대해 레벨이 서로 근접한 골을 통합한다. 보다 구체적으로, 먼저 검출된 골의 위치를 표준으로 하여 레벨이 소정 범위, 예를 들면 (먼저 검출된 골의 위치 - b)와 (먼저 검출된 골의 위치 + b) 사이의 범위 내에 있는 다른 골이 먼저 검출된 골에 통합됨으로써 다른 골이 소거된다.
도 35는 도 32에 나타낸 화상 처리 장치의 골 통합부에 의해 통합 처리가 실행되기 전의 히스토그램의 골을 설명하기 위한 도면이다. 도 36은 도 35에 나타낸 화상 처리 장치의 골 통합부에 의해 통합 처리가 실행된 히스토그램의 골을 설명하기 위한 도면이다. 구체적으로, 골 통합부(115)는 도 35에 나타낸 바와 같이, 소거부(114)로부터 출력된 각 골의 도수에 기초하여, 도 36에 나타낸 바와 같이, 레 벨이 서로 근접한 골을 통합한다.
라벨링부(116)는 입력 화상 및 골 통합부(115)로부터 출력된 화상에 따라 플레인 분리된 각 플레인에 소정의 값(라벨)을 할당한다. 구체적으로, 라벨링부(116)는 입력 화상의 각 화소에 대해 각 골의 사이에 존재하는 화소는 동일 플레인에 있는 것으로 간주하여, 그 화소에 동일 라벨을 할당한다. 보다 구체적으로, 라벨링부(116)는 각 화소에 대해 레벨(휘도 또는 색)이 골 사이의 어느 범위에 있는지를 판정하고, 골 사이의 동일한 범위에 있는 화소에 동일 라벨을 할당한다.
도 37은 도 32에 나타낸 화상 처리 장치의 플레인 분리부의 동작을 설명하기 위한 플로차트이다. 단계 ST201에서, 히스토그램 연산부(111)는 각각의 값 레벨(휘도 또는 색)에 대한 히스토그램을 생성하여 기억한다. 또한, 히스토그램 연산부(111)는 생성된 히스토그램을 피크 검출부(112)에 출력한다. 단계 ST202에서, 피크 검출부(112)는 입력된 히스토그램에 기초하여 그 히스토그램 내의 최대 도수를 나타내는 레벨(피크)을 검출하여, 골 검출부(113)에 출력한다. 구체적으로, 피크 검출부(112)는 히스토그램 연산부(111)로부터 출력된 히스토그램, 또는 소거부(114)로부터 출력된 히스토그램에 기초하여, 그 히스토그램 내의 최대 도수를 나타내는 레벨(피크)을 검출하여, 골 검출부(113)에 출력한다.
단계 ST203에서, 골 검출부(113)는 피크의 양 측면의 골을 검출한다. 구체적으로, 골 검출부(113)는 피크를 표준으로 한 피크 위치와 (피크 위치 + a) 사이의 범위 내에서 최대 도수가 작은 지점을 우측 골로 결정한다. 동일한 방식으로, 골 검출부(113)는 피크를 표준으로 한 (피크 위치 - a)와 피크 위치 사이의 범위 내에서 도수가 최소인 점을 좌측 골로 결정한다.
골 검출부(113)는 히스토그램의 피크에 기초하여, 예를 들면, 그 피크를 포함하는 대상에 따른 도수를 특정한다. 예를 들면, 골 검출부(113)는 피크 검출부(112)로부터 출력된 최대 도수를 나타내는 레벨(피크)에 기초하여 히스토그램의 레벨 피크의 양 측면에 있는 골의 2 지점 검출한다. 구체적으로, 골 검출부(113)는 피크를 표준으로 한 소정의 범위 내, 예를 들면 피크 위치와 (피크 위치 + a) 사이의 범위 내에서 도수가 최소인 점을 우측 골로 결정하고, 소정의 범위 내, 예를 들면 피크 위치와 (피크 위치 - a) 사이의 점위 내에서 도수가 최소인 점을 좌측 골로 결정한다.
단계 ST205에서, 소거부(114)는 좌우의 2개의 골로 둘러싸인 레벨에 대응하는 도수를 히스토그램으로부터 소거한다. 또한, 소거부(114)는 히스토그램 중의 모든 레벨에 대응하는 도수가 0이 되었는지 여부를 판별하고, 도수가 0으로 되지 않았다고 판별된 경우에는 단계 ST202의 처리로 돌아간다. 한편, 단계 ST205의 소거부(114)에 의한 판별에서, 히스토그램 중의 모든 레벨에 대응하는 도수가 0이 되었다고 판별된 경우에는 골에 대응하는 도수가 골 통합부(115)에 출력된다.
단계 ST206에서, 골 통합부(115)는 소거부(114)로부터 출력된 각 골의 도수에 기초하여 레벨이 서로 근접한 골을 통합하여, 소정의 라벨링부(116)에 출력한다. 구체적으로, 골 통합부(115)는 각 골에 대해 레벨이 서로 근접한 골을 통합한다. 보다 구체적으로, 골 통합부(115)는 먼저 검출된 골을 표준으로 하는 소정의 범위, 예를 들면 (먼저 검출된 피크 위치 - b)와 (먼저 검출된 피크 위치 + b) 사이의 범위에 포함되는 다른 골을, 예를 들면 먼저 검출된 피크에 통합하고, 그 결과 다른 골을 소거한다.
단계 ST207에서, 라벨링부(116)는 입력 화상 및 골 통합부(115)로부터 출력된 화상에 따라 플레인 분리된 각 플레인에 소정의 값(라벨)을 할당한다.
구체적으로, 라벨링부(116)는 동일한 쌍의 골 사이에 레벨을 갖는 화소를 동일한 플레인에 속하는 것으로 간주하고, 그 결과 그 화소에 동일 라벨을 할당한다. 보다 구체적으로, 라벨링부(116)는 각 화소에 대해 골 사이에 레벨(휘도 또는 색)이 어느 범위에 속하는지를 판정하고, 동일한 쌍의 골 사이에 있는 화소에 동일한 레벨을 할당한다. 이로써 일련의 플레인 분리에 관한 동작을 종료한다.
도 38은 도 29에 나타낸 화상 처리 장치의 동작을 설명하기 위한 플로차트이다. 소자(20f)를 중심으로 하여 화상 처리 장치(1f)의 동작에 관하여 도 38을 참조하여 설명한다. 단순화를 위해 플레인 매칭의 실행을 위한 메모리에 관하여, 블록 사이즈가 3×3 화소이고 탐색 범위(sp)가 화소 단위로 (-1, -1) 내지 (1, 1) 범위인 상태로 설명한다.
여기서, 주목 소자란 도 30(b)에서 실제로 모션 벡터가 기억되는 소자의 하나로 가정한다. 메모리(20f)의 끝에 있는 소자는 주목 소자가 아니다. 설명을 간단히 하기 위해 화상의 크기를 w×b로 가정한다. 플레인 분리부(110)는 프레임 메모리(3f-T-1)에 기억되어 있는 화상에 기초하여, 전술한 소정의 플레인 분리 처리를 실행하고, 처리 결과인 플레인 정보를 메모리(2f) 내의 소자(20f) 각각에 출력 한다.
소자(20f)는 각각 플레인 분리부(110)로부터 출력된 플레인 정보를 기억한다. 구체적으로, 각 소자(20f)의 플레인 정보 기억부(29)에는 하나의 화소에 대한 플레인 정보가 기억된다(ST301).
도 29에 나타낸 바와 같이, 프레임 메모리(3f-T-1)에 기억되어 있는 (w-2)×(h-2)의 참조 영역(tr)의 각 화소가 메모리(2f) 내의 각 소자(20f)에 기억된다. 구체적으로는, 도 30(c)에 나타낸 바와 같이, 각 소자(2f)의 화소(20-2)가 참조 영역(tr)의 하나의 화소를 기억한다.
다음에, 탐색 범위(sp) 내에서 위상을 갱신하면서 (w-2)x(h-2)의 영역이 판독되고, 그 영역 내의 각 화소가 메모리 내의 각 소자에 기억된다(ST302). 이하에서, 상기 (w-2)×(h-2)의 영역을 "탐색 영역(tp)"이라 칭한다. 도 30(c)에 나타낸 바와 같이, 각 소자(2f)의 화소(20-1)는 탐색 영역(tp)의 하나의 화소를 기억한다.
위상의 갱신과 탐색 영역(tp)의 판독은, 탐색 영역(tp)의 화소수만 블록 매칭의 화소수와 상이한 전술한 블록 매칭의 경우와 일반적으로 동일한 방식으로, (-1, -1) 내지 (1, 1) 범위에 위상이 있는 상태로 9회 실행되며, 9회 처리 후에 종료된다.
각 소자(20)에서, 감산기(24)는 화소(20-1)에 기억된 값과 화소(20-2)에 기억된 값의 차분치를 생성하고, 절대치 생성부(25)는 감산기(24)로부터 출력된 차분치의 절대치(차분 절대치 a)를 생성하며, 화소 차분 기억부(22f-1)는 차분 절대치 a를 기억한다(ST305).
다음에, 각각의 주목 소자는 근방의 8개 소자로부터 플레인 정보를 판독한다. 구체적으로, 스위치(30)는 주목 소자(20f)의 플레인 정보 기억부(29)에 기억되어 있는 플레인 정보가 주목 소자 근방의 다른 8개 소자(20f)의 플레인 정보 기억부(29)에 기억된 각각의 플레인 정보와 일치하는지 여부를 판정한다. 스위치(30)에서, 플레인 정보가 주목 화소의 것과 동일하다고 판정된 소자(20f)의 화소 차분 기억부(22f-1)에 기억되어 있는 차분 절대치 a는 판독되어 가산 처리된다. 가산부(28f)는 스위치(30)로부터 출력된 차분 절대치 a를 가산하여 차분 절대치 총화(A)를 구한다(ST306).
다음에, 각각의 주목 소자에서, 비교 갱신부(26f)는 이미 기억되어 있는 차분 절대치의 총화[차분 절대치 총화(B)]와 차분 절대치 총화(A)를 비교하고(ST307), 차분 절대치 총화(A)가 작은 경우에는 차분 총화 기억부(22f-2)에 기억하는 값은 차분 절대치 총화(B)로부터 차분 절대치 총화(A)로 갱신된다(ST309). 반대로, 차분 절대치 총화(A)가 큰 경우에는 비교 갱싱부(26f)는 갱신을 행하지 않고, 처리는 다음 위상의 갱신 및 탐색 영역(tp)의 판독으로 진행된다. 그런데, 초기 단계에서, 주목 소자는 차분 절대치 총화를 기억한다. 이 경우, 주목 소자는 무조건 최초의 차분 절대치 총화를 기억한다.
계속해서, 주목 소자의 차분 절대치 총화가 갱신된 경우에만, 상기 주목 소자에 이미 기억되어 있는 모션 벡터가 진실한 모션 벡터로서 그 시점의 위상으로 갱신된다(ST310). 이와 같이, 위상의 갱신이 종료된 시점에 9개의 주목 소자 각각에는 탐색 범위(sp) 내의 화소들 사이의 차분 절대치 총화의 최소치와 대응하는 모 션 벡터가 기억된다. 판독부(4f)는 각각의 주목 소자로부터 이들의 모션 벡터를 판독하여 출력한다.
이상 설명한 바와 같이, 이 실시예에 따른 화상 처리 장치는 입력 화상에 따라 레벨(휘도 또는 색)마다의 히스토그램(도수 분포)를 생성하는 히스토그램 연산부(111), 상기 히스토그램에 기초하여 히스토그램 내의 최대 도수를 나타내는 레벨(피크)를 검출하는 피크 검출부(112), 히스토그램의 피크에 기초하여, 예를 들면 그 피크를 포함하는 대상의 도수를 특정하는 골 검출부(113), 소정의 피크를 포함하는 대상의 도수를 소거하는 소거부(114), 소거부(114)로부터 출력된 골의 도수에 기초하여, 레벨이 근접한 골을 통합하는 골 통합부(115), 입력 화상 및 골 통합부(115)로부터 출력된 화상에 따라 플레인 분리된 각 플레인에 소정의 값(라벨)을 할당하는 라벨링부(116)를 갖는 플레인 분리부(110), 소자(20f) 각각에 플레인 정보를 기억하는 플레인 정보 기억부(29), 플레인 정보의 일치의 판정을 행하여 각 소자(20f)의 차분 절대치 "a"를 가산부(28f)에 출력하는 스위치(30)를 포함하므로, 예를 들면 참조 블록 내에 복수의 대상이 포함되어 있는 경우에도 정확한 모션 벡터를 생성할 수 있다.
제8 실시예
도 39는 본 발명에 따른 제8 실시예의 화상 처리 장치의 기능 블록도이다. 이 실시예에 따른 화상 처리 장치(1g)는, 도 39에 나타낸 바와 같이, 메모리(2g), 복수의 프레임 메모리(3g), 예를 들면 프레임 메모리(3g-T, 3g-T-1), 판독부(4g), 제어부(100g), 플레인 분리부(110g), 및 플레인 정보 버퍼(120)를 포함한다.
이 화상 처리 장치(1g)와 제7 실시예에 따른 화상 처리 장치(1f)의 상위점은 화상 처리 장치(1g)가 메모리(2g), 복수의 프레임 메모리(3g), 예를 들면 프레임 메모리(3g-T, 3g-T-1), 판독부(4g), 제어부(100g), 플레인 분리부(110g), 및 플레인 정보 버퍼(120)를 포함하는 점이다. 상위점에 관해서만 설명한다.
메모리(2g)는 소정 수의 소자(20f), 예를 들면 5×5 소자(20f)를 가진다. 플레인 분리부(110g)는 프레임 메모리(3g-T-1)에 기억되어 있는 화상 데이터의 참조 영역(tr), 예를 들면 5×5 크기의 참조 영역(tr)에 대해, 참조 영역(tr) 내의 화소에 기초하여 플레인 분리 처리를 행하고, 처리 결과인 플레인 정보를 플레인 정보 버퍼(120)에 출력한다.
플레인 분리부(110g)는 상기 배열에 한정되는 것은 아니다. 플레인 분리부(110g)가 프레임 메모리(3g-T-1)에 기억되어 있는 화상 데이터에 기초하여, 프레임 메모리(T-1)에 기억되어 있는 화상의 플레인 분리 처리를 행하고, 처리 결과인 플레인 정보를 플레인 정보 버퍼(120)에 출력하는 배열로 이루어질 수도 있다.
플레인 정보 버퍼(120)는, 예를 들면, 플레인 분리부(110g)로부터 출력된 화면 전체 크기의 화소를 기억한다. 플레인 정보 버퍼(120)가, 예를 들면 플레인 분리부(110g)로부터 출력된 5×5의 참조 영역(tr) 각각에 대한 플레인 정보를 소정의 위치(어드레스)에 기억하는 배열로 이루어질 수도 있다. 플레인 정보 버퍼(120)는 소정 위치(어드레스)의 플레인 정보를 메모리(2g)에 출력하고, 메모리(2g)의 대응하는 소자(20f)의 플레인 정보 기억부(29)에 기억시킨다.
제어부(100g)는 예를 들면 전술한 처리에 따라 소정의 처리를 실행한다. 또한, 제어부(100g)는 전술한 처리에 따라, 프레임 메모리(3g), 메모리(2g) 등에 소정의 데이터에 대한 기록 처리, 판독 처리 등을 행한다. 전술한 구성을 갖는 화상 처리 장치의 동작을 상위점에 관해서만 설명한다.
플레인 분리부(110g)는 프레임 메모리(3g-T-1)에 기억되어 있는 화상 데이터의 참조 영역(tr), 예를 들면 5×5 크기의 참조 영역(tr)에 대해 그 참조 영역(tr) 내의 화소에 기초하여 플레인 분리 처리를 행하고, 처리 결과인 플레인 정보를 플레인 정보 버퍼(120)에 출력하고, 플레인 정보 버퍼(120)는 상기 플레인 정보를 소저의 위치(어드레스)에 기억한다.
전술한 처리에 이어서, 전술한 제7 실시예와 동일한 방식으로, 메모리(2g)에서 화소(21-1)는 참조 영역(tr)의 화소를 기억하고, 화소(21-2)는 탐색 영역(tp)의 화소를 기억한다. 감산기(24)는 화소(21-1)에 기억되어 있는 화소와 화소(21-2)에 기억되어 있는 화소 사이의 차분치를 생성하고, 절대치 생성부(25)는 상기 차분치의 절대치인 차분 절대치를 생성하고, 화소 차분 기억부(22-1)는 상기 차분 절대치를 기억한다.
스위치(30)는 플레인 정보 기억부(29)에 기억되어 있는 플레인 정보와 주목 소자 근방에 있는 소자(20)의 플레인 정보 기억부(29)에 기억되어 있는 플레인 정보를 비교하고, 일치하는 경우에는 주목 소자 근방에 있는 소자(20)의 화소 차분 기억부(22f-1)에 기억되어 있는 차분 절대치가 주목 화소의 가산부(28f)에 출력된다.
가산부(28f)는 스위치(30)로부터 출력된 차분 절대치와 화소 차분 기억부(22f-1)에 기억되어 있는 차분 절대치를 가산하여, 비교 갱신부(26f)에 출력한다.
비교 갱신부(26f)는 차분 총화 기억부(22f-2)에 기억되어 있는 차분 총화치와 가산부(28f)로부터 출력된 차분 총화치를 비교하고, 가산부(28f)로부터 출력된 차분 총화치가 작은 경우에는, 그 작은 차분 총화치가 차분 총화 기억부(22f-2)에 출력된다. 차분 총화 기억부(22f-2)는 상기 차분 총화치를 기억하여 갱신한다.
또한, 비교 갱신부(26f)가 화소 차분 기억부(22f-2)에 기억되어 있는 차분 총화치를 갱신한 경우에는, 비교 갱신부(26f)는 갱신이 실행되었음을 나타내는 갱신 정보를 갱신부(27)에 출력한다.
갱신부(27)에서, 비교 갱신부(26f)가 갱신이 실행되었다는 갱신 정보를 출력하면, 탐색 영역(tp) 및 참조 영역(tr)에 관한 위상 정보가 모션 벡터 기억부(23)에 기억된다. 탐색 범위(sp) 내의 탐색 영역(tp)의 위상을 갱신하면서 탐색 범위(sp) 내의 모든 위상과 함께 탐색 영역(tp)이 참조 영역(tr)과 비교되며, 그 결과 모션 벡터가 생성된다.
이상 설명한 바와 같이, 이 실시예에 따른 화상 처리 장치(1g)는 제7 실시예에 따른 화상 처리 장치(1f)와 비교할 때, 화상 처리 장치(1g)는 프레임 메모리(3g-T-1)에 기억되어 있는 화상 데이터에 기초하여 플레인 분리를 행하여 플레인 정보를 생성하는 플레인 분리부(110g), 및 상기 플레인 정보를 기억하는 플레인 정보 기억부(29)를 포함하고, 소정의 크기, 예를 들면 5×5 크기의 소자(20f)를 포함하는 메모리(2g)에 소정의 탐색 범위(sp) 및 참조 영역(tr)의 화상이 입력되고, 주목 화소에 관한 플레인 정보가 주목 소자 근방의 소자(20f)에 관한 플레인 정보와 일치하는 경우에만, 차분 총화 기억부(22f-2)에 기억되어 있는 차분 총화치가 갱신되고, 차분 총화치가 갱신된 경우에만 모션 벡터가 갱신됨으로써, 참조 영역(tr) 내에 복수의 대상이 있는 경우에도 정확한 모션 벡터가 생성된다.
또한, 상기 화상 처리 장치(1g)는 플레인 정보 버퍼(120)를 추가로 포함하므로, 화면 크기 전체의 플레인 정보가 기억됨으로써 소정의 처리가 효율적으로 실행될 수 있다.
제9 실시예
플레인 정보를 이용한 모션 벡터의 보정(correction)
블록 매칭을 위한 블록 사이즈 또는 플레인 매칭을 위한 플레인의 면적이 작은 경우에는, 입력 화상에 노이즈가 포함되거나 하면 각 화소에 대한 모션 벡터 검출에 오류가 일어날 가능성이 높아진다. 제9 실시예에 따른 화상 처리 장치(1h)에서는, 화상 처리 장치(1h)의 메모리(2h)에 기억되어 있는 플레인 정보를 이용하여, 전술한 바와 같은 경우에도 정확한 모션 벡터가 생성된다.
도 40은 본 발명에 따른 제9 실시예의 화상 처리 장치를 예시하는 기능 블록도이다. 화상 처리 장치(1h)는 플레인 매칭과 모션 벡터 검출의 결과 및 플레인 정보가 기억되는 메모리의 구조를 이용하여 모션 벡터의 검출을 실행한다.
화상 처리 장치(1h)는, 도 40에 나타낸 바와 같이, 메모리(2f), 복수의 프레임 메모리(3f), 예를 들면 프레임 메모리(3f-T, 3f-T-1), 판독부(4h), 제어부(100h), 플레인 분리부(110h) 및 모션 벡터 보정부(130)를 포함한다. 화상 처리 장치(1h)의 메모리(2f)는 제7 실시예에 따른 화상 처리 장치(1f)의 메모리(2f)와 동일한 구조를 가진다. 화상 처리 장치(1h)는 또한, 플레인 정보와 모션 벡터가 메모리(2f) 내에 기억되는 처리 및 플레인 매칭 처리와 같은, 제7 실시예에 따른 화상 처리 장치(1f)와 일반적으로 동일한 처리를 실행한다.
도 41은 도 40에 나타낸 화상 처리 장치의 모션 벡터 보정부의 동작을 설명하기 위한 도면이다.
화상 처리 장치(1h)는 전술한 제7 실시예에 따른 화상 처리 장치(1f)의 플레인 매칭을 출력하는 메모리(2f)에서의 모션 벡터 검출이 종료된 시점에, 도 41에 나타낸 바와 같이, 특정 주목 화소에 관한 모션 벡터를 출력한다. 이하에서 상세히 설명한다.
모션 벡터 보정부(130)는 주목 소자를 중심으로 한, 예를 들면 메모리 내의 5×5의 격자(格子) 형상의 영역 내에 주목 소자와 동일한 플레인 정보를 가진 소자만으로부터 모션 벡터를 판독하고, 판독된 모션 벡터에 대응한 빈도(頻度)를 구하여, 가장 높은 모션 벡터를 주목 소자의 모션 벡터로 결정한다.
구체적으로, 모션 벡터 보정부(130)는, 예를 들면 판독부(4h)로부터 출력된 주목 소자를 중심으로 한, 예를 들면 메모리 내의 5×5의 격자 형상의 영역에 대해, 주목 소자의 플레인 정보 기억부(29)에 기억되어 있는 플레인 정보와 동일한 플레인 정보를 가진 소자만으로부터 모션 벡터 기억부(23)에 기억되어 있는 모션 벡터를 판독하고, 판독된 모션 벡터에 대응한 빈도를 구하여, 빈도가 가장 높은 모 션 벡터를 주목 소자의 모션 벡터로 결정한다.
이상 설명한 구성의 동작에 관해 간단히 설명한다. 주목 소자를 중심으로 한, 예를 들면 메모리 내의 5×5의 격자 형상의 영역에 대해, 모션 벡터 기억부(23)에 기억되어 있는 모션 벡터가 주목 소자의 플레인 정보 기억부(29)에 기억되어 있는 플레인 정보와 동일한 플레인 정보를 가진 소자만으로부터 판독부(4h)에 의해 판독된다.
모션 벡터 보정부(130)는 상기 판독된 모션 벡터에 대응한 빈도를 구하여, 빈도가 가장 높은 모션 벡터를 주목 소자의 모션 벡터로 결정한다. 이상 설명한 바와 같이, 통상의 매칭이 주목 화소의 모션 벡터의 오류를 초래한 경우에도, 주목 화소 근방의 동일한 플레인에 속하는 화소가 거의 동일한 속도로 모션한다고 가정하여, 모션 벡터 보정부(130)는 그 주목 화소가 본래 가질 가능성이 높은 모션 벡터를 산출하고, 그것으로 치환함으로써 모션 벡터의 정밀도를 향상시킬 수 있게 된다.
또한, 각각의 화소에 대해 플레인 정보를 기억하기 위한 메모리(2f)가 제공됨으로써, 모션 벡터를 도출할 경우에 검출 오류를 일으키기 쉬운 복수의 대상의 경계 부분에서도 정확한 모션 벡터를 구할 수 있다. 또한, 주목 화소 주위 영역 내에서 각각의 플레인에 대해 빈도가 높은 모션 벡터가 얻어지고, 그 모션 벡터를 이용하여 보정이 행해지기 때문에, 예를 들면 노이즈 등에 의해 모션 벡터의 검출 오류가 발생되기 쉬운 경우에도 정확한 모션 벡터를 구할 수 있다.
이상과 같은 설명에 비추어 본 발명의 여러 가지 변형 및 변경이 가능함은 명백하다. 따라서 첨부하는 청구의 범위 내에서 본 발명은 본 명세서에 구체적으로 기재된 것과 달리 실행될 수 있음을 이해해야 할 것이다.
본 발명에 의하면, 적은 계산량으로 모션 벡터를 산출할 수 있는 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.

Claims (49)

  1. 데이터 구조를 갖는 메모리를 포함하는 반도체 기억장치로서,
    상기 데이터 구조는
    화상 블록의 제1 화소를 나타내는 데이터를 보유하도록 구성된 제1 화소 정보 부분,
    상기 제1 화소 정보 부분과 동일한 프레임 내의 또 다른 화상 블록의 탐색 영역의 제2 화소를 나타내는 데이터를 보유하도록 구성된 제2 화소 정보 부분,
    상기 제1 화소와 상기 제2 화소 사이의 모션 추정치를 표시하는 데이터를 보유하도록 구성된 추정 부분(estimation portion),
    상기 제1 화소와 상기 제2 화소 사이의 모션 벡터(motion vector)를 표시하는 데이터를 보유하도록 구성된 모션 벡터 정보 부분
    을 포함하는, 반도체 기억 장치.
  2. 제1항에 있어서,
    상기 추정 부분은
    상기 모션 추정치의 절대치가 또 다른 차분치보다 적을 때, 상기 또 다른 차분치를 상기 모션 추정치로 교체하도록 구성되는, 반도체 기억 장치.
  3. 제1항에 있어서,
    상기 모션 추정치가 상기 제1 화소와 상기 제2 화소 사이의 차분 절대치(absolute value of difference)인, 반도체 기억 장치.
  4. 제1항에 있어서,
    상기 모션 추정치가 복수 화소의 차분합의 절대치 총합(總和)인, 반도체 기억 장치.
  5. 제1항에 있어서,
    상기 모션 추정치를 계산하도록 구성된 추정치 계산 기구(機構);
    상기 추정치 계산 기구에 의해 계산된 상기 모션 추정치를 제2 기억 부분에 기억되어 있는 추정치와 비교하도록 구성된 비교 기구; 및
    상기 비교 기구의 소정의 비교 결과에 의해 제1 모션 정보를 제2 모션 정보로 변경하라는 지시가 있을 때 상기 제1 모션 정보를 상기 제2 모션 정보로 변경하도록 구성된 기구
    를 더 포함하는, 반도체 기억 장치.
  6. 제1항에 있어서,
    상기 제2 모션 정보가 최소 추정치인, 반도체 기억 장치.
  7. 제5항에 있어서,
    상기 추정치 계산 기구는
    상기 제1 화소 정보와 상기 제2 화소 정보 사이의 차분 절대치를 계산하도록 구성된 제1 계산 기구,
    상기 제1 화소 정보와 제3 화소 정보 사이의 차분 절대치를 계산하도록 구성된 제2 계산 기구, 및
    상기 제1 및 제2 계산 기구에 의해 얻어진 차분 절대치를 선택 기구에 의해 선택된 다른 소자의 차분 절대치에 가산하도록 구성된 합산 기구
    를 포함하고,
    상기 추정치는 복수의 화소의 차분 절대치의 총합인,
    반도체 기억 장치.
  8. 제1항에 있어서,
    상기 메모리의 상기 데이터 구조는
    대상(object)에 관한 플레인(plane) 정보를 보유하도록 구성된 플레인 정보 부분을 더 포함하는, 반도체 기억 장치.
  9. 제8항에 있어서,
    상기 모션 추정치가 상기 플레인 정보로부터 계산되는, 반도체 기억 장치.
  10. 제9항에 있어서,
    소정의 수식(formula)에 따라 모션 추정치를 계산하도록 구성된 추정치 계산 기구;
    상기 추정치 계산 기구에 의해 계산된 모션 추정치와 상기 메모리에 기억되어 있는 모션 추정치를 비교하도록 구성된 비교 기구; 및
    상기 비교 기구에 의해 이동하였다고 판정된 화소와 관련된 화소치를 변경하도록 구성된 기구
    를 더 포함하는, 반도체 기억 장치.
  11. 제10항에 있어서,
    상기 추정치 계산 기구는
    상기 제1 화소치와 상기 제2 화소치 사이의 차분 절대치를 계산하도록 구성된 제1 계산 섹션,
    상기 플레인 정보에 따라 또 다른 메모리 소자를 선택하도록 구성된 선택 기구, 및
    제1 메모리 소자의 차분 절대치를 상기 선택 기구에 의해 선택된 또 다른 메모리 소자의 차분 절대치에 가산하도록 구성된 합산 기구
    를 포함하고,
    상기 모션 추정치는 복수의 메모리 소자의 차분 절대치의 총합인,
    반도체 기억 장치.
  12. 화소 모션 정보를 보유하는 제1 기억 부분,
    화소들 사이의 프레임간(frame-to-frame) 모션을 나타내는 모션 추정치를 보유하는 제2 기억 부분,
    제1 화소 정보를 보유하는 제3 기억 부분, 및
    제2 화소 정보를 보유하는 제4 기억 부분
    을 포함하는 복수의 기억 부분을 가지는 데이터 기억부를 포함하고,
    상기 제1 화소를 포함하는 제1 프레임은 상기 제2 화소를 포함하는 제2 화소와 상이한,
    반도체 기억 장치.
  13. 제12항에 있어서,
    상기 모션 추정치를 계산하도록 구성된 추정치 계산 기구,
    상기 추정치 계산 기구에 의해 계산된 모션 추정치와 상기 제2 기억 부분에 기억되어 있는 모션 추정치를 비교하도록 구성된 비교 기구, 및
    상기 비교 기구에 의해 이동하였다고 판정된 화소와 관련된 화소치를 변경하도록 구성된 기구
    를 더 포함하는, 반도체 기억 장치.
  14. 제13항에 있어서,
    상기 제2 기억 부분에 기억되어 있는 모션 추정치가 최소 모션 추정치인, 반도체 기억 장치.
  15. 제14항에 있어서,
    제3 화소 정보를 보유하도록 구성된 제5 기억 부분을 더 포함하고,
    제3 프레임은 상기 제3 화소 정보를 포함하되, 상기 제3 프레임은 상기 제1 프레임 및 상기 제2 프레임과 상이한, 반도체 기억 장치.
  16. 제9항에 있어서,
    상기 제1 화소 정보를 포함하는 입력 화상에 노이즈 성분을 부가하도록 구성된 노이즈 부가 기구(noise addition mechanism)를 더 포함하는, 반도체 기억 장치.
  17. 제16항에 있어서,
    시간적으로 서로 분리되어 있는 상이한 프레임의 각각의 소자에 대해 대응 화소를 출력하도록 구성된 판독부,
    상기 대응 화소를 수신하고, 상기 입력 화상의 노이즈 성분을 검출하여 클래스 코드 출력(class code output)을 제공하도록 구성된 클래스 코드 생성부, 및
    상기 입력 화상, 상기 판독부로부터의 상기 대응 화소 및 상기 클래스 코드 출력을 수신하고, 상기 클래스 코드 생성부에 의해 출력되는 상기 클래스 코드에 대한 계수를 결정하여 상기 계수를 계수 기억 장치에 출력하도록 구성된 정규 방정식 가산부(normal equation addition unit)
    를 더 포함하는, 반도체 기억 장치.
  18. 제17항에 있어서,
    상기 상이한 프레임 내의 참조 영역으로부터 판독될 일련의 화상 데이터를 제어하도록 구성된 제어부를 더 포함하는, 반도체 기억 장치.
  19. 제9항에 있어서,
    시간적으로 서로 분리되어 있는 상이한 프레임의 각각의 소자에 대해 대응 화소를 출력하도록 구성된 판독부,
    상기 대응 화소를 수신하고, 클래스 코드에 대한 예측 계수를 결정하는 데 사용되는 클래스 코드 출력을 제공하도록 구성된 클래스 코드 생성부, 및
    상기 예측 계수로부터의 예측치 및 상기 상이한 프레임의 각 소자로부터의 화소를 추정하도록 구성된 추정 연산부(estimation computation unit)를 더 포함하는, 반도체 기억 장치.
  20. 제12항에 있어서,
    대응 화소를 수신하고, 클래스 코드에 대한 예측 계수를 결정하는 데 사용되는 클래스 코드 출력을 제공하도록 구성된 클래스 코드 생성부, 및
    상기 예측 계수로부터의 예측치 및 상기 상이한 프레임의 각 소자로부터 화소를 추정하도록 구성된 추정 연산부를 더 포함하는, 반도체 기억 장치.
  21. 제15항에 있어서,
    상기 추정 연산부는
    상기 제1 화소 정보와 상기 제2 화소 정보 사이의 차분 절대치를 계산하도록 구성된 제1 계산 기구,
    상기 제1 화소 정보와 제3 화소 정보 사이의 차분 절대치를 계산하도록 구성된 제2 계산 기구,
    플레인 정보에 따라 상기 제1 화소 정보 내지 제3 화소 정보와는 다른 화소 정보를 선택하도록 구성된 선택 기구, 및
    상기 제1 및 제2 계산 기구에 의해 얻어진 차분 절대치를 상기 선택 기구에 의해 선택된 다른 소자의 차분 절대치에 가산하도록 구성된 합산 기구
    를 포함하고,
    상기 추정치는 복수의 화소의 차분 절대치의 총합인,
    반도체 기억 장치.
  22. 제21항에 있어서,
    메모리 화소 탐색 영역 및 메모리 화소 참조 영역 중 최소한 하나는 5×5 영역인, 반도체 기억 장치.
  23. 제22항에 있어서,
    모션 벡터가 판독되는 빈도(frequency)에 기초하여 모션 벡터를 보정하도록 구성된 모션 벡터 보정부를 더 포함하는, 반도체 기억 장치.
  24. 제23항에 있어서,
    상기 모션 벡터 보정부가, 가장 높은 빈도를 갖는 모션 벡터를 선택함으로써 화소 모션을 특정하는 데 사용될 모션 벡터를 결정하도록 구성되는, 반도체 기억 장치.
  25. 모션 벡터의 추정을 용이하게 하는 화상 데이터 처리 방법으로서,
    화상 블록의 제1 화소를 나타내는 데이터를 보유하도록 구성된 메모리 소자의 제1 화소 부분에 제1 화소 정보를 기억하는 단계,
    상기 제1 화소 정보와 동일한 프레임 내의 또 다른 화상 블록의 탐색 영역의 제2 화소를 나타내는 데이터를 보유하도록 구성된 상기 메모리 소자의 제2 화소 부분에 제2 화소 정보를 기억하는 단계,
    상기 제1 화소와 상기 제2 화소 사이의 모션 추정치를 표시하는 데이터를 보유하도록 구성된 상기 메모리 소자의 추정 부분에 추정 정보를 기억하는 단계, 및
    상기 제1 화소와 상기 제2 화소 사이의 모션 벡터를 표시하는 데이터를 보유하도록 구성된 상기 메모리 소자의 모션 벡터 부분에 모션 벡터 정보를 기억하는 단계
    를 포함하는, 화상 데이터 처리 방법.
  26. 제25항에 있어서,
    상기 모션 추정치의 절대치가 또 다른 차분치보다 적을 때, 상기 또 다른 차분치를 상기 모션 벡터 부분 내의 상기 모션 추정치로 교체하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  27. 제25항에 있어서,
    상기 제1 화소와 상기 제2 화소 사이의 차분 절대치를 취함으로써 상기 모션 추정치를 결정하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  28. 제25항에 있어서,
    복수의 화소의 차분합의 절대치 총합을 취함으로써 상기 모션 추정치를 결정하는, 화상 데이터 처리 방법.
  29. 제25항에 있어서,
    상기 모션 추정치를 계산하는 단계,
    상기 계산 단계에서 계산된 상기 모션 추정치를 상기 제2 기억 부분에 기억되어 있는 추정치와 비교하는 단계, 및
    상기 비교 단계의 비교 결과에 의해 지시가 있으면 모션 정보를 변경하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  30. 제29항에 있어서,
    상기 변경 단계가 상기 모션 정보를 최소 추정치로 변경하는 단계를 포함하는, 화상 데이터 처리 방법.
  31. 제29항에 있어서,
    상기 계산 단계는
    상기 제1 화소 정보와 상기 제2 화소 정보 사이의 차분 절대치를 계산하는 단계,
    상기 제1 화소 정보와 제3 화소 정보 사이의 차분 절대치를 계산하는 단계, 및
    상기 계산 단계에서 얻어진 차분 절대치를 선택 기구에 의해 선택된 다른 소자들의 차분 절대치와 가산하는 단계
    를 포함하고,
    상기 추정치는 복수 화소의 차분 절대치의 총합인,
    화상 데이터 처리 방법.
  32. 제25항에 있어서,
    상기 메모리의 플레인 정보 부분에 대상에 관한 플레인 정보를 기억하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  33. 제32항에 있어서,
    상기 플레인 정보로부터 모션 추정치를 계산하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  34. 제33항에 있어서,
    소정의 수식에 따라 모션 추정치를 계산하는 단계,
    상기 추정치 계산 기구에 의해 계산된 모션 추정치와 상기 메모리에 기억되어 있는 모션 추정치를 비교하는 단계, 및
    상기 비교 단계에서 이동하였다고 판정된 화소와 관련된 화소치를 변경하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  35. 제34항에 있어서,
    상기 모션 추정치를 계산하는 단계는
    상기 제1 화소와 상기 제2 화소 사이의 차분 절대치를 계산하는 단계,
    상기 플레인 정보에 따라 또 다른 메모리 소자를 선택하는 단계, 및
    제1 소자의 차분 절대치를 상기 선택 단계에서 선택된 상기 또 다른 메모리 소자의 차분 절대치와 가산하는 단계
    를 포함하고,
    상기 모션 추정치는 복수의 메모리 소자의 차분 절대치의 총합인,
    화상 데이터 처리 방법.
  36. 모션 벡터의 추정을 용이하게 하는 화상 데이터 처리 방법으로서,
    제1 기억 부분에 화소 모션 정보를 기억하는 단계,
    제2 기억 부분에 화소들 사이의 프레임간 모션을 나타내는 모션 추정치를 기억하는 단계,
    제3 기억 부분에 제1 화소 정보를 기억하는 단계, 및
    제4 기억 부분에 제2 화소 정보를 기억하는 단계
    를 포함하고,
    상기 제1 화소를 포함하는 제1 프레임은 상기 제2 화소를 포함하는 제2 프레임과 상이한,
    화상 데이터 처리 방법.
  37. 제36항에 있어서,
    추정치 계산 기구로 상기 모션 추정치를 계산하는 단계,
    상기 추정치 계산 기구에 의해 계산된 모션 추정치와 상기 제2 기억 부분에 기억되어 있는 모션 추정치를 비교하는 단계, 및
    상기 비교 단계에서 이동하였다고 판정된 화소와 관련된 화소치를 변경하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  38. 제37항에 있어서,
    상기 제2 기억 부분에 기억되어 있는 모션 추정치가 최소 모션 추정치인, 화상 데이터 처리 방법.
  39. 제38항에 있어서,
    메모리의 제5 기억 부분에 제3 화소 정보를 기억하는 단계를 더 포함하고, 상기 제1 프레임 및 상기 제2 프레임과 상이한 제3 프레임이 상기 제3 화소 정보를 포함하는, 화상 데이터 처리 방법.
  40. 제36항에 있어서,
    상기 제1 화소 정보를 포함하는 입력 화상에 노이즈 성분을 부가하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  41. 제40항에 있어서,
    시간적으로 서로 분리되어 있는 상이한 프레임의 각각의 소자에 대해 대응 화소를 판독하는 단계,
    클래스 코드 생성부에서 상기 대응 화소를 수신하고, 상기 노이즈 성분을 검출하여 클래스 코드 출력을 제공하는 단계, 및
    상기 클래스 코드에 대한 계수를 결정하고, 상기 계수를 계수 기억 장치에 출력하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  42. 제41항에 있어서,
    상기 상이한 프레임 내의 참조 영역으로부터 판독될 일련의 화상 데이터를 제어하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  43. 제36항에 있어서,
    시간적으로 서로 분리되어 있는 상이한 프레임의 각각의 소자에 대해 대응 화소를 출력하는 단계,
    클래스 코드 생성부에서 상기 대응 화소를 수신하여, 상기 클래스 코드에 대한 예측 계수를 결정하는 데 사용되는 클래스 코드 출력을 제공하는 단계, 및
    상기 예측 계수로부터의 예측치 및 상기 상이한 프레임의 각각의 소자로부터의 화소를 추정하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  44. 제37항에 있어서,
    클래스 코드 생성부에서 대응 화소를 수신하여 클래스 코드에 대한 예측 계수를 결정하는 데 사용되는 클래스 코드 출력을 제공하는 단계, 및
    상기 예측 계수로부터의 예측치 및 상이한 프레임의 각각의 소자로부터의 화소를 추정하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  45. 제44항에 있어서,
    상기 추정 단계는
    상기 제1 화소 정보와 상기 제2 화소 정보 사이의 차분 절대치를 계산하는 단계,
    상기 제1 화소 정보와 제3 화소 정보 사이의 차분 절대치를 계산하는 단계,
    플레인 정보에 따라 상기 제1 화소 정보 내지 제3 화소 정보와는 다른 화소 정보를 선택하는 단계, 및
    상기 계산 단계에 의해 얻어진 차분 절대치를 상기 선택 단계에서 선택된 다른 소자의 차분 절대치와 가산하는 단계
    를 포함하고,
    상기 추정치는 복수의 소자의 차분 절대치의 총합인,
    화상 데이터 처리 방법.
  46. 제45항에 있어서,
    화소 탐색 영역 및 화소 참조 영역 중 최소한 하나는 5×5 영역인, 화상 데이터 처리 방법.
  47. 제46항에 있어서,
    모션 벡터가 판독되는 빈도에 기초하여 모션 벡터를 보정하도록 구성된 모션 벡터 보정부를 더 포함하는, 화상 데이터 처리 방법.
  48. 제47항에 있어서,
    가장 높은 빈도를 갖는 모션 벡터를 선택함으로써 화소 모션을 특정하는 데 사용될 모션 벡터를 결정하는 단계를 더 포함하는, 화상 데이터 처리 방법.
  49. 모션 벡터의 추정을 용이하게 하는 화상 데이터 처리 장치로서,
    모션 벡터를 계산하는 수단; 및
    데이터 구조를 갖는 메모리
    를 포함하고,
    상기 데이터 구조는
    화상 블록의 제1 화소를 나타내는 데이터를 보유하도록 구성된 제1 화소 정보 부분,
    상기 제1 화소 정보 부분과 동일한 프레임 내의 또 다른 화상 블록의 탐색 영역의 제2 화소를 나타내는 데이터를 보유하도록 구성된 제2 화소 정보 부분,
    상기 제1 화소와 상기 제2 화소 사이의 모션 추정치를 표시하는 데이터를 보유하도록 구성된 추정 부분, 및
    상기 제1 화소와 상기 제2 화소 사이의 모션 벡터를 표시하는 데이터를 보유하도록 구성된 모션 벡터 정보 부분
    을 포함하는, 화상 데이터 처리 장치.
KR1020030056461A 2002-08-15 2003-08-14 화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치 KR101014637B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00274058 2002-08-15
JPJP-P-2002-00274059 2002-08-15
JP2002274058A JP3941644B2 (ja) 2002-08-15 2002-08-15 画像処理装置および画像処理方法
JP2002274059A JP3903890B2 (ja) 2002-08-15 2002-08-15 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
KR20040016420A KR20040016420A (ko) 2004-02-21
KR101014637B1 true KR101014637B1 (ko) 2011-02-16

Family

ID=31497720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030056461A KR101014637B1 (ko) 2002-08-15 2003-08-14 화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치

Country Status (5)

Country Link
US (1) US7522748B2 (ko)
EP (1) EP1394744A3 (ko)
KR (1) KR101014637B1 (ko)
CN (1) CN100407232C (ko)
TW (1) TWI260509B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548658B1 (en) * 2003-09-24 2009-06-16 Cognitech, Inc. Lossless video data compressor with very high data rate
TWI253024B (en) * 2004-07-20 2006-04-11 Realtek Semiconductor Corp Method and apparatus for block matching
US20060262210A1 (en) * 2005-05-19 2006-11-23 Micron Technology, Inc. Method and apparatus for column-wise suppression of noise in an imager
JP4351658B2 (ja) 2005-07-21 2009-10-28 マイクロン テクノロジー， インク． メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
GB2431787B (en) * 2005-10-31 2009-07-01 Hewlett Packard Development Co A method of tracking an object in a video stream
US8504546B2 (en) * 2006-11-29 2013-08-06 D&S Consultants, Inc. Method and system for searching multimedia content
KR100876245B1 (ko) * 2007-04-05 2008-12-26 삼성모바일디스플레이주식회사 유기 전계 발광 표시 장치 및 영상 보정 방법
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
ATE547775T1 (de) * 2009-08-21 2012-03-15 Ericsson Telefon Ab L M Verfahren und vorrichtung zur schätzung von interframe-bewegungsfeldern
WO2015072997A1 (en) * 2013-11-14 2015-05-21 Empire Technology Development, Llc Reduction of glare in augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865685A (ja) * 1994-08-23 1996-03-08 Nec Corp 動きベクトル検出回路
KR970009665A (ko) * 1996-10-28 1997-03-27 윤정환 클립이 부착된 헤어 제품 용기
KR19980086114A (ko) * 1997-05-31 1998-12-05 배순훈 개선된 프레임 메모리를 갖는 움직임 보상장치
JPH1155676A (ja) 1997-08-07 1999-02-26 Hitachi Ltd 同期型メモリを用いた動画像データ符号化装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
JP3031152B2 (ja) 1993-12-24 2000-04-10 日本電気株式会社 動き予測プロセッサ及び動き予測装置
JP3120664B2 (ja) * 1994-10-19 2000-12-25 松下電器産業株式会社 画像符号化装置、画像復号化装置
JPH08160908A (ja) * 1994-12-02 1996-06-21 Sony Corp プラズマ駆動回路
FR2743247B1 (fr) * 1995-12-29 1998-01-23 Thomson Multimedia Sa Dispositif d'estimation de mouvement par appariement de blocs
US6317819B1 (en) * 1996-01-11 2001-11-13 Steven G. Morton Digital signal processor containing scalar processor and a plurality of vector processors operating from a single instruction
JP3631868B2 (ja) 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
JP2897761B2 (ja) * 1997-07-18 1999-05-31 日本電気株式会社 ブロック・マッチング演算装置及びプログラムを記録した機械読み取り可能な記録媒体
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
US6483874B1 (en) 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
JP4344968B2 (ja) 1999-10-28 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
US6856701B2 (en) * 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865685A (ja) * 1994-08-23 1996-03-08 Nec Corp 動きベクトル検出回路
KR970009665A (ko) * 1996-10-28 1997-03-27 윤정환 클립이 부착된 헤어 제품 용기
KR19980086114A (ko) * 1997-05-31 1998-12-05 배순훈 개선된 프레임 메모리를 갖는 움직임 보상장치
JPH1155676A (ja) 1997-08-07 1999-02-26 Hitachi Ltd 同期型メモリを用いた動画像データ符号化装置

Also Published As

Publication number Publication date
EP1394744A3 (en) 2007-07-18
US7522748B2 (en) 2009-04-21
KR20040016420A (ko) 2004-02-21
US20040105598A1 (en) 2004-06-03
CN1479253A (zh) 2004-03-03
EP1394744A2 (en) 2004-03-03
CN100407232C (zh) 2008-07-30
TW200416555A (en) 2004-09-01
TWI260509B (en) 2006-08-21

Similar Documents

Publication Publication Date Title
KR100492127B1 (ko) 적응형 움직임 추정장치 및 추정 방법
US6078618A (en) Motion vector estimation system
US8379094B2 (en) Apparatus and method for obtaining motion adaptive high dynamic range image
JP3603737B2 (ja) 移動体追尾方法及びその装置
US5471252A (en) Method and apparatus for estimating motion vector fields by rejecting local outliers
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
US7050502B2 (en) Method and apparatus for motion vector detection and medium storing method program directed to the same
US6456660B1 (en) Device and method of detecting motion vectors
US8634471B2 (en) Moving image encoding apparatus, control method thereof and computer-readable storage medium
KR101014637B1 (ko) 화상 데이터 처리 장치 및 방법, 및 반도체 기억 장치
WO1997022083A1 (en) Method and apparatus for motion estimation in a video signal
EP0624981B1 (en) Motion vector detecting circuit
US20030035594A1 (en) Image processing device and method, and recorded medium
US20050180506A1 (en) Unit for and method of estimating a current motion vector
JP2003524933A (ja) 動き評価
JP4407015B2 (ja) ノイズ除去装置およびノイズ除去方法
JP3903890B2 (ja) 画像処理装置および画像処理方法
JP4496595B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP3941644B2 (ja) 画像処理装置および画像処理方法
US7634111B2 (en) Storage device, signal processor, image signal processor, and their methods
CN100423557C (zh) 图像处理装置以及图像处理方法
KR100975454B1 (ko) 화상 처리 장치
JP3237815B2 (ja) 動きベクトル探索方法および装置
US20040120402A1 (en) Motion estimation apparatus for image data compression

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee