KR100724652B1 - 이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치,데이터 처리 방법, 및 저장 매체 - Google Patents

이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치,데이터 처리 방법, 및 저장 매체 Download PDF

Info

Publication number
KR100724652B1
KR100724652B1 KR1020000063774A KR20000063774A KR100724652B1 KR 100724652 B1 KR100724652 B1 KR 100724652B1 KR 1020000063774 A KR1020000063774 A KR 1020000063774A KR 20000063774 A KR20000063774 A KR 20000063774A KR 100724652 B1 KR100724652 B1 KR 100724652B1
Authority
KR
South Korea
Prior art keywords
reliability
input
output
data
pixel data
Prior art date
Application number
KR1020000063774A
Other languages
English (en)
Other versions
KR20010060219A (ko
Inventor
곤도데쯔지로
안도가즈따까
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20010060219A publication Critical patent/KR20010060219A/ko
Application granted granted Critical
Publication of KR100724652B1 publication Critical patent/KR100724652B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

개시된 이미지 처리 장치는 입력 픽셀 데이터를 처리하고 처리된 입력 픽셀 데이터를 출력 픽셀 데이터로서 출력한다. 이 이미지 처리 장치는 입력 픽셀 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 입력 신뢰도 계산부와, 출력 픽셀 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 출력 신뢰도 계산부와, 입력 픽셀 데이터의 모션량을 검출하는 모션량 검출부와, 모션량의 신뢰도를 나타내는 모션량 신뢰도를 계산하는 모션량 신뢰도 계산부와, 모션량 신뢰도에 따라 출력 신뢰도를 보상하는 보상부와, 입력 신뢰도와 보상된 출력 신뢰도에 따라 입력 픽셀 데이터를 처리하고, 출력 픽셀 데이터를 출력하는 처리부를 포함한다. 이 이미지 처리 장치는 효과적으로 노이즈를 줄인다.
이미지 처리 장치, 노이즈, 입력 신뢰도, 출력 신뢰도, 모션량, 모션량 신뢰도, 보상

Description

이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치, 데이터 처리 방법, 및 저장 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, DATA PROCESSING APPARATUS, DATA PROCESSING METHOD, AND STORAGE MEDIUM}
도 1a는 입력 데이터의 파형도.
도 1b는 도 1a에 도시된 입력 데이터의 신뢰도를 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 노이즈 제거 장치의 블록도.
도 3은 도 2에 도시된 노이즈 제거 장치에 의해 실행되는 처리의 플로우챠트.
도 4는 도 2에 도시된 ME부(1)의 블록도.
도 5a는 검파 블록과 기준 블록이 오브젝트에 포함되어 있는 경우 실행되는 가변-블록-사이즈 블록 매칭을 나타낸 도면.
도 5b는 검파 블록과 기준 블록이 확대된 경우에 실행되는 가변-블록-사이즈 블록 매칭을 나타낸 도면.
도 6은 도 4에 도시된 ME부(1)에 의해 실행되는 처리의 플로우챠트.
도 7은 도 2에 도시된 노이즈량 평가부(2)의 블록도.
도 8은 도 7에 도시된 노이즈량 평가부(2)에 의해 실행되는 처리의 플로우챠트.
도 9는 도 2에 도시된 노이즈 감쇠부(3)의 블록도.
도 10은 도 9에 도시된 노이즈 감쇠부(3)에 의해 실행되는 처리의 플로우챠트.
도 11은 임시 참값 X'과 참값 X 사이의 관계를 나타낸 도면.
도 12는 본 발명의 또 다른 실시예에 따른 컴퓨터의 블록도.
<도면의 주요 부분에 대한 부호의 설명>
1: ME(모션 검출)부
2: 노이즈량 평가부
3: 노이즈 감쇠부
4, 5: 메모리
11: 현재 프레임 메모리
12: 이전-프레임 메모리
13: 절대-편차 계산부
14: 오차 메모리
15: 최소값 검출부
16: 다음-최소값 검출부
17: 편차 계산부
18: 판정부
19: 블록-사이즈-확대 지시부
20: 제어기
21: 어드레스 출력부
본 발명은 이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치, 데이터 처리 방법, 및 저장 매체에 관한 것으로, 더 구체적으로는 동화상과 같은 데이터 내에 포함된 노이즈를 더 효과적으로 제거해주는 이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치, 데이터 처리 방법, 및 저장 매체에 관한 것이다.
일반적으로, 전송 또는 재생된 이미지 데이터와 사운드 데이터는 시간이 경과함에 따라 변화하는 노이즈를 포함한다. 데이터 내의 노이즈를 제거하기 위해, 전체 입력 데이터의 평균, 즉 총 평균이 구해지고, 입력 데이터의 일부분의 평균, 즉 소위 동 평균(moving average)이 구해지는 공지된 방법들이 있다.
총 평균이 계산되는 방법은 데이터 내에 포함된 노이즈의 정도가, 즉 데이터의 신호 대 노이즈 비율(s/n 비율)이 균일한 경우에 효과적이다. 그러나, 데이터의 s/n 비율이 변하는 경우, 낮은 s/n 비율을 갖는 데이터 부분이 높은 s/n 비율을 갖는 데이터 부분에 영향을 끼쳐서 어떤 경우들에서는 노이즈를 효과적으로 제거하는 것을 어렵게 만든다.
동 평균이 계산되는 방법에서는, 시간 도메인에서 현재 입력 데이터에 가까이 위치한 데이터의 평균이 구해지기 때문에, 처리 결과는 데이터의 s/n 비율이 변화함에 의해 영향을 받는다. 다시 말해서, 처리 결과는 높은 s/n 비율을 갖는 데 이터 부분에 대해 높은 s/n 비율을 갖지만, 낮은 s/n 비율을 갖는 데이터 부분에 대해서는 낮은 s/n 비율을 갖는다.
따라서, 본 발명의 목적은 상술한 문제점들을 해결하는 것이다.
상기 목적은 입력 픽셀 데이터를 처리하고 처리된 입력 픽셀 데이터를 출력 픽셀 데이터로서 출력하는 이미지 처리 장치를 제공하는 본 발명의 일 특징에 의해 달성된다. 상기 이미지 처리 장치 입력 픽셀 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 입력 신뢰도 계산 수단과, 출력 픽셀 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 출력 신뢰도 계산 수단과, 입력 픽셀 데이터의 모션량을 검출하는 모션량 검출 수단과, 모션량의 신뢰도를 나타내는 모션량 신뢰도를 계산하는 모션량 신뢰도 계산 수단과, 모션량 신뢰도에 따라 출력 신뢰도를 보상하는 보상 수단, 및 입력 신뢰도와 보상된 출력 신뢰도에 따라 입력 픽셀 데이터를 처리하고, 출력 픽셀 데이터를 출력하는 처리 수단을 포함한다.
상기 목적은 입력 데이터를 처리하고 처리된 입력 데이터를 출력 데이터로서 출력하는 데이터 처리 장치를 제공하는 본 발명의 다른 일 특징에 의해 달성된다. 상기 데이터 처리 장치는 입력 데이터에 포함된 노이즈량을 평가하는 노이즈량 평가 수단과, 노이즈량에 따라, 입력 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 입력 신뢰도 계산 수단과, 출력 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 출력 신뢰도 계산 수단과, 노이즈량에 따라 출력 신뢰도를 보상하는 보상 수단, 및 입력 신뢰도와 보상된 출력 신뢰도에 따라 입력 데이터를 처리하고, 출력 데이터를 출력하는 처리 수단을 포함한다.
상기 목적은 입력 픽셀 데이터를 처리하고 처리된 입력 픽셀 데이터를 출력 픽셀 데이터로서 출력하는 이미지 처리 방법을 제공하는 본 발명의 다른 일 특징에 의해 달성된다. 상기 이미지 처리 방법은 입력 픽셀 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계와, 출력 픽셀 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계와, 입력 픽셀 데이터의 모션량을 검출하는 단계와, 모션량의 신뢰도를 나타내는 모션량 신뢰도를 계산하는 단계와, 모션량 신뢰도에 따라 출력 신뢰도를 보상하는 단계, 및 입력 신뢰도와 보상된 출력 신뢰도에 따라 입력 픽셀 데이터를 처리하고, 출력 픽셀 데이터를 출력하는 단계를 포함한다.
상기 목적은 입력 데이터를 처리하고 처리된 입력 데이터를 출력 데이터로서 출력하는 데이터 처리 방법을 제공하는 본 발명의 다른 일 특징에 의해 달성된다. 상기 데이터 처리 방법 입력 데이터에 포함된 노이즈량을 평가하는 단계와, 노이즈량에 따라, 입력 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계와, 출력 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계와, 노이즈량에 따라 출력 신뢰도를 보상하는 단계, 및 입력 신뢰도와 보상된 출력 신뢰도에 따라 입력 데이터를 처리하고, 출력 데이터를 출력하는 처리 단계를 포함한다.
상기 목적은 입력 픽셀 데이터를 처리하고 처리된 입력 픽셀 데이터를 출력 픽셀 데이터로서 출력하는 컴퓨터 제어 가능 프로그램을 저장하는 저장 매체를 제공하는 본 발명의 다른 일 특징에 의해 달성된다. 상기 저장 매체에 저장된 상기 프로그램은 입력 픽셀 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계 와, 출력 픽셀 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계와, 입력 픽셀 데이터의 모션량을 검출하는 단계와, 모션량의 신뢰도를 나타내는 모션량 신뢰도를 계산하는 단계와, 모션량 신뢰도에 따라 출력 신뢰도를 보상하는 단계, 및 입력 신뢰도와 보상된 출력 신뢰도에 따라 입력 픽셀 데이터를 처리하고, 출력 픽셀 데이터를 출력하는 단계를 포함한다.
상기 목적은 입력 데이터를 처리하고 처리된 입력 데이터를 출력 데이터로서 출력하는 컴퓨터 제어 가능 프로그램을 저장하는 저장 매체를 제공하는 본 발명의 다른 일 특징에 의해 달성된다. 상기 저장 매체에 저장된 상기 프로그램은 입력 데이터에 포함된 노이즈량을 평가하는 단계와, 노이즈량에 따라, 입력 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계와, 출력 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계와, 노이즈량에 따라 출력 신뢰도를 보상하는 단계, 및 입력 신뢰도와 보상된 출력 신뢰도에 따라 입력 데이터를 처리하고, 출력 데이터를 출력하는 처리 단계를 포함한다.
본 발명의 일 실시예에 따른 노이즈 제거 장치에 대해 도면들을 참조하여 이하 설명하기로 한다. 본 발명에 따른 노이즈 제거 원리에 대해 먼저 설명하기로 한다.
설명을 간단히 하기 위해, 도 1a에 도시된 바와 같이, 일정한 참값을 갖되 시간에 따라 변동하는 노이즈가 중첩되는 입력 데이터가 시간에 따라 변동하는 노이즈를 제거하기 위해 가산(누산)된다. 큰 노이즈 레벨, 즉 작은 s/n 비율을 갖는 입력 데이터에 대해서 작은 값으로 설정된 가중치와, 작은 노이즈 레벨, 즉 큰 s/n 비율을 갖는 입력 데이터에 대해서 큰 값으로 설정된 가중치에 따라 가산함으로써 노이즈는 효과적으로 제거된다.
입력 데이터의 평가값으로서, 예를 들면 도 1b에 도시된 바와 같이, 참값에 대한 입력 데이터의 신뢰도인, 얼마나 입력 데이터가 참값에 근사한지를 지시하는 신뢰도 정도가 구해진다. 입력 데이터의 평균(가중 합)은 노이즈를 효과적으로 제거하기 위해 신뢰도에 따른 가중치가 입력 데이터에 인가되면서 계산된다.
노이즈가 효과적으로 제거된 출력 데이터 y(t)는 다음과 같은 수학식에 의해 사용될 입력 데이터 x(t)의 신뢰도에 따른 가중치에 따라 입력 데이터 x(t)를 가중화하여 가산함으로써 구해진다. 수학식1에서 x(t), y(t), αx(t)는 각각 시간 "t"에서의 입력 데이터, 출력 데이터, 및 입력 데이터의 신뢰도를 나타낸다.
Figure 112000022728971-pat00001
수학식1에서는, 더 큰 가중치가 더 높은 신뢰도 αx(t)를 갖는 입력 데이터 x(t)에 주어진다고 가정된다.
현재 시간 "t"보다 한 샘플 전에 구해진 출력 데이터 y(t-1)는 수학식 1을 기초로 수학식 2에 따라 계산된다.
Figure 112000022728971-pat00002
출력 데이터 y(t)에 대해서, 참값에 대한 출력 데이터 y(t)의 신뢰도인, 얼마나 출력 데이터 y(t)가 참값에 근사한지를 나타내는 신뢰도 αx(t)가 출력 데이터 y(t)의 평가값으로서 도입된다. 현재 시간 "t"보다 한 샘플 전에 구해진 출력 데이터 y(t-1)의 신뢰도 αy(t-1)는 다음과 같이 수학식 3에 의해 정의된다.
Figure 112000022728971-pat00003
수학식 3에 따르면, 출력 데이터 y(t-1)의 신뢰도 αy(t-1)는 현재까지 처리된 입력 데이터 x(i) (i = 0, 1, 2, ,t-1)의 신뢰도 αx(i)의 합이다. 그러므로, 출력 데이터 y(t-1)의 신뢰도 αy(t-1)은 참값에 근사한 입력 데이터가 현재까지 많이 입력되었을 경우에 크고, 참값에 근사한 입력 데이터가 현재까지 적게 입력되었을 경우에는 작다. 다시 말해서, 출력 데이터 y(t-1)의 신뢰도 αy(t-1)는 현재까지 참값에 입력되었던 입력 데이터의 참값에 대한 근사도(신뢰도)를 반영한다. 현재까지 입력되었던 입력 데이터가 참값에 근사하다면 이것은 출력 데이터 y(t-1)가 또한 참값에 근사하다는 것을 의미한다. 이와 반대로, 현재까지 입력되었던 입력 데이터 가 참값에서부터 멀리 떨어져 있다면 이것은 출력 데이터 y(t-1)가 또한 참값으로부터 멀리 떨어져 있다는 것을 의미한다. 그러므로, 수학식 3에 의해 표시된 신뢰도 αy(t-1)는 참값에 대한 출력 데이터 y(t-1)의 근사도를 나타낸다.
출력 데이터 y(t)와 그의 신뢰도 αy(t)는 수학식 1 내지 3을 사용하여 수학식 4와 5에 의해 표현된다.
Figure 112000022728971-pat00004
Figure 112000022728971-pat00005
시간 "t"에서의 출력 데이터 y(t)를 구하기 위해 사용된 가중치는 w(t)로 표시되고, 다음과 같은 수학식 6에 의해 정의된다.
Figure 112000022728971-pat00006
수학식 6으로부터, 수학식 7이 만족된다.
Figure 112000022728971-pat00007
수학식 6과 7을 사용하여, 수학식 4 중의 출력 데이터 y(t)가 다음과 같이 곱셈과 가산에 의해 얻어진 가중화 평균(가중화 가산)에 의해 표현될 수 있다.
Figure 112000022728971-pat00008
수학식 8에 사용된 가중치들 w(t)와 1-w(t)는 한 샘플 전에 구해진 출력 데이터 t(t-1)의 신뢰도 αy(t-1)와 현재 입력 데이터 x(t)의 신뢰도 αx(t)를 사용하여 수학식 6으로부터 구해질 수 있다. 수학식 5에서 현재의 출력 데이터 y(t)의 신뢰도 αy(t)는 또한 한 샘플 전에 구해진 출력 데이터 y(t-1)의 신뢰도 αy(t-1)과 현재 입력 데이터 x(t)의 신뢰도 αx(t)를 사용하여 구해질 수 있다.
입력 데이터 x(t)의 신뢰도 αx(t)와 출력 데이터 y(t)의 신뢰도 αy(t)가 각 데이터의 시간에 있어서 근접한 몇 개의 입력 데이터들에 의해, 또는 대응하는 분산들의 σx(t) 2와 σy(t) 2 각각의 역수들에 의해 표현되는 경우에, 다시 말해서, 신뢰도 αx(t)와 신뢰도 αy(t)가 다음과 같이 설정된다면,
Figure 112000022728971-pat00009
수학식 8에서 가중치 w(t)는 다음의 수학식 10에 의해 구해질 수 있다.
Figure 112000022728971-pat00010
이 경우, 수학식 8의 1-w(t)는 다음과 같이 수학식 11에 의해 구해질 수 있다.
Figure 112000022728971-pat00011
항 σy(t) 2은 하기의 수학식 12에 의해 구해질 수 있다.
Figure 112000022728971-pat00012
수학식 4로부터, 수학식 4와 5로부터 구해진 수학식 8은 입력 데이터 x(t)가 그의 신뢰도 αx(t)에 대응하는 가중치에 의해 가중화되고, 한 샘플 전에 구해진 출력 데이터 y(t-1)는 또한 그의 신뢰도 αy(t-1)에 대응하는 가중치에 의해 가중화되고, 가중화된 입력 데이터와 가중화된 출력 데이터가 가산되고, 그 합이 입력 데이터 x(t)로부터 노이즈를 제거함으로써 구해진 출력 데이터 y(t)로서 사용된다는 것을 나타낸다는 것을 명백히 알 수 있다.
입력 데이터 x(t)에 대한 가중치에 대응하는 신뢰도 αx(t)는 참값에 대한 입력 데이터 x(t)의 근사도를 나타내고, 한 샘플 전에 구해진 출력 데이터 y(t-1)에 대한 가중치에 대응하는 신뢰도 αy(t-1)는 참값에 대한 출력 데이터 y(t-1)의 근사도 를 나타낸다. 이 경우에 참값은 일정하기 때문에, 어떠한 것이든 참값에 더 근사한 더 중요하게 여겨지는 입력 데이터 x(t)와 출력 데이터 y(t-1)를 가산하는 수학식 8에 의해 출력 데이터 y(t)가 구해지면, 출력 데이터 y(t)는 참값에 더 근사해진다.
다시 말해서, 입력되었던, 작은 신뢰도를 갖는 입력 데이터에는 작은 가중치가 적용되고, 큰 신뢰도를 갖는 입력 데이터에는 큰 가중치가 적용되며, 이러한 방식으로 가중화된 입력 데이터가 수학식 1로부터 유도된 수학식 8 (수학식 1과 등가임)에 의해 출력 데이터 y(t)를 구하도록 합산된다. 보다 더 직관적으로, 출력 데이터 y(t)는 많은 노이즈를 갖는 입력 데이터가 많은 영향을 끼치지 않도록 그리고 노이즈가 거의 없는 입력 데이터가 영향을 많이 끼치도록 입력 데이터를 가산함으로써 구해진다.
그러므로, 총 평균이 구해지는 경우에는, 낮은 s/n 비율을 갖는 입력 데이터와 높은 s/n 비율을 갖는 입력 데이터 모두가 같은 레벨로 출력 데이터에 영향을 준다. 그러나, 본 실시예의 수학식 8에 따르면, 낮은 s/n 비율을 갖는 입력 데이터는 출력 데이터에 영향을 덜 주고, 높은 s/n 비율을 갖는 입력 데이터는 출력 데이터에 영향을 많이 준다. 그 결과, 총 평균이 사용되는 경우보다 더 효과적으로 노이즈가 제거된 출력 데이터가 구해진다.
동 평균(moving average)이 구해지는 경우, 시간적으로 떨어져 있는 입력 데이터는 그것이 높은 s/n 비율을 갖는다고 하더라도 출력 데이터에 전혀 영향을 주지 않고, 시간적으로 가까운 입력 데이터는 그것이 낮은 s/n 비율을 갖는다고 하더 라도 출력 데이터에 영향을 많이 준다. 그러나, 본 실시예의 수학식 8에 따르면, 입력 데이터가 시간적 근사성에 관계없이 그 s/n 비율에 따라 출력 데이터에 영향을 준다. 그 결과, 동 평균이 사용되는 경우보다 더 효과적으로 노이즈가 제거된 출력 데이터가 구해진다.
상술한 바와 같이, 수학식 8에 따르면, 출력 데이터는 높은 신뢰도를 갖는 (참값에 근사한) 입력 데이터의 영향에 의해 참값에 더 가까워진다. 그러므로, 높은 신뢰도를 갖는 입력 데이터가 많이 처리될수록, 출력 데이터는 참값에 가까워진다. 그 결과, 출력 데이터의 s/n 비율은 시간이 경과함에 따라 향상된다.
상술한 경우에서는, 참값이 일정하다고 가정되었다. 참값이 변화되는 데이터에 대해서는, 예를 들어, 데이터를 참값이 일정하다고 여기는 존들로 분할하고, 각각의 존에 대해 처리를 적용하는 것이 필수적이다.
상술한 경우에서, 시간적으로 근접하게 위치된 얼마간의 입력 데이터 항목들의 분산이 입력 데이터의 신뢰도 (이하, 입력 신뢰도라고 일컬음)로서 사용된다. 이 경우, 입력 신뢰도, 출력 데이터, 또는 출력 데이터의 신뢰도 (이하, 출력 신뢰도라고 일컬음)는 얼마간의 입력 데이터 항목들이 입력될 때까지 구해질 수 없다. 입력 신뢰도를 구하기 위한 입력 데이터 항목들이 입력될 때까지, 예를 들어, 입력 신뢰도와 출력 신뢰도는 계산되지 않고, 현재까지 입력되었던 입력 데이터의 단순한 평균이 구해지고 출력 데이터로서 사용되는 것이 가능하다. 입력 신뢰도를 얻기 위해 사용되는 입력 데이터 항목들이 입력될 때까지 사용되는 방법은 상술한 것으로만 국한되지 않는다.
입력 데이터 x(t)는 오디오 데이터와 같은 1차원 데이터라면, 출력 데이터 y(t-1)는 입력 데이터 x(t)보다 한 샘플 전에 구해진 입력 데이터 x(t-1)의 처리 결과로서 구해진다. 입력 데이터 x(t)가 이미지 데이터와 같은 2차원 데이터라면, 출력 데이터 y(t-1)는, 예를 들어 입력 데이터 x(t)보다 한 프레임(또는 필드) 전에 구해진 입력 데이터 x(t-1)의 처리 결과로서 구해진다.
구체적으로, t-번째 프레임 내의 픽셀 (교정될 픽셀, 또는 픽셀의 픽셀 값)은 x(t)로서 일컬어지고, 수학식 8에 따라 입력 픽셀 역할을 하는 픽셀로부터 노이즈가 제거되고, 결과적인 출력 픽셀이 출력되는 경우, 입력 픽셀 x(t-1)은 t번째 프레임 내의 입력 픽셀 x(t)에 대응하는 (t-1)번째 프레임 내의 입력 픽셀을 나타낸다. 출력 픽셀 y(t-1)은 입력 픽셀 x(t-1)로부터 노이즈를 제거함으로써 구해진 픽셀을 나타낸다.
이미지는 일반적으로 모션을 갖기 때문에, 입력 픽셀 x(t)의 위치는 이전 프레임에서 구해진 출력 픽셀 y(t-1)의 위치와 같지 않을 수 있다. 그러므로, 노이즈가 수학식 8에 의해 제거되면, 입력 픽셀 x(t)에 대응하는 출력 픽셀 y(t-1)을 검출하는 것이 필수적이다.
입력 픽셀 x(t)에 대응하는 출력 픽셀 y(t-1)은 입력 픽셀 x(t)의 검출된 모션 벡터 (출력 픽셀의 위치를 기준으로서 사용될 입력 픽셀 x(t)를 사용하여 나타낸 벡터)에 따라 구해질 수 있지만, 모션 벡터는 정확히 구해질 필요는 없다. 그러므로, 출력 픽셀 y(t-1)이 모션 벡터에 따라 검출되는 경우에도, 출력 픽셀 y(t-1)은 입력 픽셀 x(t)에 실제로 대응하여 이전 프레임 내의 픽셀로부터 시프트 될 수 있다.
이러한 출력 픽셀 y(t-1)이 수학식 8의 계산에 사용되어야 할 값으로부터 시프트되기 때문에, 출력 픽셀 y(t-1)의 출력 신뢰도 αy(t-1)는 시프트된 만큼 감소된다고 여겨진다.
다시 말해서, 입력 픽셀 x(t)가 모션을 갖는 경우, 모션은 출력 픽셀 y(t-1)의 출력 신뢰도 αy(t-1)에 영향을 준다.
그러므로, 모션 벡터의 신뢰도 (참값에 대한 근사도)를 나타내는 신뢰도의 정도 "m" (이하, 필요하다면 벡터 신뢰도로서 일컬음)이 도입되고, 출력 신뢰도 αy(t-1)는 보상항으로서 사용되는 "m"만큼 보상되어 m ·αy(t-1)로 된다.
이 경우, 수학식 5에 의해 구해질 출력 신뢰도 αy(t)는 다음과 같은 수학식 13에 의해 구해진다.
Figure 112000022728971-pat00013
수학식 6에 의해 구해질 가중치 w(t)는 다음과 같은 수학식 14에 의해 구해진다.
Figure 112000022728971-pat00014
출력 신뢰도 αy(t-1)는 이를 상술한 벡터 신뢰도 "m"과 곱하여 보상되기 때문 에, 모션 벡터가 참값에 가까울수록 벡터 신뢰도 "m"은 1에 가까워지고, 모션 벡터가 참값으로부터 멀어짐에 따라 벡터 신뢰도 "m"은 1보다 작은 값으로 되는 것이 필요하다. 예를 들어, 벡터 신뢰도 "m"이 다음과 같은 수학식으로 정의된다고 가정한다.
m=N(t)/D(t)
여기서, N(t)는 입력 픽셀 x(t)의 (평가된) 노이즈량을 나타내고, D(t)는 입력 픽셀 x(t)에 대해 구해진 모션 벡터를 사용하여 수행된 모션 보상 후에 구해진 오차를 나타낸다. 이 오차로서는, 입력 픽셀 x(t)과 입력 픽셀 x(t)에 대응하여 하나 이전 프레임에서 구해진 출력 픽셀 y(t-1) (입력 픽셀 x(t)의 위치로부터 모션 벡터만큼 시프트된 위치에서, 하나 이전 프레임 내에서 구해진 픽셀 y(t-1)) 간의 차의 절대값이 사용될 수 있다.
이 경우, D(t)는 노이즈를 갖는 입력 픽셀 x(t)과 노이즈가 제거된 출력 픽셀 y(t-1)을 사용하여 계산되기 때문에, D(t)는 참오차뿐만 아니라 노이즈를 포함한다. 그러므로, 수학식 15로부터, 벡터 신뢰도 "m"은 (노이즈량) / [(노이즈량) + (참오차)]를 계산함으로써 구해진다. 참오차가 제로에 가까워지면, 벡터 신뢰도는 1에 가까워지고, 참오차가 커지면 벡터 신뢰도는 1보다 작은 값으로 된다.
도 2는 본 실시예에 따라 상술한 원리에 의해 이비지로부터 노이즈를 제거하는 노이즈 제거 장치의 구조의 일례를 나타낸다. 이 노이즈 제거 장치에서는, 입력 픽셀 x(t)의 모션 벡터가 검출되고, 그의 벡터 신뢰도가 수학식 15에 의해 구해 진다. 출력 신뢰도 αy(t-1)는 보상항으로 사용되는 벡터 신뢰도 "m"만큼 보상되고, 가중치 w(t)는 수학식 14에 의해 구해지고, 최종적으로 수학식 8이 계산되어 입력 데이터 x(t)로부터 효과적으로 노이즈를 제거함으로써 구해진 출력 픽셀 y(t)를 출력한다.
노이즈가 제거될 입력 이미지를 구성하는 입력 픽셀들은 ME(모션 검출)부(1), 노이즈량 평가부(2), 및 노이즈 감쇠부(3)에 보내진다.
ME부(1)는 또한 한 프레임 전에 구해진 출력 픽셀들을 수신하여 입력 픽셀들과 함께 메모리(5)에 저장한다. ME부(1)는 입력 픽셀들의 모션 벡터들을 검출하고, 모션 벡터들을 노이즈량 평가부(2)에 그리고 노이즈 감쇠부(3)에 보낸다. 노이즈량 평가부(2)는, 예를 들어, 수신된 입력 이미지의 노이즈량을 프레임들의 단위로 평가하고 이를 노이즈 감쇠부(3)에 보낸다.
노이즈 감쇠부(3)는 상술한 바와 같이 입력 픽셀들과 그들의 모션 벡터들, 및 노이즈량 이외에도, 메모리(4)로부터 한 프레임 전에 구해진 출력 픽셀들의 출력 신뢰도를 수신하고, 메모리(5)로부터 한 프레임 전에 구해진 출력 픽셀들을 수신한다. 노이즈 감쇠부(3)는 입력 픽셀들의 입력 신뢰도를 계산하고, 입력 픽셀들을 수학식 8, 13 내지 15에 따라 처리하고, 그런 다음 입력 픽셀들로부터 노이즈를 제거함으로써 구해진 출력 픽셀들을 출력한다. 출력 픽셀들은 입력 픽셀들의 처리 결과로서 출력되고, 또한 메모리(5)에 보내진다. 노이즈 감쇠부(3)은 상술한 바와 같이 수학식 14에 따라 처리를 실행하여 출력 픽셀들의 출력 신뢰도를 구한다. 출 력 신뢰도는 메모리(4)에 보내진다.
메모리(4)와 메모리(5)는 각각 노이즈 감쇠부(3)로부터 출력된 출력 신뢰도와 출력 픽셀들을 저장한다.
다음으로는, 도 3에 도시된 플로우챠트를 참조하여 도 1에 도시된 노이즈 제거 장치에 의해 실행되는 처리가 설명된다.
프레임의 입력 픽셀들이 ME부(1)에 입력되기 시작하면, 메모리(5)에 저장된 한 프레임 전에 구해진 출력 픽셀들이 판독되고 ME부(1)에 보내진다. ME부(1)는 단계 S1에서, 수신된 입력 픽셀들과 한 프레임 전에 구해진 출력 픽셀들을 사용하여 나중에 설명될 가변-블록-사이즈 블록 매칭에 의해 입력 픽셀들의 모션 벡터들을 검출하고, 이들을 노이즈량 평가부(2)와 노이즈 감쇠부(3)에 보낸다.
단계 S2에서, 노이즈량 평가부(2)는 입력 픽셀들의 모션 벡터들에 따라 입력 픽셀들을 갖는 프레임(이하, 필요하면 목표 프레임으로서 일컬어짐) 내의 스틸(still) 부분을 결정하고, 스틸 부분에 위치된 입력 픽셀들을 사용하여 목표 프레임 내의 노이즈량을 평가한다. 노이즈량의 평가 결과는 노이즈 감쇠부(3)에 보내진다.
노이즈 감쇠부(3)는 노이즈량 평가부(2)로부터 전송된 노이즈량에 따라 입력 픽셀들 x(t)의 입력 신뢰도 αx(t)를 구하고, 메모리(4)와 메모리(5)에 각각 저장된 출력 신뢰도 αy(t-1)와 한 프레임 전에 구해진 출력 픽셀들 y(t-1)을 사용하여 수학식 8, 13 내지 15를 계산한다. 이 연산들로써, 입력 픽셀들 x(t)로부터 노이즈를 제거함으로써 구해진 출력 픽셀들 y(t)과, 그의 신뢰도 αy(t)가 구해진다. 출력 픽셀 y(t)와 그의 신뢰도 αy(t)는 각각 메모리(4)와 메모리(5) 각각에 보내지고 저장된다.
목표 프레임을 구성하는 모든 입력 픽셀들이 상술한 바와 같이 처리되었다면, 처리는 단계 S4로 진행하고 제어부(도시되지 않음)는 다음 프레임이 찾아졌는지의 여부를 판정한다. 다음 프레임이 찾아졌다고 판정되면, 처리는 단계 S1으로 돌아가서 상술한 바와 같은 처리가 반복된다. 단계 S4에서 제어부가 다음 프레임이 찾아지지 않았다고 판정하면 처리는 종료된다.
도 4는 도 2에 도시된 ME부(1)의 구조예를 도시한다.
현재-프레임 메모리(11)는 목표 프레임을 구성하는 입력 픽셀들 x(t)을 순차적으로 수신하고 저장한다. 현재-프레임 메모리(11)는 어드레스 출력부(21)로부터 출력된 어드레스들에 따라 저장된 입력 픽셀들 x(t) 중에서, 선정된 목표 입력 픽셀이 중앙에 위치되어 있는 선정된 사이즈의 블록 (이하 필요하다면 기준 블록으로서 일컬어짐)을 구성하는 픽셀들을 판독하고, 이들을 절대-편차 계산부(13)에 보낸다.
이전-프레임 메모리(12)는, 메모리(5)에 저장된, 목표 프레임보다 한 프레임 이전의 프레임을 구성하는 출력 픽셀들 y(t-1)을 순차적으로 수신하고, 노이즈 감쇠부(3)에서 이전 프레임(목표 프레임보다 한 프레임 이전의 프레임)으로부터 노이즈를 제거함으로써 구해진 출력 픽셀들 y(t-1)을 저장한다. 이전-프레임 메모리(12)는 어드레스 출력부(21)로부터 출력된 어드레스들에 따라 저장된 출력 픽셀들 y(t-1) 중에서, 기준 블록과 같은 사이즈를 갖는 블록 (이하, 필요하다면 검출 블록으로서 일컬음)을 구성하는 픽셀들을 판독하고, 이들을 절대-편차-합 계산부(13)에 보낸다.
절대-편차-합 계산부(13)는 현재-프레임 메모리(11)로부터 전송된 기준 블록을 구성하는 입력 픽셀들과, 블록들 내의 동일한 위치들에서 이전-프레임 메모리(12)로부터 보내진 검출 블록을 구성하는 출력 픽셀들 사이의 편차들을 계산하고, 이 편차들의 절대값들의 합을 구하고, 이것을 오차로서 오차 메모리(14)에 전송한다. 오차 메모리(14)는 절대-편차-합 계산부(13)로부터 전송된 오차를 저장한다.
최소값 검출부(15)는 오차 메모리(14) 내에 저장된 오차들 중의 최소값 (이하, 필요하다면 최소 오차로서 일컬어짐)을 검출하고, 최소 오차를 편차 계산부(17)에 보낸다. 최소값 검출부(15)는 또한 최소 오차가 오차 메모리(14) 내에 저장되어 있는 어드레스를 제어기(20)에 보낸다.
다음-최소값 검출부(16)는 오차 메모리(14)에 저장된 오차들 중의 다음 최소값 (이하, 다음-최소 오차로서 일컬어짐)을 검출하고, 다음-최소 오차를 편차부(17)에 보낸다. 편차 계산부(17)는 다음-최소값 검출부(16)로부터 전송된 다음-최소 오차와, 최소값 검출부(15)로부터 전송된 최소 오차 간의 편차를 계산한다. 즉, 편차 계산부(17)는 다음-최소 오차로부터 최소 오차를 감산하고, 이 편차를 판정부(18)에 전송한다.
판정부(18)는 편차 계산부(17)로부터 전송된 편차에 따라 기준 블록과 검출 블록의 블록 사이즈가 확대될 것인지의 여부를 판정하고, 판정 결과를 블록-사이즈-확대 지시부(19)에 보낸다. 판정부(18)는 또한 판정 결과에 따라 제어기(20)로부터 전송된 후보 벡터를 입력 픽셀의 모션 벡터로서 출력한다.
블록-사이즈-확대 지시부(19)는 판정부(18)에서의 판정 결과에 따라 기준 블록과 검출 블록의 블록 사이즈를 확대할 것을 제어기(20)에 지시한다.
제어기(20)는 현재-프레임 메모리(11)에 저장된 목표 프레임의 입력 픽셀 각각을 순차적으로 목표 입력 픽셀로 세팅하고, 어드레스 출력부(21)를 제어하여 중심에 목표 입력 픽셀이 위치된 기준 블록을 구성하는 입력 픽셀들이 현재-프레임 메모리(11)의 어디에 저장되어 있는 지를 나타내는 어드레스들을 출력하도록 한다. 제어기(20)는 또한 입력 픽셀의 후보 모션 벡터들로서 역할을 하는 복수개의 벡터들(후보 벡터들)을 순차적으로 지정하고, 어드레스 출력부(21)를 제어하여 목표 입력 픽셀의 위치로부터 각 후보 벡터만큼 시프트된 위치에 배치된 출력 픽셀이 중심에 위치된 검출 블록을 구성하는 출력 픽셀들이 이전-프레임 메모리(12)의 어디에 저장되어 있는 지를 나타내는 어드레스들을 출력하도록 한다. 이 경우, 기준 블록과 검출 블록의 블록 사이즈는 블록-사이즈-확대 지시부(19)의 지시에 따라 지정된다.
최소값 검출부(15)로부터 전송된 최소 오차가 오차 메모리에 저장되어 있는 어드레스에 따라, 제어기(20)는 최소 오차가 구해질 때 사용되는 후보 벡터를 검출하고, 후보 벡터를 판정부(18)에 전송한다.
어드레스 출력부(21)는 제어기(20)의 제어에 따라, 입력 픽셀들의 어드레스들과 판독될 출력 픽셀들의 어드레스들을 현재-프레임 메모리(11)와 이전-프레임 메모리(12)에 각각 전송한다.
상술한 바와 같이 구성된 ME부(1)는 가변-블록-사이즈 블록 매칭을 수행하여 목표 프레임을 구성하는 입력 픽셀 각각의 모션 벡터를 검출한다.
모션 검출이 n번째 프레임을 목표 프레임으로 세팅한 채, 어느 정도 움직이는 큰 오브젝트를 갖는 이미지가 디스플레이되는 (n-1)번째와 n번째 프레임들에서 수행되는 경우, 만일 도 5a에 도시된 바와 같이 검출 블록과 기준 블록이 거의 균일한 픽셀값들을 갖는 큰 오브젝트보다 사이즈가 더 작고 기준 블록이 오브젝트 내에 위치한다면, 어느 위치들에서도 오차들(절대-편차 계산부(13)에 의해 계산된 편차들의 절대값들의 합들)이 크게 다르지 않기 때문에, 매우 정확한 모션 벡터를 검출하기가 어렵다.
그러므로, 이러한 경우에는, 검출 블록과 기준 블록의 블록 사이즈가 도 5b에 도시된 바와 같이 증가(확대)된다. 그러면, 검출 블록이나 기준 블록이 오브젝트 내에 포함되지 않고, 이 블록들은 오브젝트를 벗어나 확대된다. 이에 따라, 오차들은 검출 블록이 기준 블록의 위치에 대응하는 위치에 있는 경우와 그렇지 않은 경우 간에 많이 달라진다. 그 결과, 매우 정확한 모션 벡터가 검출될 수 있다.
가변-블록-사이즈 블록 매칭에 있어서, 필요에 따라 블록 사이즈는 변화되고, 상술한 바와 같이, 블록 매칭(최소 오차의 검출)이 실행된다.
도 4에 도시된 ME부(1)에 의해 실행되는 모션-벡터 검출 처리가 도 6에 도시 된 플로우차트를 참조하여 설명된다.
현재-프레임 메모리(11)는 입력 픽셀들 x(t)을 순차적으로 수신하고 저장하며, 이전-프레임 메모리(12)는 출력 픽셀들 y(t-1)을 순차적으로 수신하고 메모리(5)에 저장한다.
모션-벡터 검출 처리에서는, 먼저, 단계 S11에서 블록-사이즈-확대 지시부(19)가 블록 사이즈를 선정된 초기값으로 세팅하고 이것을 제어기(20)에 전송한다. 제어기(20)는 어드레스 출력부(21)를 제어하여 블록-사이즈-확대 지시부(19)에 의해 지정된 블록 사이즈를 갖는 기준 블록과 검출 블록 모두의 픽셀들이 현재-프레임 메모리(11)와 이전-프레임 메모리(12)로부터 판독되는 어드레스들을 출력하도록 한다.
더 구체적으로, 제어기(20)는 현재-프레임 메모리(11)에 저장된 목표 프레임 내에 배치된 입력 픽셀을 목표 입력 픽셀로서 세팅하고, 어드레스 출력부(21)를 제어하여 중심에 목표 입력 픽셀이 위치된 지정 사이즈를 갖는 기준 블록 내에 위치하는 입력 픽셀들이 현재-프레임 메모리(11) 내에 저장되어 있는 어드레스들을 출력하도록 한다. 제어기(20)는 또한 입력 픽셀의 후보 모션 벡터들로서 역할을 하는 복수개의 후보 벡터들을 순차적으로 지정하고, 어드레스 출력부(21)를 제어하여 목표 입력 픽셀의 위치로부터 각 후보 벡터만큼 시프트된 위치에 배치된 출력 픽셀이 중심에 배치되어 있는, 지정 사이즈를 갖는 검출 블록을 구성하는 출력 픽셀들이 이전-프레임 메모리(12)에 저장되어 있는 어드레스들을 출력하도록 한다.
이러한 동작들로써, 목표 입력 픽셀이 중심에 배치되어 있는 기준 블록 내에 위치한 입력 픽셀들이 현재-프레임 메모리(11)로부터 판독되어, 절대-편차-합 계산부(13)에 전송된다. 또한, 목표 입력 픽셀의 위치로부터 복수개의 후보 벡터들 각각만큼 시프트된 위치에 배치된 출력 픽셀이 중심에 배치되어 있는 검출 블록 내에 위치한 출력 픽셀들이 이전-프레임 메모리(12)로부터 순차적으로 판독되어, 절대-편차-합 계산부(13)에 전송된다. 다음의 처리에서는, 현재-프레임 메모리(11)로부터 전송된 기준 블록과 이전-프레임 메모리(12)로부터 전송된, 복수개의 후보 벡터들에 대응하는 검출 블록들 각각 간에 블록 매칭이 실행된다.
더 구체적으로, 절대-편차-합 계산부(13)는 단계 S12에서, 기준 블록과 복수개의 후보 벡터들에 대응하는 검출 블록들 각각 내의 대응 픽셀들 간의 편차들의 절대값들의 합을 계산한다. 편차들의 절대값들의 합들은 복수개의 후보 벡터들에 대응하는 오차들로서 오차 메모리(14)에 순차적으로 전송된다. 오차 메모리(14)는 대응하는 어드레스들에 있는 복수개의 후보 벡터들에 대응하는 오차들을 저장한다.
그런 다음, 처리는 단계 S13으로 진행한다. 최소값 검출부(15)는 오차 메모리(14) 내에 저장된 오차들 중의 최소 오차 ε1을 검출하고, 다음-최소값 검출부(16)는 다음 최소 오차 ε2를 검출한다. 최소 오차 ε1과 다음 최소 오차 ε 2는 편차 계산부(17)에 송신되어, 그들 간의 편차 ε2 - ε1이 계산된다. 편차 계산부(17)에 의해 구해진 편차 ε2 - ε1는 판정부(18)에 전송된다. 단계 S14에서, 판정부(18)는 편차 ε2 - ε1가 선정된 임계값 ε보다 큰지의 여부를 판정한다.
단계 S14에서 편차 ε2 - ε1가 선정된 임계값 ε보다 크지 않다고 판정되면, 즉, 최소 오차 ε1과 다음 최소 오차 ε2 간에 약간의 편차만이 계산되면, 이에 따라, 블록 사이즈는 도 5a에 도시된 바와 같이 작을 것으로 기대되고, 처리는 단계 S15로 진행한다. 블록-사이즈-확대 지시부(19)는 제어기(20)에게 지시하여 블록 사이즈를 확대하도록 한다. 이 경우, 제어기(20)는 어드레스 출력부(21)를 제어하여 블록 사이즈가 블록-사이즈-확대 지시부(19)로부터 전송된 명령에 따라 확대되었던 기준 블록과 검출 블록에 대응하는 어드레스들을 출력하도록 한다.
이러한 동작으로써, 목표 입력 픽셀이 중심에 배치되어 있는 확대된 기준 블록 내에 위치한 입력 픽셀들이 현재-프레임 메모리(11)로부터 판독되고, 목표 입력 픽셀의 위치로부터 복수개의 후보 벡터들 각각만큼 시프트된 위치에 배치된 출력 픽셀이 중심에 배치되어 있는 확대된 검출 블록 내에 위치한 출력 픽셀들이 이전-프레임 메모리(12)로부터 순차적으로 판독된다. 처리는 단계 S12로 돌아가서, 상술한 바와 같은 프로세스들이 반복된다. 즉, 모두 큰 블록 사이즈를 갖는 기준 블록과 검출 블록들 각각 간에 블록 매칭이 수행된다.
단계 S14에서, 편차 ε2 - ε1가 선정된 임계값 ε보다 크다고 판정되면, 즉, 최소 오차 ε1과 다음 최소 오차 ε2 간에 편차가 큰 것으로 계산되면, 이에 따라, 블록 사이즈는 도 5b에 도시된 바와 같이 적당할 것으로 기대되어, 처리는 단계 S16으로 진행한다. 판정부(18)는 최소 오차 ε1이 구해졌던 후보 벡터를 목표 입력 픽셀의 모션 벡터로서 출력한다.
더 구체적으로, 이 경우, 최소값 검출부(15)는 최소 오차 ε1이 오차 메모리(14)에 저장되어 있는 어드레스를 제어기(20)에 출력한다. 제어기(20)는 이 어드레스를 사용하여 최소 오차가 구해졌던 후보 벡터를 인식한다. 그런 다음, 제어기(20)는 후보 벡터를 판정부(18)에 전송한다. 판정부(18)는 제어기(20)로부터 전송된 후보 벡터를 목표 픽셀의 모션 벡터로서 출력한다.
처리는 단계 S17로 진행하고, 제어기(20)는 현재-프레임 메모리(11)에 저장된 프레임의 모든 픽셀들이 목표 픽셀들로 세팅되었는지와 그 모션 벡터들이 검출되었는지의 여부를 판정한다. 단계 S17에서 제어기(20)가 현재-프레임 메모리(11)에 저장된 프레임의 모든 입력 픽셀들이 아직은 목표 입력 픽셀들로 모두 지정되지는 않았다고 판정하면, 처리는 단계 S11로 되돌아가서, 목표 입력 픽셀로 아직 지정되지 않은 입력 픽셀을 새로운 목표 입력 픽셀로 세팅하고, 상술한 바와 같은 프로세스들이 반복된다.
제어기(20)가 단계 S17에서 현재-프레임 메모리(11)에 저장된 프레임의 모든 입력 픽셀들이 이미 목표 입력 픽셀들로 지정되었다고 판정하면, 처리는 단계 S18로 진행하고, 제어기(20)는 다음에 처리될 프레임이 찾아졌는지의 여부를 판정한다. 단계 S18에서 제어기(20)가 다음에 처리될 프레임이 찾아졌다고 판정하면, 즉, 다음 프레임이 현재-프레임 메모리(11)에 전송되었다면, 처리는 단계 S11로 되돌아가서 상술한 바와 같은 프로세스들이 반복된다.
단계 S18에서 제어기(20)는 다음에 처리될 프레임이 찾아지지 않았다고 판정하면, 모션 벡터 검출 처리가 중단된다.
모션 벡터는 가변-블록-사이즈 블록 매칭에 의해 검출된다. 모션 벡터는 기준 블록과 검출 블록의 블록 사이즈를 고정하여 검출될 수 있다.
도 7은 도 2에 도시된 노이즈량 평가부(2)의 구조예를 나타낸다.
처리될 입력 픽셀 x(t)는 지연 회로(31)와 분산 계산부(3)에 입력된다. ME부(1)에 의해 검출된 입력 픽셀 x(t)의 모션 벡터는 지연 회로(35)와 스틸-픽셀 판정부(42)에 입력된다.
지연 회로(31)는 입력 픽셀 x(t)를 한 프레임에 해당하는 시간만큼 지연하고, 이것을 입력 픽셀 x(t-1)로서 지연 회로(32)와 분산 계산부(39)에 전송한다. 지연 회로(32)는 지연 회로(31)로부터 전송된 입력 픽셀 x(t-1)을 한 프레임에 해당하는 시간만큼 지연하고, 이것을 입력 픽셀 x(t-2)로서 지연 회로(33)와 분산 계산부(39)에 전송한다. 지연 회로(33)는 지연 회로(32)로부터 전송된 입력 픽셀 x(t-2)을 한 프레임에 해당하는 시간만큼 지연하고, 이것을 입력 픽셀 x(t-3)로서 지연 회로(34)와 분산 계산부(39)에 전송한다. 지연 회로(34)는 지연 회로(33)로부터 전송된 입력 픽셀 x(t-3)을 한 프레임에 해당하는 시간만큼 지연하고, 이것을 입력 픽셀 x(t-4)로서 분산 계산부(39)에 전송한다.
지연 회로들(35 내지 38) 각각은 지연 회로들(31 내지 34) 각각과 같은 지연 처리를 모션 벡터에 적용한다. 그러므로, 입력 픽셀 x(t)의 모션 벡터가 v(t)라면, 예를 들어, 지연 회로들(35 내지 38)은 모션 벡터들 v(t-1) 내지 v(t-4)를 각 각 출력한다. 모션 벡터들 v(t-1) 내지 v(t-4)은 스틸-픽셀 판정부들(43 내지 46)에 각각 전송된다.
분산 계산부(39)는 수신된 입력 픽셀들 x(t) 내지 x(t-4)의 분산을 계산하고, 이것을 분산 계산 메모리(40)에 전송한다. 분산 누산 메모리(40)는 메모리 제어기(48)의 제어하에 분산 계산부(39)로부터 전송된 분산들을 누산한다. 프레임-평균-분산 계산부(41)는 분산 누산 메모리(40) 내에 누산된 분산들의 평균 (누산된 분산값을 누산된 분산들의 개수로 나눈 값)을 계산하고, 이것을 입력 픽셀 x(t)의 노이즈량으로서 출력한다.
스틸-픽셀 판정부(42)는 수신된 모션 벡터 v(t)에 따라, 입력 픽셀 x(t)가 스틸 부분에 속하는지의 여부를 판정하고, 판정 결과를 계속적-스틸-픽셀-위치 검출부(47)에 전송한다. 스틸-픽셀 판정부들(43 내지 46)은 또한 지연 회로들(35 내지 38)로부터 전송된 모션 벡터들 v(t-1) 내지 v(t-4)에 따라 입력 픽셀들 x(t-1) 내지 x(t-4)가 스틸 부분들에 속하는지를 판정하고, 판정 결과를 계속적-스틸-픽셀-위치 검출부(47)에 전송한다.
계속적-스틸-픽셀-위치 검출부(47)는 스틸-픽셀 판정부들(42 내지 46)로부터 송신된 판정 결과들에 따라 연속적인 프레임들 내의 스틸 부분들에 속하는 픽셀들의 위치를 검출한다. 더 구체적으로, 계속적-스틸-픽셀-위치 검출부(47)는 스틸-픽셀 판정부들(42 내지 46)로부터 송신된 모든 판정 결과들이 스틸 부분들을 지시하는 위치에 있는 입력 픽셀 x(t)를 검출하고, 이 위치를 메모리 제어기(48)에 송신한다.
메모리 제어기(48)는 분산 누산 메모리(40)를 제어하여 분산 계산부(39)로부터 출력된 분산들 중에서, 계속적-스틸-픽셀-위치 검출부(47)로부터 송신된 스틸 부분들에 위치된 픽셀들로부터 구한 분산들만을 누산하도록 한다. 새로운 프레임의 일벽 픽셀들이 송신되기 시작함을 지시하는 프레임 리셋 신호는 메모리 제어기(48)에 전송된다. 메모리 제어기(48)가 프레임 리셋 신호를 수신하면, 메모리 제어기(48)는 프레임-평균-분산 계산부(41)에 지시하여 분산 누산 메모리(40)에 저장되어 있는 누산된 분산값의 평균을 계산하도록 하고, 분산 누산 메모리(40)의 저장값들을 제로로 리셋한다.
상술한 구성을 갖는 노이즈량 평가부(2)에서는, 처리될 프레임(목표 프레임)을 구성하는 입력 픽셀들 중에서 스틸 부분들에 위치된 입력 픽셀들만 입력 픽셀들의 노이즈량 평가를 위한 노이즈량 평가 처리를 실행하는 데에 사용된다.
도 8은 노이즈량 평가 처리의 플로우챠트이다.
노이즈량 평가 처리에서는, 먼저 단계 S21에서, 목표 프레임을 구성하는 선정된 입력 픽셀이 목표 픽셀 x(t)로 세팅되고, 목표 입력 픽셀과, 이전 네개의 프레임들에서 목표 입력 픽셀 x(t)와 같은 위치에 있는 입력 픽셀들 x(t-1) 내지 x(t-4)로 된 총 다섯 개의 피셀들의 분산이 계산되고, 다섯 개의 픽셀들 x(t) 내지 x(t-4) 각각이 스틸 부분에 속하는 픽셀(스틸 픽셀)인지가 판정된다.
더 구체적으로, 지연 회로(31)와 분산 계산부(39)는 목표 프레임을 구성하는 입력 픽셀 x(t)를 수신하고, 지연 회로(35)와 스틸-픽셀 판정부(42)는 ME부(1)에 의해 검출된 입력 픽셀 x(t)의 모션 벡터를 수신한다.
지연 회로들(31 내지 34) 각각은 수신된 입력 픽셀을 한 프레임에 해당하는 시간만큼 지연하고, 이것을 분산 계산부(39)에 송신한다. 이러한 동작으로, 분산 계산부(39)는 입력 픽셀들 x(t) 내지 x(t-4)을 같은 타이밍에 수신한다. 분산 계산부(39)는 입력 픽셀들 x(t) 내지 x(t-4)의 분산을 구하고, 이것을 분산 누산 메모리(40)에 송신한다.
지연 회로들(35 내지 38)은 수신된 모션 벡터들을 한 프레임에 해당하는 시간만큼 지연하고, 이들을 스틸-픽셀 판정부들(42 내지 46)에 각각 송신한다. 그러므로, 스틸-픽셀 판정부들(42 내지 46)은 입력 픽셀들 x(t) 내지 x(t-4)의 모션 벡터들 v(t) 내지 v(t-4)을 같은 타이밍에 수신한다. 스틸-픽셀 판정부들(42 내지 46)은 수신된 모션 벡터들 v(t) 내지 v(t-4)에 따라 입력 픽셀들 x(t) 내지 x(t-4)이 스틸 부분들에 속하는 픽셀들인지를 판정하고, 판정 결과를 계속적-스틸-픽셀-위치 검출부(47)에 송신한다.
계속적-스틸-픽셀-위치 검출부(47)는 스틸 픽셀 판정부들(42 내지 46)에 의해 실행된 스틸 픽셀 판정 결과들에 따라 연속적인 프레임들 (이 경우에는, (t-4)번째 프레임부터 t번째 프레임까지의 다섯 개의 프레임들) 내의 목표 입력 픽셀 x(t)의 스틸 위치를 검출한다. 검출 결과는 메모리 제어기(48)에 송신된다.
단계 S22에서 메모리 제어기(48)는 계속적-스틸-픽셀-위치 검출부(47)의 출력에 따라, 목표 입력 픽셀 x(t)의 위치가 연속적인 프레임들 내의 스틸 부분에 속하는 지의 여부를 판정한다. 단계 S22에서 메모리 제어기(48)가 목표 입력 픽셀 x(t)의 위치가 연속적인 프레임들 내의 스틸 부분에 속하지 않는다고 판정하면, 다 시 말해서, 목표 입력 픽셀 x(t)와 같은 위치에 있는 입력 픽셀들 x(t-1) 내지 x(t-4) 중의 어떠한 것도 모션을 갖는다면, 메모리 제어기(48)는 분산 누산 메모리(40)에 지시하여 분산 계산부(39)로부터 송신된 분산을 버리도록 하고, 처리는 단계 S23을 생략하고 단계 S24로 진행한다. 그러므로, 이 경우, 분산 누산 메모리(40)는 분산 계산부(39)로부터 송신된 분산, 즉 모션을 갖는 픽셀로부터 구해진 분산을 누산하지 않고 버린다.
단계 S22에서 메모리 제어기(48)가 목표 입력 픽셀 x(t)의 위치가 연속적인 프레임들 내의 스틸 부분에 속한다고 판정하면, 다시 말해서, 목표 입력 픽셀 x(t)와 같은 위치에 있는 입력 픽셀들 x(t-1) 내지 x(t-4) 중의 어떠한 것도 모션을 갖지 않는다면, 처리는 단계 S23으로 진행하고, 메모리 제어기(48)는 분산 누산 메모리(40)에 지시하여 분산 계산부(39)로부터 송신된 분산을 누산하도록 한다. 그런 다음, 처리는 단계 S24로 진행한다. 그러므로, 이 경우, 분산 누산 메모리(40)는 분산 계산부(39)로부터 송신된 분산을 누적한다. 즉, 이 스틸 픽셀로부터 구한 분산을 이미 누산된 분산 값에 가산하고, 누산된 값을 저장한다.
단계 S24에서, 제어기(도시되지 않음)는 목표 프레임을 구성하는 모든 입력 픽셀들이 목표 입력 픽셀들로서 세팅되었었고 처리되었는지를 판정한다. 아직 모든 입력 픽셀들이 목표 픽셀들로 세팅되었지는 않았다고 판정되면, 처리는 단계 S21로 되돌아가고, 목표 프레임을 구성하지만 아직 목표 입력 픽셀로 세팅되지 않았던 입력 픽셀이 새로운 목표 입력 픽셀로 세팅되고, 단계 S21의 프로세스들과 후속 단계들이 반복된다.
단계 S24에서 제어기(도시되지 않음)가 목표 프레임을 구성하는 모든 입력 픽셀들이 목표 입력 픽셀들로서 세팅되었었고 처리되었다고 판정하면, 처리는 단계 S25로 진행하고, 프레임-평균 분산 계산부(41)는 목표 프레임을 구성하는 각 입력 픽셀에 포함된 노이즈량을 구한다.
더 구체적으로, 목표 프레임의 모든 입력 픽셀들이 처리되었다면, 메모리 제어기(48)는 프레임 리셋 신호를 수신한다. 메모리 제어기(48)가 프레임 리셋 신호를 수신하면, 메모리 제어기(48)는 프레임-평균-분산 계산부(41)에 지시하여 분산 누산 메모리(40)에 저장된 누산된 분산 값의 평균을 계산하도록 하고, 분산 누산 메모리(40)의 저장 값을 제로로 리셋한다.
프레임-평균-분산 계산부(41)는 메모리 제어기(48)의 제어하에, 분산 누산 메모리(40)에 저장된 한 프레임의 누산된 분산 값의 평균을 계산한다. 분산 누산 메모리(40)는 상술한 바와 같이 스틸 픽셀들로부터 구한 분산들만을 누산하고, 누산된 분산 값을 저장한다. 그러므로, 프레임-평균-분산 계산부(41)는 스틸 픽셀들 (다섯 개 프레임들에서 계속적으로 스틸인 픽셀들)로부터 구한 분산들의 평균을 계산한다. 이 평균은 목표 프레임(t번째 프레임)을 구성하는 입력 픽셀들 내에 포함된 노이즈량 N(t)로서 출력된다.
그런 다음, 처리는 단계 S26으로 진행하고, 제어기(도시되지 않음)는 다음 프레임의 입력 픽셀들과 그들의 모션 벡터들이 찾아졌는지를 판정한다. 이들이 찾아졌다고 판정되면, 처리는 단계 S21로 돌아가고, 이 프레임은 새로운 목표 프레임으로서 세팅되고, 상술한 바와 같은 프로세스들이 반복된다.
단계 S26에서 제어기가 다음 프레임의 입력 픽셀들과 그들의 모션 벡터들이 찾아지지 않았다고 판정하면, 노이즈량 평가 처리는 중단된다.
상술한 바와 같이, 노이즈량 평가부(2)는 목표 프레임으로부터 이전 네 개의 프레임들 까지 총 다섯 개의 프레임들에서 계속적으로 스틸 상태이고, 같은 위치에 있는 다섯 개의 픽셀들을 검출하고, 다섯 개 픽셀들의 분산의 평균을 목표 프레임의 입력 픽셀들 내에 포함되어 있는 평가된 노이즈량으로서 사용한다. 그러므로, 이 경우, 모션을 갖는 픽셀이 노이즈량을 평가하는 데에 사용되지 않기 때문에, 이미지의 모션은 평가된 노이즈량에 영향을 주지 않도록 차단된다. 다시 말해서, 이미지의 모션에 의해 거의 영향을 받지 않는 노이즈량 (진정한 노이즈량에 근사한 노이즈량)이 평가된다.
상술한 경우, 분산은 목표 프레임으로부터 이전의 네 개의 프레임까지 계속해서 스틸 상태이고 동일한 위치에 있는 5개의 픽셀들로부터 구해진다. 분산이 구해질 픽셀들은 다섯 개 픽셀들로만 한정되지는 않는다.
도 9는 도 2에 도시된 노이즈 감쇠부(3)의 구조예를 나타낸다. 노이즈 감쇠부(3)는 입력 픽셀 x(t)로부터 노이즈를 제거하기 위해 노이즈 감쇠 처리를 수행한다.
더 구체적으로, 메모리 제어기(51, 52)는 ME부(1)에 의해 검출된 입력 픽셀 x(t)의 모션 벡터 v(t)를 수신한다. 메모리 제어기들(51, 52)은 모션 벡터 v(t)에 따라 메모리(4)와 메모리(5)의 판독 어드레스들을 지정하고, 메모리(4)와 메모리(5)로부터 각각 한 프레임 전에 구해진 출력 픽셀 y(t-1)의 출력 신뢰도 αy(t-1)과 출력 픽셀 y(t-1)을 판독한다. 메모리 제어기(51)는 메모리(4)로부터 판독된 출력 신뢰도 αy(t-1)를 가중치 및 신뢰도 계산부(55)에 전송하고, 메모리 제어기(52)는 메모리(5)로부터 판독된 출력 픽셀 y(t-1)을 프레임간 편차 계산부(53)와 가중-평균 계산부(56)에 전송한다.
프레임간 편차 계산부(53)는 상술한 바와 같이 메모리 제어기(52)로부터 송신된 출력 픽셀 y(t-1)을 수신하고 입력 픽셀 x(t)을 수신한다. 프레임간-편차 계산부(53)는 입력 픽셀 x(t)와 한 프레임 전에 구해진 그에 대응하는 출력 픽셀 y(t-1) 간의 편차의 절대값, 즉 입력 픽셀 x(t)에 대해 검출된 모션 벡터 v(t)의 오차 D(t)를 계산하고, 이것을 벡터 신뢰도 계산부(54)에 송신한다.
벡터 신뢰도 계산부(54)는 상술한 바와 같이 프레임간-편차 계산부(53)로부터 오차 D(t)를 수신하고, 노이즈량 평가부(2)로부터 송신된 입력 픽셀 x(t)의 노이즈량 N(t)를 수신한다. 벡터 신뢰도 계산부(54)는 오차 D(t)와 노이즈량 N(t)를 사용하여 수학식 15에 따른 모션 벡터 v(t)의 신뢰도를 나타내는 벡터 신뢰도 "m"을 계산하고, 이것을 가중치와 신뢰도 계산부(55)에 전송한다.
가중치와 신뢰도 계산부(55)는 상술한 바와 같이 메모리 제어기(51)로부터 출력 신뢰도 αy(t-1)와 벡터 신뢰도 계산부(54)로부터 벡터 신뢰도 "m"와, 노이즈량 평가부(2)로부터 송신된 입력 픽셀 x(t)의 입력 신뢰도 αx(t)를 수신한다. 가중치와 신뢰도 계산부(55)는 노이즈량 N(t)에 따라 입력 픽셀 x(t)의 입력 신뢰도 αx(t)를 구하고, 입력 신뢰도 αx(t)와, 메모리 제어기(51)로부터 송신된 출력 신뢰도 αy(t-1)과 벡터 신뢰도 계산부(54)로부터 송신된 벡터 신뢰도 "m"을 사용하여, 수학식 13과 14에 따라 입력 픽셀 x(t)에 대응하는 출력 신뢰도 αy(t)와 출력 픽셀 y(t)를 계산하는 데에 사용되는 가중치 w(t)를 구한다. 가중치와 신뢰도 계산부(55)에 의해 구해진 출력 신뢰도 αy(t)는 메모리(4)에 전송되어 거기에 저장되고, 가중치 w(t)는 가중-평균 계산부(56)에 송신된다.
가중-평균 계산부(56)는 수신된 입력 픽셀 x(t), 출력 픽셀 y(t-1), 및 가중치 w(t)를 사용하여 수학식 8에 따라 가중화된 평균 (가중화된 합)을 계산하고, 구해진 값을 입력 픽셀 x(t)로부터 노이즈를 제거함으로써 구한 출력 픽셀 y(t) (입력 픽셀 x(t)에 대응하는 출력 픽셀 y(t))로서 출력한다.
그 다음으로, 도 3에 도시된 노이즈 감쇠부(3)에 의해 실행된 노이즈 감쇠 처리가 도 10에 도시된 플로우챠트를 참조하여 설명된다.
목표 입력 픽셀 x(t), 즉 처리될 입력 픽셀 x(t)는 프레임간 편차 계산부(53)와 가중-평균 계산부(56)에 입력된다. 이와 동시에, 단계 S31에서, 입력 픽셀 x(t)에 대응하는 한 프레임 전에 구해진 출력 픽셀 y(t-1)은 프레임간 편차 계산부(53)와 가중-평균 계산부(56)에 송신되고, 그의 출력 신뢰도 αy(t-1)은 가중치와 신뢰도 계산부(55)에 송신된다.
더 구체적으로, 목표 픽셀 x(t)는 프레임간 편차 계산부(53)와 가중-평균 계산부(56)에 송신되고, 이와 동시에 목표 입력 픽셀 x(t)의 모션 벡터 v(t)는 메모 리 제어기들(51, 52)에 송신된다.
메모리 제어기(51)는 목표 픽셀 x(t)에 대응하는, 한 프레임 전에 구해진 출력 픽셀 y(t-1)의 출력 신뢰도 αy(t-1)가 메모리(4)에 저장되어 있는 어드레스를 계산하고, 이 어드레스에서 출력 신뢰도 αy(t-1)을 판독하고, 이것을 가중치와 신뢰도 계산부(55)에 송신한다. 메모리 제어기(52)는 모션 벡터 v(t)에 따라, 목표 입력 픽셀 x(t)에 대응하여, 한 프레임 전에 구해진 출력 픽셀 y(t-1)이 메모리(5)에 저장된 어드레스를 계산하고, 이 어드레스에서 출력 픽셀 y(t-1)을 판독하여, 이것을 프레임간 편차 계산부(53) 및 가중치와 신뢰도 계산부(55)에 송신한다.
처리는 단계 S32로 진행한다. 프레임간 편차 계산부(53)는 메모리 제어기(52)로부터 송신된 출력 픽셀 y(t-1)과 입력 픽셀 x(t) 간의 편차, 즉 목표 입력 픽셀 x(t)에 대해 검출된 모션 벡터 v(t)의 오차 D(t)를 계산한다. 오차 D(t)는 벡터 신뢰도 계산부(54)에 전송된다.
벡터 신뢰도 계산부(54)는 목표 입력 픽셀 x(t)를 포함한 프레임 (목표 프레임)에 대한 처리가 시작하면, 노이즈량 평가부(2)로부터 노이즈량 N(t)를 수신한다. 벡터 신뢰도 계산부(54)는 오차 D(t)와 노이즈량 N(t)을 사용하여 수학식 15에 따라 모션 벡터 v(t)의 신뢰도를 나타내는 벡터 신뢰도 "m"을 계산한다. 벡터 신뢰도 "m"은 가중치와 신뢰도 계산부(55)에 송신되고, 처리는 단계 S34로 진행한다.
단계 S34에서, 가중치와 신뢰도 계산부(55)는 목표 입력 픽셀 x(t)의 입력 신뢰도 αx(t)를 계산하고, 입력 픽셀 x(t)에 대응하는 출력 픽셀 y(t)의 출력 신뢰도 αy(t)와 출력 픽셀 y(t)를 구하는 데에 사용되는 가중치 w(t)를 더 구한다.
더 구체적으로, 가중치와 신뢰도 계산부(55)는 노이즈량 N(t)을 사용하여 다음과 같은 수학식 16에 따라 목표 입력 픽셀 x(t)의 입력 신뢰도 αx(t)를 구한다.
Figure 112000022728971-pat00015
N(t)는 상술한 바와 같이 이미지 모션에 의해 거의 영향을 받지 않는 노이즈량 (진정한 노이즈량에 근사한 노이즈량)을 나타내고, 목표 입력 픽셀 x(t)의 신뢰도를 나타내는 입력 신뢰도의 정도는 수학식 16에 나타낸 바와 같이 입력 신뢰도 αx(t)를 노이즈량을 사용하여 정의함으로써 구해진다. 노이즈량 N(t)는 상술한 바와 같이 목표 프레임으로부터 이전 네 개의 프레임들까지 계속해서 스틸 상태로 있고 동일한 위치에 있는 다섯 개의 픽셀들의 분산의 평균이다. 그러므로, 목표 프레임에서 하나의 노이즈량만이 구해진다. 그 결과, 입력 신뢰도 αx(t)가 노이즈량 n(t)로부터 구해지기 때문에, 목표 프레임에서 하나의 입력 신뢰도만이 구해진다. 다시 말해서, 입력 신뢰도 αx(t)는 목표 프레임 내의 각 입력 픽셀 x(t)이 노이즈량 N(t)을 포함하는 조건에서 구해진다.
가중치와 신뢰도 계산부(55)는 수학식 16에 의해 계산된 입력 신뢰도 αx(t)와, 메모리 제어기(51)로부터 송신된 출력 신뢰도 αy(t-1)과, 벡터 신뢰도 계산부(54)로부터 송신된 벡터 신뢰도 "m"을 사용하여, 수학식 13과 14에 따라, 입력 픽셀 x(t)에 대응하는 출력 픽셀 y(t)의 출력 신뢰도 αy(t)와, 출력 픽셀 y(t)를 구하는 데 사용되는 가중치 w(t)를 구한다. 출력 신뢰도 αy(t)는 메모리(4)에 전송되어 거기에 저장되고, 가중치 w(t)는 가중-평균 계산부(56)에 송신된다.
단계 S35에서, 가중-평균 계산부(56)는 목표 입력 픽셀 x(t), 메모리 제어기(52)로부터 송신된 출력 픽셀 y(t-1), 및 가중치와 신뢰도 계산부(55)로부터 송신된 가중치 w(t)를 사용하여 수학식 8에 따라 가중화된 평균 (가중화된 합)을 계산한다. 더 구체적으로, 가중-평균 계산부(56)는 목표 입력 픽셀 x(t)을 가중치 (1-w(t))에 대응시켜, 목표 입력 픽셀 x(t)와 한 프레임 전해 구해진 출력 픽셀 y(t-1)의 가중화된 합을 계산하고, 이 합을 입력 픽셀 x(t)로부터 노이즈를 제거함으로써 구해진 출력 픽셀 y(t)로서 출력한다. 여기서, w(t)는 가중치들로서 사용된다. 출력 픽셀 y(t)는 메모리(5)에 송신되고 거기에 저장된다.
그런 다음, 처리는 단계 S36으로 진행하고, 제어기(도시되지 않음)는 목표 프레임의 모든 입력 픽셀들이 처리되었는지의 여부를 판정한다. 모든 픽셀들이 아직 처리되지는 않았다고 판정되면, 처리는 단계 S31로 돌아가서, 목표 입력 픽셀로 세팅되지 않았었던 목표 프레임의 입력 픽셀이 새로운 입력 픽셀로 세팅되고, 프로세스는 단계 S31과 후속 프로세스들이 반복된다.
단계 S36에서 제어기가 목표 프레임의 모든 입력 픽셀들이 처리되었다고 판정하면, 처리는 단계 S37로 진행하고, 다음에 처리될 프레임이 찾아졌는지의 여부 가 판정된다. 단계 S37에서, 다음에 처리될 프레임이 찾아졌다고 판정되면, 처리는 단계 S31로 돌아가고, 다음에 처리될 프레임이 새로운 목표 프레임으로 세팅되고 상술한 바와 동일한 프로세스들이 반복된다.
단계 S36에서 제어기가 다음에 처리될 프레임이 찾아지지 않았다고 판정하면, 노이즈 감쇠 처리는 중단된다.
상술한 바와 같이, 입력 픽셀 x(t)에 포함된 노이즈량은 스틸 부분들에 속하는 픽셀들만을 사용하여 평가되고, 입력 신뢰도 αx(t)는 노이즈량으로부터 구해지고, 모션 벡터 v(t)의 벡터 신뢰도 "m"이 구해지고, 출력 신뢰도 αy(t-1)은 보상항으로서 사용되는 벡터 신뢰도 "m"으로 보상된다. 그러므로, 노이즈는 움직이는 이미지로부터 보다 효과적으로 제거된다.
상술한 경우에, 출력 신뢰도는 벡터 신뢰도 "m"에 의해 보상된다. 또한, 입력 신뢰도 역시 보상될 수 있다.
더 구체적으로, 상술한 경우에, 노이즈량 평가부(2)는 시간축 방향에서 계속적으로 스틸인 입력 픽셀들의 분산들의 평균을 계산하고, 그 역수를 입력 픽셀 x(t)의 입력 신뢰도 4x(t)로 세팅한다. 이 경우, 스틸 입력 픽셀들의 평균은 트리값으로 설정된다. 그러나, 이 평균은 입력 픽셀의 참값과 정합할 필요는 없다. 그러므로, 입력 신뢰도 x(t)가 참값을 갖는지를 나타내는 신뢰도를 나타내는 입력 신뢰도 αx(t)는, 예를 들어, 수학식 17에 기재된 바와 같이 참값 X에 대한 입력 픽셀 x(t)의 에러를 직접 반영하는 값으로 표현되는 것이 이상적이다. (수학식 17에 서, 입력 신뢰도 αx(t)는 참값 X에 대한 입력 픽셀 x(t)의 에러의 제곱의 역수로 설정되고, 이것은 입력 픽셀 x(t)에 포함된 노이즈의 제곱의 역수이다.
Figure 112000022728971-pat00016
입력 픽셀 x(t)의 참값 X는 수학식 17에서 미지수이기 때문에, 입력 신뢰도 αx(t)는 참값 X를 사용하지 않고서 구해질 필요가 있다. 그러므로, 상술한 경우에, 입력 신뢰도 αx(t)는 스틸 입력 픽셀들의 평균이 입력 픽셀 x(t)의 참값이라고 가정하여 구해진다.
그 결과, 스틸 입력 픽셀들의 평균이 입력 픽셀 x(t)의 참값으로부터 시프트되었다면, 입력 신뢰도 αx(t)에 의해 표현된, 입력 픽셀 x(t)의 신뢰도는 그 시프트된 것만큼 신뢰적이지 않다.
더 구체적으로, 스틸 입력 픽셀들의 평균이 근사적인 참값 X'으로서 사용되고, 근사적인 참값 X'에 대한 입력 픽셀 x(t)의 에러의 제곱 (x(t) - X')2의 역수가 입력 신뢰도 αx(t)로서 사용된다면, 입력 신뢰도는 다음과 같은 수학식 18에 의해 표현된다.
Figure 112000022728971-pat00017
수학식 18에서 (△x(t))2은 입력 픽셀 x(t)의 근사적인 참값 X'에 대한 에러의 제곱 (x(t)-X')2이며, 픽셀 x(t)에 포함된 노이즈가 거의 평가된다. 그러나, (△x(t))2은 근사적 참값 X'의 참값에 대한 에러를 포함하지 않는다. 그러므로, 이 에러의 제곱은 도 11에 도시된 바와 같이 참값 X에 대한 입력 픽셀 x(t)의 에러의 제곱 (x(t)-X')2과는 기본적으로 다르다.
근사적인 참값 X'에 대한 입력 픽셀 x(t)의 에러의 제곱 (△x(t))2이 참값 X에 대한 입력 픽셀 x(t)의 에러의 제곱 (x(t)-X)2과 같다는 것을 나타내는 신뢰도, 즉 근사적인 참값 X'이 참값 X와 같다는 것을 나타내는 신뢰도는 입력 신뢰도 αx(t)를 보상하기 위해 사용되는 보상항 (보상값) (σx')2으로서 도입된다. 근사적인 참값 X'에 대한 입력 픽셀 x(t)의 에러의 제곱 (x(t))2의 역수로 표시되는 입력 신뢰도 αx(t)는 보다 더 신뢰적인 입력 신뢰도 αx(t) (입력 픽셀 x(t)가 참값임을 지시하는 신뢰도를 보다 더 신뢰적으로 나타내는 입력 신뢰도 αx(t))를 구하기 위해 보상된다.
예를 들어, 근사적인 참값 X'으로서 입력 픽셀 x(t)를 포함한, N개의 이전 입력 픽셀들 x(t) 내지 x(t-(N-1))의 평균 (동 평균)으로서 수학식 19에 나타낸 식 이 사용된다고 가정한다.
Figure 112000022728971-pat00018
수학식 19에서, 위에 바아(bar)를 갖는 x는 입력 픽셀들 x(t) 내지 x(t-(N-1))의 평균을 나타낸다. 본 명세서에서, 위에 바아를 갖는 x는
Figure 112000022728971-pat00019
로 표시된다.
이 경우, 보상항 (σx')2으로서는 다음의 수학식 20에 나타낸 바와 같은, 입력 픽셀 x(t)를 포함한 N개의 이전 입력 픽셀들 x(t) 내지 x(t-(N-1))의 분산의 평균 (σ
Figure 112000022728971-pat00020
)2이 사용된다.
Figure 112000022728971-pat00021
수학식 20의 우측의 수치를 (N-1)로 나눔으로써 구해진 값은 입력 픽셀들 x(t) 내지 x(t-(N-1))의 분산이다. 수학식 20에서, 이 값은 N으로 나눠져서 N개의 이전 입력 픽셀들 x(t) 내지 x(t-(N-1))의 분산의 평균 (σ
Figure 112000022728971-pat00022
)2을 구한다. 수학식 20에 의해 구해진 평균 (σ
Figure 112000022728971-pat00023
)2은 통계학적으로 "평균의 분산"으로서 일컬어진다. 분산이 N으로 나누어지기 때문에, "분산의 평균"으로 불리는 것이 더 이해하기 쉬울 것이다. 그러므로, 본 명세서에서는 "분산의 평균"으로서 일컬어진다.
이 경우, 예를 들어, 입력 신뢰도 αx(t)는 다음의 수학식 21에 따라 보상된다.
Figure 112000022728971-pat00024
수학식 21에서, 근사적인 참값 X'에 대한 입력 픽셀 x(t)의 에러의 제곱 (△x(t))2 (보상 전의 입력 신뢰도의 역수)은 보상항 (σx')2에 의해 보상되고, 그의 역수는 보상된 신뢰도 αx(t)로서 구해진다.
통계학적으로, 근사적인 참값 X'에 대한 입력 픽셀 x(t)의 에러의 제곱 (△x(t))2은 많은 경우들에 있어서 참값 X에 대한 입력 픽셀 x(t)의 에러 제곱 (x(t)-X)2보다 더 작게 평가되기 때문에, 에러 제곱 (△x(t))2과 보상항 (σx')2의 합의 역수는 수학식 21에 나타낸 바와 같이 입력 신뢰도 αx(t)로서 사용된다. 그러면, 이 입력 신뢰도 αx(t)는 입력 픽셀 x(t)가 참값인지를 나타내는 신뢰도를 더 정확하게 표현한다.
수학식 17 내지 21에서, 근사적인 참값 X'에 대한 입력 픽셀 x(t)의 에러의 제곱의 역수에 의해 정의된 입력 신뢰도 Sx(t)는 보상된다. 상술한 경우에서와 마찬가지로, 수학식 16에 나타낸 입력 신뢰도 αx(t)는, αx(t) = 1/N(t)에서 분모 N(t) 에 보상항 (σx')2을 가산함으로써 보상되어, 보다 더 신뢰적인 입력 신뢰도 αx(t) 를 구한다.
본 발명은 이미지 데이터, 사운드 데이터, 및 다른 데이터 항목들로부터 노이즈가 제거되는 경우에도 적용될 수 있다.
본 실시예에 있어서, 본 발명에 대한 상술한 설명은 노이즈를 제거하는 측면에서 행해졌다. 본 발명에서는, 상술한 바와 같이, 입력 데이터는 출력 데이터가 시간이 경과함에 따라 향상되도록 처리되기 때문에, 본 발명은 입력 데이터의 파형 성형(waveform shaping 또는 waveform equalization)에도 적용될 수 있다.
상술한 일련의 처리는 하드웨어나 소프트웨어에 의해 구현될 수 있다. 일련의 처리가 소프트웨어에 의해 달성된다면, 소프트웨어를 구성하는 프로그램은 특별한 하드웨어로서 기능하는 노이즈 제거 장치에 내장된 컴퓨터나 또는 범용 컴퓨터에 인스톨된다.
도 12는 상술한 일련의 처리를 실행하는 프로그램이 인스톨된 컴퓨터의 구조예를 나타낸다.
프로그램은 컴퓨터에 내장되어 기록 매체로서 역할을 하는 하드 디스크(405)나 판독-전용-메모리(ROM)(403)에 미리 기록된다.
대안적으로, 이 프로그램은 플로피 디스크, 컴팩트 디스크 판독-전용 메모리 (CD-ROM), 자기 광학 (MO) 디스크, DVD(Digital Versatile Disk), 자기 디스크, 또는 반도체 메모리와 같은 소거가능한 기록 매체(411)에 임시적으로 또는 영구적으 로 저장(기록)될 수 있다. 이러한 소거 가능 기록 매체(411)는 소위 패키지 소프트웨어로서 제공될 수 있다.
이 프로그램은 상술한 소거가능 기록 매체(411)로부터 컴퓨터에 인스톨될 수 있다. 대안적으로, 프로그램은 디지털 위성 방송을 위한 인공 위성을 통해 다운로딩 사이트로부터 컴퓨터에 무선으로 전송될 수 있고, 또는 로컬 에어리어 네트워크(LAN)이나 인터넷과 같은 네트워크를 통해 와이어로 컴퓨터에 전송될 수 있다. 전송된 프로그램은 통신부(408)에 의해 수신되어 내장 하드 디스크(405)에 인스톨된다.
컴퓨터는 중앙 처리 장치(CPU, 402)를 포함한다. CPU(402)는 버스(401)를 통해 입력 및 출력 인터페이스(410)에 접속된다. 사용자는 키보드, 마우스, 및 마이크로폰으로 구성된 입력부(407)를 조작하여 입력 및 출력 인터페이스(410)를 통해 명령을 입력하고, CPU(402)는 명령에 따라 ROM(403)에 저장된 프로그램을 실행한다. 대안적으로, CPU(402)는 하드 디스크(405)에 저장된 프로그램을 랜덤 액세스 메모리(RAM, 404)에 로드하는데, 이 프로그램은 인공 위성이나 네트워크를 통해 전송되어 통신부(408)에 의해 수신되고 하드 디스크(405)에 인스톨되었을 수도 있으며, 또는 상기 프로그램은 소거 가능 기록 매체(411)로부터 판독되어 하드 디스크(405)에 인스톨되었을 수도 있고, CPU(402)는 이것을 실행한다. 이러한 동작으로, CPU(402)는 처리 결과를, 예를 들어 입력 및 출력 인터페이스(410)를 통해 액정 표시 장치와 스피커로 구성된 출력부(406)에 출력하거나, 필요에 따라 이 결과를 통신부(408)로부터 전송하거나, 또는 이 결과를 하드 디스크(405)에 기록한다.
본 명세서에서, 컴퓨터 내에서 여러가지 타입들의 처리들을 실행하기 위한 프로그램들을 설명하는 단계들은 반드시 플로우챠트들에 나타낸 단계들의 순서에 따라 시간 순차적인 방식으로 처리될 필요는 없다. 병렬 처리가나 오브젝트들별 처리과 같은 병렬적으로 또는 개별적으로 실행될 처리가 포함될 수도 있다.
프로그램들은 하나의 컴퓨터에 의해서만 처리될 수 있으며, 또는 복수개의 컴퓨터들에 의해 분산-처리될 수도 있다. 이 프로그램은 원격 컴퓨터에 전송되어 실행될 수도 있다.
본 발명의 이미지 처리 장치 및 이미지 처리 방법에 따르면, 각 입력 픽셀의 모션이 판정되고, 스틸 부분에 속하는 입력 픽셀에 포함된 노이즈량이 상기 판정 결과에 따라 평가된다. 그런 다음, 노이즈량에 따라, 입력 픽셀의 신뢰도를 나타내는 입력 신뢰도가 계산되고, 출력 픽셀의 신뢰도를 나타내는 출력 신뢰도도 계산된다. 입력 픽셀은 입력 신뢰도와 출력 신뢰도에 따라 처리되어 대응하는 출력 픽셀을 출력한다. 그러므로, 동화상 데이터에 포함된 노이즈가 보다 더 효과적으로 제거된다.
본 발명의 데이터 처리 장치 및 데이터 처리 방법에 따르면, 입력 데이터의 신뢰도를 나타내는 입력 신뢰도가 계산되고, 출력 신뢰도를 나타내는 출력 신뢰도도 계산된다. 출력 신뢰도를 보상하기 위해 사용되는 출력 보상항이 계산된다. 그런 다음, 출력 신뢰도는 출력 보상하에 따라 보상된다. 입력 데이터는 입력 신뢰도와 보상된 출력 신뢰도에 따라 처리되어 대응하는 출력 데이터가 출력된다. 그러므로, 출력 데이터가 참값임을 지시하는 신뢰도를 더 정확하게 나타내는 출력 신뢰도가 구해진다. 이러한 출력 신뢰도를 사용함으로써, 노이즈가 보다 효과적으로 제거된다.

Claims (20)

  1. 입력된 픽셀 데이터를 처리하고 상기 처리된 입력 픽셀 데이터를 출력 픽셀 데이터로서 출력하는 이미지 처리 장치에 있어서,
    상기 입력된 픽셀 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 입력 신뢰도 계산 수단;
    상기 출력 픽셀 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 출력 신뢰도 계산 수단;
    상기 입력된 픽셀 데이터의 모션량을 검출하는 모션량 검출 수단;
    상기 모션량의 신뢰도를 나타내는 모션량 신뢰도를 계산하는 모션량 신뢰도 계산 수단;
    상기 모션량 신뢰도에 따라 상기 출력 신뢰도를 보상하는 보상 수단; 및
    상기 입력 신뢰도와 상기 보상된 출력 신뢰도에 따라 상기 입력 픽셀 데이터를 처리하고, 상기 출력 픽셀 데이터를 출력하는 처리 수단
    을 포함하는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 모션량 검출 수단은 상기 입력 픽셀 데이터에 대응하는 모션 벡터를 검출하는 이미지 처리 장치.
  3. 제2항에 있어서, 상기 모션량 검출 수단은 상기 입력 픽셀 데이터를 포함하고 상기 입력 픽셀 데이터 주위에 위치된 소정의 수의 픽셀들로 형성된 이미지 블록과, 이전 스크린에 포함되고 상기 이미지 블록과 같은 사이즈를 갖는 다른 이미지 블록 간의 대응 픽셀들의 편차들을 계산하고, 상기 모션 벡터를 검출하기 위해 상기 편차들에 따라 상기 이전 스크린 내의 상기 다른 이미지 블록의 위치를 검색하는 이미지 처리 장치.
  4. 제3항에 있어서, 상기 모션량 검출 수단은 상기 이미지 블록들 간의 대응 픽셀들의 편차들의 절대값의 합들의 최소값과 그 다음 최소값 간의 차가 소정의 값 이하이면, 상기 이미지 블록들의 사이즈를 확대하고, 상기 편차들의 절대값의 합들의 최소값과 상기 편차들의 절대값의 합들의 그 다음 최소값 간의 차가 상기 소정의 값보다 크면, 상기 편차들의 절대값의 합이 최소로 되는 상기 이전 이미지 스크린 내의 상기 다른 이미지 블록의 위치에 따라 모션 벡터를 검출하는 이미지 처리 장치.
  5. 제3항에 있어서, 상기 모션량 신뢰도 계산 수단은 상기 편차들에 따라 상기 모션 벡터의 신뢰도를 계산하는 이미지 처리 장치.
  6. 제4항에 있어서, 상기 모션량 신뢰도 계산 수단은 상기 편차들의 절대값의 합들의 최소값에 따라 상기 모션 벡터의 신뢰도를 계산하는 이미지 처리 장치.
  7. 제5항에 있어서, 상기 입력 픽셀 데이터 내에 포함된 노이즈량을 평가하는 노이즈량 평가 수단을 더 포함하고,
    상기 모션량 신뢰도 계산 수단은 노이즈량에 따라 모션량 신뢰도를 계산하는 이미지 처리 장치.
  8. 제7항에 있어서, 스크린들 내에 같은 위치들에 있는 소정의 수의 입력 픽셀 데이터를 입력 시간 순서대로 저장하는 입력 픽셀 데이터 저장 수단을 더 포함하고,
    상기 노이즈량 평가 수단은 상기 저장된 입력 픽셀 데이터의 분산에 따라 노이즈량을 평가하고,
    상기 모션량 신뢰도 계산 수단은 상기 평가된 노이즈량에 따라 모션량 신뢰도를 계산하는 이미지 처리 장치.
  9. 제8항에 있어서, 상기 모션량 검출 수단이 상기 저장된 입력 픽셀 데이터가 모두 스틸(still)이라고 판정하면, 상기 노이즈량 평가 수단은 노이즈량을 평가하기 위해 상기 저장된 입력 픽셀 데이터의 분산을 계산하는 이미지 처리 장치.
  10. 제9항에 있어서, 상기 노이즈량 평가 수단은 동일한 스크린에서 계산된 분산들을 평균함으로써 구해진 분산들의 평균을 스크린 내의 평가된 노이즈량으로서 사용하는 이미지 처리 장치.
  11. 제7항에 있어서, 상기 입력 신뢰도 계산 수단은 상기 평가된 노이즈량의 역수를 입력 신뢰도로서 계산하는 이미지 처리 장치.
  12. 제11항에 있어서, 상기 입력 신뢰도 계산 수단은 상기 평가된 노이즈량과 상기 저장된 입력 픽셀 데이터의 분산들의 평균의 합의 역수를 입력 신뢰도로서 계산하는 이미지 처리 장치.
  13. 제12항에 있어서, 소정의 수의 출력 픽셀 데이터를 출력 시간 순서대로 저장하는 출력 픽셀 데이터 저장 수단을 더 포함하고,
    상기 출력 신뢰도 계산 수단은 상기 저장된 출력 픽셀 데이터의 분산의 역수를 출력 신뢰도로서 계산하는 이미지 처리 장치.
  14. 제13항에 있어서, 상기 보상 수단은 출력 신뢰도를 보상하기 위해 상기 출력 신뢰도를 상기 모션량 신뢰도와 곱하는 이미지 처리 장치.
  15. 제13항에 있어서, 상기 처리 수단은 상기 입력 신뢰도와 상기 출력 신뢰도에 따라 소정의 가중 계수를 구하는 가중 계수 계산 수단을 포함하고,
    상기 처리 수단은 현재 출력 픽셀 데이터를 구하기에 효율적인 가중치를 사용하여 상기 입력 픽셀 데이터와 상기 입력 픽셀 데이터에 대응하는 이전 스크린의 출력 픽셀 데이터의 가중화된 가산을 수행하는 이미지 처리 장치.
  16. 입력된 데이터를 처리하고 상기 처리된 입력 데이터를 출력 데이터로서 출력하는 데이터 처리 장치에 있어서,
    상기 입력된 데이터에 포함된 노이즈량을 평가하는 노이즈량 평가 수단;
    상기 노이즈량에 따라, 입력 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 입력 신뢰도 계산 수단;
    상기 출력 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 출력 신뢰도 계산 수단;
    상기 노이즈량에 따라 출력 신뢰도를 보상하는 보상 수단; 및
    상기 입력 신뢰도와 상기 보상된 출력 신뢰도에 따라 입력 데이터를 처리하고, 상기 출력 데이터를 출력하는 처리 수단
    을 포함하는 데이터 처리 장치.
  17. 입력된 픽셀 데이터를 처리하고 상기 처리된 입력 픽셀 데이터를 출력 픽셀 데이터로서 출력하는 이미지 처리 방법에 있어서,
    상기 입력된 픽셀 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계;
    상기 출력 픽셀 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계;
    상기 입력 픽셀 데이터의 모션량을 검출하는 단계;
    상기 모션량의 신뢰도를 나타내는 모션량 신뢰도를 계산하는 단계;
    상기 모션량 신뢰도에 따라 출력 신뢰도를 보상하는 단계; 및
    상기 입력 신뢰도와 상기 보상된 출력 신뢰도에 따라 입력 픽셀 데이터를 처리하고, 상기 출력 픽셀 데이터를 출력하는 단계
    를 포함하는 이미지 처리 방법.
  18. 입력된 데이터를 처리하고 상기 처리된 입력 데이터를 출력 데이터로서 출력하는 데이터 처리 방법에 있어서,
    상기 입력된 데이터에 포함된 노이즈량을 평가하는 단계;
    상기 노이즈량에 따라, 입력 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계;
    상기 출력 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계;
    상기 노이즈량에 따라 출력 신뢰도를 보상하는 단계; 및
    상기 입력 신뢰도와 상기 보상된 출력 신뢰도에 따라 입력 데이터를 처리하고, 상기 출력 데이터를 출력하는 단계
    를 포함하는 데이터 처리 방법.
  19. 입력된 픽셀 데이터를 처리하고 상기 처리된 입력 픽셀 데이터를 출력 픽셀 데이터로서 출력하는 컴퓨터 제어 가능 프로그램을 저장하는 저장 매체에 있어서, 상기 프로그램은,
    상기 입력된 픽셀 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계;
    상기 출력 픽셀 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계;
    상기 입력 픽셀 데이터의 모션량을 검출하는 단계;
    상기 모션량의 신뢰도를 나타내는 모션량 신뢰도를 계산하는 단계;
    상기 모션량 신뢰도에 따라 출력 신뢰도를 보상하는 단계; 및
    상기 입력 신뢰도와 상기 보상된 출력 신뢰도에 따라 입력 픽셀 데이터를 처리하고, 상기 출력 픽셀 데이터를 출력하는 단계
    를 포함하는 저장 매체.
  20. 입력된 데이터를 처리하고 상기 처리된 입력 데이터를 출력 데이터로서 출력하는 컴퓨터 제어 가능 프로그램을 저장하는 저장 매체에 있어서, 상기 프로그램은,
    상기 입력된 데이터에 포함된 노이즈량을 평가하는 단계;
    상기 노이즈량에 따라, 상기 입력 데이터의 신뢰도를 나타내는 입력 신뢰도를 계산하는 단계;
    상기 출력 데이터의 신뢰도를 나타내는 출력 신뢰도를 계산하는 단계;
    상기 노이즈량에 따라 상기 출력 신뢰도를 보상하는 단계; 및
    상기 입력 신뢰도와 상기 보상된 출력 신뢰도에 따라 입력 데이터를 처리하고, 상기 출력 데이터를 출력하는 단계
    를 포함하는 저장 매체.
KR1020000063774A 1999-10-28 2000-10-28 이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치,데이터 처리 방법, 및 저장 매체 KR100724652B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP1999-306648 1999-10-28
JP30664899A JP4344968B2 (ja) 1999-10-28 1999-10-28 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法

Publications (2)

Publication Number Publication Date
KR20010060219A KR20010060219A (ko) 2001-07-06
KR100724652B1 true KR100724652B1 (ko) 2007-06-04

Family

ID=17959647

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000063774A KR100724652B1 (ko) 1999-10-28 2000-10-28 이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치,데이터 처리 방법, 및 저장 매체

Country Status (5)

Country Link
US (1) US6678330B1 (ko)
EP (1) EP1096791A3 (ko)
JP (1) JP4344968B2 (ko)
KR (1) KR100724652B1 (ko)
CN (1) CN1192596C (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US7269220B2 (en) * 2002-07-16 2007-09-11 Broadcom Corporation Adaptive motion detection and control
JP3941644B2 (ja) * 2002-08-15 2007-07-04 ソニー株式会社 画像処理装置および画像処理方法
TWI260509B (en) 2002-08-15 2006-08-21 Sony Corp Method and apparatus for processing image data and semiconductor storage device
US7139035B2 (en) * 2002-12-30 2006-11-21 Texas Instruments Incorporated Video noise floor estimator with impulse noise detection
KR100579493B1 (ko) * 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
FR2860941A1 (fr) 2003-10-14 2005-04-15 Nextream France Dispositif et procede d'estimation de bruit d'un signal video
KR20050049680A (ko) * 2003-11-22 2005-05-27 삼성전자주식회사 노이즈 감쇠장치 및 디인터레이싱 장치
JP4556122B2 (ja) * 2005-01-27 2010-10-06 ソニー株式会社 情報処理装置および方法、並びに回収基板
KR100688536B1 (ko) 2005-03-09 2007-03-02 삼성전자주식회사 영상신호 잡음제거장치 및 영상신호 잡음제거방법
US7663701B2 (en) * 2005-04-11 2010-02-16 Ati Technologies, Inc. Systems, methods, and apparatus for noise reduction
US7570309B2 (en) * 2005-09-27 2009-08-04 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
JP4551873B2 (ja) * 2006-02-07 2010-09-29 Ｏｋｉセミコンダクタ株式会社 雑音量測定装置
JP4692371B2 (ja) * 2006-04-26 2011-06-01 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
JP4714647B2 (ja) * 2006-07-31 2011-06-29 日本放送協会 カット点検出装置及びカット点検出プログラム
KR100787242B1 (ko) * 2006-10-23 2007-12-21 포항공과대학교 산학협력단 격자의 점유 확률을 통한 형상 기반 지도의 신뢰도 평가방법
JP4869049B2 (ja) * 2006-12-08 2012-02-01 株式会社東芝 補間フレーム画像作成方法および補間フレーム画像作成装置
JP4862668B2 (ja) * 2007-01-24 2012-01-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP4321626B2 (ja) * 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
CN101355646B (zh) * 2007-07-26 2010-06-02 广达电脑股份有限公司 噪声消除装置及方法
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
KR100990791B1 (ko) 2008-12-31 2010-10-29 포항공과대학교 산학협력단 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체
JP4930541B2 (ja) * 2009-04-20 2012-05-16 ソニー株式会社 画像処理方法および画像処理装置
WO2011004427A1 (ja) 2009-07-07 2011-01-13 株式会社 東芝 画像処理装置
JP5150862B2 (ja) * 2010-01-08 2013-02-27 中央電子株式会社 画像処理装置、方法、プログラム、および撮像システム
US8670073B2 (en) * 2010-08-02 2014-03-11 Broadcom Corporation Method and system for video noise filtering
KR101669819B1 (ko) 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
US9510018B2 (en) * 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
JP6057629B2 (ja) * 2012-09-07 2017-01-11 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP6100064B2 (ja) * 2013-04-10 2017-03-22 株式会社東芝 電子機器および画像処理方法
US10911698B2 (en) * 2016-09-30 2021-02-02 Huddly As ISP bias-compensating noise reduction systems and methods
JP2018137547A (ja) * 2017-02-20 2018-08-30 株式会社東芝 情報処理装置及び画像形成装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930009404A (ko) * 1991-10-24 1993-05-22 헤롤드 엠. 크리스버그 다수의 모션 보상기를 이용한 적응형 모션 보상 시스템
KR20030029937A (ko) * 2001-07-06 2003-04-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 제어된 벡터 통계들을 이용한 모션 추정 및 보상

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
KR930001678A (ko) * 1991-06-13 1993-01-16 강진구 영상 신호에 있어서의 잡음 검출 알고리즘
US6285710B1 (en) * 1993-10-13 2001-09-04 Thomson Licensing S.A. Noise estimation and reduction apparatus for video signal processing
WO1997016923A1 (en) * 1995-11-01 1997-05-09 Philips Electronics N.V. Video signal scan conversion
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
JPH1075274A (ja) * 1996-08-29 1998-03-17 Mitsubishi Electric Corp 軟判定復号器
US5694342A (en) * 1996-10-24 1997-12-02 The United States Of America As Represented By The Secretary Of The Navy Method for detecting signals in non-Gaussian background clutter
JPH10206442A (ja) * 1997-01-21 1998-08-07 Nippon Telegr & Teleph Corp <Ntt> 時系列画像動き信頼度計測方法および装置
JP2001506472A (ja) * 1997-09-23 2001-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動作評価及び動作補償された補間
JP4164712B2 (ja) * 1999-02-09 2008-10-15 ソニー株式会社 データ処理装置およびデータ処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930009404A (ko) * 1991-10-24 1993-05-22 헤롤드 엠. 크리스버그 다수의 모션 보상기를 이용한 적응형 모션 보상 시스템
KR20030029937A (ko) * 2001-07-06 2003-04-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 제어된 벡터 통계들을 이용한 모션 추정 및 보상

Also Published As

Publication number Publication date
EP1096791A2 (en) 2001-05-02
JP4344968B2 (ja) 2009-10-14
JP2001126061A (ja) 2001-05-11
CN1192596C (zh) 2005-03-09
KR20010060219A (ko) 2001-07-06
EP1096791A3 (en) 2004-03-24
CN1297304A (zh) 2001-05-30
US6678330B1 (en) 2004-01-13

Similar Documents

Publication Publication Date Title
KR100724652B1 (ko) 이미지 처리 장치, 이미지 처리 방법, 데이터 처리 장치,데이터 처리 방법, 및 저장 매체
US7209595B2 (en) Image processing apparatus, image processing method, noise-amount estimate apparatus, noise-amount estimate method, and storage medium
KR930002612B1 (ko) 화상의 움직임벡터검출장치
EP1549047B1 (en) Robust camera pan vector estimation using iterative center of mass
KR100605746B1 (ko) 블럭 기반의 움직임 보상 장치 및 방법
KR100753345B1 (ko) 데이터 처리 방법 및 장치
US8804844B2 (en) Adaptive early exit techniques in image correlation
JP4496595B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
US8243801B2 (en) Motion prediction apparatus and motion prediction method
US8244055B2 (en) Image processing apparatus and method, and program
JPWO2010007777A1 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
EP2136548B1 (en) Image processing apparatus, image processing method, and program
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
JP2008261720A (ja) アンビギュイティ処理装置
US7031498B2 (en) Adaptive early exit techniques in image correlation
JP2012227791A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US20080175473A1 (en) Device and method of estimating image signal noise and apparatus and method of converting image signal using the same
JP2642160B2 (ja) 画像処理装置の動き検出方式
KR100748174B1 (ko) 동영상의 손떨림 검출 및 보정 장치
JP2000348018A (ja) データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法
EP1001372A1 (en) Data processing apparatus and data processing methods
JP3519648B2 (ja) 自動追尾装置
JPH09307907A (ja) 動きベクトル検出装置および検出方法
JPH0537848A (ja) 動きベクトル検出装置及び画像ゆれ補正装置
JP2000138904A (ja) 画像情報変換装置および変換方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120518

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee