KR101318556B1 - 신호 처리 장치, 방법 및 기록 매체 - Google Patents

Abstract

본 발명은 화소의 연속성이나 상관성을 손상시키지 않고, 엣지 이외의 부분을 평활화한다. 수평 처리 방향 성분 화소 추출부(31)는, 입력된 화상 신호 S_I의 주목 화소와, 그 수평 처리 방향 성분 화소를 추출한다. 수직 처리 방향 성분 화소 추출부(34)가, 입력된 화상 신호 S_I의 주목 화소와, 그 수직 처리 방향 성분 화소를 추출한다. 임계값 설정부(36)는, 주목 화소와, 그 수직 처리 방향 성분 화소로부터 임계값을 설정한다. 비선형 평활화 처리부(32)는, 수평 처리 방향 성분 화소를 이용하여, 설정된 임계값에 기초하여, 주목 화소를 수평 방향으로 비선형 평활화 처리하고, 화상 신호 S_{F -H}를 생성한다. Flat 레이트 계산부(35)는, 수직 처리 방향 성분 화소를 이용하여, 주목 화소의 수직 방향의 Flat 레이트를 계산한다. 혼합부(33)는, 화상 신호 S_I와 화상 신호 S_F-H를, Flat 레이트를 이용하여 혼합하고, 주목 화소에 수평 방향 평활화 처리를 행한 화상 신호 S_{NL -H}를 출력한다.

혼합비 검출부, LPF, 차분 절대값 산출부, 임계값 결정부, 히스토그램 생성부, 비선형 평활화 처리부, 제어 신호 발생부, Flat 레이트 계산부

Description

신호 처리 장치, 방법 및 기록 매체{APPARATUS AND METHOD FOR PROCESSING SIGNAL, AND RECORDING MEDIUM}

도 1은 도 1의 ε필터의 문제점을 설명하기 위한 도면.

도 2는 본 발명을 적용한 강조 처리 장치의 일 실시예의 구성을 도시하는 블록도.

도 3은 도 2의 수평 방향 평활화 처리부의 구성을 도시하는 블록도.

도 4는 도 2의 수직 방향 평활화 처리부의 구성을 도시하는 블록도.

도 5는 도 3의 비선형 평활화 처리부의 구성을 도시하는 블록도.

도 6은 도 3의 임계값 설정부의 구성을 도시하는 블록도.

도 7은 화상 강조 처리를 설명하는 플로우차트.

도 8은 도 2의 화상 강조 장치에 의한 수평 방향 평활화 처리를 설명하는 플로우차트.

도 9는 도 2의 화상 강조 장치에 의한 수평 방향 평활화 처리를 설명하는 도면.

도 10은 도 6의 임계값 설정부에 의한 임계값 설정 처리를 설명하는 플로우차트.

도 11은 도 2의 화상 강조 장치에 의한 비선형 평활화 처리를 설명하는 플로 우차트.

도 12는 도 2의 화상 강조 장치에 의한 미소 엣지 판정 처리를 설명하는 플로우차트.

도 13은 도 2의 화상 강조 장치에 의한 미소 엣지 판정 처리를 설명하는 도면.

도 14는 도 2의 화상 강조 장치에 의한 미소 엣지 판정 처리를 설명하는 도면.

도 15는 도 2의 화상 강조 장치에 의한 미소 엣지 판정 처리를 설명하는 도면.

도 16은 도 2의 화상 강조 장치에 의한 가중치의 설정 방법의 그 밖의 방법을 설명하는 도면.

도 17은 도 6의 임계값 설정 처리에 의해 설정되는 임계값에 의한 평활화의 효과를 설명하는 도면.

도 18은 도 6의 임계값 설정 처리에 의해 설정되는 임계값에 의한 평활화의 효과를 설명하는 도면.

도 19는 도 2의 화상 강조 장치에 의한 수직 방향 평활화 처리를 설명하는 도면.

도 20은 도 3의 임계값 설정부의 다른 구성을 도시하는 블록도.

도 21은 도 20의 임계값 설정부에 의한 임계값 설정 처리를 설명하는 플로우차트.

도 22는 도 3의 임계값 설정부의 또 다른 구성을 도시하는 블록도.

도 23은 도 22의 임계값 설정부에 의한 임계값 설정 처리를 설명하는 플로우차트.

도 24는 도 22의 임계값 설정부에 의한 임계값 설정 처리에 의한 효과를 설명하는 도면.

도 25는 도 3의 임계값 설정부의 또 다른 구성을 도시하는 블록도.

도 26은 도 25의 임계값 설정부에 의한 임계값 설정 처리를 설명하는 플로우차트.

도 27은 도 2의 수평 방향 평활화 처리부의 다른 구성을 도시하는 블록도.

도 28은 도 27의 임계값 설정부의 구성을 도시하는 블록도.

도 29는 도 27의 임계값 설정부의 구성을 설명하는 도면.

도 30은 도 27의 임계값 설정부에 의한 임계값 설정 처리를 설명하는 플로우차트.

도 31은 도 27의 임계값 설정부의 다른 구성을 도시하는 블록도.

도 32는 도 31의 임계값 설정부에 의한 임계값 설정 처리를 설명하는 플로우차트.

도 33은 도 31의 임계값 설정부에 의한 임계값 설정 처리를 설명하는 도면.

도 34는 도 2의 수직 방향 평활화 처리부의 다른 구성을 도시하는 블록도.

도 35는 도 2의 수평 방향 평활화 처리부의 다른 구성을 도시하는 블록도.

도 36은 도 35의 비선형 평활화 처리부의 구성을 도시하는 블록도.

도 37은 도 36의 비선형 평활화 처리부를 구비한 화상 강조 장치에 의한 비선형 평활화 처리를 설명하는 플로우차트.

도 38은 도 35의 비선형 평활화 처리부의 다른 구성을 도시하는 블록도.

도 39는 도 38의 비선형 평활화 처리부를 구비한 화상 강조 장치에 의한 비선형 평활화 처리를 설명하는 플로우차트.

도 40은 도 2의 수직 방향 평활화 처리부의 다른 구성을 도시하는 블록도.

도 41은 도 2의 수평 방향 평활화 처리부의 또 다른 구성을 도시하는 블록도.

도 42는 도 2의 수직 방향 평활화 처리부의 또 다른 구성을 도시하는 블록도.

도 43은 매체를 설명하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

11 : 강조 처리 장치

22 : 수평 방향 평활화 처리부

24 : 수직 방향 평활화 처리부

31 : 수평 처리 방향 성분 화소 추출부

32 : 비선형 평활화 처리부

33 : 혼합부

34 : 수직 참조 방향 성분 화소 추출부

35 : Flat 레이트 계산부

36 : 임계값 설정부

41 : 수직 처리 방향 성분 화소 추출부

42 : 비선형 평활화 처리부

43 : 혼합부

44 : 수평 참조 방향 성분 화소 추출부

45 : Flat 레이트 계산부

46 : 임계값 설정부

51 : 비선형 필터

52 : 혼합부

53 : 혼합비 검출부

61 : LPF

62 : 제어 신호 발생부

71 : 차분 절대값 산출부

72 : 임계값 결정부

81 : 최대값 추출부

82 : 최소값 추출부

83 : 임계값 결정부

91 : 최대값 추출부

92 : 최소값 추출부

93 : 차분 절대값 산출부

94 : 최대값 추출부

95 : 최소값 추출부

96 : 차분 절대값 산출부

97 : 임계값 결정부

111 : 제1 방향 차분 절대값 산출부

112 : 제2 방향 차분 절대값 산출부

113 : 임계값 결정부

121 : 임계값 설정부

131-1 내지 131-8 : 블록 차분 절대값 산출부

132 : 임계값 결정부

141 : 차분 절대값 산출부

142 : 히스토그램 생성부

143 : 임계값 결정부

151 : 임계값 설정부

161 : 비선형 평활화 처리부

171 : 제어 신호 발생부

181 : 혼합비 검출부

191 : 비선형 평활화 처리부

[특허 문헌 1] 일본 특개 2001-298621호 공보

본 발명은, 신호 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것으로, 특히, 화상을 구성하는 화소의 급준한 엣지를 유지한 채로, 해당 엣지 이외의 부분을 평활화할 때, 화소의 연속성이나 상관성을 손상시키지 않고, 해당 엣지 이외의 부분을 평활화할 수 있게 한 신호 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.

종래, 비디오　카메라에서는, CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등의 촬상 소자에 의해 촬상된 화상의 콘트라스트(명암의 차) 및 선예도(경계의 명확도)를 향상시키는 방법으로서, 계조 변환에 의한 콘트라스트 강조 방법이나 화상 중의 고역 성분의 콘트라스트를 강조하는 고역 성분 강조 방법이 생각되고 있다.

콘트라스트 강조 방법으로서는, 화상의 각 화소에 대하여, 그 화소 레벨을 소정의 입출력 관계를 갖는 함수(이하, 이것을 레벨 변환 함수로 칭함)에서 변환하는 톤 커브 조정이나, 화소 레벨의 빈도 분포에 따라 레벨 변환 함수를 적절하게 변화시키는 히스토그램 이퀄라이제이션으로 불리는 방법이 제안되어 있다.

고역 성분 강조 방법으로서는, 화상으로부터 엣지를 추출하고, 추출한 엣지를 강조하는 소위 윤곽 강조를 행하는 언샤프 마스크로 불리는 방법이 제안되어 있다.

그러나, 콘트라스트 강조 방법에서는, 화상의 전체 다이내믹 레인지(최대 레벨과 최소 레벨의 차) 중 일부의 휘도 영역밖에 콘트라스트를 향상시킬 수 없다는 문제가 있는 것 외에, 톤 커브 조정의 경우에는 화상의 최명부와 최암부에서, 또한 히스토그램 이퀄라이제이션의 경우에는 빈도 분포가 적은 휘도 영역 부근에서, 반대로 콘트라스트가 저하한다고 하는 문제가 있었다. 또한, 고역 성분 강조 방법에서는, 화상의 고역 성분의 콘트라스트만이 강조되며, 이에 의해 화상의 엣지 부근이 부자연스럽게 강조되어, 화질이 열화하게 된다고 하는 문제점이 있었다.

그래서, 종래의 화상 신호 처리 장치로서, 입력 화상 데이터 중 화소값의 변화가 급준한 엣지를 보존한 상태에서, 그 엣지 이외의 부분을 증폭함으로써, 엣지 이외의 부분을 강조하는 방법이 제안되어 있다(예를 들면, 특허 문헌 1 참조).

즉, 종래의 화상 신호 처리 장치는, 입력된 화상 신호(화소값)를, ε필터를 이용하여 신호의 구조 성분만을 추출함과 함께, 입력 신호로부터 구조 성분의 차분인 진폭 성분만을 생성하고, 진폭 성분만을 증폭시키고, 최종적으로 구조 성분과 증폭된 진폭 성분을 가산하여 출력하도록 하고 있었다. 여기서 ε필터란, 소정의 임계값 ε₁보다도 큰 엣지, 급준한 엣지를 사이에 두고 약간 변동하는 화상 신호가 입력된 경우, 엣지만이 추출된 화상 신호로 변환하여 출력하는 것이다.

ε필터는, 입력 화상의 각 화소를 순차적으로, 주목 화소 C로 결정하고, 주목 화소 C를 중심으로 하여 수평 방향으로 연속하는 복수의 근방 화소(예를 들면, 주목 화소 C의 좌측에 인접하여 배치되는 2화소 L2, L1 및, 우측에 인접하여 배치 되는 R1, R2)로 이루어지는 탭을 설정하고, 이하에 기재하는 수학식 1과 같이, 주목 화소 C 및 복수의 근방 화소의 화소값을, 탭 계수(예를 들면, {1, 2, 3, 2, 1})를 이용하여 가중 평균하여, 주목 화소 C에 대응하는 변환 결과 C'로서 출력한다.

Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｒ２）／９

단, 근방 화소와 주목 화소 C와의 화소값의 차분 절대값이, 소정의 임계값 ε₁보다도 큰 근방 화소(예를 들면, 근방 화소 R2가 R2>ε₁인 경우)에 대해서는, 화소값을 주목 화소 C의 것과 치환하여 계산하도록 한다. 즉, 이하의 수학식 2가 계산된다.

Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｃ）／９

또한, ε필터에 의해 평활화된 화상 신호는, 특히, 화상 신호의 구조 성분으로도 불린다.

입력되는 화상 신호(ε필터에 대한 입력과 동일한 것)로부터, ε필터에 의해 처리된 화상 신호가 감산됨으로써, 화상 신호의 구조 성분 이외의 약간 변동하고 있는 화상 신호가 추출되어 증폭되게 된다. 또한, 구조 성분 이외의 약간 변동하고 있는 화상 신호의 성분은, 특히, 화상 신호의 진폭 성분으로도 불린다. 증폭되어 출력되는 구조 성분 이외의 부분으로 이루어지는 화상 신호와, ε필터로부터 출력되는 화상 신호의 구조 성분이 가산되고, 이 가산 결과가, 급준한 엣지가 유지된 상태에서, 그 엣지 이외의 부분이 증폭되어 있는 화상 신호로 된다.

그런데, ε필터에서는, 예를 들면, 화소값의 변화에 급준한 엣지가 존재해도, 그 사이즈가 소정의 임계값 ε₁보다도 작은 경우, 필터로부터 출력되는 변환 후의 화상 신호는, 평활화되게 되어, 급준한 엣지가 없어지게 되므로, 특히 미소한 엣지로 구성된 단순한 패턴 화상 등에서 현저하게 화질의 열화가 발생하게 된다고 하는 과제가 있었다.

그래서, 연속적으로 배치되어 있는 신호를, 순차적으로, 주목 신호로 지정하고, 지정된 주목 신호를 기준으로 하여, 연속적으로 수평 방향, 또는, 수직 방향에 배치되어 있는 신호 중에서 복수의 근방 신호를 결정하고, 주목 신호와 각 근방 신호와의 차분을 연산하고, 차분이 제1 임계값보다 작은 근방 신호와, 주목 신호를 가중 평균하여 평활화 신호를 연산하고, 주목 신호와 각 근방 신호와의 차분을 연산하고, 차분과 제1 임계값보다도 작은 제2 임계값과 비교하여, 제2 임계값보다도 큰 값이 있는지의 여부에 의해, 주목 신호의 근방에 미소 엣지가 존재하는지의 여부를 판정하고, 판정 결과에 기초하여 평활화 신호 또는 주목 신호의 일방을 선택하는 것이 제안되어 있다.

그러나, 이상의 방법에서는, 수평 방향 또는 수직 방향의 방향 성분에 대하여 독립적으로 처리가 이루어지게 되기 때문에, 적절한 구조 성분의 추출이 곤란하게 되는 경우가 있었다.

그래서, 처리 방향과는 다른 방향 성분(참조 방향)의 정보를 이용함으로써, 처리 방향에 대하여 신호가 평탄(flat)한지의 여부를 판별함으로써, 평활화 처리를 행할지 행하지 않을지를 절환하여 출력하는 것이나, 그 평탄함의 정도에 따라서, 평활화 처리를 행한 경우의 신호와, 평활화 처리를 행하지 않은 경우의 신호와의 중간값으로 되는 신호를 출력하는 것이 제안되어 있다.

그러나, 상술한 바와 같은 방법을 이용한 경우, 도 1의 상단에서 도시되는 바와 같은 신호를 처리하는 경우, 만약 ε₁을 도 1의 상단에서 도시하는 바와 같이 설정하였을 때(주목 화소 C는 ×표로 나타내지는 위치인 것으로 함), 평탄함의 정도에 따라 평활화 처리를 변화시키면, 도 1의 중단에서 도시되는 바와 같이, 엣지를 보존할 수 없는 신호로 변환되게 되는 경우가 있었다. 또한, 평탄함의 정도에 따라 평활화 처리하지 않도록 하는 경우, 평활화 처리하지 않는 신호가 많이 발생하면, 도 1의 하단에서 도시되는 바와 같은, 입력 신호에 대하여 거의 변화가 없는 신호가 출력되게 되는 경우가 있었다.

또한, 평탄함의 정도에 따라, 평활화 처리를 행한 신호와 평활화 처리를 행하지 않은 신호를 혼합하는 처리를 하도록 하였다고 해도, 도 1의 중단 및 하단에서 도시되는 바와 같은 신호의 중간적인 신호로 되기 때문에, 엣지를 보존한 채로 엣지 이외를 평활화하는 것을 충분히 할 수 없는 경우가 있었다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로, 특히, 화상을 구성하는 화소의 급준한 엣지를 유지한 채로, 해당 엣지 이외의 부분을 평활화할 때, 화소의 연속성이나 상관성을 손상시키지 않고, 해당 엣지 이외의 부분을 평활화할 수 있게 하는 것이다.

본 발명의 제1 측면의 신호 처리 장치는, 연속적으로 배치되어 있는 신호의 레벨을 조정하는 신호 처리 장치로서, 연속적으로 배치되어 있는 상기 신호를, 순차적으로, 주목 신호로 지정하는 지정 수단과, 상기 지정 수단에 의해 지정된 상기 주목 신호에 인접하는 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 수단과, 상기 지정 수단에 의해 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 수단과, 상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 수단과, 상기 처리 차분과 상기 제1 임계값보다 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 수단과, 상기 제1 혼합비 계산 수단에 의해 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호, 및, 상기 주목 신호를 혼합하여, 제1 혼합 신호를 생성하는 제1 혼합 수단과, 상기 지정 수단에 의해 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 수단과, 상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 수단과, 상기 제2 혼합비 계산 수단에 의해 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호, 및, 상기 주목 신호를 혼합하여, 제2 혼합 신호를 생성하는 제2 혼합 수단을 구비한다.

상기 신호는, 화상을 구성하는 화소의 화소값으로 할 수 있다.

상기 설정 수단에는, 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 차분 절대값 산출 수단을 더 설치하도록 하게 할 수 있고, 상기 참조 신호와 상기 주목 신호와의 차분 절대값 중, 최대로 되는 차분 절대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 참조 신호 및 상기 주목 신호 중, 최대로 되는 참조 신호 또는 주목 신호를 추출하는 최대 신호 추출 수단과, 상기 참조 신호 및 상기 주목 신호 중, 최소로 되는 참조 신호 또는 주목 신호를 추출하는 최소 신호 추출 수단을 더 설치하도록 하게 할 수 있고, 상기 참조 신호 및 상기 주목 신호 중, 최대로 되는 참조 신호 또는 주목 신호와, 최소로 되는 참조 신호 또는 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 순방향 산출 수단과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 역방향 산출 수단을 더 설치하도록 하게 할 수 있고, 상기 순방향 산출 수단에 의해 산출된 차분 절대값의 최대값, 또는, 상기 역방향 산출 수단에 의해 산출된 차분 절대값의 최대값 중, 어느 하나의 작은 쪽의 값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최대값을 추출하는 순방향 최대 신호 추출 수단과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최소값을 추출하는 순방향 최소 신호 추출 수단과, 상기 순방향 최대 신호 추출 수단에 의해 추출된 최대값과, 상기 순방향 최소 신호 추출 수단에 의해 추출된 최소값과의 차분 절대값을 산출하는 순방향 차분 절대값 산출 수단과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최대값을 추출하는 역방향 최대 신호 추출 수단과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최소값을 추출하는 역방향 최소 신호 추출 수단과, 상기 역방향 최대 신호 추출 수단에 의해 추출된 최대값과, 상기 역방향 최소 신호 추출 수단에 의해 추출된 최소값과의 차분 절대값을 산출하는 역방향 차분 절대값 산출 수단을 더 설치하도록 하게 할 수 있고, 상기 순방향 차분 절대값 산출 수단에 의해 산출된 차분 절대값, 또는, 상기 역방향 차분 절대값 산출 수단에 의해 산출된 차분 절대값 중, 어느 하나의 작은 쪽의 값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호의 위치로부터 보아 복수의 방향별로 설 정되는 블록마다, 상기 블록 내의 각 화소와 상기 주목 화소와의 차분 절대값을 산출하고, 최대값을 출력하는 블록 차분 절대값 산출 수단을 설치하도록 하게 할 수 있고, 상기 블록 차분 절대값 산출 수단에 의해 산출된 최대값 중 최소로 되는, 상기 블록의 최대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호와, 그 근방의 각 화소와의 차분 절대값을 산출하는 근방 차분 절대값 산출 수단과, 상기 근방 차분 절대값 산출 수단에 의해 산출된 각 화소와 상기 주목 화소와의 차분 절대값에 기초하여, 히스토그램을 생성하는 히스토그램 생성 수단을 설치하도록 하게 할 수 있고, 상기 히스토그램에 의해 빈도가 최소로 되는 차분 절대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

본 발명의 일측면의 신호 처리 방법은, 연속적으로 배치되어 있는 신호의 레벨을 조정하는 신호 처리 방법으로서, 연속적으로 배치되어 있는 상기 신호를, 순차적으로, 주목 신호로 지정하는 지정 스텝과, 상기 지정 스텝의 처리에 의해 지정된 상기 주목 신호에 인접하는 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 스텝과, 상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 스텝과, 상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 스텝과, 상기 처리 차분과 상기 제1 임계값보다 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 스텝과, 상기 제1 혼합비 계산 스텝의 처리에서 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호, 및, 상기 주목 신호를 혼합하여, 제1 혼합 신호를 생성하는 제1 혼합 스텝과, 상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 스텝과, 상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 스텝과, 상기 제2 혼합비 계산 스텝의 처리에서 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호, 및, 상기 주목 신호를 혼합하여, 제2 혼합 신호를 생성하는 제2 혼합 스텝을 포함한다.

본 발명의 일측면의 기록 매체는, 연속적으로 배치되어 있는 신호의 레벨을 조정하기 위한 프로그램으로서, 연속적으로 배치되어 있는 상기 신호를, 순차적으로, 주목 신호로 지정하는 지정 스텝과, 상기 지정 스텝의 처리에 의해 지정된 상기 주목 신호에 인접하는 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 스텝과, 상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 스텝과, 상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 스텝과, 상기 처리 차분과 상기 제1 임계값보다 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 스텝과, 상기 제1 혼합비 계산 스텝의 처리에서 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호, 및, 상기 주목 신호를 혼합하여, 제1 혼합 신호를 생성하는 제1 혼합 스텝과, 상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 스텝과, 상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 스텝과, 상기 제2 혼합비 계산 스텝의 처리에서 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호, 및, 상기 주목 신호를 혼합하여, 제2 혼합 신호를 생성하는 제2 혼합 스텝을 포함하는 컴퓨터가 판독 가능한 프로그램이 기록되어 있다.

본 발명의 일측면의 프로그램은, 연속적으로 배치되어 있는 신호의 레벨을 조정하기 위한 프로그램으로서, 연속적으로 배치되어 있는 상기 신호를, 순차적으로, 주목 신호로 지정하는 지정 스텝과, 상기 지정 스텝의 처리에 의해 지정된 상기 주목 신호의 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 스텝과, 상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 상기 신호 중에서 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 스텝과, 상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 스텝과, 상기 처리 차분과 상기 제1 임계값보다도 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 스텝과, 상기 제1 혼합비 계산 스텝의 처리에서 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호, 및, 상기 주목 신호를 혼합하고, 제1 혼합 신호를 생성하는 제1 혼합 스텝과, 상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 상기 신호 중에서 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 스텝과, 상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 스텝과, 상기 제2 혼합비 계산 스텝의 처리에서 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호, 및, 상기 주목 신호를 혼합하고, 제2 혼합 신호를 생성하는 제2 혼합 스텝을 포함하는 처리를 컴퓨터에 실행시킨다.

본 발명의 제1 측면의 신호 처리 장치 및 방법, 및 프로그램에서는, 연속적으로 배치되어 있는 신호의 레벨이 조정되는 것으로서, 연속적으로 배치되어 있는 상기 신호가, 순차적으로, 주목 신호로 지정되고, 지정된 상기 주목 신호의 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값이 설정되고, 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 상기 신호 중에서 복수의 근방 신호가 처리 신호로서 추출되고, 상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호가 가중 평균되어 평활화 신호가 연산되고, 상기 처리 차분과 상기 제1 임계값보다도 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비가 계산되고, 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호, 및, 상기 주목 신호가 혼합되어, 제1 혼합 신호가 생성되고, 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 상기 신호 중에서 복수의 근방 신호가 참조 신호로서 추출되고, 상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비가 계산되고, 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호, 및, 상기 주목 신호가 혼합되어, 제2 혼합 신호가 생성된다.

본 발명의 신호 처리 장치는, 독립된 장치이어도 되며, 신호 처리를 행하는 블록이어도 된다.

<실시예>

이하에, 본 발명의 실시예에 대하여 설명하는데, 본 명세서에 기재된 발명과, 발명의 실시예와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 명세서에 기재되어 있는 발명을 서포트하는 실시예가 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시예 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되어 있지 않은 실시예가 있었다고 해도, 그것은, 그 실시예가, 그 발명에 대응하는 것이 아니라는 것을 의미하는 것은 아니다. 반대로, 실시예가 발명에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은, 그 실시예가, 그 발명 이외의 발명에는 대응하지 않는 것이라는 것을 의미하는 것도 아니다.

또한, 이 기재는, 본 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 바꾸어 말하면, 이 기재는, 본 명세서에 기재되어 있는 발명으로서, 이 출원에서는 청구되어 있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나, 보정에 의해 출현, 추가되는 발명의 존재를 부정하는 것은 아니다.

즉, 본 발명의 일측면의 신호 처리 장치는, 연속적으로 배치되어 있는 신호를, 순차적으로, 주목 신호로 지정하는 지정 수단(예를 들면, 도 3의 수평 방향 평활화 처리부(22))과, 지정 수단에 의해 지정된 상기 주목 신호의 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 수단(예를 들면, 도 3의 임계값 설정부(36))과, 지정 수단에 의해 지정된 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 수단(예를 들면, 도 3의 수평 처리 방향 성분 화소 추출부(31))과, 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 제1 임계값과의 비교 결과에 기초하여, 주목 신호와 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 수단(예를 들면, 도 5의 비선형 필터(51))과, 처리 차분과 제1 임계값보다도 작은 제2 임계값과의 비교 결과에 기초하여, 평활화 신호와 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 수단(예를 들면, 도 5의 혼합비 검출부(53))과, 제1 혼합비 계산 수단에 의해 계산된 제1 혼합비에 기초하여, 평활화 신호, 및, 주목 신호를 혼합하고, 제1 혼합 신호를 생성하는 제1 혼합 수단(예를 들면, 도 5의 혼합부(52))과, 지정 수단에 의해 지정된 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 수단(예를 들면, 도 3의 수직 참조 방향 성분 화소 추출부(34))과, 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 혼합 신호와 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 수단(예를 들면, 도 3의 Flat 레이트 계산부(35))과, 제2 혼합비 계산 수단에 의해 계산된 제2 혼합비에 기초하여, 제1 혼합 신호, 및, 주목 신호를 혼합하고, 제2 혼합 신호를 생성하는 제2 혼합 수단(예를 들면, 도 3의 혼합부(33))을 포함하는 것을 특징으로 한다.

상기 설정 수단에는, 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 차분 절대값 산출 수단(예를 들면, 도 6의 차분 절대값 산출부(71))을 더 설치하도록 하게 할 수 있고, 상기 참조 신호와 상기 주목 신호와의 차분 절대값 중, 최대로 되는 차분 절대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 참조 신호 및 상기 주목 신호 중, 최대로 되는 참조 신호 또는 주목 신호를 추출하는 최대 신호 추출 수단(예를 들면, 도 20의 최대값 추출부(81))과, 상기 참조 신호 및 상기 주목 신호 중, 최소로 되는 참조 신호 또는 주목 신호를 추출하는 최소 신호 추출 수단(예를 들면, 도 20의 최소값 추출부(82))을 더 설치하도록 하게 할 수 있고, 상기 참조 신호 및 상기 주목 신호 중, 최대로 되는 참조 신호 또는 주목 신호와, 최소로 되는 참조 신호 또는 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 순방향 산출 수단(예를 들면, 도 25의 제1 방향 차분 절대값 산출부(111))과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 역방향 산출 수단(예를 들면, 도 25의 제2 방향 차분 절대값 산출부(112))를 더 설치하도록 하게 할 수 있고, 상기 순방향 산출 수단에 의해 산출된 차분 절대값의 최대값, 또는, 상기 역방향 산출 수단에 의해 산출된 차분 절대값의 최대값 중, 어느 하나의 작은 쪽의 값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최대값을 추출하는 순방향 최대 신호 추출 수단(예를 들면, 도 22의 최대값 추출부(91))과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최소값을 추출하는 순방향 최소 신호 추출 수단(예를 들면, 도 22의 최소값 추출부(92))과, 상기 순방향 최대 신호 추출 수단에 의해 추출된 최대값과, 상기 순방향 최소 신호 추출 수단에 의해 추출된 최소값과의 차분 절대값을 산출하는 순방향 차분 절대값 산출 수단(예를 들면, 도 22의 차분 절대값 산출부(93))과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최대값을 추출하는 역방향 최대 신호 추출 수단(예를 들면, 도 22의 최대값 추출부(94))과, 상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최소값을 추출하는 역방향 최소 신호 추출 수단(예를 들면, 도 22의 최소값 추출부(95))과, 상기 역방향 최대 신호 추출 수단에 의해 추출된 최대값과, 상기 역방향 최소 신호 추출 수단에 의해 추출된 최소값과의 차분 절대값을 산출하는 역방향 차분 절대값 산출 수단(예를 들면, 도 22의 차분 절대값 산출부(96))을 더 설치하도록 하게 할 수 있고, 상기 순방향 차분 절대값 산출 수단에 의해 산출된 차분 절대값, 또는, 상기 역방향 차분 절대값 산출 수단에 의해 산출된 차분 절대값 중, 어느 하나의 작은 쪽의 값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호의 위치로부터 보아 복수의 방향별로 설정되는 블록마다, 상기 블록 내의 각 화소와 상기 주목 화소와의 차분 절대값을 산출하고, 최대값을 출력하는 블록 차분 절대값 산출 수단(예를 들면, 도 28의 블록 차분 절대값 산출부(131-1 내지 131-8))을 설치하도록 하게 할 수 있고, 상기 블록 차분 절대값 산출 수단에 의해 산출된 상기 블록의 최대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

상기 설정 수단에는, 상기 주목 신호와, 그 근방의 각 화소와의 차분 절대값을 산출하는 근방 차분 절대값 산출 수단(예를 들면, 도 31의 차분 절대값 산출부(141))과, 상기 근방 차분 절대값 산출 수단에 의해 산출된 각 화소와 상기 주목 화소와의 차분 절대값에 기초하여, 히스토그램을 생성하는 히스토그램 생성 수단(예를 들면, 도 31의 히스토그램 생성부(142))을 설치하도록 하게 할 수 있고, 상 기 히스토그램에 의해 빈도가 최소로 되는 차분 절대값에 기초하여, 제1 임계값을 설정시키도록 할 수 있다.

본 발명의 일측면의 신호 처리 방법 및 프로그램은, 연속적으로 배치되어 있는 신호를, 순차적으로, 주목 신호로 지정하는 지정 스텝(예를 들면, 도 8의 플로우차트의 스텝 S11의 처리)과, 지정 스텝의 처리에 의해 지정된 주목 신호의 근방 신호와, 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 스텝(예를 들면, 도 8의 플로우차트의 스텝 S14의 처리)과, 지정 스텝의 처리에서 지정된 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 스텝(예를 들면, 도 8의 플로우차트의 스텝 S12의 처리)과, 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 제1 임계값과의 비교 결과에 기초하여, 주목 신호와 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 스텝(예를 들면, 도 11의 플로우차트의 스텝 S32의 처리)과, 처리 차분과 제1 임계값보다도 작은 제2 임계값과의 비교 결과에 기초하여, 평활화 신호와 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 스텝(예를 들면, 도 11의 플로우차트의 스텝 S33의 처리)과, 제1 혼합비 계산 스텝의 처리에서 계산된 제1 혼합비에 기초하여, 평활화 신호, 및, 주목 신호를 혼합하고, 제1 혼합 신호를 생성하는 제1 혼합 스텝(예를 들면, 도 11의 플로우차트의 스텝 S36의 처리)과, 지정 스텝의 처리에서 지정된 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 스텝(예를 들면, 도 8의 플로우차트의 스텝 S13의 처리)과, 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 혼합 신호와 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 스텝(예를 들면, 도 8의 플로우차트의 스텝 S17의 처리)과, 제2 혼합비 계산 스텝의 처리에서 계산된 제2 혼합비에 기초하여, 제1 혼합 신호, 및, 주목 신호를 혼합하고, 제2 혼합 신호를 생성하는 제2 혼합 스텝(예를 들면, 도 8의 플로우차트의 스텝 S18의 처리)을 포함하는 것을 특징으로 한다.

도 2는, 본 발명을 적용한 화상의 엣지 부분을 남기면서, 그 이외의 영역의 콘트라스트나 선예도를 강조하며, 또한, 처리 방향에 따라 발생하는 부자연스러운 강조 처리를 억제하도록 한 강조 처리 장치의 일 실시예의 구성을 도시하는 도면이다.

버퍼(21)는, 입력되어 오는 화상 신호를 일시적으로 기억하고, 후단의 수평 방향 평활화 처리부(22)에 공급한다. 수평 방향 평활화 처리부(22)는, 주목 화소에 대하여 수평 방향에 배치되는 근방의 화소와 주목 화소를 사용하여, 주목 화소에 대하여 수평 방향으로 비선형 평활화 처리를 실시하고, 버퍼(23)에 공급한다. 버퍼(23)는, 수평 방향 평활화 처리부(22)로부터 공급되어 오는 화상 신호를 일시적으로 기억하고, 순차적으로, 수직 방향 평활화 처리부(24)에 공급한다. 수직 방향 평활화 처리부(24)는, 주목 화소에 대하여 수직 방향에 배치되는 근방의 화소와 주목 화소를 사용하여, 주목 화소에 대하여 비선형 평활화 처리를 실시하고, 버퍼(25)에 공급한다. 버퍼(25)는, 수직 방향 평활화 처리부(24)로부터 공급되는, 수직 방향으로 비선형 평활화된 화소로 이루어지는 화상 신호를 일시적으로 기억하 고, 후단의 도시하지 않는 장치에 출력한다.

다음으로, 도 3을 참조하여, 수평 방향 평활화 처리부(22)의 상세한 구성에 대하여 설명한다.

수평 처리 방향 성분 화소 추출부(31)는, 버퍼(21)에 기억되어 있는 화상 신호의 각 화소로부터 주목 화소를 순차적으로 설정함과 함께, 주목 화소에 대응하는, 비선형 평활화 처리에 필요한 화소를 추출하여, 비선형 평활화 처리부(32)에 출력한다. 보다 구체적으로는, 수평 처리 방향 성분 화소 추출부(31)는, 주목 화소에 대하여, 수평 방향으로 좌우로 인접하는 각각 2화소를 수평 처리 방향 성분 화소로서 추출하고, 추출한 4화소와 주목 화소의 각각의 화소값을 비선형 평활화 처리부(32)에 공급한다. 또한, 추출하는 수평 처리 방향 성분 화소의 화소수는, 주목 화소에 대하여 좌우로 인접하는 2화소씩에 한정되는 것이 아니라, 수평 방향으로 인접하고 있는 화소이면 되고, 예를 들면, 주목 화소의 좌우로 인접하는 3화소씩이어도 되며, 나아가서는, 주목 화소에 대하여 좌측 방향으로 인접하는 1화소와, 우측 방향으로 인접하는 3화소로 하도록 해도 된다.

비선형 평활화 처리부(32)는, 수평 처리 방향 성분 화소 추출부(31)로부터 공급된 주목 화소와 그 좌우의 각각에 인접하는 2화소인 수평 처리 방향 성분 화소를 이용하여, 임계값 설정부(36)로부터 공급되는 임계값 ε₂에 기초하여 주목 화소를 비선형 평활화 처리하여, 혼합부(33)에 공급한다. 또한, 비선형 평활화 처리부(32)의 구성에 대해서는, 도 5를 참조하여 후술한다. 또한, 여기에서, 수평 방 향으로 비선형 평활화 처리한다는 것은, 주목 화소에 대하여 수평 방향으로 인접하는 복수의 화소에 의해, 주목 화소를 비선형 평활화하는 처리이다. 마찬가지로 하여, 후술하는 수직 방향으로 비선형 평활화 처리한다는 것은, 주목 화소에 대하여 수직 방향으로 인접하는 복수의 화소에 의해, 주목 화소를 비선형 평활화하는 처리이다.

수직 참조 방향 성분 화소 추출부(34)는, 버퍼(21)에 기억되어 있는 화상 신호의 각 화소로부터 주목 화소를 순차적으로 설정함과 함께, 주목 화소에 대응하는, 비선형 평활화 처리에 필요한 화소가 배치되어 있는 방향과 서로 다른 수직 방향으로 인접하는 화소를 추출하여, Flat 레이트 계산부(35) 및 임계값 설정부(36)에 출력한다. 보다 구체적으로는, 수직 참조 방향 성분 화소 추출부(34)는, 주목 화소에 대하여, 수직 방향의 상하에 인접하는 2화소를 수직 참조 방향 성분 화소로서 추출하고, 추출한 4화소와 주목 화소의 각각의 화소값을 Flat 레이트 계산부(35) 및 임계값 설정부(36)에 공급한다. 또한, 추출하는 수직 참조 방향 성분 화소의 화소수는, 주목 화소에 대하여 상하에 인접하는 2화소씩에 한정되는 것이 아니라, 수직 방향으로 인접하고 있는 화소이면 되고, 예를 들면, 주목 화소의 상하에 인접하는 3화소씩이어도 되며, 나아가서는, 주목 화소에 대하여 상방향에 인접하는 1화소와, 하방향에 인접하는 3화소로 하도록 해도 된다.

Flat 레이트 계산부(35)는, 수직 참조 방향 성분 화소 추출부(34)로부터 공급되어 오는 주목 화소와, 수직 참조 방향 성분 화소와의 각각의 화소값의 차분 절대값을 구하여, 그 차분 절대값의 최대값을 Flat 레이트로서 혼합부(33)에 공급한 다. 여기에서, 수직 방향의 Flat 레이트는, 주목 화소와 수직 참조 방향 성분 화소와의 화소값의 차분 절대값의 변화를 나타낸 것으로서, Flat 레이트가 클 때, 주목 화소 근방의 화소의 화소값의 변화가 크고, 수직 방향으로 화소간의 상관이 작은, 평탄하지 않은 화상(화소값의 변화가 큰 Flat가 아닌 화상)인 것을 나타내며, 반대로, Flat 레이트가 작을 때, 주목 화소 근방의 화소의 화소값의 변화가 작고, 수직 방향으로 화소간의 상관이 큰, 평탄한 화상(화소값의 변화가 작은 Flat한 화상)인 것을 나타내고 있다.

혼합부(33)는, Flat 레이트 계산부(35)로부터 공급되는 수직 방향의 Flat 레이트에 기초하여, 비선형 평활화 처리된 주목 화소와, 미처리의 주목 화소의 화소값을 혼합하여, 수평 방향 평활화 처리된 화소로서 후단의 버퍼(23)에 출력한다.

임계값 설정부(36)는, 주목 화소에 대응하는, 비선형 평활화 처리에 필요한 화소가 배치되어 있는 방향과 서로 다른 수직 방향으로 인접하는 화소를 이용하여, 비선형 평활화 처리부(32)에서의 비선형 평활화 처리에 필요한 임계값 ε₂를 설정하여 비선형 평활화 처리부(32)에 공급한다. 또한, 임계값 설정부(36)의 구성에 대해서는, 도 6을 참조하여 상세 내용을 후술한다.

다음으로, 도 4를 참조하여, 수직 방향 평활화 처리부(24)의 상세한 구성에 대하여 설명한다.

수직 방향 평활화 처리부(24)는, 기본적으로 상술한 수평 방향 평활화 처리부(22)의 구성에서의 수평 방향의 처리와 수직 방향의 처리를 교체한 것이다. 즉, 수직 처리 방향 성분 화소 추출부(41)는, 버퍼(23)에 기억되어 있는 화상 신호의 각 화소로부터 주목 화소를 순차적으로 설정함과 함께, 주목 화소에 대응하는, 비선형 평활화 처리에 필요한 화소를 추출하여, 비선형 평활화 처리부(42)에 출력한다. 보다 구체적으로는, 수직 처리 방향 성분 화소 추출부(41)는, 주목 화소에 대하여, 수직 방향으로 상하에 인접하는 각각 2화소로 이루어지는 수직 처리 방향 성분 화소를 추출하고, 추출한 4화소와 주목 화소의 각각의 화소값을 비선형 평활화 처리부(42)에 공급한다. 또한, 추출하는 수직 처리 방향 성분 화소의 화소수는, 주목 화소에 대하여 상하에 인접하는 2화소씩에 한정되는 것이 아니라, 수직 방향으로 인접하고 있는 화소이면 되고, 예를 들면, 주목 화소의 상하에 인접하는 3화소씩이어도 되며, 나아가서는, 주목 화소에 대하여 상방향에 인접하는 1화소와, 하방향에 인접하는 3화소로 하도록 해도 된다.

비선형 평활화 처리부(42)는, 수직 처리 방향 성분 화소 추출부(41)로부터 공급된 주목 화소와 그 상하의 각각에 인접하는 2화소인 수직 처리 방향 성분 화소를 이용하여, 임계값 설정부(46)로부터 공급되는 임계값 ε₂에 기초하여, 주목 화소를 수직 방향으로 비선형 평활화 처리하여, 혼합부(43)에 공급한다. 비선형 평활화 처리부(42)의 구성은, 비선형 평활화 처리부(32)와 마찬가지의 구성이며, 그 상세 내용에 대해서는, 도 5를 참조하여 후술한다.

수평 참조 방향 성분 화소 추출부(44)는, 버퍼(23)에 기억되어 있는 화상 신호의 각 화소로부터 주목 화소를 순차적으로 설정함과 함께, 주목 화소에 대응하 는, 비선형 평활화 처리에 필요한 화소가 배치되어 있는 방향과 서로 다른 수평 방향으로 인접하는 화소를 추출하여, Flat 레이트 계산부(45) 및 임계값 설정부(46)에 출력한다. 보다 구체적으로는, 수평 참조 방향 성분 화소 추출부(44)는, 주목 화소에 대하여, 수평 방향의 좌우에 인접하는 2화소씩을 추출하고, 추출한 4화소와 주목 화소의 각각의 화소값을 Flat 레이트 계산부(45) 및 임계값 설정부(46)에 공급한다. 또한, 추출하는 화소수는, 주목 화소에 대하여 수평으로 인접하는 2화소씩에 한정되는 것이 아니라, 수평 방향으로 인접하고 있는 화소이면 되고, 예를 들면, 주목 화소의 수평으로 인접하는 3화소씩이어도 되며, 나아가서는, 주목 화소에 대하여 좌방향에 인접하는 1화소와, 우방향에 인접하는 3화소로 하도록 해도 된다.

Flat 레이트 계산부(45)는, 수평 참조 방향 성분 화소 추출부(44)로부터 공급되어 오는 주목 화소와, 주목 화소에 대하여 좌우의 각각에 인접하는 2화소의 각각의 화소값의 차분 절대값을 구하여, 그 차분 절대값의 최대값을 Flat 레이트로서 혼합부(43)에 공급한다.

혼합부(43)는, Flat 레이트 계산부(45)로부터 공급되는 수평 방향의 Flat 레이트에 기초하여, 비선형 평활화 처리된 주목 화소와, 미처리의 주목 화소의 화소값을 혼합하여, 수평 방향 평활화 처리된 화소로서 후단의 버퍼(25)에 출력한다.

임계값 설정부(46)는, 주목 화소에 대응하는, 비선형 평활화 처리에 필요한 화소가 배치되어 있는 방향과 서로 다른 수평 방향으로 인접하는 화소를 이용하여, 비선형 평활화 처리부(32)에서의 비선형 평활화 처리에 필요한 임계값 ε₂를 설정하 여 비선형 평활화 처리부(42)에 공급한다. 또한, 임계값 설정부(46)의 구성에 대해서는, 임계값 설정부(36)와 마찬가지이며, 그 상세 내용에 대해서는, 도 6을 참조하여 상세 내용을 후술한다.

다음으로, 도 5를 참조하여, 비선형 평활화 처리부(32)의 상세한 구성에 대하여 설명한다.

이 비선형 평활화 처리부(32)의 비선형 필터(51)는, 입력되는 화상 신호 S_I를 구성하는 화소의 변동 중, 그 사이즈가 임계값 설정부(36)로부터 공급되어 오는 임계값 ε₂보다도 큰 급준한 엣지를 유지함과 함께, 엣지 이외의 부분을 평활화하고, 평활화한 화상 신호 S_{LPF -H}를 혼합부(52)에 출력한다.

혼합비 검출부(53)는, 임계값 설정부(36)로부터 공급되어 오는 임계값 ε₂보다도 충분히 작은 임계값 ε₃을 구하고, 이 임계값 ε₃에 기초하여, 입력되는 화상 신호 S_I를 구성하는 화소의 변동 중의 미소한 변화를 검출하고, 검출 결과를 이용하여, 혼합비를 계산하고, 혼합부(52)에 공급한다.

혼합부(52)는, 평활화 처리된 화상 신호 S_{LPF -H}와 평활화되어 있지 않은 입력된 화상 신호 S_I를, 혼합비 검출부(53)로부터 공급되는 혼합비에 기초하여, 혼합하고, 비선형 평활화된 화상 신호 S_{F -H}로서 출력한다.

비선형 필터(51)의 LPF(Low Pass Filter)(61)는, 제어 신호 발생부(62)로부 터 공급되는 제어 신호 및 임계값 설정부(36)로부터 공급되어 오는 임계값 ε₂에 기초하여, 주목 화소와, 그 수평 방향의 좌우에 인접하는 2화소인 수평 처리 방향 성분 화소와의 화소값을 이용하여, 주목 화소를 평활화하여, 평활화된 화상 신호 S_{LPF -H}를 혼합부(52)에 출력한다. 제어 신호 발생부(62)는, 주목 화소와, 수평 처리 방향 성분 화소와의 화소값의 차분 절대값을 산출하고, 그 산출 결과에 기초하여 LPF(61)를 제어하는 제어 신호를 발생하여, LPF(61)에 공급한다. 또한, 비선형 필터(51)로서는, 예를 들면, 상술한 종래의 ε필터를 이용하도록 하여도 된다.

다음으로, 도 6을 참조하여, 임계값 설정부(36)의 구성에 대하여 설명한다.

차분 절대값 산출부(71)는, 주목 화소와, 비선형 평활화 처리에 필요한 화소가 배치되어 있는 방향과 서로 다른 수직 방향으로 인접하는 각 화소와의 차분 절대값을 구하여, 임계값 결정부(72)에 공급한다. 임계값 결정부(72)는, 차분 절대값 산출부(71)로부터 공급되어 오는 차분 절대값 중, 최대로 되는 것에 소정의 마진을 가산한 값을 임계값 ε₂로서 결정하고, 비선형 평활화 처리부(32)에 공급한다. 또한, 임계값 설정부(46)에 대해서는, 임계값 설정부(36)와 마찬가지의 구성으로 되기 때문에, 도시를 생략하는 것으로 하지만, 임계값 설정부(46)에서는, 차분 절대값 산출부(71)는, 주목 화소와, 비선형 평활화 처리에 필요한 화소가 배치되어 있는 방향과 서로 다른 수평 방향으로 인접하는 각 화소와의 차분 절대값을 구하여 임계값 결정부(72)에 공급하게 된다.

다음으로, 도 7의 플로우차트를 참조하여, 도 2의 강조 처리 장치(11)에 의 한 화상 강조 처리에 대하여 설명한다.

스텝 S1에서, 수평 방향 평활화 처리부(22)는, 버퍼(21)에, 순차적으로 기억되어 가는 화상 신호를 이용하여, 수평 방향 평활화 처리를 실행한다.

여기에서, 도 8의 플로우차트를 참조하여, 수평 방향 평활화 처리부(22)에 의한 수평 방향 평활화 처리에 대하여 설명한다.

스텝 S11에서, 수평 방향 평활화 처리부(22)의 수평 처리 방향 성분 화소 추출부(31)는, 래스터 스캔 순으로 주목 화소를 설정한다. 동시에, 수직 참조 방향 성분 화소 추출부(34)도, 마찬가지로 래스터 스캔 순으로 주목 화소를 설정한다. 또한, 주목 화소의 설정 순서는, 래스터 스캔 순 이외의 순서이어도 되지만, 수평 처리 방향 성분 화소 추출부(31)에 의해 설정되는 주목 화소와, 수직 참조 방향 성분 화소 추출부(34)에 의해 설정되는 주목 화소가 동일하게 되도록 설정될 필요가 있다.

스텝 S12에서, 수평 처리 방향 성분 화소 추출부(31)는, 주목 화소와 함께, 주목 화소에 대하여 수평 방향(좌우 방향)으로 2화소씩 인접하는 근방 화소인 수평 처리 방향 성분 화소로 이루어지는 합계 5화소의 화소값을 버퍼(21)로부터 추출하여 비선형 평활화 처리부(32)에 출력한다. 예를 들면, 도 9에서 도시되는 바와 같은 경우, 화소 L2, L1, C, R1, R2가, 주목 화소 및 수평 처리 방향 성분 화소로서 추출된다. 또한, 도 9에서는, 화소 C는, 주목 화소이고, 화소 L2, L1이, 주목 화소 C의 좌측에 인접하는 2화소의 수평 처리 방향 성분 화소이며, 화소 R1, R2가 주목 화소 C의 우측에 인접하는 2화소의 수평 처리 방향 성분 화소이다.

스텝 S13에서, 수직 참조 방향 성분 화소 추출부(34)는, 주목 화소와 함께, 주목 화소에 대하여 수직 방향(상하 방향)으로 2화소씩 인접하는 근방 화소인 수직 참조 방향 성분 화소로 이루어지는 합계 5화소의 화소값을 버퍼(21)로부터 추출하여 Flat 레이트 계산부(35) 및 임계값 설정부(36)에 출력한다. 예를 들면, 도 9에서 도시되는 바와 같은 경우, 화소 U2, U1, C, D1, D2가, 주목 화소 및 수직 참조 방향 성분 화소로서 추출된다. 또한, 도 9에서는, 화소 C는, 주목 화소이고, 화소 U2, U1이, 주목 화소 C의 상측에 인접하는 2화소의 수직 참조 방향 성분 화소이며, 화소 D1, D2가 주목 화소 C의 하측에 인접하는 2화소의 수직 참조 방향 성분 화소이다.

스텝 S14에서, 임계값 설정부(36)는, 임계값 설정 처리를 실행한다.

여기에서, 도 10의 플로우차트를 참조하여, 임계값 설정 처리에 대하여 설명한다.

스텝 S21에서, 차분 절대값 산출부(71)는, 주목 화소와, 수직 참조 방향 화소와의 화소값의 차분 절대값을 구하여, 임계값 결정부(72)에 공급한다. 예를 들면, 도 9의 경우, 주목 화소는, 화소 C이고, 수직 참조 방향 화소는, 화소 U2, U1, D1, D2이므로, 차분 절대값 산출부(71)는, |C-U2|, |C-U1|, |C-D2|, |C-U1|을 산출하고, 임계값 결정부(72)에 공급한다.

스텝 S22에서, 임계값 결정부(72)는, 차분 절대값 산출부(71)로부터 공급되어 오는 차분 절대값 중, 최대값으로 되는 차분 절대값을 임계값 ε₂로 결정하고, 비선형 평활화 처리부(32)에 공급한다. 따라서, 도 9의 경우, 임계값 결정부(72)는, |C-U2|, |C-U1|, |C-D2|, |C-U1|의 최대값을 검색하고, 그 최대값에 소정의 마진을 가산하여 임계값 ε₂로서 설정한다. 여기에서, 마진을 가산한다는 것은, 예를 들면, 10%의 마진을 가산하는 경우, 차분 절대값의 최대값×1.1을 임계값 ε₂로서 설정하는 것이다.

여기에서, 도 8의 플로우차트의 설명으로 되돌아간다.

스텝 S14에서, 임계값 설정 처리가 종료하면, 스텝 S15에서, 비선형 평활화 처리부(32)는, 수평 처리 방향 성분 화소 추출부(31)로부터 공급된 주목 화소와 수평 처리 방향 성분 화소에 기초하여, 주목 화소에 비선형 평활화 처리를 실시한다.

여기에서, 도 11의 플로우차트를 참조하여, 비선형 평활화 처리부(32)에 의한 비선형 평활화 처리에 대하여 설명한다.

스텝 S31에서, 비선형 필터(51)의 제어 신호 발생부(62)는, 주목 화소와, 수평 처리 방향 성분 화소와의 화소값의 차분 절대값을 계산한다. 즉, 도 9의 경우, 제어 신호 발생부(62)는, 주목 화소 C와, 수평 방향으로 인접하는 각 근방 화소인 수평 처리 방향 성분 화소 L2, L1, R1, R2와의 화소값의 차분 절대값 |C-L2|, |C-L1|, |C-R1|, |C-R2|를 계산한다.

스텝 S32에서, 로우 패스 필터(61)는, 제어 신호 발생부(62)에 의해 계산된 각 차분 절대값과 임계값 설정부(36)에 의해 설정된 임계값 ε₂와 비교하여, 이 비교 결과에 대응하여, 입력되는 화상 신호 S_I에 비선형 필터링 처리를 실시한다. 보 다 구체적으로는, 로우 패스 필터(61)는, 예를 들면, 수학식 1과 같이, 주목 화소 C 및 수평 처리 방향 성분 화소의 화소값을, 탭 계수를 이용하여 가중 평균하여, 주목 화소 C에 대응하는 변환 결과 C'를 평활화된 화상 신호 S_LPF-H로서 혼합부(52)에 출력한다. 단, 주목 화소 C의 화소값과의 차분 절대값이, 소정의 임계값 ε₂보다도 큰 수평 처리 방향 성분 화소에 대해서는, 화소값을 주목 화소 C의 화소값과 치환하여 가중 평균하도록 한다(예를 들면, 수학식 2에서 표현되는 바와 같이 연산한다).

스텝 S33에서, 혼합비 검출부(53)는, 미소 엣지 판정 처리를 실행하여, 미소한 엣지가 존재하는지의 여부를 판정한다.

여기에서, 도 12의 플로우차트를 참조하여, 미소 엣지 판정 처리에 대하여 설명한다.

스텝 S41에서, 혼합비 검출부(53)는, 각각 임계값 설정부(61)로부터 공급되어 온 임계값 ε₂에 기초하여, 미소한 엣지의 유무를 검출하기 위해 필요하게 되는 임계값 ε₃을 구한다. 보다 구체적으로는, 임계값 ε₃은, 임계값 ε₂에 대하여, 충분히 작은 값인 것이 조건(ε₃≤ε₂)이므로, 예를 들면, 임계값 ε₂에 대하여, 충분히 작은 계수를 곱함으로써 얻어지는 값을 임계값 ε₃으로서 설정한다.

스텝 S42에서, 혼합비 검출부(53)는, 주목 화소와, 각 수평 처리 방향 성분 화소와의 화소값의 차분 절대값을 산출하고, 각 차분 절대값이 모두, 임계값 ε₃(≤ ε₂)보다도 작은지의 여부를 판정하고, 그 판정 결과에 기초하여, 미소한 엣지가 존재하는지의 여부를 판정한다.

즉, 예를 들면, 도 9에서 도시하는 바와 같이, 혼합비 검출부(53)는, 주목 화소 C와, 수평 방향으로 인접하는 각 수평 처리 방향 성분 화소 L2, L1, R1, R2와의 화소값의 차분 절대값을 산출하고, 각 차분 절대값이 모두, 임계값 ε₃보다도 작은지의 여부를 판정하고, 각 차분 절대값이 모두 임계값 ε₃보다도 작다고 판정한 경우, 근방 화소와 주목 화소와의 화소값에 변화가 없는 것으로 간주하고, 스텝 S44로 진행하여, 주목 화소의 근방에는, 미소한 엣지가 존재하지 않는 것으로 판정한다.

한편, 스텝 S42에서, 산출된 차분 절대값 중, 1개라도 임계값 ε₃ 이상의 것이 있다고 판정된 경우, 스텝 S43으로 진행하여, 혼합비 검출부(53)는, 주목 화소의 좌우의 한 쪽의 수평 처리 방향 성분 화소와 주목 화소와의 차분 절대값이 모두 임계값 ε₃보다도 작고, 또한, 주목 화소의 좌우의 다른 쪽의 수평 처리 방향 성분 화소와 주목 화소와의 차분 절대값이 모두 임계값 ε₃ 이상이며, 또한, 주목 화소의 좌우의 다른 쪽의 수평 처리 방향 성분 화소와 주목 화소와의 각 차분의 플러스 및 마이너스가 일치하고 있는지의 여부를 판정한다.

즉, 주목 화소 C의 좌우의 한 쪽의 수평 처리 방향 성분 화소가, 예를 들면, 도 9의 화소 L2, L1이고, 주목 화소 C의 좌우의 다른 쪽의 수평 처리 방향 성분 화 소가, 도 9의 화소 R2, R1인 경우, 혼합비 검출부(53)는, 주목 화소 C의 좌우의 한 쪽의 수평 처리 방향 성분 화소와 주목 화소 C와의 차분 절대값이 모두 임계값 ε₃보다도 작고, 또한, 주목 화소 C의 좌우의 다른 쪽의 수평 처리 방향 성분 화소 R1, R2와 주목 화소 C와의 차분 절대값이 모두 임계값 ε₃ 이상이며, 또한, 주목 화소 C의 좌우의 다른 쪽의 수평 처리 방향 성분 화소 R1, R2와 주목 화소 C와의 각 차의 플러스 및 마이너스가 일치하고 있는지의 여부를 판정한다.

예를 들면, 상기한 조건이 충족되어 있다고 판정된 경우, 스텝 S44에서, 혼합비 검출부(53)는, 주목 화소의 근방에, 미소한 엣지가 존재한다고 판정한다.

한편, 스텝 S43에서, 상기 조건을 충족시키고 있지 않다고 판정된 경우, 스텝 S45에서, 혼합비 검출부(53)는, 주목 화소의 근방에는, 미소한 엣지가 존재하지 않는다고 판정한다.

예를 들면, 주목 화소 C와 수평 처리 방향 성분 화소 L2, L1, R1, R2의 관계가 도 13에 도시하는 바와 같은 경우, 주목 화소 C와 좌측의 수평 처리 방향 성분 화소 L2, L1의 차분 절대값 |L2-C|, |L1-C|가 임계값 ε₃보다도 작고, 또한, 주목 화소 C와 우측의 수평 처리 방향 성분 화소 R1, R2의 차분 절대값 |R1-C|, |R2-C|가 임계값 ε₃ 이상이며, 또한, 주목 화소 C와 우측의 수평 처리 방향 성분 화소 R1, R2의 차(R1-C), (R2-C)의 부호가 일치하므로(현재의 경우, 모두 플러스), 주목 화소 C의 근방에 미소한 엣지가 존재한다고 판정된다.

또한, 예를 들면, 주목 화소 C와 수평 처리 방향 성분 화소 L2, L1, R1, R2 의 관계가 도 14에 도시하는 바와 같은 경우, 주목 화소 C와 좌측의 수평 처리 방향 성분 화소 L2, L1의 차분 절대값 |L2-C|, |L1-C|가 임계값 ε₃보다도 작고, 또한, 주목 화소 C와 우측의 수평 처리 방향 성분 화소 R1, R2의 차분 절대값 |R1-C|, |R2-C|가 임계값 ε₃ 이상이기는 하지만, 또한, 주목 화소 C와 우측의 수평 처리 방향 성분 화소 R1, R2의 차(R1-C), (R2-C)의 부호가 일치하지 않으므로(현재의 경우, 각각 플러스, 마이너스), 주목 화소 C의 근방에 미소한 엣지가 존재하지 않는다고 판정된다.

또한, 예를 들면, 주목 화소 C와 수평 처리 방향 성분 화소 L2, L1, R1, R2의 관계가 도 15에 도시하는 바와 같은 경우, 주목 화소 C의 좌우 어느 쪽도, 주목 화소 C와 수평 처리 방향 성분 화소의 차분 절대값이 모두 임계값 ε₃보다도 작다는 것은 아니므로, 주목 화소 C의 근방에 미소한 엣지가 존재하지 않는다고 판정된다.

이와 같이 하여, 주목 화소의 근방에 미소한 엣지가 존재하는지의 여부가 판정된 후, 처리는 도 11의 스텝 S34로 되돌아간다.

스텝 S33의 처리가 종료하면, 스텝 S34에서, 혼합비 검출부(53)는, 스텝 S33에서의 미소 엣지 판정 처리에 의한 판정 결과가, 「주목 화소 C의 근방에 미소한 엣지가 존재한다」인지의 여부를 판정한다. 예를 들면, 미소 엣지 판정 처리에 의한 판정 결과가, 「주목 화소 C의 근방에 미소한 엣지가 존재한다」인 경우, 스텝 S35에서, 혼합비 검출부(53)는, 수평 방향으로 비선형 필터링 처리된 화상 신호 S_{LPF -H}와 입력된 화상 신호 S_I의 혼합비인 Mix 레이트 Mr_-H를 최대 Mix 레이트 Mr_{- Hmax} 로서 혼합부(52)에 출력한다. 또한, 최대 Mix 레이트 Mr_{- Hmax}는, Mix 레이트 Mr_-H의 최대값, 즉, 화소값의 다이내믹 레인지의 최대값과 최소값의 차분 절대값이다.

스텝 S36에서, 혼합부(52)는, 혼합비 검출부(53)로부터 공급되는 Mix 레이트 Mr_-H에 기초하여, 입력되는 화상 신호 S_I와 비선형 필터(51)에 의해 비선형 평활화 처리된 화상 신호 S_{LPF -H}를 혼합하고, 비선형 평활화된 화상 신호 S_{F -H}로서 버퍼(23)에 출력한다. 보다 상세하게는, 혼합부(52)는, 이하의 수학식 3을 연산하여, 입력되는 화상 신호 S_I와 비선형 필터에 의해 비선형 평활화된 화상 신호 S_{LPF -H}를 혼합한다.

Ｓ_F-H＝S_I×Mr_-H／Mr_{-H max}＋S_{LPF -H}×（１－Mr_-H／Mr_{-H max}）

여기에서, Mr_-H는, Mix 레이트이고, Mr_{- Hmax}는, Mix 레이트 Mr_-H의 최대값, 즉, 화소값의 최대값과 최소값의 차분 절대값이다.

수학식 3에서 표현되는 바와 같이, Mix 레이트 Mr_-H가 크면, 비선형 필터(51)에 의해 처리된 화상 신호 S_{LPF -H}의 가중치가 작게 되고, 입력된 처리되어 있지 않은 화상 신호 S_I의 가중치가 크게 된다. 반대로, Mix 레이트 Mr_-H가 작으면, 즉, 수평 방향으로 인접하는 화소간의 화소값의 차분 절대값이 작을수록, 비선형 필터에 의해 처리된 화상 신호 S_{LPF -H}의 가중치가 크게 되고, 입력된 처리되어 있지 않은 화상 신호의 가중치가 작게 된다.

따라서, 미소 엣지가 검출된 경우, Mix 레이트 Mr_-H는 최대 Mix 레이트 Mr_-Hmax로 되므로, 실질적으로 입력된 화상 신호 S_I가, 그대로 출력되게 된다.

한편, 스텝 S34에서, 「미소 엣지가 존재하지 않는다」로 판정된 경우, 스텝 S37에서, 혼합비 검출부(53)는, 주목 화소와, 각 수평 처리 방향 성분 화소와의 화소값의 차분 절대값을 각각 계산하고, 계산한 각 차분 절대값 중의 최대값을 혼합비인, Mix 레이트 Mr_-H로서 구하여, 혼합부(52)에 출력하고, 그 처리는, 스텝 S36으로 진행한다.

즉, 도 9의 경우, 혼합비 검출부(53)는, 주목 화소 C와, 각 수평 처리 방향 성분 화소 L2, L1, R1, R2와의 화소값의 차분 절대값 |C-L2|, |C-L1|, |C-R1|, |C-R2|를 계산하고, 계산한 각 차분 절대값 중의 최대값을 혼합비인 Mix 레이트 Mr_-H로서 구하여, 혼합부(52)에 출력한다.

즉, 미소 엣지가 존재하지 않는 경우, 주목 화소와 각 수평 처리 방향 성분 화소와의 화소값의 차분 절대값의 최대값에 따라서, 비선형 필터링 처리된 화상 신호 S_{LPF -H}와, 입력된 화상 신호 S_I가 혼합되어, 비선형 평활화 처리된 화상 신호 S_{F -H}가 생성되고, 미소 엣지가 존재한 경우, 입력된 화상 신호 S_I가 그대로 출력된다.

결과적으로, 비선형 평활화 처리부(32)에서는, 임계값 ε₃을 기준으로 하여 미소 엣지가 검출되게 되므로, 미소 엣지가 존재하는 부분에 대해서는, 비선형 평 활화 처리가 실시되지 않도록 함과 함께, 엣지가 존재하지 않는 부분에 대해서도, 그 차분 절대값의 크기에 따라 비선형 평활화 처리가 실시된 화소값과, 입력된 화상 신호를 혼합하도록 하였으므로, 특히, 미소한 엣지로 구성된 단순한 패턴 화상 등에서 현저하게 화질의 열화가 발생하게 된다고 하는 사태를 억지하는 것이 가능하게 된다.

여기에서, 도 8의 플로우차트의 설명으로 되돌아간다.

스텝 S16에서, Flat 레이트 계산부(35)는, 주목 화소와, 주목 화소에 대하여 수직 방향으로 인접하는 각 수직 참조 방향 성분 화소와의 화소값의 차분 절대값을 각각 계산한다. 즉, 도 9의 경우, Flat 레이트 계산부(35)는, 주목 화소 C와, 수직 방향으로 인접하는 각 수직 참조 방향 성분 화소 U2, U1, D1, D2와의 화소값의 차분 절대값 |C-U2|, |C-U1|, |C-D1|, |C-D2|를 계산한다.

스텝 S17에서, Flat 레이트 계산부(35)는, 주목 화소와, 주목 화소에 대하여 수직 방향으로 인접하는 각 수직 참조 방향 성분 화소와의 차분 절대값 중, 최대값으로 되는 차분 절대값을 구하여, 이것을 Flat 레이트 Fr_-V로서 혼합부(33)에 공급한다.

스텝 S18에서, 혼합부(33)는, Flat 레이트 계산부(35)로부터 공급되는 Flat 레이트 Fr_-V에 기초하여, 입력되는 화상 신호 S_I와 비선형 평활화 처리부(32)에 의해 비선형 평활화 처리된 화상 신호 S_{F -H}를 혼합하고, 수평 처리 평활화 처리된 화상 신호 S_{NL -H}로서 버퍼(23)에 출력한다. 보다 상세하게는, 혼합부(33)는, 이하의 수학식 4를 연산하여, 입력되는 화상 신호 S_I와 비선형 평활화 처리부(32)에 의해 비선형 평활화 처리된 화상 신호 S_{F -H}를 혼합한다.

Ｓ_{NL -H}＝S_{F -H}×Fr_-V／Fr_{-H max}＋S_I×（１－Fr_-V／Fr_{-V max}）

여기에서, Fr_-V는, 수직 방향의 Flat 레이트이고, Fr_{- Vmax}는, 수직 방향의 Flat 레이트 Fr_-V의 최대값, 즉, 화소값의 다이내믹 레인지의 최대값과 최소값의 차분 절대값이다. Flat 레이트 Fr_-V는, 수직 참조 방향 성분 화소와 주목 화소와의 차분 절대값의 최대값이므로, 그 값이 작을수록, 주목 화소와, 주목 화소에 수직 방향으로 인접하는 수직 참조 방향 성분 화소의 영역에서는, 화소값의 변화가 작고, 시각적으로도 색의 변화가 작기 때문에, 외관상 평탄한 상태(Flat인 상태)라고 말할 수 있다. 반대로, Flat 레이트 Fr_-V가 크다고 하는 것은, 주목 화소와, 주목 화소에 수직 방향으로 인접하는 수직 참조 방향 성분 화소의 영역에서는, 화소간의 변화가 크고, 외관상으로도 평탄하지 않은 상태(Flat가 아닌 상태)인 것이 나타내진다.

이 때문에, 수학식 4에서 표현되는 바와 같이, Flat 레이트 Fr_-V가 크면, 비선형 평활화 처리부(32)에 의해 비선형 평활화 처리된 화상 신호 S_{F -H}의 가중치가 증가하고, 입력된 처리되어 있지 않은 화상 신호 S_I의 가중치가 작게 된다. 반대 로, Flat 레이트 Fr_-V가 작으면, 즉, 수직 방향의 화소간의 화소값의 차분 절대값이 작을수록, 비선형 평활화 처리부(32)에 의해 비선형 평활화 처리된 화상 신호 S_{F -H}의 가중치가 작게 되고, 입력된 처리되어 있지 않은 화상 신호 S_I의 가중치가 크게 된다.

스텝 S18에서, 수평 처리 방향 성분 화소 추출부(31)는, 모든 화소를 주목 화소로서 처리하였는지, 즉, 미처리의 화소가 존재하는지의 여부를 판정하고, 예를 들면, 모두의 화소를 주목 화소로서 처리하고 있지 않다고, 즉, 미처리 화소가 존재한다고 판정한 경우, 그 처리는, 스텝 S11로 되돌아간다. 그리고, 스텝 S18에서, 모두의 화소가 주목 화소로서 처리되었다고, 즉, 미처리 화소가 존재하지 않는다고 판정된 경우, 그 처리는, 종료하고, 도 7의 스텝 S1의 처리가 종료한다. 또한, 수직 참조 방향 성분 화소 추출부(34)도, 마찬가지로, 모든 화소를 주목 화소로서 처리하였는지, 즉, 미처리의 화소가 존재하는지의 여부를 판정하고, 어느 쪽에 있어서도, 미처리 화소가 존재하지 않는다고 판정된 경우에만, 그 처리를 종료시키도록 해도 된다.

결과적으로, 주목 화소에 대하여 수직 방향으로 인접하는 수직 참조 방향 성분 화소와의 화소값의 차분 절대값으로부터 구해지는 수직 방향의 Flat 레이트 Fr_-V에 따라서, 수평 방향으로 비선형 평활화 처리된 화상 신호 S_{F -H}와, 입력된 화상 신호 S_I가 혼합됨으로써, 수직 방향으로 상관이 강한, 즉, 수직 방향의 Flat 레이트 Fr_-V가 작고, 수직 방향의 상관이 강한 경우, 입력된 화상 신호 S_I의 가중치를 크게 하고, 반대로, 수직 방향의 Flat 레이트 Fr_-V가 크고, 수직 방향의 상관이 약한 경우, 수평 방향으로 비선형 필터링 처리된 화상 신호 S_{F -H}의 가중치를 크게 함으로써, 엣지를 의식하면서, 처리 방향에 따른(비선형 평활화 처리에 사용하는 근방 화소가, 주목 화소에 대하여 수평 방향으로 인접하는 화소인지, 또는, 수직 방향으로 인접하는 화소인지에 따른) 부자연스러운 처리를 억제하는 것이 가능하게 된다.

또한, 이상에서는, 혼합 시에는, Flat 레이트 Fr_-V를 그대로 가중치 계수로서 화소값에 곱하는 예에 대하여 설명하였지만, 그 밖의 Flat 레이트에 따른 가중치 계수를 비선형 필터링 처리된 화상 신호 S_{F -H}와 입력된 화상 신호 S_I의 각각에 곱하여 혼합하도록 해도 된다. 즉, 예를 들면, 도 16에서 도시되는 바와 같이, Flat 레이트 Fr_-V에 따라 설정되는 가중치 계수 W₁, W₂를 이용하여, 이하의 수학식 5를 이용하여 혼합하도록 해도 된다.

Ｓ_{NL -H}＝S_I×W₁＋S_{F -H}×W₂

여기에서, W₂는 수평 방향으로 비선형 필터링 처리된 화상 신호 S_{F -H}의 가중치 계수이고, W₁은 입력된 화상 신호 S_I의 가중치 계수이다. 또한 ,(W₁+W₂)는, 가중치 계수의 최대값 W_max(=1)이다.

즉, 도 16에서는, Flat 레이트 Fr_-H가 Fr1보다 작은 범위(Fr_-V<Fr1)에서는, 가중치 계수 W₁은, 가중치 계수의 최대값 W_max이고, 가중치 계수 W₂는 0이다. Flat 레이트 Fr_-V가 Fr1보다 이상이며, 또한, Fr2 이하인 범위(Fr1≤Fr_-V≤Fr2)에서는, 가중치 계수 W₁은, Flat 레이트 Fr_-V에 비례하여 감소하고, 가중치 계수 W₂는, Flat 레이트 Fr_-V에 비례하여 증대하며, 또한, (W₁+W₂)는, 가중치 계수의 최대값 W_max(=1)로 되도록 설정되어 있다. 또한, Flat 레이트 Fr_-V가 Fr2보다 큰 범위(Fr2≤Fr_-V)에서는, 가중치 계수 W₁은 0이고, 가중치 계수 W₂는 가중치 계수의 최대값 W_max이다.

결과적으로, 엣지의 유무를 정확하게 의식하여, 화상을 비선형 평활화하는 것이 가능하게 된다. 또한, Fr1=Fr2로 되는 경우, Flat 레이트 Fr_-V가, Fr1(=Fr2)일 때를 임계값으로 하여, 출력되는 화상 신호가, 입력된 화상 신호 S_I인지, 또는, 비선형 평활화 처리된 화상 신호 S_{F -H} 중 어느 하나인지가, 절환되어 출력되게 된다.

또한, 상술한 도 8의 플로우차트에서의 스텝 S14의 처리인, 임계값 설정 처리에 의해, 예를 들면, 도 17의 상부에서 도시되는 바와 같은 직사각형파가 있고, 주목 화소가 도면 중의 ×표였던 경우, 도 17의 하부에서 도시되는 바와 같이, 수직 참조 방향 화소의 파형에 기초하여, 임계값 ε₂의 크기를 설정함으로써, 도 18의 상부에서 도시되는 바와 같이 임계값을 설정하는 것이 가능하게 되기 때문에, 도 17의 상부에서 도시되는 바와 같이 직사각형파의 화소값의 변화보다도 큰 것에 의해, 도 1의 중단에서 도시되는 바와 같은 파형으로 변화되게 된다고 하는 문제를 해소하여, 도 18의 하부에서 도시되는 바와 같이, 직사각형파를 유지하면서, 진폭 성분만을 평활화하는 것이 가능하게 된다.

여기에서, 도 7의 플로우차트로 되돌아간다.

이상과 같이, 스텝 S1에서, 수평 방향 평활화 처리부(22)는, 수평 방향 평활화 처리에 의해 생성된 화상 신호 S_{NL -H}를 버퍼(23)에 순차적으로 기억시킨다.

스텝 S2에서, 수직 방향 평활화 처리부(24)는, 버퍼(23)에, 순차적으로 기억되어 있는, 수평 방향 평활화 처리되어 있는 화상 신호 S_{NL -H}를 이용하여, 수직 방향 평활화 처리를 실행한다. 여기에서, 도 19의 플로우차트를 참조하여, 수직 방향 평활화 처리에 대하여 설명한다. 또한, 수직 방향 평활화 처리는, 수평 방향 평활화 처리에서의 처리의 수평 방향의 처리와, 수직 방향의 처리를 교체한 처리이며, 처리 내용 그 자체는 마찬가지의 것이다. 또한, 임계값 설정 처리에 대해서도, 주목 화소에 대하여 수직 방향으로 인접하는 화소로부터 수평 방향으로 인접하는 화소와, 주목 화소를 이용하는 것 이외의 점에 대해서는, 마찬가지의 처리이므로, 그 설명은 생략한다.

즉, 스텝 S51에서, 수직 방향 평활화 처리부(24)의 수직 처리 방향 성분 화소 추출부(41)는, 래스터 스캔 순으로 주목 화소를 설정한다. 동시에, 수평 참조 방향 성분 화소 추출부(44)도, 마찬가지로 래스터 스캔 순으로 주목 화소를 설정한 다. 또한, 주목 화소의 설정 순서는, 래스터 스캔 순 이외의 순서이어도 되지만, 수직 처리 방향 성분 화소 추출부(41)에 의해 설정되는 주목 화소와, 수평 참조 방향 성분 화소 추출부(44)에 의해 설정되는 주목 화소가 동일하게 되도록 설정될 필요가 있다.

스텝 S52에서, 수직 처리 방향 성분 화소 추출부(41)는, 주목 화소와 함께, 주목 화소에 대하여 수직 방향(상하 방향)으로 2화소씩 인접하는 근방 화소인 수평 참조 방향 성분 화소로 이루어지는 합계 5화소의 화소값을 버퍼(23)로부터 추출하여 비선형 평활화 처리부(42)에 출력한다. 예를 들면, 도 9에서 도시되는 바와 같은 경우, 화소 U2, U1, C, D1, D2가, 주목 화소 및 수평 참조 방향 성분 화소로서 추출된다.

스텝 S53에서, 수평 참조 방향 성분 화소 추출부(44)는, 주목 화소와 함께, 주목 화소에 대하여 수평 방향(좌우 방향)으로 2화소씩 인접하는 근방 화소인 수평 참조 방향 성분 화소로 이루어지는 합계 5화소의 화소값을 버퍼(23)로부터 추출하여 Flat 레이트 계산부(45)에 출력한다. 예를 들면, 도 9에서 도시되는 바와 같은 경우, 화소 L2, L1, C, R1, R2가, 주목 화소 및 수평 참조 방향 성분 화소로서 추출된다.

스텝 S54에서, 임계값 설정부(46)는, 임계값 설정 처리를 실행한다.

스텝 S55에서, 비선형 평활화 처리부(42)는, 수직 처리 방향 성분 화소 추출부(41)로부터 공급된 주목 화소와 수직 처리 방향 성분 화소에 기초하여, 주목 화소에 비선형 평활화 처리를 실시한다. 또한, 스텝 S55에서의 비선형 평활화 처리 에 대해서는, 도 8의 스텝 S15에서의 비선형 평활화 처리와, 수평 방향과 수직 방향의 관계가 교체될 뿐이며, 그 밖의 처리에 대해서는 마찬가지이므로, 그 설명은 생략하는 것으로 한다. 따라서, 이 처리에 의해, 비선형 평활화 처리부(42)는, 수직 방향으로 비선형 평활화 처리된 화상 신호 S_{F -V}를 혼합부(43)에 출력한다.

스텝 S56에서, Flat 레이트 계산부(45)는, 주목 화소와, 주목 화소에 대하여 수평 방향으로 인접하는 각 수평 참조 방향 성분 화소와의 화소값의 차분 절대값을 각각 계산한다. 즉, 도 9의 경우, Flat 레이트 계산부(45)는, 주목 화소 C와, 수평 방향으로 인접하는 각 수평 참조 방향 성분 화소 L2, L1, R1, R2와의 화소값의 차분 절대값 |C-L2|, |C-L1|, |C-R1|, |C-R2|를 계산한다.

스텝 S57에서, Flat 레이트 계산부(45)는, 주목 화소와, 주목 화소에 대하여 수평 방향으로 인접하는 각 수평 참조 방향 성분 화소와의 차분 절대값 중, 최대값으로 되는 차분 절대값을 구하여, 이것을 Flat 레이트 Fr_-H로서 혼합부(43)에 공급한다.

스텝 S58에서, 혼합부(43)는, Flat 레이트 계산부(45)로부터 공급되는 Flat 레이트 Fr_-H에 기초하여 입력되는 수평 방향 평활화 처리부(22)에 의해 수평 방향 비선형 평활화 처리된 화상 신호 S_{NL -H}와 비선형 평활화 처리부(42)에 의해 비선형 평활화 처리된 화상 신호 S_{F -V}를 혼합하고, 수직 방향의 근접 화소로서 이용하여 평활화된 화상 신호 S_O를 버퍼(25)에 출력한다. 보다 상세하게는, 혼합부(43)는, 이 하의 수학식 6을 연산하여, 입력되는 수평 방향 비선형 평활화 처리되어 있는 화상 신호 S_{NL -H}와 비선형 평활화 처리부(42)에 의해 수직 방향으로 비선형 평활화 처리된 화상 신호 S_{F -V}를 혼합한다.

Ｓ_O＝S_{F -V}×Fr_-H／Fr_{-H max}＋S_{NL -H}×（１－Fr_-H／Fr_{-H max}）

여기에서, Fr_-H는, 수평 방향의 Flat 레이트이고, Fr_{- Hma}x는, Flat 레이트 Fr_-H의 최대값, 즉, 화소값의 다이내믹 레인지의 최대값과 최소값의 차분 절대값이다. Flat 레이트 Fr_-H는, 수평 방향으로 인접하는 각 수평 참조 방향 성분 화소와 주목 화소와의 차분 절대값의 최대값이므로, 그 값이 작을수록, 주목 화소와, 주목 화소에 수평 방향으로 인접하는 근방 화소의 영역에서는, 화소값의 변화가 작고, 시각적으로도 색의 변화가 작기 때문에, 외관상으로 평탄한 상태(Flat인 상태)라고 말할 수 있다. 반대로, Flat 레이트 Fr_-H가 크다고 하는 것은, 주목 화소와, 주목 화소에 수직 방향으로 인접하는 수평 참조 방향 성분 화소의 영역에서는, 화소간의 변화가 크고, 외관상으로도 평탄하지 않은 상태(Flat가 아닌 상태)인 것이 나타내진다.

이 때문에, 수학식 6으로 표현되는 바와 같이, Flat 레이트 Fr_-H가 크면, 비선형 평활화 처리부(42)에 의해 수직 방향으로 비선형 평활화 처리된 화상 신호 S_{F - V}의 가중치가 증가하고, 수평 방향 평활화 처리된 화상 신호 S_{NL -H}의 가중치가 작게 된다. 반대로, Flat 레이트 Fr_-H가 작으면, 즉, 수평 방향의 화소간의 화소값의 차분 절대값이 작을수록, 비선형 평활화 처리부(32)에 의해 수직 방향으로 비선형 평활화 처리된 화상 신호 S_{F -V}의 가중치가 작게 되고, 입력된 수평 방향으로 비선형 평활화 처리되어 있는 화상 신호 S_{NL -H}의 가중치가 크게 된다.

스텝 S59에서, 수직 처리 방향 성분 화소 추출부(41)는, 모든 화소를 주목 화소로서 처리하였는지, 즉, 미처리의 화소가 존재하는지의 여부를 판정하고, 예를 들면, 모두의 화소를 주목 화소로서 처리하고 있지 않다고, 즉, 미처리 화소가 존재한다고 판정한 경우, 그 처리는, 스텝 S51로 되돌아간다. 그리고, 스텝 S59에서, 모든 화소가 주목 화소로서 처리되었다고, 즉, 미처리 화소가 존재하지 않는다고 판정된 경우, 그 처리는, 종료하고, 도 7의 스텝 S2의 처리가 종료한다. 또한, 수평 참조 방향 성분 화소 추출부(44)도, 마찬가지의 처리로, 모든 화소를 주목 화소로서 처리하였는지, 즉, 미처리의 화소가 존재하는지의 여부를 판정하고, 어느 쪽에 있어서도, 미처리 화소가 존재하지 않는다고 판정된 경우에만, 그 처리를 종료시키도록 해도 된다.

결과적으로, 주목 화소에 대하여 수평 방향으로 인접하는 수평 참조 방향 성분 화소와의 화소값의 차분으로부터 구해지는 Flat 레이트 Fr_-H에 따라서, 수직 방향으로 평활화 처리된 화상 신호 S_{F -V}와 입력된 화상 신호 S_{NL -H}가 혼합됨으로써, 수 평 방향으로 상관이 강한, 즉, 수평 방향의 Flat 레이트 Fr_-H가 작고, 수평 방향의 상관이 강한 경우, 입력된 수평 방향 선형 평활화 처리된 화상 신호 S_{NL -H}의 가중치를 크게 하고, 수평 방향의 Flat 레이트 Fr_-H가 크고, 수평 방향의 상관이 약한 경우, 수직 방향으로 비선형 필터링 처리된 화상 신호 S_{F -V}의 가중치를 크게 함으로써, 엣지를 의식하면서, 처리 방향에 따른(비선형 평활화 처리에 사용하는 근방 화소가, 주목 화소에 대하여 수평 방향으로 인접하는 화소인지, 또는, 수직 방향으로 인접하는 화소인지에 따른) 부자연스러운 처리를 억제하는 것이 가능하게 된다.

또한, 이상에서는, 혼합 시에는, Flat 레이트 Fr_-H를 그대로 가중치 계수로서 화소값에 곱하는 예에 대하여 설명하였지만, 그 밖의 Flat 레이트 Fr_-H에 따른 가중치 계수를 평활화 처리된 화상 신호 S_{F -V}와 입력된 수평 방향 평활화 처리된 화상 신호 S_{NL -H}의 각각에 곱하여 혼합하도록 해도 된다. 즉, 상술한 수평 방향 평활화 처리에서의 도 16에서 도시되는 바와 같이, Flat 레이트 Fr_-H에 따라 설정되는 가중치 계수 W₁, W₂를 이용하고 있었던 경우와 마찬가지로, 이하의 수학식 7과 같이 하여, 수직 방향 평활화 처리된 화상 신호 S_O를 구하도록 해도 된다.

Ｓ_O＝S_{NL -H}×W₁₁＋S_{F -V}×W₁₂

여기에서, W₁₂는 수직 방향에 평활화 처리된 화상 신호 S_{F -V}의 가중치 계수이고, W₁₁은 입력된 수평 방향 평활화 처리된 화상 신호 S_{NL -H}의 가중치 계수이다. 또한, (W₁₁+W₁₂)는, 가중치 계수의 최대값 W_max(=1)이다.

결과적으로, 엣지의 유무를 정확하게 의식하여 생성되는 화상을 비선형 평활화하는 것이 가능하게 된다.

여기에서, 도 7의 플로우차트의 설명으로 되돌아간다.

스텝 S2에서, 수직 방향 평활화 처리가 실행되면, 스텝 S3에서, 다음의 화상이 입력되었는지의 여부가 판정되고, 다음의 화상이 입력되었다고 판정된 경우, 그 처리는, 스텝 S1로 되돌아가서, 그 이후의 처리가 반복된다. 스텝 S3에서, 다음의 화상이 입력되어 있지 않다고, 즉, 화상 신호가 종료하였다고 판정된 경우, 그 처리는, 종료한다.

이상의 처리에 의해, 수평 방향 평활화 처리와 수직 방향 평활화 처리의 각각에서, 처리 방향에 따른 부자연스러운 평활화 처리를, Flat 레이트를 구하여, Flat 레이트에 따라서, 비선형 평활화된 화상 신호와, 비선형 평활화 처리되어 있지 않은 화상 신호를 혼합하도록 하였으므로, 화상의 엣지 부분을 남기고, 처리 방향에 따라 발생하는 부자연스러운 강조 처리를 억제하면서, 엣지 이외의 영역의 콘트라스트나 선예도를 강조하는 것이 가능하게 된다.

또한, 비선형 평활화 처리에 이용하는 임계값 ε₂를 처리 방향에 대하여 수직 방향의 화소(참조 방향 화소)를 이용하여 설정하도록 하였으므로, 구조 성분을 유지한 채로, 진폭 성분만을 강조하는 것이 가능하게 되므로, 도 1에서 설명한 바와 같은, 직사각형 파형을 무너뜨리거나, 강조 처리를 행할 수 없다고 하는 문제를 해소하여, 엣지 이외의 영역의 콘트라스트나 선예도를 강조하는 것이 가능하게 된다.

이상에서는, 임계값 설정 처리에서, 주목 화소와, 참조 방향 화소와의 차분 절대값 중, 최대로 되는 것을 임계값 ε₂로 설정하도록 하고 있었지만, 임계값은 이것에 한정되는 것이 아니라 그 밖의 방법으로 설정하도록 해도 된다. 임계값 ε₂는, 예를 들면, 주목 화소 및 참조 방향 성분 화소 중, 최대값과 최소값을 구하여, 그들 차분 절대값에 의해 설정하도록 해도 된다.

도 20은, 임계값 ε₂를, 주목 화소 및 수직 참조 방향 성분 화소 중, 최대값과 최소값과의 차분 절대값에 의해 설정하도록 한 임계값 설정부(36)의 구성을 도시하고 있다.

최대값 추출부(81)는, 주목 화소 및 수직 참조 방향 성분 화소 중 어느 쪽인가 최대값으로 되는 화소의 화소값을 추출하여, 임계값 결정부(83)에 공급한다.

최소값 추출부(82)는, 주목 화소 및 수직 참조 방향 성분 화소 중 어느 쪽인가 최소값으로 되는 화소의 화소값을 추출하여, 임계값 결정부(83)에 공급한다.

임계값 결정부(83)는, 최대값 추출부(81)로부터 공급되어 오는 주목 화소 및 수직 참조 방향 성분 화소 중에서, 화소값이 최대로 되는 화소의 화소값과, 최소값 추출부(82)로부터 공급되어 오는 주목 화소 및 수직 참조 방향 성분 화소 중에서, 화소값이 최소로 되는 화소의 화소값과의 차분 절대값을 구하여, 소정의 마진을 가산하여 임계값 ε₂로 설정하고, 비선형 평활화 처리부(32)에 공급한다.

다음으로, 도 21의 플로우차트를 참조하여, 도 20의 임계값 설정부(36)에 의한 임계값 설정 처리에 대하여 설명한다.

스텝 S71에서, 최대값 추출부(81)는, 주목 화소 및 수직 참조 방향 성분 화소 중 어느 쪽인가 최대값으로 되는 화소의 화소값을 추출하여, 임계값 결정부(83)에 공급한다. 즉, 도 9의 경우, 주목 화소 및 수직 참조 방향 성분 화소는, 화소 U2, U1, C, D1, D2이므로, 최대값 추출부(81)는, 화소 U2, U1, C, D1, D2의 화소값 중, 최대값으로 되는 화소의 화소값을 추출하여 임계값 결정부(83)에 공급한다.

스텝 S72에서, 최소값 추출부(82)는, 주목 화소 및 수직 참조 방향 성분 화소 중 어느 쪽인가 최소값으로 되는 화소의 화소값을 추출하여, 임계값 결정부(83)에 공급한다. 즉, 도 9의 경우, 주목 화소 및 수직 참조 방향 성분 화소는, 화소 U2, U1, C, D1, D2이므로, 최소값 추출부(82)는, 화소 U2, U1, C, D1, D2의 화소값 중, 최소값으로 되는 화소의 화소값을 추출하여 임계값 결정부(83)에 공급한다.

스텝 S73에서, 임계값 결정부(83)는, 최대값 추출부(81)로부터 공급되어 오는 주목 화소 및 수직 참조 방향 성분 화소 중에서, 화소값이 최대로 되는 화소의 화소값과, 최소값 추출부(82)로부터 공급되어 오는 주목 화소 및 수직 참조 방향 성분 화소 중에서, 화소값이 최소로 되는 화소의 화소값과의 차분 절대값을 구하여, 소정의 마진을 가산하여 임계값 ε₂로 설정하고, 비선형 평활화 처리부(32)에 공급한다.

이상과 같이, 주목 화소 및 수직 참조 방향 성분 화소에서의 최대값과 최소값과의 차분 절대값에 기초하여 임계값 ε₂가 설정됨으로써, 구조 성분을 유지하면서, 진폭 성분만을 평활화하는 것이 가능하게 된다. 또한, 임계값 설정부(46)는, 임계값 설정부(36)에서 처리된 주목 화소 및 수직 참조 방향 성분 화소 대신에, 주목 화소 및 수평 참조 방향 성분 화소가 처리되게 될 뿐이며, 그 처리는, 마찬가지이므로, 그 설명은 생략하는 것으로 한다.

이상에서는, 주목 화소와 참조 방향 성분 화소와의 최대값과 최소값과의 차분 절대값에 기초하여 임계값 ε₂가 설정되는 예에 대하여 설명하였지만, 예를 들면, 주목 화소 및 참조 방향 성분 화소 중, 주목 화소를 경계로 하여 2방향에 존재하는 화소의 화소값의 최대값과 최소값과 차분 절대값 중, 작은 쪽의 값에 기초하여, 임계값 ε₂를 설정하도록 해도 된다.

도 22는, 주목 화소 및 참조 방향 성분 화소 중, 주목 화소를 경계로 하여 2방향에 존재하는 화소의 화소값의 최대값과 최소값과의 차분 절대값 중, 작은 쪽의 값에 기초하여, 임계값 ε₂를 설정하도록 한 임계값 설정부(36)의 구성예를 도시하고 있다.

제1 방향 최대값 추출부(91)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 상부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최대값을 추출하여 차분 절대값 산출부(93)에 공급한다. 또한, 도 22에서는, 제1 방향이란 주목 화소에 대하여 상부의 방향을 나타내고, 제2 방향이란 하부의 방향을 나타낸다.

제1 방향 최소값 추출부(92)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 상부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최소값을 추출하여 차분 절대값 산출부(93)에 공급한다.

제2 방향 최대값 추출부(94)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 하부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최대값을 추출하여 차분 절대값 산출부(96)에 공급한다.

제2 방향 최소값 추출부(95)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 하부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최소값을 추출하여 차분 절대값 산출부(96)에 공급한다.

차분 절대값 산출부(93)는, 제1 방향 최대값 추출부(91)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 상부의 방향에 존재하는 화소의 최대값과, 제1 방향 최소값 추출부(92)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 상부의 방향에 존재하는 화소의 최소값과의 차분 절대값을 산출하여 임계값 결정부(97)에 공급한다.

차분 절대값 산출부(96)는, 제2 방향 최대값 추출부(94)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 하부의 방향에 존재하는 화소의 최대값과, 제2 방향 최소값 추출부(95)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 하부의 방향에 존재하는 화소의 최소값과의 차분 절대값을 산출하여 임 계값 결정부(97)에 공급한다.

임계값 결정부(97)는, 차분 절대값 산출부(93, 96)로부터, 각각에 공급되어 오는 차분 절대값 중, 작은 쪽의 값에 마진을 가산하여, 임계값 ε₂로서 결정하고, 비선형 평활화 처리부(32)에 공급한다.

다음으로, 도 23의 플로우차트를 참조하여, 도 22의 임계값 설정부(36)에 의한 임계값 설정 처리에 대하여 설명한다.

스텝 S91에서, 제1 방향 최대값 추출부(91)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 상부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최대값을 추출하여 차분 절대값 산출부(93)에 공급한다. 즉, 예를 들면, 도 9에서의 경우, 제1 방향 최대값 추출부(91)는, 주목 화소 C와, 주목 화소 C보다도 상부의 방향에 인접하는 수직 참조 방향 성분 화소 U2, U1을 추출하고, 화소값 C, U1, U2 중, 최대값으로 되는 화소값을 차분 절대값 산출부(93)에 공급한다.

스텝 S92에서, 제1 방향 최소값 추출부(92)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 상부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최소값을 추출하여 차분 절대값 산출부(93)에 공급한다. 즉, 예를 들면, 도 9에서의 경우, 제1 방향 최소값 추출부(92)는, 주목 화소 C와, 주목 화소 C보다도 상부의 방향에 인접하는 수직 참조 방향 성분 화소 U2, U1을 추출하고, 화소값 C, U1, U2 중, 최소값으로 되는 화소값을 차분 절대값 산출 부(93)에 공급한다.

스텝 S93에서, 차분 절대값 산출부(93)는, 제1 방향 최대값 추출부(91)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 상부의 방향에 존재하는 화소의 최대값과, 제1 방향 최대값 추출부(92)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 상부의 방향에 존재하는 화소의 최소값과의 차분 절대값을 산출하여 임계값 결정부(97)에 공급한다. 즉, 도 9에서의 경우, 차분 절대값 산출부(93)는, 제1 방향 최대값 추출부(91)로부터 공급되어 오는 화소값 C, U1, U2의 최대값과, 제1 방향 최소값 추출부(92)로부터 공급되어 오는 화소값 C, U1, U2의 최소값과의 차분 절대값을 구하여 임계값 결정부(97)에 공급한다.

스텝 S94에서, 제2 방향 최대값 추출부(94)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 하부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최대값을 추출하여 차분 절대값 산출부(96)에 공급한다. 즉, 예를 들면, 도 9에서의 경우, 제2 방향 최대값 추출부(94)는, 주목 화소 C와, 주목 화소 C보다도 하부의 방향에 인접하는 수직 참조 방향 성분 화소 D2, D1을 추출하고, 화소값 C, D1, D2 중, 최대값으로 되는 화소값을 차분 절대값 산출부(96)에 공급한다.

스텝 S95에서, 제2 방향 최소값 추출부(95)는, 주목 화소 및 수직 참조 방향 성분 화소 중, 주목 화소 및 주목 화소보다 하부의 방향에 인접하고 있는 수직 참조 방향 성분 화소의 화소값의 최소값을 추출하여 차분 절대값 산출부(96)에 공급한다. 즉, 예를 들면, 도 9에서의 경우, 제2 방향 최소값 추출부(95)는, 주목 화 소 C와, 주목 화소 C보다도 하부의 방향에 인접하는 수직 참조 방향 성분 화소 D2, D1을 추출하고, 화소값 C, D1, D2 중, 최소값으로 되는 화소값을 차분 절대값 산출부(96)에 공급한다.

스텝 S96에서, 차분 절대값 산출부(96)는, 제2 방향 최대값 추출부(94)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 하부의 방향에 존재하는 화소의 최대값과, 제2 방향 최소값 추출부(95)로부터 공급되어 오는 주목 화소를 포함하는 주목 화소보다도 하부의 방향에 존재하는 화소의 최소값과의 차분 절대값을 산출하여 임계값 결정부(97)에 공급한다. 즉, 도 9에서의 경우, 차분 절대값 산출부(96)는, 제2 방향 최대값 추출부(94)로부터 공급되어 오는 화소값 C, D1, D2의 최대값과, 제2 방향 최소값 추출부(95)로부터 공급되어 오는 화소값 C, D1, D2의 최소값과의 차분 절대값을 구하여 임계값 결정부(97)에 공급한다.

스텝 S97에서, 임계값 결정부(97)는, 차분 절대값 산출부(93, 96)로부터, 각각에 공급되어 오는 차분 절대값 중, 작은 쪽의 값에 마진을 가산하여, 임계값 ε₂로서 결정하고, 비선형 평활화 처리부(32)에 공급한다.

이상의 처리에 의해, 주목 화소에 엣지가 존재하는 경우, 주목 화소의 화소값에 가까운 근방 화소만을 사용하여 임계값을 설정하는 것이 가능하게 된다. 즉, 도 24에서 도시되는 바와 같이, 주목 화소 C를 포함시켜, 그 하부인 화소D1, D2가 백색의 화소값이며, 주목 화소 C보다 상부의 화소 U1, U2가 흑색의 화소값인 경우, 주목 화소 C는, 화소값으로서는 화소 D1, D2에 가까운 값으로 된다. 따라서, 화소 C, U1, U2 중의 최대값과 최소값과의 차분 절대값과, 화소 C, D1, D2 중의 최대값과 최소값과의 차분 절대값을 비교하면, 화소 C, D1, D2 중의 최대값과 최소값과의 차분 절대값 쪽이 작게 되고, 이 값이 임계값 ε₂로 설정된다. 결과적으로, 주목 화소 C에 가까운 화소값만을 사용하여 임계값 ε₂를 설정할 수 있으므로, 구조 성분만을 정확하게 추출할 수 있어, 진폭 성분만을 정확하게 평활화하는 것이 가능하게 된다. 또한, 임계값 설정부(46)는, 임계값 설정부(36)에서 처리된 주목 화소 및 수직 참조 방향 성분 화소 대신에, 주목 화소 및 수평 참조 방향 성분 화소가 처리되게 될 뿐이며, 그 처리는, 마찬가지이므로, 그 설명은 생략하는 것으로 한다.

이상에서는, 주목 화소를 기준으로 참조 방향 성분 화소를 나눈 후에, 그들 중에서의 최대값과 최소값과의 차분 절대값에 기초하여 임계값을 설정하도록 하였지만, 예를 들면, 주목 화소를 기준으로 참조 방향 성분 화소를 나눈 후에, 그들 중에서 각 화소에 대하여, 주목 화소와의 차분 절대값에 기초하여 임계값 ε₂를 설정하도록 해도 된다.

도 25는, 주목 화소를 기준으로 참조 방향 성분 화소를 나눈 후에, 그들 중에서 각 화소에 대하여, 주목 화소와의 차분 절대값에 기초하여 임계값 ε₂를 설정하도록 한 임계값 설정부(36)의 구성을 도시하고 있다.

제1 방향 차분 절대값 산출부(111)는, 주목 화소와, 주목 화소보다 상부에 인접하여 배치되는 각 수직 참조 방향 성분 화소와의 차분 절대값을 산출하고, 그 중에서, 최대값으로 되는 차분 절대값을 임계값 결정부(113)에 공급한다.

제2 방향 차분 절대값 산출부(112)는, 주목 화소와, 주목 화소보다 하부에 인접하여 배치되는 각 수직 참조 방향 성분 화소와의 차분 절대값을 산출하고, 그 중에서, 최대값으로 되는 차분 절대값을 임계값 결정부(113)에 공급한다.

임계값 결정부(113)는, 제1 방향 차분 절대값 산출부(111) 및 제2 방향 차분 절대값 산출부(112)로부터 공급되는 차분 절대값 중, 작은 쪽의 값에 마진을 가산하여, 임계값 ε₂로서 설정하고, 비선형 평활화 처리부(32)에 공급한다.

다음으로, 도 25의 임계값 설정부(36)에 의한 임계값 설정 처리에 대하여 설명한다.

스텝 S111에서, 제1 방향 차분 절대값 산출부(111)는, 수직 방향 성분 화소 추출부(34)로부터 공급되어 오는 화소 중, 주목 화소와, 주목 화소보다 상부에 인접하여 배치되는 각 수직 참조 방향 성분 화소와의 차분 절대값을 산출하고, 그 중에서, 최대값으로 되는 차분 절대값을 임계값 결정부(113)에 공급한다. 즉, 예를 들면, 도 9의 경우, 제1 방향 차분 절대값 산출부(111)는, 주목 화소 C와, 주목 화소 C에 대하여 상부에 배치되는 화소 U1, U2와의 각 차분 절대값 |C-U1|, |C-U2|를 계산함과 함께, 그들 최대값을 구하여, 임계값 결정부(113)에 공급한다.

스텝 S112에서, 제2 방향 차분 절대값 산출부(112)는, 수직 방향 성분 화소 추출부(34)로부터 공급되어 오는 화소 중, 주목 화소와, 주목 화소보다 하부에 인접하여 배치되는 각 수직 참조 방향 성분 화소와의 차분 절대값을 산출하고, 그 중에서, 최대값으로 되는 차분 절대값을 임계값 결정부(113)에 공급한다. 즉, 예를 들면, 도 9의 경우, 제2 방향 차분 절대값 산출부(112)는, 주목 화소 C와, 주목 화소 C에 대하여 상부에 배치되는 화소 D1, D2와의 각 차분 절대값 |C-D1|, |C-D2|를 계산함과 함께, 그들 최대값을 구하여, 임계값 결정부(113)에 공급한다.

스텝 S113에서, 임계값 결정부(113)는, 제1 방향 차분 절대값 산출부(111) 및 제2 방향 차분 절대값 산출부(112)로부터 공급되는 차분 절대값 중, 작은 쪽의 값에 마진을 가산하여, 임계값 ε₂로서 설정하고, 비선형 평활화 처리부(32)에 공급한다.

이상의 처리에 의해, 주목 화소에 엣지가 존재하는 경우, 주목 화소의 화소값에 가까운 근방 화소만을 사용하여, 주목 화소를 기준으로 한 임계값을 설정하는 것이 가능하게 된다. 또한, 임계값 설정부(46)는, 임계값 설정부(36)에서 처리된 주목 화소 및 수직 참조 방향 성분 화소 대신에, 주목 화소 및 수평 참조 방향 성분 화소가 처리되게 될 뿐이며, 그 처리는, 마찬가지이므로, 그 설명은 생략하는 것으로 한다.

그런데, 이상에서는, 주목 화소를 기준으로 하여, 처리 방향에 대하여 수직 방향에 존재하는 화소를 이용하여 임계값을 설정하는 예에 대하여 설명하였지만, 주목 화소 근방의 화소를 주목 화소에 대하여 수직 방향에 한정하지 않고 사용하도록 해도 되고, 예를 들면, 주목 화소를 기점으로 한 8방향의 화소 블록의 상관의 높이에 의해 설정하도록 해도 된다.

도 27은, 주목 화소를 기점으로 한 8방향의 상관에 의해 임계값을 설정하도 록 한 수평 방향 평활화 처리부(22)의 구성을 도시하고 있다. 또한, 도 27에서, 도 3에서의 수평 방향 평활화 처리부(22)의 구성과 동일한 구성에 대해서는, 동일한 부호를 붙이고 있으며, 그 설명은, 적당하게 생략하는 것으로 한다.

도 27의 수평 방향 평활화 처리부(22)에서, 도 3과 다른 것은, 임계값 설정부(36) 대신에, 임계값 설정부(121)를 설치한 점이다.

임계값 설정부(121)는, 입력되는 화상의 모든 화소에 대하여, 주목 화소를 기준으로 하여, 상하 수직 방향, 좌우 수평 방향, 좌우 상하의 경사 방향에 대하여, 화소 블록마다, 각 화소와 주목 화소와의 차분 절대값을 구하여, 각 화소 블록에서의 최대값 중, 최소로 되는 차분 절대값에 기초하여 임계값 ε₂를 구한다.

다음으로, 도 28을 참조하여, 임계값 설정부(121)의 일 실시예의 구성에 대하여 설명한다.

블록 차분 절대값(131-1 내지 131-8)은, 각각 도 29에서 도시되는 바와 같은, 화소 블록마다 각 화소와 주목 화소와의 차분 절대값을 구하고, 그 최대값을 임계값 결정부(132)에 공급한다.

화소 블록란, 예를 들면, 도 29에서 도시되는 화소 블록 B1 내지 B8이다. 화소 블록 B1은, 주목 화소에 대하여 수직 상방의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화소 C, U1, U2, P1 내지 P10, P14, P15의 14화소로 구성된다. 또한, 화소 블록 B2는, 주목 화소에 대하여 우측 경사 상방의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화 소 C, U1, U2, R1, R2, P4, P9, P10, P15 내지 P17의 11화소로 구성된다. 또한, 화소 블록 B3은, 주목 화소에 대하여 수평 우측의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화소 C, R1, R2, P10, P11, P15 내지 P17, P19, P23 내지 P25, P30, P31의 14화소로 구성된다. 또한, 화소 블록 B4는, 주목 화소에 대하여 우측 경사 하방의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화소 C, D1, D2, R1, R2, P23 내지 P25, P29, P30, P35의 11화소로 구성된다.

화소 블록 B5는, 주목 화소에 대하여 수직 하방의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화소 C, D1, D2, P22, P23, P27 내지 P36의 14화소로 구성된다. 또한, 화소 블록 B6은, 주목 화소에 대하여 좌측 경사 하방의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화소 C, D1, D2, L1, L2, P20 내지 P22, P27, P28, P33의 11화소로 구성된다. 또한, 화소 블록 B7은, 주목 화소에 대하여 수평 좌측의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화소 C, L1, L2, P6, P7, P12 내지 P14, P18, P20 내지 P22, P26, P27의 14화소로 구성된다. 또한, 화소 블록 B8은, 주목 화소에 대하여 좌측 경사 상방의 텍스쳐의 유무를 검출하기 위한 화소 블록이며, 도 29에서는, 예를 들면, 화소 C, U1, U2, L1, L2, P2, P7, P8, P12 내지 P14의 11화소로 구성된다.

임계값 결정부(132)는, 블록 차분 절대값(131-1 내지 131-8)으로부터 공급되어 오는 차분 절대값 중, 최소로 되는 차분 절대값에, 마진을 가산한 값을 임계값 ε₂로서 설정하고, 비선형 평활화 처리부(32)에 공급한다.

다음으로, 도 30의 플로우차트를 참조하여, 도 28의 임계값 설정부(36)에 의한 임계값 설정 처리에 대하여 설명한다.

스텝 S131에서, 블록 차분 절대값 산출부(131-1 내지 131-8)는, 각각의 화소 블록의 각 화소와 주목 화소와의 차분 절대값을 구하고, 또한, 그러한 최대값을 임계값 결정부(132)에 공급한다.

즉, 도 29의 경우, 블록 차분 절대값 산출부(131-1)는, 화소 블록 B1의 |C-U1|, |C-U2|, |C-P1| 내지 |C-P10|, |C-P14|, |C-P15|를 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

또한, 블록 차분 절대값 산출부(131-2)는, 화소 블록 B2의 |C-U1|, |C-U2|, |C-R1|, |C-R2|, |C-P4|, |C-P9|, |C-P10|, |C-P15| 내지 |C-P17| 을 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

또한, 블록 차분 절대값 산출부(131-3)는, 화소 블록 B3의 |C-R1|, |C-R2|, |C-P10|, |C-P11|, |C-P15| 내지 |C-P17|, |C-P19|, |C-P23| 내지 |C-P25|, |C-P30|, |C-P31|을 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

또한, 블록 차분 절대값 산출부(131-4)는, 화소 블록 B4의 |C-D1|, |C-D2|, |C-R1|, |C-R2|, |C-P23| 내지 |C-P25|, |C-P29|, |C-P30|, |C-P35|를 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

또한, 블록 차분 절대값 산출부(131-5)는, 화소 블록 B5의 |C-D1|, |C-D2|, |C-P22|, |C-P23|, |C-P27| 내지 |C-P36|을 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

또한, 블록 차분 절대값 산출부(131-6)는, 화소 블록 B6의 |C-D1|, |C-D2|, |C-L1|, |C-L2|, |C-P20| 내지 |C-P22|, |C-P27|, |C-P28|, |C-P33|을 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

또한, 블록 차분 절대값 산출부(131-7)는, 화소 블록 B7의 |C-L1|, |C-L2|, |C-P6|, |C-P7|, |C-P12| 내지 |C-P14|, |C-P18|, |C-P20| 내지 |C-P22|, |C-P26|, |C-P27|을 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

또한, 블록 차분 절대값 산출부(131-8)는, 화소 블록 B8의 |C-U1|, |C-U2|, |C-L1|, |C-L2|, |C-P2|, |C-P7|, |C-P8|, |C-P12| 내지 |C-P14|를 구하고, 이들 중, 최대값을 임계값 결정부(132)에 공급한다.

스텝 S132에서, 임계값 결정부(132)는, 블록 차분 절대값 산출부(131-1 내지 131-8)로부터 공급되어 오는, 각 블록에서의 차분 절대값의 최대값 중, 최소로 되는 최대값에, 마진을 가산한 값을 임계값 2로서 설정하고, 비선형 평활화 처리부(32)에 공급한다. 즉, 차분 절대값이 최소로 되는 블록의 화소는, 주목 화소에 대하여 가장 상관이 높고, 주목 화소에 걸치는 텍스쳐가 존재할 가능성이 높다고 간주하기 때문에, 그 블록의 차분 절대값의 최대값이 최소로 되는 값이 임계값 ε₂로서 설정된다.

이상의 처리에 의해, 주목 화소에 대하여 텍스쳐의 존재할 가능성이 높은 방 향에 따른, 주목 화소의 근방의 화소에 의해 임계값이 설정되게 되므로, 구조 성분을 유지하면서, 진폭 성분을 평활화하는 것이 가능하게 된다. 또한, 이상에서는, 주목 화소에 대하여 8방향의 텍스쳐가 존재하는 화소 블록의 화소값에 의해 임계값 ε₂를 설정하고 있었지만, 그 이외의 수의 방향의 텍스쳐가 존재할 가능성을 고려하여 임계값을 설정하도록 해도 된다.

또한, 이상에서는, 주목 화소에 대하여 텍스쳐가 존재하는 방향에 대응하는 화소 블록의 각 화소와 주목 화소와의 화소값의 차분 절대값을 임계값으로서 설정하는 예에 대하여 설명하였지만, 예를 들면, 주목 화소에 대한 방향에 상관없이, 차분 절대값의 분포에 기초하여, 임계값을 설정하도록 해도 된다.

도 31은, 주목 화소와, 주목 화소 근방의 화소의 화소값과의 차분 절대값의 히스토그램에 의해, 차분 절대값의 분포에 기초하여, 임계값을 설정하도록 한 임계값 설정부(121)의 구성예를 도시하고 있다.

차분 절대값 산출부(141)는, 입력되는 모든 화소를 주목 화소로 하였을 때, 주목 화소의 근방 화소와, 주목 화소와의 차분 절대값을 구하여, 히스토그램 생성부(142)에 공급한다.

히스토그램 생성부(142)는, 차분 절대값을 횡축으로 빈도를 종축으로 한 히스토그램을 생성하여, 임계값 결정부(143)에 공급한다.

임계값 결정부(143)는, 히스토그램 생성부(142)로부터 공급되어 오는 히스토그램에 기초하여, 임계값 ε₂를 설정하고, 비선형 평활화 처리부(32)에 공급한다.

다음으로, 도 32의 플로우차트를 참조하여, 도 31의 임계값 설정부(121)에 의한 임계값 설정 처리에 대하여 설명한다.

스텝 S141에서, 차분 절대값 산출부(141)는, 입력되는 모든 화소를 주목 화소로 하였을 때, 주목 화소의 근방 화소와, 주목 화소와의 차분 절대값을 구하여, 히스토그램 생성부(142)에 공급한다. 이 때, 근방 화소에 대해서는, 예를 들면, 주목 화소를 중심으로 한, 11화소×11화소의 범위 등이다.

스텝 S142에서, 히스토그램 생성부(142)는, 차분 절대값을 횡축으로 빈도를 종축으로 한 히스토그램을 생성하여, 임계값 결정부(143)에 공급한다. 이 처리에 의해, 예를 들면, 도 33에서 도시되는 바와 같이, 피크 P1, P2가 발생하는 히스토그램 등이 생성된다.

스텝 S143에서, 임계값 결정부(143)는, 히스토그램 생성부(142)로부터 공급되어 오는 히스토그램에 기초하여, 임계값 ε₂를 설정하고, 비선형 평활화 처리부(32)에 공급한다. 보다 구체적으로는, 예를 들면, 도 33에서 도시되는 바와 같은 히스토그램이 공급되어 온 경우, 임계값 결정부(143)는, 피크 P1, P2 근방의 차분 절대값을 갖는 화소가 많이 분포되고, 그들 화소에 의해 엣지가 존재하는 것으로 간주하고, 피크 P1, P2간의 빈도가 낮은, 예를 들면, 차분 절대값 Bt를 임계값 ε₂로서 설정한다.

이상의 처리에 의해, 차분 절대값의 빈도에 기초하여, 엣지가 존재하는 차분 절대값의 분포에 기초하여, 임계값 ε₂를 설정할 수 있으므로, 구조 성분을 유지하 면서, 진폭 성분만을 평활화하는 것이 가능하게 된다.

또한, 이상에서는, 수평 방향 평활화 처리부(22)에서의 임계값 설정부(121)에 대하여 설명하였지만, 수직 방향 평활화 처리부(24)에서도, 도 34에서 도시되는 바와 같이 마찬가지의 구성으로 이루어지는 임계값 설정부(151)가 설치되어 있지만, 임계값 설정부(121)에서의 수평 방향 및 수직 방향과의 관계가 교체될 뿐이고, 마찬가지의 처리가 이루어지므로, 그 설명은 생략한다.

또한, 이상에서는, 수평 방향 평활화 처리 후, 수직 방향 평활화 처리가 실시되는 경우의 예에 대하여 설명하였지만, 수직 방향 평활화 처리 후, 수평 방향 평활화 처리가 실시되도록 해도 된다. 또한, 수평 방향 평활화 처리나, 또는, 수직 방향 평활화 처리 중 어느 하나의 처리만을 화상 신호에 실시하기만 해도, 각각의 처리에서, 처리 방향에 따른 Flat 레이트를 구하도록 하고 있으므로, 화상의 엣지 부분을 남기고, 처리 방향에 따라 발생하는 부자연스러운 강조 처리를 억제하면서, 엣지 이외의 영역의 콘트라스트나 선예도를 강조하는 것이 가능하게 된다.

또한, 이상의 비선형 평활화 처리부(32)에서는, 주목 화소와, 주목 화소에 대한 수평 처리 방향 성분 화소를 이용하여 비선형 평활화 처리를 행하는 예에 대하여 설명하였지만, 예를 들면, 비선형 평활화 처리에서, 수평 처리 방향 성분 화소와 함께 수직 참조 방향 성분 화소를 이용하도록 해도 된다. 도 35는, 수평 처리 방향 성분 화소와 함께 수직 참조 방향 성분 화소를 이용하도록 한 수평 방향 평활화 처리부(22)의 구성을 도시하고 있다. 도 35에서, 도 3과 대응하는 구성에 대해서는, 동일한 부호를 붙이는 것으로 하고, 그 설명은 적당하게 생략하는 것으 로 한다.

도 35의 수평 방향 평활화 처리부(22)에서, 도 3의 수평 방향 평활화 처리부(22)와 다른 것은 비선형 평활화 처리부(32) 대신에, 비선형 평활화 처리부(161)를 설치하고, 혼합부(33)를 삭제하여, Flat 레이트 계산부(35)에 의해 계산된 Flat 레이트 Fr_-V를 비선형 평활화 처리부(161)에 공급하도록 한 것이다. 비선형 평활화 처리부(161)는, 기본적으로는, 비선형 평활화 처리부(32)와 마찬가지의 기능을 갖는 것이지만, 또한, 비선형 평활화 처리에서, 수평 처리 방향 성분 화소와 함께, 수직 참조 방향 성분 화소 추출부(34)로부터 공급되는 수직 참조 방향 성분 화소를 이용하도록 한 점이 서로 다르다.

다음으로, 도 36을 참조하여, 비선형 평활화 처리부(161)의 상세한 구성에 대하여 설명한다. 또한, 도 36의 비선형 평활화 처리부(161)의 구성에서, 도 5의 비선형 평활화 처리부(32)의 구성과 대응하는 구성에 대해서는, 동일한 부호를 붙이고 있으며, 그 설명은 적당하게 생략하는 것으로 한다.

도 36의 비선형 평활화 처리부(161)의 구성에서, 도 5의 비선형 평활화 처리부(32)의 구성과 다른 것은, 제어 신호 발생부(62) 대신에, 제어 신호 발생부(171)를 설치한 점이다. 제어 신호 발생부(171)는, 기본적인 기능은, 제어 신호 발생부(62)와 마찬가지이지만, 수평 처리 방향 성분 화소 외에, Flat 레이트 계산부(35)로부터 공급되는 Flat 레이트 Fr_-V를 이용하여 제어 신호를 발생시키는 점에서 서로 다르다.

다음으로, 도 37의 플로우차트를 참조하여, 도 35의 수평 방향 평활화 처리부(22)에 의한 비선형 평활화 처리에 대하여 설명한다. 또한, 도 37의 플로우차트에서의 스텝 S153 내지 S157의 처리는, 도 11의 플로우차트에서의 스텝 S33 내지 S37의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S151에서, 비선형 필터(51)의 제어 신호 발생부(62)는, 주목 화소와, 수평 처리 방향 성분 화소와의 화소값의 차분 절대값을 계산한다.

스텝 S152에서, 로우 패스 필터(61)는, 제어 신호 발생부(171)에 의해 계산된 주목 화소 C와, 복수의 수평 처리 방향 성분 화소의 화소값과의 각 차분 절대값과 소정의 임계값 ε₂와 비교하여, 이 비교 결과에 대응하여, 임계값 ε₂보다도 큰 경우, C로 치환하는 제1 처리를 실행한 후, 제1 처리가 실시된 각 화소에 대하여 Flat 레이트 계산부(35)로부터 공급되어 오는 Flat 레이트 Fr_-V를 고려하여, 화상 신호 S_I에 비선형 필터링 처리를 실시한다.

보다 구체적으로는, 예를 들면, 주목 화소 C를 중심으로 하여 좌우 2화소의 화상 신호가 신호 L2, L1, C, R1, R2였던 경우, LPF(61)는, 제어 신호 발생부(171)에 의해 발생되는 제어 신호에 기초하여, 주목 화소 C의 화소값과의 차분이 임계값보다도 클 때, C로 치환하는 처리를 실시하고, 주목 화소를 중심으로 하여 좌우에 2화소씩의 수평 방향의 신호 L2', L1', C, R1', R2'를 생성하는 것으로 한다. 또한, LPF(61)는, 각 신호 L2', L1', C, R1', R2'에 대하여, Flat 레이트 Fr_-V를 고려한 처리를 실시한다.

즉, 예를 들면, 신호 L2'의 경우, Flat 레이트 Fr_-V를 고려한 처리에 의해 얻어지는 신호 L2"는, 이하의 수학식 8을 계산함으로써 구해진다.

L2”=W_C×C+W_L2×L2’

여기에서, 수학식 8에서, W_L2과 W_C는, 상술한 수학식 5에서의 가중치와 마찬가지의 것이며, W_C가 W₁에, W_L2가 W₂에 각각 대응하는(W_L2+W_C=1) 것이다. 따라서, Flat 레이트 Fr_-V가 작은 경우, 가중치 W_C가 최대값(=1)으로 되고, 신호 L2"는 C로 된다 (L2"=C).

또한, 화소의 신호에 대해서도 마찬가지의 처리가 실시되므로, 신호 L1', R1', R2'의 각각은, 이하의 수학식 9 내지 수학식 11로 표현되는 바와 같은 식에 의해 계산된다.

L1”=W_C×C+W_L1×L1’

R1”=W_C×C+W_R1×R1’

R2”=W_C×C+W_R2×R2’

여기에서 구해지는 가중치는, 모두 주목 화소 C의 수직 방향의 Flat 레이트 Fr_-V가 이용되므로, 실질적으로 W_L2=W_L1=W_R2=W_R1로 된다. 따라서, Flat 레이트 Fr_-V가, 소정의 임계값보다 작은 경우, L1"=C, R1"=C, R2"=C로 된다.

결과적으로, 이러한 경우, LPF(61)는, 수학식 1을 이용하여, 이하의 수학식 12를 연산함으로써 수평 방향 평활화 처리를 행한다.

C’=(１×C＋２×C＋３×C＋２×C＋１×C)/９

　 　＝　C

결과적으로, Flat 레이트 Fr_-V가 작은 경우, 입력된 화상 신호가 그대로 출력되게 된다. 반대로 Flat 레이트 Fr_-V가 큰 경우, 수학식 1과 같이 수평 방향의 화소의 값에 기초하여 필터링 처리된 값을 이용한다.

이상과 같이, 비선형 평활화 처리에서 Flat 레이트를 고려하여 처리를 행하는 것이 가능하므로, 후단의 혼합부(33)를 삭제하는 것이 가능하게 된다(결과적으로, 비선형 평활화 처리부(161)로부터 출력되는 신호 S_{F -H}=수평 방향 평활화 처리부(22)로부터 출력되는 신호 S_{NL -H}로 된다).

이상의 처리에 의해, 주목 화소의 수평 방향의 상관뿐만 아니라, 수직 방향의 상관도 고려한 비선형 필터링 처리를 실현함으로써, 또한, 엣지를 의식하면서, 처리 방향에 따른 부자연스러운 처리를 억제하는 것이 가능하게 된다.

또한, 도 36에서는, 비선형 평활화 처리부(161)의 구성으로서, 제어 신호 발 생부(171)가, 수평 처리 방향 성분 화소 외에, 수직 참조 방향 성분 화소도 고려한 비선형 필터링 처리를 하는 예에 대하여 설명하였지만, 미소 엣지를 검출할 때에 수평 처리 방향 성분 화소 외에, 수직 참조 방향 성분 화소를 사용하도록 해도 된다.

도 38은, Mix 레이트 Mr_-H를 계산할 때에 수평 처리 방향 성분 화소 외에, 수직 참조 방향 성분 화소를 사용하도록 한 비선형 평활화 처리부(161)의 구성을 도시하고 있다. 또한, 도 38의 비선형 평활화 처리부(161)의 구성에서, 도 5의 비선형 평활화 처리부(32)의 구성과 대응하는 구성에 대해서는, 동일한 부호를 붙이고 있으며, 그 설명은 적당하게 생략하는 것으로 한다.

도 38의 비선형 평활화 처리부(161)의 구성에서, 도 5의 비선형 평활화 처리부(32)의 구성과 다른 것은, 혼합비 검출부(53) 대신에, 혼합비 검출부(181)를 설치한 점이다. 혼합비 검출부(181)는, 기본적인 기능은, 혼합비 검출부(53)와 마찬가지지만, 수평 처리 방향 성분 화소 외에, Flat 레이트 계산부(35)로부터 공급되는 Flat 레이트 Fr_-V를 이용하여 Mix 레이트 Mr'_-H를 구한다.

다음으로, 도 39의 플로우차트를 참조하여, 도 38의 비선형 평활화 처리부(161)에 의한 미소 엣지 판정 처리를 설명한다. 또한, 도 39의 플로우차트에서의 스텝 S171 내지 S176의 처리는, 도 11의 플로우차트에서의 스텝 S31 내지 S36의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S177에서, 혼합비 검출부(181)는, 주목 화소와, 각 수평 처리 방향 성 분 화소와의 각각의 화소값의 차분 절대값을 각각 계산하고, 계산한 각 차분 절대값 중의 최대값을 혼합비인, Mix 레이트 Mr_-H(Mix 레이트 Mr_-H는, 스텝 S35, S37에서의 처리와 마찬가지의 방법에 의해 구해짐)를 구한 후, Flat 레이트 Fr_-V를 이용하여 Mix 레이트 Mr'_-H를 구하고, 혼합부(52)에 출력한다.

보다 상세하게는, 혼합비 검출부(181)는, 이하의 수학식 13을 연산함으로써, Flat 레이트 Fr_-V를 이용하여 Mix 레이트 Mr'_-H를 구한다.

Mr’_-H＝W_A×Mr_{- Hmax}+W_B×Mr_-H

여기에서, 가중치 W_A와 W_B는, 각각 수학식 5에서의 가중치 W₁과 W₂에 상당한다. 또한, Mix 레이트 Mr_{- Hmax}는 Mix 레이트 Mr_-H의 최대값이다. Flat 레이트 Fr_-V가 작은 경우 Mix 레이트 Mr'_-H=Mr_{- Hmax}로 되고, 큰 경우에는 Mr'_{- H'}=Mr_-H로 된다. 따라서, 예를 들면, Flat 레이트 Fr_-V가 작은 경우, 수학식 3의 결과로부터, 신호 S_{F -H}=S_I로 되고, 입력된 신호 S_I가 그대로 출력되게 된다.

이상의 처리에 의해, 비선형 평활화 처리부의 혼합부의 시점에서 수직 방향의 정보를 부가하는 것이 가능하게 되고, 주목 화소에 대응하는 수평 처리 방향 성분 화소뿐만 아니라, 수직 참조 방향 성분 화소도 고려하여 Mix 레이트 Mr_-H를 설정 하는 것이 가능하게 되므로, 보다 자연스럽게 비선형 필터링 처리된 화상 신호 S_{LPF -H}와, 입력된 화상 신호 S_I를 혼합하는 것이 가능하게 되고, 결과적으로, 엣지를 의식하면서, 처리 방향에 따른 부자연스러운 처리를 억제하는 것이 가능하게 된다.

마찬가지로 하여, 수직 방향 평활화 처리부(24)에서도 마찬가지로 수직 처리 방향 성분 화소뿐만 아니라, 수평 참조 방향 성분 화소를 이용하도록 해도 된다. 도 40은, 수직 처리 방향 성분 화소뿐만 아니라, 수평 참조 방향 성분 화소를 이용하도록 한 수직 방향 평활화 처리부(24)의 구성을 도시하고 있다. 또한, 도 40의 수직 방향 평활화 처리부(24)의 구성에서, 도 4의 비선형 평활화 처리부(24)의 구성과 대응하는 구성에 대해서는, 동일한 부호를 붙이고 있으며, 그 설명은 적당하게 생략하는 것으로 한다.

도 40의 수직 방향 평활화 처리부(24)에서, 도 4의 수직 방향 평활화 처리부(24)와 다른 것은 비선형 평활화 처리부(42) 대신에, 비선형 평활화 처리부(191)를 설치하고, 혼합부(33)를 삭제하여, Flat 레이트 계산부(45)에 의해 계산된 Flat 레이트 Fr_-H를 비선형 평활화 처리부(191)에 공급하도록 한 것이다. 비선형 평활화 처리부(191)는, 기본적으로는, 비선형 평활화 처리부(42)와 마찬가지의 기능을 갖는 것이지만, 또한, 비선형 평활화 처리에서, 수직 처리 방향 성분 화소와 함께, Flat 레이트 계산부(45)로부터 공급되는 Flat 레이트 Fr_-H를 이용하도록 한 점이 서로 다르다.

또한, 비선형 평활화 처리부(191)의 구성은, 도 36, 도 38에서 도시되는 비 선형 평활화 처리부(161)에서의 수평 방향의 처리를 수직 방향의 처리로 하고 있는 점 이외는 마찬가지이므로, 그 설명은 생략한다. 또한, 처리에 대해서도, 수평 방향의 처리와 수직 방향의 처리가 교체되어 있는 점 이외에는 마찬가지이므로, 그 설명은 생략한다. 또한, 이상에서는, 임계값 설정부(36, 46)를 이용한 경우에 대하여 설명하였지만, 예를 들면, 도 41에서 도시되는 바와 같이, 비선형 평활화 처리부(161)를 사용할 때, 임계값 설정부(36) 대신에 임계값 설정부(121)를 이용하도록 해도 되는 것은 물론이다. 또한, 마찬가지로 하여, 예를 들면, 도 42에서 도시되는 바와 같이, 비선형 평활화 처리부(191)를 사용할 때, 임계값 설정부(46) 대신에 임계값 설정부(151)를 설치하도록 해도 된다. 어느 쪽에 있어서도, 임계값 설정 처리에 대해서는, 상술한 것과 마찬가지이므로, 그 설명은 생략한다.

본 발명의 신호 처리 장치 및 방법, 및 프로그램에 따르면, 연속적으로 배치되어 있는 신호를, 순차적으로, 주목 신호로 지정하고, 지정된 주목 신호의 근방 신호와, 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하고, 지정한 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서 복수의 근방 신호를 처리 신호로서 추출하고, 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 제1 임계값과의 비교 결과에 기초하여, 주목 신호와 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하고, 처리 차분과 제1 임계값보다도 작은 제2 임계값과의 비교 결과에 기초하여, 평활화 신호와 주목 신호와의 제1 혼합비를 계산하고, 계산한 제1 혼합비에 기초하여, 평활화 신호, 및, 주목 신호를 혼합하여, 제1 혼합 신호를 생성하고, 지정한 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서 복수의 근방 신호를 참조 신호로서 추출하고, 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 혼합 신호와 주목 신호와의 제2 혼합비를 계산하고, 계산한 제2 혼합비에 기초하여, 제1 혼합 신호, 및, 주목 신호를 혼합하여, 제2 혼합 신호를 생성하도록 하였으므로, 화상을 구성하는 화소의 급준한 엣지를 유지한 채로, 엣지 이외의 부분을 평활화 할 때, 화소의 연속성이나 상관성을 손상시키지 않고, 엣지 이외의 부분을 평활화하는 것이 가능하게 된다.

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행시키는 것이 가능한, 예를 들면, 범용의 퍼스널 컴퓨터 등에 기록 매체로부터 인스톨된다.

도 43은, 도 2의 강조 처리 장치(11)의 전기적인 내부 구성을 소프트웨어에 의해 실현하는 경우의 퍼스널 컴퓨터의 일 실시예의 구성을 도시하고 있다. 퍼스널 컴퓨터의 CPU(201)는, 퍼스널 컴퓨터의 전체의 동작을 제어한다. 또한, CPU(201)는, 버스(204) 및 입출력 인터페이스(205)를 통하여 유저로부터 키보드나 마우스 등으로 이루어지는 입력부(206)로부터 명령이 입력되면, 그것에 대응하여 ROM(Read Only Memory)(202)에 저장되어 있는 프로그램을 실행한다. 혹은 또한, CPU(201)는, 드라이브(210)에 접속된 자기 디스크(221), 광 디스크(222), 광 자기 디스크(223), 또는 반도체 메모리(224)로부터 읽어내지고, 기억부(208)에 인스톨된 프로그램을, RAM(Random Access Memory)(203)에 로드하여 실행한다. 이에 의해, 상술한 도 2의 강조 처리 장치(11)의 기능이, 소프트웨어에 의해 실현되어 있다. 또한, CPU(201)는, 통신부(209)를 제어하여, 외부와 통신하고, 데이터의 수수를 실행한다.

프로그램이 기록되어 있는 기록 매체는, 도 43에 도시하는 바와 같이, 컴퓨터와는 별도로, 유저에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(221)(플렉시블 디스크를 포함함), 광 디스크(222)(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광 자기 디스크(223)(MD(Mini-Disc)를 포함함), 혹은 반도체 메모리(224) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 조립된 상태에서 유저에게 제공되는, 프로그램이 기록되어 있는 ROM(202)이나, 기억부(208)에 포함되는 하드 디스크 등으로 구성된다.

또한, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라 시계열적으로 행하여지는 처리는, 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리를 포함하는 것이다.

본 발명에 따르면, 화상을 구성하는 화소의 급준한 엣지를 유지한 채로, 엣지 이외의 부분을 평활화할 때, 화소의 연속성이나 상관성을 손상시키지 않고, 엣지 이외의 부분을 평활화하는 것이 가능하게 된다.

Claims (11)

1. 연속적으로 배치되어 있는 신호의 레벨을 조정하는 신호 처리 장치로서,

   연속적으로 배치되어 있는 상기 신호를 순차적으로 주목 신호로 지정하는 지정 수단과,

   상기 지정 수단에 의해 지정된 상기 주목 신호에 인접하는 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 수단과,

   상기 지정 수단에 의해 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 수단과,

   상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 수단과,

   상기 처리 차분과 상기 제1 임계값보다 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 수단과,

   상기 제1 혼합비 계산 수단에 의해 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호 및 상기 주목 신호를 혼합하여, 제1 혼합 신호를 생성하는 제1 혼합 수단과,

   상기 지정 수단에 의해 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 수단과,

   상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 수단과,

   상기 제2 혼합비 계산 수단에 의해 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호 및 상기 주목 신호를 혼합하여, 제2 혼합 신호를 생성하는 제2 혼합 수단을 포함하는 신호 처리 장치.
2. 제1항에 있어서,

   상기 신호는, 화상을 구성하는 화소의 화소값인 신호 처리 장치.
3. 제1항에 있어서,

   상기 설정 수단은,

   상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 차분 절대값 산출 수단을 더 구비하며,

   상기 참조 신호와 상기 주목 신호와의 차분 절대값 중 최대로 되는 차분 절대값에 기초하여, 제1 임계값을 설정하는 신호 처리 장치.
4. 제1항에 있어서,

   상기 설정 수단은,

   상기 참조 신호 및 상기 주목 신호 중 최대로 되는 참조 신호 또는 주목 신호를 추출하는 최대 신호 추출 수단과,

   상기 참조 신호 및 상기 주목 신호 중 최소로 되는 참조 신호 또는 주목 신호를 추출하는 최소 신호 추출 수단을 더 구비하며,

   상기 참조 신호 및 상기 주목 신호 중 최대로 되는 참조 신호 또는 주목 신호와, 최소로 되는 참조 신호 또는 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 신호 처리 장치.
5. 제1항에 있어서,

   상기 설정 수단은,

   상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 순방향 산출 수단과,

   상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호와 상기 주목 신호와의 차분 절대값을 산출하는 역방향 산출 수단을 더 구비하며,

   상기 순방향 산출 수단에 의해 산출된 차분 절대값의 최대값 또는 상기 역방향 산출 수단에 의해 산출된 차분 절대값의 최대값 중 어느 하나의 작은 쪽의 값에 기초하여, 제1 임계값을 설정하는 신호 처리 장치.
6. 제1항에 있어서,

   상기 설정 수단은,

   상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최대값을 추출하는 순방향 최대 신호 추출 수단과,

   상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 순방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최소값을 추출하는 순방향 최소 신호 추출 수단과,

   상기 순방향 최대 신호 추출 수단에 의해 추출된 최대값과, 상기 순방향 최소 신호 추출 수단에 의해 추출된 최소값과의 차분 절대값을 산출하는 순방향 차분 절대값 산출 수단과,

   상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최대값을 추출하는 역방향 최대 신호 추출 수단과,

   상기 주목 신호의 위치로부터 보아 상기 제2 방향에 대하여 역방향측에 배치되는 상기 참조 신호 및 상기 주목 신호 중의 최소값을 추출하는 역방향 최소 신호 추출 수단과,

   상기 역방향 최대 신호 추출 수단에 의해 추출된 최대값과, 상기 역방향 최소 신호 추출 수단에 의해 추출된 최소값과의 차분 절대값을 산출하는 역방향 차분 절대값 산출 수단을 더 구비하며,

   상기 순방향 차분 절대값 산출 수단에 의해 산출된 차분 절대값 또는 상기 역방향 차분 절대값 산출 수단에 의해 산출된 차분 절대값 중 어느 하나의 작은 쪽의 값에 기초하여, 제1 임계값을 설정하는 신호 처리 장치.
7. 제1항에 있어서,

   상기 설정 수단은,

   상기 주목 신호의 위치로부터 보아 복수의 방향별로 설정되는 블록마다, 상기 블록 내의 각 화소와 상기 주목 화소와의 차분 절대값을 산출하고, 최대값을 출력하는 블록 차분 절대값 산출 수단을 구비하며,

   상기 블록 차분 절대값 산출 수단에 의해 산출된 최대값 중 최소로 되는, 상기 블록의 최대값에 기초하여, 제1 임계값을 설정하는 신호 처리 장치.
8. 제1항에 있어서,

   상기 설정 수단은,

   상기 주목 신호와, 그 근방의 각 화소와의 차분 절대값을 산출하는 근방 차분 절대값 산출 수단과,

   상기 근방 차분 절대값 산출 수단에 의해 산출된 각 화소와 상기 주목 화소와의 차분 절대값에 기초하여, 히스토그램을 생성하는 히스토그램 생성 수단을 구비하며,

   상기 히스토그램에 의해 빈도가 최소로 되는 차분 절대값에 기초하여, 제1 임계값을 설정하는 신호 처리 장치.
9. 연속적으로 배치되어 있는 신호의 레벨을 조정하는 신호 처리 방법으로서,

   연속적으로 배치되어 있는 상기 신호를 순차적으로 주목 신호로 지정하는 지정 스텝과,

   상기 지정 스텝의 처리에 의해 지정된 상기 주목 신호에 인접하는 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 스텝과,

   상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 스텝과,

   상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 스텝과,

   상기 처리 차분과 상기 제1 임계값보다 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 스텝과,

   상기 제1 혼합비 계산 스텝의 처리에서 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호 및 상기 주목 신호를 혼합하여, 제1 혼합 신호를 생성하는 제1 혼합 스텝과,

   상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 스텝과,

   상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 스텝과,

   상기 제2 혼합비 계산 스텝의 처리에서 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호 및 상기 주목 신호를 혼합하여, 제2 혼합 신호를 생성하는 제2 혼합 스텝

   을 포함하는 신호 처리 방법.
10. 연속적으로 배치되어 있는 신호의 레벨을 조정하기 위한 컴퓨터 판독가능 프로그램이 기록된 기록 매체로서,

    연속적으로 배치되어 있는 상기 신호를 순차적으로 주목 신호로 지정하는 지정 스텝과,

    상기 지정 스텝의 처리에 의해 지정된 상기 주목 신호에 인접하는 근방 신호와, 상기 주목 신호와의 차분 절대값에 기초하여, 제1 임계값을 설정하는 설정 스텝과,

    상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제1 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 처리 신호로서 추출하는 처리 신호 추출 스텝과,

    상기 주목 신호와 각 처리 신호와의 차분인 처리 차분과, 상기 제1 임계값과의 비교 결과에 기초하여, 상기 주목 신호와 상기 복수의 처리 신호를 가중 평균하여 평활화 신호를 연산하는 연산 스텝과,

    상기 처리 차분과 상기 제1 임계값보다 작은 제2 임계값과의 비교 결과에 기초하여, 상기 평활화 신호와 상기 주목 신호와의 제1 혼합비를 계산하는 제1 혼합비 계산 스텝과,

    상기 제1 혼합비 계산 스텝의 처리에서 계산된 상기 제1 혼합비에 기초하여, 상기 평활화 신호 및 상기 주목 신호를 혼합하여, 제1 혼합 신호를 생성하는 제1 혼합 스텝과,

    상기 지정 스텝의 처리에서 지정된 상기 주목 신호를 기준으로 하여, 제2 방향으로 연속적으로 배치되어 있는 신호 중에서, 상기 주목 신호에 인접하는 복수의 근방 신호를 참조 신호로서 추출하는 참조 신호 추출 스텝과,

    상기 주목 신호와 각 참조 신호와의 차분인 참조 차분에 기초하여, 상기 혼합 신호와 상기 주목 신호와의 제2 혼합비를 계산하는 제2 혼합비 계산 스텝과,

    상기 제2 혼합비 계산 스텝의 처리에서 계산된 상기 제2 혼합비에 기초하여, 상기 제1 혼합 신호 및 상기 주목 신호를 혼합하여, 제2 혼합 신호를 생성하는 제2 혼합 스텝을 포함하는 컴퓨터 판독가능 프로그램

    이 기록된 기록 매체.
11. 삭제

Images