KR20050020621A

KR20050020621A - 화상 신호 처리 장치 및 방법, 프로그램, 및 기록 매체

Info

Publication number: KR20050020621A
Application number: KR1020040063260A
Authority: KR
Inventors: 시라키히사카즈; 곤도데쓰지로
Original assignee: 소니 가부시끼 가이샤
Priority date: 2003-08-11
Filing date: 2004-08-11
Publication date: 2005-03-04
Also published as: EP1507233A2; JP4196274B2; CN100336078C; CN1581229A; EP1507233A3; JP2005063097A; KR101038690B1; US7697775B2; US20050104970A1

Abstract

화상의 특징에 따라, 적절하게 화상의 흐릿함을 수정할 수 있도록 한다. 사용자 I/F(21)에 의해, 화상 흐릿함의 파라미터가 지정되고, 제어 신호 생성부(41)가 지정된 파라미터에 대응하는 제어 신호를 생성한다. 화상 특징 추출부(42)가 입력 화상의 평탄한 방향과 에지 방향을 판정하고, 그 결과에 따라, 어드레스 연산부(43)가 계수 ROM(44)으로부터 계수를 판독하여 적(積)합계 연산부(46)에 공급한다. 적합계 연산부(46)는 화소에 계수를 적용하여 적합계 연산을 실행하여, 흐릿함을 제거한 화상을 생성한다. 후 처리부(47)는 입력 화상과 적합계 연산 결과에 따라, 출력 화상을 출력한다. 본 발명은 디지털 스틸 카메라에 적용할 수 있다.

Description

화상 신호 처리 장치 및 방법, 프로그램, 및 기록 매체 {IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM }

본 발명은 화상 신호 처리 장치 및 방법, 프로그램, 및 기록 매체에 관한 것이며, 특히 화상의 특징에 따라, 적절하게 화상의 흐릿함을 수정 가능하도록 하는 화상 신호 처리 장치 및 방법, 프로그램, 및 기록 매체에 관한 것이다.

근래의 디지털 스틸 카메라에서는, 사용자가 포커스를 맞추지 않아도, 디지털 스틸 카메라가 최적의 포커스를 검지하여, 자동적으로 포커스를 맞추는 오토 포커스 기능을 가지는 것이 많이 보급되어 있다. 오토 포커스 기능에 의해, 사용자는 간단히 촬영할 수 있지만, 사용자가 본래 촬영하고 싶은 피사체가 아니고, 배경에 포커스가 맞춰진 상태로 촬영되어 버리는 일이 있어, 결과적으로 본래의 피사체가 흐릿해져 버리는 경우가 있었다.

이와 같이 피사체가 흐릿한 화상을 수정하기 위해, 화상 중 흐릿해진 부분에서, 에지를 강조하는 선예화(鮮銳化) 처리를 실행하여, 화상을 선명하게 하는 기술이 제안되어 있다[예를 들면, 일본국 특개평 6(1994)-68252호 공보 참조).

또, 흐릿함의 모델을 고려하여, 화상을 수정하는 방법으로서, 촬영된 화상의 화소 레벨(관측값)에서는, 흐릿함이 없는 상태의 화상의 화소 레벨(참값)이 공간적으로 확산되었다고 하고, 참값과 관측값 사이에 모델식 (式)을 세워, 그 모델식을 푸는 것에 의해, 관측값으로부터 참값을 추정하여 화상을 수정하는 기술이 제안되어 있다[예를 들면, 일본국 특개평 8(1996)-272995호 공보 참조].

그러나, 일본국 특개평 6(1994)-68252호 공보에 기재되어 있는 기술에서는, 포커스의 어긋남에 의한 흐릿함의 모델이 고려 되어 있지 않아, 흐릿함에 의해 없어진 화상의 상세 부분 정보를 충실히 재현할 수 없다고 하는 과제가 있었다.

또, 일본국 특개평 8(1996)-272995호 공보에 기재되어 있는 기술에서는, 일률적으로 확산의 중심으로부터 떨어진 부분에 관한 계수값을 0으로 함으로써, 모델식을 풀고 있다. 화상의 흐릿함 정도가 작은 경우, 확산의 범위는 좁고, 참값의 정보는 확산의 중심 부근에 모여 있어, 확산의 중심으로부터 떨어진 부분에 관한 계수값을 0으로 함에 따른 모순은 없지만, 화상의 흐릿함 정도가 큰 경우, 확산의 중심으로부터 떨어진 부분에도, 충분한 참값의 정보가 존재하여, 계수값을 0으로 하는 것에 모순이 있다. 또, 모델식을 풀 때, 화상의 특징이 고려되어 있지 않기 때문에, JPEG(Joint Photographic Coding Experts Group) 일그러짐 등의 노이즈가 실린 화상의 경우, 노이즈가 협조되어 오히려 화상이 열화되어 버릴 우려가 있다. 이 때문에, 화상을 적절하게 수정할 수 없다고 하는 과제가 있었다.

본 발명의 화상 신호 처리 장치는 입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치로서, 화상의 흐릿함 정도를 나타내는 파라미터를 지정하는 지정 수단과, 화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하는 검출 수단과, 지정 수단에 의해 지정된 파라미터와, 검출 수단에 의해 출력된 특징 코드에 대응하는 계수가 기억되어 있는 기억 수단과, 기억 수단으로부터, 지정 수단에 의해 지정된 파라미터와 검출 수단에 의해 출력된 특징 코드에 대응하는 계수를 판독하는 판독 수단과, 판독 수단에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산을 실행하는 연산 수단과, 연산 수단에 의한 연산 결과와 입력 화상의 화소값을 선택하여 출력하는 선택 출력 수단을 포함하는 것을 특징으로 한다.

상기 특징 검출 수단은 입력 화상 중에서, 연산을 실행하는 화소 주위의, 미리 설정된 제1 영역에 포함되는 복수의 화소를 추출하는 제1 추출 수단과, 제1 영역과, 수직 또는 수평의 복수 방향으로 연속된, 복수의 제2 영역에 포함되는 복수의 화소를 추출하는 제2 추출 수단과, 제1 추출 수단에 의해 추출된 화소와, 제2 추출 수단에 의해 추출된 화소에서, 대응하는 화소값 차분의 절대값 총계를 구해 복수의 블록 차분을 연산하는 블록 차분 연산 수단과, 블록 차분이, 미리 설정된 임계값보다 큰지 여부를 판정하는 차분 판정 수단을 포함하도록 할 수 있다.

상기 파라미터는 흐릿한 화상의 화소와 흐릿하지 않은 화상의 화소 관계를 나타내는 모델식에 있어서의 가우스(Gauss) 함수의 파라미터이도록 할 수 있다.

상기 기억 수단에 의해 기억되는 계수는 모델식의 역행렬을 연산함으로써 구해진 계수이도록 할 수 있다.

상기 선택 출력 수단은 연산 수단에 의해 연산이 실행된 복수의 화소를 추출하는 제1 추출 수단과, 제1 추출 수단에 의해 추출된 복수 화소의 분산 정도를 나타내는 분산도를 연산하는 분산 연산 수단과, 분산 연산 수단에 의해 연산된 분산도가 미리 설정된 임계값보다 큰지 여부를 판정하는 분산 판정 수단을 구비하도록 할 수 있다.

상기 선택 출력 수단은 분산 판정 수단의 판정 결과에 따라, 출력하는 화소값을, 연산 수단에 의한 연산 결과, 또는 입력 화상의 화소값 중 어느 하나로부터 선택하는 화소 선택 수단을 추가로 포함하도록 할 수 있다.

상기 지정 수단은 출력되는 화상의 표시 방법을 나타내는 출력 모드의 지정을 접수하고, 선택 출력 수단은 출력 모드에 따라 출력되는 화상의 표시 방법을 절환하는 절환 수단을 추가로 포함하도록 할 수 있다.

본 발명의 화상 신호 처리 방법은 입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치의 화상 신호 처리 방법으로서, 화상의 흐릿함 정도를 나타내는 파라미터를 지정하는 지정 스텝과, 화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하는 검출 스텝과, 미리 기억되어 있는 계수 중에서 지정 스텝의 처리에 의해 지정된 파라미터와, 검출 스텝의 처리에 의해 출력된 특징 코드에 대응하는 계수를 판독하는 판독 스텝과, 판독 스텝의 처리에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산을 실행하는 연산 스텝과, 연산 스텝의 처리에 의한 연산 결과를 출력하는 출력 스텝을 포함하는 것을 특징으로 한다.

본 발명의 프로그램은 입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치의 프로그램으로서, 화상의 흐릿함 정도를 나타내는 파라미터의 지정을 제어하는 지정 제어 스텝과, 화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하도록 제어하는 검출 제어 스텝과, 미리 기억되어 있는 계수 중에서 지정 제어 스텝의 처리에 의해 지정된 파라미터와, 검출 제어 스텝의 처리에 의해 출력된 특징 코드에 대응하는 계수의 판독을 제어하는 판독 제어 스텝과, 판독 제어 스텝의 처리에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 적합계 연산을 실행하도록 제어하는 연산 제어 스텝과, 연산 제어 스텝의 처리에 의한 연산 결과와 입력 화상의 화소값을 선택하여 출력하도록 제어하는 선택 출력 제어 스텝을 컴퓨터에 실행시키는 것을 특징으로 한다.

입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치의 프로그램이 기록되는 기록 매체로서, 화상의 흐릿함 정도를 나타내는 파라미터의 지정을 제어하는 지정 제어 스텝과, 화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하도록 제어하는 검출 제어 스텝과, 미리 기억되어 있는 계수 중에서 지정 제어 스텝의 처리에 의해 지정된 파라미터와, 검출 제어 스텝의 처리에 의해 출력된 특징 코드에 대응하는 계수의 판독을 제어하는 판독 제어 스텝과, 판독 제어 스텝의 처리에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산을 실행하도록 제어하는 연산 제어 스텝과, 연산 제어 스텝의 처리에 의한 연산 결과와 입력 화상의 화소값을 선택하여 출력하도록 제어하는 선택 출력 제어 스텝을 실행시키는 프로그램이 기록되는 것을 특징으로 한다.

본 발명의 화상 신호 처리 장치 및 방법, 및 프로그램에 있어서는, 화상의 흐릿함 정도를 나타내는 파라미터가 지정되고, 화상의 특징이 검출되고, 검출된 특징을 나타내는 특징 코드가 출력되고, 지정된 파라미터와 출력된 특징 코드에 대응하는 계수가 기억되어 파라미터와 특징 코드에 대응하는 계수가 판독되고, 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산이 실행된다.

이하, 도면을 참조하여, 본 발명의 실시예에 대하여 설명한다. 도 1은 본 발명을 적용한 화상 처리 시스템의 전체 구성을 나타내고 있다. 이 예에서는, 디지털 스틸 카메라 등에 의해 촬영된 화상이 입력 화상으로서, 화상 신호 처리 장치(1)에 입력된다. 화상 신호 처리 장치(1)는 입력 화상을 수정하여, 표시 디바이스(2), 그 밖의 디바이스에 출력한다. 사용자(3)는 표시 디바이스(2)에 출력된 화상을 참조하여, 화상 신호 처리 장치(1)를 조작한다.

도 2는 화상 신호 처리 장치(1)의 구성예를 나타내는 블록도이다. 이 예에서는, 화상 신호 처리 장치는 사용자의 지령을 접수하는 사용자 I/F(Interface)(21)와, 사용자 I/F(21)의 출력에 따라, 입력된 화상의 보정(수정)을 실행하는 화상 보정부(22)에 의해 구성되어 있다.

화상 보정부(22)는 사용자 I/F(21)의 출력에 따라 제어 신호를 생성하고, 그 제어 신호를 각 부에 공급하는 제어 신호 생성부(41), 입력 화상의 특징을 검출하는 화상 특징 검출부(42), 제어 신호에 따라, 어드레스의 연산을 실행하는 어드레스 연산부(43), 어드레스 연산부(43)에 의해 연산된 어드레스에 따라, 미리 기억된 소정 계수를 출력하는 계수 ROM(44), 및 입력 화상 중 소정 영역에 대응하는 복수의 화소를 추출하는 영역 추출부(45)가 형성되어 있다.

또, 영역 추출부(45)로부터 출력된 화소의 레벨에 대하여, 계수 ROM(44)으로부터 출력된 계수에 따른 적(積)합계 연산을 실행하여, 새로 수정된 화소 레벨을 출력하는 적합계 연산부(46), 및 적합계 연산부(46)의 출력 결과와 제어 신호에 따라, 입력 화상을 수정하여 출력하는 후 처리부(47)가 형성되어 있다.

도 3은 사용자 I/F(21)의 구성예를 나타내는 블록도이다. 이 예에서는, 사용자 I/F(21)는 각종 파라미터, 임계값 등의 정보에 대한 지정을 실행하는 스위치(61 내지 64), 입력 화상 중 수정해야 할 영역의 지정 등을 실행하는 조이 스틱(66), 및 출력되는 화상 상태의 절환을 지정하는 버튼(67)이 설치되어 있다. 스위치(61 내지 64)에 의해 지정된 정보는 패널(65)에 표시된다. 여기에서 지정된 정보에 따라, 제어 신호 생성부(41)가 복수의 제어 신호를 생성하여, 화상 보정부(22) 내의 각 부에 공급한다.

도 4는 제어 신호 생성부(41)가 생성하는 제어 신호의 예를 나타내는 도면이다. 제어 신호 A는 입력 화상 중 수정해야 할 부분(흐릿해진 부분)을 특정하는 신호이며, 조이 스틱(66)에 의한 지정에 따라 생성되어 영역 추출부(45)와 후 처리부(47)에 공급된다. 제어 신호 B는 화상의 흐릿함 정도를 나타내는 파라미터 σ를 특정하는 신호이며, 스위치(61)에 의한 지정에 따라 생성되어 어드레스 연산부(43)에 공급된다. 제어 신호 C는 흐릿함의 모델식을 풀기 위해 이용되는 관계식의 가중치 Wa의 절환을 지정하는 신호이며, 스위치(62)에 의한 지정에 따라 생성되어 어드레스 연산부(43)에 공급된다. 그리고, 관계식의 가중치 Wa에 대해서는 후술한다.

제어 신호 D는 화상의 특징을 검출할 때 이용되는 임계값의 절환을 지정하는 신호이며, 스위치(63)에 의한 지정에 따라 생성되어 화상 특징 검출부(42)에 공급된다. 제어 신호 E는 출력되는 화상의 화소 레벨을 수정하는지 여부를 판정할 때 이용되는 임계값의 절환을 지정하는 신호이며, 스위치(64)에 의한 지정에 따라 생성되어 후 처리부(47)에 공급된다. 제어 신호 F는 출력되는 화상 표시 모드의 절환을 지정하는 신호이며, 버튼(67)에 의한 지정에 따라 생성되어 후 처리부(47)에 공급된다. 그리고, 임계값과 표시 모드의 절환에 대해서는 후술한다.

다음에, 화상 흐릿함의 원리에 대하여 설명한다. 도 5는, 예를 들면 전하(電荷) 결합 소자(이하, CCD라고 한다) 등의 촬상 소자를 가지는 디지털 스틸 카메라에 의해 촬영된 화상을 나타내는 사진이다. 도 5 (A)는 피사체에 화상의 흐릿함이 없고, 현실의 피사체 화상이 정확하게 표시되도록 촬영된 사진을 나타낸다. 한편, 도 5 (B)는 디지털 스틸 카메라의 오토 포커스 기능 등에 의해, 배경 등에 포커스가 맞춰져 버려, 피사체가 흐릿해진 상태로 촬영된 사진을 나타낸다. 지금, 도 5 (A)의 사진 화소 레벨 X를 참값으로 하고, 도 5 (B)의 사진 화소의 레벨 Y를 관측값으로 하여 사진을 구성하는 복수의 화소를 표현하기 위해, 사진의 수평 방향 좌표를 x로 나타내고, 수직 방향의 좌표를 y로 나타내면, 참값은 X(x, y)로 나타나고, 관측값은 Y(x, y)로 나타낼 수 있다.

본 발명에서는 화상 흐릿함의 모델식으로서, 식 (1)을 적용한다. 식 (1)에서는, 식 (2)에 나타내는 가우스 함수를 이용하고, 참값 X(x, y)에 가우스 함수를 콘벌루션함으로써 관측값 Y(x, y)가 얻어진다.

식 (1)에서, 파라미터 σ는 화상의 흐릿함 정도를 나타내는 파라미터이다.

식 (1)에 의하면, 1 개의 관측값 Y(x, y)는 변수 i와 j(－r＜i＜r, －r＜j＜r)에 의해 변화되는 복수의 참값 X(x＋i, y＋j)를 계수 W로 가중함으로써 구해진다. 따라서, 도 5 (B) 사진의 화소(81) 레벨은 도 5 (A)의 사진 범위(80)에 나타내는 화소 레벨에 따라 얻어진 것이 된다.

또, 파라미터 σ의 값에 의해 화상의 흐릿함 정도가 변화된다. 이에 대하여, 도 6내지 도 9를 참조하여 설명한다.

도 6은 파라미터 σ의 값이 비교적 작은 경우, 식 (1)에 있어서의 계수 W의 값의 크기 분포에 대하여, 3 차원의 그래프로서 나타낸 도면이다. 이 도면은 수평 방향을 나타내는 축 i, 수직 방향을 나타내는 축 j, 및 계수 W의 값의 크기를 나타내는 축 W에 의해 나타내고 있으며, 계수 W의 값은 도면 중 중앙 부근에서 높게 돌기하고, 중앙으로부터 떨어진 부분에서는, 똑같이 낮은 값으로 되어 있다. 이와 같은 특성은 참값의 정보가 관측값에서 광범위하게 확산되어 있지 않고, 도 7의 사진에 나타내는 바와 같은 비교적 흐릿함이 작은 화상의 특성이다.

이에 대하여, 도 8은 파라미터 σ의 값이 비교적 큰 경우, 식 (1)에 있어서의 계수 W의 크기 분포에 대하여, 3 차원의 그래프로서 나타낸 도면이다. 이 도면은 도 6과 동일하게 3 차원으로 나타내고 있지만, 도 6의 경우와 비교하여, 계수 W의 값은 도면 중 중앙 부근에서의 돌기가 눈에 띄지 않고, 전체적으로 순조로운 경사로 되어 있다. 이와 같이, 참값의 정보가 관측값에서 광범위하게 확산된 특성은 도 9의 사진에 나타내는 바와 같은 비교적 흐릿함이 큰 화상의 특성이다.

이와 같이, 파라미터 σ의 값의 변화에 의해, 화상의 흐릿함 정도는 변화한다. 이 때문에, 화상의 흐릿함을 정확하게 수정하기 위해서는, 파라미터 σ의 값을 적절하게 구할 필요가 있다. 그러나, 입력된 화상의 흐릿함 정도에 따라, 파라미터 σ의 값을 자동적으로, 또한 적정하게 설정하는 것은 곤란하다. 그래서, 본 발명에서는, 파라미터 σ의 값을 사용자가 스위치(61)를 조작하여 지정한다(도 4의 제어 신호 B).

도 10 내지 도 13을 참조하여, 화상의 흐릿함 원리에 대하여 더욱 상세하게 설명한다. 도 10 (A)는 간단하게 하기 위해 화소가 수평 방향으로 1 차원으로 배열된 것으로서, 어느 화상에서의 참값 X0 내지 X8을 나타내는 도면이다. 도 10 (C)는 도 10 (A)에 대응하는 관측값을 나타내는 도면이다. 도 10 (B)는 계수 W(i)의 크기를 막대 그래프상(狀)으로 나타내는 도면이다. 이 예에서는, 변수 i가 -2＜i＜2로 되고, 중앙의 막대 그래프가, 계수 W(0)로 되고, 좌단의 막대 그래프로부터 차례로 계수 W(-2), W(-1), W(0), W(1), W(2)가 된다.

여기에서, 식 (1)에 따라, 도 10 (C)의 관측값 Y2를 구하면 다음과 같이 된다.

Y2=W(-2)X2＋W(-1)X3＋W(0)X4＋W(1)X5＋W(2)X6

동일하게 하여, 도 10 (C)의 관측값 Y0을 구한 경우, 참값 중에서, 도 11의 프레임 90-1으로 나타내는 부분에 따라 연산을 실행함으로써, 다음과 같이 관측값 Y0이 구해진다.

Y0=W(-2)X0＋W(-1)X1＋W(0)X2＋W(1)X3＋W(2)X4

또한, 관측값 Y1을 구한 경우, 도 11의 프레임 90-2로 나타내는 부분에 따라, 연산을 실행함으로써, 다음과 같이 관측값 Y1이 구해진다.

Y1=W(-2)X1＋W(-1)X2＋W(0)X3＋W(1)X4＋W(2)X5

Y3, Y4에 대해서도, 동일하게 하여 구할 수 있다.

도 12와 도 13은 도 10 (A)와 도 10 (C)의 관계를 2 차원으로 나타낸 것이다. 즉, 도 12를 구성하는 각 화소의 레벨은 관측값이며, 도 13을 구성하는 각 화소의 레벨을 참값으로 하여 얻어진 것이다. 이 경우, 도 12에서의 화소 A에 대응하는 관측값 Y(x, y)는 다음과 같이 하여 구해진다.

(Y(x, y)=W(-2,-2X)(x-2,y-2)+W(-1,-2)X(x-1,y-2)

+W(0,2)X(x,y-2)...+W(2,2)X(x+2,y+2)

즉, 도 12의 화소 A에 대응하는 관측값은 도 13에서 화소 A'(화소 A에 대응한다)를 중심으로 하여 프레임 a로 나타내는 25(=5×5) 개의 화소에 대응하는 참값에 따라 구해진다. 동일하게, 도 12의 화소 B(화소 A의 도면 중 우측 인근의 화소)에 대응하는 관측값은 도 13에서, 화소 B'(화소 B에 대응한다)를 중심으로 한 25 개의 화소에 대응하는 참값에 따라 구해지며, 도 12의 화소 C에 대응하는 관측값은 도 13에서, 화소 C'(화소 C에 대응한다)를 중심으로 한 25 개의 화소에 대응하는 참값에 따라 구해진다. 도 12의 화소 B와 C에 대응하는 관측값 Y(x+1,y)와 Y(x+2,y)를 구하는 식을 다음에 나타낸다.

Y(x+1,y)=W(-2,-2)X(x-1,y-2)+W(-1,-2)X(x,y-2)+W(0,-2)X(x-1,y-2)...

+W(2,2)X(x+3,y+2)

Y(x+2,y)=W(-2,-2)X(x,y-2)+W(-1,-2)X(x+1,y-2)+W(0,-2)X(x+2,y-2)...

+W(2,2)X(x+4,y+2)

이와같이 하여, 도 12의 각 화소에 대응하는 관측값을 구해 가면, 식 (3) 내지 (6)에 나타내는 바와 같은 행렬식이 얻어진다.

여기에서, 식 (6)에 나타내는 행렬식에서, 행렬 Wf의 역행렬을 구할 수 있으면, 관측값 Yf에 따라 참값 Xf를 구할 수 있다. 즉 흐릿한 화상의 화소에 따라, 흐릿함이 없는 화상의 화소를 얻을 수 있어, 흐릿한 화상을 수정할 수 있다.

그러나, 식 (3) 내지 식 (6)에 나타낸 행렬식은 도 10 내지 도 13을 참조하여 전술한 바와 같이, 관측값의 화소에 대하여, 참값의 화소가 많아, 이대로는 역행렬을 구할 수 없다(예를 들면, 도 11의 예에서는, 관측값의 화소 1개에 대하여 참값의 화소 5 개가 필요하다.)

그래서, 식 (3) 내지 식 (6)에 더하여, 식 (7) 내지 식 (10)에 나타내는 관계식을 도입한다.

식 (7) 내지 식 (10)은 인접하는 화소 레벨의 차분에 대하여 한정을 가하는 것이며, 구해야 할 참값이 화상의 평탄한(인접하는 화소의 레벨과 큰 차이가 없는) 부분인 경우에는 모순이 없다. 그러나, 구해야 할 참값이 에지 부분인(인접하는 화소의 레벨과 큰 차이가 있는) 경우에는 모순이 생겨 수정한 화상에 열화가 생길 우려가 있다. 이 때문에, 흐릿한 화상을 적정하게 수정하기 위해서는 식 (7) 내지 식 (10)의 4 개의 관계식을, 참값의 에지 부분을 갈래가 없도록 화소마다 구분하여 사용할 필요가 있다.

그래서, 화상 특징 검출부(42)에서, 입력 화상 중 에지 부분과 평탄 부분의 판정을 실행하여, 어느 방향(예를 들면, 상하 좌우)으로 평탄하게 되어 있는지를 나타내는 코드 p2를 생성한다.

그리고, 화상 특징 검출부(42)의 상세한 동작에 대해서는 도 20을 참조하여 후술한다. 그리고, 본 발명에서는 입력 화상(관측값) 중 에지 부분과 평탄 부분의 판정 결과가, 참값 중에서의 에지 부분과 평탄 부분의 판정 결과와 동일하다고 가정한다.

식 (7) 내지 식 (10)에서, 코드 p2의 함수인 함수 W1 내지 W4는 가중치 함수가 된다. 본 발명에서는, 코드 p2에 따라 이 가중치 함수 W1 내지 W4가 제어됨으로써, 화소마다 관계식의 구분 사용이 실행되도록 한다. 도 14에 코드 p2에 대응하는 가중치 함수 W1 내지 W4의 값을 나타낸다. 이 가중치 함수의 값이 큰 경우, 식 (7) 내지 식 (10)에서 평탄하다고 하는 이유가 강해지고, 가중치 함수의 값이 작은 경우, 그 이유가 약해진다(에지인 이유가 강해진다).

코드 p2는 4 비트에 의해 구성되어 있고, 각각의 비트는 좌로부터 차례로 상, 우, 하 또는 좌 방향으로 평탄한지 여부를 나타내고 있으며, 그 방향으로 평탄한 경우에는, 대응하는 비트가 「1」로 설정된다. 예를 들면, 코드 p2가 「0001」인 경우, 주목 화소의 좌 방향으로 평탄하고, 그 이외의 방향은 평탄하지 않은(에지가 존재하는) 것을 나타낸다. 이 때문에, 코드 p2가 「0001」인 경우, 가중치 함수 W4의 값이 커지고, 식 (7) 내지 식 (10)의 4 개의 관계식 중에서 식 (10)의 가중치가 커진다. 이와 같이 함으로써, 코드 p2에 의해, 4 개 관계식의 가중치를 변화시킬 수 있어 4 개의 관계식을, 에지를 갈래가 없도록 화소마다 구분하여 사용할 수 있다.

예를 들면, 도 15에 나타내는 바와 같이, 주목 화소 Xa의 상 방향과 좌 방향이 평탄하고, 우 방향과 하 방향이 에지인 경우, 코드 p2에 의해, 식 (7) 내지 식 (10)의 4 개 관계식의 가중치를 변화시킴으로써, 인접하는 화소의 레벨 차분에 대하여, 「Xa－Xb=0」, 「Xa―Xc=0」이라고 하는 한정이 가해지지만, 「Xa－Xd=0」, 「Xa―Xe=0」이라고 하는 한정은 가해지지 않는다. 그리고, Xb, Xc, Xd, Xe는 각각 주목 화소 Xa의 우, 하, 상, 또는 좌에 인접하는 화소를 나타낸다.

또, 식 (7) 내지 식 (10)에서, 함수 Wa는 다른 가중치 함수이며, 역시 코드 p1에 의해 가중치 함수 Wa의 값이 변화된다. 가중치 함수 Wa의 값을 변화시킴으로써, 수정된 화상 전체의 노이즈, 디테일을 제어할 수 있다. 가중치 함수 Wa의 값이 크면 수정된 화상에서 노이즈의 영향이 작게 느껴져 노이즈감이 감소된다. 또, 가중치 함수 Wa의 값이 작으면 수정된 화상에서 디테일이 강조된 것처럼 느껴져 디테일감이 향상된다.

가중치 함수 Wa의 값을 변화시키는 코드 p1은 도 4의 제어 신호 C에 대응하고 있으며, 사용자가 입력 화상 상태에 따라 조정한다. 예를 들면, JPEG 등의 압축에 의해, 화상이 현저하게 열화되어 있는 입력 화상 등은 가중치를 크게 함으로써, 디테일감은 손상되지만, 노이즈가 억제된 자연스러운 출력을 얻을 수 있다.

이와 같이, 식 (3) 내지 식 (6)에 더하여, 식 (7) 내지 식 (10)에 나타내는 관계식을 도입한다. 이에 따라, 식 (11)에 나타내는 바와 같은 역행렬을 연산하는 것이 가능하게 되며, 그 결과, 관측값에 따라 참값을 구할 수 있다.

본 발명에서는 관측값 Ys에 관한 계수 Ws-1이 계수 ROM(44)(도 2)에 미리 유지되고, 영역 추출부(45)에 의해 추출된 입력 화상에 대하여, 식 (11)의 행렬식 연산(적합계 연산)이 적합계 연산부(46)에 의해 실행된다. 이와 같이 함으로써, 화상의 수정을 실행할 때마다, 역행렬 연산을 실행할 필요가 없고, 적합계 연산만으로 화상의 흐릿함을 수정하는 것이 가능하게 된다. 단, 입력 화상에 따라, 파라미터 σ나, 전술한 4 개의 관계식이 상이하기 때문에, 상정할 수 있는 그들의 모든 조합에서의 역행렬 연산을 미리 실행하여 두고, 파라미터 σ, 코드 p2 등에 대응하는 어드레스를 정해, 그 어드레스마다 상이한 계수가 계수 ROM(44)에 저장된다.

그러나, 예를 들면, 도 13에 나타내는 프레임(t) 내의 25(=5×5) 개의 모두에게 화소에서, 가중치 함수 W1 내지 W4의 조합을 변화시켜, 4 개의 관계식을 절환한 경우, (15)(=도 14에 나타낸 함수 W1 내지 W4의 조합)의 25[프레임(t) 내의 화소수] 승(乘)의 조합이 존재하고, 각각의 조합마다 역행렬 연산을 실행하면, 계수의 수가 방대하게 되어, 계수 ROM(44)의 용량에는 제한이 있기 때문에, 모든 계수를 다 저장할 수 없게 될 우려가 있다. 이와 같은 경우, 프레임(t) 내의 중심 화소인 Xt만, 그 특징에 따라, 코드 p2를 변화시켜 관계식을 절환하고, 프레임(t) 내의 화소 Xt 이외 화소의 관계식에 대해서는, 예를 들면 코드 p2가 의사적으로, 「1111」에 고정되도록 해도 된다. 이와 같이 함으로써, 계수의 조합을 15 종류로 한정할 수 있다.

그리고, 이상에서는, 흐릿함의 원리(모델식)를 설명하기 위해, 가우스 함수의 정의역(定義域)을, -2≤(x, y)≤2로 했으나, 실제로는 파라미터 σ의 값이 충분히 커도 대응할 수 있는 범위가 설정된다. 또, 식 (7) 내지 식 (10)에 나타낸 관계식에 대해서도, 화상의 특징을 기술하는 식이면, 이것에 한정되지 않는다. 또한, 계수 ROM(44)의 용량에 제한이 있는 경우의 예로서, 흐릿함의 중심 위상(Xt)만으로 한정해 관계식을 절환하는 예를 설명했지만, 거기에 한정되지 않고, 계수 ROM(44)의 용량에 따라, 관계식의 절환 방법을 바꾸어도 된다.

다음에 도 16을 참조하여, 화상 신호 처리 장치(1)에 의한 흐릿함 수정 처리에 대하여 설명한다. 이 처리는 화상 신호 처리 장치(1)에 화상이 입력되었을 때 실행된다.

스텝 S1에서, 사용자 I/F(21)는 사용자(3)로부터의 처리 대상 영역의 지정을 접수한다. 여기에서, 처리 대상 영역은 입력 화상 중에서, 흐릿함의 수정을 실행해야 할 영역이며, 그 지정은, 예를 들면, 다음과 같이 하여 실행된다. 표시 디바이스(2)에 도 17에 나타내는 바와 같은 입력 화상이 표시되고, 이 화상 중의 오브젝트(주된 피사체)(111)의 흐릿함을 수정하고 싶은 경우, 사용자(3)가 조이 스틱(66)을 조작하여, 점(101)과 점(102)을 지정한다. 이로써, 점(101)과 점(102)에 따라, 오브젝트(111)를 내부에 포함하는 직사각형의 처리 대상 영역(103)이 설정되고, 그 정보가 제어 신호 생성부(41)에 공급되어, 도 4를 참조하여 전술한 제어 신호 A가 생성된다. 즉, 제어 신호 A는 처리 영역(103)에 대응하는 신호이다.

스텝 S2에서, 사용자 I/F(21)는 사용자(3)로부터, 파라미터 σ의 입력을 접수한다. 파라미터 σ는 도 4를 참조하여 전술한 바와 같이, 사용자(3)가 스위치(61)를 조작함으로써 지정되고, 그 정보가 신호 생성부(41)에 공급되어 제어 신호 B가 생성된다.

스텝 S3에서, 사용자 I/F(21)는 사용자(3)로부터, 그 밖의 파라미터의 입력을 접수한다. 이 때, 사용자(3)가 스위치(62 내지 64)를 조작함으로써, 도 4에 나타낸 제어 신호 C 내지 E를 생성하기 위한 정보가 지정된다. 또, 이들 정보의 일부 또는 전부가, 그 때마다 지정되지 않고 고정되도록 해도 된다.

스텝 S4에서, 화상 보정부(22)는 도 18을 참조하여 후술하는 화상 보정 처리를 실행한다. 이에 따라, 흐릿한 화상이 수정되어 표시 디바이스(2)에 출력된다. 스텝 S5에서, 사용자 I/F(21)는 사용자(3)로부터의 지시에 따라, 화상 보정 처리의 처리 결과가 OK인지 여부를 판정한다. 이 때, 예를 들면, 사용자(3)가 조이 스틱(66)을 조작함으로써, 「결과 OK」 또는 「결과 NG」가 지정된다. 스텝 S5에서, 화상 보정 처리의 처리 결과가 OK가 아니라고 판정된 경우, 처리는 스텝 S2로 되돌아가, 그 이후의 처리가 반복하여 실행된다. 이와 같이 함으로써, 파라미터 σ(및 그 밖의 파라미터)가 재차 지정(수정)되어 보다 적정하게 수정된 화상을 얻을 수 있다.

스텝 S5에서, 화상 보정 처리의 처리 결과가 OK라고 판정된 경우, 처리는 종료된다.

전술한 바와 같이, 입력된 화상의 흐릿함 정도에 따라, 파라미터 σ의 값을 자동적으로, 또한 적정하게 설정하는 것은 곤란하지만, 본 발명에서는 화상 보정 처리의 처리 결과를 사용자에게 확인시켜, 파라미터 σ의 값을 수시로 조정할 수 있도록 했으므로, 보다 적정하게 흐릿함이 수정된 화상을 얻을 수 있다.

다음에, 도 18을 참조하여, 도 16의 스텝 S4의 화상 보정 처리의 상세에 대하여 설명한다.

스텝 S21에서, 화상 특징 검출부(42)는 도 20을 참조하여 후술하는 화상 특징 검출 처리를 실행한다. 이에 따라, 주목 화소에 대하여, 어느 방향으로 평탄한가가 판정되며, 도 14를 참조하여 전술한 코드 p2가 생성되어 어드레스 연산부(43)에 출력된다.

스텝 S22에서, 어드레스 연산부(43)는 계수 ROM(44)의 어드레스를 연산한다. 계수 ROM(44)의 어드레스 구성예를 도 19에 나타낸다. 이 예에서는, 계수 ROM(44)의 어드레스는 코드 p2에 대응하는 4 비트[화상 특징 검출부(42)의 출력], 파라미터 σ의 값을 나타내는 4 비트(도 4의 제어 신호 B), 및 전술한 4 개 관계식의 가중치 함수 Wa를 절환하는 코드 p1에 대응하는 2 비트(도 4의 제어 신호 C)에 의해 구성되어 있고, 0 내지 1023의 1024(2의 10승) 개 어드레스가 존재한다. 어드레스 연산부(43)는 화상 특징 검출부(42)의 출력, 제어 신호 B, 및 제어 신호 C에 따라, 대응하는 어드레스를 연산한다.

스텝 S23에서, 어드레스 연산부(43)는 스텝 S22에서 연산한 어드레스에 따라, 계수 ROM(44)으로부터 계수를 판독하여 적합계 연산부(46)에 공급한다.

스텝 S24에서, 적합계 연산부(46)는 스텝 S23에서 판독된 계수에 따라, 화소마다 적합계 연산을 실행하고, 그 결과를 후 처리부(47)에 출력한다. 이에 따라, 전술한 바와 같이, 관측값으로부터 참값이 구해져 흐릿한 화상이 수정된다.

스텝 S25에서, 후 처리부(47)는 도 23을 참조하여 후술하는 보정 후 처리를 실행한다. 이에 따라, 화소마다, 적합계 연산부(46)의 처리 결과를 출력하는가, 입력 화상을 그대로 출력하는가가 판정된다. 스텝 S26에서, 후 처리부(47)는 보정 후 처리되어 선택된 화상을 출력한다.

다음에 도 20을 참조하여, 도 18의 스텝 S21의 화상 특징 검출 처리에 대하여 설명한다. 스텝 S41에서, 화상 특징 검출부(42)는 블록을 추출하고, 스텝 S42에서, 스텝 S41에서 추출된 블록 간의 차분을 연산한다(그 상세한 것은 도 22를 참조하여 후술한다). 스텝 S43에서, 화상 특징 검출부(42)는 스텝 S42에서 연산된 블록 차분을 미리 설정되어 있는 임계값과 비교하고, 그 비교 결과에 따라, 스텝 S44에서, 주목 화소에 대하여 평탄한 방향을 나타내는 코드인 코드 p2를 출력한다.

도 21과 도 22를 참조하여, 화상 특징 검출 처리에 대하여, 더욱 상세하게 설명한다. 도 21은 화상 특징 검출부(42)의 구성예를 나타내는 블록도이다. 이 도면의 좌측에는, 입력된 화상 중에서 소정 블록을 추출하는 블록 잘라내기부(141-1 내지 141-5)가 형성되어 있다. 블록 잘라내기부(141-1 내지 141-5)는, 예를 들면, 도 22에 나타내는 바와 같이, 도면 중 검은 동그라미로 나타내는 주목 화소(지금 수정해야 할 화소) 주변의, 주목 화소를 포함하는 9(=3×3) 개의 화소로 구성되는 5 개의 블록을 추출한다.

도 22 (A)에 나타내는 블록(181)은 그 중심에 주목 화소를 가지는 중심 블록이며, 블록 잘라내기부(141-5)에 의해 추출된다. 도 22 (B)에 나타내는 블록(182)은 블록(181)을 화소 1 개분 도면 중 위로 이동한 상측 블록이며, 블록 잘라내기부(141-3)에 의해 추출된다. 도 22 (C)에 나타내는 블록(183)은 블록(181)을 화소 1 개분 도면 중 왼쪽으로 이동한 좌측 블록이며, 블록 잘라내기부(141-4)에 의해 추출된다.

도 22 (D)에 나타내는 블록(184)은 블록(181)을 화소 1 개분 도면 중 아래로 이동한 하측 블록이며, 블록 잘라내기부(141-1)에 의해 추출된다. 도 22 (E)에 나타내는 블록(185)은 블록(181)을 화소 1 개분 도면 중 오른쪽으로 이동한 우측 블록이며, 블록 잘라내기부(141-2)에 의해 추출된다. 스텝 S41에서는, 주목 화소마다, 블록(181 내지 185)의 5개 블록이 추출된다.

블록 잘라내기부(141-1 내지 141-5)에 의해 추출된 각 블록을 구성하는 화소의 정보는 블록 차분 연산부(142-1 내지 142-4)에 출력된다. 블록 차분 연산부(142-1 내지 142-4)는 각 블록의 화소의 차분을, 예를 들면, 다음과 같이 하여 연산한다.

지금, 블록(181)의 9 개 화소 중 맨 위의 행의 3 개 화소(의 레벨)를 왼쪽으로부터 a(181), b(181), c(181)로 한다. 중앙의 행의 3 개 화소를 왼쪽으로부터 d(181), e(181), f(181)로 한다. 맨 밑의 행의 3 개 화소를 왼쪽으로부터 g(181), h(181), i(181)로 한다. 마찬가지로, 블록(184)의 9 개 화소에 대해서도, 맨 위의 행의 3 개 화소(의 레벨)를 왼쪽으로부터 a(184), b(184), c(184)로 하고, 중앙의 행의 3 개 화소를 왼쪽으로부터 d(184), e(184), f(184)로 하고, 맨 위의 행의 3 개 화소를 왼쪽으로부터 g(184), h(184), i(184)로 한다. 블록 차분 연산부(142-1)는 블록 차분 B(1)를 다음과 같이 연산한다.

B(1)=│a(181)-a(184)│＋│b(181)-b(184)│＋│c(181)-c(184)│＋···

＋│i(181)-i(184)│

즉, 블록 차분 B(1)는 블록(181)(중심)과 블록(184)(아래)에서 대응하는 각 화소 레벨 차분의 절대값 총계이다. 동일하게 하여, 블록 차분 연산부(142-2)는 블록(181)(중심)과 블록(185)(오른쪽)에서 대응하는 각 화소 레벨 차분의 절대값 총계를 구하고, 블록 차분 B(2)를 연산한다. 또한, 블록 차분 연산부(142-3)는 블록(181)(중심)과 블록(182)(위)에 대하여, 블록 차분 연산부(142-3)는 블록(181)(중심)과 블록(183)(왼쪽)에 대하여, 각각 대응하는 각 화소 레벨 차분의 절대값 총계를 구하고, 블록 차분 B(3)와 B(4)를 연산한다.

스텝 S42에서는, 이와 같이 중심 블록과 상하 좌우의 4 방향 블록의 차분인 블록 차분 B(1) 내지 B(4)가 연산되고, 그 결과는 대응하는 임계값 판정부(143-1 내지 143-4)에 각각 출력되는 동시에, 최소 방향 판정부(144)에도 공급된다.

임계값 판정부(143-1 내지 143-4)는 각각 블록 차분 B(1) 내지 B(4)를 미리 설정된 임계값과 비교하여, 그 대소를 판정한다. 그리고, 이 임계값은 제어 신호 D에 따라 절환된다. 임계값 판정부(143-1 내지 143-4)는 각각 블록 차분 B(1) 내지 B(4)가 미리 설정된 임계값보다 큰 경우, 그 방향은 에지 부분이라고 판정하여 「0」을 출력하고, 임계값보다 작은 경우, 그 방향은 평탄한 부분이라고 판정하여 「1」을 출력한다.

스텝 S43에서는, 이와 같이 하여 블록 차분과 임계값의 비교를 한다. 임계값 판정부(143-1 내지 143-4)의 출력 결과는 4 비트의 코드로서 실렉터(145)에 출력된다. 예를 들면, 블록 차분 B(1), B(3) 및 B(4)가 임계값보다 작고, 블록 차분 B(2)가 임계값보다 큰 경우, 코드로서 「1011」이 출력된다.

그런데, 블록 차분 B(1) 내지 B(4)가, 모두 임계값보다 커져 버리는 경우(평탄한 부분이 없는 경우)도 고려된다. 이 경우, 임계값 판정부(143-1 내지 143-4)로부터 코드로서 「0000」이 출력된다. 그러나, 도 14에 나타내는 바와 같이, 코드 p2가 「0000」인 경우, 대응하는 가중치 함수 W1 내지 W4를 특정할 수 없다. 그래서, 실렉터(145)는 임계값 판정부(143-1 내지 143-4)로부터의 출력 결과가 「0000」인지 아닌지를 판정하여, 임계값 판정부(143-1 내지 143-4)로부터의 출력 결과가 「0000」이라고 판정된 경우, 최소 방향 판정부(144)로부터의 출력을 코드 p2로서 출력한다.

최소 방향 판정부(144)는 블록 차분 B(1) 내지 B(4) 중에서, 최소의 값을 판정하고, 판정 결과에 대응한 4 비트의 코드를, 임계값 판정부(143-1 내지 143-4)가 코드를 출력하는 것과 동일 타이밍으로, 실렉터(145)에 출력한다. 예를 들면, 블록 차분 B(1) 내지 B(4) 중에서, B(1)가 최소라고 판정된 경우, 최소 방향 판정부(144)는 코드로서 「1000」을 실렉터(145)에 출력한다.

이와 같이 함으로써, 임계값 판정부(143-1 내지 143-4)로부터 코드 「0000」이 출력되어도, 최소 방향 판정부(144)로부터 출력된 코드 「1000」이 코드 p2로서 출력되도록 할 수 있다. 물론, 임계값 판정부(143-1 내지 143-4)로부터의 출력 결과가 「0000」이 아닌 경우에는, 임계값 판정부(143-1 내지 143-4)로부터의 출력 결과가 코드 p2로서 출력된다. 스텝 S44에서는, 이와 같이 하여 코드 p2가 생성되어 어드레스 연산부(43)에 출력된다.

다음에, 도 23을 참조하여, 도 18의 스텝 S25의 보정 후 처리에 대하여 설명한다. 스텝 S61에서, 후 처리부(47)는 적합계 연산부(46)로부터의 출력 결과에 따라, 화소의 분산도를 연산한다. 이에 따라, 주목 화소 주위의 화소 분산 정도가 연산된다.

스텝 S62에서, 후 처리부(47)는 스텝 S62에서 연산된 분산도는 미리 설정된 임계값보다 큰지 여부를 판정한다. 그리고, 이 임계값은 전술한 제어 신호 E에 의해 절환된다.

스텝 S62에서, 분산도가 임계값보다 크다고 판정된 경우, 후 처리부(47)는 스텝 S63에서, 주목 화소에 대응하는 입력 화상 교체 플래그를 ON에 설정한다. 한편, 분산도가 임계값보다 크지 않다고 판정된 경우, 후 처리부(47)는 스텝 S64에서, 주목 화소에 대응하는 입력 화상 교체 플래그를 OFF에 설정한다.

입력 화상에서, 원래 흐릿하지 않은 부분의 화소에 대하여, 적합계 연산부(46)에 의해 적합계 연산을 실행하면, 그 화소 주위 화상의 액티비티가 커져, 오히려 화상이 열화되어 버리는 경우가 있다. 여기에서, 분산도가 임계값보다 큰 경우, 그 화소는 열화된 화소라고 판정되어, 입력 화상 교체 플래그가 ON에 설정된다. 입력 화상 교체 플래그가 ON에 설정된 화소는 표시 디바이스(2)에 출력될 때, 입력 화상의 화소와 교체되어(원래의 상태로 되돌려져) 표시된다.

스텝 S65에서, 후 처리부(47)는 모든 화소에 대하여 체크했는지 여부를 판정하여, 아직 전 화소를 체크하고 있지 않다고 판정된 경우, 스텝 S61로 되돌아가, 그 이후의 처리가 반복해서 실행된다. 스텝 S65에서, 모든 화소에 대하여 체크했다고 판정된 경우, 스텝 S66에서, 후 처리부(47)는 출력 모드를 조정한다. 그리고, 출력 모드에 대해서는 후술한다.

이와 같이 하여, 화소마다 적합계 연산 결과를 출력하는가, 또는 입력 화상의 화소를 그대로 출력하는가가 판정된다. 이와 같이 함으로써, 입력 화상 중에서, 원래 흐릿하지 않은 부분에 대하여, 화상의 수정을 실행함으로써, 오히려 화상이 열화되어 버리는 것을 방지할 수 있다.

도 24와 도 25를 참조하여, 보정 후 처리에 대하여 더욱 상세하게 설명한다. 도 24는 후 처리부(47)의 구성예를 나타내는 블록도이다. 적합계 연산부(46)로부터의 출력 결과가 블록 잘라내기부(201)에 입력되고, 블록 잘라내기부(201)는 도 25에 나타내는 바와 같이, 주목 화소 a5를 중심으로 한 9(=3×3) 개의 화소 a1 내지 a9를 잘라내 분산 연산부(202)에 출력한다. 분산 연산부(202)는 분산도를 다음과 같이 하여 연산한다.

여기에서, m은 블록 내의 9 개 화소(의 레벨)의 평균값을 나타내고, v는 각각의 화소의 평균값과의 차이의 2 승(乘)의 총계이며, 블록 내의 화소의 분산도를 나타낸다. 스텝 S61에서는, 이와 같이 하여 분산도가 연산되고, 연산 결과가 임계값 판정부(203)에 출력된다.

임계값 판정부(203)는 분산 연산부(202)로부터의 출력 결과(분산도)와 제어 신호 E에 의해 설정된 임계값을 비교하여, 분산도가 임계값보다 크다고 판정된 경우, 후 처리부(47)는 주목 화소에 대응하는 입력 화상 교체 플래그를 ON에 설정하도록 선택부(204)를 제어한다. 분산도가 임계값보다 크지 않다고 판정된 경우, 후 처리부(47)는 주목 화소에 대응하는 입력 화상 교체 플래그를 OFF에 설정하도록 선택부(204)를 제어한다. 스텝 S62 내지 S64에서는, 이와 같이 분산도가 임계값보다 큰지 여부가 판정되고, 판정 결과에 따라 입력 화상 교체 플래그가 설정된다.

선택부(204)로부터의 출력 결과는 출력 모드 절환부(205)에 공급된다. 출력 모드 절환부(205)는 제어 신호 A에 따라, 출력 화상 중의 처리 대상 영역을 검출하고, 제어 신호 F에 따라, 출력 화상의 출력 모드를 절환하여 표시 디바이스(2)에 화상을 출력한다. 또, 출력 모드 절환부(205)에는 입력 화상의 화소도 공급된다.

도 26은 도 17에 나타낸 입력 화상이 화상 신호 처리 장치(1)에 의해, 흐릿함이 수정되어 출력된 화상의 예를 나타낸다. 출력 모드 절환부(205)는 제어 신호 A에 따라, 출력 화상에서 사용자에 의해 지정된 점(101 과 102)에 대응하는 위치를 검지하여, 직사각형의 프레임(103)을 구성하는 화소를 검출한다. 그리고, 출력 모드 절환부(205)는 출력 화상에서 프레임(103)의 내측 영역(222)을 구성하는 화소와 프레임(103)의 외측 영역(221)을 구성하는 화소를 검출한다.

사용자는 버튼(67)을 조작하여 출력 모드를 제어하는 제어 신호 F를 생성시켜, 출력 모드를 절환할 수 있다. 도 27에 출력 모드 종류의 예를 나타낸다. 이 예에서는, 프레임(103)의 내측 영역(222)을 구성하는 화소의 출력 모드 절환을 실행하는 「프레임 내 출력」, 프레임(103)의 외측 영역(221)을 구성하는 화소의 출력 모드 절환을 실행하는 「프레임 외 출력」, 및 프레임(103)을 구성하는 화소의 출력 모드를 절환하는 「프레임 출력」이 표시되어 있다.

출력 모드에서 「프레임 내 출력」이 「a」에 설정되면, 프레임(103)의 내측 영역(222)을 구성하는 화소에 대해서는, 최종 처리 결과, 즉 선택부(204)로부터의 출력 결과가 출력된다. 「프레임 내 출력」이 「b」에 설정되면, 프레임(103)의 내측 영역(222)을 구성하는 화소에 대해서는, 입력 화상의 화소가 그대로 출력된다.

출력 모드에서 「프레임 외 출력」이 「a」에 설정되면, 프레임(103)의 외측 영역(221)을 구성하는 화소에 대해서는, 전 화소 일정 레벨로 되어 출력되고, 예를 들면, 영역(221)을 구성하는 화소의 휘도가 일정한 값이 되어 출력된다. 「프레임 외 출력」이 「b」에 설정되면, 프레임(103)의 외측 영역(221)을 구성하는 화소에 대해서는, 입력 화상의 화소가 그대로 출력된다.

출력 모드에서 「프레임 출력」이 「a」에 설정되면, 프레임(103)을 구성하는 화소가, 예를 들면, 검은 화소로 되어 출력되고, 이 결과, 출력 화상 중에 프레임(103)이 표시된다. 「프레임 출력」이 「b」에 설정되면, 프레임(103)을 구성하는 화소에 대해서는, 「프레임 내 출력」 또는 「프레임 외 출력」의 설정과 동일한 출력 모드로 설정되어 출력된다.

통상, 「프레임 내 출력」을 「a」로 하여 프레임(103)의 내측 영역(222)을 구성하는 화소에 대해서는, 최종 처리 결과가 출력되고(흐릿함이 수정된 화상이 출력되고), 「프레임 외 출력」이 「b」로 설정되어 프레임(103)의 외측 영역(221)을 구성하는 화소에 대해서는, 입력 화상의 화소가 그대로 출력되지만, 예를 들면, 「프레임 내 출력」의 설정을 「b」로 절환하여 프레임(103)의 내측 영역(222)을 구성하는 화소에 대하여, 입력 화상의 화소가 그대로 출력된 화상과 비교해 봄으로써, 얼마나 화상의 흐릿함이 수정되었는지를 보다 정확하게 인식할 수 있다.

따라서, 본 실시예에 의하면, 화상의 흐릿함을 수정할 수 있다. 특히, 화상의 특징에 따라 적절하게 화상의 흐릿함을 수정할 수 있다.

그리고, 전술한 일련의 처리를 하드웨어로 실현하는가, 소프트웨어로 실현하는가는 묻지 않는다. 전술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 전용 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 의 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 도 28에 나타내는 바와 같은 범용 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.

도 28에서, CPU(Central Processing Unit)(901)는 ROM(Read Only Memory)(902)에 기억되어 있는 프로그램, 또는 기억부(908)로부터 RAM(Random Access Memory)(903)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(903)에는 또, CPU(901)가 각종 처리를 실행하는 데 필요한 데이터 등도 적당히 기억된다.

CPU(901), ROM(902), 및 RAM(903)은 버스(904)를 통해 서로 접속되어 있다. 이 버스(904)에는 또, 입출력 인터페이스(905)도 접속되어 있다.

입출력 인터페이스(905)에는 키보드, 마우스 등으로 이루어지는 입력부(906), CRT(Cathode Ray Tube), LCD(Liquid Crystal display) 등으로 이루어지는 디스플레이(표시부), 및 스피커 등으로 이루어지는 출력부(907), 하드 디스크 등으로 구성되는 기억부(908), 모뎀, 터미널 어댑터 등으로 구성되는 통신부(909)가 접속되어 있다. 통신부(909)는 인터넷 등의 네트워크를 통한 통신 처리를 실행한다.

입출력 인터페이스(905)에는 또, 필요에 따라 드라이브(910)가 접속되고, 드라이브(910)에는 본 발명의 프로그램이 기록된 기록 매체로서, 예를 들면, 착탈 가능 매체(911)가 장착되고, 그들로부터 판독된 컴퓨터 프로그램이 필요에 따라 기억부(908)에 인스톨된다.

그리고, 본 명세서에서 전술한 일련의 처리를 실행하는 스텝은 기재된 순서에 따라 시계열적으로 실행되는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

본 발명에 의하면, 화상의 흐릿함을 수정 할 수 있다.

특히, 화상의 특징에 따라, 적절하게 화상의 흐릿함을 수정할 수 있다.

도 1은 본 발명을 적용한 화상 신호 처리 시스템의 구성예를 나타내는 블록도이다.

도 2는 도 1의 화상 신호 처리 장치의 구성예를 나타내는 블록도이다.

도 3은 도 2의 사용자 I/F의 구성예를 나타내는 블록도이다.

도 4는 제어 신호의 예를 나타내는 도면이다.

도 5는 피사체가 흐릿한 화상이 디스플레이에 표시된 상태를 나타내는 사진이다.

도 6은 파라미터 σ가 작은 경우의 계수 W의 값의 분포를 나타내는 도면이다.

도 7은 도 6의 경우의 피사체가 흐릿한 화상이 디스플레이에 표시된 상태를 나타내는 사진이다.

도 8은 파라미터 σ가 큰 경우의 계수 W의 값의 분포를 나타내는 도면이다.

도 9는 도 8의 경우의 피사체가 흐릿한 화상이 디스플레이에 표시된 상태를 나타내는 사진이다.

도 10 (A)∼(C)는 관측값과 참값의 관계를 1차원으로 나타내는 도면이다.

도 11은 관측값과 참값의 관계를 1차원으로 나타내는 다른 도면이다.

도 12는 관측값과 참값의 관계를 2차원으로 나타내는 도면이다.

도 13은 관측값과 참값의 관계를 2차원으로 나타내는 도면이다.

도 14는 코드 p2의 조합의 예를 나타내는 도면이다.

도 15는 주목 화소에 대하여 평탄한 방향과 에지가 되는 방향을 나타내는 도면이다.

도 16은 화상의 흐릿함 수정 처리를 설명하는 플로차트이다.

도 17은 입력 화상의 예를 나타내는 도면이다.

도 18은 화상 보정 처리를 설명하는 플로차트이다.

도 19는 계수 ROM의 어드레스 구성예를 나타내는 도면이다.

도 20은 화상 특징 검출 처리를 설명하는 플로차트이다.

도 21은 화상 특징 검출부의 구성예를 나타내는 블록도이다.

도 22는 화상 특징 검출 처리에서 검출되는 블록의 예를 나타내는 도면이다.

도 23은 보정 후 처리를 설명하는 플로차트이다.

도 24는 후 처리부의 구성예를 나타내는 블록도이다.

도 25는 보정 후 처리에 의해 잘라내지는 블록의 예를 나타내는 도면이다.

도 26은 출력 화상의 예를 나타내는 도면이다.

도 27은 출력 모드의 설정예를 나타내는 도면이다.

도 28은 퍼스널 컴퓨터의 구성예를 나타내는 블록도이다.

Claims

입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치로서,

화상의 흐릿함 정도를 나타내는 파라미터를 지정하는 지정 수단과,

화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하는 검출 수단과,

상기 지정 수단에 의해 지정된 파라미터와, 상기 검출 수단에 의해 출력된 특징 코드에 대응하는 계수가 기억되어 있는 기억 수단과,

상기 기억 수단으로부터, 상기 지정 수단에 의해 지정된 상기 파라미터와 상기 검출 수단에 의해 출력된 상기 특징 코드에 대응하는 계수를 판독하는 판독 수단과,

상기 판독 수단에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산을 실행하는 연산 수단과,

상기 연산 수단에 의한 연산 결과와 상기 입력 화상의 화소값을 선택하여 출력하는 선택 출력 수단

을 포함하는 것을 특징으로 하는 화상 신호 처리 장치.
제1항에 있어서,

상기 연산 수단은 상기 판독 수단에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 적(積)합계 연산을 실행하는 것을 특징으로 화상 신호 처리 장치.
제1항에 있어서,

상기 특징 검출 수단은

입력 화상 중에서, 연산을 실행하는 화소 주위의, 미리 설정된 제1 영역에 포함되는 복수의 화소를 추출하는 제1 추출 수단과,

상기 제1 영역과, 수직 또는 수평의 복수 방향으로 연속된, 복수의 제2 영역에 포함되는 복수의 화소를 추출하는 제2 추출 수단과,

상기 제1 추출 수단에 의해 추출된 화소와, 상기 제2 추출 수단에 의해 추출된 화소에서, 대응하는 화소값 차분의 절대값 총계를 구해 복수의 블록 차분을 연산하는 블록 차분 연산 수단과,

상기 블록 차분이, 미리 설정된 임계값보다 큰지 여부를 판정하는 차분 판정 수단을 포함하는 것

을 특징으로 하는 화상 신호 처리 장치.
제1항에 있어서,

상기 파라미터는 흐릿한 화상의 화소와 흐릿하지 않은 화상의 화소 관계를 나타내는 모델식에 있어서의 가우스(Gauss) 함수의 파라미터인 것을 특징으로 하는 화상 신호 처리 장치.
제4항에 있어서,

상기 기억 수단에 의해 기억되어 있는 계수는 상기 모델식의 역행렬을 연산함으로써 구해진 계수인 것을 특징으로 하는 화상 신호 처리 장치.
제1항에 있어서,

상기 선택 출력 수단은

상기 연산 수단에 의해 연산이 실행된 복수의 화소를 추출하는 제1 추출 수단과,

상기 제1 추출 수단에 의해 추출된 복수 화소의 분산 정도를 나타내는 분산도를 연산하는 분산 연산 수단과,

상기 분산 연산 수단에 의해 연산된 분산도가 미리 설정된 임계값보다 큰지 여부를 판정하는 분산 판정 수단을 구비하는 것을 특징으로 하는 화상 신호 처리 장치.
제6항에 있어서,

상기 선택 출력 수단은 상기 분산 판정 수단의 판정 결과에 따라, 출력하는 화소값을, 상기 연산 수단에 의한 연산 결과, 또는 상기 입력 화상의 화소값 중 어느 하나로부터 선택하는 화소 선택 수단을 추가로 구비하는 것을 특징으로 하는 화상 신호 처리 장치.
제7항에 있어서,

상기 지정 수단은 출력되는 화상의 표시 방법을 나타내는 출력 모드의 지정을 접수하고, 상기 선택 출력 수단은 상기 출력 모드에 따라, 출력되는 화상의 표시 방법을 절환하는 절환 수단을 추가로 구비하는 것을 특징으로 하는 화상 신호 처리 장치.
입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치의 화상 신호 처리 방법으로서,

화상의 흐릿함 정도를 나타내는 파라미터를 지정하는 지정 스텝과,

화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하는 검출 스텝과,

미리 기억되어 있는 계수 중에서 상기 지정 스텝의 처리에 의해 지정된 파라미터와, 상기 검출 스텝의 처리에 의해 출력된 특징 코드에 대응하는 계수를 판독하는 판독 스텝과,

상기 판독 스텝의 처리에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산을 실행하는 연산 스텝과,

상기 연산 스텝의 처리에 의한 연산 결과를 출력하는 출력 스텝

을 포함하는 것을 특징으로 하는 화상 신호 처리 방법.
입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치의 프로그램으로서,

화상의 흐릿함 정도를 나타내는 파라미터의 지정을 제어하는 지정 제어 스텝과,

화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하도록 제어하는 검출 제어 스텝과,

미리 기억되어 있는 계수 중에서 상기 지정 제어 스텝의 처리에 의해 지정된 파라미터와, 상기 검출 제어 스텝의 처리에 의해 출력된 특징 코드에 대응하는 계수의 판독을 제어하는 판독 제어 스텝과,

상기 판독 제어 스텝의 처리에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산을 실행하도록 제어하는 연산 제어 스텝과,

상기 연산 제어 스텝의 처리에 의한 연산 결과와 상기 입력 화상의 화소값을 선택하여 출력하도록 제어하는 선택 출력 제어 스텝

을 포함하는 것을 특징으로 하는 프로그램.
입력된 화상 신호를 처리하여 출력하는 화상 신호 처리 장치의 프로그램이 기록되는 기록 매체로서, 상기 프로그램은

화상의 흐릿함 정도를 나타내는 파라미터의 지정을 제어하는 지정 제어 스텝과,

화상의 특징을 검출하고, 검출된 특징을 나타내는 특징 코드를 출력하도록 제어하는 검출 제어 스텝과,

미리 기억되어 있는 계수 중에서 상기 지정 제어 스텝의 처리에 의해 지정된 파라미터와, 상기 검출 제어 스텝의 처리에 의해 출력된 특징 코드에 대응하는 계수의 판독을 제어하는 판독 제어 스텝과,

상기 판독 제어 스텝의 처리에 의해 판독된 계수에 따라, 입력 화상의 화소값에 대하여 연산을 실행하도록 제어하는 연산 제어 스텝과,

상기 연산 제어 스텝의 처리에 의한 연산 결과와 상기 입력 화상의 화소값을 선택하여 출력하도록 제어하는 선택 출력 제어 스텝

을 포함하는 것을 특징으로 하는 기록 매체.